JP2010262425A - 衣服を認識および分類するためのコンピュータ実行方法 - Google Patents

Abstract

【課題】改善された衣服認識による知的ファッション検索を容易にする視覚システムの提供。
【解決手段】コンピュータシステム８０２は、プロセッサ８０４、メモリ８０６、および記憶装置８０８を含み、ディスプレイ８０１およびカメラ８０３に連結されている。記憶装置８０８は、ＯＳ８１６及びアプリケーション８２０、８２２のコードを記憶し、衣服認識アプリケーション８１８も含む。動作中、衣服認識アプリケーションはメモリ８０６にロードされる。プロセッサ８０４がメモリ８０６に記憶されている対応コードを実行する時、プロセッサ８０４は、カメラ８０３によってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイ８０１にディスプレイする。
【選択図】図８

Description

本発明は、視覚システムに係り、より具体的には、衣服認識による知的ファッション探索システムに関する。

衣服の購入は、オンラインショッピングや店頭において実行される一般的な行為である。店頭における顧客に共通する慣例的な行動は、在庫から関心のある衣服を捜し、数点の商品を選んで比較し、これらを試着して、もし気に入ったら、購入するかどうかを決定することである。顧客は、衣服（のサイズ）が体に合うかどうか、さらに、衣服が他人に認識されたい自分のイメージに合うかどうかを検討する。即ち、顧客は、衣服が自分の身体に合うかどうかだけではなく、自分のスタイルに合うかどうかもチェックする。

本来、ファッション（服装）の決定は、着用者の社会的な環境（コンテクスト）の範囲において、その人物の多数の複雑かつ微妙なファクタによって判断される、自己表現の目標によって駆動されるものである。ある衣服を他の衣服とコーディネートすることによって、新たな美観が提供される場合もある。あるスタイルが、行事または環境によっては、「格好いい」と考えられる場合もあれば、「不適切である」と考えられる場合もある。更に、ある衣服は、時間の経過によって、又は、様々なデモグラフィックセグメント（人口統計的区分）によって、「流行って、廃れる」場合もある。

オンラインショッピングは、好みが類似している人の集合（クラスタ）を識別する協調フィルタリング、および、様々なコンテンツ属性の類似性を計算するコンテンツの類似性に基づいた推薦（リコメンデーション）などの方法を用いて、衣服に関連する商品を直接検索し、推薦する技術を含んでいる。しかしながら、ファッションセンスそのものが、衣服着用者の環境（コンテクスト）および個々の認識（パーセプション）によって変動する「低いセマンティシティ（意味性）」の一つであるので、顧客に「ファッショナブルである」と感じさせる商品を提案する能力には限界があった。このような「推薦」は有用ではあるが、顧客が好むファッションの認識を十分に把握できないという欠点があった。

エイチ．シャーノフ（Ｈ．Ｃｈｅｒｎｏｆｆ）、イー．エル．レーマン（Ｅ．Ｌ．Ｌｅｈｍａｎｎ）著、「良好な適合を得るための(2のテストの最尤推定の使用（Ｔｈｅ ｕｓｅ ｏｆ ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｅｓ ｉｎ (2 ｔｅｓｔｓ ｆｏｒ ｇｏｏｄｎｅｓｓ−ｏｆ−ｆｉｔ）」数学的統計解析、第２５巻、５７９〜５８６頁、１９５４年 ケー．フクナガ（Ｋ．Ｆｕｋｕｎａｇａ）著、「統計的パターン認識入門（Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｓｔａｔｉｓｔｉｃａｌ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）」、Ｅｌｓｅｖｉｅｒ出版、１９９０年 シー．ハリス（Ｃ．Ｈａｒｒｉｓ）、エム．スティーブンス（Ｍ．Ｓｔｅｐｈｅｎｓ）著、「組み合わされたコーナーおよびエッジ検出器（Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）」第４回、アルヴィー（Ａｌｖｅｙ）ビジョン・カンファレンスの議事録、１４７〜１５１頁、１９８８年 エー．オペル（Ａ．Ｏｐｅｌｔ）、エー．ピンツ（Ａ．Ｐｉｎｚ）、エム．フッセネガー（Ｍ．Ｆｕｓｓｅｎｅｇｇｅｒ）、ピー．アウアー（Ｐ．Ａｕｅｒ）著、「ブースティングによる一般的オブジェクト認識（Ｇｅｎｅｒｉｃ Ｏｂｊｅｃｔ ｒｅｃｏｇｉｎｉｔｉｏｎ ｗｉｔｈ ｂｏｏｓｔｉｎｇ）」ＰＡＭＩ、２８巻、第３号、４１６〜４３１頁、２００６年 エル．オー．ヂューガ（Ｒ．Ｏ．Ｄｕｄａ）、ピー．イー．ハート（Ｐ．Ｅ．Ｈａｒｔ）、ディー．ジー．ストーク（Ｄ．Ｇ．Ｓｔｏｒｋ）著、「パターン分類（Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」第２版、Ｊｏｈｏｎ Ｗｉｌｅｙ＆Ｓｏｎｓ、２００１年 ワブリュー．キェンヅル（Ｗ．Ｋｉｅｎｚｌｅ）、ジー．バキール（Ｇ．Ｂａｋｉｒ）、エム．フランツ（Ｍ．Ｆｒａｎｚ）、ビー．ショルコフ（Ｂ．Ｓｃｈｏｌｋｏｐｆ）著、「顔検出の長所と欠点（Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ−ｅｆｆｉｃｉｅｎｔ ａｎｄ ｒａｎｋ ｄｅｆｉｃｉｅｎｔ）」ＮＩＰＳ、６７３〜６８０頁、２００５年

本発明の目的は、改善された衣服認識による知的ファッション検索を容易にする視覚システムを提供することである。

本発明の一つの実施の形態は、衣服を認識して分類するためのシステムを提供する。動作中、本システムは、衣服の少なくとも一つのイメージを捕捉（キャプチャ）する。衣服は、人物によって着用されていてもよい。更に、システムは、胴及び／または手足に対応するキャプチャ画像の領域を判断する。また、システムは、衣服の少なくとも一つのカラー成分、生地成分、襟の形状、および袖の形状を判断する。更に、システムは、ポケット（脇開き）の形状、パターンの複雑さ、およびパターンの配置を判断することができる。更にまた、システムは、衣服を、判断されたカラー成分、生地成分、襟の形状、および袖の形状に基づいて、少なくとも一つのカテゴリへ分類することができる。次に、システムは、分類を示す結果を作成する。

他の実施の形態によれば、衣服は人物によって着用されている。人物の胴及び／または手足に対応するキャプチャ画像の領域を判断することは、画像から白抜きの前景写像を生成し、一つ以上の境界ボックスを画像に当てはめることを含み、人物の体の一部が各境界ボックスによって囲み込まれる。

他の実施の形態によれば、衣服のカラーを判断することは、レッド（赤）、グリーン（緑）、ブルー（青）のカラーチャネルにおいてカラーヒストグラムを生成することを含む。更に、システムは、その衣服のカラーヒストグラムを他の衣服の予め記憶されているカラーヒストグラムと比較する。これによって、二つの衣服間のカラーマッチング（色の整合）を容易に判断できるようになる。

他の実施の形態によれば、システムは、多数の衣服の胴領域内の画像パッチのセットを切り取り（クロッピングし）、各パッチを多次元ベクトルで表示し、様々な衣服に対応しているパッチに主成分分析（ＰＣＡ）を適用することによって、多数の固有（ｅｉｇｅｎ）パッチを生成する。更に、衣服の生地を判断することは、衣服対応パッチを表す多次元ベクトルを固有パッチに投影し、次に、この衣服対応パッチに関連付けられた投影ベクトルのヒストグラムを作成することを含む。次に、システムは、衣服に関連付けられたパッチに対する投影ベクトルヒストグラムを、別の衣服に関連付けられたパッチに対する投影ベクトルヒストグラムと比較する。

他の実施の形態によれば、襟の形状を判断することは、衣服の襟の部分の略全体を囲み込んだ境界ボックスを識別すること、および、襟の部分に対する境界ボックスにハリス（Ｈａｒｒｉｓ）のコーナー検出を適用すること、を含む。

他の実施の形態によれば、衣服は、使用者によって着用されており、袖の形状を判断することは、人物の顔のカラートーンを識別すること、人物の腕に対応する画像のピクセルカラーを比較すること、およびカラーの比較に基づいて人物の露出している腕の長さを判断することを含む。

他の実施の形態によれば、システムは、衣服のボタンの数及び／または位置、及び／またはポケット（脇開き）の長さおよび配分を判断する。

他の実施の形態によれば、システムは衣服の一つ以上のロゴを認識する。

他の実施の形態によれば、衣服は使用者によって着用されており、システムは人物のデモグラフィック情報を解析する。

更に他の実施の形態によれば、人物の人口統計的情報を解析することは、人物の毛髪色および顔色を判断することを含む。

他の実施の形態によれば、処理結果は、カラー、パターン、及び／または他のファクタに基づいて、衣服と予め記憶されている衣服の整合を示しており、これによって、類似した衣服または類似していない衣服の推薦が容易になる。

本発明の一つの態様は、人物によって着用される衣服の少なくとも一つの画像をキャプチャすること、キャプチャされた画像上の胴及び／または手足に対応する領域を判断すること、衣服の少なくとも一つのカラー成分を判断すること、衣服の少なくとも一つの生地成分を判断すること、衣服の襟の形状を判断すること、衣服の袖の形状を判断すること、人物のデモグラフィック情報を解析すること、判断されたカラー成分、生地成分、襟の形状、および袖の形状に基づいて、衣服を少なくとも一つのカテゴリへ分類すること、分類を示す結果を作成すること、を含む、衣服を認識および分類するためのコンピュータ実行方法である。

本発明の一つの実施の形態において、衣服認識システムのモジュールを例示している。 （Ａ）は、本発明の一つの実施の形態において、白抜きの前景写像を例示している。（Ｂ）は、本発明の一つの実施の形態において、全身の境界ボックスと胴の境界ボックスを人物の画像へ投影した状態を示している。 本発明の一つの実施の形態において、カラーマッチングに基づいた衣服検索結果のセットを例示している。 本発明の一つの実施の形態において、固有パッチ解析に基づいた衣服検索結果のセットを例示している。 （Ａ）は、本発明の一つの実施の形態において、ｔ_c＝５００（左）、ｔ_c＝２０００（右）に設定した時の「襟なし」衣服のレッドチャネルにおいて検出されたハリスコーナーポイントの集合を例示している。（Ｂ）は、本発明の一つの実施の形態において、ｔ_c＝５００（左）、ｔ_c＝２０００（右）に設定した時の「襟付き」衣服のレッドチャネルにおいて検出されたハリスコーナーポイントの集合を例示している。 （Ａ）は、本発明の一つの実施の形態において、顔色と、長袖の衣服を着用した時の手の色と、の検出を例示している。（Ｂ）は、本発明の一つの実施の形態において、顔色と、半袖の衣服を着用した時の腕の色と、の検出を例示している。 本発明の一つの実施の形態において、襟認識メカニズム性能を示している。 本発明の一つの実施の形態において、袖認識メカニズム性能を示している。 本発明の一つの実施の形態において、衣服認識システムを容易にするコンピュータシステムを例示している。

本発明の一つの実施の形態は、衣服認識による知的ファッション検索を容易にする視覚システムを提供している。このシステムは、人物が試着している衣服に類似したスタイルと、異なったスタイルの両方のアウトフィット（衣服と小物一式を含む）を身に着けた他の人物画像をディスプレイすることができる。このディスプレイは、試着しているスタイルがその人物が投影しようとしている自己の表現に近いかどうかを判断するための助けになる。より具体的には、本発明の実施の形態によれば、リアルタイムの衣服の検出および認識が容易になる。

衣服の認識は、人物を識別すると共に顔を認識するためのコンテクスチュアル・キュー（「状況における手掛かり」）として用いることができる。本発明の実施の形態において、システムは、衣服を認識して、認識した衣服を他の衣服のイメージに整合させる（突き合わせる）ために提供される。より具体的には、本発明の実施の形態における衣服認識システムは、顧客がシステムとやりとりしている間に、ビデオによってキャプチャされた画像の中から、衣服との整合を見つける。

一般に、衣服は、顧客一人一人のファッションの好みにおける２大重要ファクタであると考えられている「グローバルカラー」と「生地の特徴」に基づいて、突き合わせることができる。本発明のシステムは、類似しているファッション種類の検索および類似していないファッション種類の検索のためにこれらの二大特徴を使用するのみならず、襟の有無と形状（例えば、ボタンダウンシャツか、クルーネックシャツか）、ボタンの有無および個数（例えば、ポロシャツか、ドレスシャツか）、パターンの有無および複雑度（格子縞か、幅広縞柄か）、袖丈、ズボン丈などの衣服の詳細なスタイルを識別するために多数の更なる整合基準をも使用する。

完璧とされる衣服認識システムは、いくつかのコンピュータビジョンおよび機械学習の問題にも対処できることが理想である。例えば、システムは、衣服のスタイルを定義するために人間とマシンの認識にとって目立つ特徴（例えば、カラー、襟、袖、ボタンなど）、これらの特徴を衣服認識のためにどのように選択して組み合わせるか、人物（顧客）の好みに影響を与えるコンテクスト（状況）情報は何か、より良好な衣服検索を行うためにこの情報をどのように統合すべきかを識別する。本発明の実施の形態は、衣服およびファッションの認識に有用であるばかりでなく、関連オブジェクト認識上の問題点の解決にも役に立つ。

本発明の実施の形態は、衣服整合のためのカラー、生地、およびパターンの解析を実行する。また、システムは、衣服をさまざまなカテゴリに分類するために機械学習を使用している。いくつかの実施の形態において、システムは、同一カテゴリに属する衣服を整合させるだけでよい（例えば、Ｔシャツすべて）。

図１は、本発明の一つの実施の形態による衣服認識システムのモジュールを例示している。システムは、カラー、生地、およびパターン解析の一部として、多数の画像処理およびパターン認識機能を実行することができる。これらの機能は、襟の認識、袖の認識、ズボン丈の認識、ベルトの認識、ボタンの検出、およびデモグラフィック認識を含んでいる。

顧客が着用している衣服、例えば、シャツを認識するために、システムは、まず、画像内の衣服のロケーション（位置）を検出する。システムに衣服着用者の画像が提供された時、シャツを検出することは人体の胴部を検出することを意味する。衣料小売店の試着室において衣服を試着する顧客は通常は鏡の前に直立する。本発明の衣服検出システムは、顧客の画像から相対的に大きい胴領域を捕捉（キャプチャ）する。

一つの実施の形態において、衣服検出システムは、演算方法があまり複雑でない衣服検出アルゴリズムを用いることによって、リアルタイムで動作することができる。システムは、モーション（動作）追跡によって人体の領域を抽出することができるので、全身の境界ボックスをセグメント化（区分化）することによって胴部の略全体が効率的に検出され得る。

一つの実施の形態において、人物の身体の輪郭を識別することができるように、システムは、前景と背景を区別する。図２の（Ａ）は、本発明の実施の形態による白抜きされた前景写像を例示している。白抜きされた前景写像が提供されると、システムは、図２の（Ｂ）において、ボックスで示された境界ボックスを人物の身体に当てはめる。次に、システムは、境界ボックス内のヒューリスティック（発見法）比率を用いて、図２の（Ｂ）の内側のボックスで表された胴部の略全体を抽出する。この衣服検出メカニズムは、様々な衣服のローカリゼーション（位置指定）に対しても十分に堅牢（ロバスト）であり、上記のセグメンテーション（区分）方法による衣服認識の結果は、満足できるものであった。

一つの実施の形態において、衣服整合のためにカラー情報を使用する。動作中、システムは、セグメント化された胴部から、レッド、グリーン、ブルー（ＲＧＢ）のチャネル別にカラーヒストグラムを演算する。次に、このシステムは、このカラーヒストグラムを他の衣服のヒストグラムと比較する。更に、システムは、二つのヒストグラム間に、(²のテストを行うことによって、２枚の衣服の類似性を測定する。(²のテストの詳細は、非特許文献１に記載されている。

次に、システムは、最も類似している衣服及び／または最も類似していない衣服を同一カテゴリから検索し、それらの画像を比較のために人物（顧客）に対してディスプレイする。図３の（Ａ）は、本発明の一つの実施の形態によるカラー整合に基づいた衣服検出結果のセットを例示している。

カラーの他には、繊維およびパターンとの関係による衣服認識のための有効なキュー（手掛り）として、生地が識別される。衣服認識のためにカラーおよび生地の情報を同時に検索するために、システムは、「固有（Ｅｉｇｅｎ）パッチ」法を使用する。

固有パッチ法においては、画素毎にＲＧＢ値のヒストグラムを作成する代わりに、システムは、胴領域内で重なり合う小規模画像パッチを切り取り（クロッピングし）、多次元ベクトルによって各パッチを表示する。一つの実施の形態において、全ての衣服からの全てのパッチが累積される。次に、システムは、特徴次元を削減して複数の衣服から最上位の特徴を抽出するために、特徴スタックに対して主成分解析（ＰＣＡ）を実行する。ＰＣＡは、統計的パターン認識のための数学的ツールであり、その詳細は、非特許文献２に記載されている。

次に、システムは、ＰＣＡによって得られる（固定パッチと呼ばれる）最初のｋ個の主成分へ小規模画像パッチを投影する。次に、システムは、投影された特徴ベクトルのヒストグラムを作成する。一つの実施の形態において、システムは、この次元に沿ったデータセット内で観察される最大値と最小値の隔たりを均等に分割することによって、次元ごとにｎ個のヒストグラムビンを作成する。未観察の衣服に関しては、システムは、同一プロセスを胴パッチへ適用して、対応する固有パッチヒストグラムを計算する。次に、システムは、(² のテストに基づいて、このヒストグラムを他の衣服のすべてのヒストグラムと比較して、類似している衣服と類似していない衣服を発見する。図３の（Ｂ）は、本発明の一つの実施の形態による、固有パッチ解析に基づいた衣服検索結果のセットを例示している。

一つの実施の形態において、システムは、教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）アルゴリズムを使用して、衣服を様々なカテゴリに分類する。一般に、シャツの襟は、礼装用のシャツ（例えば、ドレスシャツとポロシャツ）とカジュアルシャツ（例えば、Ｔシャツとセーター）を区別するための重要なキュー（手掛り）である。人間が襟の有無を目視で判断することは非常に簡単であるが、カメラが襟の有無を自動認識することは簡単な問題ではない。

通常、襟は、襟なしの衣服より目立ったコーナーを有している。従って、システムは、低レベルの特徴点検出器を簡単な分類器に組み合わせて、カメラ画像から襟情報を抽出する。第１のステップは、ハリスコーナー検出器を用いて、衣服の画像のＲＧＢチャネルからコーナーポイントを検出することである。ハリスコーナー検出器の詳細については、非特許文献３に記載されている。

ハリス検出器は、特徴検出のために第２のモーメント行列を使用している。この行列は、ポイントｘの局所（ローカル）近傍において階調分布を記述している。

ｘ軸およびｙ軸、微分Ｉｘ，Ｉｙに沿ったローカル画像の導関数は、スケール(_Dのガウスカーネルによって演算される。次に、導関数の平均値は、スケール(₁のガウスウィンドウによって平滑化することによってポイント近傍において求められる（一つの実施の形態において、(_D＝(₁＝６）。この行列は、ポイント近傍における二つの主要な信号の変化を表している。この特性によって、コーナーポイント（両方の曲率が有効。即ち、直行方向における信号の変化が有効。）の検出が可能となる。ポイントｘにおけるハリス測定値は、以下の式、

によって求められる。

ハリス測定値は、ポイントｘにおける「コーナー特徴の強さ（ｓｔｒｅｎｇｔｈ ｏｆ ｃｏｒｎｅｒｎｅｓｓ）」、即ち、コーナーの弁別性を表すインジケータである。システムがネック（首）領域内の各画素におけるハリス測定値を演算した後、最高ポイントが、半径γとした非最大抑制を用いて検出される（一つの実施の形態において、γ＝９）。最高ポイントｘにおけるハリス測定値が閾値ｔ_cより大きい場合、ｘはハリスコーナーポイントとして識別される。ハリスコーナー検出器は、ＲＧＢチャネルの各々に適用される。図４の（Ａ）は、本発明の一つの実施の形態による、ｔ_c＝５００（左）、ｔ_c＝２０００（右）に設定した時の「襟なし」衣服のレッドチャネルにおいて検出されたハリスコーナーポイントのセットを例示している。同様に、図４の（Ｂ）は、本発明の一つの実施の形態による、ｔ_c＝５００（左）、ｔ_c＝２０００（右）に設定した時の「襟付き」衣服のレッドチャネルにおいて検出されたハリスコーナーポイントのセットを例示している。

衣服の検出と同様に、人体のネック部が人体の境界ボックス（図４の（Ａ）、（Ｂ）に示されているボックス）をセグメント化することによって検出される。次に、我々の仮定によれば、システムは、ネック部内のすべてのチャネルから検出されるハリスコーナーポイントの数に基づいて、襟の有無を判断することができる。

Ｎ枚の衣服｛Ｃ₁，Ｃ₂，．．．．．．，Ｃ_N｝がこれらの衣服の特徴によって記述されていると仮定した場合、ネック部において検出されるハリスコーナーの数は、Ｘ＝｛ｘ₁，ｘ₂，．．．．．．，ｘ_N｝で表される。システムは、襟付き衣服（＋１の値で表示）に対して、または襟なし衣服（−１の値で表示）に対して、異なるラベルを割り当てる。即ち、Ｙ＝｛ｙ₁，ｙ₂，．．．．．．，ｙ_N｝，ｙ_n(｛＋１，−１｝で表される。従って、襟の認識は、教師あり学習問題として定式化される。一つの実施の形態において、システムは、この問題を解決するために、決定幹（Ｄｅｃｉｓｉｏｎ Ｓｔｕｍｐ、以下、決定スタンプ）分類器を用いる。決定スタンプは、枝が一本だけの決定ツリーからなる機械学習モデルである。決定スタンプｄは、閾値ｔ_d以下の特徴値を有する例を右側ブランチ（−１）に分類し、他の例をその左側ブランチ（＋１）に分類する。決定スタンプの学習は、特徴値を分類して、次に、不純物における下降（ドロップ）率を最大にする特徴値の閾値ｔ^*を検索することを含む。学習決定スタンプの分類器は、閾値テストを実行することによって効率的に新しい衣服に適用され得る。学習決定スタンプの分類器は、効率的に新しい衣服アイテムに適用され得る。決定スタンプの詳細については、非特許文献４および非特許文献５に記載されている。

袖丈は、衣服認識のための他の重要なファクタである。袖丈が、ポロシャツ、Ｔシャツ、トレーナー（半袖または袖なし）をドレスシャツ又はジャケット（長袖）から区別するための有効なキューであることが、ウィキペディア（Ｗｉｋｉｐｅｄｉａ（登録商標））の「シャツ」の定義にも述べられている。これらの二つのカテゴリを認識するためには、長袖の衣服は、半袖又は袖なしの衣服よりも肌の露出量が少ないことを前提としている。一つの実施の形態において、袖認識は、二つの副次的な課題−肌の検出と袖の分類に分割される。

一般の肌の検出は、肌の種類および光の条件などの差によって影響される難しい問題である。一つの実施の形態において、システムは人物の顔の肌のカラートーンが一般に腕の肌のカラートーンに類似しているという事実を利用している。従って、図５の（Ａ）及び（Ｂ）のボックスに示されているように、正面視画像からの人物の顔の位置を検出するために有効な顔検出器を用いる。顔検出器の例については、非特許文献６に詳細に記載されている。

次に、システムは、ガウシアン混合モデリングを用いて抽出された顔画素のＲＧＢ値をクラスタ分析する（非特許文献５を参照）。一つの実施の形態において、クラスタの数を経験的に２個に設定する。従って、クラスタのうちの一つが顧客の肌のカラートーンを示すことが予測される。

次に、未処理の腕部における全画素ｘ（上半身の左右側面）に対して、ｘを中心とした５×５の大きさの小パッチｐ（ｘ）が抽出される。以下の二つの条件が真である場合に限り、ｘが肌色画素として識別される。

１． パッチｐ（ｘ）の色がコヒーレントであること。つまり、ｐ（ｘ）内のＲＧＢ値のばらつきが閾値よりも小さいこと。これは、袖に使われている肌色に類似した色を誤って肌の色として検出することを防止するためである。

２． ｐ（ｘ）内のＲＧＢ値の平均値から二つの顔画素のクラスタまでの最小マハラノビス（Ｍａｈａｒａｎｏｂｉｓ）距離が閾値ｔ_Sよりも小さいこと。ｔ_S＝５を使った肌検出結果が図５の（Ａ）および（Ｂ）で手の画像が部分的に塗りつぶされた部分に示されている。

肌検出の後、袖の長さが、腕において検出された肌画素の数によって近似される。決定スタンプは、袖の長さを認識するために、これらの特徴について学習する。

図６は、本発明の実施の形態による襟認識メカニズムの性能を示している。襟認識メカニズムは、襟付きシャツ５１枚（−１）および襟付きシャツ２４枚（＋１）を含むシミュレーションされた社会人の服装データセットによって評価した。この実験は、その性能についての影響をテストするためにハリス測定閾値ｔ_cを設定を替えながら実行した。例えば、ｔ_c値ごとに、各クラスからのシャツの半数をトレーニングの例としてランダムに選択し、他のシャツはテスト用に使用した。この場合、トレーニング例シャツとテスト用シャツの重複はない。この実験は、ランダムに再選択して、１０回、反復された。図７には、様々なしきい値ｔ_cが設定された場合の標準偏差に基づく平均認識精度が示されている。

認識精度がほぼ８０％であり、精度に多少のばらつきがあることが観察された（このことは、小規模データセットの場合は当然である）。襟（えり）の認識性能は、データセットの規模が大きくなればなるほど改良され、他の認識メカニズム（例えば、袖（そで）認識およびボタン認識のメカニズム）と組み合わされることによって更に良好に改良されることが予測された。

図７は、本発明の一つの実施の形態において、袖（そで）認識メカニズムの性能を示している。実験方法は、襟（えり）認識評価の場合と同様に設定され、袖認識メカニズムは、閾値ｔ_Sの設定を代えてテストした。図７に示されるように、袖認識メカニズムは、用いる閾値が小さい場合、約９３％の認識精度を達成することがわかった。

図８は、本発明の一つの実施の形態において、衣服認識システムを容易にするコンピュータシステムを例示している。コンピュータシステム８０２は、プロセッサ８０４、メモリ８０６、および記憶装置８０８を含む。コンピュータシステム８０２は、ディスプレイ８０１およびカメラ８０３に連結されている。

記憶装置８０８は、オペレーティングシステム８１６及びアプリケーション８２０、８２２のコードを記憶する。記憶装置８０８は、衣服認識アプリケーション８１８を更に含む。動作中、衣服認識アプリケーションはメモリ８０６にロードされる。プロセッサ８０４がメモリ８０６に記憶されている対応コードを実行する時、プロセッサ８０４は、カメラ８０３によってキャプチャされた画像に対して上記の解析を実行し、ディスプレイ８０１に整合している衣服をディスプレイする。

８０１： ディスプレイ
８０２： コンピュータシステム
８０３： カメラ
８０４： プロセッサ
８０６： メモリ
８０８： 記憶装置
８１６： オペレーティングシステム
８１８： 衣服認識アプリケーション
８２０： アプリケーション
８２２： アプリケーション

Claims (4)

1. 衣服を認識および分類するためのコンピュータ実行方法であって、
   人物によって着用された衣服の少なくとも一つの画像をキャプチャすること、
   前記キャプチャされた画像上の胴及び／または手足に対応する領域を判断すること、
   前記衣服の少なくとも一つのカラー成分を判断すること、
   前記衣服の少なくとも一つの生地成分を判断すること、
   前記衣服の襟の形状を判断すること、
   前記衣服の袖の形状を判断すること、
   前記人物の人口統計的情報を解析すること、
   前記判断されたカラー成分、生地成分、襟の形状、および袖の形状に基づいて、前記衣服を少なくとも一つのカテゴリへ分類すること、
   前記分類を示す結果を作成すること、
   を含む方法。
2. 前記衣服において一つ以上のロゴを認識することを更に含む、請求項１に記載の方法。
3. 前記人物の人口統計的情報を解析することが該人物の毛髪色および顔色を判断することを含む、請求項１に記載の方法。
4. 前記結果が、カラー、パターン、及び／または他のファクタに基づいて、前記衣服と予め記憶されている衣服の整合を更に示す、請求項１に記載の方法。