JP2018523251A - カタログ内の製品を検索するためのシステムおよび方法 - Google Patents

Abstract

本発明は、カタログ内の製品を検索するためのシステムおよびその関連方法に関し、本発明は、ユーザがクエリを生成し、クエリを処理装置に送信し、結果を表示することを可能にするアプリケーションを有するネットワーク接続されたデバイスであって、クエリが検索を所望する製品の視覚的な例である、デバイスと、ユーザからのクエリを受信し、カタログ内の検索を解決する処理装置であって、（ｉ）視覚特徴抽出コンポーネント、（ｉｉ）自己ラベル付けコンポーネント、（ｉｉｉ）類似性に基づく検索コンポーネント、および（ｉｖ）結果グループ化コンポーネントを含む、処理装置と、１つ以上の店舗からのカタログ製品からの情報を絶えず維持するデータ記憶装置と、を含む。

Description

本発明は、小売業界およびカタログ内の製品を検索することに関する。本発明は、特に画像、手書きの画像（スケッチ）、ビデオまたはテキストを介してデジタルカタログ内の製品を検索するための技術に関する。

従来技術は、カタログ内で検索しようと意図された一連の技術について述べている。例えば、文献ＷＯ２０１３／１８４０７３Ａ１は、身体の部分を検出することに基づいて、衣類の検索に限定した技術について述べている。この文献は、デザイン、構成、住宅、ファッション等の品目を含めた製品の検索メカニズムを、概して提供していない。

文献ＵＳ２０１２／００５４１７７は、スケッチを表して検索するための方法を開示しているが、この方法は、カタログ検索の場合を意図されていない。この方法は、クエリの中の、およびデータベースからの画像の中の「凸角曲線」に基づく。スケッチと画像との間の類似性は、曲線の複数点の位置および向きに関する情報を使用する面取り距離の変形を使って「凸角曲線」同士間の類似性を測定することに基づく。

さらに、文献ＵＳ２０１１／０２７４３１４は、ビデオ内の衣類を認識するためのアプリケーションに関する。最初、人の登場は、顔検出アルゴリズムによって検出され、次いで切り出し処理が、Ｌ＊ａ＊ｂ＊色空間上の領域による成長に基づく方策を使って実行される。衣類を認識するため、ＳＶＭモデルが、ＨＯＧ、ＢｏＷおよびＤＣＴ等の様々な画像記述子と一緒にトレーニングされる。この文献は、衣類の分類に関する意味コンポーネントを示しているが、いかなる種類の製品を検索することについても焦点を当てていない。

別の種類の解決策が、文献ＵＳ２０１４／０３２８５４４Ａ１により示されている。この文献は、スケッチラベル付け、および以前ラベル付けされた一組の画像を利用する認識システムについて述べている。次のように、このシステムは、入力スケッチをデータセットからの一組の画像と関連付け、この関連付けは、類似性に基づいて検索システムにより実行され、次いでその画像と関連付けられたラベルまたはテキストを使用してその入力スケッチに対する最善のラベルを判定する確率的なモデルを生成する。この提案は、カタログ内の製品を検索することをねらいとしていない。

文献ＵＳ２０１５／００４９９４３Ａ１は、画像の特徴を表す３つの種類の構造を使って画像検索のアプリケーションを示している。この解決策は、意味分類コンポーネントを欠いており、またスケッチおよびビデオに基づいた検索を含んでいない。

文献ＵＳ００６７２８７０６Ｂ２により示された解決策は、各製品が特徴ベクトルにより表されているカタログ内の製品を検索するためのシステムに関連し、その類似性は、距離関数により取得される。この文献は、分類器を使用して入力画像の確度の高いカテゴリを予測し、確度の高いカテゴリ内およびすべてのカテゴリ内で検索した結果を組み合わせることについて述べていない。

文献ＵＳ２００５／０１８５０６０Ａ１およびＵＳ００７５６５１３９Ｂ２は、携帯写真に基づく画像検索システムについて述べている。この画像検索システムは、博物館またはシティガイドの一部として考えられている。この写真技術がテキストを含む場合、光学文字認識が実行され、またこの写真技術が顔を含む場合、顔の識別が実行される。これらの文献は、対象物が、光学文字認識を必要とせず、視覚特徴を使って検索されるカタログからの製品に基づいているシステムについて述べていない。

現在のインターネット販売のシナリオでは、ある具体的な製品を購入することに興味を持つ潜在的な顧客は、３つの選択肢を持つ。すなわち、１）その店舗のサイトに入って、そのカタログのカテゴリをあちこち見てまわり、関係ありそうな各カテゴリ内の製品リストをあちこち見てまわること、２）その店舗のサイトに入って、キーワードに基づく製品検索機能を使うこと、および３）インターネット検索エンジン（例えば、Ｇｏｏｇｌｅ（登録商標））に入って、キーワードを使って検索し、取得された結果の中で、その製品を申し込むことに関心のある店舗のページを選択すること、である。

一方で、（キーワードに基づく）選択肢２および３は、ある一定の種類の製品に対しては、極めて効果的であり得る。例えば、誰かがある一定の容量およびブランドのハードディスクを購入したい場合、気に入った店舗がそのハードディスクを販売しているか否かを判定するには、３つのキーワードで十分であり得る。それにもかかわらず、この注目点が多くの製品に対して効果的である場合でさえも、長いテキスト列をスマートフォンに入力することは、失望させる可能性があることに留意しなければならない。例えば、あなたが製品「粉末低脂肪乳、４００グラム」の店舗内の価格を見積もりたい場合、店舗の検索エンジンにこれらの単語を記入することで十分であるが、多くのユーザは、どちらかといえばこの単語の記入も避けたいであろう。このことは、現在、オートフィルアプリケーションおよび音声テキスト化アプリケーションを開発している理由の１つである。

さらに、その製品が、装飾、衣類、家具および他の品目の場合と同じように、その外観またはデザインに関する特徴を有する場合、選択肢２および３は効果的ではない。例えば、黒い線の入った緑色で卵形の吊り下げランプを検索するため、総称的なキーワード「ランプ」は多くの検索結果をもたらすが、これに対してより具体的な単語である「卵形」または「緑色」は、その製品がそれらの単語と一緒にラベル付けされていなかった場合、何も見つけることができないことがある。この場合、カテゴリによりそのカタログにざっと目を通す選択肢（選択肢１）は、概して、単なる実行可能な別の選択肢にすぎず、その理由は、単語ベースの検索は、各製品がその外観の完全な記述を有していること、およびそのユーザがその製品を検索するためのそれらの単語を使用することを必要とするからである。残念ながら、このような完璧なラベル付けは、ラベル付けのコスト、および人々が様々な対象物を記述する基となる条件が多すぎるという理由から、非現実的である。

本発明は、画像、手書きの画像（スケッチ）、ビデオまたはテキストを介してデジタルカタログ内の製品を検索するための技術に関する。本発明の目標は、店舗カタログ内の製品を見つけるための、効率的で、効果的で、タイミングよく、かつ極めて魅力的な技術をユーザに提供することである。本発明の技術は、即時の結果を得るのにユーザによる努力をほとんど必要としないため効率的であり、該当製品が見つかるのを可能にするため効率的であり、ユーザは望むときにはいつでも彼らのスマートフォン上にそのアプリケーションを使用することができるためタイミングがよく、そしてこの技術が楽しい経験を提供するため極めて魅力的である。さらに、この技術は、高い表現力を持つことによって特徴付けられており、その理由は、その検索が画像自体の内容を分析することに基づいているからである。視覚特徴と以前にトレーニングされた分類器により自動的に生成される記述ラベルとを組み合わせて使う場合、提案された技術により、ユーザが取り込んだ画像に基づいたカタログ内の製品検索が可能となり、検索結果に対する効果の度合いが高い。本発明は、ユーザが、所望の製品の写真を撮り、図（スケッチ）を作成し、またはユーザが見つけたい製品を含むシーンを録画することができるように、モバイルデバイスの特徴をうまく利用する。さらに、ユーザは、必要に応じて、その検索をある一定の製品または製品のカテゴリに限定するようにテキストを追加することができる。

本発明は、使い方のカテゴリが変更されることを可能にし、それらのカテゴリのいくつかは、以下に述べられる。

１．ラベルによる検索：ユーザは、ある具体的な製品を検索し、そのラベルまたはバーコードの写真を撮る。例えば、そのユーザは、ワインラベルまたはジュース瓶の写真を撮ることができ、そのシステムは、検索されている製品、ならびにその店舗価格を正確に送り返すであろう。この方法は、はるかにより使い勝手がよく、「粉末低脂肪乳、４００グラム」に対する上述の場合のように、複数のキーワードをタイピング入力することと比較して、優れたユーザ体験をもたらす。

２．写真による検索：ユーザは、似たようなどのような製品がカタログの中に存在するかどうかを知るため、そのユーザが関心を持つデザインを有する製品の写真を撮る。例えば、あるユーザが、パイロット部門で話す花瓶の写真を撮ると、そのシステムは、同じ色の組み合わせを有する製品、様々な形状および色の花瓶、視覚的に似たようなパターンを有する他の製品等のいくつかの条件に基づいて類似する様々な製品を表示する。

３．スケッチによる検索：ユーザは、ある具体的なデザインを有する製品を検索したいが、写真を撮る対象物を有していないため、タッチスクリーン式デバイス上にその製品のおおよその形状を描くことができる。システムは、入力された形状に類似する全体形状を有する製品をそのユーザに示し、それらの製品は、そのスケッチと同じ方位を持つ端部を有する。

４．ビデオによる検索：ユーザは、１つ以上の関心のある製品を含むシーン、例えば寝室または台所を録画する。システムは、そのカタログ内で検索し、そのシーンに登場する製品に最も類似する製品をそのカタログから表示する。

技術的便益
本発明は、以前に説明されたこの種類の課題を解決する従来の方法と比較して、以下の便益を含む。
− 高い表現力：本発明は、クエリとして画像自体の内容を使用し、これに加えて補足としてキーワードを含むことができ、このことがより大きな表現力を提供する。スケッチを使った伝達は、人と人との意思疎通の自然な形式であり、すなわち単純かつ高度に記述的であり、ユーザが検索したいものの構成要素を表す。
− 高速：ユーザは、そのユーザが望むものを記述するための最善のテキストをタイピング入力する必要がない。そのユーザは、単に自身のデバイス上にあるカメラの正面に製品を置くか、またはスケッチを描くだけである。検索時間は数秒であるため、ユーザは直ちに結果を得ることができる。
− 効果的：高い記述的なクエリを使用しているため、検索の質は、より高い。このことは、そのシステムにより、高い割合でそのクエリから該当対象物が抽出されることができることを意味し、そのことによりキーワード検索エンジンと比較してオンライン販売の増大を可能にする。
− タイムリ：本発明は、モバイル技術を使用するため、本発明者の技術は、購入の機会が生じたそのときに、いつでも入手可能である。例えば、ある消費者が関心のある製品を見るまたは想像する場合、その消費者は、提供された技術を使用し、お気に入りの店舗でその製品を検索する。
− ユーザに魅力的：その使いやすさ、ならびに図面作成および驚きの検索結果によるファン効果によって、本発明を極めて魅力的にし、ユーザに対して楽しい体験をもたらす。

図１は、検索システムの全体図を示す図である。 図２は、システムの準備段階を示す図である。 図３は、ユーザクエリを解決するためのステップを示す図である。 図４は、視覚＋テキストクエリを解決するためのステップを示す図である。 図５は、視覚クエリを解決するためのステップを示す図である。 図６は、自己記述視覚検索モジュール（３２０）のコンポーネントを詳述する図である。 図７は、一般視覚検索モジュール（３３０）のコンポーネントを詳述する図である。

本発明は、カタログ内の製品を検索するためのシステムおよびその関連方法に関する。

製品検索用システムの全体的な枠組みは、ユーザの相互関係、少なくとも１つの処理装置、および１つ以上の店舗からの少なくとも１つの製品カタログを含む（図１参照）。ユーザ（１００）は、処理装置（１１０）のネットワークを介して処理装置（２００）に製品検索クエリ（３００）を送信する。その製品検索エンジンは、複数の店舗（１２０）からの少なくとも複数の製品カタログを含むデータ記憶装置（１２１）を維持する。そのユーザは、デバイス（１１０）上のアプリケーションを介してクエリを作り出して送信し、そのデバイスは、ネットワーク接続を有し、写真を撮ることができ、スケッチをすることができ、および／またはビデオを録画することができる。

データ記憶装置（１２１）の製品カタログは、販売用店舗により提供された一組の製品を含む。各製品は、記述および１つ以上のサンプル画像により表される。１つのカテゴリは、１つの製品グループに対応する。これらのカテゴリは、各店舗により定義された条件に応じてカタログ内に製品を編成する。カタログ内の各製品は、１つ以上のカテゴリに属する。

システムの準備段階中（図２参照）、製品検索システムは、店舗からデータベースに製品を追加する。テキスト特徴抽出モジュール（２８０）は、製品の記述を処理し、各製品に対するテキスト特徴ベクトル（５０５）を作り出す。視覚特徴抽出コンポーネントまたはモジュール（２１０）は、画像を処理し、各製品に対する視覚特徴ベクトル（５１０）を生成する。自己ラベル付けコンポーネントまたはモジュール（２３０）は、画像を処理し、対象物の色、形状、種類等のいくつかの条件に応じて類似の視覚特徴を示す製品を一緒にグループ化するラベルを作り出す（５１５）。

視覚特徴抽出モジュール（２１０）は、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧ、またはいくつかの変形体等の局所記述アルゴリズムを使って視覚特徴ベクトルを計算し、このアルゴリズムは、ある一定の形状変形、見通しの変化、および閉鎖に直面しても不変性をもたらす。ある画像に対して計算された局所記述子は、コードブックを使ってコード化されまたは集約され、視覚特徴ベクトルまたは製品画像を取得する。このコードブックは、Ｋ平均法（Ｋ−Ｍｅａｎｓ）のようなグループ化アルゴリズムまたはクラスタ化アルゴリズムを、カタログ内のすべての画像の局所記述子のうちのあるサンプルに適用した結果である。このようにして、そのコードブックは、クラスタ化アルゴリズムにより取得されたＫ中心に対応する。

局所記述子のグループ化により、単一特徴ベクトルが画像ごとに生成されることが可能になる。グループ化処理の１つの実施形態は、バッグオブフィーチャー（ＢｏＦ）法を使用する。Ｉが画像であり、Ｌ_Ｉ＝｛ｘ_１，ｘ_２，．．．，ｘ_ＮＩ｝が、画像ＩのＮ_Ｉ個の局所記述子の組である場合、ＢｏＦ法の下で、Ｉの各記述子が、そのコードブックの大きさに等しい長さのコードを使ってコード化される。したがって、ｘの場合のコードは、次式のように得られる。

ここで、ｇは核（ｋｅｒｎｅｌ）関数であり、ｄ（．）は距離の関数である。この核関数は、距離の値が大きいほどｇの値が小さくなるように選択される。ｌ個の特徴のベクトルは、ｌ個の局所記述子に関して生成されたコードに対するプーリング（ｐｏｏｌｉｎｇ）法を使って計算される。１つの実施形態は、合計に基づくプーリングを使用し、この方法は、局所記述子コードを合計することによりｌ個の特徴のベクトルを判定する。

別の集約の実施形態は、ＶＬＡＤ（局所集約記述子のベクトル（Ｖｅｃｔｏｒ ｏｆ Ｌｏｃａｌｌｙ Ａｇｇｒｅｇａｔｅｄ Ｄｅｓｃｒｉｐｔｏｒ））であり、それは局所記述子に関するより多くの情報を考慮している。この場合、残差ベクトルは、とりわけ各局所記述子およびコードブックを定義する重心から取得される。このため、ｘの残差ベクトルは、重心ｊに関して、次式のように定義される。

次いで、この残差ベクトルは、各クラスタに関して次のように累積される。

ｌ個の特徴ベクトルを生成するため、ＶＬＡＤに基づいて、次第に増加する残差ベクトルは、以下に示されるように、一緒に結合される。

上述のように、視覚特徴抽出モジュール（２１０）は画像Ｉを受信し、特徴ベクトルＤ_Ｉを生成する。

自己ラベル付けモジュール（２３０）は、様々な分類条件に基づいて画像を分類する。このコンポーネントの１つの実施形態は、３つの条件、すなわち色、形状および種類を定義する。このため、自己ラベル付けモジュールは、各条件に対して１つの３つの分類モデルから構成される。各モデルは、教師あり学習の処理を介して「分類モデル生成」コンポーネント（２２０）により生成され、この処理は、トレーニングする（００２）ための一組の製品画像を必要とする。トレーニングの組の中で、各画像は、確立された分類条件に基づいて１つ以上のカテゴリと関連付けられる。トレーニング処理の場合、その画像の視覚特徴が使用される。これらの特徴は、同じ分類器を使って手入力でまたは自動的に定義されてもよい。このコンポーネントの１つの実施形態では、特徴が、例えば畳み込み神経回路網を使うことによって自動的に学習される分類モデルを使用する。別の実施形態では、コンポーネントは、特徴が手入力で定義される識別モデルを使用してもよい。これらのモデルの例としては、サポートベクターマシン（ＳＶＭ）、神経回路網、Ｋ近傍法（ＫＮＮ）およびランダムフォレストとすることができる。トレーニング処理（００２）で生成されたモデルは、「分類器モデル」コンポーネント（４０１）に記憶される。

テキスト特徴抽出モジュール（２８０）は、製品の記述を処理し、ｔｆ−ｉｄｆ（単語頻度−逆文書頻度：ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ−ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）ベクトルモデルに基づいて記述子を生成する。それらの記述のすべての単語は、処理され、冠詞および前置詞等の頻繁に繰り返される（ストップリスト）または意味のない単語を除去する。それらの単語の語根が取得され、各語根の出現頻度が、各製品の記述テキストに対して計算される。各語根の頻度は、この語根が出現する製品記述の逆数の対数を乗ぜられる。

それらの製品に対して計算されたテキスト特徴ベクトルおよび視覚特徴ベクトルは、データベース（４０２）に記憶される。そのテキストベクトルに対して転置インデックス構造が計算され、その転置インデックス構造は、各単語に対してその単語が含む製品記述のリストが含まれる表を作り出すことで構成される。これにより、ユーザにより入力されたある一定の単語を含むすべての製品を判定することが可能になる。視覚特徴ベクトルの場合、多次元インデックスにより、クエリベクトルに最も近いベクトルを効率よく判定することが可能になる。

図３は、本発明の１つの実施形態に基づくシステムの動作図を示す。１人のユーザ（１００）が、モバイルデバイス（１１０）上のアプリケーションを使ってクエリ（３００）を作り出す。そのクエリは、そのユーザがテキストコンポーネントと一緒に検索される製品の視覚的な例を入力する場合、視覚＋テキストクエリ（３０１）型とすることができ、あるユーザがその検索される製品の視覚的な例のみを入力する場合、視覚クエリ（３０２）型とすることができる。１つの視覚的な例は、対象物の写真、対象物を含むビデオ、または求められている対象物の形状を表している手書きの画像であってもよい。１つのテキストコンポーネントは、検索される製品のある特徴を記述する１つ以上の単語に対応する。このクエリ（３００）は、コンピュータネットワーク（１１０）を介して処理装置（４００）に送信され、その検索を解決してそのクエリに該当した複数の製品を含むクエリ応答（００１）を送り返す。

処理装置（２００）は、その製品データベース（４０２）を読み込み、システムの準備段階中（図２）に計算されたすべてのデータが、クエリ（３００）を受信し、製品カタログ内の製品を検索し、そのユーザ（００１）に該当製品を送り返す。クエリを解決するためその処理装置により使用される方法は、ユーザが視覚＋テキストクエリ（３０１）または視覚クエリ（３０２）のどちらかを受信するかに依存するであろう。

視覚＋テキストクエリ（３０１）は、ある対象物の１つの視覚的な例、および１つのテキストコンポーネントを含む。この種類のクエリを解決するのに必要とされる処理を、図４に示す。このテキストコンポーネントを使用して、製品検索空間を限定する。その転置インデックスを使用して、テキストコンポーネントの単語のうちの少なくとも１つを含むすべての製品を検索するため、類似性の検索は、このテキスト製品リスト（５２０）のみに限定されるであろう。視覚特徴抽出モジュール（２１０）は、その視覚的な例を処理し、視覚特徴ベクトル（５２５）を取得する。このベクトルは、１つの類似性検索モジュールまたはコンポーネント（２４０）を通じてテキスト製品リスト中のすべての製品と比較される。視覚ベクトル同士の間のこの比較は、距離関数を介して実行され、この距離関数は、例えばユークリッド距離、マンハッタン、マハラノビス距離、ヘリンガー距離、カイ二乗などとしてもよい。この類似性検索モジュール（２４０）は、モジュールまたは結果グループ化コンポーネント（２６０）を通過する製品のリスト（００３）を送り返し、そのクエリの結果を生成する。

視覚クエリ（３０２）は、ある対象物の１つの視覚的な例を含む。視覚＋テキストクエリ（３０１）と異なって、そのユーザは、テキストを全く入力しない。視覚検索処理（図５）は、１つの自動記述視覚検索モジュール（３２０）および１つの一般視覚検索モジュール（３３０）の２つのモジュールから構成されている。各モジュールは、該当製品のリストを生成し、そのリストは、リスト組み合わせコンポーネント（３４０）を使って組み合わされ、該当製品のリスト（００３）を生成する。以前の場合と同様に、その該当製品のリストは、グループ化コンポーネント（２６０）に送信され、そのクエリの最終的な応答を取得する。

自己記述視覚検索モジュール（３２０）は、自己ラベル付けコンポーネントを使用して、そのサンプルクエリ（図６）を記述する一組のラベル（５３０）を自動的に生成する。生成された記述と一緒に、製品選択モジュール（２７０）は、そのクエリ例と共通の少なくとも１つのラベルを有するサブグループ製品を取得する。視覚特徴ベクトル（５２５）は、そのクエリサンプルから計算され、類似性検索が、一致するラベルを有するサブグループ製品に限定されて実行される。この類似性検索は、ＶＳＤ（視覚自己記述）製品リスト（００４）として送り返されたサブグループ製品中のそのクエリ例と最も類似しているＫ個の製品を取得する。

一般視覚検索モジュール（３３０）は、データベースに存在するすべての製品を考慮しながら製品を検索する。視覚特徴ベクトル（５２５）は、そのクエリサンプルから計算され、すべての製品の間で類似性検索が実行される。この類似性検索は、データベース中のそのクエリ例に最も類似しているＫ個の製品を取得し、これらの製品は、ＧＶ（全体図）製品リスト（００５）として送り返される。

ある製品の妥当性は、ゼロより大きい数値、すなわち点数であり、この点数は、検索クエリと製品特徴との間の一致の度合いを表す。リスト組み合わせモジュール（３４０）は、ＶＳＤ製品リスト（００４）およびＧＶ製品リスト（００５）を混合する。この混合は、各類似性検索における各製品の妥当性の数値を合計することに対応し、いかなる重複する製品の妥当性も累積する。累積された最も大きい妥当性を取得するＫ個の製品は、該当製品リスト（００３）を生成する。

結果グループ化モジュール（２６０）は、該当製品のリスト（００３）を受信し、最も多数を占める分類に関して製品を編成する。これらの各分類には、リスト上に現れる製品分類に関する点数が付与され、最高票を獲得したＭ個の分類が選択される。この点数は、各カテゴリに対する、リスト上の各製品の妥当性の合計を考慮している。クエリ応答（００１）は、そのカテゴリに投票された製品とともに最高票を獲得したカテゴリを有するリストである。このクエリ応答は、顧客のアプリケーションに送り返され、そのユーザにより表示される。

Claims (14)

1. カタログ内の製品を検索するためのシステムであって、
   ａ．ユーザがクエリを生成し、クエリを処理装置に送信し、結果を表示することを可能にするアプリケーションを有するネットワーク接続されたデバイスであって、クエリが検索を所望する製品の視覚的な例である、デバイスと、
   ｂ．前記ユーザからのクエリを受信し、前記カタログ内の検索を解決する処理装置であって、
   ｉ．視覚特徴抽出コンポーネント、
   ｉｉ．自己ラベル付けコンポーネント、
   ｉｉｉ．類似性に基づく検索コンポーネント、および
   ｉｖ．結果グループ化コンポーネントを含む、処理装置と、
   ｃ．１つ以上の店舗からのカタログからの製品に関する情報を絶えず維持するデータ記憶装置と、を含むことを特徴とする、カタログ内の製品を検索するためのシステム。
2. 前記視覚的な例は、１つ以上の写真、１つ以上の手製の図面、またはビデオに相当することを特徴とする、請求項１に記載のカタログ内の製品を検索するためのシステム。
3. 前記クエリは、視覚的な例、そしてまた、前記ユーザにより入力された１つ以上の単語も含むことを特徴とする、請求項１に記載のカタログ内の製品を検索するためのシステム。
4. 前記自己ラベル付けコンポーネントは、トレーニングおよび神経回路網の使用に基づくことを特徴とする、請求項１に記載のカタログ内の製品を検索するためのシステム。
5. 前記自己ラベル付けコンポーネントは、分類器を使用することを特徴とする、請求項１に記載のカタログ内の製品を検索するためのシステム。
6. 前記分類器は、サポートベクターマシン（ＳＶＭ）、神経回路網、Ｋ近傍法（ＫＮＮ）、およびランダムフォレストに含まれることを特徴とする、請求項５に記載のカタログ内の製品を検索するためのシステム。
7. カタログ内の製品を検索するための方法であって、
   ａ．インストールされたアプリケーションを介してネットワーク接続されたデバイスの中へのクエリのユーザ入力ステップおよび処理装置への前記クエリの送出ステップと、
   ｂ．処理装置による前記クエリの受信ステップであって、
   ｉ．前記クエリの視覚特徴を抽出し、
   ｉｉ．視覚特徴を使って、クエリとデータ記憶装置に記憶されたすべての製品との間の視覚的類似性検索を実行し、
   ｉｉｉ．前記クエリのための一組のラベルを自動的に生成し、
   ｉｖ．少なくとも１つのラベルにより前記クエリと一致するサブグループの製品に限定された類似性に基づく検索を実行し、
   ｖ．検索ｉｉおよび検索ｉｖの前記結果を混合し、前記クエリに対する応答を生成するための、受信ステップと、
   ｃ．ネットワーク接続されたデバイスによる前記クエリの応答の受信ステップ、および前記ユーザディスプレイの生成ステップと、を含むことを特徴とする、カタログ内の製品を検索するための方法。
8. 前記視覚的な例は、１つ以上の写真、１つ以上の手製の図面、またはビデオに相当することを特徴とする、請求項７に記載のカタログ内の製品を検索するための方法。
9. 前記クエリは、視覚的な例、そしてまた、前記ユーザにより入力された１つ以上の単語も含むことを特徴とする、請求項７に記載のカタログ内の製品を検索するための方法。
10. 前記類似性に基づく検索の方法は、少なくとも１つの単語により前記クエリと一致するサブセットの製品に限定されることを特徴とする、請求項９に記載のカタログ内の製品を検索するための方法。
11. 前記クエリの視覚特徴を抽出する前記方法が、局所記述子集約法（ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒ ａｇｇｒｅｇａｔｉｏｎ ｍｅｔｈｏｄｓ）に基づくことを特徴とする、請求項７に記載のカタログ内の製品を検索するための方法。
12. ラベル付け生成段階が、トレーニングおよび神経回路網の使用に基づくことを特徴とする、請求項７に記載のカタログ内の製品を検索するための方法。
13. 前記ラベルを生成するステップは、分類器を使用することを特徴とする、請求項７に記載のカタログ内の製品を検索するための方法。
14. 前記分類器は、サポートベクターマシン（ＳＶＭ）、神経回路網、Ｋ近傍法（ＫＮＮ）、およびランダムフォレストに含まれることを特徴とする、請求項１３に記載のカタログ内の製品を検索するための方法。