JP2014194648A - コンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラム - Google Patents

Abstract

【課題】ユーザのニーズに適切に対応すること。
【解決手段】端末装置と、ネットワークを介して前記端末装置と通信するサーバ側通信部と、前記サーバ側通信部が受信した前記画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出する類似画像検索部と前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する電子コンテンツ検索部と前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部とを有するコンテンツ検索サーバと、を備えるコンテンツ検索システム。
【選択図】図３

Description

本発明は、コンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムに関する。

従来、カスタマーがほしい物の３次元イメージを、カスタマー端末を用いてインターネット・カタログサイトのサーバへ送信し、カタログサイトではカスタマー端末から送信されてきたイメージと、そのデータベース内に登録されている商品イメージと照合して、同一もしくは類似のイメージを検出し、検出されたイメージはその商品情報とともにカスタマー端末へ配信されるビジネスモデルが知られている（例えば、特許文献１参照）。

特開２００５−７８６２１号公報

ところで、上記のようにインターネットなどで商品検索を行う顧客は、自分がサーバに送信したものと同一または類似のものだけでなく、同じブランドの商品など、関連する商品の画像を一覧したいと望む場合がある。しかしながら、上記特許文献１記載のビジネスモデルでは、係るニーズに対応することができない。
本発明は、このような事情を考慮してなされたものであり、ユーザのニーズに適切に対応することを目的の一つとする。

本発明の一態様は、ネットワークに接続される端末側通信部と、ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報を前記コンテンツ検索サーバに送信するように前記端末側通信部を制御する端末側制御部と、前記ネットワークを介して端末側通信部が受信した電子コンテンツを表示する表示部と、を有する端末装置と、前記ネットワークを介して前記端末装置と通信するサーバ側通信部と、前記サーバ側通信部が受信した前記画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出する類似画像検索部と、前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する電子コンテンツ検索部と、前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部と、を有するコンテンツ検索サーバと、を備えるコンテンツ検索システムである。

本発明の一態様によれば、ユーザのニーズに適切に対応することができる。

本発明の各実施形態に係るコンテンツ検索システムの全体構成の一例を示す図である。 本発明の各実施形態に係るコンテンツ検索システムの基本的な動作を示すシーケンス図の一例である。 第１実施形態に係る端末装置１、コンテンツ検索サーバ１００、およびコンテンツ提供サーバ２００の構成の一例を示す図である。 ユーザによる画像の検索用情報の指定を受け付ける際にタッチパネル３０により表示される画面の遷移の一例である。 ユーザによる画像の検索用情報の指定を受け付ける際にタッチパネル３０により表示される画面の遷移の一例である。 ユーザによる画像の検索用情報の指定を受け付ける際にタッチパネル３０により表示される画面の遷移の一例である。 端末装置１がユーザによる画像の切り出し処理を受け付ける際の画面の一例を示す図である。 「検索実行」ボタンＢ５がタップされ、画像の検索用情報がコンテンツ検索サーバ１００に送信され、検索結果を待つ間に表示される画面の一例を示す図である。 検索結果を受信した端末装置１により表示される画面の一例を示す図である。 タッチパネル３０において電子コンテンツが表示された画面の一例を示す図である。 端末装置１により実行される処理の流れを示すフローチャートの一例である。 コンテンツ検索サーバ１００により実行される処理の流れを示すフローチャートの一例である。 第２実施形態に係る検索結果送信制御部１３４により実行される処理の内容を模式的に示す図である。 画像指定受付部５０が類似度の算出条件の指定を受け付ける際にタッチパネル３０により表示される画面の一例を示す図である。 本発明に係るコンテンツ検索システムの基本的な動作を示すシーケンス図の他の例である。 コンテンツ検索サーバ１００により実行される処理の流れを示すフローチャートの他の例である。

以下、図面を参照し、本発明のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムの実施形態について説明する。

＜各実施形態の共通構成＞
図１は、本発明の各実施形態に係るコンテンツ検索システムの全体構成の一例を示す図である。実施形態のコンテンツ検索システムは、端末装置１とコンテンツ検索サーバ１００がネットワークＮＷを介して接続された構成となっている。端末装置１は、例えば、スマートフォン、携帯電話、タブレット端末、パーソナルコンピュータなどである。ネットワークＮＷには、コンテンツ提供サーバ２００が接続される。コンテンツ提供サーバ２００は、必ずしもコンテンツ検索サーバ１００と別体のサーバ装置である必要はなく、コンテンツ検索サーバ１００がこれを統合したサーバ装置であってもよい。ネットワークＮＷは、例えば、携帯電話網、ＰＨＳ（Personal Handy-phone System）網、ＶＰＮ（Virtual Private Network）網、専用通信回線網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＳＴＮ（Public Switched Telephone Network；公衆交換電話網）など、またはこれらの組み合わせによって構成される情報通信ネットワークである。図１では、それぞれ１つの端末装置１、コンテンツ検索サーバ１００、コンテンツ提供サーバ２００を図示したが、これらの構成要素の数に関して、何ら制限は存在しない。

図２は、本発明の各実施形態に係るコンテンツ検索システムの基本的な動作を示すシーケンス図の一例である。まず、端末装置１が、ユーザによる画像の検索用情報の指定を受け付け（ステップＳ３００）、受け付けた情報をコンテンツ検索サーバ１００に送信する（ステップＳ３０２）。画像の検索用情報とは、JPEG（Joint Photographic Experts Group）、GIF（Graphics Interchange Format）、Bitmap、PNG（Portable Network Graphics）などのフォーマットで生成された画像であってもよいし、後述するように画像の特徴量であってもよい。

コンテンツ検索サーバ１００は、受信した画像の検索用情報に基づく画像に、画像特徴が類似する画像（以下、類似画像と称する）を、コンテンツ検索サーバ１００に登録されている画像群から抽出し、更に、抽出した類似画像を含み類似画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する（ステップＳ３０４）。

ここで、画像特徴とは、画像における輪郭の形状、色彩、模様、質感などをいい、テキスト情報などの意味情報を含まない概念である。但し、画像において描画されている文字を模様として扱っても構わない。画像群や電子コンテンツ群は、例えばコンテンツ検索サーバ１００が備える記憶装置に格納されている（図３における画像データベース１２２や電子コンテンツデータベース１２４が該当）。なお、画像群や電子コンテンツ群の一部または全部は、コンテンツ検索サーバ１００の外部の記憶装置（コンテンツ提供サーバ２００を含む）に格納されてもよい。

本発明における電子コンテンツとは、複数の画像を含むものであり、例えば販売事業者により提供される電子カタログ（カタログの電子書籍版）である。また、電子コンテンツは、漫画や絵画などの電子書籍であってもよい。こうした電子コンテンツは、メールの送受信や簡易なインターネットサイトの閲覧に比して通信量が大きく、コンテンツ提供サーバ２００から一方的に端末装置１に送信するのは適切でない場合が多い。コンテンツ検索システムでは、ユーザが指定した画像の検索用情報に基づき類似画像を検索し、抽出された類似画像を含む電子コンテンツ、すなわちユーザが閲覧したいであろう電子コンテンツが端末装置１に送信されるように、種々の処理を行う。

コンテンツ検索サーバ１００は、抽出した電子コンテンツの所在情報を、端末装置１に送信する（ステップＳ３０６）。「電子コンテンツの所在情報」とは、例えば電子コンテンツのダウンロードページのＵＲＬである。電子コンテンツの所在情報には、例えばステップＳ３０４において抽出された類似画像、その他のサムネイル画像が付加されている。端末装置１は、このサムネイル画像を表示部に表示させる（ステップＳ３０８）。そして、ユーザによる電子コンテンツのダウンロードを指示する操作を受け付けると（ステップＳ３１０）、電子コンテンツの送信要求（ＨＴＴＰリクエスト）をコンテンツ提供サーバ２００に送信する（ステップＳ３１２）。

コンテンツ提供サーバ２００は、送信要求がなされた電子コンテンツを端末装置１に送信する（ステップＳ３１４）。そして、端末装置１は、受信した電子コンテンツを表示部（図３におけるタッチパネル３０）に表示させる（ステップＳ３１６）。なお、電子コンテンツはコンテンツ検索サーバ１００が提供してもよく、この場合、端末装置１は、電子コンテンツの送信要求をコンテンツ検索サーバ１００に送信し、コンテンツ検索サーバ１００が電子コンテンツを端末装置１に送信する。

＜第１実施形態＞
以下、第１実施形態に係る端末装置１、コンテンツ検索サーバ１００の構成や処理について、より詳細に説明する。図３は、第１実施形態に係る端末装置１、コンテンツ検索サーバ１００、およびコンテンツ提供サーバ２００の構成の一例を示す図である。

［端末装置１］
端末装置１は、例えば、撮像部１０と、記憶部２０と、タッチパネル３０と、端末側通信部４０と、画像指定受付部５０と、検索結果表示制御部５２と、コンテンツ表示制御部５４とを備える。
撮像部１０は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。撮像部１０によって撮像された画像は、記憶部２０に格納される。また、撮像部１０が起動された状態で撮像部１０のレンズに入射する光景（シャッター操作前の光景）は、タッチパネル３０により表示される。

記憶部２０は、例えば、フラッシュメモリやＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、レジスタなどを含み、ＳＤカードやメモリスティックのような外部メモリ、ＨＤＤ（Hard Disk Drive）などのドライブ装置を含んでもよい。記憶部２０には、撮像部１０により撮像された画像の他、端末装置１のＣＰＵ（Central Processing Unit）が実行する各種プログラム（ファームウェアやアプリケーションプログラムなどであり、コンテンツ検索アプリＡＰＬを含む）、端末側通信部４０がネットワークＮＷを介して受信した情報など、種々の情報が格納される。

タッチパネル３０は、例えば、液晶ディスプレイ装置や有機ＥＬ（Electroluminescence）表示装置と、接触検知機構が組み合わされたものである。接触検知機構の態様としては種々のものが採用される。例えば、抵抗膜方式、静電容量方式、赤外線方式、表面弾性波方式などの方式を利用した接触検知機構が採用され得る。なお、端末装置１が、表示部と入力受付部を一体化したタッチパネル３０を備えることは、あくまで一例であり、端末装置１は、表示部とは別の入力受付部（例えば、ボタン、キー、ダイヤル、マウス、タッチパッドなど）を備えてもよい。

端末側通信部４０は、例えば、アンテナや変調部、符号化／復調部、アップ／ダウンコンバータなどを備え、ネットワークＮＷ上の無線基地局やアクセスポイントとの間で無線通信を行う。また、端末側通信部４０は、端末装置１が有線通信を行うためのネットワークカードなどを含んでもよい。

画像指定受付部５０、検索結果表示制御部５２、およびコンテンツ表示制御部５４は、例えば、記憶部２０に格納されたプログラムをＣＰＵが実行することにより機能するソフトウェア機能部である。これらの機能部は、ユーザによって記憶部２０に格納されたコンテンツ検索アプリが起動されたときに起動する。コンテンツ検索アプリは、例えば、コンテンツ検索システムを利用するユーザの端末装置１に対して、例えばコンテンツ検索サーバからネットワークＮＷを介して送信されることにより、端末装置１にインストールされる。

画像指定受付部５０は、ユーザによる画像の検索用情報の指定を受け付け、指定された画像の検索用情報をコンテンツ検索サーバ１００に送信するように端末側通信部４０を制御する。図４Ａ〜図４Ｃは、ユーザによる画像の検索用情報の指定を受け付ける際にタッチパネル３０により表示される画面の遷移の一例である。画像指定受付部５０は、これらの画面をタッチパネル３０に表示させる処理や、ユーザの操作に応じて端末側通信部４０を作動させる処理などを実行する。

図４Ａは、コンテンツ検索アプリＡＰＬが起動した際の初期画面の一例である。図４Ａに示す画面においてユーザが「画像を開く」ボタンＢ１をタップすると、図４Ｂの画面に遷移する。また、図４Ａに示す画面においてユーザが「カメラ」ボタンＢ２をタップすると、撮像部１０が起動され、撮像部１０の撮像画像などから直接、画像の検索用情報を生成するモードに移行する。このモードに関しては、後述する。

図４Ｂに示す画面では、記憶部２０に格納された画像（撮像部１０の撮像画像、メールやインターネットから取得した写真画像およびグラフィックを含む）の一覧が表示される。図４Ｂに示す画面においてユーザがいずれかの画像をタップ等して指定すると、図４Ｃに示す画面に遷移する。また、図４Ｂに示す画面においてユーザが「キャンセル」ボタンＢ３をタップすると、図４Ａに示す画面に戻るか、或いはコンテンツ検索アプリＡＰＬが動作を停止する。

図４Ｃに示す画面では、ユーザにより選択された画像が、例えば本来のサイズで表示される。図４Ｃに示す画面においてユーザが「検索実行」ボタンＢ５をタップすると、表示される画像のデータが、画像の検索用情報としてコンテンツ検索サーバ１００に送信される。一方、図４Ｃに示す画面においてユーザが「領域指定」ボタンＢ４をタップすると、表示されている画像の一部を切り出して画像の検索用情報とすることを受け付ける処理が開始される。また、図４Ｃに示す画面においてユーザが「戻る」ボタンＢ６をタップすると、図４Ｂに示す画面に戻る。

図５は、端末装置１がユーザによる画像の切り出し処理を受け付ける際の画面の一例を示す図である。ユーザは、画像の検索用情報として切り出したい領域を、例えば、矩形の一隅と、対角にある他の隅を特定することで指定する。より具体的には、ユーザは、矩形の一隅Ｃ１にまずタップし、そのまま指を対角にある他の隅Ｃ２までスライドさせて離し、「完了」ボタンＢ８をタップすることで、切り出し領域を指定する（単にＣ１とＣ２の二点をタップしてもよい）。この際に、ユーザのタッチ位置の軌跡をタッチパネル３０に表示させてよいし、暫定的な矩形領域の外枠をタッチパネル３０に表示させてもよい。係る態様でユーザの指定を受け付けることにより、ユーザは、直感的な操作で簡易に画像の検索用情報を指定することができる。なお、図５の例では、ユーザは、衣服の電子カタログを閲覧したいと望んでおり、画像に含まれる人物の着ている衣服を意図的に切り出している。

また、図５に示す画面においてユーザがキャンセルボタンＢ７をタップすると、図４Ｃに示す画面に戻るか、或いはコンテンツ検索アプリＡＰＬが動作を停止する。一方、図５に示す画面においてユーザが「完了」ボタンＢ８をタップすると、図４Ｃに示す画像に領域の指定情報が追加された画像が表示される。この状態でユーザが「検索実行」ボタンＢ５をタップすると、切り出された画像のデータ（或いは元画像のデータに切り出し領域の指定が付与されたもの）が、画像の検索用情報としてコンテンツ検索サーバ１００に送信される。図６は、「検索実行」ボタンＢ５がタップされ、画像の検索用情報がコンテンツ検索サーバ１００に送信され、検索結果を待つ間に表示される画面の一例を示す図である。

［コンテンツ検索サーバ１００］
図３に戻り、コンテンツ検索サーバ１００の構成について説明する。コンテンツ検索サーバ１００は、検索サーバ側通信部１１０と、記憶部１２０と、類似画像検索部１３０と、電子コンテンツ検索部１３２と、検索結果送信制御部１３４とを備える。

検索サーバ側通信部１１０は、例えば、ネットワークＮＷに接続するためのネットワークカードなどを含む。記憶部１２０は、例えば、ＨＤＤやＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどを含み、コンテンツ検索サーバ１００のＣＰＵが実行するプログラムやＣＰＵの処理結果が格納される他、画像データベース１２２、電子コンテンツデータベース１２４を格納する。なお、プログラムを格納する記憶装置とデータベースを格納する記憶装置は別体であってよい。

類似画像検索部１３０、電子コンテンツ検索部１３２、および検索結果送信制御部１３４は、例えば、記憶部１２０に格納されたプログラムをＣＰＵが実行することにより機能するソフトウェア機能部である。類似画像検索部１３０は、検索サーバ側通信部１１０が端末装置１から受信した画像の検索用情報に基づく画像（画像が送信されて来た場合は、画像そのものであり、画像の特徴量が送信されて来た場合は、当該特徴量を有する仮想的な画像を意味する）に画像特徴が同一または類似する画像を、画像データベース１２２から抽出する。画像データベース１２２は、電子コンテンツに含まれる画像を集めたものであり、コンテンツ検索サーバ１００の外部に存在する記憶装置に格納されたものを含んでよい。また、画像データベース１２２は、コンテンツ検索サーバ１００の外部に存在する記憶装置に格納された画像の所在（ＵＲＬ）を記述したものであってよい。

類似画像検索部１３０は、例えば以下のような手法により、類似画像（部分的に一致する画像を含む）の検索を行う。画像と画像の類似度を算出するために用いる特徴量としては、色、形状、位置などが挙げられ、類似度はユークリッド距離などの距離を演算したり、内積を求めたりすることにより求められる。類似画像検索部１３０は、比較対象となる画像を複数の領域にそれぞれ分割し、各々の領域の代表色や平均色の値を比較することで、色に関する類似度を算出することができる。これによって、例えば、「画像の下側が赤い」画像同士の類似度が高く算出される。また、類似画像検索部１３０は、輪郭抽出を行い、色情報と同様に分割された領域のどこに輪郭が位置するかを比較したり、高次局所自己相関特徴（HLAC）のように形状の自己相関性に着目した特徴量で位置に依存しない特徴量を使って比較したりすることで、形状に関する類似度を算出することができる。また、類似画像検索部１３０は、色に関する特徴量と形状に関する特徴量を要素とする、特徴量ベクトルを入力画像Ｘ、参照画像Ｙ（画像データベース１２２に登録されている画像）の双方について作成し、特徴量ベクトルの距離ｄ（式（１）参照）が小さいほど類似度を高く算出したり、内積Ｓ（式（２）参照）を類似度として算出したりすることできる。類似画像検索部１３０は、模様や質感についても同様に特徴量を算出し、ベクトルの要素として追加してよい。類似画像検索部１３０は、このように種々の手法、或いはこれらの組み合わせにより算出される入力画像との類似度が閾値以上の画像を、画像データベース１２２から類似画像として抽出する。

ここで、端末装置１において、撮像部１０の撮像画像などから直接、画像の検索用情報を生成するモード（段落［００２３］参照）について説明する。このモードにおいて端末装置１は、例えば、撮像部１０の撮像画像、或いは撮像前においてタッチパネル３０に光景が表示されている画像から、上記「画像と画像の類似度を算出するために用いる特徴量」を算出し、算出した特徴量を、画像の検索用情報としてコンテンツ検索サーバ１００に送信する。なお、このモードにおいても、撮像部１０が撮像し記憶部２０に格納された画像を、図４Ｃに示す態様でタッチパネル３０に表示させ、画像の切り出し処理を行ってよい。

電子コンテンツ検索部１３２は、類似画像を含み、類似画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツデータベース１２４から抽出する。電子コンテンツデータベース１２４では、例えば、各電子コンテンツの所在（ダウンロードページのＵＲＬなど）や書誌情報（題名、版数、提供元、作成者（著者）、有効期限など）が特定されている他、電子コンテンツと画像との対応付けがなされている。また、これに限らず、電子コンテンツ検索部１３２は、類似画像と、電子コンテンツの各ページとをパターンマッチングし、類似ページが含まれるか否かを判定してもよい。また、コンテンツ検索サーバ１００は、有効期限が切れた電子コンテンツ（バックナンバーとして配信可能なものを除く）を、抽出対象外としてもよいし、電子コンテンツデータベース１２４から削除してもよい。後者の場合、コンテンツ検索サーバ１００は、削除する電子コンテンツに対応する画像を画像データベース１２２から削除してよい。なお、図３では、便宜上、画像データベース１２２と電子コンテンツデータベース１２４を分けて記載したが、これらは統合され、各画像の情報に、出展元の電子コンテンツを示す情報が付与されたようなデータ構造を有してもよい。

検索結果送信制御部１３４は、電子コンテンツに係る画像と、電子コンテンツの所在を示す情報（以下、これらを検索結果と称する）、その他、電子コンテンツの書誌情報などを、端末装置１に送信するように検索サーバ側通信部１１０を制御する。「電子コンテンツに係る画像」とは、電子コンテンツに含まれる類似画像であってもよいし、電子コンテンツの表紙の画像であってもよいし、電子コンテンツの複数のページを圧縮して１ページにまとめた画像であってもよいし、他の態様の画像であってもよい。１つの電子コンテンツに対応して複数の類似画像が存在する場合もあり得るが、この場合、検索結果送信制御部１３４は、複数の類似画像と、それぞれに対応する情報としての電子コンテンツの所在を示す情報を端末装置１に送信する。

また、検索結果送信制御部１３４は、電子コンテンツ検索部１３２により抽出された電子コンテンツが複数存在する場合は、その電子コンテンツに含まれる類似画像の類似度が高いものから順序付けを行い、電子コンテンツに係る画像と、電子コンテンツの所在を示す情報とを、順序付けの結果と共に端末装置１に送信させる。また、検索結果送信制御部１３４は、電子コンテンツに係る画像として類似画像を送信させる場合は、類似画像に対して類似度に基づく順序付けを行い、順序付けの結果を端末装置１に送信させてもよい。また、検索結果送信制御部１３４は、電子コンテンツ検索部１３２により抽出された電子コンテンツ（電子コンテンツに係る画像として類似画像を送信する場合は、類似画像）が所定数を超える場合は、類似度が低いものから順に、所定数を超えた分の電子コンテンツ（同上）を除外して端末装置１に送信させてよい。

［コンテンツ提供サーバ２００］
コンテンツ提供サーバ２００は、例えば、提供サーバ側通信部２１０と、電子コンテンツ記憶部２２０と、画像入力部２３０と、原稿入力部２３２と、書誌情報入力部２３４と、レイアウト情報入力部２３６と、変換処理部２３８と、を備える。コンテンツ提供サーバ２００は、例えば、電子コンテンツの一例である商品の電子カタログを提供する、商品の販売事業者によって運営される。

提供サーバ側通信部２１０は、例えば、ネットワークＮＷに接続するためのネットワークカードなどを含む。電子コンテンツ記憶部２２０には、コンテンツ提供サーバ２００が提供する電子コンテンツが格納されている。画像入力部２３０、原稿入力部２３２、書誌情報入力部２３４、レイアウト情報入力部２３６、および変換処理部２３８は、図示しない記憶部に格納されたプログラムをコンテンツ提供サーバ２００のＣＰＵが実行することにより機能するソフトウェア機能部である。

画像入力部２３０は、オペレータによる画像の入力を受け付ける。原稿入力部２３２は、オペレータによる原稿の入力を受け付ける。書誌情報入力部２３４は、オペレータによる書誌情報の入力を受け付ける。レイアウト情報入力部２３６は、オペレータによるレイアウト情報（画像や原稿を電子コンテンツの各ページのどの位置に配置するか）の入力を受け付ける。変換処理部２３８は、各部によって受け付けられた情報を、ネットワークＮＷを介して端末装置１に提供可能なフォーマットに変換し、電子コンテンツ記憶部２２０に格納する。

画像入力部２３０が入力を受け付けた画像は、コンテンツ検索サーバ１００に送信され、画像データベース１２２に反映されてよい。また、書誌情報入力部２３４が入力を受け付けた書誌情報は、コンテンツ検索サーバ１００に送信され、電子コンテンツデータベース１２４に反映されてよい。コンテンツ検索サーバ１００は、例えばこのような流れによって、画像データベース１２２および電子コンテンツデータベース１２４として必要な情報を収集することができる。

［検索結果表示］
再度、端末装置１における処理について説明する。検索結果を端末側通信部４０が受信すると、端末装置１の検索結果表示制御部５２（図３参照）は、検索結果に含まれる画像をタッチパネル３０に表示させる。図７は、検索結果を受信した端末装置１により表示される画面の一例を示す図である。図７に示す画面には、画像の検索用情報としてコンテンツ検索サーバ１００に送信された画像ＩＭ１、および、類似画像ＩＭ２〜ＩＭ５が表示されている。これらの類似画像ＩＭ２〜ＩＭ５は、同じ電子コンテンツに含まれる場合もあるし、それぞれ異なる電子コンテンツに含まれる場合もあり得る。類似画像ＩＭ２〜ＩＭ５は、類似度に応じて例えば左から順に並べられている。このようなレイアウトは、検索結果表示制御部５２により予め設定されており、検索結果表示制御部５２は、コンテンツ検索サーバ１００から受信した「順序付けの結果」に基づいて、受信した類似画像をそれぞれの位置に配置する。

図７に示す画面において、ユーザがいずれかの類似画像を選択してダウンロード指示を行うと、端末装置１のコンテンツ表示制御部５４は、コンテンツ提供サーバ２００にＨＴＴＰリクエストを送信する。コンテンツ提供サーバ２００は、これに応じて、指定された電子コンテンツを端末装置１に送信する。コンテンツ表示制御部５４は、端末側通信部４０が受信した電子コンテンツを、タッチパネル３０に表示させる。図８は、タッチパネル３０において電子コンテンツが表示された画面の一例を示す図である。図８の画面における、「○○‥」と表記された部分には、商品の価格、素材、サイズ、色など、商品を説明するテキスト情報が掲載されている。なお、電子コンテンツが対応付けられていない類似画像が「検索結果」に含まれてもよく、この場合、類似画像を選択してダウンロード指示が行われると、エラー表示などが行われる。

［フローチャート］
以下、本実施形態のコンテンツ検索システムにおいて実行される処理の流れを、フローチャートの形式で説明する。図９は、端末装置１により実行される処理の流れを示すフローチャートの一例である。図９のフローチャートの処理は、コンテンツ検索アプリＡＰＬが起動したときに開始される。

まず、端末装置１の画像指定受付部５０は、ユーザにより、新規撮像により画像の検索用情報の指定することが選択されたか否かを判定する（ステップＳ４００）。具体的には、画像指定受付部５０は、図４Ａに示す画面において「カメラ」ボタンＢ２がタップされたか、或いは「画像を開く」ボタンＢ１がタップされたかを判定する。

「カメラ」ボタンＢ２がタップされた場合、画像指定受付部５０は、ユーザにより撮像が行われるまで待機し（ステップＳ４０２）、撮像された画像をタッチパネル３０に表示させる（ステップＳ４０８；図４Ｃ）。なお、前述したように、この場合には画像の特徴量を端末装置１で算出し、撮像を行わないことも可能であるが、図９のフローチャートでは、これについての記載を省略している。一方、「画像を開く」ボタンＢ１がタップされた場合、画像指定受付部５０は、記憶部２０に格納された画像の一覧をタッチパネル３０に表示させ（ステップＳ４０４；図４Ｂ）、ユーザが、一覧表示された画像のうちいずれかの画像を選択するまで待機する（ステップＳ４０６）。いずれかの画像が選択されると、画像指定受付部５０は、選択された画像をタッチパネル３０に表示させる（ステップＳ４０８；図４Ｃ）。

次に、画像指定受付部５０は、ユーザにより領域指定が指示されたか否かを判定する（ステップＳ４１０）。具体的には、画像指定受付部５０は、図４Ｃに示す画面においてユーザが「領域指定」ボタンＢ４をタップしたか否かを判定する。「領域指定」ボタンＢ４がタップされた場合、画像指定受付部５０は、領域指定処理（画像の切り出し処理）を実行する（ステップＳ４１２；図５）。

次に、画像指定受付部５０は、ユーザにより、やり直しの操作がなされたか否かを判定する（ステップＳ４１４）。ユーザにより、やり直しの操作がなされた場合、ステップＳ４００に戻る。なお、このようなやり直し／キャンセル等の処理が行われるタイミングは、図９のフローチャートの処理が実行される中で任意のタイミングでよく、領域指定の後に限られない。

次に、画像指定受付部５０は、ユーザにより検索実行が指示されたか否かを判定する（ステップＳ４１６）。ユーザにより検索実行が指示されない場合、ステップＳ４１４に戻る。ユーザにより検索実行が指示されると、画像指定受付部５０は、画像の検索用情報をコンテンツ検索サーバ１００に送信し（ステップＳ４１８）、検索結果を受信するまで待機する（ステップＳ４２０；図６）。

検索結果を受信すると、端末装置１の検索結果表示制御部５２は、受信した検索結果を所定のレイアウトでタッチパネル３０に表示させる（ステップＳ４２２）。次に、端末装置１のコンテンツ表示制御部５４は、ユーザによりダウンロード指示がなされるまで待機し（ステップＳ４２４）、ユーザによりダウンロード指示がなされると、コンテンツ提供サーバ２００に送信要求（ＨＴＴＰリクエスト）を行う（ステップＳ４２６）。そして、コンテンツ表示制御部５４は、電子コンテンツを受信するまで待機し（ステップＳ４２８）、電子コンテンツを受信すると、例えばＷｅｂブラウザを起動し、受信した電子コンテンツをタッチパネル３０に表示させる（ステップＳ４３０）。

なお、電子書籍などの電子コンテンツは、有償で提供される場合がある。この場合、コンテンツ表示制御部５４は、決済処理などを含めた処理を行う。上記ステップＳ４２６において、ユーザにより類似画像が選択されると、コンテンツ表示制御部５４は、類似画像の識別情報である画像ＩＤを取得し、その類似画像のＩＤを電子書籍の識別情報である書籍ＩＤに変換し、書籍ＩＤをダウンロードページのＵＲＬに変換する。そして、端末装置１はダウンロードページを表示して、ユーザにより決済処理のための操作が行われた後に、電子コンテンツのダウンロードを行う。

一方、図１０は、コンテンツ検索サーバ１００により実行される処理の流れを示すフローチャートの一例である。まず、類似画像検索部１３０が、画像の検索用情報に基づいて、画像データベース１２２から類似画像を抽出する（ステップＳ５００）。次に、電子コンテンツ検索部１３２が、電子コンテンツデータベースから類似画像を含む電子コンテンツを抽出する（ステップＳ５０２）。

次に、検索結果送信制御部１３４が、ステップＳ５００において抽出された類似画像を、類似度の順にソートし（ステップＳ５０４）、類似画像の数が閾値（例えば、１０個程度）を超えるか否かを判定する（ステップＳ５０６）。類似画像の数が閾値を超える場合、検索結果送信制御部１３４は、類似度が低いものから順に、閾値を超えた分の類似画像を削除する（ステップＳ５０８）。そして、検索結果送信制御部１３４は、類似画像と電子コンテンツ（の所在を示す情報）を対応付けて、端末装置１に送信するように検索サーバ側通信部１１０を制御する（ステップＳ５１０）。

［まとめ］
以上説明した第１実施形態のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムによれば、端末装置１から受信した画像の検索用情報に基づき類似画像を検索し、類似画像を含み類似画像に関連する複数の画像が掲載された電子コンテンツを抽出し、電子コンテンツの所在情報を端末装置１に送信するため、ユーザが、自分の指定した画像と同一または類似する画像だけでなく、例えば同じブランドの商品や同じカテゴリーの商品の画像など、関連する画像を一覧したいと望むようなニーズに対応することができる。また、ユーザが、例えば購入を望む商品が売り切れになっているため、似たような商品を購入したいといったニーズにも対応することができる。

また、ユーザが、漫画や絵画などの電子書籍を購入したいが、電子書籍の書誌情報が不明であるといった状況において、ユーザがインターネットなどで取得した画像の一部でも保持していれば、これを含む電子書籍に関する情報をユーザに提供することができる。

これらの結果、第１実施形態のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムは、ユーザのニーズに適切に対応することができる。

なお、テキスト情報を入力すると、当該テキスト情報が記載されている書籍を検索し、該当するページを表示するシステムが知られている。これに対し、本実施形態のコンテンツ検索システムは、画像を検索対象とすることで、画像の部分一致でも抽出が可能であるという優位な点を有している。すなわち、本実施形態のコンテンツ検索システムは、人物の上半身の画像から、その画像を含む全身の画像を抽出したり、全身の画像から上半身の画像を抽出したりすることができる。また、本実施形態のコンテンツ検索システムは、輪郭、色、配置など、テキストの変形とは異なる範囲での類似性に基づいて、類似画像を抽出することができる。

＜第２実施形態＞
以下、本発明の第２実施形態に係るコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムについて説明する。端末装置１やコンテンツ検索サーバ１００の基本的な機能については第１実施形態と共通するため、図３などを参照し、同じ符号を用いて説明する。

第２実施形態に係る端末装置１の画像指定受付部５０は、１回の「検索実行」に際して、一または複数の画像（または特徴量）をユーザに指定させる。そして、一または複数の画像（または特徴量）を、画像の検索用情報としてコンテンツ検索サーバ１００に送信させる。これを受信したコンテンツ検索サーバ１００の類似画像検索部１３０は、複数の画像（または特徴量）を受信した場合、複数の画像に係る画像の検索用情報のそれぞれについて、類似度を算出し、類似度が閾値以上の画像を、画像データベース１２２から類似画像として抽出する。

検索結果送信制御部１３４は、第１実施形態と同様に類似画像を類似度の順にソートするが、この際に、端末装置１から受信した複数の画像に重複して類似する類似画像については、複数の画像に対応した類似度を加算して類似度を再計算する。図１１は、第２実施形態に係る検索結果送信制御部１３４により実行される処理の内容を模式的に示す図である。図１１に示すように、端末装置１から受信した受信画像１との類似度および受信画像２との類似度が共に５０である類似画像Ａの類似度は、５０と５０を加算して１００と再計算され、受信画像２のみとの類似度が７０である類似画像Ｂ、受信画像３のみとの類似度が８０である類似画像Ｃよりも類似度が高いものとして順序付けされる。なお、単なる「加算」ではなく、加算した後に所定の係数を乗じたり、所定値未満の類似度は無視したりするなどの演算内容の調整は許容される。

これによって、本実施形態のコンテンツ検索システムは、ユーザが望むであろう可能性が高い画像を、高い順位でユーザに提示することができる。従って、ユーザのニーズに、より適切に対応することができる。

以上説明した第２実施形態のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムによれば、第１実施形態と同様に、ユーザのニーズに適切に対応することができる。また、端末装置１から受信した複数の画像に重複して類似する類似画像については、複数の画像に対応した類似度を加算して類似度を再計算するため、ユーザのニーズに、より適切に対応することができる。

＜第３実施形態＞
以下、本発明の第３実施形態に係るコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムについて説明する。端末装置１やコンテンツ検索サーバ１００の基本的な機能については第１実施形態と共通するため、図３などを参照し、同じ符号を用いて説明する。

第３実施形態に係る端末装置１の画像指定受付部５０は、ユーザによる検索実行の指示を受け付ける際に、類似度の算出条件（類似画像の抽出条件）の指定を受け付ける。図１２は、画像指定受付部５０が類似度の算出条件の指定を受け付ける際にタッチパネル３０により表示される画面の一例を示す図である。図１２に示すように、第３実施形態に係る端末装置１のユーザは、コンテンツ検索サーバ１００の類似画像検索部１３０が類似度を算出する際に、どの要素（図１２では色と形状）を重視するかを指定することができる。例えば、［色：７５％ 形：２５％］をユーザが指定した場合、類似画像検索部１３０は、色に関する類似度に０.７５を乗算した値と、形状に関する類似度に０.２５を乗算した値とを加算した値に基づき、類似度を算出する。画像指定受付部５０は、このように指定された類似度の算出条件を、コンテンツ検索サーバ１００に送信させる。類似画像検索部１３０が、端末装置１から受信した類似度の算出条件を反映させて、類似画像の抽出を行う。

これによって、本実施形態のコンテンツ検索システムは、ユーザが重視する要素の比率を大きくした類似画像の抽出処理を行うことができ、ユーザのニーズに、より適切に対応することができる。

以上説明した第３実施形態のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムによれば、第１実施形態と同様に、ユーザのニーズに適切に対応することができる。また、ユーザが重視する要素の重み付けを大きくした類似画像の抽出処理を行うため、ユーザのニーズに、より適切に対応することができる。

＜第４実施形態＞
以下、本発明の第４実施形態に係るコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムについて説明する。端末装置１やコンテンツ検索サーバ１００の基本的な機能については第１実施形態と共通するため、図３などを参照し、同じ符号を用いて説明する。

第４実施形態に係るコンテンツ検索サーバ１００の電子コンテンツデータベース１２４には、電子コンテンツとしての電子カタログの版数が記憶されている。そして、検索結果送信制御部１３４は、類似画像を含む電子カタログが、版数を重ねた電子カタログのうち、古い時期に提供されたものである場合、同じシリーズの電子カタログを最新のものから順に並べ、これらをダウンロードするための情報を端末装置１に送信する。

これによって、本実施形態のコンテンツ検索システムは、ユーザが、既に販売終了している商品と同じものでなくとも、似た商品があるかどうか調べたいといったニーズに、適切に対応することができる。

以上説明した第４実施形態のコンテンツ検索システム、コンテンツ検索サーバ、端末装置、コンテンツ検索方法、およびコンテンツ検索プログラムによれば、第１実施形態と同様に、ユーザのニーズに適切に対応することができる。また、類似画像を含む電子カタログが、版数を重ねた電子カタログのうち、古い時期に提供されたものである場合、同じシリーズの電子カタログを最新のものから順に並べ、これらをダウンロードするための情報を端末装置１に送信するため、ユーザのニーズに、より適切に対応することができる。

＜変形等＞
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上記各実施形態では、コンテンツ検索サーバ１００が、類似画像と、電子コンテンツの所在情報とを併せて端末装置１に送信するものとして説明したが、まず類似画像のみ送信し、端末装置１においてユーザがいずれかの類似画像を指定し、端末装置１から類似画像を指定する情報が送られて来た後に、その類似画像を含む電子コンテンツを端末装置１に送信してもよい。図１３は、本発明に係るコンテンツ検索システムの基本的な動作を示すシーケンス図の他の例である。まず、端末装置１が、ユーザによる画像の検索用情報の指定を受け付け（ステップＳ６００）、受け付けた情報をコンテンツ検索サーバ１００に送信する（ステップＳ６０２）。コンテンツ検索サーバ１００は、受信した画像の検索用情報に基づく画像に、画像特徴が類似する類似画像を画像群から抽出し（ステップＳ６０４）、抽出した類似画像を、類似度に応じて順序付けや削除等を行った後に、端末装置１に送信する（ステップＳ６０６）。端末装置１では、受信した類似画像をタッチパネル３０に表示させ（ステップＳ６０８）、ユーザによる類似画像を指定する操作を受け付けると（ステップＳ６１０）、類似画像を指定する情報をコンテンツ検索サーバ１００に送信する（ステップＳ６１２）。コンテンツ検索サーバ１００は、端末装置１において指定された類似画像を含み、この類似画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出し（ステップＳ６１４）抽出した電子コンテンツの所在情報を、端末装置１に送信する（ステップＳ６１６）。端末装置１は、受信した電子コンテンツの所在情報に基づいて、電子コンテンツの送信要求（ＨＴＴＰリクエスト）をコンテンツ提供サーバ２００に送信する（ステップＳ６１８）。なお、ステップＳ６１８の処理は、ユーザには処理過程を見せずにバックグラウンドで行われてよい。コンテンツ提供サーバ２００は、送信要求がなされた電子コンテンツを端末装置１に送信する（ステップＳ６２０）。そして、端末装置１は、受信した電子コンテンツをタッチパネル３０に表示させる（ステップＳ６２２）。

また、コンテンツ検索サーバ１００は、ユーザの個人情報（年齢、性別など）が特定可能である場合、これに応じて類似画像や電子コンテンツの抽出条件を絞りこんでもよい。また、コンテンツ検索サーバ１００は、ユーザが入力したテキスト情報（例えば、「衣服」など）に基づいて、類似画像や電子コンテンツの抽出条件（カテゴリ）を絞りこんでもよい。この場合、以下のような処理が可能となる。図１４は、コンテンツ検索サーバ１００により実行される処理の流れを示すフローチャートの他の例である。まず、類似画像検索部１３０が、画像の検索用情報に基づいて、画像データベース１２２から類似画像を抽出する（ステップＳ７００）。次に、電子コンテンツ検索部１３２が、電子コンテンツデータベースから類似画像を含む電子コンテンツを抽出する（ステップＳ７０２）。次に、検索結果送信制御部１３４が、ステップＳ５００において抽出された類似画像を、類似度の順にソートし（ステップＳ７０４）、類似画像の数が閾値（例えば、１０個程度）を超えるか否かを判定する（ステップＳ７０６）。類似画像の数が閾値を超える場合、検索結果送信制御部１３４は、上記入力されたカテゴリや個人情報に合致しない類似画像から順に、閾値を超えた分の類似画像を削除する（ステップＳ７０８）。なお、カテゴリや個人情報に合致しない類似画像については、類似度に基づいて削除する類似画像を選択してよい。そして、検索結果送信制御部１３４は、類似画像と電子コンテンツ（の所在を示す情報）を対応付けて、端末装置１に送信するように検索サーバ側通信部１１０を制御する（ステップＳ７１０）。

また、第３実施形態では、端末装置１において、類似画像検索部１３０が類似画像を抽出する際の抽出条件を指定可能であるものとしたが、コンテンツ検索サーバ１００に対して、同じように類似画像検索部１３０が類似画像を抽出する際の抽出条件を指定可能としてもよい。こうすれば、例えば特定の色の衣服のみが売り切れである場合に、販売事業者の側から、色の要素の比率を小さくして類似画像検索部１３０に類似画像を抽出させるといった操作が可能となる。

（付記１）
ネットワーク（ＮＷ）に接続される端末側通信部（４０）と、ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報を前記コンテンツ検索サーバに送信するように前記端末側通信部を制御する端末側制御部（５０）と、前記ネットワークを介して端末側通信部が受信した電子コンテンツを表示する表示部（３０、５４）と、を有する端末装置（１）と、前記ネットワークを介して前記端末装置と通信するサーバ側通信部（１１０）と、前記サーバ側通信部が受信した前記画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群（１２２）から抽出する類似画像検索部（１３０）と、前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群（１２４）から抽出する電子コンテンツ検索部（１３２）と、前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部（１３４）と、を有するコンテンツ検索サーバ（１００）と、を備えるコンテンツ検索システム。
（付記２）
付記１記載のコンテンツ検索システムであって、前記送信制御部は、前記抽出した電子コンテンツに係る画像を簡易化した画像の情報と、前記抽出した電子コンテンツの所在を含む情報とを前記端末装置に送信するように前記サーバ側通信部を制御する、コンテンツ検索システム。
（付記３）
付記２記載のコンテンツ検索システムであって、前記送信制御部は、前記抽出した電子コンテンツが複数存在する場合、該複数の電子コンテンツのそれぞれをダウンロードするための情報を、所定の規則に従って決定された順序付けと共に前記端末装置に送信するように前記サーバ側通信部を制御する、コンテンツ検索システム。
（付記４）
付記３記載のコンテンツ検索システムであって、前記類似画像検索部は、前記サーバ側通信部が複数の画像の検索用情報を受信したとき、前記複数の画像の検索用情報に基づく複数の画像にそれぞれ画像特徴が類似する画像を画像群から抽出し、前記送信制御部は、前記類似画像検索部により抽出された画像のうち、前記複数の画像の検索用情報に基づく複数の画像に共通して画像特徴が類似する画像を含む電子コンテンツの所在情報に対して上位の順序を付与して前記端末装置に送信するように前記サーバ側通信部を制御する、コンテンツ検索システム。
（付記５）
付記１から４のうちいずれか１項記載のコンテンツ検索システムであって、前記電子コンテンツは、販売事業者のサーバによって提供される電子カタログである、コンテンツ検索システム。
（付記６）
付記５記載のコンテンツ検索システムであって、前記送信制御部は、前記電子カタログが版を重ねて提供されている場合、最新の電子カタログをダウンロードするための情報を優先的に前記端末装置に送信するように前記サーバ側通信部を制御する、コンテンツ検索システム。
（付記７）
付記１から６のうちいずれか１項記載のコンテンツ検索システムであって、前記端末側制御部は、ユーザによる画像の検索用情報の指定と共に、前記サーバ側制御部が前記類似する画像を画像群から抽出する際の抽出条件の指定を受け付け、該指定された画像の検索用情報および抽出条件を前記コンテンツ検索サーバに送信するように前記端末側通信部を制御し、前記類似画像検索部は、前記サーバ側通信部が受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を、前記サーバ側通信部が受信した抽出条件に基づいて画像群から抽出する、コンテンツ検索システム。
（付記８）
ネットワークを介して端末装置と通信するサーバ側通信部と、前記サーバ側通信部が受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出する類似画像検索部と、前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する電子コンテンツ検索部と、前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部と、を有するコンテンツ検索サーバ。
（付記９）
ネットワークに接続される端末側通信部と、ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報を付記８記載のコンテンツ検索サーバに送信するように前記端末側通信部を制御する端末側制御部と、前記ネットワークを介して端末側通信部が受信した電子コンテンツを表示する表示部と、を有する端末装置。
（付記１０）
コンピュータが、端末装置から受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出し、該抽出した画像を含み該抽出した画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出し、該抽出した電子コンテンツの所在情報を前記端末装置に送信する、コンテンツ検索方法。
（付記１１）
コンピュータに、端末装置から受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出させ、該抽出した画像を含み該抽出した画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出させ、該抽出した電子コンテンツの所在情報を前記端末装置に送信させる、コンテンツ検索プログラム。
（付記１２）
ネットワークに接続される端末側通信部と、ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報をサーバ装置に送信するように前記端末側通信部を制御する端末側制御部と、ネットワークを介して端末側通信部が受信した電子コンテンツであって、前記サーバ装置において前記画像の検索用情報に基づく画像に画像特徴が類似する画像が抽出され、抽出された類似画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを表示する表示部と、を有し、前記端末側制御部は、ユーザによる、前記サーバ装置において画像特徴が類似する画像を抽出するための抽出条件の指定を受け付ける、端末装置。

１‥端末装置、１０‥撮像部、２０‥記憶部、３０‥タッチパネル、４０‥端末側通信部、５０‥画像指定受付部、５２‥検索結果表示制御部、５４‥コンテンツ表示制御部、１００‥コンテンツ検索サーバ、１１０‥検索サーバ側通信部、１２０‥記憶部
１２２‥画像データベース、１２４‥電子コンテンツデータベース、１３０‥類似画像検索部、１３２‥電子コンテンツ検索部、１３４‥検索結果送信制御部、２００‥コンテンツ提供サーバ、ＮＷ‥ネットワーク

Claims (11)

1. ネットワークに接続される端末側通信部と、
   ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報を前記コンテンツ検索サーバに送信するように前記端末側通信部を制御する端末側制御部と、
   前記ネットワークを介して端末側通信部が受信した電子コンテンツを表示する表示部と、
   を有する端末装置と、
   前記ネットワークを介して前記端末装置と通信するサーバ側通信部と、
   前記サーバ側通信部が受信した前記画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出する類似画像検索部と、
   前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する電子コンテンツ検索部と、
   前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部と、
   を有するコンテンツ検索サーバと、
   を備えるコンテンツ検索システム。
2. 請求項１記載のコンテンツ検索システムであって、
   前記送信制御部は、前記抽出した電子コンテンツに係る画像の情報と、前記抽出した電子コンテンツの所在を含む情報とを前記端末装置に送信するように前記サーバ側通信部を制御する、
   コンテンツ検索システム。
3. 請求項２記載のコンテンツ検索システムであって、
   前記送信制御部は、前記抽出した電子コンテンツが複数存在する場合、該複数の電子コンテンツのそれぞれをダウンロードするための情報を、所定の規則に従って決定された順序付けと共に前記端末装置に送信するように前記サーバ側通信部を制御する、
   コンテンツ検索システム。
4. 請求項３記載のコンテンツ検索システムであって、
   前記類似画像検索部は、前記サーバ側通信部が複数の画像の検索用情報を受信したとき、前記複数の画像の検索用情報に基づく複数の画像にそれぞれ画像特徴が類似する画像を画像群から抽出し、
   前記送信制御部は、前記類似画像検索部により抽出された画像のうち、前記複数の画像の検索用情報に基づく複数の画像に共通して画像特徴が類似する画像を含む電子コンテンツの所在情報に対して上位の順序を付与して前記端末装置に送信するように前記サーバ側通信部を制御する、
   コンテンツ検索システム。
5. 請求項１から４のうちいずれか１項記載のコンテンツ検索システムであって、
   前記電子コンテンツは、販売事業者のサーバによって提供される電子カタログである、
   コンテンツ検索システム。
6. 請求項５記載のコンテンツ検索システムであって、
   前記送信制御部は、前記電子カタログが版を重ねて提供されている場合、最新の電子カタログをダウンロードするための情報を優先的に前記端末装置に送信するように前記サーバ側通信部を制御する、
   コンテンツ検索システム。
7. 請求項１から６のうちいずれか１項記載のコンテンツ検索システムであって、
   前記端末側制御部は、ユーザによる画像の検索用情報の指定と共に、前記サーバ側制御部が前記類似する画像を画像群から抽出する際の抽出条件の指定を受け付け、該指定された画像の検索用情報および抽出条件を前記コンテンツ検索サーバに送信するように前記端末側通信部を制御し、
   前記類似画像検索部は、前記サーバ側通信部が受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を、前記サーバ側通信部が受信した抽出条件に基づいて画像群から抽出する、
   コンテンツ検索システム。
8. ネットワークを介して端末装置と通信するサーバ側通信部と、
   前記サーバ側通信部が受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出する類似画像検索部と、
   前記類似画像検索部により抽出された画像を含み該抽出された画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出する電子コンテンツ検索部と、
   前記電子コンテンツ検索部により抽出された電子コンテンツの所在情報を前記端末装置に送信するように前記サーバ側通信部を制御する送信制御部と、
   を有するコンテンツ検索サーバ。
9. ネットワークに接続される端末側通信部と、
   ユーザによる画像の検索用情報の指定を受け付け、該指定された画像の検索用情報を請求項８記載のコンテンツ検索サーバに送信するように前記端末側通信部を制御する端末側制御部と、
   前記ネットワークを介して端末側通信部が受信した電子コンテンツを表示する表示部と、
   を有する端末装置。
10. コンピュータが、
    端末装置から受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出し、
    該抽出した画像を含み該抽出した画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出し、
    該抽出した電子コンテンツの所在情報を前記端末装置に送信する、
    コンテンツ検索方法。
11. コンピュータに、
    端末装置から受信した画像の検索用情報に基づく画像に画像特徴が類似する画像を画像群から抽出させ、
    該抽出した画像を含み該抽出した画像に関連する複数の画像が掲載された電子コンテンツを電子コンテンツ群から抽出させ、
    該抽出した電子コンテンツの所在情報を前記端末装置に送信させる、
    コンテンツ検索プログラム。

Images