JP2010015280A - サーバ、端末装置、プログラム、情報記憶媒体及び画像検索方法 - Google Patents

Abstract

【課題】画像検索の曖昧さを有効活用したサーバ、端末装置等の提供。
【解決手段】サーバは、検索対象画像についての送信データをネットワーク１０を介して受信する処理を行う受信処理部２０４と、検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から検索対象画像に類似する複数の類似画像を検索する画像認識部２０６と、複数の類似画像のうちの第１の類似画像に対しては、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、複数の類似画像のうちの第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成するデータ作成部２１４を含む。
【選択図】図１

Description

本発明は、サーバ、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。

従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮った画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。

しかしながら、画像認識処理では、撮った画像から、それに対応する商品を正確に特定することは難しいという課題がある。このため特許文献１では、画像認識率の向上のために、撮影時に調整を行うなどの様々な工夫を行っている。

このように、これまでの画像認識処理を利用した画像検索システムでは、撮影した被写体を如何にして正確に特定するかという点に注力が注がれており、画像検索の曖昧さを逆利用するというような発想は無かった。

特開２００３−１２２７５７号公報

本発明の幾つかの態様によれば、画像検索の曖昧さを有効活用したサーバ、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。

本発明は、検索対象画像の類似画像の検索処理を行うサーバであって、前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、前記複数の類似画像の各類似画像に対して、前記各類似画像に対応する複数のリンク先を提示するためのハブ画面情報が関連づけられた類似検索結果データを作成するデータ作成部とを含み、前記データ作成部は、前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成するサーバに関係する。

本発明によれば、検索対象画像についての送信データを受信すると、画像認識処理が行われて、検索対象画像に類似する複数の類似画像が検索される。そして複数の類似画像の各類似画像に対してハブ画面情報が関連づけられた類似検索結果データが作成される。この場合に、第１の類似画像に対しては、それに対応するリンク先を提示するための第１のハブ画面情報が関連づけられ、第２の類似画像に対しては、それに対応するリンク先を提示するための第２のハブ画面情報が関連づけられる。従って、検索対象画像の複数の類似画像の各類似画像毎に異なるリンク先が提示されるハブ画面の表示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。

また本発明では、前記データ作成部は、前記第１のハブ画面情報に設定される複数のリンク先と、前記第２のハブ画面情報に設定される複数のリンク先とが、少なくともその一部のリンク先が異なるように、類似検索結果データを作成してもよい。

このようにすれば、第１のハブ画面により提示されるリンク先と第２のハブ画面により提示されるリンク先を異ならせることができ、ユーザを異なるリンク先に導くことが可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。

また本発明では、前記データ作成部は、前記第１のハブ画面情報には、前記第１の類似画像に関連づけられたタグに対応する複数のリンク先が設定され、前記第２のハブ画面情報には、前記第２の類似画像に関連づけられたタグに対応する複数のリンク先が設定されるように、類似検索結果データを作成してもよい。

このようにすれば、第１のハブ画面では、第１の類似画像のタグに対応するリンク先を提示でき、第２のハブ画面では、第２の類似画像のタグに対応するリンク先を提示できるため、各類似画像に関連づけられたタグに応じたリンク先にユーザを導くことが可能になる。

また本発明では、検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行うタグ処理部を含み、前記データ作成部は、ソーティングされた前記複数のタグを含む類似検索結果データを作成してもよい。

このようにすれば、類似画像から取得された複数のタグに基づく序列にソーティングされた類似検索結果データが作成されるため、利便性の高い画像検索システムを実現できる。

また本発明では、前記タグ処理部は、前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行ってもよい。

このようにすれば、タグの出現数の集計結果に応じて複数のタグがソーティングされるようになるため、類似画像の序列を、タグの出現数に応じた序列に変換することが可能になる。

また本発明では、前記タグ処理部は、前記複数のタグを、出現数が多い順に並べ替えてもよい。

このようにすれば、出現数が多いタグほど上位にくるようなソーティング処理を実現できる。

また本発明では、前記タグ処理部は、前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行ってもよい。

このようにすれば、類似度を反映させたタグの集計処理を実現できる。

また本発明では、前記データ作成部は、ソーティングされた前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成してもよい。

このようすれば、ソーティングされた各タグに対して、そのタグが付加されていた１又は複数の類似画像の情報を関連づけることが可能になり、ユーザにとって利便性の高い画像検索を実現できる。

また本発明では、前記データ作成部は、ソーティングされた前記複数のタグの各タグに対して、前記１又は複数の類似画像の情報が類似度の高い順に関連づけられた類似検索結果データを作成してもよい。

このような類似検索結果データを用いれば、例えば各タグに対して類似度が高い順に類似画像が対応づけられた類似検索結果画面等の表示が可能になる。

また本発明では、前記データ作成部により作成された類似検索結果データを、前記検索対象画像を取得した端末装置に対してネットワークを介して送信する処理を行う送信処理部を含み、前記データ作成部は、前記複数のタグが表示される類似検索結果画面を、前記端末装置において表示するための類似検索結果データを作成してもよい。

このようにすれば、検索対象画像を取得した端末装置に対して、類似検索結果データを返信することで、類似検索結果データに対応する類似検索結果画面を、端末装置において表示することが可能になる。

また本発明では、前記データ作成部は、前記検索対象画像に対する類似度が上位の類似画像のうち、前記類似検索結果データに含まれる前記複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成してもよい。

このようにすれば、類似検索結果データの中に含まれないタグが関連づけられた類似画像であって、類似度が高い類似画像が検索された場合に、その類似画像についてのデータやそのタグを、検索結果データとして送信することなどが可能になる。

また本発明は、検索対象画像を取得する画像取得部と、取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、受信した前記類似検索結果データに基づいて、前記検索対象画像に類似する複数の類似画像が表示される類似検索結果画面を、表示部に表示する制御を行う表示制御部とを含み、前記表示制御部は、前記類似検索結果画面において前記複数の類似画像のうちの第１の類似画像が選択された場合には、前記第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面を表示し、前記類似検索結果画面において前記複数の類似画像のうちの第２の類似画像が選択された場合には、前記第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面を、前記表示部に表示する制御を行う端末装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明によれば、検索対象画像についての送信データをサーバに送信し、検索対象画像の類似検索結果データを受信すると、検索対象画像に類似する複数の類似画像が表示される。そして、これらの複数の類似画像のうちの第１の類似画像が選択されると、それに対応する複数のリンク先が提示される第１のハブ画面が表示され、第２の類似画像が選択されると、それに対応する複数のリンク先が提示される第２のハブ画面が表示される。従って、検索対象画像の複数の類似画像の各類似画像毎に異なるリンク先が提示されるハブ画面が表示されるようになるため、画像検索の曖昧さを有効活用した情報提示を実現できる。

また本発明では、前記表示制御部は、前記第１のハブ画面により提示される複数のリンク先と、前記第２のハブ画面により提示される複数のリンク先とが、少なくともその一部のリンク先が異なるように、ハブ画面の表示制御を行ってもよい。

このようにすれば、第１のハブ画面により提示されるリンク先と第２のハブ画面により提示されるリンク先を異ならせることができ、ユーザを異なるリンク先に導くことが可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。

また本発明では、前記表示制御部は、前記第１のハブ画面により、前記第１の類似画像に関連づけられたタグに対応する複数のリンク先が提示され、前記第２のハブ画面により、前記第２の類似画像に関連づけられたタグに対応する複数のリンク先が提示されるように、ハブ画面の表示制御を行ってもよい。

このようにすれば、第１のハブ画面では、第１の類似画像のタグに対応するリンク先を提示でき、第２のハブ画面では、第２の類似画像のタグに対応するリンク先を提示できるため、各類似画像に関連づけられたタグに応じたリンク先にユーザを導くことが可能になる。

また本発明では、前記表示制御部は、前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される前記類似検索結果画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、類似画像から取得されたタグに基づく序列にソーティングされた類似検索結果画面が表示されるため、ユーザにとって利便性の高いインターフェース環境を実現できる。

また本発明では、前記表示制御部は、前記複数のタグがその各タグの出現数に応じてソーティングされた前記類似検索結果画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、複数のタグがその出現数に応じてソーティングされて表示されるため、更に利便性の高いインターフェース環境を実現できる。

また本発明では、前記表示制御部は、前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示される前記類似検索結果画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、ソーティングされた各タグに対して、そのタグが付加されていた１又は複数の類似画像が関連づけられて表示されるようになり、タグの序列にしたがった類似画像の表示が可能になる。

また本発明では、前記表示制御部は、前記複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示される画面を、前記表示部に表示する制御を行ってもよい。

このようにすれば、類似検索結果画面においてタグに対応する類似画像を表示しなくても済むようになり、表示部の画面が小さい場合等において、効率的な表示が可能になる。

また本発明は、検索対象画像の類似画像の検索処理を行う画像検索方法であって、前記検索対象画像についての送信データをネットワークを介して受信し、前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成する画像検索方法に関係する。

また本発明では、前記検索対象画像の前記類似検索結果データをネットワークを介して受信し、受信した前記類似検索結果データにより表示される類似検索結果画面において、前記複数の類似画像のうちの前記第１の類似画像が選択された場合には、前記第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面を表示部に表示し、前記類似検索結果画面において前記複数の類似画像のうちの前記第２の類似画像が選択された場合には、前記第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面を前記表示部に表示する制御を行ってもよい。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．システム構成
図１に本実施形態により実現される画像検索システム、サーバ、端末装置の構成例を示す。この画像検索システムは、端末装置１００（電子機器、通信端末、携帯端末装置）と、この端末装置１００とネットワーク１０を介して通信接続されるサーバ２００を含む。なおネットワーク１０には、他の外部サーバや端末装置も通信接続することができる。

本実施形態では、サーバ２００は、例えば端末装置１００により取得（撮影）された検索対象画像に類似する複数の類似画像を検索する。そしてこれらの複数の類似画像の各類似画像に関連づけられたタグを用いて、画像検索システムにおけるユーザインターフェース等を実現している。

即ち、画像認識処理を利用した画像検索には本質的に曖昧さが伴う。本実施形態では、このような画像検索の曖昧さを逆に利用して、ユーザの嗜好・趣味・関心や、ユーザの行動や、ｅコマース等における広がりを創出している。

例えば図２のＡ１において、ユーザは、デジタルカメラやカメラ付き携帯電話機等の端末装置１００を用いて、ワインのラベルを撮影している。そしてインターネット等のネットワークを介して、撮影した画像をサーバ２００に送信して、画像検索を依頼する。

この場合に、これまでの画像検索システムでは、撮影画像に基づいて、撮影したワインを特定し、そのワインを販売する店舗等を紹介することに注力していた。従って、撮影画像から、如何にしてそのワインを正確に特定するかが技術的課題になっていた。

これに対して本実施形態では、画像検索の曖昧さを逆利用する。例えばＡ１で撮影した検索対象画像を端末装置１００からサーバ２００に送信して、検索対象画像に類似する複数の類似画像を検索する。

そして例えばＡ２に示すように、Ａ１のワインに似ているお酒の画像が、類似画像として検索されると、その似ているお酒についての情報を、関連情報としてユーザに提示する。この場合の関連情報の提示は、例えば後述するようなハブ画面を利用して行う。即ちその類似画像に関連づけられたハブ画面情報を用いてハブ画面を表示し、そのハブ画面において、Ａ２の似ているお酒についての情報を提示する。具体的には、Ａ２のお酒に関連するサイトのリンク先が提示された第１のハブ画面を表示する。

更にＡ３、Ａ４に示すように、Ａ１のワインに少し似ているお酒や全く違うお酒についての関連情報も提示する。具体的には、ユーザがＡ３の類似画像を選択すると、Ａ３のお酒に関するサイトのリンク先が提示された第２のハブ画面を表示する。また、ユーザがＡ４の類似画像を選択すると、Ａ４のお酒に関する複数のサイトのリンク先が提示された第３のハブ画面を表示する。そしてこれらの第１、第２、第３のハブ画面では、提示されるリンク先の少なくとも一部が異なるように設定されている。こうすることで、例えば思いもよらない味の発見などのユーザの嗜好の広がり等を創出できる。

また、類似検索によりＡ１と同じワインの画像が検索された場合には、Ａ４に示すように、そのワインの産地やソムリエの声や生産者の声などの情報をユーザに提示する。更にＡ５に示すように、ワイングラスやおつまみなどの情報も提示し、ｅコマースの広がりを創出する。

また、図３のＢ１に示すようにユーザがＤＶＤ作品のパッケージを撮影した場合には、Ｂ２、Ｂ３、Ｂ４に示すように、類似画像として検索された似ている作品や他の作品についての関連情報を提示して、ユーザの趣味の広がり等を創出する。

例えばＢ２の作品の類似画像が選択された場合にはＢ２の作品に関するリンク先が提示された第１のハブ画面を表示する。同様に、Ｂ３、Ｂ４の作品の類似画像が選択された場合にはＢ３、Ｂ４の作品に関するリンク先が提示された第２、第３のハブ画面を表示する。或いは、Ｂ５、Ｂ６に示すように、その作品の関連情報をユーザに提示して、ｅコマースの広がりを創出する。

このように、従来では画像検索による商品等の特定の方向に収束していたベクトルの方向を、本実施形態の画像検索システムでは、類似検索の曖昧さを逆利用して、情報提示の広がりの方向にベクトルを向けることで、ユーザの嗜好・趣味・関心・行動やｅコマースの広がりを実現している。

このような発想の画像検索を実現するために、本実施形態では図１に示すような構成のシステムを採用している。以下、本実施形態の画像検索システム、サーバ２００、端末装置１００の具体的な構成について詳細に説明する。

ネットワーク１０（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１００と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１０は有線・無線を問わない。

サーバ２００（検索サーバ、管理サーバ）は、検索対象画像の類似画像の検索処理を行うものであり、ネットワーク１０を介して端末装置１００や図示しない他の外部サーバ等に通信接続される。このサーバ２００の機能は、情報処理装置（レンタルサーバ、共有サーバ）などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。

端末装置１００は、例えばユーザが所持するデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ付き携帯電話機、情報処理端末などであり、検索対象画像を取得する機能や、ネットワーク１０を介してサーバ２００等と通信する機能を有する。

Ｗｅｂサーバであるサーバ２００は、処理部２０２、画像データベース２２０、通信部２３８、操作部２４０を含む。なお本実施形態のサーバ２００は図１の構成に限定されず、これらの一部の構成要素（例えば画像データベース）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

処理部２０２は、サーバ全体の制御処理や画像検索処理やデータ作成処理などの各種の処理を行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰ(PHP;Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。

画像データベース２２０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースであり、登録画像のデータや登録画像に関連づけられたメタデータなどを記憶する。

通信部２３８は、ネットワーク１０を介して端末装置１００や他の外部サーバとの間で情報を通信するためのものである。操作部２４０は、サーバ２００の運営者がサーバ管理等のための各種情報を入力するためのものである。

処理部２０２は、受信処理部２０４、画像認識部２０６、タグ処理部２１０、データ作成部２１４、送信処理部２１８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

受信処理部２０４はデータの受信処理を行う。具体的には、検索対象画像についての送信データをネットワーク１０を介して受信するための処理を行い、例えば端末装置１００からの送信データを受信する。ここで、検索対象画像についての送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば検索対象画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。

画像認識部２０６は画像の認識処理を行う。具体的には、検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から検索対象画像に類似する類似画像を検索する。例えば検索対象画像と、画像データベース２２０の各登録画像とを照合し、検索対象画像に類似する登録画像のうち、上位の所定数（Ｊ個）の登録画像を、複数の類似画像として検索（抽出）する。

画像認識部２０６は認識用データ作成部２０８を含むことができる。認識用データ作成部２０８は、検索対象画像のデータから、画像認識に必要な認識用データを作成する。例えば、認識用データとして、後述するような特徴量データを作成する。そして画像認識部２０６は、検索対象画像の認識用データである特徴量データと、画像データベース２２０の登録画像の認識用データである特徴量データとを比較する照合処理を行うことで、検索対象画像と登録画像が類似するか否かを判断する。なお認識用データは、他の画像を区別可能な情報であれば、その形態を制限するものではない。また、受信処理部２０４が、端末装置１００等からの送信データとして、検索対象画像データそのものではなく、特徴量データ等の認識用データを受信する場合には、認識用データ作成部２０８の構成は省略できる。

タグ処理部２１０はタグに関する種々の処理を行う。具体的には、画像認識部２０６により検索された複数の類似画像（登録画像）の各類似画像に関連づけられたタグ（文字情報）を取得する。そして、例えば複数の類似画像から取得された複数のタグのソーティング処理を行う。

即ち、画像データベース２２０には、各登録画像に対して対応するタグが関連づけられて記憶されている。このタグの関連づけは、例えばユーザが、自身の撮影画像を画像データベース２２０に登録する際に、対応するタグについても登録することで実現できる。或いは、業者やサーバの運営者が、画像の登録の際に、対応するタグを画像に関連づけて登録することで実現できる。そしてタグ処理部２１０は、画像認識部２０６が検索対象画像に類似する複数の類似画像を検索すると、これらの複数の類似画像（登録画像）に関連づけられたタグを、画像データベース２２０から取得する。

なお本実施形態におけるタグは、画像に関連づけられている情報であり、当該画像と共に取得可能に提供されるものである。例えば、タグは、その画像が分類される１又は複数のジャンル情報とすることができる。具体的には、例えばひまわりの花の画像に、「花」「ひまわり」「夏」「ゴッホ」などのジャンル情報を関連づける場合などである。

このタグによって分類された選択項目（選択肢）を例えば携帯端末装置の表示部に表示される選択メニュー等を用いてユーザに提示すれば、ユーザはその選択項目の選択によって、どのようなジャンルの情報に導かれるのかを知ることができる（図２、図３参照）。比喩で言えば、画像が「始点」であるならば、タグは方向性を示す「方向ベクトル」であると言える。

タグ処理部２１０は、取得されたタグの集計処理を行う。具体的にはタグ処理部２１０は、タグ集計部２１２を含み、タグ集計部２１２は、複数の類似画像から取得された複数のタグの各タグについての出現数を集計する集計処理を行う。そしてタグ処理部２１０は、集計結果に基づいて複数のタグのソーティング処理を行う。具体的には、複数のタグを、出現数が多い順に並べ替える。

なおタグの集計処理は、タグの出現数を単純にカウントする処理には限定されない。例えば類似画像の類似度等に基づいて重み付け係数を求め、この重み付け係数を用いてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、類似画像の類似度が高い場合には、その類似画像のタグの集計値を大きくするようにしてもよい。

データ作成部２１４は、類似検索結果データなどの各種データの作成処理を行う。例えばハブ画面を表示するための類似検索結果データを作成する。

具体的にはデータ作成部２１４は、複数の類似画像の各類似画像に対して、各類似画像に対応する複数のリンク先を提示するためのハブ画面情報（ハブ画面の設定情報）が関連づけられた類似検索結果データを作成する。例えば、画像認識部２０６において検索対象画像の複数の類似画像が検索されると、データ作成部２１４は、その複数の類似画像のうちの第１の類似画像に対しては、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられた類似検索結果データを作成する。一方、複数の類似画像のうちの第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成する。

即ち図２、図３で説明したような画像検索の曖昧さを逆利用した情報提示を実現するために、各類似画像毎に異なったリンク先が設定されたハブ画面が表示されるようにする。例えば、ユーザが第１の類似画像を選択した場合には、第１のリンク先が設定された第１のハブ画面が表示され、第２の類似画像を選択した場合には、第１のリンク先とは異なる第２のリンク先が設定された第２のハブ画面が表示されるように、類似検索結果データを作成する。具体的には、第１のハブ画面情報に設定される複数のリンク先と、第２のハブ画面情報に設定される複数のリンク先とが、少なくともその一部のリンク先が異なるようにする。更に具体的には、第１のハブ画面情報には、第１の類似画像に関連づけられたタグに対応する複数のリンク先が設定され、第２のハブ画面情報には、第２の類似画像に関連づけられたタグに対応する複数のリンク先が設定されるように、類似検索結果データを作成する。即ち各類似画像に対応づけられたタグに応じた情報が提示されるリンク先が、各ハブ画面に設定されるようにする。

またデータ作成部２１４は、例えばタグ処理部２１０によりソーティングされた複数のタグを含む類似検索結果データを作成してもよい。例えば、出現数が多い順に複数のタグが並び替えられたデータ構造の類似検索結果データを作成する。或いは、ソーティングされた複数のタグの各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成するようにしてもよい。例えば出現数が多い順にソーティングされた複数の各タグに対して、そのタグに対応する１又は複数の類似画像の情報（類似画像のデータそのもの又は類似画像のＵＲＬ情報等）が関連づけられたデータ構造の類似検索結果データを作成する。この場合に、各タグに対して、１又は複数の類似画像が類似度の高い順に関連づけられるようにしてもよい。そして作成された類似検索結果データを端末装置１００に返信する場合には、データ作成部２１４は、複数のタグが表示される類似検索結果画面を、端末装置１００において表示するための類似検索結果データを作成することになる。

なおデータ作成部２１４は、検索対象画像に対する類似度が上位の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像のデータを含む検索結果データ（第２の類似検索結果データ）を作成してもよい。即ち、類似度が上位の所定数の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像を検索し、その類似画像についてのデータを、検索結果データに含ませる。ここで類似画像についてのデータとは、類似画像のデータそのものであってもよいし、その類似画像を指定するデータであってもよい。また、類似検索結果データに含ませるデータは、類似画像についてのデータ、及びその類似画像に関連づけられたタグの少なくとも一方であればよい。

送信処理部２１８はデータの送信処理を行う。具体的には、類似検索結果データをネットワーク１０を介して送信するための処理を行う。この場合に、データ作成部２１４により作成された類似検索結果データ（検索結果データ）を、検索対象画像を取得した端末装置１００に対してネットワーク１０を介して送信してもよいし、この類似検索結果データを、他の外部サーバや他の端末装置に送信してもよい。

デジタルカメラ、携帯電話機、携帯情報端末、情報処理装置等の端末装置１００は、処理部１０２、記憶部１２０、通信部１３８、操作部１４０、撮像部１５０、表示部１６０を含む。なお本実施形態の端末装置１００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

処理部１０２は、操作部１４０からの操作情報や、通信部１３８により受信した情報等に基づいて、種々の処理を行う。この処理部１０２の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１３０に記憶されたプログラムなどにより実現できる。

記憶部１２０は、処理部１０２、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部１２０は、送信データ記憶部１２２、類似検索結果データ記憶部１２４を含む。

情報記憶媒体１３０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１０２は、情報記憶媒体１３０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１３０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

通信部１３８は、ネットワーク１０を介してサーバ２００や他の端末装置との間で情報を通信するためのものである。操作部１４０は、ユーザが端末装置１００の各種操作を行うためのものであり、例えば表示部１６０の表示画面内の選択項目を選択するためのボタンや、画像撮影のシャッターボタンなどにより実現できる。

撮像部１５０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。

表示部１６０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや、有機ＥＬなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。この表示部１６０には、類似検索結果画面やハブ画面などが表示される。

処理部１０２は、画像取得部１０４、送信処理部１０６、受信処理部１０８、表示制御部１１０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像取得部１０４は検索対象画像を取得する。例えば、撮像部１５０により被写体を撮像することで得られた検索対象画像（被写体画像）を取り込む。なお、検索対象画像を実際には撮像せずに、例えばメモリカードなどに保存された検索対象画像を取り込むようにしてもよい。

送信処理部１０６はデータの送信処理を行う。例えば画像取得部１０４により取得された検索対象画像についての送信データをネットワーク１０を介してサーバ２００に送信する処理を行う。即ち、取得された検索対象画像のデータを、サーバ２００に送信するフォーマットに変換して、送信データを作成する。そして作成された送信データをサーバ２００に送信する。この場合の送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データであってもよい。

受信処理部１０８はデータの受信処理を行う。例えば検索対象画像の類似検索結果データなどをネットワーク１０を介して受信する処理を行う。

表示制御部１１０は表示部１６０の表示制御を行う。例えば受信した類似検索結果データに基づいて、表示部１６０の表示制御を行う。具体的には類似検索結果画面やハブ画面や選択画面などの各種画面を表示部１６０に表示するための表示制御を行う。

例えば表示制御部１１０は、受信した類似検索結果データに基づいて、検索対象画像に類似する複数の類似画像が表示される類似検索結果画面を、表示部１６０に表示する制御を行う。そして、この類似検索結果画面において、検索対象画像に類似する複数の類似画像のうちの第１の類似画像が選択された場合には、第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面が表示されるようにする。一方、この類似検索結果画面において、複数の類似画像のうちの第２の類似画像が選択された場合には、第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面が表示されるようにする。この場合に、第１のハブ画面により提示される複数のリンク先と、第２のハブ画面により提示される複数のリンク先とが、少なくともその一部のリンク先が異なるように、ハブ画面の表示制御を行う。また第１のハブ画面により、第１の類似画像に関連づけられたタグに対応する複数のリンク先が提示され、第２のハブ画面により、第２の類似画像に関連づけられたタグに対応する複数のリンク先が提示されるようにする。

更に表示制御部１１０は、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、表示部１６０に表示する制御を行ってもよい。例えば複数のタグがその各タグの出現数に応じてソーティングされた類似検索結果画面が表示されるようにする。具体的には、複数のタグの各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示されるようにする。或いは、複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示されるようにしてもよい。

２．動作
次に本実施形態の動作について図４、図５、図６のフローチャートを用いて説明する。図４、図６は端末装置１００側の動作を説明するフローチャートであり、図５はサーバ２００側の動作を説明するフローチャートである。

図４に示すように端末装置１００は、検索対象画像を取得する（ステップＳ１）。例えば撮像部１５０で被写体を撮影した画像を、検索対象画像として取得する。そして取得された検索対象画像に基づいて送信データを作成する（ステップＳ２）。例えばサーバ用のフォーマットに変換して送信データを作成する。そして作成された送信データをサーバに送信する（ステップＳ３）。

図５に示すようにサーバ２００は、端末装置１００から送信データを受信する（ステップＳ１１）。そして検索対象画像を認識用データに変換する（ステップＳ１２）。例えば検索対象画像のデータを特徴量データに変換する。

次に、検索対象画像の認識用データと、画像データベース２２０の登録画像の認識用データとを照合し、図７に示すように検索対象画像に類似する登録画像の画像ＩＤと類似度を取得する（ステップＳ１３）。図７に示すように、取得された複数（所定数）の類似画像の画像ＩＤと類似度は、画像認識部２０６からタグ処理部２１０に送られる。

次に、取得された画像ＩＤを用いて、画像データベース２２０から、対応する登録画像のタグを取得し、タグの集計処理を行う（ステップＳ１４）。即ちタグ処理部２１０（タグ集計部２１２）は、画像認識部２０６から送られてきた複数の類似画像の画像ＩＤを用いて、画像データベース２２０から、これらの複数の類似画像についての複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図７に示すように、取得された複数のタグや、対応する複数の類似画像の画像ＩＤは、タグ処理部２１０からデータ作成部２１４に送られる。

次に、集計結果に基づいて類似検索結果データを作成する（ステップＳ１５）。即ちデータ作成部２１４は、タグ処理部２１０から送られてきた画像ＩＤを用いて、画像データベース２２０から、類似画像の情報やハブ画面情報を取得する。そして、取得された類似画像の情報やハブ画面情報と、タグ処理部２１０から送られてきたタグを用いて、類似検索結果画面やハブ画面を表示するための類似検索結果データ（後述の図９参照）を作成する。そして作成された類似検索結果データは端末装置１００に送信される（ステップＳ１６）。

図６に示すように端末装置１００は、サーバから類似検索結果データを受信する（ステップＳ２１）。そしてタグ及びそれに対応する類似画像が表示された類似検索結果画面（後述の図１０（Ａ）参照）を表示する（ステップＳ２２）。即ち複数のタグと、各タグに対して対応する１又は複数の類似画像が関連づけられた類似検索結果画面を表示する。

次に、ユーザが、類似検索結果画面の類似画像（アイコン）を選択したか否かを判断し（ステップＳ２３）、選択された場合には、その類似画像に対応するハブ画面（後述の図１１（Ａ）、図１１（Ｂ）参照）を表示する（ステップＳ２４）。このハブ画面により、類似画像に対応するリンク先がユーザに提示される。

次に、ユーザがハブ画面のリンク先を選択したか否かを判断し（ステップＳ２５）、選択された場合には、そのリンク先に対応する外部サーバに通信接続する（ステップＳ２６）。即ち端末装置１００の接続先を、リンク先のＵＲＬ（Uniform Resource Locator）に設定する。またユーザが類似検索結果画面の表示を選択したか否かを判断し（ステップＳ２７）、選択された場合にはステップＳ２２に戻り、ハブ画面から類似検索結果画面に表示を切り替えて元に戻す。

図８に画像データベース２２０に登録される画像データのデータ構造の例を示す。各画像ＩＤに指定される画像のデータは、認識用データ（特徴量データ）に変換されて登録されている。従って、検索対象画像の認識用データと、登録画像の認識用データとを照合することで、画像認識を実現できる。

また図８に示すように、各画像に対しては「花」、「桜」などのタグ（文字情報、テキストデータ）が関連づけられている。従って、検索対象画像の類似画像のタグは、画像ＩＤを指定することで画像データベース２２０から読み出すことができる。

また各画像（各類似画像）に対してはハブ画面情報（ハブページ用データ）が関連づけられている。これらのハブ画面情報は、各画像に対応するリンク先を提示するための情報である。即ちこのハブ画面情報には、各画像毎に異なる複数のリンク先が設定されている。例えば画像ＩＤ＝００１の画像に対しては、その画像に対応する複数のリンク先（ＵＲＬ）が設定された第１のハブ画面情報が関連づけられている。また画像ＩＤ＝００２の画像に対しては、その画像に対応する複数のリンク先が設定された第２のハブ画面情報が関連づけられている。そして図８に示すように、画像ＩＤ＝００１の画像に関連づけられた複数のリンク先と、画像ＩＤ＝００２の画像に関連づけられた複数のリンク先とは、少なくともその一部のリンク先が異なるように設定されている。

図９に、データ作成部２１４により作成される類似検索結果データ（返信データ）のデータ構造の例を示す。図９はＸＭＬ（Extensible Markup Language）により記述されたＸＭＬフォーマットのデータ構造の例である。

図９のＤ１からＤ２に示す部分が類似検索結果データになる。そしてＤ３からＤ４に示す部分が１番目のタグのブロックであり、Ｄ５からＤ６に示す部分が２番目のタグのブロックである。１番目のブロックはＤ７に示すように「花」のタグのブロックであり、２番目のブロックはＤ８に示すように「服」のタグのブロックであり、
Ｄ７の「花」のタグに続いて、「花」のタグについての複数のアイテムがリスト化されて並んでいる。例えばＤ９からＤ１０に示すアイテムは、Ｄ１１に示すように「花」のタグが関連づけられた類似画像のＵＲＬ情報（広義には類似画像の情報）や、Ｄ１２に示すようにこの類似画像についてのリンク先を提示するためのハブ画面のＵＲＬ情報（広義にはハブ画面情報）を含んでいる。即ち、Ｄ１１は類似画像の格納先を示すＵＲＬ情報であり、Ｄ１２はハブ画面の格納先を示すＵＲＬ情報である。同様にＤ１３からＤ１４に示すアイテムも、「花」のタグが関連づけられた類似画像のＵＲＬ情報や、その類似画像に対応するハブ画面のＵＲＬ情報を含んでいる。

また、Ｄ８の「服」のタグに続いて、「服」のタグについての複数のアイテムがリスト化されて並んでいる。これらの各アイテムは、「花」のタグの場合と同様に、「服」のタグが関連づけられた類似画像のＵＲＬ情報や、その類似画像に対応するハブ画面のＵＲＬ情報を含んでいる。

図１０（Ａ）に端末装置１００の表示部１６０に表示される類似検索結果画面の一例を示す。図１０（Ａ）のＥ１は、端末装置１００で撮影された検索対象画像であり、サーバ２００は、この検索対象画像についての送信データを端末１００から受信する。そしてサーバ２００は、このＥ１の検索対象画像の画像認識を行い、複数の類似画像を検索する。

図８に示すように、画像データベース２２０に登録される各類似画像にはタグが関連づけられており、サーバ２００は、これらの複数の類似画像に関連づけられた複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図９に示すような類似検索結果データを作成して、端末装置１００に送信する。

端末装置１００は、図９の類似検索結果データを受信して、図１０（Ａ）に示すような類似検索結果画面を表示する。この場合に、サーバ２００での集計処理において最も出現数が多かった「花」というタグ（文字情報）を、図８のＥ２に示すように類似検索結果画面の最も上位の位置に表示する。また次に出現数が多かった「服」というタグを、Ｅ３に示すように「花」の下位の位置に表示する。またＥ４、Ｅ５に示すように、画像データベース２２０において「花」というタグが関連づけられていた類似画像を、「花」のタグの横にアイコン（アイテム）として表示する。具体的には、これらの複数の類似画像は、検索対象画像に対する類似度が高い順に表示される。なお、類似度が高い上位の類似画像を表示するのではなくて、検索結果からランダムにピックアップされた類似画像を表示してもよい。

同様にＥ６、Ｅ７に示すように、画像データベース２２０において「服」というタグが関連づけられていた類似画像を、「服」のタグの横にアイコンとして表示する。これらの複数の類似画像も検索対象画像に対する類似度が高い順に表示される。

そしてユーザが例えば図１０（Ａ）のＥ４の類似画像を選択（クリック）すると、図１１（Ａ）に示すようなハブ画面が表示される。このハブ画面は、複数のリンク先に飛ぶための中心になる画面であり、図１１（Ａ）のハブ画面では、Ｆ１に示すように、選択された類似画像が表示されると共に、Ｆ２に示すように、この類似画像に対応する複数のリンク先が表示される。例えばユーザがこれらの複数のリンク先のいずれかを選択（クリック）すると、そのリンク先である外部サーバに通信接続され、各種の情報がユーザに提供される。例えば図１１（Ａ）のＦ２において、「桜を見に行くなら」というリンク先をクリックすると、例えば桜の花見についての各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。

またユーザが図１０（Ａ）のＥ６に示す類似画像を選択すると、例えば図１１（Ｂ）に示すようなハブ画面が表示される。図１１（Ｂ）のハブ画面では、Ｆ３に示すように、選択された類似画像が表示されると共に、Ｆ４に示すように、この類似画像に対応する複数のリンク先が表示される。例えば図１１（Ｂ）のＦ４において、「花柄の服を買うなら」というリンク先をクリックすると、例えば花柄の服を取り揃えている店舗情報などの各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。

なお本実施形態により表示される類似検索結果画面は図１０（Ａ）のような表示態様に限定されず、種々の変形実施が可能である。例えば図１０（Ａ）ではＥ２、Ｅ３に示すようにタグを表示しているが、図１０（Ｂ）の類似検索結果画面のようにタグを表示しないようにしてもよい。即ち図１０（Ｂ）では、Ｅ８に示すように検索対象画像が表示されると共に、Ｅ９〜Ｅ１２に示すようにこの検索対象画像に類似する複数の類似画像が表示される。この場合に複数の類似画像は例えば類似度が高い順に表示される。そしてＥ９〜Ｅ１２の各類似画像をユーザが選択すると、図１１（Ａ）、図１１（Ｂ）に示すように、選択された類似画像に対応したハブ画面が表示される。即ち選択された類似画像に応じて、異なったリンク先が提示されるハブ画面が表示される。

以上のように本実施形態では、図９の類似検索結果データでは、各類似画像に対して、各類似画像に対応する複数のリンク先を提示するためのハブ画面情報が関連づけられている。具体的には、第１の類似画像には、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられる。例えば図９のＤ１１の第１の類似画像には、Ｄ１２に示すようにその類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報（ＵＲＬ情報）が関連づけられている。同様に、図示しない第２の類似画像には、その第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報（ＵＲＬ情報）が関連づけられている。

これにより端末装置１００側では、図１１（Ａ）、図１１（Ｂ）に示すようなハブ画面が表示される。例えばユーザが図１０（Ａ）の類似検索結果画面において、Ｅ４に示す類似画像（第１の類似画像）を選択すると、図１１（Ａ）のＦ２に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第１のハブ画面）が表示される。またユーザが図１０（Ａ）の類似検索結果画面において、Ｅ６に示す類似画像（第２の類似画像）を選択すると、図１１（Ｂ）のＦ４に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第２のハブ画面）が表示される。

また本実施形態では、サーバ２００において作成される図９の類似検索結果データは、Ｄ７、Ｄ８に示すように、類似画像から取得された「花」、「服」などの複数のタグを含んでいる。そして、これらの複数のタグは、例えばその出現数に応じてソーティングされる。これにより、図１０（Ａ）の端末装置１００側の類似検索結果画面では、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される。具体的にはＥ２、Ｅ３に示すように、出現数の高い順に「花」、「服」等のタグが表示される。なお出現数とは異なる序列でタグを表示してもよい。

また、図９の類似検索結果データでは、各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられている。例えばＤ１１に示すように、「花」のタグに対しては、そのタグに対応する類似画像が格納されているＵＲＬの情報が関連づけられている。またこれらの複数の類似画像の情報は、類似度の高い順に関連づけられる。

これにより、図１０（Ａ）の端末装置１００側の類似検索結果画面では、各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像（アイコン画像）が関連づけて表示される。例えばＥ２に示す「花」のタグに対しては、Ｅ４、Ｅ５に示すように、その「花」のタグに対応する複数の類似画像が関連づけて表示される。またＥ３に示す「服」のタグに対しては、Ｅ６、Ｅ７に示すように、その「服」のタグに対応する複数の類似画像が関連づけて表示される。この場合にこれらの複数の類似画像は例えば類似度の高い順に表示される。

以上のように本実施形態では、撮影された検索対象画像をキーとした類似画像の検索結果は、図９の類似検索結果のデータ構造に示すように、検索された類似画像の情報が、各クラスを表現するＤ７、Ｄ８に示すタグでグループ化される。例えば図１０（Ａ）のＥ２、Ｅ３における「花」、「服」と表示されている部分がクラスを表現するタグに相当する。また、Ｅ４〜Ｅ７に示すアイコン部分は、その左側に表示されているクラスに属する類似画像の検索結果のうちの類似度が高い画像を表している。このように本実施形態では、類似度で序列されていた類似画像が、タグの序列に変換されて表示される。また各類似画像が選択されると、各類似画像毎に異なるリンク先が表示されるハブ画面が表示される。なお、類似度の値そのものが、端末装置１００に返送されるデータ内の各検索結果に対応する情報として含まれていてもよい。また、表示は類似度が高い上位画像を表示するのではなく、タグに含まれる検索結果からランダムにピックアップしたものを含めてもよい。

ユーザは図１０（Ａ）の類似検索結果画面のタグ、もしくは類似画像のアイコンを選択することができる。タグを選択した場合、そのグループに含まれる個々の検索結果を全て表示することができる。また、アイコンを選択した場合には、図１１（Ａ）、図１１（Ｂ）に示すハブ画面が表示される。なお、グループを階層化しておくことにより、タグを選択したときに、そのタグに含まれるタグと、個々の検索結果を表示してもよい。例えば「花」というタグを選択した時に、その「花」のタグのグループに含まれる「桜」とか「菊」とか「春」というようなタグを表示してもよい。

本実施形態のような表示にすることによって、グループとしての識別のしやすさと、最終的な検索結果の識別のしやすさとを、デジタルカメラ等の端末装置１００に搭載される比較的小さな表示部１６０上でも提供することができ、ユーザは、関心のある検索結果を素早く見つけ出すことが可能になる。

例えば本実施形態の第１の比較例として、被写体が「花」である場合に、まず、ユーザが端末装置１００の画面上で「花」の項目を選択し、その後、花を撮影して、画像検索を実行する手法が考えられる。

しかしながら、この第１の比較例の手法では、被写体を「今」撮影しなれば逃してしまうような状況の場合に、被写体を撮影し損ねて、結局、被写体についての情報を得ることができなくなってしまうおそれがある。

この点、本実施形態の手法では、まず被写体を撮影し、その撮影画像から複数の類似画像を検索する手法を採用しているため、被写体を撮影し損ねて、その情報を得ることができないという事態を防止できる。また、被写体を撮影する前に、「花」というような項目を選択する作業が不要になり、ユーザは、簡便な操作で、その被写体に関する情報を得ることができる。もちろん、情報の絞り込みを容易化するために、ユーザが所望するジャンル、タイトルを選択した後に、被写体を撮影し、本実施形態の手法による画像検索を実行する手法を採用することも可能である。

また本実施形態の第２の比較例として、被写体の撮影画像の類似画像を、タグを表示することなく端末装置１００の画面に類似度順に表示する手法も考えられる。

しかしながら、この第２の比較例の手法では、ユーザは、タグなどの手がかりがない中で、画像の見た目だけで判断して、自身が情報を得ようとしている画像を選択しなければならない。このため、ユーザの選択操作が煩雑で困難になるおそれがある。特に端末装置１００の画面が小さい場合には、表示できる類似画像の数が制限されるため、第２の比較例の手法は画像検索として効率的ではない。

この点、本実施形態の手法によれば、図１０（Ａ）のＥ２、Ｅ３に示すように「花」、「服」などのタグが表示されるため、ユーザは、このタグを手がかりとして、自身が情報を得ようとしている画像を選択して、その情報を得ることができる。従って、ユーザの選択作業を簡便且つ容易なものにすることができる。

また例えばユーザが撮影した被写体が花柄の服であった場合に、ユーザが「花」の情報を得ようとして撮影したのか、「服」の情報を得ようとして撮影したのかを、システム側が自動的に認識することは難しい。このため、上述の第２の比較例の手法では、ユーザは、自身が所望する情報を効率的に得ることができない。

この点、本実施形態の手法によれば、ユーザが「花」の情報を得ようとして撮影した場合には、図１０（Ａ）のＥ４、Ｅ５のアイコンの選択操作等を行うことで、その情報を得ることができ、ユーザが「服」の情報を得ようとして撮影した場合には、図１０（Ａ）のＥ６、Ｅ７のアイコンの選択操作等を行うことで、その情報を得ることができる。従って、ユーザは、自身が所望する情報を、簡素な操作で効率的に得ることができる。

また図１１（Ａ）、図１１（Ｂ）のハブ画面では、図１０（Ａ）、図１０（Ｂ）の画面で選択された類似画像（アイコン、アイテム）に関して複数の情報を提示している。例えば、選択された類似画像が「花」の画像であった場合には、「その花の品種についての辞典的情報」「その花を取り扱っている店舗情報やそれら店舗の口コミ情報」「その花に関連する口コミ情報」「その花を見ることができるフラワー園の情報や、そこへのナビ情報」など、複数の異なる種類の情報やそれら情報へ繋がるリンクを提示する。

例えば本実施形態の第３の比較例として、ユーザが所望する情報が、辞典的な情報であれば百科事典のサイト上で検索し、口コミ情報であれば口コミ情報をまとめているサイト上で検索し、購入する商品の情報であればｅコマースのサイト上で検索するという手法が考えられる。即ち、ユーザが所望する情報を取得できる可能性が高いサイト等を選択した後に、そのサイト等でその情報を検索するという手法である。

しかしながら、この第３の比較例の手法は、テキスト検索には向いているが、まず被写体の画像を撮影し、撮影画像から情報を検索するという画像検索には不向きである。

この点、本実施形態の手法では、まず、ユーザは図１０（Ａ）、図１０（Ｂ）に示すような検索結果画面で類似画像を選択して、情報取得の対象を特定した後に、図１１（Ａ）、図１１（Ｂ）に示すように複数の異なる種類の情報のリンク先を、選択肢としてユーザに提示している。従って、画像検索に最適な情報提示が可能になる。またテキスト検索のように、関連する情報が単なるリスト形式で表示されるよりも、ユーザの興味や行動を想定した種別のハブ画面情報となっている本実施形態の手法は、ユーザにとって利便性が高い。特に、本実施形態が想定している撮影画像からの画像検索という方式では、被写体を「今」捉えなければ、望む写真を撮れないことが多々あり、テキスト検索のように、後からテキストを入力することは難しい。従って、最初に被写体から情報取得の対象を特定し、次に複数の異なる種類の情報を提示する本実施形態の手法は、撮影画像から検索するシステムにとっては、非常に効果が大きい。

また本実施形態の第４の比較例として、図１０（Ａ）で「花」が選択された場合も、「服」が選択された場合にも、同じテーマのリンク先が表示されたハブ画面を表示する手法が考えられる。例えば、その「花」や「服」を購入できる店舗のリンク先、通販のリンク先、地図情報のリンク先、詳細情報のリンク先というように、「花」が選択された場合も、「服」が選択された場合にも、同じフォーマットのハブ画面を表示する。

しかしながら、この第４の比較例の手法は、撮影画像から商品を一意に特定することを目的にするシステムには向いているが、図２、図３で説明したような画像検索の曖昧さを利用して、ユーザの嗜好・趣味等に広がりを持たせることを目的とするシステムには向いていない。

この点、本実施形態の手法によれば、ユーザが選択した類似画像（アイコン、アイテム）に応じて、図１１（Ａ）、図１１（Ｂ）に示すように、異なるテーマ・種別のリンク先が表示されたハブ画面が表示される。例えば、選択された類似画像が「桜」である場合には、図１１（Ａ）に示すように、桜の花見の場所のリンク先や、桜に関連するヒットソングのリンク先や、桜の辞書のサイトのリンク先が表示されたハブ画面を表示する。一方、選択された類似画像が「花柄の服」である場合には、図１１（Ｂ）に示すように、花柄の服の購入店舗のリンク先や、花柄の服が好きな有名人についてのリンク先や、花柄の服のブランドのリンク先が表示されたハブ画面を表示する。このようにすれば、ハブ画面に様々な設定パターンのリンク先を表示することで、画像検索の曖昧さを逆利用して、図２のＡ１〜Ａ４に示すようにユーザの嗜好の広がりを実現したり、図２のＢ１〜Ｂ４に示すようにユーザの趣味の広がりを実現することが可能になる。

なお、類似検索結果データのデータ構造や、類似検索結果画面やハブ画面の表示態様は、図９〜図１１（Ｂ）で説明したものに限定されず、種々の変形実施が可能である。

例えば図１２に、類似検索結果データの他のデータ構造例を示す。図１２のＧ１、Ｇ２に「花」、「服」のタグの文字情報が設定され、Ｇ３、Ｇ５に図１１（Ａ）のＦ２に示すハブ画面のタイトルの文字情報が設定されている。またＧ４にはＧ３のタイトルを選択した時のリンク先が設定され、Ｇ６にはＧ５のタイトルを選択した時のリンク先が設定される。即ち図９のデータ構造例では、ハブ画面のＵＲＬ情報が設定され、そのＵＲＬに端末装置１００がアクセスすることで、図１１（Ａ）、図１１（Ｂ）に示すようなハブ画面が表示される。これに対して図１２では、このハブ画面を構成する文字情報や画面構成等を、データ作成部２１４において作成して、端末装置１００に送信している。このように、類似検索結果データのデータ構造としては、画像検索のシステム構成や仕様に応じて、様々な態様のものを採用できる。

図１３（Ａ）は類似検索結果画面の他の例である。図１３（Ａ）では、Ｈ１に示す検索対象画像の複数の類似画像から取得された複数のタグが、Ｈ２に示すように表示される。そして、表示されたタグをユーザが選択すると、図１３（Ｂ）のＨ３、Ｈ４に示すように、選択されたタグが関連づけられた１又は複数の類似画像が表示される。例えば図１３（Ａ）では「花」のタグが選択されたため、図１３（Ｂ）では、「花」のタグが関連づけられていた複数の類似画像が表示される。

例えば図１０（Ａ）では、Ｅ４〜Ｅ７に示すように各タグに対してそれに対応する類似画像が表示されていたが、図１３（Ａ）では、類似画像は表示されずに、タグだけが表示される。そして、ユーザが、これらのタグから所望のタグを選択することで、それに対応する類似画像が表示されるようになる。こうすることで、図１３（Ａ）の結果画面において、図１０（Ａ）に比べて、より多くのタグを表示できるようになる。なおタグが階層構造になっている場合には、図１３（Ａ）において、タグの階層構造が認識できるような表示にしてもよい。

以上のように類似画像検索結果画面としては、種々の表示態様のものを採用できる。ハブ画面の表示態様についても同様である。

３．集計処理
次にタグの集計処理の詳細例について図１４のフローチャートを用いて説明する。

まずＮ＝１に設定する（ステップＳ３１）。そして画像認識により得られたＮ番目の類似画像に関連づけられたタグ群を取得する（ステップＳ３２）。具体的には図８の画像データベース２２０においてＮ番目の類似画像の画像ＩＤを指定して、その類似画像に関連づけられたタグ群を取得する。例えば図１５（Ａ）において、類似画像Ｉ１の画像ＩＤが指定されると、「花」、「桜」からなるタグ群が取得される。この場合に１つの画像ＩＤに対しては例えば１個以上のタグが対応づけられており、重複したタグが対応づけられることはないようになっている。

次に、Ｍ＝１に設定する（ステップＳ３３）。そして、Ｎ番目の類似画像に関連づけられたタグ群のうちのＭ番目のタグを取得する（ステップＳ３４）。そして取得したタグについての出現数のカウント値をインクリメントする（ステップＳ３５）。例えば図１５（Ａ）において、「花」、「桜」からなるタグ群から「花」のタグを取得すると、「花」のタグの出現数のカウント値を１だけインクリメントする。

なお、単に数値をカウントアップするのではなく、例えばタグが取得された場合に、そのタグに対応する配列に対して画像ＩＤを追加し、配列の要素数をカウント値として利用するようにしてもよい。

また類似画像の類似度に基づき求められた重み付け係数により、タグの集計処理を行う場合には、ステップＳ３２のＮ番目の類似画像の類似度を、例えば画像認識部２０６から取得する。そして、取得された類似度に基づいて、類似度に対応する重み付け係数を、所定演算を行ったり、類似度を入力とし重み付け係数を出力とする変換テーブルを用いて求める。例えば類似度が高ければ高いほど、その値が大きくなる重み付け係数を求める。そしてステップＳ３５において、求められた重み付け係数をタグの出現数に乗算するなどの演算処理を行って、カウント値をインクリメントすればよい。このようにすれば、類似画像の類似度が反映されたタグの集計処理を実現できる
次に、タグ群の全てのタグについての集計が終了したか否かを判断し（ステップＳ３６）、終了していない場合にはＭを１だけインクリメントして（ステップＳ３７）、ステップＳ３４に戻り、次のタグを取得する。例えば「花」の次の「服」のタグを取得する。

タグ群の全てのタグについての集計が終了すると、検索された全ての類似画像（類似度が上位の所定数の類似画像）についてのタグ群の取得が完了したか否かを判断し（ステップＳ３８）、完了していない場合にはＮを１だけインクリメントし（ステップＳ３９）、ステップＳ３２に戻る。一方、完了した場合には、各タグの出現数に基づいてソーティング処理を実行する（ステップＳ４０）。

例えば図１５（Ｂ）では、「花」、「服」、「桜」の出現数のカウント値が、各々、５、４、３になっている。従って、「花」が一番上位になり、その次に「服」、「桜」となるようにタグの並び替えが行われる。従って、図１０（Ａ）のＥ２、Ｅ３に示すようなタグ表示が可能になる。これにより、画像認識により画像の類似度によって順序づけられた画像の序列を、タグの出現数によって順序づけられたタグの序列へと変換できる。

例えば、ユーザが、目の前の「花」の名前を知るために、その「花」を撮影して、撮影画像をサーバ２００に送信したとする。この時に、画像検索の結果として例えば上位の２０個の類似画像において、その「花」そのものの画像ではなく、その「花」に似た模様をあしらったハンカチやその花を手にした人物の画像などが、上位に来る場合がある。

そして、「花」の名前を知りたいユーザに対して、画像の序列を表した類似検索結果画面を表示する場合に、「花」の画像そのものではなく、上述のような花の模様のハンカチや花を手にした人物の画像が上位に来てしまうと、ユーザが、所望の「花」の画像に辿り着くまでに時間がかかり、多くの期待しない画像にアクセスすることになってしまう。

一方、このような場合にも、上位２０個の類似画像のうちの多くの画像は、「花」というタグが関連づけられた画像であることが、一般に期待される。従って、タグの出現数を用いてタグをソーティングすることで、ユーザは、より少ない手間で所望の画像（及びその情報）にアクセスすることが可能になる。

４．画像認識
次に画像認識手法の詳細例について説明する。類似画像の検索のための画像認識手法としては、例えば、特徴点を利用した認識手法と、画像全体の特徴を利用した認識手法などがある。

４．１ 特徴点を利用した認識手法
１．１ 特徴点の抽出
まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。

１．２ 特徴量の算出
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上記の１．１で求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。

足し込む差分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして上述の１．１で求めた複数の特徴点の全てについて、この特徴量を求める。

１．３ 画像のマッチング
登録画像と、質問画像（検索対象画像）に対して、それぞれ上述の１．１、１．２の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。

このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。

４．２ 画像全体の特徴を利用した認識手法
２．１ 特徴量の算出
まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。

画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。

２．２ 画像のマッチング
登録画像と質問画像に対して、それぞれ上述の２．１の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。

５．変形例
次に本実施形態の種々の変形例について説明する。

例えば図１５（Ａ）、図１５（Ｂ）では出現数に応じてタグをソーティングしている。しかしながら、この手法では、登録画像に付与されたタグが具体的すぎる場合などに、類似度が高いにも関わらず、そのタグやその画像が類似検索結果データに含まれなくなってしまうおそれがある。

例えば、ユーザが被写体である「ソメイヨシノ」を撮影し、サーバ２００に送信し、図１５（Ａ）に示すような類似画像Ｉ１、Ｉ２、Ｉ３・・・が検索されたとする。この場合に、「ソメイヨシノ」のタグが付与された画像Ｉ２は上位に位置し、このように上位に位置する画像Ｉ２は、ユーザが撮影した被写体そのものである可能性が高く、ユーザに返す価値がある情報である。

ところが、画像Ｉ２には「ソメイヨシノ」のタグは付与されているものの、「花」、「桜」などのタグは付与されていない。従って、図１５（Ｂ）のようにタグの出現数に応じてソーティング処理を行った場合に、「ソメイヨシノ」のタグは上位には来ないため、「ソメイヨシノ」のタグや画像Ｉ２は、類似検索結果データとしてユーザには返信されなくなってしまう。

そこで図１６（Ａ）では、このようなタグが付与された画像を検索し、その画像についてのデータやそのタグをユーザに返信している。具体的には、検索対象画像に対する類似度が上位の類似画像（上位の所定数の類似画像）のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成して、ユーザの端末装置１００に返信する。

例えば上位１００個（上位Ｊ個）の類似画像のタグについての集計処理を行ったとする。この場合には、それよりも少ない上位１０個（上位Ｋ個。Ｋ、ＪはＫ＜Ｊとなる自然数）の類似画像のうち、類似検索結果データに含まれる「花」、「桜」等のタグが関連づけられていない類似画像を検索する。例えば図１６（Ａ）では、類似度が上位から２番目の画像Ｉ２が検索される。この画像Ｉ２には、「ソメイヨシノ」のタグは付与されているが、図９の類似検索画データに含まれる出現数が上位のタグである「花」、「桜」等は付与されていない。

そこで、この画像Ｉ２についてのデータや、「ソメイヨシノ」のタグを含む検索結果データを作成して返信する。ここで画像Ｉ２についてのデータとは、画像Ｉ２のデータそのものや、画像Ｉ２を指定（特定）するデータなどである。また検索結果データは、類似検索結果データに付加して端末装置１００に返信してもよいし、類似検索結果データとは別のデータとして返信してもよい。

「ソメイヨシノ」のように具体的なタグが付与され、且つ、類似度が高い画像Ｉ２は、ユーザが撮影した被写体そのものの画像である可能性が高く、ユーザがその情報を求めている画像である可能性が高い。従って、このような画像Ｉ２のデータや「ソメイヨシノ」のタグを含む検索結果データをユーザに返信することで、ユーザが所望する情報を漏れなくユーザに返信することが可能になる。

また本実施形態では、サーバ２００により作成された類似検索結果データを、被写体を撮影した端末装置１００に返信して、図１０（Ａ）〜図１１（Ｂ）のような類似検索結果画面、ハブ画面を表示する場合について説明したが、本実施形態ではこれに限定されない。例えば作成された類似検索結果データを、他の外部サーバ等に送信して、様々な情報や画面の作成に利用できるようにしてもよい。

例えば図１６（Ｂ）は、類似検索結果データをブログ用のサーバに送信して、ブログ画面を作成した場合の例である。図１６（Ｂ）のＪ１には、ユーザの撮影画像（検索対象画像）が表示される。またＪ２には、類似検索結果データに含まれるタグが、撮影画像の関連用語として表示される。即ち、撮影画像の複数の類似画像から本実施形態の手法により抽出された「花」、「桜」などのタグが表示される。また撮影画像の撮影日時や撮影者の名前等も表示される。

また図１６（Ｂ）のＪ３では、ブログ用のサーバは、類似検索結果データに含まれる「桜」というタグに基づいて、「桜と来たら団子」というようなタイトルや団子屋のリンク先などを作成して表示する。またＪ４では、ブログ用のサーバは、「花」というタグに基づいて、花の種の通販のリンク先のクリック画面を作成している。更にＪ５では、図１１（Ａ）のハブ画面のリンク先を表示している。

このように本実施形態により作成された類似検索結果データは、その画像を撮影した端末装置１００のみならず、他のシステムのサーバ等に転送して、様々な態様で利用することが可能である。またデータ作成部２１４は、類似画像やタグの情報に加えて、撮影時や送信時に関連する他の情報を付加して、類似検索結果データを作成してもよい。例えば端末１００側で検知された撮影の日時・場所、送信の日時・場所等の情報を付加するようにしてもよい。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また端末装置、サーバの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

本実施形態により実現される画像検索システム、端末装置、サーバの構成例。 画像検索の曖昧さを逆利用する手法の説明図。 画像検索の曖昧さを逆利用する手法の説明図。 本実施形態の動作を説明するためのフローチャート。 本実施形態の動作を説明するためのフローチャート。 本実施形態の動作を説明するためのフローチャート。 本実施形態の動作を説明するための図。 画像データベースのデータ構造の例。 類似検索結果データのデータ構造の例。 図１０（Ａ）、図１０（Ｂ）は類似検索結果画面の例。 図１１（Ａ）、図１１（Ｂ）はハブ画面の例。 類似検索結果データのデータ構造の他の例。 図１３（Ａ）、図１３（Ｂ）は類似検索結果画面の他の例。 タグの集計処理を説明するためのフローチャート。 図１５（Ａ）、図１５（Ｂ）はタグの集計処理を説明するための図。 図１６（Ａ）、図１６（Ｂ）は本実施形態の変形例を説明するための図。

符号の説明

１０ ネットワーク、１００ 端末装置、１０２ 処理部、１０４ 画像取得部、
１０６ 送信処理部、１０８ 受信処理部、１１０ 表示制御部、１２０ 記憶部、
１２２ 送信データ記憶部、１２４ 類似検索結果データ記憶部、
１３０ 情報記憶媒体、１３８ 通信部、１４０ 操作部、１５０ 撮像部、
１６０ 表示部、２００ サーバ、２０２ 処理部、２０４ 受信処理部、
２０６ 画像認識部、２０８ 認識用データ作成部、２１０ タグ処理部、
２１２ タグ集計部、２１４ データ作成部、２１８ 送信処理部、
２２０ 画像データベース、２３８ 通信部、２４０ 操作部

Claims (22)

1. 検索対象画像の類似画像の検索処理を行うサーバであって、
   前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、
   受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、
   前記複数の類似画像の各類似画像に対して、前記各類似画像に対応する複数のリンク先を提示するためのハブ画面情報が関連づけられた類似検索結果データを作成するデータ作成部とを含み、
   前記データ作成部は、
   前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成することを特徴とするサーバ。
2. 請求項１において、
   前記データ作成部は、
   前記第１のハブ画面情報に設定される複数のリンク先と、前記第２のハブ画面情報に設定される複数のリンク先とが、少なくともその一部のリンク先が異なるように、類似検索結果データを作成することを特徴とするサーバ。
3. 請求項１又は２において、
   前記データ作成部は、
   前記第１のハブ画面情報には、前記第１の類似画像に関連づけられたタグに対応する複数のリンク先が設定され、前記第２のハブ画面情報には、前記第２の類似画像に関連づけられたタグに対応する複数のリンク先が設定されるように、類似検索結果データを作成することを特徴とするサーバ。
4. 請求項１乃至３のいずれかにおいて、
   検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行うタグ処理部を含み、
   前記データ作成部は、
   ソーティングされた前記複数のタグを含む類似検索結果データを作成することを特徴とするサーバ。
5. 請求項４において、
   前記タグ処理部は、
   前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行うことを特徴とするサーバ。
6. 請求項５において、
   前記タグ処理部は、
   前記複数のタグを、出現数が多い順に並べ替えることを特徴とするサーバ。
7. 請求項５において、
   前記タグ処理部は、
   前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行うことを特徴とするサーバ。
8. 請求項４乃至７のいずれかにおいて、
   前記データ作成部は、
   ソーティングされた前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成することを特徴とするサーバ。
9. 請求項８において、
   前記データ作成部は、
   ソーティングされた前記複数のタグの各タグに対して、前記１又は複数の類似画像の情報が類似度の高い順に関連づけられた類似検索結果データを作成することを特徴とするサーバ。
10. 請求項４乃至９のいずれかにおいて、
    前記データ作成部により作成された類似検索結果データを、前記検索対象画像を取得した端末装置に対してネットワークを介して送信する処理を行う送信処理部を含み、
    前記データ作成部は、
    前記複数のタグが表示される類似検索結果画面を、前記端末装置において表示するための類似検索結果データを作成することを特徴とするサーバ。
11. 請求項４乃至１０のいずれかにおいて、
    前記データ作成部は、
    前記検索対象画像に対する類似度が上位の類似画像のうち、前記類似検索結果データに含まれる前記複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成することを特徴とするサーバ。
12. 検索対象画像を取得する画像取得部と、
    取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
    前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、
    受信した前記類似検索結果データに基づいて、前記検索対象画像に類似する複数の類似画像が表示される類似検索結果画面を、表示部に表示する制御を行う表示制御部とを含み、
    前記表示制御部は、
    前記類似検索結果画面において前記複数の類似画像のうちの第１の類似画像が選択された場合には、前記第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面を表示し、前記類似検索結果画面において前記複数の類似画像のうちの第２の類似画像が選択された場合には、前記第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
13. 請求項１２において、
    前記表示制御部は、
    前記第１のハブ画面により提示される複数のリンク先と、前記第２のハブ画面により提示される複数のリンク先とが、少なくともその一部のリンク先が異なるように、ハブ画面の表示制御を行うことを特徴とする端末装置。
14. 請求項１２又は１３において、
    前記表示制御部は、
    前記第１のハブ画面により、前記第１の類似画像に関連づけられたタグに対応する複数のリンク先が提示され、前記第２のハブ画面により、前記第２の類似画像に関連づけられたタグに対応する複数のリンク先が提示されるように、ハブ画面の表示制御を行うことを特徴とする端末装置。
15. 請求項１２乃至１４のいずれかにおいて、
    前記表示制御部は、
    前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される前記類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
16. 請求項１５において、
    前記表示制御部は、
    前記複数のタグがその各タグの出現数に応じてソーティングされた前記類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
17. 請求項１５又は１６において、
    前記表示制御部は、
    前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示される前記類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
18. 請求項１５又は１６において、
    前記表示制御部は、
    前記複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示される画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
19. 検索対象画像を取得する画像取得部と、
    取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
    前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、
    受信した前記類似検索結果データに基づいて、前記検索対象画像に類似する複数の類似画像が表示される類似検索結果画面を、表示部に表示する制御を行う表示制御部として、
    コンピュータを機能させ、
    前記表示制御部は、
    前記類似検索結果画面において前記複数の類似画像のうちの第１の類似画像が選択された場合には、前記第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面を表示し、前記類似検索結果画面において前記複数の類似画像のうちの第２の類似画像が選択された場合には、前記第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面を、前記表示部に表示する制御を行うことを特徴とするプログラム。
20. コンピュータ読み取り可能な情報記憶媒体であって、請求項１９に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
21. 検索対象画像の類似画像の検索処理を行う画像検索方法であって、
    前記検索対象画像についての送信データをネットワークを介して受信し、
    前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、
    前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成することを特徴とする画像検索方法。
22. 請求項２１において、
    前記検索対象画像の前記類似検索結果データをネットワークを介して受信し、
    受信した前記類似検索結果データにより表示される類似検索結果画面において、前記複数の類似画像のうちの前記第１の類似画像が選択された場合には、前記第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面を表示部に表示し、前記類似検索結果画面において前記複数の類似画像のうちの前記第２の類似画像が選択された場合には、前記第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面を前記表示部に表示する制御を行うことを特徴とする画像検索方法。

Images