JP2010066959A - 画像検索装置、画像検索システム、画像検索方法およびプログラム - Google Patents

Abstract

【課題】画像検索の対象物の認識精度を向上することのできる画像検索装置を提供する。
【解決手段】画像検索装置は、携帯端末装置１などであり、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影するカメラ３と、連続的に撮影された複数の対象物画像の中から画像検索に用いるための検索用画像を少なくとも一つ選択する画像選択部８を備える。選択された検索用画像の情報は、画像検索を行うサーバ装置２の画像検索部１６に送信される。そして、サーバ装置２の画像検索部１６から受信した画像検索の結果が、携帯端末装置１のディスプレイ４に表示される。
【選択図】図１

Description

本発明は、撮影した画像を用いた画像検索を行う画像検索装置に関し、特に、画像検索の対象物の認識精度を向上する技術に関する。

従来、携帯端末装置で撮影した画像を用いて画像検索を行うシステムが提案されている（例えば特許文献１参照）。この従来のシステムでは、携帯端末装置のカメラで情報誌の記事を撮影すると、その記事の画像データが携帯端末装置から画像検索サーバ装置へ送信される。そして、画像検索サーバ装置では、この画像データを用いて画像検索が行われ、その結果が、携帯端末装置へ送信されて画面に表示される。
特開２００８−７７４４７号公報

しかしながら、従来の画像検索システムでは、画像検索を行うために情報誌の記事を撮影したときに、画像検索の対象物である記事とは無関係なもの（非対象物）まで写ってしまうことがある。そのような場合、これらの非対象物がノイズとなり、画像検索の対象物を認識する精度が低下してしまうおそれがある。

特に、画像検索の対象物が、情報誌の記事ではなく、例えば、東京タワーなどの建物や、手に持ったボトル、走行中の車両などである場合には、画像検索の対象物を撮影しようとするときに、対象物の周辺の様々な物体（非対象物）が写りこみやすい。その結果、画像検索の対象物の認識精度が低下するおそれがある。

また、屋外などの周辺の照明条件が変わりやすい場所で画像検索の対象物の撮影を行う場合には、照明条件の変化（例えば照明が暗すぎるなど）が原因となり、画像検索の対象物を上手く認識できなくなるおそれがある。また、画像検索の対象物を撮影するときの向き（撮影方向）によっては、画像検索の対象物を認識する精度が低くなるおそれがある。

本発明は、上記の課題に鑑みてなされたもので、画像検索の対象物の認識精度を向上することのできる画像検索装置を提供することを目的とする。

本発明の画像検索装置は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する送信手段と、前記画像検索手段から受信した前記画像検索の結果を表示する結果表示手段と、を備えている。

この装置によれば、複数の対象物画像が連続的に撮影され、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索が行われる。したがって、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。

また、本発明の画像検索装置では、前記画像検索に用いるための検索用領域として、選択された前記検索用画像において前記対象物が含まれる領域を指定する指定手段を備え、前記送信手段は、指定された前記検索用領域の情報を前記画像検索手段に送信してもよい。

これにより、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。

また、本発明の画像検索装置では、連続的に撮影された前記複数の対象物画像を、連続的に表示する画像表示手段と、前記画像表示手段の画面上で行われるタッチ入力を検出する検出手段と、を備え、前記選択手段は、前記タッチ入力に基づいて前記検索用画像の選択を行い、前記画像表示手段は、選択された前記検索用画像を静止画像として表示し、前記指定手段は、静止画像として表示された前記検索用画像において前記検索用領域の指定を行ってもよい。

これにより、画面上でタッチ入力が行われると、連続的に表示された複数の対象物画像の中から検索用画像が選択され、選択された検索用画像が静止画像として表示され、この静止画像として表示された検索用画像において検索用領域の指定を行うことが可能となる。このようにして、検索用画像の選択および検索用領域の指定を容易に行うことが可能になり、画像検索を行うときの操作性が向上する。

また、本発明の画像検索装置では、連続的に撮影された前記複数の対象物画像に対して画像処理を施して、前記対象物画像から前記対象物を検出する処理を行う対象物検出手段を備え、前記指定手段は、前記対象物の検出処理の結果に基づいて前記検索用領域の指定を行ってもよい。

これにより、複数の対象物画像に対して画像処理（例えば背景差分処理など）を施すことによって対象物の検出処理が行われ、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、対象物の検出処理によって検索用領域が自動的に指定される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

また、本発明の画像検索装置では、前記撮影手段は、複数の異なる撮影条件で、前記複数の対象物画像を撮影し、前記選択手段は、前記複数の対象物画像から前記撮影条件が類似する対象物画像を除外して、前記撮影条件が類似しない対象物画像を選択してもよい。

これにより、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

また、本発明の画像検索装置では、前記撮影条件には、前記対象物を撮影するときの撮影方向が含まれ、画像検索装置は、撮影された前記対象物画像に基づいて、前記画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する判定手段と、前記未撮影方向が有と判定された場合に、前記未撮影方向から前記対象物画像を撮影するためのガイドを表示するガイド表示手段と、を備えてもよい。

これにより、様々な撮影方向から複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（代表的な撮影方向から撮影された画像など）が選択される。この場合、まだ撮影が行われていない撮影方向（未撮影方向）があるときには、その未撮影方向から撮影を行うためのガイド表示が表示される。このガイド表示に従えば、画像検索に適した検索用画像を容易に撮影することができる。したがって、画像検索に適した検索用画像が不足するのを防ぐことができ、その結果、認証精度の高い画像検索を容易に行うことが可能になる。

また、本発明の画像検索装置では、前記撮影条件には、前記対象物を撮影するときの光学的条件が含まれてもよい。

これにより、様々な光学的条件で複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（適切な照明条件で撮影された画像など）が選択される。したがって、画像検索の対象物の認証精度が向上する。

また、本発明の画像検索装置では、選択された前記検索用画像に画像処理を施して、前記検索用画像に含まれる特徴量を抽出する特徴量抽出手段を備え、前記送信手段は、前記検索用画像の特徴量の情報を前記画像検索手段に送信してもよい。

これにより、検索用画像から特徴量（例えば、検索用画像に含まれる特徴点の局所特徴量を示す特徴量ベクトルなど）が抽出され、その特徴量の情報が送信されて画像検索が行われる。一般に、特徴量の情報は、画像の情報に比べるとデータ量が少ない。したがって、画像検索のための情報を送信するときの送信データ量を低く抑えることができ、データ通信時のネットワーク負荷を軽減することが可能になる。

また、本発明の画像検索装置は、カメラ付き携帯端末装置、画像入力機能付きナビゲーション装置、または、車外カメラ搭載車両を含んでもよい。

本発明の画像検索システムは、ユーザが操作する画像検索装置と、前記画像検索装置と通信可能なサーバ装置とを備える画像検索システムにおいて、前記サーバ装置は、画像検索を行う画像検索手段を備えており、前記画像検索装置は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、選択された前記検索用画像の情報を、前記サーバ装置に送信する送信手段と、前記サーバ装置から受信した前記画像検索の結果を表示する結果表示手段と、を備えている。

このシステムによれば、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。

本発明の画像検索方法は、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影し、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択し、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信し、前記画像検索手段から受信した前記画像検索の結果を表示する。

この方法によれば、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。

本発明のプログラムは、画像検索装置において実行されるプログラムであって、画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する処理と、連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する処理と、選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する処理と、前記画像検索手段から受信した前記画像検索の結果を表示する処理と、をコンピュータに実行させる。

このプログラムによっても、上記の装置と同様に、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。

本発明によれば、複数の対象物画像を連続的に撮影し、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索を実行することにより、画像検索の対象物の認識精度を向上することができる。

以下、本発明の実施の形態の画像検索装置について、図面を用いて説明する。本実施の形態では、カメラ付き携帯端末装置や画像入力機能付きナビゲーション装置、車外カメラ搭載車両等を画像検索装置として用いた画像検索システムの場合を例示する。この画像検索装置は、撮影した画像を利用して画像検索を行う機能を備えている。この機能は、装置のＨＤＤやメモリなどに格納されたプログラムによって実現される。

（第１の実施の形態）
本発明の第１の実施の形態の画像検索システムを、図１〜図４を用いて説明する。本実施の形態では、カメラ付き携帯端末装置（単に携帯端末装置ともいう）を用いた画像検索システムの場合を例示する。

図１は、本実施の形態の画像検索システムの構成を示すブロック図である。図１に示すように、画像検索システムは、ユーザが操作する携帯端末装置１と、その携帯端末装置１と通信可能なサーバ装置２とで構成されている。携帯端末装置１は、例えば、カメラ付き携帯電話機やＰＤＡなどである。

携帯端末装置１は、対象物の画像（対象物画像）を撮影する機能を備えたカメラ３と、撮影した画像や検索結果などを表示するディスプレイ４と、ディスプレイ４上でのタッチ入力を検出するタッチセンサ５と、サーバ装置２と通信（例えば無線通信）をする機能を備えた通信部６と、携帯端末装置１の種々の制御を行う制御部７を備えている。ここでは、カメラ３が、本発明の撮影手段に相当する。また、ディスプレイ４が、本発明の画像表示手段および結果表示手段に相当し、タッチセンサ５が、本発明の検出手段に相当する。また、通信部６は、本発明の送信手段に相当する。

カメラ３は、複数の対象物画像を連続的に撮影（動画撮影）する機能を備えており、ディスプレイ４は、連続的に撮影された対象物画像を連続的に表示（動画表示）する機能を備えている。つまり、例えば、カメラ３を用いて対象物画像を動画として撮影すると、ディスプレイ４にはカメラ３で撮影された対象物画像が動画として表示される。

制御部７は、例えばＣＰＵやマイコンなどで構成されている。この制御部７は、カメラ３で撮影された複数の対象物画像の中から画像検索に用いる画像（検索用画像）を選択する画像選択部８と、選択された検索用画像において画像検索に用いる領域（検索用領域）を指定する領域指定部９を備えている。なお、この検索用領域の指定は、画像検索で認識すべき領域（認識領域）を特定する処理であるともいえる。この画像選択部８が、本発明の選択手段に相当し、領域指定部９が、本発明の指定手段に相当する。

また、制御部７は、選択された検索用画像（または指定された検索用領域）から画像処理等によって特徴量を抽出する特徴量抽出部１０を備えている。特徴量を抽出する方法としては、既知の技術を用いることが可能であり、例えば、画像に含まれるすべての特徴点について、局所特徴量を１２８次元のベクトル（特徴量ベクトルともいう）として算出する方法、すなわち、ＳＩＦＴ特徴量を利用する方法（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2 (2004), pp. 91-110. 参照）などを用いることができる。この特徴量抽出部１０は、本発明の特徴量抽出手段に相当する。

また、制御部７は、サーバ装置２から受信した画像検索の結果（対象物に関連するコンテンツ、例えば対象物の名称や歴史情報、周辺施設情報など）をディスプレイ４に表示するための制御を行うコンテンツ表示制御部１１を備えている。

サーバ装置２は、携帯端末装置１と通信（例えば無線通信）をする機能を備えた通信部１２と、画像検索を行うときに参照用の画像データなどが記憶されている画像記憶部１３と、種々のコンテンツ情報が記憶されているコンテンツ記憶部１４と、サーバ装置２の種々の制御を行う制御部１５を備えている。制御部１５は、例えばＣＰＵやマイコンなどで構成されており、携帯端末装置１から受信したデータと画像記憶部１３の画像データとを比較して画像検索の処理を実行する画像検索部１６と、検索でヒットした対象物に関連するコンテンツをコンテンツ記憶部１４から取得するコンテンツ取得部１７を備えている。

なお、画像検索部１６は、画像から抽出した特徴量を用いて画像検索を行う機能を備えている。この画像検索部１６は、特徴量を抽出する機能を備えていても良く、その場合には、携帯端末装置１から画像データをそのまま受信して画像検索を行うことができる。また、画像検索の方法は、特徴量を用いた方法に限定されるものではなく、既知の方法を用いてよいことは言うまでもない。

ここで、図２の具体例を参照して、携帯端末装置１の制御部７の各構成が行う処理について詳しく説明する。図２は、携帯端末装置１で対象物（例えば東京タワー）を撮影したときの処理の一例を示す図である。まず、カメラ３を用いて対象物を動画で撮影している場合、ディスプレイ４にカメラ３で撮影した複数の対象物画像が動画として表示される。そして、ユーザが画面に触れると（タッチ入力を行うと）、タッチ入力時に表示されていた対象物画像が選択部によって選択され、静止画像としてディスプレイ４に表示される（図２（ａ）参照）。静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物（東京タワー）を「丸」で囲むと、領域指定部９は「丸」の内部を検索用領域として指定する（図２（ｂ）参照）。そして、特徴量抽出部１０は、この検索用領域（または選択された対象物画像）から特徴量を算出する。この特徴量の算出は、ユーザが画面から指を離した後に行われる。つまり、ユーザから見ると、画面から指を離したときに画像検索に関する処理が実行されるようになる。この特徴量がサーバ装置２へ送信され、サーバ装置２で画像検索が行われる。そして、画像検索の結果をサーバ装置２から受信すると、対象物に関連するコンテンツがディスプレイ４に表示される（図２（ｃ）参照）。なお、ここでは、画像から抽出した特徴量をサーバ装置２へ送信して画像検索を行う例について説明したが、本発明の範囲はこれに限定されるものではなく、選択された対象物画像（または指定領域）の画像データそのものをサーバ装置２へ送信して画像検索を行ってよいことは言うまでもない。

なお、検索用領域の指定の方法は、上記の図２（ｂ）の方法に限られるものではなく、他の方法によって検索用領域の指定が行われてもよい。図３は、検索用領域の指定の変形例を示す図である。例えば、図３の例では、静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物（東京タワー）の中心付近にタッチすると、タッチした部分を中心として所定形状（例えば円形など）の指定領域が自動的に設定される。これ以外にも、例えば、ディスプレイ４に表示された対象物画像において、タッチ入力された領域を指定領域として指定する（指定領域を塗りつぶす）方法などが用いられてもよい。

以上のように構成された第１の実施の形態の画像検索システムについて、図４のフロー図を用いてシステム全体の動作を説明する。

本実施の形態の画像検索システムにおいて画像検索を行うときには、図４に示すように、まず、携帯端末装置１のカメラ３を起動して対象物の撮影を行うと（Ｓ１）、カメラ３から画像が取り込まれ（Ｓ２）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ３）。この画像の取り込み処理とカメラ画像の更新処理は、タッチ入力が検出されるまで連続的に繰り返される。

ユーザが指で画面に触れると（タッチ入力を行うと）、ディスプレイ４上でタッチ入力が検出され（Ｓ４）、タッチ入力時に表示されていた対象物画像が選択される。この場合、カメラ画像の更新が止まり、選択された対象物画像が静止画像として表示される。そして、静止画像としてディスプレイ４に表示された対象物画像において、ユーザが対象物を「丸」で囲むなどの操作をすることにより、検索用領域の指定が行われる（Ｓ５）。この場合、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、携帯端末装置１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ６）。

サーバ装置２は、携帯端末装置１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ７）、対象物に関連するコンテンツの情報を携帯端末装置１へ送信する。携帯端末装置１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ９）。

このような第１の実施の形態の画像検索システムによれば、複数の対象物画像をカメラ３で連続的に撮影し、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索を実行することにより、画像検索の対象物の認識精度を向上することができる。

すなわち、本実施の形態では、複数の対象物画像がカメラ３で連続的に撮影され、それらの複数の対象物画像の中から選択された検索用画像の情報を用いて画像検索が行われる。したがって、複数の対象物画像の中から画像検索に適した検索用画像（例えば、非対象物があまり写っていない画像など）を選択することが可能となり、画像検索の対象物の認識精度が向上する。

また、本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。このように画像検索の検索範囲を限定することにより、画像検索を高速かつ正確に行うことが可能になる。

また、本実施の形態では、ディスプレイ４の画面上でタッチ入力が行われると、連続的に表示された複数の対象物画像の中から検索用画像が選択され、選択された検索用画像が静止画像として表示され、この静止画像として表示された検索用画像において検索用領域の指定を行うことが可能となる。このようにして、検索用画像の選択および検索用領域の指定を容易に行うことが可能になり、画像検索を行うときの操作性が向上する。例えば、手ぶれのために正確な操作が難しくなるのを防ぐことができる。

また、本実施の形態では、検索用画像から特徴量（例えば、検索用画像に含まれる特徴点の局所特徴量を示す特徴量ベクトルなど）が抽出され、その特徴量の情報が送信されて画像検索が行われる。一般に、特徴量の情報は、画像の情報に比べるとデータ量が少ない。したがって、画像検索のための情報を送信するときの送信データ量を低く抑えることができ、データ通信時のネットワーク負荷を軽減することが可能になる。

このように、本実施の形態の画像検索システムでは、撮影した対象物の画像の背景などに余計なもの（非対象物）が写っていても、これを排除することができ、画像検索の対象物の認証精度が向上する。また、このような画像検索システムでは、画像検索の対象物の名称が分からない場合でも、対象物を撮影した画像を用いて画像検索を行うことができる。この場合、キーワード入力をする必要がないので、早く簡単に目的の情報に到達できる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の画像検索システムを、図５〜図８を用いて説明する。本実施の形態では、第１の実施の形態と同様のカメラ付き携帯端末装置（単に携帯端末装置ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第１の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第１の実施の形態と同様の構成である。

図５は、本実施の形態の画像検索システムの構成を示すブロック図である。図５に示すように、携帯端末装置１の制御部７には、画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する未撮影判定部１８が備えられている。なお、対象物を撮影するときの撮影方向は、対象物を撮影するときのカメラ３の位置に対応するともいえる。また、この制御部７には、未撮影方向から対象物を撮影するためのガイドを生成するガイド生成部１９と、ディスプレイ４にガイドを表示するための制御を行うガイド表示制御部２０が備えられている。ここでは、未撮影判定部１８が、本発明の判定手段に相当し、ディスプレイ４が、本発明のガイド表示手段に相当する。

この制御部７の画像選択部８は、様々な撮影方向から撮影された複数の対象物画像から、撮影方向が類似する画像を除外して、撮影方向が大きく異なる代表的な対象物画像を選択する機能を備えている。例えば、画像選択部８は、複数の対象物画像の相互でマッチング演算を行い、相関が高い画像を除外することにより、代表的な対象物画像を選択することができる。なお、選択する対象物画像は１つでもよく、複数でもよい。

ここで、図６および図７を参照して、本実施の形態において特徴的な処理について詳しく説明する。図６は、携帯端末装置１で対象物（例えばボトル）を撮影したときの処理の一例を示す図である。図６（ａ）に示すように、カメラ３で対象物を様々な撮影方向から撮影する場合、撮影する方向によっては、その画像が検索用のデータベース（サーバ装置２の画像記憶部１３）に登録されていないことがある。そこで、この場合には、対象物を様々な視点（角度）からカメラ３で撮影する。このようにして、様々な撮影方向から撮影された複数の対象物画像が、例えば動画像として得られる（図６（ｂ）参照）。画像選択部８は、これらの複数の対象物画像にマッチング演算を行い、相関が高い画像（似ている画像）を除外することによって、代表的な対象物画像（例えば３つの対象物画像）を選択する（図６（ｃ）参照）。

図７は、ディスプレイ４に表示されるガイドの例を示す図である。図６に示したように、様々な撮影方向から対象物を撮影した場合であっても、画像検索のために撮影を行うことが必要な撮影方向の撮影が行われていないことがある。未撮影判定部１８では、そのような未撮影方向の有無の判定が行われ、未撮影方向が有と判定された場合には、ディスプレイ４に未撮影方向からの撮影を促すガイドが表示される。例えば、ボトルの周りの水平方向からの撮影が未撮影である場合には、ボトルの周りを水平方向に一周して撮影するように促すガイドが表示される（図７（ａ）参照）。また、ボトルの周りの垂直方向からの撮影が未撮影である場合には、ボトルの周りを垂直方向に一周して撮影するように促すガイドが表示される（図７（ｂ）参照）。また、ある撮影方向からのボトルの撮影が未撮影である場合には、その方向からボトルを撮影するように促すガイドが表示される（図７（ｃ）参照）。

以上のように構成された第２の実施の形態の画像検索システムについて、図８のフロー図を用いてシステム全体の動作を説明する。

本実施の形態の画像検索システムにおいて画像検索を行うときには、図８に示すように、まず、携帯端末装置１のカメラ３を起動して対象物の撮影を行うと（Ｓ１０）、カメラ３から画像が取り込まれ（Ｓ１１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ１２）。この画像の取り込み処理とカメラ画像の更新処理は、画像検索に必要なすべての撮影方向から撮影が行われるまで、連続的に繰り返される。

未撮影判定部１８によって未撮影の撮影方向があると判定された場合には（Ｓ１３）、図７に示すようなガイドが表示される（Ｓ１４）。画像検索に必要なすべての撮影方向から撮影が行われたと判定されると、図６に示すように画像選択部８によって代表的な対象物画像（検索用画像）が選定される（Ｓ１５）。この場合、この代表的な対象物画像（検索用画像）から画像処理によって特徴量の抽出が行われる。そして、携帯端末装置１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ１６）。

サーバ装置２は、携帯端末装置１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ１７）、対象物に関連するコンテンツの情報を携帯端末装置１へ送信する。携帯端末装置１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ１８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ１９）。

このような本実施の形態の画像検索システムによっても、第１の実施の形態と同様の作用効果を奏することができる。

本実施の形態では、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない代表的な対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択されるので、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

具体的には、様々な撮影方向から複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（代表的な撮影方向から撮影された画像など）が選択される。この場合、まだ撮影が行われていない撮影方向（未撮影方向）があるときには、図７に示すように、その未撮影方向から撮影を行うためのガイド表示が表示される。このガイド表示に従って、画像検索に適した検索用画像を容易に撮影することができる。したがって、画像検索に適した検索用画像が不足するのを防ぐことができ、その結果、認証精度の高い画像検索を容易に行うことが可能になる。

従来のシステムでは、画像検索に用いる画像の撮影条件（撮影方向など）と、検索サーバ装置２のデータベースに格納されている画像の撮影条件（撮影方向など）とが一致していない場合には、画像検索の対象物の認識が困難になる。これに対して、本実施の形態の画像検索システムでは、様々な撮影方向から撮影した画像を効率よく利用することができるので、画像検索の対象物を容易に認識でき、認証精度が向上する。

（第３の実施の形態）
次に、本発明の第３の実施の形態の画像検索システムを、図９〜図１２を用いて説明する。本実施の形態では、車両に搭載される画像入力機能付きナビゲーション装置（単にナビゲーション装置ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第１の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第１の実施の形態と同様の構成である。

図９は、本実施の形態の画像検索システムの構成を示すブロック図である。図９に示すように、ナビゲーション装置２１は、車内の対象物（旅行のガイドブックなど）を撮影する車内カメラ２２と、車内の対象物を照らすＬＥＤ２３と、ナビゲーション装置２１を操作するためのリモコン２４を備えている。なお、図１０では、車内カメラ２２が二つ設けられている場合が例示されているが、車内カメラ２２の数はこれに限定されるものではない。

また、この例では、画像入力手段として車内カメラ２２を利用する例について説明するが、本発明の範囲はこれに限定されるものではなく、ユーザがカメラ付き携帯電話機で撮影した画像等をナビゲーション装置２１に送信することによって、画像入力が行われてもよい。この他の方法として、例えば、ナビゲーション装置２１のＨＤＤ内の画像から入力する方法、ワンセグテレビの画像をそのまま入力する方法、ＷＥＢブラウザの画像をそのまま入力する方法、手書きの絵を入力する方法などを用いてもよい。

ナビゲーション装置２１の制御部７は、車内カメラ２２を制御するためのカメラ制御部２５と、ＬＥＤ２３を制御するためのＬＥＤ制御部２６を備えている。カメラ制御部２５は、車内カメラ２２のゲインや露光時間などを変化させて、対象物を複数回撮影する制御を行う。また、ＬＥＤ制御部２６は、対象物を車内カメラ２２で撮影するときに、光源の種類（光の波長）を変化させる制御を行う。このようにして、様々な光学的条件で複数の対象物画像が撮影される。

制御部７の画像選択部８は、様々な光学的条件で撮影された複数の対象物画像から、光学的条件が類似する画像を除外して、光学的条件が大きく異なる代表的な対象物画像を選択する機能を備えている。例えば、画像選択部８は、複数の対象物画像の相互でマッチング演算を行い、相関が高い画像を除外することにより、代表的な対象物画像を選択することができる。なお、選択する対象物画像は１つでもよく、複数でもよい。

また、この制御部７は、様々な光学的条件で撮影された複数の対象物画像に対して画像処理（例えば背景差分処理）を施して、対象物画像の中から対象物を検出する処理を行う画像処理部２７を備えている。領域指定部９は、この背景差分処理の結果に基づいて検索用領域の指定を行う。この場合、車内カメラ２２で撮影される複数の対象物画像は、光学的条件はそれぞれ異なるものの、対象物の撮影方向は殆ど同じであり、また、車内カメラ２２の位置は固定されているので、対象物画像に背景として写るもの（非対象物）も殆ど同じものである。したがって、複数の対象物画像に背景差分処理を施すことによって、対象物画像に写りこむ非対象物を効率よく排除することができる。ここでは、この画像処理部２７が、本発明の対象物検出手段に相当する。

ここで、図１０および図１１を参照して、本実施の形態における特徴的な処理について詳しく説明する。図１０は、ナビゲーション装置２１の車内カメラ２２で対象物（ガイドブック）を撮影するときの様子を示す説明図である。図１０に示すように、車内カメラ２２の前で、対象物（ガイドブック）を掲げると、車内カメラ２２によって対象物画像の撮影が行われる。そして、例えば、撮影されたガイドブックに記載されている場所に、ナビゲーション装置２１の目的地設定が自動的に行われる。なお、撮影した画像をディスプレイ４に一度表示し、ユーザに目的地を手動で設定させてもよい。

この場合、車内カメラ２２は、ゲインや露光時間などを変化させて、対象物（ガイドブック）を複数回撮影する。あるいは、車内カメラ２２が対象物（ガイドブック）を撮影するときに、ＬＥＤ２３の種類（光の波長）を変化させる。このようにして、様々な光学的条件で撮影された複数の対象物画像の中から、図１１に示すように、光学的条件が類似する画像が除外されて、光学的条件が異なる代表的な対象物画像が選択される。

以上のように構成された第３の実施の形態の画像検索システムについて、図１２のフロー図を用いてシステム全体の動作を説明する。

本実施の形態の画像検索システムにおいて画像検索を行うときには、図１２に示すように、まず、車内カメラ２２を起動して対象物の撮影を行うと（Ｓ２０）、車内カメラ２２から画像が取り込まれ（Ｓ２１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される（Ｓ２２）。この画像の取り込み処理とカメラ画像の更新処理は、リモコン２４による撮影トリガの操作（撮影ボタンの押下など）が検出されるまで、連続的に繰り返される。

撮影トリガが検出されると（Ｓ２３）、様々な光学的条件で複数の対象物画像が撮影され、画像選択部８によって代表的な対象物画像（検索用画像）が選定される（Ｓ２４）。そして、画像処理部２７によってこれらの検索用画像に背景差分処理が施され（Ｓ２５）、その背景差分処理の結果に基づいて検索用領域が指定される。この場合、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、ナビゲーション装置２１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ２６）。

サーバ装置２は、ナビゲーション装置２１から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ２７）、対象物に関連するコンテンツの情報をナビゲーション装置２１へ送信する。ナビゲーション装置２１は、サーバ装置２からコンテンツの情報を受信すると（Ｓ２８）、コンテンツをディスプレイ４上に表示して、その情報をユーザに提示する（Ｓ２９）。また、この場合には、例えば、撮影されたガイドブックに記載されている場所に、ナビゲーション装置２１の目的地設定が行われる。

このような本実施の形態の画像検索システムによっても、第１の実施の形態と同様の作用効果を奏することができる。

本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。

また、本実施の形態では、複数の対象物画像に対して背景差分処理が施されて、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、背景差分処理によって検索用領域が自動的に指定される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

また、本実施の形態では、様々な撮影条件で複数の対象物画像の撮影が行われ、その中から撮影条件が類似するものは除外され、撮影条件が類似しない対象物画像が検索用画像として選択される。したがって、種々の撮影条件で撮影された複数の対象物画像の中から、画像検索に適した検索用画像（特徴的な撮影条件で撮影された画像）を選択することが可能となり、画像検索の対象物の認証精度が向上する。また、検索用画像が自動的に選択される場合には、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

具体的には、様々な光学的条件で複数の対象物画像の撮影が行われ、その中から画像検索に適した検索用画像（適切な照明条件で撮影された画像など）が選択される。したがって、画像検索の対象物の認証精度が向上する。

従来のシステムでは、画像検索に用いる画像の撮影条件（照明条件など）と、検索サーバ装置２のデータベースに格納されている画像の撮影条件（照明条件など）とが一致していない場合には、画像検索の対象物の認識が困難になる。これに対して、本実施の形態の画像検索システムでは、様々な光学的条件で撮影した画像を効率よく利用することができるので、画像検索の対象物を容易に認識でき、認証精度が向上する。

（第４の実施の形態）
次に、本発明の第４の実施の形態の画像検索システムを、図１３〜図１６を用いて説明する。本実施の形態では、車外カメラ搭載車両（単に車両ともいう）を用いた画像検索システムの場合を例示する。ここでは、本実施の形態の画像検索システムが、第３の実施の形態と相違する点を中心に説明する。すなわち、ここで特に言及しない限り、本実施の形態の画像検索システムは、第３の実施の形態と同様の構成である。

図１３は、本実施の形態の画像検索システムの構成を示すブロック図である。図１３に示すように、車両２８には、前方を走行する車両を撮影する車外カメラ２９が設けられている。なお、図１３では、車外カメラ２９が前方を走行する車両を撮影するカメラである場合を例示したが、車外カメラ２９は側方や後方などを撮影するものであってもよい。

この制御部７の画像処理部３０は、車外カメラ２９で撮影された対象物画像に対して画像処理を施して、対象物を検出する機能を備えている。領域指定部９は、この画像処理（対象物の検出処理）の結果に基づいて検索用領域の指定を行う。この場合、画像処理で対象物を検出する方法は、既知の方法を用いることが可能であり、例えば、画像中の動きベクトルを算出して、対象物を検出する方法などを用いることができる。ここでは、この画像処理部３０が、本発明の対象物検出手段に相当する。

ここで、図１４および図１５を参照して、本実施の形態における特徴的な処理について詳しく説明する。図１４は、車外カメラ２９で撮影した前方の車両の車種を識別する様子を示す説明図である。図１４に示すように、前方を走行する車両を車外カメラ２９で撮影すると、撮影された車両の車種などの情報がナビゲーション装置２１のディスプレイ４に表示される。

この場合、車外カメラ２９で撮影された対象物画像に画像処理を施すことによって、対象物（前方の車両）の検出処理が行われる。例えば、図１５に示すように、対象物画像の中から対象物（前方の車両）に対応する領域（検出枠内の領域）が検出されて、画像検索に用いるための検索用領域が指定される。

以上のように構成された第４の実施の形態の画像検索システムについて、図１６のフロー図を用いてシステム全体の動作を説明する。

本実施の形態の画像検索システムにおいて画像検索を行うときには、図１６に示すように、まず、車外カメラ２９を起動して対象物の撮影を行うと（Ｓ３０）、車外カメラ２９から画像が取り込まれ（Ｓ３１）、ディスプレイ４の画面上に表示される画像（カメラ画像ともいう）が更新される。そして、カメラ画像に画像処理を施して、対象物（前方を走行する車両）を検出する処理を実行する（Ｓ３２）。この画像の取り込み処理とカメラ画像の更新処理と対象物の検出処理は、対象物（前方を走行する車両）が検出されるまで、連続的に繰り返される。

対象物（前方を走行する車両）が検出されると（Ｓ３３）、領域指定部９によって検索用領域が指定され、この検索用領域から画像処理によって特徴量の抽出が行われる。そして、車両２８のナビゲーション装置２１は、画像の情報（この場合には特徴量のデータ）をサーバ装置２に送信する（Ｓ３４）。

サーバ装置２は、車両２８から受信した画像の情報を用いて画像検索を行い、対象物の検索がヒットした場合には（Ｓ３５）、対象物に関連するコンテンツの情報（車両の車種などの情報）を車両２８へ送信する。車両２８は、サーバ装置２からコンテンツの情報を受信すると（Ｓ３６）、ナビゲーション装置２１のディスプレイ４上にコンテンツを表示して、その情報をユーザに提示する（Ｓ３７）。

このような本実施の形態の画像検索システムによっても、第３の実施の形態と同様の作用効果を奏することができる。

本実施の形態では、複数の対象物画像の中から選択された検索用画像に含まれる検索用領域が指定され、その検索用領域の情報を用いて画像検索が行われる。したがって、検索用画像の中で画像検索に適した検索用領域（例えば、非対象物をあまり含まない領域など）を指定することが可能となり、画像検索の対象物の認証精度がさらに向上する。

また、本実施の形態では、対象物画像から対象物を検出する画像処理が施されて、画像検索に適した検索用領域（非対象物である背景が除外された領域）が指定される。したがって、画像検索の対象物の認証精度が向上する。また、画像処理によって検索用領域が自動的に指定されるので、画像検索を行うときに必要な操作が少なくて済み、認証精度の高い画像検索を容易に行うことができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

例えば、以上の説明では、画像検索装置（携帯端末装置１など）とサーバ装置２が別々の機器である場合について例示したが、本発明の範囲はこれに限定されるものではなく、画像検索装置とサーバ装置２同一の機器であってもよい。つまり、画像検索部１６などのサーバ装置の構成が、画像検索装置の内部に備えられていてもよい。その場合には、通信部６、１２を省略することができ、内部結線などで通信を行えばよい。

以上のように、本発明にかかる画像検索装置は、画像検索の対象物の認識精度を向上することができるという効果を有し、カメラ付き携帯端末装置や画像入力機能付きナビゲーション装置、車外カメラ搭載車両などを利用した画像検索システム等に用いられ、有用である。

第１の実施の形態における画像検索システムの構成を示すブロック図である。 第１の実施の形態における画像検索システムの説明図である。 第１の実施の形態における検索用領域の指定の変形例を示す説明図である。 第１の実施の形態における画像検索の流れを示すフロー図である。 第２の実施の形態における画像検索システムの構成を示すブロック図である。 第２の実施の形態における画像検索システムの説明図である。 第２の実施の形態におけるガイド表示の例を示す図である。 第２の実施の形態における画像検索の流れを示すフロー図である。 第３の実施の形態における画像検索システムの構成を示すブロック図である。 第３の実施の形態における画像検索システムの説明図である。 第３の実施の形態における多重撮影処理の一例を示す図である。 第３の実施の形態における画像検索の流れを示すフロー図である。 第４の実施の形態における画像検索システムの構成を示すブロック図である。 第４の実施の形態における画像検索システムの説明図である。 第４の実施の形態における物体検出処理を示す説明図である。 第４の実施の形態における画像検索の流れを示すフロー図である。

符号の説明

１ 携帯端末装置
２ サーバ装置
３ カメラ
４ ディスプレイ
５ タッチセンサ
８ 画像選択部
９ 領域指定部
１０ 特徴量抽出部
１１ コンテンツ表示制御部
１６ 画像検索部
１７ コンテンツ取得部
１８ 未撮影判定部
１９ ガイド生成部
２０ ガイド表示制御部
２１ ナビゲーション装置
２２ 車内カメラ
２３ ＬＥＤ
２５ カメラ制御部
２６ ＬＥＤ制御部
２７ 画像処理部
２８ 車両
２９ 車外カメラ
３０ 画像処理部

Claims (12)

1. 画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、
   連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、
   選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する送信手段と、
   前記画像検索手段から受信した前記画像検索の結果を表示する結果表示手段と、
   を備えることを特徴とする画像検索装置。
2. 前記画像検索に用いるための検索用領域として、選択された前記検索用画像において前記対象物が含まれる領域を指定する指定手段を備え、
   前記送信手段は、指定された前記検索用領域の情報を前記画像検索手段に送信することを特徴とする請求項１に記載の画像検索装置。
3. 連続的に撮影された前記複数の対象物画像を、連続的に表示する画像表示手段と、
   前記画像表示手段の画面上で行われるタッチ入力を検出する検出手段と、
   を備え、
   前記選択手段は、前記タッチ入力に基づいて前記検索用画像の選択を行い、
   前記画像表示手段は、選択された前記検索用画像を静止画像として表示し、
   前記指定手段は、静止画像として表示された前記検索用画像において前記検索用領域の指定を行うことを特徴とする請求項２に記載の画像検索装置。
4. 連続的に撮影された前記複数の対象物画像に対して画像処理を施して、前記対象物画像から前記対象物を検出する処理を行う対象物検出手段を備え、
   前記指定手段は、前記対象物の検出処理の結果に基づいて前記検索用領域の指定を行うことを特徴とする請求項２に記載の画像検索装置。
5. 前記撮影手段は、複数の異なる撮影条件で、前記複数の対象物画像を撮影し、
   前記選択手段は、前記複数の対象物画像から前記撮影条件が類似する対象物画像を除外して、前記撮影条件が類似しない対象物画像を選択することを特徴とする請求項１〜請求項４のいずれかに記載の画像検索装置。
6. 前記撮影条件には、前記対象物を撮影するときの撮影方向が含まれ、
   画像検索装置は、
   撮影された前記対象物画像に基づいて、前記画像検索のために撮影を行うことが必要な複数の異なる撮影方向のうち撮影が行われていない未撮影方向の有無を判定する判定手段と、
   前記未撮影方向が有と判定された場合に、前記未撮影方向から前記対象物画像を撮影するためのガイドを表示するガイド表示手段と、
   を備えることを特徴とする請求項５に記載の画像検索装置。
7. 前記撮影条件には、前記対象物を撮影するときの光学的条件が含まれることを特徴とする請求項５に記載の画像検索装置。
8. 選択された前記検索用画像に画像処理を施して、前記検索用画像に含まれる特徴量を抽出する特徴量抽出手段を備え、
   前記送信手段は、前記検索用画像の特徴量の情報を前記画像検索手段に送信することを特徴とする請求項１〜請求項７のいずれかに記載の画像検索装置。
9. 前記画像検索装置は、カメラ付き携帯端末装置、画像入力機能付きナビゲーション装置、または、車外カメラ搭載車両を含むことを特徴とする請求項１〜請求項８のいずれかに記載の画像検索装置。
10. ユーザが操作する画像検索装置と、前記画像検索装置と通信可能なサーバ装置とを備える画像検索システムにおいて、
    前記サーバ装置は、画像検索を行う画像検索手段を備えており、
    前記画像検索装置は、
    画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する撮影手段と、
    連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する選択手段と、
    選択された前記検索用画像の情報を、前記サーバ装置に送信する送信手段と、
    前記サーバ装置から受信した前記画像検索の結果を表示する結果表示手段と、
    を備えることを特徴とする画像検索システム。
11. 画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影し、
    連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択し、
    選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信し、
    前記画像検索手段から受信した前記画像検索の結果を表示することを特徴とする画像検索方法。
12. 画像検索装置において実行されるプログラムであって、
    画像検索の対象物が被写体として含まれる複数の対象物画像を連続的に撮影する処理と、
    連続的に撮影された前記複数の対象物画像の中から、前記画像検索に用いるための検索用画像を少なくとも一つ選択する処理と、
    選択された前記検索用画像の情報を、前記画像検索を行う画像検索手段に送信する処理と、
    前記画像検索手段から受信した前記画像検索の結果を表示する処理と、
    をコンピュータに実行させることを特徴とするプログラム。