JP2015222493A - 画像検索装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】地理的な要素に関連する画像を検索する場合に、撮影場所と撮影対象を区別して検索することが可能な画像検索装置を提供する。【解決手段】画像検索装置は、画像を検索するための検索条件を設定可能な設定手段と、検索条件に基づいて画像を検索する検索手段と、検索手段により検索された画像を出力する出力手段とを有する。ここで設定手段は、検索条件として、目標物を示す情報と、当該目標物を示す情報により特定される所定の撮影場所で撮影された画像と目標物を示す情報により特定される所定の撮影対象を含む画像のいずれかを指定することが可能である。また、検索手段は、画像が目標物を示す情報を有し、さらに、画像を撮影した位置が目標物を示す情報により特定される所定の地理的な範囲に含まれる場合、画像を所定の撮影場所で撮影された画像として抽出する。一方、画像が目標物を示す情報を有し、さらに、画像を撮影した位置が所定の地理的な範囲に含まれない場合、画像を所定の撮影対象を含む画像として抽出する。【選択図】図４

Description

本発明は、画像検索装置およびその制御方法ならびにプログラムに関する。

近年、撮影したデジタル画像の蓄積やサーバへのアップロードが容易となり、デジタルカメラやパーソナルコンピュータ等の個々の電子機器やサーバに大量の画像データが蓄積されるようになっている。蓄積された大量の画像データから意図した画像を得るためには画像の検索が必要となるが、一般に画像の検索はキーワードを検索条件として設定して検索を行い、設定したキーワードに対する検索結果が所定の表示画面に表示される（特許文献１）。

特開２０１０−２５７１６９号公報

ところで、地理的な要素に関連する画像を検索する場合、ユーザが設定するキーワードには撮影場所を意図する場合と撮影対象を意図する場合とが考えられるが、特許文献１には撮影場所や撮影対象を区別して検索することは考慮されていない。このため、キーワードが撮影場所を意図する場合と撮影対象を意図する場合とが区別されずに検索されることになり、キーワードに対して意図する検索結果を得ることができない場合がある。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、地理的な要素に関連する画像を検索する場合に、撮影場所と撮影対象を区別して検索することが可能な画像検索装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像検索装置は以下の構成を備える。すなわち、画像を検索するための検索条件を設定可能な設定手段と、検索条件に基づいて画像を検索する検索手段と、検索手段により検索された画像を出力する出力手段と、を有する画像検索装置であって、設定手段は、検索条件として、目標物を示す情報と、当該目標物を示す情報により特定される所定の撮影場所で撮影された画像と目標物を示す情報により特定される所定の撮影対象を含む画像のいずれかを指定することが可能であり、検索手段は、画像が目標物を示す情報を有し、さらに画像を撮影した位置が目標物を示す情報により特定される所定の地理的な範囲に含まれる場合、画像を所定の撮影場所で撮影された画像として抽出し、画像を撮影した位置が所定の地理的な範囲に含まれない場合、画像を所定の撮影対象を含む画像として抽出する、ことを特徴とする。

本発明によれば、地理的な要素に関連する画像を検索する場合に、撮影場所と撮影対象を区別して検索することが可能となり、ユーザの意図が反映された検索結果を得ることができるようになる。

本発明の実施形態に係る画像検索装置の一例としてのパーソナルコンピュータの機能構成例を示すブロック図（ａ）および本発明の実施形態に係る情報処理装置の一例としてのサーバの機能構成例を示すブロック図（ｂ） 本実施形態に係る画像検索の検索条件を設定する画面例（ａ）と検索結果を表示する画面例（ｂ）を示す図 本実施形態に係るランドマーク名に対する位置情報と範囲情報を提供する際に利用するデータテーブルを示す図 本実施形態に係る画像検索処理の一連の動作を示すフローチャート 本実施形態に係る領域情報提供処理の一連の動作を示すフローチャート 本実施形態に係る検索結果表示処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像検索装置の一例として、画像検索の可能な任意のパーソナルコンピュータに本発明を適用した例を説明する。しかし、本発明は、パーソナルコンピュータに限らず、地理的な要素に関連する画像を検索することが可能な任意の電子機器にも適用可能である。これらの機器には、例えばデジタルカメラ、携帯電話機、ゲーム機、タブレット端末、眼鏡型の情報端末などが含まれてよい。また、情報処理装置の一例として、地理的な領域情報の提供が可能な任意のサーバに本発明を適用した例を説明する。しかし、本発明は、サーバに限らず、地理的な領域情報の提供が可能な任意の電子機器にも適用可能である。これらの機器には、例えばデジタルカメラ、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。

なお、本実施形態において、ランドマークは、目標物、即ち、地理的な目印となる建物や空間であり、ランドマークデータはこれらの名称、場所（例えば位置情報や住所）、その対象物に関する付加情報（例えば詳細な説明）などの情報を記録したデータをいう。しかし、建物や空間の場所やこれらの特徴を示す情報であればこれに限定されない。

（１ パーソナルコンピュータ１００の構成）
図１は、本実施形態の画像検索装置および情報処理装置の一例としてパーソナルコンピュータ（以下、ＰＣという）１００およびサーバ２００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイなどのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

まず図１（ａ）を参照して、ＰＣ１００の機能構成例について説明する。

制御部１０１は、例えばＣＰＵあるいはＭＰＵであり、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３の作業エリアに展開し、実行することにより、ＰＣ１００全体を制御する制御部である。また、制御部１０１はプログラムを実行することにより、後述する画像検索処理や検索結果表示処理を行う。なお、制御部１０１が制御する処理は、複数の制御部で制御してもよい。

ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納する読み取り専用の記録媒体である。

ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶する揮発性の記憶媒体である。例えば後述する画像検索処理が実行されると、記憶部１０４から読み出した画像データのメタデータや検索結果のデータを一時的に格納する。

記憶部１０４は、画像を記憶する記録媒体であり、ハードディスク等の磁器ディスクもしくはフラッシュメモリ等の半導体メモリ、または着脱可能なＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光により記録されるカード等を含む。記憶部１０４は、メタデータの付与された画像データを記憶しており、後述する画像検索処理が実行されると、制御部１０１の指示に応じて画像データを開いて付与されているメタデータを読み出す。なお、画像データにはメタデータとして、撮像装置の測位機能（例えばＧＰＳ等）により撮影時に付加された緯度および経度を含む撮影位置情報と、ランドマーク名を含むランドマークデータが手動または自動で付加されている。このとき、付加されているランドマーク名は撮影場所および撮影対象が区別されている必要はない。例えば、自動で付加される場合には、一般的には撮影位置情報をキーにしてランドマーク名を付加することが多いため、撮影場所を示すランドマーク名が付加されている可能性が高い。一方、手動で付加される場合には、例えばユーザにより任意の文字列を記入することや、撮影位置情報をキーにしていくつかのランドマーク名の候補を提示し、ユーザの選択に従うことが考えられる。故に、手動で付加されるランドマーク名の場合は、撮影場所を示す場合もあれば、撮影対象を示す場合もある。従って、記憶部１０４に記録されている画像に付加されているランドマーク名は、撮影場所を示す場合と撮影対象を示す場合とが混在しているものと考えられる。

操作部１０５は、ユーザの操作を受けつけるタッチパネル、キーボードやマウス等から構成され、ユーザの操作を受け付けると制御部１０１にその操作内容を通知する。

表示部１０６は、ユーザへのＧＵＩ表示や画像データの表示を行い、例えばＬＣＤパネルや有機ＥＬパネルで構成される。表示部１０６は、制御部１０１の指示に応じて検索された画像データや記憶部１０４に記憶されている画像データを表示する。

通信部１０７は、有線または無線を介してインターネットなどのネットワーク回線に接続してサーバ２００等の外部の装置と通信を行う。詳細は後述するが、通信部１０７は制御部１０１の指示により検索対象となるキーワードをサーバ２００に送信するとともに、送信したランドマーク名に対応する領域（地理的な範囲ともいう）の情報をサーバ２００から受信する。受信した領域の情報はバス１０８に出力されて、制御部１０１に通知される。

バス１０８は、１０１から１０７の各機能ブロックを通信可能に接続するシステムバスである。

（２ サーバ２００の構成）
次に図１（ｂ）を参照して、サーバ２００の機能構成例について説明する。サーバ２００は、ＰＣ１００から送信されたランドマーク名に対して当該ランドマークの領域の情報を返信（領域情報提供処理）するサーバである。本実施形態では、ランドマークの領域の情報は位置情報および範囲情報で表される。

制御部２０１は、例えばＣＰＵあるいはＭＰＵであり、ＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３の作業エリアに展開し、実行することにより、サーバ２００全体を制御する制御部である。また、制御部２０１はプログラムを実行することにより、後述する領域情報提供処理を行う。

ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する読み取り専用の記録媒体である。

ＲＡＭ２０３は、外部装置などから供給されるプログラムやデータを一時記憶する揮発性の記憶媒体である。

記憶部２０４は、画像を記憶する記録媒体であり、ハードディスク等の磁器ディスクもしくはフラッシュメモリ等の半導体メモリ、または着脱可能なＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光により記録されるカード等を含む。記憶部２０４は、ランドマーク名に対する位置情報および範囲情報を管理したデータベースの情報を記憶しており、領域情報提供処理が実行されると制御部２０１の指示に応じて所定の範囲のデータが読み出される。

通信部２０５は、有線または無線を介してインターネットなどのネットワーク回線に接続してＰＣ１００等の外部の装置と通信を行う。後述するように、通信部２０５は制御部２０１の指示により検索対象となるキーワードをＰＣ１００から受信するとともに、受信したキーワードに対するランドマーク名の位置情報および範囲情報をＰＣ１００に返信する。

バス２０６は、２０１から２０５の各機能ブロックを通信可能に接続するシステムバスである。

（３ 画像検索処理および検索結果表示処理の概要）
本実施形態に係る画像検索処理および検索結果表示処理の概要について、図２および図３を参照して説明する。上述のように、画像検索処理において検索対象となるのは記憶部１０４に記憶されている画像データであり、当該画像データにはメタデータとして撮影位置情報およびランドマーク名が記録されている。

制御部１０１は、操作部１０５を介して画像検索を行うためのユーザ操作を受け付けると図２（ａ）に示す検索画面３００を表示部１０６上に表示する。検索画面３００には、画像を検索するためのキーワードを設定可能なエディットボックス３１０、キーワードが撮影場所か撮影対象かのいずれを示すかを設定可能なラジオボタン３２０およびラジオボタン３３０を有する。本実施形態では、目標物たるランドマークを示す情報がキーワードとして入力される。また、ユーザは上述の検索条件の設定後、検索ボタン３４０を押下すると、制御部１０１は画像検索処理を開始する。一方、ユーザはキャンセルボタン３５０を押下して検索条件の設定を中止することも可能であり、この場合、制御部１０１は画像検索処理を行わずに検索画面３００の表示を終了する。

例えば、ユーザによりエディットボックス３１０に入力されるキーワードがランドマーク名である「○×電波塔」であるとする。ラジオボタン３２０を有効にした場合には、エディットボックス３１０に入力したキーワードが撮影場所であることが設定され、一方、ラジオボタン３３０を有効にした場合には、入力したキーワードが撮影対象であることが設定される。ラジオボタン３２０およびラジオボタン３３０は排他的に指定されるものであり、制御部１０１はいずれか一方のみが設定されるように表示を制御する。図２（ａ）の例では、ラジオボタン３２０が指定されており、「○×電波塔」に対する検索条件として撮影場所を設定した状態を示している。この状態でユーザが検索ボタン３４０を押下すると、制御部１０１は、設定された検索条件に合致する、即ち「○×電波塔」が合致するランドマーク名を含み、かつ「○×電波塔」を撮影対象としている画像データの検索処理を開始する。一方、ユーザがキャンセルボタン３５０を押下すると、制御部１０１はエディットボックス３１０に入力されているキーワード、ラジオボタン３２０およびラジオボタン３３０の指定状態を初期化して検索画面３００を非表示にする。

検索ボタン３４０の押下により画像検索が開始されると、制御部１０１は、検索画面３００を非表示にした後に画像データの画像検索処理を実行して、検索結果を検索結果画面４００に表示する。

制御部１０１は、検索された画像データの撮影位置情報が撮影場所か撮影対象かのいずれであるかを判定するために、入力したキーワードに対するランドマーク名の位置情報とその範囲情報についてサーバ２００に問い合わせを行う。これに対してサーバ２００は、問い合わせのあったキーワードに対するランドマーク名の位置情報と範囲情報をＰＣ１００に返信する。

制御部１０１は、記憶部１０４に記憶されている画像データからランドマーク名が「○×電波塔」と一致する画像データを特定すると、この画像データに記録された撮影位置情報を取得する。制御部１０１は、画像データに記録された撮影位置情報に対して、サーバ２００から受信した位置情報と範囲情報からランドマーク情報が撮影場所として設定されているのか撮影対象として設定されているのかを判定する。換言すれば、制御部１０１は、サーバ２００から受信した位置情報と範囲情報に基づいて、画像データをランドマーク名に合致する場所から撮影された画像とその場所を撮影した画像とを区別する判定処理を行う。制御部１０１は、この判定処理を特定された全ての画像データに対して実行して、検索結果を図２（ｂ）に示す検索結果画面４００に表示させる。

検索結果画面４００は、画像検索の検索完了時に表示部１０６に表示される画面であり、例えば「○×電波塔」というキーワードに対して、「○×電波塔」というランドマーク名を撮影場所とした画像が検索結果画面４００に表示される。

コンボボックス４１０は、画像検索のキーワードを撮影対象に対して検索したのか、撮影場所に対して検索したのかを表示している。ユーザが操作部１０５を介してコンボボックス４１０を操作すると、制御部１０１は検索結果を参照しながらキーワードを撮影場所として検索した結果と、キーワードを撮影対象として検索した結果を切り替えることができる。例えば、キーワードを撮影場所として画像を検索した場合はコンボボックス４１０には撮影場所に対して検索されたことが表示される。

なお、検索画面３００においてユーザが撮影場所か撮影対象かを設定するようにしているが、撮影対象をデフォルトの設定として検索し、検索後にコンボボックス４１０により撮影場所か撮影対象かを選択するようにしてもよい。このようにすれば、検索条件の設定時にはユーザは単にキーワードを入力するだけで容易かつ素早く検索を開始することができる。

画像表示エリア４２０は、検索された画像データのサムネイルを表示する領域であり、また、終了ボタン４３０は、検索結果画面を閉じるためのボタンであり、操作部１０５を介してユーザの操作を受け付ける。

（４ サーバ２００が蓄積しているデータの概要）
サーバ２００が記憶部２０４に蓄積しているデータについて図３を参照して説明する。データは、ランドマーク名とそのランドマークの位置情報および範囲情報が対応付けられて蓄積されており、図３の例では３つのランドマーク名にそれぞれの位置情報とその範囲情報が対応付けられていることを示している。ランドマーク名の列には、ランドマークの名称が記録されている。位置情報の列には、対応するランドマークの緯度情報と経度情報の順に緯度と経度が記録されており、範囲情報の列には、位置情報を中心とした直径（ｍ）がランドマークの範囲として記録されている。

図３の例において、例えばＰＣ１００から受信したキーワード「○×ランド」をランドマーク名として検索した場合、位置情報として緯度：３５．６２，経度：１３９．５２、範囲情報として直径：７６０ｍがそれぞれ取得される。同様に、「○×公園」をランドマーク名として検索すると、位置情報（緯度：３５．６７，経度：１３９．６９）および範囲情報（直径：２４４ｍ）が取得できる。さらに、「○×電波塔」では、位置情報（緯度：３５．６６，経度：１３９．７５）および範囲情報（直径：５０ｍ）が取得される。

（５ 画像検索処理に係る一連の動作）
次に、図４を参照して、ＰＣ１００における画像検索処理に係る一連の動作を説明する。なお、ＰＣ１００において検索画面３００により検索条件が設定されている状態で、例えば操作部１０５を介して検索ボタン３４０が押下された場合に本処理が開始される。また、本処理は制御部１０１がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３の作業用領域に展開し、実行することにより実現される。

Ｓ４０１０において制御部１０１は、検索条件、即ちエディットボックス３１０に入力されたキーワードおよびラジオボタン（３２０、３３０）に設定された撮影場所か撮影対象かの設定を取得する。例えば、エディットボックス３１０に入力されたキーワードが「○×電波塔」であり、ラジオボタン３２０を指定して撮影場所が設定されていた場合、キーワード「○×電波塔」および撮影場所としての設定を取得して、ＲＡＭ１０３に記憶させる。

Ｓ４０２０において制御部１０１は、Ｓ４０１０で取得したキーワードをサーバ２００に送信する。制御部１０１は、予め定められた通信フォーマットに従ってＲＡＭ１０３に記憶したキーワードをリクエスト用データに格納し、通信部１０７を介してサーバ２００に送信する。

Ｓ４０３０において制御部１０１は、サーバ２００からランドマークの位置情報と範囲情報が返信されたかを判定する。後述するサーバ２００の処理により、送信したキーワードに対してランドマークの位置情報と範囲情報が返信された場合、制御部１０１はＳ４０４０に処理を進める。一方、ランドマークの位置情報と範囲情報が返信されなければ、制御部１０１は送信したキーワードに対するランドマークの位置情報が見つからなかったものとして本処理に係る一連の動作を終了させる。

Ｓ４０４０において制御部１０１は、サーバ２００から返信されたランドマークの位置情報と範囲情報を取得する。

Ｓ４０５０において制御部１０１は、検索対象となる画像データからキーワードとランドマーク名の合致する画像データ一つを特定する。具体的には制御部１０１は、記憶部１０４に記憶されている画像データのメタデータを順次読み出してメタデータとして記録されているランドマークデータのランドマーク名がキーワードと合致する画像データを特定する。

Ｓ４０６０において制御部１０１は、Ｓ４０５０で取得した画像データに記録されているメタデータから撮影位置情報を取得する。

Ｓ４０７０において制御部１０１は、画像データに付加されているランドマーク名が、撮影場所であるか撮影対象であるかを示すフラグ（撮影場所フラグ）を初期化する。撮影場所フラグは、例えば設定された値が０である場合は撮影対象を表し、設定された値が１である場合は撮影場所を表すものとし、制御部１０１は撮影場所フラグの値を例えば０に設定して初期化する。

Ｓ４０８０において制御部１０１は、Ｓ４０６０で取得した画像データの撮影位置が、ランドマークの位置とその範囲の中にあるかを判定する。画像データの撮影位置が、ランドマークの位置情報とその範囲の中にあるかどうかの判定は、画像データの撮影位置が、サーバ２００から取得したランドマークの位置情報を中心として範囲情報で示される範囲内にあるかを判定する。例えばランドマーク名「○×電波塔」に対する位置（緯度：３５．６６，経度：１３９．７５）を中心とした直径：５０ｍの円の中に撮影位置が存在する場合、制御部１０１は当該画像データの撮影位置がランドマークの位置とその範囲の中にあると判定する。それ以外の場合は、ランドマークの位置とその範囲の中にないと判定する。制御部１０１は、撮影位置がランドマークの位置とその範囲の中にあると判定した場合、Ｓ４０９０へ処理を進め、撮影位置がランドマークの位置とその範囲の中にないと判定した場合、Ｓ４１００に処理を進める。

Ｓ４０９０において制御部１０１は、処理対象となる画像データの撮影位置がランドマークの位置とその範囲の中にあるため、撮影場所フラグを立てて値を１に設定する（即ち、画像データの撮影位置情報が撮影場所を示す）。

Ｓ４１００において制御部１０１は、画像データと撮影場所フラグを対応付けて検索結果のリストに追加する。制御部１０１は、ランドマーク名の一致した画像データを列挙するための検索結果のリストを予め生成しておき、ランドマーク名の一致する画像データを特定するたびに当該画像データと撮影場所フラグの組をリストに追加する。このとき、画像データについては、画像データのパスやファイル名等の識別情報を記録する。

Ｓ４１１０において制御部１０１は、画像データを全て検索したかを判定し、記憶部１０４に記録されている画像データの検索が全て終了していればＳ４１２０に処理を進める。また、画像の検索が全て完了していない場合、Ｓ４０５０に再び処理を戻してランドマーク名の一致する画像データの取得を行う。Ｓ４０５０からＳ４１１０の処理を繰り返し行うことで、キーワードで指定されたランドマーク名を記録した画像データを特定し、さらにそのランドマーク名が撮影場所あるいは撮影対象である画像データに分類して抽出することができる。

Ｓ４１２０において制御部１０１は、検索結果のリストに記録した画像データを検索結果表示処理によって検索結果画面４００に表示し、検索結果の表示が完了すると画像検索処理に係る一連の動作を終了する。なお、検索結果表示処理については、後述する。

（６ 領域情報提供処理に係る一連の動作）
次に、図５を参照して、サーバ２００における領域情報提供処理に係る一連の動作を説明する。なお、本処理は、Ｓ４０２０においてＰＣ１００から送信されたキーワードを指定したリクエスト用データを通信部２０５が受信した場合に本処理が開始される。また、本処理は制御部２０１がＲＯＭ２０２に記憶されたプログラムをＲＡＭ２０３の作業用領域に展開し、実行することにより実現される。サーバ２００における領域情報提供処理では、ＰＣ１００から送信されたキーワードに基づいて位置情報および範囲情報をＰＣ１００に提供する。

Ｓ５０１０において制御部２０１は、検索対象のランドマーク名を取得する。制御部２０１は、通信部２０５を介して取得したリクエスト用データから予め定められた形式に従ってキーワードを取り出す。Ｓ４０２０においてキーワードが例えば「○×電波塔」と設定されていた場合、当該キーワードを検索対象のランドマーク名として取得する。

Ｓ５０２０において制御部２０１は、記憶部２０４に記憶されているデータベースから取得したランドマーク名の検索を行う。制御部２０１は、取得したランドマーク名、例えば「○×電波塔」と一致するデータの検索を図３に示したデータベースのテーブルに対して行う。

Ｓ５０３０において制御部２０１は、データベースからランドマーク名が見つかったかを判定する。ランドマーク名が存在した場合、Ｓ５０４０に処理を進め、ランドマーク名が存在しなかった場合、Ｓ５０６０に処理を進める。

Ｓ５０４０において制御部２０１は、見つかったランドマーク名に対応するランドマークの位置情報とその範囲情報を取得する。即ち、制御部２０１は、図３に示したデータベースのテーブルにおいて、ランドマーク名「○×電波塔」に対応するランドマークの位置情報（緯度：３５．６６，経度：１３９．７５）と範囲情報（直径：５０ｍ）とをデータベースのテーブルから取得する。

Ｓ５０５０において制御部２０１は、受信したキーワードに対応するランドマークの位置情報と範囲情報をＰＣ１００に送信する。制御部２０１は、予め定められた通信フォーマットに従ってランドマークの位置情報と範囲情報をリプライ用データに格納して、通信部２０５を介してＰＣ１００に送信する。

Ｓ５０６０において制御部２０１は、ＰＣ１００から受信したキーワードに対応するランドマークの位置情報とその範囲情報が見つからなかったため、ＰＣ１００に対してエラーを送信する。

（７ 検索結果表示処理に係る一連の動作）
上述したＳ４１２０の検索結果表示処理に係る一連の動作について、図６を参照して説明する。なお、ＰＣ１００において制御部１０１がＳ４１２０の実行を開始すると本処理が開始される。

Ｓ６０１０において制御部１０１は、Ｓ４１００において作成した検索結果のリストを取得する。この検索結果のリストには、上述の例ではランドマーク名として「○×電波塔」が記録された画像データの識別情報が格納されている。

Ｓ６０２０において制御部１０１は、検索条件、即ちキーワード、撮影場所か撮影対象かの設定をＲＡＭ１０３から取得して、検索結果画面４００のタイトル部分およびコンボボックス４１０に表示させる。

Ｓ６０３０において制御部１０１は、検索条件の切り替え指示があったかを判定する。検索条件のうち撮影場所か撮影対象かの設定の切り替え指示は、ユーザが操作部１０５を介してコンボボックス４１０を操作することで行われる。制御部１０１は、操作部１０５からの通知によりコンボボックス４１０に対する操作を取得し、切り替え指示があったと判定した場合はＳ６０４０に処理を進める。一方、切り替え指示がなかったと判定した場合はＳ６０５０に処理を進める。

Ｓ６０４０において制御部１０１は、検索条件の切り替えが発生した場合、変更された検索条件を取得する。例えば撮影場所か撮影対象かの設定が変更された場合、コンボボックス４１０の指定状態を取得する。図２（ｂ）で示すようにコンボボックス４１０の切り替えが発生した場合、撮影場所か撮影対象かの設定を撮影場所として取得する。そして、新たに取得した検索条件をＲＡＭ１０３に記憶させる。

Ｓ６０５０において制御部１０１は、検索条件において撮影場所か撮影対象かの設定が撮影場所であるかを判定する。当該設定が撮影場所を示す場合、撮影場所に関連する画像データを表示させるためにＳ６０６０に処理を進める。撮影場所ではなかった場合は、撮影対象であると判断し、Ｓ６０７０に処理を進める。

Ｓ６０６０において制御部１０１は、検索結果のリストから撮影場所フラグの立っている画像データ、即ち撮影場所フラグが１に設定されている画像データを図２（ｂ）の画像表示エリア４２０上にサムネイルとして表示する。まず制御部１０１は、検索結果のリストに格納された画像データの識別情報を取得すると、識別情報で表される画像データを読み出してサムネイルを生成し、表示部１０６に表示させる。そして、検索結果のリストに含まれる表示対象となる画像データのサムネイルの表示を完了すると検索結果表示処理に係る一連の動作を終了する。

Ｓ６０７０において制御部１０１は、検索結果のリストから撮影場所フラグの立っていない画像データ、即ち撮影場所フラグが１に設定されている画像データを図２（ｂ）の画像表示エリア４２０上にサムネイルとして出力する。そして、Ｓ６０６０と同様に、検索結果のリストに含まれる画像データのサムネイルの表示を完了すると検索結果表示処理に係る一連の動作を終了する。

なお、本実施形態では、ランドマーク名に対応する位置情報と範囲情報の提供をサーバ２００で行ったがサーバ２００の構成をＰＣ１００の内部に持たせて単一の装置内で実現する構成としてもよい。この場合は、図３に示したデータベースのテーブルはＰＣ１００の記憶部１０４に記憶され、制御部１０１の制御により処理対象となるランドマーク名に対する位置情報と範囲情報を取得する構成となる。

また、本実施形態では、ランドマークの領域情報をランドマークの場所の１点を示す位置とこの位置を中心とする直径としたが、ランドマークの地理的な領域が特定できる情報であれば、他のデータ構成であってもよい。例えば複数の位置をメッシュ状に配置したランドマークの領域情報を保持してもよい。このようにすれば、円形と比較してより複雑なランドマークの形状に合わせた領域の判断が可能となる。さらにランドマークの位置情報には緯度および経度情報を用いたが、これらに加えて高度情報も用いてもよく、高度情報を用いることで例えば同じランドマークであっても山頂とふもとにおける撮影場所や撮影対象の区別を行うこと等が可能になる。

本実施形態では、ランドマーク名の合致した全ての画像に対して撮影場所か撮影対象かの判定を行ったが、ランドマークの特性に応じて処理対象となる画像を絞り込んでもよい。例えば、ランドマークの高度に応じて撮影位置がランドマークを視認可能な範囲にある画像データに絞り込み、絞り込んだ画像データに対して撮影対象か撮影場所かの判定を行うことができる。ランドマークを視認可能な範囲か否かの判定は、データベースから取得するランドマークの範囲情報と同様に、高度に応じて予め定められた視認可能な範囲をデータベースから取得して当該範囲に含まれるかを判定すれば本実施形態の構成を適用することができる。ランドマークを視認可能な範囲は、例えば、ランドマークの高度が高いほど当該視認可能な範囲を広くし、ランドマークの高度が低いほど当該視認可能な範囲を狭くするように設定することができる。視認可能な範囲にある画像データに絞り込むことで、検索処理の効率化に繋がるだけでなく、そもそもランドマークを撮影し得ない場所で撮影した画像等のユーザの意図に反する画像が検索結果として表示される不都合を軽減することができる。

本実施形態では、検索条件の撮影場所か撮影対象かの設定を検索時に指定する構成とした。しかし、撮影場所か撮影対象かの設定を、画像検索を行うＰＣ１００の位置情報と検索するキーワードの位置情報の関係に応じていずれかに自動的に設定するようにしてもよい。例えば、ＰＣ１００の位置情報を通信部１０７や図示しないＧＰＳ等から取得して、キーワードに対する位置情報の場所にいるかを判定し、当該場所にいる場合は検索条件の初期値を自動的に撮影場所としてもよい。制御部１０１はキーワードが入力された時点でサーバ２００からキーワードに対するランドマークの位置情報と範囲情報を取得するようにすれば、ＰＣ１００がキーワードに対する位置情報にいるかを判定することができる。このようにすれば、ＰＣ１００の現在位置を撮影場所とした画像を容易かつ素早く検索することができる。同様に、検索するキーワードの位置情報とＰＣ１００の位置情報の関係に応じて撮影場所か撮影対象のいずれかを優先的に表示あるいは自動的に変更してもよい。なお、このような構成とするのは、例えばＰＣ１００としてノートＰＣや、タブレット端末、あるいは携帯電話、デジタルカメラ等、携帯機器に本発明を適用する場合に特に有用である。

以上説明したように本実施形態では、地理的な要素に関連する画像を検索する場合に、意図する画像が撮影場所を示す画像あるいは撮影対象を示す画像のいずれであるかを検索条件として設定するようにした。そして、撮影した画像の撮影位置がランドマークの位置とその範囲の中にあるか否かに応じて、撮影した画像が撮影場所を示すのか撮影対象を示すのか判定して、撮影場所を示す画像と撮影対象を示す画像とを区別するようにした。このようにすることで、地理的な要素に関連する画像を検索する場合に、撮影場所と撮影対象を区別した検索をすることができ、ユーザの意図が反映された検索結果を得ることが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１・・・制御部、１０４・・・記憶部、１０５・・・操作部、１０６・・・表示部、１０７・・・通信部

Claims (13)

1. 画像を検索するための検索条件を設定可能な設定手段と、
   前記検索条件に基づいて前記画像を検索する検索手段と、
   前記検索手段により検索された画像を出力する出力手段と、
   を有する画像検索装置であって、
   前記設定手段は、前記検索条件として、目標物を示す情報と、当該目標物を示す情報により特定される所定の撮影場所で撮影された画像と前記目標物を示す情報により特定される所定の撮影対象を含む画像のいずれかを指定することが可能であり、
   前記検索手段は、前記画像が前記目標物を示す情報を有し、さらに
   前記画像を撮影した位置が前記目標物を示す情報により特定される所定の地理的な範囲に含まれる場合、前記画像を前記所定の撮影場所で撮影された画像として抽出し、
   前記画像を撮影した位置が前記所定の地理的な範囲に含まれない場合、前記画像を前記所定の撮影対象を含む画像として抽出する、
   ことを特徴とする画像検索装置。
2. 前記出力手段は、前記検索手段により抽出された画像を表示する表示手段を有し、
   前記表示手段は、前記目標物を示す情報により特定される所定の撮影場所で撮影された画像と前記目標物を示す情報により特定される所定の撮影対象を含む画像のいずれかを切り替えて表示することを特徴とする請求項１に記載の画像検索装置。
3. 前記所定の地理的な範囲に関する情報を記憶する記憶手段と、
   前記目標物を示す情報により特定される前記所定の地理的な範囲に関する情報を、前記記憶手段から取得する取得手段と、をさらに有することを特徴とする請求項１または請求項２に記載の画像検索装置。
4. 外部装置に対して前記目標物を示す情報を送信する送信手段と、
   前記目標物を示す情報により特定される前記所定の地理的な範囲に関する情報を、前記外部装置から受信する受信手段をさらに有することを特徴とする請求項１または請求項２に記載の画像検索装置。
5. 前記設定手段は、前記画像検索装置の現在位置が、前記目標物を示す情報により特定される前記所定の地理的な範囲に含まれる場合、前記目標物を示す情報により特定される所定の撮影場所で撮影された画像を指定して前記検索条件を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
6. 前記所定の地理的な範囲は、前記目標物の位置と当該位置を中心とした予め定められた範囲により特定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
7. 前記所定の地理的な範囲は、前記目標物の複数の位置をメッシュ状に配置した範囲で特定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
8. 前記検索手段は、前記画像を撮影した位置が前記目標物を視認可能な所定の範囲に含まれる場合にのみ、前記画像を抽出することを特徴とする請求項１乃至７のいずれか１項に記載の画像検索装置。
9. 前記目標物を視認可能な所定の範囲は、当該目標物の高度に応じて定められる範囲であることを特徴とする請求項８に記載の画像検索装置。
10. 前記目標物を視認可能な所定の範囲は、当該目標物の高度が予め定められた高度より高い場合は広くなり、当該目標物の高度が予め定められた高度より低い場合は狭くなることを特徴とする請求項９に記載の画像検索装置。
11. 前記目標物は、地理的な目印となる建物や空間であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像検索装置。
12. 設定手段が、画像を検索するための検索条件を設定可能な設定工程と、
    検索手段が、前記検索条件に基づいて前記画像を検索する検索工程と、
    出力手段が、前記検索手段により検索された画像を出力する出力工程と、
    を有する画像検索装置の制御方法であって、
    前記設定工程では、前記検索条件として、目標物を示す情報と、当該目標物を示す情報により特定される所定の撮影場所で撮影された画像と前記目標物を示す情報により特定される所定の撮影対象を含む画像のいずれかを指定することが可能であり、
    前記検索工程では、前記画像が前記目標物を示す情報を有し、さらに
    前記画像を撮影した位置が前記目標物を示す情報により特定される所定の地理的な範囲に含まれる場合、前記画像を前記所定の撮影場所で撮影された画像として抽出し、
    前記画像を撮影した位置が前記所定の地理的な範囲に含まれない場合、前記画像を前記所定の撮影対象を含む画像として抽出する、
    ことを特徴とする画像検索装置の制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像検索装置の各手段として機能させるためのプログラム。

Images