JP2014225205A - 情報処理装置及び画像検索方法 - Google Patents

Abstract

【課題】過去の検索結果を利用して画像の検索の精度を向上させること。【解決手段】取得手段１０１は、撮影画像と、その撮影画像が撮影された位置を示す位置情報を取得する。情報特定手段１０２は、取得手段１０１により取得された位置情報が示す位置と同じ領域内の位置を示す他の位置情報を特定する。抽出手段１０３は、取得手段１０１により取得された取得画像に類似する類似画像を、それぞれが或る対象を表した複数の画像から抽出する。抽出手段１０３は、複数の画像のうち、情報特定手段１０２により特定された位置情報とともに取得された画像の類似画像として過去に抽出した第１抽出画像を用いて画像の抽出を行う。詳細には、抽出手段１０３は、複数の画像のうち、第１抽出画像と表す対象が近似する画像のこの検索における優先度を上げて、その優先度を反映させて画像の抽出を行う。【選択図】図４

Description

本発明は、画像を検索するための技術に関する。

画像を検索するための技術がある。特許文献１には、画像ごとの配色、輪郭線、模様やパターン等の特徴を比較することで、指定された画像に類似する画像を検索する技術が記載されている。

特開２０１１−２０３７７６号公報

或る画像に類似する類似画像を検索する場合に、その或る画像と共通の対象が表された画像を用いて過去に行われた検索の結果を利用することで、上記の類似画像を精度よく検索するようにできると便利である。しかし、特許文献１の技術では、そのようなことはできない。
そこで、本発明は、過去の検索結果を利用して画像の検索の精度を向上させることを目的とする。

上記目的を達成するために、本発明は、或る対象が撮影された撮影画像に対応付けられ、且つ、当該撮影画像が撮影された位置を示す位置情報により示される位置と同じ領域内の位置を示す他の前記位置情報を特定する情報特定手段と、前記撮影画像に類似する類似画像を、それぞれが或る対象を表した複数の画像から当該撮影画像を用いた検索の結果として抽出する抽出手段であって、当該撮影画像に対応付けられた位置情報を用いて前記情報特定手段により他の前記位置情報が特定される場合に、当該位置情報が示す位置で撮影された撮影画像の前記類似画像として過去に抽出した第１抽出画像を用いて前記抽出を行う抽出手段と、前記抽出手段により抽出された類似画像を前記検索の結果として出力する出力手段とを備えることを特徴とする情報処理装置を提供する。

また、前記情報特定手段は、前記撮影画像に対応付けられ、且つ、当該撮影画像が撮影された時を表す時情報が示す時と同じ期間に含まれる時を示す他の前記時情報を特定し、前記抽出手段は、前記情報特定手段により時情報が特定される場合に、当該時情報が示す時に撮影された前記撮影画像の類似画像として過去に抽出した第２抽出画像を用いて前記抽出を行ってもよい。
さらに、前記情報特定手段は、前記撮影画像に対応付けられている前記位置情報が示す位置に応じて前記期間の長さを変化させ、または、当該撮影画像に対応付けられている前記時情報が示す時に応じて前記領域の大きさまたは形を変化させてもよい。
また、前記抽出手段は、前記第１抽出画像と表す対象が近似する第１近似画像と、前記第２抽出画像と表す対象が近似する第２近似画像とを用いて前記抽出を行ってもよい。

また、前記抽出手段は、前記複数の画像のうち、前記第１近似画像であり、且つ、前記第２近似画像である画像を、当該画像について予め決められた度合い、当該第１近似画像及び当該第２近似画像についてそれぞれ予め決められた度合いの合計または当該合計に基づいて算出される度合いに応じて他の画像よりも優先して前記抽出を行ってもよい。
さらに、前記抽出手段は、前記複数の画像のうち、より多くの前記抽出画像の前記近似画像になっている画像ほど優先して前記抽出を行ってもよい。

また、前記抽出手段は、前記抽出画像及び前記近似画像の対象が近似する度合いを、当該抽出画像の数に応じて変更してもよい。
さらに、前記抽出手段により複数の前記類似画像が抽出された場合に、当該複数の類似画像のうちユーザが選択したものを特定する画像特定手段を備え、前記抽出手段は、前記複数の画像のうち、前記画像特定手段が前記ユーザにより選択された類似画像として特定したことがある前記抽出画像を他の画像よりも優先して前記抽出を行ってもよい。

本発明は、情報処理装置が、或る対象が撮影された撮影画像に対応付けられ、且つ、当該撮影画像が撮影された位置を示す位置情報により示される位置と同じ領域内の位置を示す他の前記位置情報を特定する情報特定ステップと、前記情報処理装置が、前記撮影画像に類似する類似画像を、それぞれが或る対象を表した複数の画像から当該撮影画像を用いた検索の結果として抽出する抽出ステップであって、当該撮影画像に対応付けられた位置情報を用いて前記情報特定ステップにおいて他の前記位置情報が特定される場合に、当該位置情報が示す位置で撮影された撮影画像の前記類似画像として過去に抽出した第１抽出画像を用いて前記抽出を行う抽出ステップと、前記情報処理装置が、前記抽出ステップにおいて抽出された類似画像を前記検索の結果として出力する出力ステップとを備えることを特徴とする画像検索方法を提供する。

本発明によれば、過去の検索結果を利用して画像の検索の精度を向上させることができる。

実施形態に係る画像検索システムの全体構成の一例を示す図。 ユーザ装置のハードウェア構成の一例を示す図。 情報処理装置のハードウェア構成の一例を示す図。 情報処理装置及びユーザ装置の機能構成の一例を示す図。 表示部に表示された撮影画像の一例を示す図。 記憶された取得画像、位置情報及び時情報の一例を示す図。 期間データの一例を示す図。 複数の画像データベースの一例を示す図。 取得画像に対応付けて記憶された類似画像の一例を示す図。 複数の画像のそれぞれに対応付けて記憶された優先度の例を示す図。 表示部に表示された類似画像の一例を示す図。 画像検索処理における各装置の動作の一例を示すシーケンス図。 変形例に係る画像検索システムの全体構成の一例を示す図。 近似度テーブルの一例を示す図。 各画像の優先度の一例を示す図。 周辺領域テーブルの一例を示す図。 前後期間テーブルの一例を示す図。 変形例における各装置の機能構成の一例を示す図。 表示された複数の類似画像の一例を示す図。 抽出頻度テーブルの一例を示す図。

［１］実施形態
［１−１］全体構成
図１は、本発明の実施形態に係る画像検索システムの全体構成の一例を示す図である。図１では、情報処理装置１０と、複数のユーザ装置２０と、ネットワーク２とを備える画像検索システム１が示されている。ネットワーク２は、移動体通信網及びインターネット等を含み、装置間のデータのやり取りを仲介するシステムである。ネットワーク２には、情報処理装置１０が接続されている。

複数のユーザ装置２０は、いずれも、ユーザによって使用される装置であり、例えばスマートフォンや携帯電話機、パーソナルコンピュータなどである。各ユーザ装置２０は、ネットワーク２と無線通信を行う機能を備える。情報処理装置１０は、画像等の情報を処理することで画像を検索する機能をユーザに提供するサーバ装置である。情報処理装置１０は、ネットワーク２を介して例えばユーザ装置２０とデータをやり取りする。

［１−２］ハードウェア構成
図２は、ユーザ装置２０のハードウェア構成の一例を示す図である。ユーザ装置２０は、制御部２１と、記憶部２２と、通信部２３と、操作部２４と、表示部２５と、測位部２６と、撮影部２７とを備えるコンピュータである。制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びリアルタイムクロックを備え、ＣＰＵが、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部２２に記憶されたプログラムを実行することによって各装置の動作を制御する手段である。リアルタイムクロックは、現在の日時を算出してＣＰＵに通知する。記憶部２２は、フラッシュメモリ等を備え、制御部２１が制御に用いるデータやプログラムなどを記憶する手段である。通信部２３は、無線通信を行うための通信回路を備え、例えばネットワーク２を介して情報処理装置１０と通信してデータをやり取りする。

操作部２４は、表示面に重ねて設けられたタッチセンサやボタンなどの入力手段を備え、ユーザの操作を受け付けてその操作の内容を示す操作データを制御部２１に供給する。制御部２１は、供給された操作データに応じた処理を行う。表示部２５は、表示面を備え、制御部２１により制御されて、その表示面に画像を表示する表示手段（第１表示手段）である。測位部２６は、本実施形態では、ＧＰＳ（Global Positioning System）の技術を用いて、ユーザ装置２０の位置を測定する。測位部２６は、測定した位置を緯度及び経度によって示す位置データを制御部２１に供給する。撮影部２７は、例えばデジタルカメラとしての機能を有し、画像を撮影する撮影手段である。撮影部２７は、制御部２１により制御されて画像を撮影し、撮影した画像を示す画像データを制御部２１に供給する。

図３は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、制御部１１と、記憶部１２と、通信部１３とを備えるコンピュータである。制御部１１は、例えば図２に示す制御部２１と同様の構成を備える。記憶部１２は、ハードディスク等を備え、制御部１１が制御に用いるデータやプログラムなどを記憶する手段である。通信部１３は、通信を行うための通信回路を備え、外部装置と通信を行う手段である。通信部１３は、例えば有線通信を行うための通信回路を備え、例えばネットワーク２を介してユーザ装置２０と通信してデータをやりとりする。通信部１３は、受信した受信データを制御部１１に供給する。

［１−３］機能構成
情報処理装置１０及びユーザ装置２０は、以上のハードウェア構成に基づき、画像を検索するための処理（以下「画像検索処理」という）を行う。情報処理装置１０の記憶部１２及びユーザ装置２０の記憶部２２には、画像検索処理を行うためのプログラムが記憶されており、制御部１１及び制御部２１がそれらのプログラムをそれぞれ実行して各部を制御することで、以下に述べる機能が実現される機能である。
図４は、情報処理装置１０及びユーザ装置２０の機能構成の一例を示す図である。情報処理装置１０は、取得手段１０１と、情報特定手段１０２と、抽出手段１０３と、出力手段１０４とを備え、ユーザ装置２０は、記憶制御手段２０１と、送信手段２０２と、表示制御手段２０３とを備える。

［１−３−１］記憶制御手段２０１
記憶制御手段２０１は、撮影部２７により或る対象が撮影された画像（以下「撮影画像」という）に、撮影画像が撮影された位置を示す情報（以下「位置情報」という）と、撮影された時を示す情報（以下「時情報」という）とをそれぞれ対応付けて記憶部２２に記憶させる手段の一例である。或る対象とは、撮影画像により表される対象であり、例えば、人物や動物、植物、風景、建築物などである。位置情報は、例えば、緯度及び経度により位置を示す情報である。時情報は、例えば、日付及び時刻により時を示す情報である。記憶制御手段２０１は、制御部２１により実現される機能である。

制御部２１は、画像が撮影されて撮影部２７から撮影画像を示す画像データが供給されてくると、測位部２６を制御して自装置の位置を測定させる。制御部２１は、測位部２６が測定した自装置の位置を示す位置データを記憶部２２に記憶させる。また、制御部２１は、例えば、撮影画像を示す画像データが供給されてきたときにリアルタイムクロックがＣＰＵに通知した日時を示す日時データを記憶部２２に記憶させる。こうして記憶された画像データ、位置データ及び日時データは、それぞれ撮影画像、位置情報及び時情報を表している。記憶制御手段２０１は、このようにして撮影画像、位置情報及び時情報をそれぞれ記憶させる。記憶制御手段２０１は、例えば撮影画像、位置情報及び時情報を記憶させた記憶部２２内の記憶領域を送信手段２０２に通知する。

［１−３−２］送信手段２０２
送信手段２０２は、記憶制御手段２０１から通知された記憶領域に記憶された撮影画像の中から、その撮影画像に類似する画像（以下「類似画像」という）を検索したいものを指定した場合に、指定された撮影画像を情報処理装置１０に送信する手段の一例である。このとき、送信手段２０２は、撮影画像とともに、その撮影画像に対応付けて記憶されている位置情報及び時情報を情報処理装置１０に送信する。送信手段２０２は、例えば、制御部２１、記憶部２２、通信部２３、操作部２４及び表示部２５により実現される機能である。制御部２１は、ユーザに検索したい撮影画像を指定させるための画像を表示部２５に表示させる。

図５は、表示部２５に表示された撮影画像の一例を示す図である。図５では、「画像を検索しますか？」という文字列と、検索の対象となる撮影画像の候補が表される領域Ｒ１と、領域Ｒ１に表示された撮影画像Ａ１と、「はい」という文字列を含む操作子画像Ｂ１と、撮影画像のサムネイル画像群Ｃ１とが表示部２５に表示されている。撮影画像Ａ１は、堀に架かる石橋が表されている。ユーザが操作部２４を操作してサムネイル画像群Ｃ１の中のいずれかのサムネイル画像を選択すると、制御部２１は、選択されたサムネイル画像の元の撮影画像を領域Ｒ１に表示させる。

所望の撮影画像が領域Ｒ１に表示されているときにユーザが操作部２４を操作して操作子画像Ｂ１を選択すると、制御部２１は、領域Ｒ１に表示されている撮影画像を、その撮影画像に対応付けて記憶制御手段２０１に記憶されている位置情報及び時情報をともに、通信部２３を介して情報処理装置１０に送信する。ユーザは、上記の操作（所望の撮影画像を表示させて操作子画像Ｂ１を選択する操作）を行うことで、検索したい撮影画像を指定することになる。検索したい撮影画像を指定するこの操作を以下では「指定操作」という。送信手段２０２は、こうして撮影画像、位置情報及び時情報を情報処理装置１０に送信する。

［１−３−３］取得手段１０１
取得手段１０１は、撮影画像と、その撮影画像が撮影された位置を示す情報（すなわち位置情報）と、その撮影が行われた時を表す情報（すなわち時情報）を取得する手段の一例である。取得手段１０１により取得された撮影画像のことを、以下では「取得画像」という。取得手段１０１は、制御部１１及び通信部１３により実現される機能である。制御部１１には、ユーザ装置２０から送信されてきた撮影画像、位置情報及び時情報が通信部１３を介して供給される。

制御部１１は、供給された撮影画像を取得画像として取得し、且つ、ともに供給された位置情報及び時情報を取得して、記憶部１２にそれぞれ記憶させる。取得手段１０１は、このようにして上記の取得を行い、取得した取得画像、位置情報及び時情報を情報特定手段１０２に供給する。また、取得手段１０１は、撮影画像を送信してきたユーザ装置２０のアクセス先を示すアクセス先情報を出力手段１０４に供給する。アクセス先情報とは、例えば、ユーザ装置２０のＩＰ（Internet Protocol）アドレスである。

［１−３−４］情報特定手段１０２
情報特定手段１０２は、或る対象が撮影された撮影画像に対応付けられ、且つ、その撮影画像が撮影された位置を示す位置情報により示される位置と同じ領域内の位置を示す他の位置情報を特定する手段の一例である。また、情報特定手段１０２は、撮影画像に対応付けられ、且つ、その撮影画像が撮影された時を表す時情報が示す時と同じ期間に含まれる時を示す他の時情報を特定する。本実施形態では、情報特定手段１０２は、取得手段１０１により取得された撮影画像、すなわち取得画像に対応付けられた位置情報及び時情報を用いてこれらの特定を行う。

情報特定手段１０２により特定される位置情報は、取得された位置情報が示す位置の周辺の位置を示すものであり、以下では「周辺位置情報」という。また、情報特定手段１０２により特定される時情報は、取得された時情報が示す時の周辺の期間に含まれる時を示すものであり、以下では「周辺時情報」という。情報特定手段１０２は、制御部１１及び記憶部１２により実現される機能である。制御部１１は、取得手段１０１から供給される取得画像、位置情報及び時情報を互いに対応付けて記憶部１２に記憶させる。

図６は、記憶された取得画像、位置情報及び時情報の一例を示す図である。図６では、「ａａａ．ｊｐｇ」、「ｂｂｂ．ｊｐｇ」及び「ｃｃｃ．ｊｐｇ」という取得画像のファイル名と、「Ｘ１、Ｙ１」、「Ｘ２、Ｙ２」及び「Ｘ３、Ｙ３」という緯度及び経度により表される位置情報と、「１月３０日」、「５月５日」及び「１０月２日」という月日により表される時情報とがそれぞれ対応付けて示されている。制御部１１は、例えば、取得手段１０１から「Ｘ０、Ｙ０」という位置情報が供給された場合、この緯度及び経度により表される位置からの距離が所定の距離（例えば２０ｍ）以内の位置を示す位置情報を、前述した周辺位置情報として特定する。

記憶部１２には、１年を複数の期間で表した期間データが記憶されている。
図７は、期間データの一例を示す図である。図７では、「１月〜３月」、「４月〜６月」、「７月〜９月」及び「１０月〜１２月」という複数の期間が示されている。制御部１１は、例えば、取得手段１０１から「４月１０日」という時情報が供給された場合、期間データにおいてこの時情報により表される時を含む期間（この例では「４月〜６月」）に含まれる時を示す時情報を、前述した周辺時情報として特定する。情報特定手段１０２は、以上のとおり上記の特定を行うと、特定した周辺位置情報及び周辺時情報を、取得手段１０１から供給された取得画像とともに抽出手段１０３に供給する。

なお、情報特定手段１０２が周辺位置情報及び時情報を特定する方法は、上記のものに限らない。例えば、情報特定手段１０２が、日本全体を複数の領域に分けてそれらの領域の境界を表す領域データ（例えば各領域が多角形の形状をしていれば、各角の緯度及び経度とそれらの並び順を表す情報）を記憶しておく。情報特定手段１０２は、領域データにおいて、取得手段１０１から供給された位置情報が示す位置が含まれている領域に緯度及び経度が含まれている位置情報を、周辺位置情報として特定してもよい。また、情報特定手段１０２は、取得手段１０１から供給された時情報が示す時の前後の所定の月数（例えば１ヶ月）の期間に月日が含まれる時情報を、周辺時情報として特定してもよい。

［１−３−５］抽出手段１０３
抽出手段１０３は、撮影画像に類似する類似画像を、それぞれが或る対象を表した複数の画像からその撮影画像を用いた検索の結果として抽出する（これを「画像抽出を行う」という）手段の一例である。抽出手段１０３は、本実施形態では、取得手段１０１により取得された取得画像を撮影画像として用いて画像抽出を行う。抽出手段１０３は、例えば、制御部１１及び記憶部１２により実現される機能である。記憶部１２には、同じ種類の対象を表した画像群を格納するデータベース（以下「画像データベース」という）が複数の種類の対象について記憶されている。

図８は、複数の画像データベースの一例を示す図である。図８の例では、各画像データベースの名称を、各々が格納している画像群が表す対象の種類（例えば「動物」や「植物」）とＤＢ（database）との組み合わせで示している。「動物ＤＢ」には、「Ａ００１．ｊｐｇ」及び「Ａ００２．ｊｐｇ」等の画像データにより表される画像群が格納されている。これらの画像データは、それぞれ何らかの動物を表した画像を示すデータである。同様に、「植物ＤＢ」及び「風景ＤＢ」には、それぞれ植物及び風景を表した画像を示す画像群が格納されている。例えば、図５に示す撮影画像に表された石橋に類似する画像は、風景ＤＢに格納されているものとする。抽出手段１０３は、これらの画像データベースに格納されている画像群を前述した複数の画像として、画像抽出を行う。

［１−３−５−１］抽出画像
抽出手段１０３は、類似画像を抽出しようとしている撮影画像に対応付けられた位置情報を用いて情報特定手段１０２により周辺位置情報が特定される場合に、その周辺位置情報が示す位置で撮影された撮影画像の類似画像として過去に抽出した画像（以下「第１抽出画像」という）を用いて画像抽出を行う。本実施形態では、第１抽出画像は、複数の画像のうち、情報特定手段１０２により特定された周辺位置情報とともに取得された画像の類似画像として抽出手段１０３により過去に抽出された画像となる。

また、抽出手段１０３は、類似画像を抽出しようとしている撮影画像に対応付けられた時情報を用いて情報特定手段１０２により周辺時情報が特定される場合に、その周辺時情報が示す時に撮影された撮影画像の類似画像として過去に抽出した画像（以下「第２抽出画像」という）を用いて画像抽出を行う。本実施形態では、第２抽出画像は、複数の画像のうち、情報特定手段１０２により特定された周辺時情報とともに取得された画像の類似画像として抽出手段１０３により過去に抽出された画像となる。なお、以下では、第１及び第２抽出画像を特に区別しない場合は単に「抽出画像」という。

抽出手段１０３は、例えば次の方法で画像データベースから読み出した抽出画像を用いる。抽出手段１０３は、取得画像に類似する類似画像を抽出すると、その取得画像と、その取得画像とともに取得された位置情報及び時情報とに対応付けて類似画像を記憶する。
図９は、取得画像に対応付けて記憶された類似画像の一例を示す図である。図９では、図６に示す「ａａａ．ｊｐｇ」、「ｂｂｂ．ｊｐｇ」及び「ｃｃｃ．ｊｐｇ」というファイル名の取得画像に、「Ｄ００２．ｊｐｇ」、「Ｅ００５．ｊｐｇ」及び「Ａ００４．ｊｐｇ」というファイル名の類似画像が対応付けて記憶されている例が示されている。

抽出手段１０３は、情報特定手段１０２から取得画像が供給されると、取得画像とともに供給された周辺位置情報に対応付けて記憶している類似画像を第１抽出画像として読み出す。この類似画像は、情報特定手段１０２が特定した位置情報（すなわち周辺位置情報）とともに取得された画像の類似画像として抽出手段１０３が過去に抽出した画像である。また、抽出手段１０３は、取得画像とともに供給された周辺時情報に対応付けて記憶している類似画像を第２抽出画像として読み出す。この類似画像は、情報特定手段１０２が特定した時情報（すなわち周辺時情報）とともに取得された画像の類似画像として抽出手段１０３が過去に抽出した画像である。

［１−３−５−２］近似画像と優先度
抽出手段１０３は、複数の画像のうち、第１抽出画像と表す対象が近似する画像を他の画像よりも優先して画像抽出を行う。より詳細には、抽出手段１０３は、第１抽出画像と表す対象が近似する画像のこの検索における優先度を上げて、その優先度を反映させて画像抽出を行う。以下では、或る画像（この場合第１抽出画像）が表す対象に近似する対象を表した画像のことを、その画像の「近似画像」という（第１抽出画像の近似画像のことは「第１近似画像」という）。抽出手段１０３は、本実施形態では、或る画像と同じ画像データベースに格納されている他の画像をその画像の近似画像とする。また、抽出手段１０３は、複数の画像のうち、第２抽出画像の近似画像（以下「第２近似画像」という）を他の画像よりも優先して画像抽出を行う。より詳細には、抽出手段１０３は、第２近似画像のこの検索における優先度を上げて、その優先度を反映させて画像抽出を行う。以下、画像抽出と優先度の関係について説明する。

抽出手段１０３は、例えば、画像認識の技術で用いられる特徴量を算出して画像抽出を行う。抽出手段１０３は、取得画像の特徴量と或る画像の特徴量とが所定の条件（以下「類似条件」という）を満たす場合に、その画像を類似画像として抽出する。類似条件は、本実施形態では、これらの特徴量の差が閾値以下である場合に満たされる条件である。抽出手段１０３は、上述した優先度に応じて、類似条件の満たされやすさを変えて画像検索を行う。優先度を上げるとは、優先度を変えない場合に比べて類似条件が満たされやすいようにすることであり、本実施形態では、類似条件で用いる閾値を大きくすることである。抽出手段１０３は、複数の画像のそれぞれについて用いる優先度をそれらの画像のそれぞれに対応付けて記憶している。

図１０は、複数の画像のそれぞれに対応付けて記憶された優先度の例を示す図である。図１０では、図８と同様の画像群が示されている。図１０（ａ）の例では、いずれの画像にも「ＬＶ１（レベル１）」という優先度が対応付けて記憶されている。この例では、ＬＶ１、ＬＶ２、ＬＶ３と数が大きくなるほど、優先度が上がること（本実施形態では閾値が大きくなること）を表している。抽出手段１０３は、例えば、第１近似画像及び第２近似画像の優先度を同じだけ上げてもよいし（例えばどちらもレベルを１上げる）、それぞれ異なる度合いだけ上げてもよい（例えば第１近似画像はレベルを２上げて、第２近似画像はレベルを１上げる）。なお、優先度は、他の画像に比べて相対的に上がればよいので、抽出手段１０３は、例えば他の画像の優先度のレベルを下げることで、相対的に優先度をあげてもよい。

また、画像の中には第１抽出画像であり且つ第２抽出画像である画像（以下「重複抽出画像」という）がある。抽出手段１０３は、重複抽出画像の近似画像（つまり第１近似画像であり、且つ、第２近似画像である画像。以下「重複近似画像」という）については、第１近似画像の優先度を上げる度合いと第２近似画像の優先度を上げる度合いとの合計（どちらもレベルを１上げる場合であれば、それらを足してレベルを２上げる）だけ優先度を上げる。これにより、抽出手段１０３は、第１及び第２近似画像についてそれぞれ予め決められた度合いの合計に応じて他の画像よりも優先して画像抽出を行うことになる。

なお、抽出手段１０３は、重複近似画像の場合に、前述した合計に基づいて算出される度合いだけ優先度を上げてもよい。合計に基づいて算出される度合いとは、例えば、合計を２倍した度合いや合計を３倍した度合いなどである。また、抽出手段１０３は、重複近似画像の場合に、重複近似画像に対して決められた度合いだけ優先度を上げてもよい。これにより、抽出手段１０３は、重複近似画像を、前述した合計に基づいて算出される度合いまたは重複近似画像に対して決められた度合いに応じて他の画像よりも優先して画像抽出を行うことになる。

本実施形態では、抽出手段１０３は、第１及び第２近似画像の優先度のレベルをそれぞれ１上げ、重複近似画像の優先度のレベルを３上げるものとする。例えば図１０（ａ）の例において、「Ｂ００１．ｊｐｇ」が第１抽出画像であり、「Ｃ００２．ｊｐｇ」が重複抽出画像であったとする。その場合の優先度を図１０（ｂ）に示す。図１０（ｂ）の例では、第１及び第２抽出画像をいずれも含まない動物ＤＢに格納されている「Ａ００１．ｊｐｇ」及び「Ａ００２．ｊｐｇ」等の優先度は「ＬＶ１」のままである。一方、植物ＤＢに格納されている画像群（「Ｂ００１．ｊｐｇ」及び「Ｂ００２．ｊｐｇ」等）は、第１抽出画像である「Ｂ００１．ｊｐｇ」の近似画像、すなわち第１近似画像であるから、優先度が１上げられて「ＬＶ２」になっている。

また、風景ＤＢに格納されている画像群（「Ｃ００１．ｊｐｇ」及び「Ｃ００２．ｊｐｇ」等）は、重複抽出画像である「Ｃ００２．ｊｐｇ」の近似画像、すなわち重複抽出画像であるから、優先度が３上げられて「ＬＶ４」になっている。
抽出手段１０３は、以上のとおり優先度を上げて、その優先度を反映させて画像抽出を行う。詳細には、抽出手段１０３は、取得画像の特徴量と或る画像の特徴量とがその画像の優先度に応じて変化させた類似条件を満たす場合に、その画像を類似画像として抽出する。本実施形態では、抽出手段１０３は、優先度を上げた画像ほど類似条件で用いる閾値を小さく変化させる。抽出手段１０３は、そうして抽出した類似画像を、出力手段１０４に供給する。

［１−３−６］出力手段１０４
出力手段１０４は、抽出手段１０３により抽出された類似画像を、取得画像（つまり撮影画像）を用いた検索の結果として出力する手段の一例である。出力手段１０４は、例えば、制御部１１及び通信部１３により実現される機能である。制御部１１には、取得手段１０１から、撮影画像を送信してきたユーザ装置２０のアクセス先情報が供給されてくる。制御部１１は、抽出手段１０３から抽出された類似画像が供給されると、供給された撮影画像をそのアクセス先情報が示すアクセス先に出力する。出力手段１０４は、このようにして類似画像をユーザ装置２０に向けて出力する。

［１−３−７］表示制御手段２０３
表示制御手段２０３は、送信手段２０２により送信された撮影画像を用いた検索の結果として情報処理装置１０から出力されてきた類似画像を表示手段（本実施形態では表示部２５）に表示させる手段の一例である。表示制御手段２０３は、制御部２１及び通信部２３により実現される機能である。制御部２１には、出力手段１０４が出力した類似画像が通信部２３を介して供給される。制御部２１は、供給された類似画像を表示部２５に表示させる。
図１１は、表示部２５に表示された類似画像の一例を示す図である。図１１では、「検索結果」という文字列と、類似画像Ｄ１とが表示部２５に表示されている。この例では、図５に示した撮影画像が表す対象、すなわち、堀に架かる石橋を表した類似画像Ｄ１が検索結果として表示されている。

［１−４］動作
画像検索システム１は、以上の構成に基づき上述した画像検索処理（対象画像に基づいた検索の処理）を行う。以下では、画像検索処理において画像検索システム１が備える各装置が行う動作について説明する。
図１２は、画像検索処理における各装置の動作の一例を示すシーケンス図である。画像検索処理は、例えばユーザがユーザ装置２０を用いて画像を撮影することを契機に開始される。

まず、ユーザ装置２０が、ユーザにより操作されて画像を撮影する（ステップＳ１１）。次に、ユーザ装置２０は、自装置の位置を測定し（ステップＳ１２）、ステップＳ１１で撮影した撮影画像に対応付けて、測定した位置を示す位置情報と、撮影を行った時を示す時情報とを記憶する（ステップＳ１３）。ステップＳ１１からＳ１３までは、記憶制御手段２０１、測位部２６及び撮影部２７が協働して行う動作である。続いて、ユーザ装置２０は、例えば図５に示すように撮影画像を表示して、ユーザによる指定操作（検索したい撮影画像を指定する操作）を受け付ける（ステップＳ１４）。ユーザ装置２０は、指定された撮影画像を、それに対応付けて記憶している位置情報及び時情報とともに情報処理装置１０に送信する（ステップＳ１５）。ステップＳ１４及びＳ１５は、送信手段２０２が行う動作である。

情報処理装置１０は、ステップＳ１５において送信されてきた撮影画像、位置情報及び時情報を取得する（ステップＳ１６）。ステップＳ１６は取得手段１０１が行う動作である。次に、情報処理装置１０は、取得した位置情報及び時情報に基づいて、周辺位置情報（取得された位置情報が示す位置の周辺の位置を示す位置情報）及び周辺時情報（取得された時情報が示す時の前後の時を示す時情報）を特定する（ステップＳ１７）。ステップＳ１７は情報特定手段１０２が行う動作である。情報処理装置１０は、特定された周辺位置情報及び周辺時情報を用いて、類似画像を抽出する（ステップＳ１８）。ステップＳ１８は抽出手段１０３が行う動作である。情報処理装置１０は、抽出された類似画像をユーザ装置２０に向けて出力し（ステップＳ１９）、ユーザ装置２０は、出力されてきた類似画像を表示する（ステップＳ２０）。ステップＳ１９は出力手段１０４が行う動作であり、ステップＳ２０は、表示部２５及び表示制御手段２０３が協働して行う動作である。

［１−５］実施形態による効果
画像が撮影された位置が例えば動物園であれば、植物や風景よりも動物が撮影されやすい。また、撮影された位置が植物園であれば、動物や風景よりも植物が撮影されやすく、その位置が観光地であれば、観光のスポットとなっている建築物や風景などが撮影されやすい。また、街中でも、通り沿いの並木や公園、電車など、その位置で特に撮影されやすい対象が決まっている場合がある。これらの位置で撮影された画像が表す対象は、異なる領域で撮影された他の画像が表す対象よりも、同じ領域内で撮影された他の画像が表す対象と近似している可能性が高い。

本実施形態では、撮影画像に類似する類似画像を検索する場合に、同じ領域内で撮影された画像の類似画像として過去に検索された結果（すなわち第１抽出画像）を用いて、その検索結果に近似する画像の優先度が上げられて画像抽出が行われる。これにより、同じ領域内で撮影された撮影画像を用いた過去の検索結果及びその検索結果に近似する画像（すなわち第１近似画像）が、その検索結果に近似していない画像に比べて抽出されやすくなる。つまり、上述したとおり、検索に用いる撮影画像に表されている可能性が高い対象を表す画像が、その可能性が低い対象を表す画像に比べて抽出されやすくなる。言い換えると、第１抽出画像を用いた抽出を行わない場合に比べて、正しい検索結果が得られる可能性が高くなる。このような本実施形態によれば、過去の検索結果（すなわち第１抽出画像）を利用して画像の検索の精度を向上させることができる。

また、或る位置では、撮影画像が撮影された時が例えば春であれば、動物や風景よりも植物（例えば桜）が撮影されやすく、夏であれば動物や植物よりも風景（例えば山と入道雲）が撮影されやすく、冬であれば植物や風景よりも動物（例えば渡り鳥）が撮影されやすいことがある。この位置において例えば春に撮影された画像が表す対象は、異なる時（夏、秋及び冬）に撮影された他の画像が表す対象よりも、同じ時（春）に撮影された他の画像が表す対象と近似している可能性が高い。

本実施形態では、撮影画像に類似する類似画像を検索する場合に、同じ期間に撮影された画像の類似画像として過去に検索された結果（すなわち第２抽出画像）を用いて、その検索結果に近似する画像の優先度が上げられて画像抽出が行われる。これにより、同じ期間に撮影された撮影画像を用いた過去の検索結果及びその検索結果に近似する画像（すなわち第２近似画像）が、その検索結果に近似していない画像に比べて抽出されやすくなる。つまり、上述したとおり、検索に用いる撮影画像に表されている可能性が高い対象を表す画像が、その可能性が低い対象を表す画像に比べて抽出されやすくなる。言い換えると、第２抽出画像を用いた抽出を行わない場合に比べて、正しい検索結果が得られる可能性が高くなる。このような本実施形態によれば、過去の検索結果（すなわち第２抽出画像）を利用して画像の検索の精度を向上させることができる。
［２］変形例
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。

［２−１］画像群の記憶場所
上記の実施形態では、画像データベースを情報処理装置１０が記憶していたが、これに限らず、他の装置が記憶していてもよい。
図１３は、本変形例に係る画像検索システムの全体構成の一例を示す図である。図１３では、図１に示す各装置の他に、画像ＤＢ（DataBase：データベース）装置３０を備える画像検索システム１ａが示されている。画像ＤＢ装置３０は、図８に示すような画像データベースを記憶している装置である。

画像ＤＢ装置３０は、ネットワーク２に接続されており、ネットワーク２を介して情報処理装置１０とデータをやり取りする。情報処理装置１０は、自装置に記憶している画像データベースを参照する代わりに、画像ＤＢ装置３０にアクセスして画像データベースを参照することで、上述した画像検索処理を行う。なお、画像ＤＢ装置３０は、複数であってもよい。例えば、図８に示す各画像データベースが異なる画像ＤＢ装置に記憶されているという具合である。画像ＤＢ装置３０は、例えば、画像検索システムの提供者が設置する装置であってもよいし、ＳＮＳ（Social Networking Service）においてユーザによって投稿された画像を記憶する装置であってもよい。

［２−２］複数の画像の記憶方法
上記の実施形態では、動物、植物及び風景等の種類に分けた画像データベースに格納して複数の画像を記憶したが、これに限らない。例えば画像データベースの種類の分け方を変えてもよい。動物であれば、「犬」、「猫」、「鳩」、「カラス」、「鯉」及び「メダカ」等の種類に分け、風景であれば、「山」、「川」、「雲」、「寺」、「ビル」及び「夕焼け」等の種類で分けるという具合である。また、複数の画像をデータベースに格納するのではなく、各画像が表す対象の種類を番号または記号で示し、それらの番号または記号に対応付けて各画像を記憶しておいてもよい。このように複数の画像を記憶しておくことで、画像データベースを種類毎に分けたり種類毎の番号や記号を対応付けたりしない場合に比べて、画像に表された対象の種類が判断しやすくなっている。このように、複数の画像は、抽出画像に近似する近似画像が他の画像と見分けやすい状態で記憶されていることが望ましい。

［２−３］近似の範囲
上記の実施形態では、抽出画像と同じ画像データベースに格納されている他の画像をその抽出画像の近似画像としたが、近似の範囲はこれに限らない。例えば、画像データベースが上記の変形例で述べたように「犬」、「猫」、「鳩」、「カラス」、「鯉」及び「メダカ」等の種類に分けられている場合に、抽出画像が「犬」の画像データベースに格納されているものであれば、「犬」及び「猫」の画像データベースに格納されている画像を近似画像としてもよい。また、抽出画像と同じ画像データベースに格納されている他の画像のうち、さらに、特徴量の差が所定の値以下のものを近似画像としてもよい。さらに、抽出画像と同じ画像（つまり特徴量の差が０のもの）だけを近似画像としてもよい。

［２−４］近似の範囲を変更
抽出手段１０３は、上述した近似の範囲を、過去に抽出を行った回数に応じて変更してもよい。この場合、抽出手段１０３は、抽出画像（第１及び第２抽出画像）及び近似画像（第１及び第２近似画像）の対象が近似する度合い（以下「近似度」という）を、抽出画像の数に応じて変更する。近似度とは、つまり、抽出画像と近似画像の近似の範囲を決めるために用いられる度合いである。例えば、抽出手段１０３は、抽出画像の数と近似度とを対応付けた近似度テーブルを記憶している。
図１４は、近似度テーブルの一例を示す図である。図１４では、「２０未満」、「２０以上５０未満」及び「５０以上」という抽出画像の数に、「第１近似度」、「第２近似度」及び「第３近似度」という近似度が対応付けられている。

例えば、第１近似度は、異なる画像データベースに格納されている画像同士でも、上記の「犬」及び「猫」のように対象の種類が似ていれば近似画像とする場合に近似の範囲を決める近似度であり、第２近似画像は、実施形態の場合に近似の範囲を決める近似度である。また、第３近似度は、同じ画像データベースに格納されている画像のうち特徴量の差が所定の値以下のものを近似画像とする場合に近似の範囲を決める近似度である。この例では、抽出画像が少ない（図１４の例では２０未満の）うちは、撮影される可能性が高い対象が検索結果によって十分に表されていないため、近似の範囲を大きくして、撮影される可能性の比較的高い対象が他の対象よりも抽出されやすいようにしている。例えば、５つの抽出画像のうち「犬」の抽出画像が４つであり「猫」の抽出画像が１つであったとしても、たまたま犬が多く撮影されただけで、撮影される可能性が高い対象が「犬」だけであるとは限らないから、「犬」も「猫」も他の対象よりも抽出されやすいようにしている。

また、上記の例では、抽出画像が多くなるに連れて（図１４の例では２０以上及び５０以上）、撮影される可能性が高い対象が検索結果によって正確に表されるようになってくるから、近似の範囲を段階的に小さくして、撮影される可能性の高い対象を絞って、絞った対象が他の対象よりも抽出されやすいようにしている。具体的には、例えば、５０の抽出画像のうち「犬」の抽出画像が４５であり「猫」の抽出画像が５であれば、撮影される可能性が高い対象が「犬」であることが正確に表されるようになるから、「犬」だけが他の対象よりも抽出されやすいようにしている。これにより、検索結果によって撮影される可能性が低いことが表されている対象（この場合は「猫」）は抽出されにくいようにしている。

本変形例によれば、抽出画像の数、すなわち、それまでに画像の検索が行われた回数に応じて、検索結果として抽出されやすい近似画像の範囲を変更することができる。これにより、例えば図１４の例のように近似度を変更することで、画像の検索が行われた回数が増えて撮影される可能性が高い対象が検索結果によって正確に表されるようになってくるに連れて、撮影される可能性の高い対象を絞って、絞った対象が他の対象よりも抽出されやすいようにすることができる。

［２−５］近似画像の優先度
抽出手段１０３は、実施形態で述べたものとは異なる方法で画像抽出を行ってもよい。例えば、抽出手段１０３は、複数の画像のうち、より多くの抽出画像（すなわち第１抽出画像及び第２抽出画像のいずれかまたは両方）の近似画像になっている画像ほど優先度を上げて、その優先度を反映させて画像抽出を行う。これにより、抽出手段１０３は、複数の画像のうち、より多くの抽出画像の近似画像になっている画像ほど優先して画像抽出を行うことになる。この場合、抽出手段１０３は、複数の画像の各々について、各画像が近似画像になっている抽出画像の数を計数し、計数した数に応じて優先度を上げる。その際、抽出手段１０３は、重複した抽出画像を別々の抽出画像として計数してもよいし、重複したものは１つの抽出画像として計数してもよい。本変形例では、抽出手段１０３は、重複した抽出画像を別々に計数する。

本変形例では、実施形態で述べた近似の範囲を用いると、同じ画像データベースに格納されている画像はいずれも同じ優先度になる。一方、近似の範囲を、例えば図１４で述べた第３近似度を用いて決めると、同じ画像データベースに格納されている画像同士でも、異なる優先度になる。この場合の各画像の優先度の一例を図１５に示す。
図１５は、各画像の優先度の一例を示す図である。この例では、「Ａ００１．ｊｐｇ」、「Ａ００２．ｊｐｇ」、「Ｂ００１．ｊｐｇ」、「Ｂ００２．ｊｐｇ」、「Ｃ００１．ｊｐｇ」及び「Ｃ００２．ｊｐｇ」という各画像に、「ＬＶ２」、「ＬＶ１」、「ＬＶ１」、「ＬＶ５」、「ＬＶ６」及び「ＬＶ３」という優先度がそれぞれ対応付けられている。

この優先度は、レベルの数が大きいほど、撮影される可能性が高い対象を表した画像であることを示している。抽出画像の数、すなわち、それまでに画像の検索が行われた回数が増えてくると、これらの優先度の差（すなわちレベルの差）は、より大きくなっていく。これはつまり、画像毎の優先度の違いがより詳細に表されるようになるということである。このように、本変形例によれば、画像の検索が行われた回数が増えるに連れて、各画像の検索における優先度をより詳細に表して、そうして表された優先度を反映させて画像抽出を行うことができる。

［２−６］位置情報
位置情報は、実施形態では、緯度及び経度で表されていたが、これに限らない。位置情報は、例えば、住所で表されていてもよい。また、位置情報は、位置と対応付けることができるものであれば、例えば電話番号やＩＰアドレスなどで表されていてもよい。要するに、位置情報は、撮影が行われた位置を表す情報であれば、どのような表し方がされていてもよい。

［２−７］時情報
時情報は、実施形態では、月日で表されていたが、これに限らない。時情報は、例えば、月日及び時刻で表されていてもよいし、さらに分、秒の単位まで表されていてもよい。また、時情報は、「春」、「夏」、「秋」及び「冬」という季節で表されていてもよいし、「午前」及び「午後」や、「日中」及び「夜間」といった表し方がされていてもよい。要するに、時情報は、撮影が行われた時を表す情報であれば、どのような表し方がされていてもよい。

［２−８］周辺領域の変化
情報特定手段１０２は、周辺位置情報を特定するときに用いる領域（取得された位置情報と周辺位置情報とがそれぞれ示す位置を含む領域。以下「周辺領域」という。）の大きさや形を変化させてもよい。具体的には、情報特定手段１０２は、撮影画像に対応付けられている時情報（上記実施形態では、取得手段１０１により取得された時情報）が示す時に応じて周辺領域の大きさまたは形を変化させる。この場合、情報特定手段１０２は、例えば、時情報が示す時を含む期間と、周辺領域の大きさとを対応付けた周辺領域テーブルを記憶している。

図１６は、周辺領域テーブルの一例を示す図である。この例では、「日中」及び「夜間」という時情報に、「半径５０ｍ」及び「半径１０ｍ」という周辺領域がそれぞれ対応付けられている。情報特定手段１０２は、取得手段１０１から「日中」という時情報が供給された場合、周辺領域テーブルにおいてこの時情報に対応付けられている周辺領域を用いて、周辺位置情報を特定する。具体的には、情報特定手段１０２は、取得手段１０１から供給された位置情報が示す位置からの距離が５０ｍ以内の位置を示す位置情報を周辺位置情報として特定する。また、情報特定手段１０２は、「夜間」という時情報が供給された場合には、供給された位置情報が示す位置からの距離が１０ｍ以内の位置を示す位置情報を周辺位置情報として特定する。

なお、情報特定手段１０２は、周辺領域の形を変化させる場合には、上述した領域データ（日本全体を複数の領域に分けてそれらの領域の境界を表したデータ）を、各領域の形や大きさが異なるもので複数種類記憶しておき、それらと時情報とを対応付けたテーブルを用いて周辺位置情報を特定すればよい。
或る位置から撮影可能な対象は、時期や時間帯などによって変化する場合がある。例えば日中であれば撮影可能な５０ｍ先の建物も、夜間では撮影できない場合がある。本変形例では、時情報が示す時に応じて周辺領域の大きさまたは形を変化させることで、或る位置における過去の検索結果が、その位置で撮影される可能性の高い対象をより正確に表すようにすることができる。

［２−９］前後期間の変化
情報特定手段１０２は、周辺時情報を特定するときに用いる期間（取得された時情報が示す時の前後の時を含む期間。以下「前後期間」という。）の長さを変化させてもよい。具体的には、情報特定手段１０２は、撮影画像に対応付けられている位置情報（上記実施形態では、取得手段１０１により取得された位置情報）が示す位置に応じて前後期間の長さを変化させる。例えば、情報特定手段１０２は、前後期間を、その位置における日中（日が出ている期間）とする場合に、月毎に、経度と、その月の１５日のその経度（日本国内）における日の出時刻及び日の入り時刻とを対応付けた前後期間テーブルを記憶しておく。

図１７は、前後期間テーブルの一例を示す図である。この例では、「１月」における日の出時刻及び日の入り時刻が示されている。具体的には、「１４５度」、「１４０度」、「１３５度」及び「１３０度」という経度を表す位置情報に、「６：４７」、「６：５０」、「７：０５」及び「７：１８」という日の出時刻と、「１６：０８」、「１６：５０」、「１７：１０」及び「１７：３７」という日の入り時刻とがそれぞれ対応付けられている。情報特定手段１０２は、１月において、取得手段１０１から例えば「１３５度」という経度を表す位置情報が供給された場合、前後期間テーブルにおいてこの位置情報に対応付けられている前後期間（７：０５から１７：１０までの期間）を用いて周辺時情報を特定する。

例えば夜間にライトアップされる建物などは、日中（日が出ている時間）は撮影される可能性が低いが、夜間になると撮影される可能性が高くなる。このような建物については、夜間だけ撮影される可能性が高い対象として、画像抽出を行うことが望ましい。そのような対象は日本中にあるが、日が出ている時間は、位置によって異なっている。本変形例では、撮影される位置によって前後期間を変化させることができるため、そのような変化をさせない場合に比べて、過去の検索結果が、撮影される可能性の高い対象（特に前述した建物のような対象）をより正確に表すようにすることができる。

［２−１０］類似画像をユーザが選択
複数の類似画像が抽出された場合に、それら複数の類似画像をユーザに提示して、ユーザが得たかった結果を示すものを選択させてもよい。さらに、ユーザが選択した画像がその位置で撮影される可能性の高い対象を表すものとして、画像抽出に活用してもよい。
図１８は、本変形例における各装置の機能構成の一例を示す図である。図１８では、図４に示す各手段に加え、画像特定手段１０５を備える情報処理装置１０ｂと、選択受付手段２０４を備えるユーザ装置２０ｂとが示されている。

本変形例では、抽出手段１０３が複数の類似画像を抽出した場合に、出力手段１０４が抽出されたそれら複数の類似画像を出力し、表示制御手段２０３がそれらの類似画像を表示させる。
図１９は、表示された複数の類似画像の一例を示す図である。図１９では、図１１に示した類似画像Ｄ１の他に、類似画像Ｄ２、Ｄ３及びＤ４が表示部２５に表示されている。なお、類似画像Ｄ２、Ｄ３及びＤ４は、図１９ではサムネイル画像で示されている。表示部２５には、「画像を選択しますか？」という文字列と、「はい」という文字列を含む操作子画像Ｂ２とが表示されている。

選択受付手段２０４は、抽出手段１０３により複数の類似画像が抽出された場合に、それらの複数の類似画像のうちのいずれかを選択する操作を受け付ける手段の一例である。選択受付手段２０４は、制御部２１、通信部２３及び操作部２４により実現される機能である。制御部２１は、図１９に示す状態でユーザが操作部２４を操作して操作子画像Ｂ２を選択すると、複数の類似画像から類似画像Ｄ１を選択する操作を受け付ける。制御部２１は、そうして受け付けた類似画像（以下「選択画像」ともいう。この例では類似画像Ｄ１。）を、通信部２３を介して情報処理装置１０に送信する。

画像特定手段１０５は、抽出手段１０３により複数の類似画像が抽出された場合に、それらの複数の類似画像のうちユーザが選択したものを特定する手段の一例である。画像特定手段１０５は、制御部１１、記憶部１２及び通信部１３により実現される機能である。制御部１１には、ユーザ装置２０から送信されてきた類似画像が通信部１３を介して供給される。制御部１１は、供給された類似画像を取得画像として特定する。画像特定手段１０５は、このようにして上記の特定を行い、特定した選択画像を抽出手段１０３に供給する。

抽出手段１０３は、複数の画像のうち、画像特定手段１０５がユーザにより選択された類似画像として特定したことがある抽出画像（すなわち第１抽出画像及び第２抽出画像のいずれかまたは両方）の近似画像の優先度を上げて、その優先度を反映させて画像抽出を行う。これにより、抽出手段１０３は、画像特定手段１０５がユーザにより選択された類似画像として特定したことがある抽出画像を他の画像よりも優先して画像抽出を行うことになる。図１９の例であれば、抽出手段１０３は、例えば、類似画像Ｄ１、Ｄ２、Ｄ３及びＤ４はいずれも抽出画像であるが、類似画像Ｄ１の近似画像については優先度のレベルを２つ上げて、類似画像Ｄ２、Ｄ３及びＤ４のそれぞれの近似画像については優先度のレベルを１つ上げる。上記のとおりユーザにより選択された選択画像は、選択されなかった類似画像に比べて、周辺領域において撮影される可能性が高い対象を表したものである。本変形によれば、選択画像を用いずに優先度を上げる場合に比べて、過去の検索結果が、撮影される可能性の高い対象（特に選択画像により表される対象）をより正確に表すようにすることができる。

［２−１１］画像の出力先
出力手段１０４が類似画像を出力する宛先であるアクセス先情報は、ＩＰアドレスに限らない。例えば、ユーザ装置２０に対応付けて登録されたメールアドレスであってもよいし、同じくユーザ装置２０に対応付けて登録されたＳＮＳ（Social Networking Service）のアカウントであってもよい。また、出力手段１０４は、例えばユーザ装置２０に対応付けて登録されている表示手段のアクセス先を宛先として類似画像を出力してもよい。要するに、出力手段１０４は、画像の検索を要求してきたユーザが検索結果を見ることができるアクセス先に対して類似画像を出力すればよい。

［２−１２］位置情報だけを用いた画像抽出
情報処理装置は、上記の実施形態では、位置情報及び時情報の両方を用いて画像抽出を行ったが、位置情報だけを用いて画像抽出を行ってもよい。この場合も、情報特定手段１０２が位置情報を特定し、抽出手段１０３が第１抽出画像を用いて画像抽出を行うことで、撮影画像に類似する類似画像を検索する場合に、その撮影画像に表されている可能性が高い対象を表す画像が、その可能性が低い対象を表す画像に比べて抽出されやすくなる。従って、本変形例においても、第１抽出画像に基づいた抽出を行わない場合に比べて、画像の検索の精度を向上させることができる。

［２−１３］近似画像を用いない画像抽出
抽出手段１０３は、近似画像を用いないで画像抽出を行ってもよい。具体的には、抽出手段１０３は、撮影画像に類似する類似画像を抽出する場合に、その撮影画像に対応する第１抽出画像（すなわちその撮影画像に対応付けられた位置情報を用いて情報特定手段１０２により特定された周辺位置情報が示す位置で撮影された撮影画像の類似画像として過去に抽出した画像）を、他の画像よりも優先して画像抽出を行う。また、抽出手段１０３は、撮影画像に類似する類似画像を抽出する場合に、その撮影画像に対応する第２抽出画像（すなわちその撮影画像に対応付けられた時情報を用いて情報特定手段１０２により特定された周辺時情報が示す時に撮影された撮影画像の類似画像として過去に抽出した画像）を、他の画像よりも優先して画像抽出を行う。これらの場合でも、第１抽出画像を用いた抽出や第２抽出画像を用いた抽出を行わない場合に比べて、正しい検索結果が得られる可能性が高くなり、過去の検索結果を利用して画像の検索の精度を向上させることができる。

［２−１４］取得しない撮影画像を用いた画像抽出
情報特定手段１０１は、取得手段１０１により取得された撮影画像以外の撮影画像を用いて上記の特定を行ってもよい。例えば、情報処理装置１０が操作部及びＵＳＢ（Universal Serial Bus）ポートを備えており、ユーザが操作部を操作してＵＳＢメモリーキーなどに記憶された撮影画像（位置情報及び時情報が対応付けられた撮影画像）を記憶部１２に記憶させた場合に、情報特定手段１０１は、そうして記憶された撮影画像を用いて上記の特定を行う。これらの撮影画像のように取得手段１０１により取得されたものでなくても、位置情報及び時情報が対応付けられていれば、情報特定手段１０１による特定を行うことができる。

［２−１５］ランドマーク
情報処理装置１０は、上述した画像検索処理を常に行うのではなく、状況に応じて画像検索処理を行うか否かを判断してもよい。例えば、情報処理装置１０は、撮影画像に類似する類似画像を抽出する場合に、その撮影画像が撮影された位置（「撮影位置」という）の周辺に予め決められた目印となるような建物や場所（いわゆるランドマーク）があるときには画像検索処理を行い、それがないときには画像検索処理を行わない。撮影位置の周辺は、具体的には、撮影位置を中心として所定の長さ（５０ｍや１００ｍなど）を半径とする円形の領域や、撮影位置を含む所定の地域（区画や市町村など）などによって表される。情報処理装置１０は、例えば、ランドマークの緯度及び経度を記憶しておき、撮影位置との距離を算出することで撮影位置の周辺にそのランドマークがあるか否かを判断する。なお、この距離は、ランドマーク毎に異なっていてもよく（例えば遠くから撮影可能なものほど距離を長くする）、そのランドマークが撮影可能な長さに決められていることが望ましい。

また、情報処理装置１０は、各地域とその地域におけるランドマークとを対応付けて格納するデータベースを記憶しておくことで、撮影位置の周辺にランドマークがあるか否かを判断する。この場合、その地域において撮影可能なものがランドマークとして対応付けられていることが望ましい。
このように、本変形例では、撮影位置から撮影可能なものがランドマークとして用いられることが望ましい。周辺にそのようなランドマークがある場所では、そのランドマークが撮影される可能性が他の対象に比べて高く、抽出画像や近似画像に表されている対象もそのランドマークに偏りやすい。そのため、周辺にランドマークがない場所に比べると、抽出画像や近似画像を用いた画像検索処理を行った場合に正しい検索結果（主にランドマークを対象とする類似画像）が得られる可能性がより高くなる。これにより、ランドマークの有無に基づく上記の判断を行わない場合に比べて、過去の検索結果を利用した画像の検索の精度をより向上させることができる。

［２−１６］抽出の頻度
抽出手段１０３は、抽出画像を過去に抽出した頻度（以下「抽出頻度」という）に基づいて画像抽出を行ってもよい。抽出手段１０３は、例えば、抽出頻度と優先度とを対応付けた抽出頻度テーブルを記憶している。
図２０は、抽出頻度テーブルの一例を示す図である。この例では、「週１回以上」、「月１回以上」及び「年１回以上」という抽出頻度に、「ＬＶ３」、「ＬＶ２」及び「ＬＶ１」という優先度がそれぞれ対応付けられている。この抽出頻度は、各抽出画像が例えば過去１年間に抽出された回数に基づいて求められる（５２回以上であれば週１回以上、１２回以上５２回未満であれば月１回以上、１回以上１２回未満であれば年１回以上という具合）。抽出手段１０３は、各抽出画像について抽出頻度を求め、その抽出画像の優先度を、抽出頻度テーブルにおいて求めた抽出頻度に対応付けられている優先度の分だけ上げて、画像抽出を行う。

［２−１７］画像抽出の方法
抽出手段１０３は、抽出画像や近似画像を他の画像に比べて優先して画像抽出を行ったが、これに限らない。或る場所の周辺で過去に多く検索された対象であっても、あるときを境に検索されなくなってしまうことがある。例えば、対象が店の場合に閉店してしまってその対象自体が無くなったり、他の対象（例えば建物）ができてそれまで見えていた対象が見えなくなったりした場合に、そのようなことが起こる。抽出手段１０３は、例えば、過去の所定の期間（１年間など）に抽出しなかった抽出画像（またはその近似画像）については、それまでに抽出していた画像であっても、他の画像に比べて優先することなく画像抽出を行うとよい。

また、或る場所の周辺で過去に多く検索された対象であっても、時が経つとともに検索されなくなっていくことがある。例えば、以前は周囲で最も高い建物だったのが、周辺により高い建物ができて目立たなくなった建物などである。そのような場合に、抽出手段１０３は、過去の所定の期間における抽出頻度が所定の度合い（例えば半年に１回など）未満である抽出画像（またはその近似画像）については、他の画像に比べて優先することなく画像抽出を行うとよい。
本変形例においても、抽出手段１０３が抽出画像またはその近似画像を用いて画像抽出を行うことで、過去の検索結果を利用して画像の検索の精度を向上させることができる。

［２−１８］或る事項に応じた動作
図１４等で説明した動作において用いられるテーブルは、それらの図に示したものに限らない。例えば、テーブルの行数は２以上であればいくつでもよい。また、昇順（または降順）に並べられているものを降順（または昇順）に並び替えてもよいし、そのような順番に関係なく並び替えをしてもよい。また、テーブルを用いずに、各セルの内容を数値で表し、数式を用いて算出される値を用いてもよい。図１４の例であれば、例えば、近似度を、抽出画像と近似画像との特徴量の差の値によって表し（この値が小さいほど近似の範囲が小さくなる）、（５０−抽出画像の数）÷５０という数式を算出した値を近似度とする（ただしマイナスの値が算出された場合は０とする）、といった具合である。これにより、抽出画像の数に応じて特徴量の差の値が１から０まで変化し、近似度も抽出画像の数に応じて変化する。要するに、これらの動作では、或る事項（図１４の例であれば抽出画像の数）に応じて他の事項（図１４の例であれば近似度）が決まるようになっていればよい。

［２−１９］発明のカテゴリ
本発明は、画像検索システムや情報処理装置、ユーザ装置の他にも、情報処理装置やユーザ装置が実施する処理を実現するための画像検索方法としても捉えられるものである。ここでいう処理とは、例えば、図１２に示す画像検索処理である。また、本発明は、情報処理装置やユーザ装置のようなコンピュータを、図４等に示す手段として機能させるためのプログラムとしても捉えられるものである。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態でも提供されたりするものであってもよい。

１…画像検索システム、２…ネットワーク、１０…情報処理装置、２０…ユーザ装置、３０…画像ＤＢ装置、１１、２１…制御部、１２、２２…記憶部、１３、２３…通信部、２４…操作部、２５…表示部、２６…測位部、２７…撮影部、１０１…取得手段、１０２…情報特定手段、１０３…抽出手段、１０４…出力手段、１０５…画像特定手段、２０１…記憶制御手段、２０２…送信手段、２０３…表示制御手段、２０４…選択受付手段

Claims (9)

1. 或る対象が撮影された撮影画像に対応付けられ、且つ、当該撮影画像が撮影された位置を示す位置情報により示される位置と同じ領域内の位置を示す他の前記位置情報を特定する情報特定手段と、
   前記撮影画像に類似する類似画像を、それぞれが或る対象を表した複数の画像から当該撮影画像を用いた検索の結果として抽出する抽出手段であって、当該撮影画像に対応付けられた位置情報を用いて前記情報特定手段により他の前記位置情報が特定される場合に、当該位置情報が示す位置で撮影された撮影画像の前記類似画像として過去に抽出した第１抽出画像を用いて前記抽出を行う抽出手段と、
   前記抽出手段により抽出された類似画像を前記検索の結果として出力する出力手段と
   を備えることを特徴とする情報処理装置。
2. 前記情報特定手段は、前記撮影画像に対応付けられ、且つ、当該撮影画像が撮影された時を表す時情報が示す時と同じ期間に含まれる時を示す他の前記時情報を特定し、
   前記抽出手段は、前記情報特定手段により時情報が特定される場合に、当該時情報が示す時に撮影された前記撮影画像の類似画像として過去に抽出した第２抽出画像を用いて前記抽出を行う
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記情報特定手段は、前記撮影画像に対応付けられている前記位置情報が示す位置に応じて前記期間の長さを変化させ、または、当該撮影画像に対応付けられている前記時情報が示す時に応じて前記領域の大きさまたは形を変化させる
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記抽出手段は、前記第１抽出画像と表す対象が近似する第１近似画像と、前記第２抽出画像と表す対象が近似する第２近似画像とを用いて前記抽出を行う
   ことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記抽出手段は、前記複数の画像のうち、前記第１近似画像であり、且つ、前記第２近似画像である画像を、当該画像について予め決められた度合い、当該第１近似画像及び当該第２近似画像についてそれぞれ予め決められた度合いの合計または当該合計に基づいて算出される度合いに応じて他の画像よりも優先して前記抽出を行う
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記抽出手段は、前記複数の画像のうち、より多くの前記抽出画像の前記近似画像になっている画像ほど優先して前記抽出を行う
   ことを特徴とする請求項３から５までのいずれか１項に記載の情報処理装置。
7. 前記抽出手段は、前記抽出画像及び前記近似画像の対象が近似する度合いを、当該抽出画像の数に応じて変更する
   ことを特徴とする請求項３から６までのいずれか１項に記載の情報処理装置。
8. 前記抽出手段により複数の前記類似画像が抽出された場合に、当該複数の類似画像のうちユーザが選択したものを特定する画像特定手段を備え、
   前記抽出手段は、前記複数の画像のうち、前記画像特定手段が前記ユーザにより選択された類似画像として特定したことがある前記抽出画像を他の画像よりも優先して前記抽出を行う
   ことを特徴とする請求項１から７までのいずれか１項に記載の情報処理装置。
9. 情報処理装置が、或る対象が撮影された撮影画像に対応付けられ、且つ、当該撮影画像が撮影された位置を示す位置情報により示される位置と同じ領域内の位置を示す他の前記位置情報を特定する情報特定ステップと、
   前記情報処理装置が、前記撮影画像に類似する類似画像を、それぞれが或る対象を表した複数の画像から当該撮影画像を用いた検索の結果として抽出する抽出ステップであって、当該撮影画像に対応付けられた位置情報を用いて前記情報特定ステップにおいて他の前記位置情報が特定される場合に、当該位置情報が示す位置で撮影された撮影画像の前記類似画像として過去に抽出した第１抽出画像を用いて前記抽出を行う抽出ステップと、
   前記情報処理装置が、前記抽出ステップにおいて抽出された類似画像を前記検索の結果として出力する出力ステップと
   を備えることを特徴とする画像検索方法。

Images