JP2019101552A - 画像検索システム、画像検索プログラム、画像検索端末および画像検索端末制御プログラム - Google Patents

Abstract

【課題】利用者のニーズに応じた画像検索を実施できる可能性を高める技術の提供。【解決手段】入力画像を受け付ける入力画像受付部と、前記入力画像が１個である場合、前記入力画像の特徴量と類似した特徴量の画像を検索し、前記入力画像が複数個である場合、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索部と、を備える画像検索システムが構成される。【選択図】図２

Description

本発明は、画像検索システム、画像検索プログラム、画像検索端末および画像検索端末制御プログラムに関する。

従来、入力画像に類似した画像を検索する技術が知られている。例えば、特許文献１においては、画像の特徴量が近い画像を類似した画像として検索する技術が開示されている。

特開２０００−２８５１４１号公報

従来の技術においては、利用者の多様なニーズに応じた検索を行うことができなかった。すなわち、画像の検索においては、被写体等のコンテンツ自体が類似している画像の検索が行われる場合もあるし、コンテンツから想起される概念（例えば、「朝食」の写真等）が類似している画像の検索が行われる場合もある。従来の技術においては、画像の特徴量に基づいて類似した画像を検索するため、コンテンツ自体が類似している画像の検索は可能であるが、概念が類似している画像の検索を行うことはできない。
本発明は、前記課題にかんがみてなされたもので、利用者のニーズに応じた画像検索を実施できる可能性を高める技術を提供することを目的とする。

上記の目的を達成するため、画像検索システムは、入力画像を受け付ける入力画像受付部と、入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索部と、を備える。

また、上記の目的を達成するため、画像検索端末は、入力画像を送信する入力画像送信部と、送信された入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索システムが送信する検索結果を取得する検索結果取得部と、検索結果を出力する検索結果出力部と、を備える。

さらに、上記の目的を達成するため、画像検索プログラムは、コンピュータを、入力画像を受け付ける入力画像受付部、入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索部、として機能させる。

さらに、上記の目的を達成するため、画像検索端末制御プログラムは、コンピュータを、入力画像を送信する入力画像送信部、送信された入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索システムが送信する検索結果を取得する検索結果取得部、検索結果を出力する検索結果出力部、として機能させる。

すなわち、画像検索システム、画像検索プログラム、画像検索端末および画像検索端末制御プログラムにおいては、入力画像の数に応じて利用者のニーズを推定し、そのニーズに応じて画像の検索を行う。

具体的には、入力画像が複数個の場合、利用者は複数個の画像に類似している他の画像を検索しようとしているが、当該複数個の画像のコンテンツが類似しているとは限らない。例えば、利用者が朝食の画像の検索を意図して、米が含まれる朝食の写真とパンが含まれる朝食の写真とを入力画像とした場合、米というコンテンツとパンというコンテンツとは概念的には類似しているが画像上では類似していない。この場合、画像の特徴量によって、複数個の画像に類似する他の画像を検索することはできない。

一方、画像に対応づけられたタグが共通している場合、当該タグが対応づけられた他の画像を検索することで、利用者が意図している画像が検索される可能性を高めることができる。従って、入力画像が複数個である場合、タグが類似する他の画像を検索することで利用者のニーズに応じた画像検索を実施できる可能性を高めることができる。

画像には複数個のタグを対応づけることが可能であるため、入力画像が１個の場合、タグによって利用者の意図を推定することは困難である。従って、入力画像が１個の場合にタグが類似する他の画像を検索したとしても、検索結果が過多であり、利用者のニーズに応じた画像を検索結果として提示できる可能性は低い。一方、画像の特徴量が類似する画像を検索すれば、少なくともコンテンツが類似する画像が検索されるため、利用者のニーズから大きく逸脱する可能性は少ない。従って、入力画像が１個である場合、特徴量が類似する他の画像を検索することで利用者のニーズに応じた画像検索を実施できる可能性を高めることができる。

画像検索システムを示すブロック図である。 図２Ａ，図２Ｂ，図２Ｃ，図２Ｄはユーザインタフェースの一例を示す図である。 検索処理のフローチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）画像検索システムの構成：
（２）検索処理：
（３）他の実施形態：

（１）画像検索システムの構成：
図１は、本発明の一実施形態である画像検索システム１０の構成を示すブロック図である。画像検索システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０および記録媒体３０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。本実施形態にかかる画像検索システム１０は、各種のプログラムにより各種の機能を実行可能な多機能端末である。画像検索システム１０は、各種の態様で実現可能であるが、本実施形態において画像検索システム１０は、通話機能を含む各種の機能を実行可能なスマートフォンである。

さらに、画像検索システム１０は、タッチパネルディスプレイ４０、通信部４１を備えている。タッチパネルディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０とタッチパネルディスプレイ４０とで各種の信号を授受する。制御部２０は、タッチパネルディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をタッチパネルディスプレイ４０に表示させることができる。タッチパネルディスプレイ４０は、ディスプレイに重ねられた透過型のタッチ検出面を備えた入力デバイスであり、タッチ検出面に対して検出対象物がタッチした位置を検出し、検出位置を示すタッチ座標を出力する。制御部２０は、当該タッチ座標に基づいてタッチ位置を取得することができる。通信部４１は、外部の装置と無線通信を行うことが可能な装置である。本実施形態において通信部４１は、サーバ５０と無線通信を行うことが可能である。

記録媒体３０には、画像情報３０ａが記録されている。画像情報３０ａが示す画像は、複数の画素を有しており、各画素は異なる色チャネル（Ｒ：Ｒｅｄ，Ｇ：Ｇｒｅｅｎ，Ｂ：Ｂｌｕｅ等）のサブ画素によって構成されている。各サブ画素は、各色チャネルの階調値を有しており、各階調値が示す色の強度でサブ画素の色が出力されることで多色が表現されている。また、画像情報３０ａが示す各画像にはタグが対応づけられている。本実施形態においては、予め複数の項目が定義され、項目毎に情報が対応づけられることによってタグが定義される。例えば、画像のコンテンツの概念という項目を想定する。画像のコンテンツがパンである場合、当該項目に対応づけられる情報としては、「パン」、「朝食」などといったテキスト情報が挙げられる。

本実施形態においては、画像に対してコンテンツの概念を示すタグが対応づけられている場合に着目して説明するが、他にも種々のタグ（例えば、画像の撮影位置や撮影時刻等）が挙げられる。なお、タグは種々の手法で特定されて良く、例えば、ディープラーニングによって学習されたニューラルネットワークに対して画像を入力することによってコンテンツの概念を示すタグが決定される構成等を採用可能である。なお、タグは、種々のシステムによって特定されて良く、画像検索システム１０に記録された画像情報３０ａとサーバ５０に記録された画像情報５１ａとに含まれる画像のタグは、画像検索システム１０、サーバ５０、他のシステムのいずれにおいて特定され、各画像に付与されても良い。

本実施形態において、ＲＯＭまたは記録媒体３０には入力画像に類似した画像を検索する画像検索プログラム２１が記録されている。制御部２０は、当該画像検索プログラム２１を実行することにより、通信部４１を介して外部のサーバ５０に検索条件を送信し、検索条件に合致する画像を検索させることができる。

サーバ５０は、記録媒体５１を備えており、記録媒体５１に複数の画像を示す画像情報５１ａが記録されている。また、サーバ５０は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部によってプログラムを実行可能であり、画像検索システム１０から送信される検索条件に合致した画像を画像情報５１ａから検索することができる。

本実施形態において、検索条件は、画像の特徴量またはタグであり、画像検索システム１０が、通信部４１を介してサーバ５０に入力画像の特徴量または入力画像に対応づけられたタグを送信すると、サーバ５０は当該特徴量またはタグを有する画像を検索し、画像を返信する。画像検索システム１０が当該画像を取得することで、入力画像に類似した画像の検索が実行される。

このような検索を実行するため、画像検索プログラム２１は、入力画像受付部２１ａと画像検索部２１ｂとを備えている。入力画像受付部２１ａは、入力画像を受け付ける機能を制御部２０に実行させるプログラムモジュールである。本実施形態において制御部２０は、入力画像受付部２１ａの機能により、利用者による入力画像の入力を受け付ける。すなわち、本実施形態においては、利用者が画像を検索する際に、基になる画像を入力するように構成されている。

入力を受け付けるため、制御部２０は、タッチパネルディスプレイ４０に制御信号を出力し、入力画像を選択するためのユーザインタフェースを表示させる。すなわち、制御部２０は、画像情報３０ａを参照し、画像情報３０ａに含まれる画像をユーザインタフェースに表示させる。利用者が当該ユーザインタフェースを利用して画像を選択すると、制御部２０は、選択された画像を入力画像として受け付ける。なお、入力画像の数は限定されておらず、利用者は、１個以上の任意の数の画像を入力画像として入力することができる。

画像検索部２１ｂは、入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する機能を制御部２０に実行させるプログラムモジュールである。すなわち、本実施形態において制御部２０は、利用者によって入力された入力画像の数を計測し、入力画像の数に応じて検索条件を切り替える。

検索条件としては、種々の条件を選択可能であって良いが、本実施形態においては、少なくとも入力画像の特徴量と、入力画像のタグとを検索条件として選択可能である。本実施形態において入力画像の特徴量は、入力画像のコンテンツの特徴を示す特徴量であり、画像内のオブジェクトや画像の部位（一部または全部）の色、模様（テクスチャ）、階調値（色チャネル毎の色や輝度等）の特徴を示す情報である。特徴量は、種々の解析によって特定可能であり、例えば、空間周波数や各種の統計量（ヒストグラム、平均値、標準偏差等）などによって特徴量を定義可能である。

いずれにしても、公知の定義も含め、画像を解析して得られた種々の量を特徴量とすることができる。入力画像が１個である場合、制御部２０は、特徴量を検索条件とした検索を行う。この場合制御部２０は、入力画像に基づいて特徴量を取得し、通信部４１を介して当該特徴量を検索条件として送信する。サーバ５０が当該検索条件を取得すると、サーバ５０は、当該検索条件が示す特徴量と、記録媒体５１に記録された画像情報５１ａが示す各画像の特徴量とを比較し、類似する特徴量が対応づけられた画像を取得する。

なお、特徴量の類似は、例えば、特徴量の差異が閾値以下であるか否か等に基づいて判定可能である。むろん、特徴量は１個に限定されず、複数の特徴量に基づいて類似しているか否か判定されて良い。また、画像情報５１ａが示す画像の特徴量は、予め解析され、各画像に対応づけられていても良いし、検索が行われる際に解析され、取得されても良い。

タグは、上述のように画像情報３０ａが示す各画像に予め対応づけられており、画像に関する各種の情報を示している。入力画像が複数個である場合、制御部２０は、各入力画像のタグを比較し、複数の入力画像で共通しているタグを特定する。すなわち、入力画像が複数個の場合、利用者は複数個の入力画像に共通する要素を想定しており、当該要素が共通する他の画像を検索しようとしている可能性が高い。例えば、「朝食」の画像を検索するために、利用者が、朝食の画像と思われる「パン」の画像と「米」の画像を入力画像として入力するなどの例が挙げられる。

そこで、制御部２０は、入力画像が複数個である場合、画像情報３０ａを参照して複数の画像に共通するタグを取得し、通信部４１を介して当該タグを検索条件として送信する。サーバ５０が当該検索条件を取得すると、サーバ５０は、当該検索条件が示すタグと、記録媒体５１に記録された画像情報５１ａが示す各画像のタグとを比較し、同一のタグが対応づけられた画像を取得する。

以上のようにして、制御部２０が検索条件に合致した画像を取得すると、制御部２０は、画像検索部２１ｂの機能により、タッチパネルディスプレイ４０に制御信号を出力し、取得した画像を表示させる。この結果、利用者は、入力画像に類似する画像の検索結果をタッチパネルディスプレイ４０上で確認することができる。

図２Ａ〜図２Ｄは、タッチパネルディスプレイ４０に表示されるユーザインタフェースの例を示す図である。なお、図２Ａ〜図２Ｄにおいては、矩形によって画像を模式的に示しており、各画像のコンテンツを文字で示している。例えば、図２Ａにおいては入力画像を「パンＡ」という文字で示しているが、これらの文字は画像に含まれるのではなく、文字が示す絵が画像に表現されていることを示している。

本例におけるユーザインタフェースは、入力画像が表示される領域Ｚｓと検索結果としての画像が表示される領域Ｚｒとを備えている。利用者によって入力画像が入力されると、制御部２０は、図２Ａ、図２Ｃに示すように、入力画像を領域Ｚｓに表示させる。図２Ａに示す例において入力画像は１個であり、図２Ｃに示す例において入力画像は複数個である。

図２Ａにおいては、入力画像が１個であるため、制御部２０は、入力画像の特徴量を特定し、検索条件としてサーバ５０に送信する。この場合、サーバ５０においてパンＡの画像と特徴量が類似する画像が検索され、検索結果が画像検索システム１０に返信される。図２Ｂは、パンＡの画像と特徴量が類似する画像が検索され、表示された場合の表示例を示している。すなわち、パンＡの画像と類似する特徴量を有するパンＢ、パンＣ，パンＤ，パンＥの画像が検索結果として表示されている。

一方、図２Ｃにおいては、入力画像が複数個であるため、制御部２０は、入力画像が共通して有するタグを特定し、検索条件としてサーバ５０に送信する。ここでは、パンＡの画像と、米Ａの画像とに対してともに朝食というタグが対応づけられていることを想定する。この場合、制御部２０は、朝食というタグを検索条件としてサーバ５０に送信する。この結果、サーバ５０において朝食というタグが対応づけられた画像が検索され、検索結果が画像検索システム１０に返信される。

図２Ｄは、朝食というタグが対応づけられた画像が検索され、表示された場合の表示例を示している。すなわち、画像情報５１ａにおいて、パンＢ，米Ｂ，卵焼きＡ，パンＣの画像に対して朝食というタグが対応づけられており、これらの画像が検索結果として表示されている。

以上の構成において、入力画像が複数個の場合、利用者は複数個の画像に類似している他の画像を検索しようとしている。このような場合に、入力画像のコンテンツは類似している場合と類似していない場合とがあるが、複数個の入力画像が類似していなければ、特徴量による検索を行っても利用者の意図する画像を検索することはできない。しかし、本実施形態においては、入力画像に対して対応づけられた共通のタグを特定し、当該タグによって検索を行っているため、利用者が意図している画像が検索される可能性を高めることができる。この結果、利用者のニーズに応じた画像検索を実施できる可能性を高めることができる。

一方、画像には複数個のタグを対応づけることが可能であるため、入力画像が１個の場合、タグによって利用者の意図を推定することは困難である。例えば、図２Ａに示す画像に対してパン、朝食等のタグとともに撮影位置を示すタグが対応づけられている場合、利用者がいずれのタグに関連した検索を意図しているのが推定することは困難である。また、これらのタグのいずれかが対応づけられた画像を検索したとしても、検索結果が過多であり、利用者のニーズに応じた画像を検索結果として提示できる可能性は低い。

しかし、本実施形態のように、画像の特徴量が類似する画像を検索すれば、少なくともコンテンツが類似する画像が検索されるため、利用者のニーズから大きく逸脱する可能性は少ない。例えば、利用者が、朝食を意図して図２Ａに示す入力画像を入力した場合に、パンの画像のみが検索結果として得られたとしても、利用者の意図から大きく逸脱することはない。従って、入力画像が１個である場合、特徴量が類似する他の画像を検索することで利用者のニーズに応じた画像検索を実施できる可能性を高めることができる。

さらに、本実施形態において利用者は、入力画像を入力するが、検索条件を直接的に入力する必要はない（むろん、入力可能であっても良い）。従って、利用者が意図している画像が曖昧である場合や、検索条件として適切な概念が言語化できない場合であっても、利用者が入力画像を複数個入力すれば、高い可能性で意図した画像を検索することができる。

さらに、本実施形態においては、利用者が特徴量による検索、タグによる検索を指定しなくても、画像検索システム１０が自動的に適切な検索条件を選定して検索を行うことができる。従って、利用者にとって操作の負担が少ない。また、特徴量やタグなどを熟知していない利用者であっても特徴量やタグによる検索を行うことが可能である。

（２）検索処理：
次に、上述の構成における検索処理を詳細に説明する。図３は、検索処理を示すフローチャートである。検索処理は、利用者が検索処理の開始指示を行うなどのトリガによって開始される。検索処理が開始されると、制御部２０は、入力画像受付部２１ａの機能によって入力画像を受け付ける（ステップＳ１００）。すなわち、制御部２０は、タッチパネルディスプレイ４０を制御し、画像を入力するためのユーザインタフェースを表示させる。利用者は、当該ユーザインタフェースを利用してタッチパネルディスプレイ４０に対する操作を行い、画像情報３０ａとして記録された画像から選択した画像を入力画像として入力する。

制御部２０は、入力画像を受け付けたか否か判定し（ステップＳ１０５）、入力画像を受け付けたと判定されるまでステップＳ１００の処理を繰り返す。ステップＳ１０５において、入力画像を受け付けたと判定された場合、制御部２０は、画像検索部２１ｂの機能により、入力画像の特徴量を取得する（ステップＳ１１０）。本実施形態において、入力画像から取得される特徴量は予め決められており、当該特徴量を取得するための処理も決められている。制御部２０は、入力画像に対して当該処理を行い、入力画像の特徴量を取得する。入力画像が複数個であれば、制御部２０は、それぞれの入力画像について特徴量を取得する。むろん、特徴量は複数の項目についての特徴量であっても良い。

次に、制御部２０は、画像検索部２１ｂの機能により、入力画像が複数個であるか否かを判定する（ステップＳ１１５）。ステップＳ１１５において、入力画像が複数個であると判定されない場合、入力画像は１個である。この場合、制御部２０は、画像検索部２１ｂの機能により、特徴量が類似した画像を検索する（ステップＳ１２０）。すなわち、制御部２０は、ステップＳ１１０で取得した入力画像の特徴量を検索条件とし、通信部４１を介してサーバ５０に送信する。サーバ５０は、当該特徴量に基づいて特徴量が類似した画像を画像情報５１ａから検索し、検索された画像を返信する。制御部２０は、通信部４１を介して当該画像を取得し、タッチパネルディスプレイ４０に表示させる。以上のように、本実施形態においては、入力画像が１個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索は行われない。

一方、ステップＳ１１５において、入力画像が複数個であると判定された場合、制御部２０は、画像検索部２１ｂの機能により、複数個の入力画像の特徴量が類似するか否かを判定する（ステップＳ１２５）。特徴量の類似は、例えば、特徴量の差異が閾値以下であるか否か等に基づいて判定可能である。ステップＳ１２５において、複数個の入力画像の特徴量が類似すると判定された場合、制御部２０は、ステップＳ１２０において特徴量による検索を実行する。すなわち、複数個の入力画像の特徴量が類似している場合、複数個の入力画像のコンテンツが類似している可能性が高く、特徴量に基づいて、当該コンテンツに類似している画像を検索できる可能性が高い。そこで、複数個の入力画像の特徴量が類似している場合、制御部２０は、特徴量による検索を実行する。

ステップＳ１２５において、複数個の入力画像の特徴量が類似すると判定されない場合、制御部２０は、画像検索部２１ｂの機能により、入力画像間で共通するタグがあるか否か判定する（ステップＳ１３０）。すなわち、制御部２０は、複数個の入力画像に対応づけられたタグを比較し、共通するタグが存在するか否かを判定する。ステップＳ１３０において、入力画像間で共通するタグがあると判定されない場合、制御部２０は、タグによって有意な検索ができないとみなし、ステップＳ１２０において特徴量による検索を実行する。

ステップＳ１３０において、入力画像間で共通するタグがあると判定された場合、制御部２０は、画像検索部２１ｂの機能により、共通のタグに類似したタグが対応づけられた画像を検索する（ステップＳ１３５）。すなわち、制御部２０は、ステップＳ１３０で入力画像に共通すると判定されたタグを検索条件とし、通信部４１を介してサーバ５０に送信する。サーバ５０は、当該タグが対応づけられた画像を画像情報５１ａから検索し、検索された画像を返信する。制御部２０は、通信部４１を介して当該画像を取得し、タッチパネルディスプレイ４０に表示させる。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、入力画像の数に応じて検索条件を切り替える限りにおいて、他にも種々の実施形態を採用可能である。例えば、画像検索システムは、各種のシステム、汎用コンピュータシステム、ナビゲーションシステム等に適用されていても良い。また、画像検索システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。

さらに、画像検索システムを構成する入力画像受付部２１ａ、画像検索部２１ｂの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、入力画像受付部２１ａの少なくとも一部がタッチパネルディスプレイ４０内の制御部で実現されても良い。また、画像検索部２１ｂの少なくとも一部の機能がサーバ５０で実行されてもよい。むろん、上述の実施形態の一部が省略された構成や、処理の順序が変動または省略された構成が実現される場合もある。

例えば、図３に示すフローチャートにおいてステップＳ１２５は省略されても良い。この場合、入力画像が複数個である場合には、特徴量の類似にかかわらずタグによる検索が行われる構成となる。ステップＳ１２５が省略される場合、ステップＳ１１０は、ステップＳ１２０の直前に実施されれば良い。

さらに、上述の実施形態においては、入力画像が複数個である場合において、特定の例外的な状況が発生している場合（ステップＳ１２５でＹ、ステップＳ１３０でＮの場合）に、特徴量による画像の検索が行われる構成であったが、入力画像が複数個である場合に、入力画像の特徴量と類似した特徴量の画像の検索が行われない構成であっても良い。この構成は、例えば、図３に示すフローチャートにおいてステップＳ１２５が省略され、ステップＳ１３０において入力画像間で共通するタグがない場合にステップＳ１２０を実行しない構成等によって実現可能である。入力画像間で共通するタグがない場合にステップＳ１２０を実行しない構成は、例えば、ステップＳ１３０において入力画像間で共通するタグがない場合に、利用者によって他の検索条件を入力させる構成等によって実現可能である。また、図３に示すフローチャートにおいてステップＳ１２５およびステップＳ１３０が省略されても良い。

さらに、入力画像の数によって検索条件を切り替える場合に、最も優先度の高い検索条件を切り替える構成であってもよい。例えば、入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像の検索と、入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索とが行われ、入力画像の特徴量と類似した特徴量の画像の検索結果が優先的に出力される構成であっても良い。

この構成は、例えば、上述の実施形態におけるステップＳ１２０を修正することで実現され、ステップＳ１２０において、制御部２０が、ステップＳ１２０において特徴量による検索と、タグによる検索とを行い、特徴量による検索結果を、タグによる検索結果よりも優先的に表示させる構成等が挙げられる。この構成によれば、利用者のニーズに応じていると推定される画像の検索結果を特徴量による検索によって提示しつつ、特徴量による検索で利用者のニーズを満たしていない場合であっても、タグによる検索結果によって利用者のニーズが満たされている可能性を高めることができる。

また、入力画像が複数個である場合、入力画像の特徴量と類似した特徴量の画像の検索と、入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索とが行われ、入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索結果が優先的に出力される構成であっても良い。

この構成は、例えば、上述の実施形態におけるステップＳ１３５を修正することで実現され、ステップＳ１３５において、制御部２０が、ステップＳ１３５において特徴量による検索と、タグによる検索とを行い、タグによる検索結果を、特徴量による検索結果よりも優先的に表示させる構成等が挙げられる。この構成によれば、利用者のニーズに応じていると推定される画像の検索結果をタグによる検索によって提示しつつ、タグによる検索で利用者のニーズを満たしていない場合であっても、特徴量による検索結果によって利用者のニーズが満たされている可能性を高めることができる。

さらに、検索のための処理がサーバ５０で行われ、利用者が操作する端末はより単純な処理を実行する構成であっても良い。例えば、入力画像を送信する入力画像送信部と、送信された入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索システムが送信する検索結果を取得する検索結果取得部と、検索結果を出力する検索結果出力部と、を備える画像検索端末が構成されても良い。

すなわち、画像検索端末は、入力画像を送信し、検索結果の画像を取得して表示する機能を備えている。検索は、例えば、図１に示す画像検索部２１ｂの機能を備えるサーバ５０で実行され、画像検索端末から入力画像を受け付けると、サーバ５０が入力画像の数に基づいて検索を行う。検索結果は、画像検索端末に返信され、画像検索端末が備えるディスプレイ等で出力される。このような構成は、例えば、スマートフォン等のコンピュータにおいて画像検索のためのアプリケーションプログラムが実行されることでスマートフォンが画像検索端末として機能する構成等を想定可能である。以上のように、画像検索システムは、１個の装置で実現されても良いし、複数個の装置で実現されても良く、各装置が担う機能は種々の機能とすることができる。

入力画像受付部は、入力画像を受け付けることができればよい。入力画像の受け付け態様は、種々の態様を想定可能である。従って、上述の実施形態のように、画像検索システムが入力部と出力部とを含むユーザインタフェースを備え、利用者によるユーザインタフェースの操作を受け付けることで入力画像を受け付ける構成であっても良いし、外部の装置、例えば、クライアント端末から送信された入力画像を受け付ける構成であっても良い。

ユーザインタフェースによって入力画像を受け付ける態様は、種々の態様が想定されて良い。例えば、記録媒体に記録された画像自体や画像のサムネイルを出力部に表示し、選択を受け付けても良い。また、画像のタグ等をキーにして記録媒体から検索された画像が入力画像として受け付けられても良いし、画像に対応づけられた日付等のタグによってソートされた画像から選択された画像が入力画像として受け付けられても良く、種々の態様を想定可能である。なお、記録媒体は、上述の実施形態のように画像検索システムに備えられていても良いし、他のシステム（例えば、サーバ等）に備えられていても良い。

画像検索部は、入力画像が１個である場合、入力画像の特徴量と類似した特徴量の画像を検索し、入力画像が複数個である場合、入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索することができればよい。すなわち、画像検索部は、入力画像の数に応じて、特徴量による検索とタグによる検索とを選択することができればよい。なお、検索は種々の態様を想定可能であり、画像検索部は、入力画像の数に基づいて特徴量による検索とタグによる検索とのいずれかを、他方より高い優先度で実施する構成であっても良いし、何れか一方の検索を実行し、他方を実行しない構成であても良い。

画像検索部は、少なくとも検索結果を取得することができればよく、複数の候補から検索条件に合致した画像を探す処理は、画像検索システムで実施されても良いし、他のシステム（サーバ等）で実施されても良い。このため、検索対象の画像を記録した記録媒体は、上述の実施形態のように画像検索システム以外のシステム（サーバ）に備えられていてもよいし、画像検索システムに備えられていても良い。

特徴量は、画像を構成する画素の情報に基づいて取得される量であれば良く、例えば、画素の階調値の統計量（ヒストグラム等）、オブジェクトの情報（エッジで構成される図形の形状や大きさ、オブジェクトの位置等）、模様の情報（エッジ内の画素の色の分布や統計量等）などが挙げられる。特徴量としては、当該特徴量によって類似した画像を検索できるように定義されていれば良く、他にも種々の量を採用可能である。

タグは、画像に対応づけられる各種の情報であり、上述のように、画像が示すコンテンツの概念をテキストで表現した情報以外にも種々の項目の情報がタグとなり得る。例えば、画像が撮影された位置を示す位置情報、画像が撮影された時刻を示す時刻情報や、画像の解像度、画素数、撮影条件等を示す情報等がタグとなり得る。また、同一項目のタグに対して複数の情報が対応づけられていても良い。例えば、パンが撮影された画像に対してコンテンツの概念として、「朝食」を示すタグと「パン」を示すタグが対応づけられていても良い。タグのフォーマットは種々のフォーマットであって良く、例えば、Ｅｘｉｆフォーマット（Ｅｘｉｆは登録商標）等の規格化されたフォーマットであっても良いし、独自に設定されたフォーマットであっても良い。

なお、タグには、優先度が対応づけられていても良い。すなわち、画像に対して複数のタグが対応づけられる場合に、共通するタグが複数個になる場合もある。この場合において、検索の際に重視するタグが優先度で決められるように構成されていても良い。優先度は種々の定義が可能である。例えば、複数のタグのそれぞれについて優先順位が設けられており、共通するタグが複数個存在する場合に優先順位の高いタグが検索に利用される構成を採用可能である。また、各タグに対して優先度の高低を示すポイントが対応づけられており、共通するタグのそれぞれについてポイントの和が算出され、和が最大のタグが検索に利用される構成を採用可能である。

さらに、入力画像の数に応じて検索条件を切り替える手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のようなシステムを備えたナビゲーションシステム、方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…画像検索システム、２０…制御部、２１…画像検索プログラム、２１ａ…入力画像受付部、２１ｂ…画像検索部、３０…記録媒体、３０ａ…画像情報、４０…タッチパネルディスプレイ、４１…通信部、５０…サーバ、５１…記録媒体、５１ａ…画像情報

Claims (10)

1. 入力画像を受け付ける入力画像受付部と、
   前記入力画像が１個である場合、前記入力画像の特徴量と類似した特徴量の画像を検索し、前記入力画像が複数個である場合、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索部と、
   を備える画像検索システム。
2. 前記画像検索部は、
   前記入力画像が複数個であり、複数の前記入力画像の特徴量が類似している場合、当該特徴量に類似した特徴量の画像を検索する、
   請求項１に記載の画像検索システム。
3. 前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索は、
   複数の前記入力画像の特徴量が類似していない場合に実施される、
   請求項２に記載の画像検索システム。
4. 前記入力画像が１個である場合、
   前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索は行われない、
   請求項１〜請求項３のいずれかに記載の画像検索システム。
5. 前記入力画像が複数個である場合、
   前記入力画像の特徴量と類似した特徴量の画像の検索は行われない、
   請求項１〜請求項４のいずれかに記載の画像検索システム。
6. 前記入力画像が１個である場合、
   前記入力画像の特徴量と類似した特徴量の画像の検索と、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索とが行われ、前記入力画像の特徴量と類似した特徴量の画像の検索結果が優先的に出力される、
   請求項１〜請求項５のいずれかに記載の画像検索システム。
7. 前記入力画像が複数個である場合、
   前記入力画像の特徴量と類似した特徴量の画像の検索と、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索とが行われ、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像の検索結果が優先的に出力される、
   請求項１〜請求項６のいずれかに記載の画像検索システム。
8. 入力画像を送信する入力画像送信部と、
   送信された前記入力画像が１個である場合、前記入力画像の特徴量と類似した特徴量の画像を検索し、前記入力画像が複数個である場合、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索システムが送信する検索結果を取得する検索結果取得部と、
   前記検索結果を出力する検索結果出力部と、
   を備える画像検索端末。
9. コンピュータを、
   入力画像を受け付ける入力画像受付部、
   前記入力画像が１個である場合、前記入力画像の特徴量と類似した特徴量の画像を検索し、前記入力画像が複数個である場合、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索部、
   として機能させる画像検索プログラム。
10. コンピュータを、
    入力画像を送信する入力画像送信部、
    送信された前記入力画像が１個である場合、前記入力画像の特徴量と類似した特徴量の画像を検索し、前記入力画像が複数個である場合、前記入力画像に対応づけられたタグと類似したタグが対応づけられた画像を検索する画像検索システムが送信する検索結果を取得する検索結果取得部、
    前記検索結果を出力する検索結果出力部、
    として機能させる画像検索端末制御プログラム。

Images