JP2020194302A - 情報処理装置、検索システム、情報処理装置の制御方法、プログラム - Google Patents

Abstract

【課題】ユーザの検索にかかる手間を削減することを可能にする技術を提供する。【解決手段】情報処理装置であって、第１の検索条件に従って実行された検索により得られた検索結果を一覧表示するように表示部を制御する表示制御手段と、前記一覧表示された検索結果のうち、第１の検索結果及び第２の検索結果の選択と、選択された前記第１の検索結果及び前記第２の検索結果のうち、少なくとも、いずれか一方の検索結果の表示位置の変更と、を受け付ける受付手段と、前記表示位置が変更された検索結果の表示位置と、前記選択された他の検索結果の表示位置とにより特定される第１の領域に表示が可能な検索結果の数に基づいて、前記第１の検索条件を変更して第２の検索条件を生成する変更手段とを備える。【選択図】図１

Description

本発明は、情報処理装置、検索システム、情報処理装置の制御方法、プログラムに関する。

近年、認識技術を用いた検索システムが開発されている。当該検索システムはユーザが検索条件を指定し、システムは指定された検索条件にマッチした検索結果をユーザに通知する。ただし、ユーザが入力した検索条件が厳しい場合、所望の検索結果が提示されない。また、ユーザが入力した検索条件が緩い場合、所望の検索結果以外の検索結果が大量に表示され、所望の検索結果の所在がわかりにくい。

そこで、ユーザの所望する検索結果を出しつつ、検索結果の視認性を上げる技術が開発されている（特許文献１、及び特許文献２を参照）。

特開２００７−１７９３７９号公報 特許第４７６８５３７号公報

しかしながら、従来技術は検索結果の視認性を高めることは可能であるが、ユーザが検索を行うために必要な操作数を削減するまでには至っておらず、ユーザが所望の結果を得るためには個々の検索条件を適宜変更しながら複数回の検索を行わなければならない。ユーザが検索を行う頻度は少なくないため、検索の手間を減らすことが求められている。

そこで、ユーザの検索にかかる手間を削減することを可能にする技術を提供する。

上記課題を解決するための本発明は、情報処理装置であって、
第１の検索条件に従って実行された検索により得られた検索結果を一覧表示するように表示部を制御する表示制御手段と、
前記一覧表示された検索結果のうち、第１の検索結果及び第２の検索結果の選択と、選択された前記第１の検索結果及び前記第２の検索結果のうち、少なくとも、いずれか一方の表示位置の変更と、を受け付ける受付手段と、
前記表示位置が変更された前記検索結果の表示位置と、前記選択された他の検索結果の表示位置とにより特定される第１の領域に表示が可能な検索結果の数に基づいて、前記第１の検索条件を変更して第２の検索条件を生成する変更手段とを備え、
前記表示制御手段は、前記第２の検索条件に従って実行された検索により得られた検索結果を前記第１の領域に更に表示するように前記表示部を制御することを特徴とする。

本発明によれば、ユーザの検索にかかる手間を削減することが可能になる。

実施形態に係る検索システム１０の構成の一例を示す図、情報処理装置１００のハードウェア構成の一例を示す図、及び、サーバ装置１１０のハードウェア構成の一例を示す図。 実施形態に係る情報処理装置１００の機能構成の一例を示す図、及び、実施形態に係るサーバ装置１１０の機能構成の一例を示す図。 実施形態１に係る検索画面の一例を示す図、及び、検索画面における検索結果の表示位置を説明するための図。 実施形態に対応する情報処理装置１００の処理の一例を示すフローチャート。 実施形態１に係る検索画面を用いた検索条件の変更処理の一例を説明するための図、及び、検索条件が変更された後の検索結果の表示の一例を示す図。 実施形態に係る情報処理装置１００の処理の他の一例を示すフローチャート。 実施形態におけるサーバ装置１１０が実行する検索処理の一例を示すフローチャート。 実施形態における検索結果のリストのデータ構造の一例を示す図。 実施形態２に対応する実施形態に係る検索画面の一例を示す図、検索画面を用いた検索条件の変更処理の一例を説明するための図、及び、検索条件が変更された後の検索結果の表示の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜実施形態１＞
以下、例示的な実施形態の１つとして、検索条件に一致する対象を検索可能な検索システムについて説明する。以下では、検索対象として人物画像、特には、人物の顔画像を検索する検索システムについて説明するが、検索対象は顔画像に限られるものではなく、車両やその他の任意の種類の被写体を撮影した画像とすることができる。

図１(A)は実施形態に対応する検索システムの構成の一例を示している。図１（A）に示すように、検索システム１０はユーザ端末として機能する情報処理装置１００と、画像の属性情報（以下、メタデータと記述）を管理し、情報処理装置１００からの要求に応じて画像検索を実行する検索装置として機能するサーバ装置１１０を同一のネットワーク１２０上に配置したシステムである。ネットワーク１２０は、例えばローカルエリアネットワーク（LAN）或いはインターネットであってもよい。

図１（B）は本実施形態における情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、バス１０９に接続されたＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３を主要部品とするユーザ端末、或いは、クライアント装置であり、例えば、パーソナルコンピュータ（PC）、スマートフォン、タブレット端末等として実現される。

ＣＰＵ１０１はバス１０９を介して接続される各デバイスを統括的に制御する。オペレーティングシステム（ＯＳ）をはじめ、内部で起動する各プログラム、デバイスドライバ等はＲＯＭ１０３に格納されており、ＲＡＭ１０２に一時記憶され、ＣＰＵ１０１によって適宜実行される。ＲＡＭ１０２は、高速にアクセス可能なＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ネットワークＩ／Ｆ１０４はネットワーク上のサーバ装置１１０とリモート通信を行う。ストレージＩ／Ｆ１０５はストレージ１０６へのデータの入出力を行う。ストレージ１０６にはＵＩ部品、情報処理装置１００が内部で起動するプログラムやＯＳなどが格納されており、電源投入時に必要な情報がＲＡＭ１０２に適宜読み込まれる。ディスプレイＩ／Ｆ１０７は情報処理装置１００で生成する検索画面をディスプレイ１０８が出力可能な信号に変換する。また、図１（Ｂ）には不図示であるが、情報処理装置１００はユーザからの操作を受け付ける操作部（キーボード、マウス、タッチパネル、マイク）を備えることができる。図１（Ｂ）に示した構成はあくまで一例であって上記以外の構成要素を備えることができる。

図１（C）は本実施形態におけるサーバ装置１１０のハードウェア構成の一例を示すブロック図である。サーバ装置１１０はバス１１７に接続されたＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３を主要部品として構成される情報処理装置であり、各ハードウェアの機能は、前述した情報処理装置１００と同様である。ネットワークＩ／Ｆ１１４は情報処理装置１００とリモートで通信を行う。ストレージＩ／Ｆ１１５はストレージ１１６とのデータの入出力を行う。ストレージ１１６には画像および画像のメタデータである特徴量と画像の撮像日時並びにサーバ装置１１０が内部で起動するプログラムやＯＳなどが格納されており、電源投入時に必要な情報がＲＡＭ１１２に適宜読み込まれる。また、図１（Ｃ）には、不図示であるが、サーバ装置１１０はユーザからの操作を受け付ける操作部（キーボード、マウス、タッチパネル、マイク）を備えることができる。図１（Ｃ）に示した構成はあくまで一例であって上記以外の構成要素を備えることができる。

図２（A）は本実施形態における情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、入力部２０１、検索条件生成部２０２、通信部２０３、記憶部２０４、表示制御部２０５を含むように構成される。これら各機能部は、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に展開、実行することで実現される。

入力部２０１は、ユーザが入力した検索条件を情報処理装置１００のＲＡＭ１０２に保持する。検索条件生成部２０２はＲＡＭ１０２に保持されている検索条件から送信用検索条件を生成しＲＡＭ１０２に保持する。通信部２０３はネットワークＩ／Ｆ１０４を介してネットワーク上のサーバ装置１１０との間でデータ通信を行う。具体的には、検索条件生成部２０２で生成した送信用検索条件をサーバ装置１１０に送信するとともに、その検索結果を受信する。

記憶部２０４はストレージ１０６より実現される。前述したとおり、記憶部２０４にはＵＩ部品、情報処理装置１００が内部で起動するプログラムやＯＳなどが格納されている。表示制御部２０５は、サーバ装置１１０から受信した検索結果を、記憶部２０４に保持しているＵＩ部品と組み合わせて、検索結果の一覧表示を含む検索画面を生成し、ディスプレイ１０８に出力する。上記に加えＣＰＵを用いたソフトウェア処理の代替えとしてハードウェアを構成する場合にはここで説明する各機能部の処理に対応させた演算部や回路を構成すれば良い。

図２（B）は、本実施形態におけるサーバ装置１１０の機能構成の一例を示すブロック図である。サーバ装置１１０は、通信部２１１、検索条件解釈部２１２、特徴量算出部２１３、照合部２１４、記憶部２１５を含むように構成される。これら各機能部はＣＰＵ１１１が、ＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開、実行することで実現される。通信部２１１は、ネットワークＩ／Ｆ１１４を介してネットワーク上に存在する情報処理装置１００との間でデータ通信を行う。

検索条件解釈部２１２は通信部２１１が受信した画像や時刻などの複数の検索条件を解釈し、結果をＲＡＭ１１２に保持する。特徴量算出部２１３は、ＲＡＭ１１２に保持されている画像から特徴量を算出し、ＲＡＭ１１２に保持する。当該特徴量は、検索対象の被写体の特徴を示す情報であればよく、例えば人物の顔画像を検索する場合には、顔の特徴を示す顔特徴量とすることができる。記憶部２１５はストレージ１１６により実現される。前述したとおり、記憶部２１５にはメタデータとして画像、特徴量と画像の撮像日時に関する時刻情報（日時情報）が格納されている。また、記憶部にはサーバ装置１１０が内部で起動するプログラムやＯＳなども格納されている。

照合部２１４は、ＲＡＭ１１２に保持されている顔像の顔特徴量、検索条件と記憶部２１５が保持して特徴量、撮像日時を含むメタデータを比較・照合し、マッチする画像を検索結果として抽出する。検索結果は通信部２１１を介して情報処理装置１００へ送信される。上記に加えＣＰＵ１１１を用いたソフトウェア処理の代替えとしてハードウェアを構成する場合にはここで説明する各機能部の処理に対応させた演算部や回路を構成すれば良い。

図３（A）は検索システム１０の検索画面のユーザインタフェース（ＵＩ）の一例を示す図である。検索システム１０では所定のＵＩ操作により後述する人物検索の処理が実行され、検索結果の一覧表示がＵＩ上に提供される。検索システム１０の検索画面は検索条件設定部３００、検索画像入力部３０１、検索時刻範囲入力部３０２、類似度閾値入力部３０３、検索開始ボタン３０４、検索結果表示部３０５、スクロール部３０６から構成される。また、検索結果表示部３０５には、サーバ装置１１０において実行された検索の結果として得られた画像が検索結果３０７として表示される。

検索画像入力部３０１は、検索条件となる検索画像を指定するための入力インタフェースとして機能する。図３（Ａ）では、検索画像として人物の顔画像が入力される場合を示している。検索時刻範囲入力部３０２は、検索条件となる、検索対象の画像の撮像日時の時間的範囲を指定するための入力インタフェースとして機能する。類似度閾値入力部３０３は、検索対象の画像を検索結果に含めるかどうかを判定するための画像の類似度の閾値を指定する入力インタフェースとして機能する。ここで、類似度は、画像から抽出された特徴量と、検索対象画像から抽出された特徴量との類似の度合いをいう。検索開始ボタン３０４は、各入力部において設定した検索条件に基づいて検索の開始を指示する際に操作されるボタンである。検索開始ボタン３０４が操作されると、検索条件生成部２０２が生成した送信用検索条件を含む検索要求が、通信部２０３を介してサーバ装置１１０に送信される。

検索結果表示部３０５は、検索要求に応じてサーバ装置１１０で実行された検索の結果を表示するための画面である。スクロール部３０６は、検索結果表示部３０５の画面をスクロールするための操作部である。検索結果３０７は、指定された検索画像と類似すると判定されて検索結果に含まれた画像を示す表示用の識別子（表示子）であって、本実施形態では視認性を考慮してアイコン画像としている。

本実施形態において、ＵＩ操作による入力受付箇所は検索条件設定部３００と検索結果表示部３０５の２つが存在し、システムは入力受付箇所によって後段の処理を切り替える。本実施形態では検索システム１０が受け付ける検索条件は検索画像、検索時刻範囲、類似度閾値の３つがあるが、少なくとも検索時刻範囲と類似度閾値を有していれば検索は可能である。

検索結果表示部３０５には、図３（B）のようなＸ、Ｙの直交座標系３０８が設定され、検索結果３０７を表示するための表示位置となる点３０９が配置されている。各検索結果３０７は点３０９が検索結果３０７の中心に来るように表示される。各点の座標は（Xm、Yn）で表される。ここで、ｍ、ｎは０または自然数であり、最大値は検索結果表示画面の表示領域に依存する。全ての検索結果を表示しきれない場合はスクロール部３０６を用いて表示することができる。

図４は、実施形態に対応する情報処理装置１００において実行される処理の一例を示すフローチャートである。以下、図４を参照して、情報処理装置１００の入力部２０１が、図３（A）の検索条件設定部３００の検索開始ボタン３０４から検索開始指示を受け付けた場合の処理の流れを説明する。当該処理は、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に展開、実行することで、図２（Ａ）に示す各機能ブロックとして動作することにより実現される。

まず、Ｓ４００において、情報処理装置１００の入力部２０１は検索画像を取得し、ＲＡＭ１０２に保持する。検索画像の指定は、例えば、検索画像入力部３０１を介して、ストレージ１０６に記憶されている複数の画像のうちからユーザが任意の画像に選択することで行うことができる。取得された検索画像は、検索条件設定部３００の検索画像入力部３０１に表示される。

続くＳ４０１において、情報処理装置１００の入力部２０１は検索時刻範囲を取得し、ＲＡＭ１０２に保持する。検索時刻範囲の指定は、検索時刻範囲入力部３０２に表示されている時刻（日時）を情報処理装置１００の操作部を介してユーザが変更して指定できる。ユーザにより指定された時刻の範囲は検索時刻範囲入力部３０２に表示される。

続くＳ４０２において、情報処理装置１００の入力部２０１は類似度閾値を受け付け、ＲＡＭ１０２に保持する。ユーザは、類似度閾値を、類似度閾値入力部３０３のスライドバーを左右に移動させることにより指定することができる。スライドバーは、例えば左が値が低く、右に行くほど高い値とすることができる。図３は、閾値入力の方法としてスライドバーの形態を示したが、閾値の数値そのものを入力できるようにしてもよい。また、スライドバーとともに、設定された類似度閾値の値を数値表示するようにしてもよい。

図４では、検索画像、検索時刻範囲、類似度閾値の順で入力を受け付ける場合を記載したが、これらはユーザが任意に順序を変更できるし、また、一度入力した検索画像や値を変更することもできる。Ｓ４００、Ｓ４０１、Ｓ４０２までの処理順序は変更してもよいし、これらの処理が繰り返し実行されてもよい。

その後に検索開始ボタン３０４が操作されると、Ｓ４０３において情報処理装置１００の検索条件生成部２０２はＲＡＭ１０２に保持された検索画像、検索時刻範囲、類似度閾値から送信用検索条件を生成し、ＲＡＭ１０２に保持する。このとき、検索画像そのものを送信せず、検索画像から抽出した特徴量を送信してもよい。続くＳ４０４において、情報処理装置１００の通信部２０３はＲＡＭ１０２に保持された送信用検索条件をサーバ装置１１０に送信する。続くＳ４０５において、情報処理装置１００の通信部２０３はサーバ装置１１０が後述する処理を行い生成した検索結果のリストを受信し、ＲＡＭ１０２に保持する。検索結果のリストには、検索条件の検索画像と類似度閾値以上の類似度を有する判定された画像と関連付けて時刻情報（日時情報）及び類似度の情報が含まれる。

Ｓ４０６において情報処理装置１００の表示制御部２０５はＲＡＭ１０２に保持された検索結果の画像につき、時刻情報に基づいて表示順序をソートする。例えば、検索結果の顔画像は、撮影時刻が古い順にソートされる。記憶部２０４に保持されたＵＩ部と検索結果のリストを用いて前述したＵＩを生成し、ディスプレイ１０８に表示する。このとき表示される検索結果の一例は、図３（Ａ）の検索結果表示部３０５に示すもののようになる。

このような表示結果に対して、ユーザは一覧表示されている検索結果の画像の表示位置（配置）を変更することができる。画像の表示位置の変更については図５（Ａ）を参照して説明する。図５（Ａ）は、検索結果表示部３０５に出力されている時刻順でソートされた検索結果において、２つの画像を選択し、表示位置を新たに指定する場合を示している。図５（Ａ）において、選択された検索結果は検索結果３０７ｃと検索結果３０７ｄとであるが、選択する検索結果は表示されている検索結果の最後尾のものには限定されず、検索結果表示部３０５に含まれる任意の２つの画像を選択することができる。その際、図５（Ａ）に示すように時間的に連続する、或いは、表示位置が互いに隣接する２つの画像を選択してもよいし、２つの選択画像の間に他の画像が含まれてもよい。例えば、検索結果３０７ｂと検索結果３０７ｄが選択されてもよい。また、図５（Ａ）では選択された検索結果のうち検索結果３０７ｄのみの表示位置を点線で示す位置から右下へ変更しているが、選択された検索結果であれば２つとも表示座標を変更してもよい。或いは、時間的に先行している検索結果３０７ｃのみの表示座標を変更してもよい。

検索結果の表示位置を変更する場合、図３（Ｂ）で示したＸＹ座標系において予め設定された点３０９で特定されるいずれかの表示位置に変更することができる。このように変更先の表示位置を限定したのは、位置の変更に応じた検索条件変更処理の効率化を図るためであるが、変更先の表示位置を予め設定された点に限定せず、任意の位置に変更可能としてもよい。

本実施形態では、このようにして選択された検索結果の位置変更により、検索条件を変更して再度類似画像の検索を行うことができる。図６（Ａ）、図６（Ｂ）、図６（Ｃ）は、情報処理装置１００における処理の一例を示すフローチャートである。当該処理は、図４に示す流れにおいて検索結果のリストが検索結果表示部３０５に表示された状態で実行することができる。

図３（Ａ）に示すような表示状態においてＳ６０１では、情報処理装置１００の入力部２０１は、表示されている検索結果３０７のリストのうちから２つの検索結果の選択、及び、少なくとも１つの検索結果の位置の変更の操作を受け付ける。このとき、図５（Ａ）に示すように、検索結果３０７ｃおよび検索結果３０７ｄが選択されたものとする。また、表示順において後ろに位置する検索結果３０７ｄが位置の変更操作を受け付けたものとする。検索結果３０７の選択時には、例えば検索結果上にカーソルを移動させると、当該検索結果３０７の画像の撮像日時の情報が表示されるようにしてもよい。これにより、検索結果３０７の選択に応じて設定される検索時刻範囲を容易に把握することができる。続くＳ６０２では、入力部２０１は、検索結果３０７ｃ及び検索結果３０７ｄそれぞれが有する時刻情報を検索時刻範囲としてＲＡＭ１０２に保持する。

続くＳ６０３において、Ｓ６０１において表示位置が変更された検索結果３０７の表示座標を取得する。図６（Ｂ）はＳ６０３の処理をより詳細に表したフローチャートである。まず、Ｓ６１２において、情報処理装置１００の入力部２０１は新たに表示座標を指定された検索結果３０７ｄの移動前の表示座標を含む全ての検索結果３０７の表示座標（各検索結果を表示している点３０９の座標）をＲＡＭ１０２に保持する。続くＳ６１３において、情報処理装置１００の入力部２０１は新たに表示位置が指定された検索結果３０７ｄの表示座標を取得し、ＲＡＭ１０２に保持する。この時、検索結果３０７の表示位置変更前の座標を（Ｘ、Ｙ）、変更後の座標を（Ｘ'、Ｙ'）とする。

続くＳ６１４において、情報処理装置１００の入力部２０１は条件「ＹがＹ'よりも小さい」または「ＹがＹ'と等しいかつＸ'がＸよりも小さい」が成立するかどうかを判断する。本判定は、位置変更された後の検索結果３０７が、元の位置に対して図５（Ａ）でいうところの右、下、右下、左下方向のいずれかに移動されたかどうかを判定するものである。本実施形態では、選択された２つの検索結果の間に領域（空間、スペース、空白、間隔、距離等ともいう）を設定し、当該領域を埋めるように追加の検索を行うことを可能にするものである。よって、検索結果は当該領域を設定可能な方向に移動されなければならない。当該条件が成立した場合、システムの処理はＳ６０４に移行する。一方、当該条件が成立しない場合、システムは本処理を終了する。

図６（Ａ）に戻り、Ｓ６０４において、情報処理装置１００の検索条件生成部２０２はＲＡＭ１０２に保持されている検索結果の表示座標から最大検索結果数Ｕを算出する。最大検索結果数Ｕは、検索結果の表示位置の変更により生じた領域を埋めるのに必要な検索結果の数を表し、以下の式により算出することができる。
Ｕ＝｜（Ｙ´−Ｙ）×Ｘｍａｘ＋（Ｘ´−Ｘ）｜・・・（式１）
ただし、Ｘｍａｘは検索結果表示部３０５に表示される点３０９の最大のＸ座標を示す。

例えば、図５（Ａ）の場合、Ｕ＝｜（２−１）×６＋（６−４）｜＝８であり、最大検索結果数Ｕは８画像となる。このときＸｍａｘは６とし、検索結果３０７ｄの移動後の座標を（６、２）としている。

続くＳ６０５において、情報処理装置１００の検索条件生成部２０２は、上記最大検索結果数Ｕに応じて検索条件として用いる新たな類似度閾値Ｔ´を以下の式により算出する。
Ｔ´＝Ｔ／ｓｑｒｔ（Ｕ）・・・（式２）
ただし、Ｔは、位置変更前に実行された検索において使用された類似度閾値であり、ＲＡＭ１０２に保持されているものを使用する。また、ｓｑｒｔは平方根を計算する関数である。

本実施形態は上記の式で類似度閾値を算出したが、新たに指定された検索結果の表示座標に基づいて類似度閾値を算出する方法であれば、上式に限らず任意の方法で類似度閾値を決定することができる。

その後に検索開始ボタン３０４が操作されると、Ｓ６０６において情報処理装置１００の検索条件生成部２０２はＲＡＭ１０２に保持された画像、新たな検索時刻範囲、新たな類似度閾値Ｔ´を用いて送信用検索条件を生成する。続くＳ６０７ではステップＳ４０４と同様の処理を行う。続くＳ６０８において、サーバ装置１１０から検索結果のリストを受信した後、ＲＡＭ１０２に保持する。

続くＳ６０９において、情報処理装置１００の表示制御部２０５はＲＡＭ１０２に保持された最大検索結果数Ｕと受信した検索結果を用いてＵＩに表示する検索結果を算出する。このとき、受信した検索結果について、類似度の高い順から最大検索結果数Ｕ件を時刻順にソートしＲＡＭ１０２に保持する。また、受信した検索結果がＵ件に達しない場合は、受信により得られた検索結果を時刻順にソートしＲＡＭ１０２に保持する。

続くＳ６１０において、表示制御部２０５は検索結果の表示座標の算出を行う。図６（Ｃ）はＳ６１０における処理をより詳細に表したフローチャートである。Ｓ６１５において、情報処理装置１００の表示制御部２０５は表示位置が変更となる検索結果を算出しＲＡＭ１０２に保持する。このとき、算出される検索結果は条件「Ｙｐ＞Ｙｎ」または「Ｙｐ＝ＹｎかつＸｏ＞Ｘｍ」を満たす検索結果である。ただし、検索結果の表示座標を（Ｘｏ，Ｙｐ）、検索結果３０７ｄの移動前の表示座標を（Ｘｍ，Ｙｎ）とする。また、ステップＳ６０９で算出しＲＡＭ１０２に保持されている検索結果は、位置変更後の表示内容に対して、上述の領域を埋めるために挿入されるものであるため、本ステップにおける処理対象からは除外する。

図５（Ａ）に示した例では、元の検索結果の内で最後尾に位置する検索結果３０７ｄが選択され位置が変更されたが、選択され位置が変更された検索結果よりも後ろに別の検索結果が表示されている場合がある。Ｓ６１０での処理は、当該選択された検索結果の位置変更に伴って表示位置が変更される検索結果を特定するための処理である。

ステップＳ６１６において、情報処理装置１００の表示制御部２０５はＲＡＭ１０２に保持されたＳ６１５で算出しＲＡＭ１０２に保持した検索結果に対して後述するステップＳ６１７の処理を繰り返す。ステップＳ６１７において、表示座標が変更となる検索結果の表示座標を算出しＲＡＭ１０２に保持する。この時、新しい表示座標（Ｘｏ´，Ｙｐ´）は、以下の式に従って算出する。
Ｘｏ´＝（Ｘｏ＋Ｉ）％Ｘｍａｘ・・・（式３）
Ｙｐ´＝Ｙｐ＋（Ｘｏ＋Ｉ）／Ｘｍａｘ・・・（式４）
ただし，ＩはＳ６０９で算出した検索結果の個数である。Ｓ６０８で受信した検索結果がＵ件以上の場合にはＩ＝Ｕとなり、受信した検索結果がＵ件に満たなかった場合には、Ｉは受信した検索結果の数となる。また、／は割り算の商を、％は割り算の剰余をそれぞれ算出する演算子である。

続くＳ６１１において、情報処理装置１００の表示制御部２０５はＲＡＭ１０２に保持されている情報と記憶部２０４に記憶されたＵＩ部から表示画面を生成し、ディスプレイ１０８に出力する。このとき、表示画面生成に用いられるＲＡＭ１０２に保持された情報は、Ｓ６０９で算出した検索結果のリスト、Ｓ６１０で算出した表示位置が変更される検索結果およびその表示位置と、Ｓ６１０で算出されなかった表示位置が変更されない検索結果とその表示位置である。

図５（Ｂ）はＳ６１１で生成されたＵＩを表しており、検索結果３０７ｅから検索結果３０７ｌには新たに算出した検索結果が表示されている。検索結果３０７ｅから検索結果３０７ｌはＵＩ操作により選択された検索結果３０７ｃおよび検索結果３０７ｄの間に生成された領域を埋めるように表示される。図５（Ｂ）では、検索結果３０７ｄよりも後ろに検索結果を示していないが、仮に存在していた場合には、Ｓ６１０で算出した表示位置が変更された検索結果が、算出された表示位置に表示されることとなる。

次に、サーバ装置１１０における検索処理の流れを説明する。図８はサーバ装置１１０における処理の一例を示すフローチャートである。

Ｓ７００において、サーバ装置１１０の通信部２１１は情報処理装置１００が送信した検索条件を受信しＲＡＭ１１２に保持する。続くＳ７０１において、サーバ装置１１０の検索条件解釈部２１２は、ＲＡＭ１１２に保持されている検索条件を解釈し、解釈結果をＲＡＭ１１２に保持する。保持される解釈結果は、画像、検索時刻範囲、類似度閾値となる。続くＳ７０２においてサーバ装置１１０の顔特徴量算出部２１３はＲＡＭ１１２に保持されている画像から特徴量を算出し、算出結果をＲＡＭ１１２に保持する。

続くＳ７０３において、サーバ装置１１０の照合部２１４はＲＡＭ１１２に保持されている特徴量と記憶部２１５が保持している特徴量を比較・照合することで類似度を算出し、画像、特徴量、撮像日時と共にＲＡＭ１１２に保持する。次いでＳ７０４においてサーバ装置１１０の照合部２１４は、ＲＡＭ１１２に保持された類似度のうちで類似度閾値を超える顔画像を選択する。さらに選択された画像のうちで撮像日時が検索時刻範囲に該当する画像を検索結果のリストに含めるようにＲＡＭ１１２に保持する。続くＳ７０５において、サーバ装置１１０の通信部２１１は、上述の通りに生成されＲＡＭ１１２に保持された検索結果のリストを情報処理装置１００に送信する。

図８はサーバ装置１１０の照合部２１４によって作成された検索結果（類似度が閾値以上の画像）のリストの一例を示している。検索結果のリストには、撮像された人物の画像、画像の撮像日時、類似度の情報が含まれる。但し、検索結果に含まれる情報の種類は、図８に示したものに限定されない。これ以外にも画像に関する属性情報（人物の情報、撮影場所等）を含めることもできる。

このようにして、本実施形態によれば、撮影日時の順で表示されている検索結果のいずれか２つの検索結果を選択した後、その表示位置を変更して領域を形成すると、当該領域を埋めるための新たな検索条件が設定されて追加の検索が実行される。当該追加の検索により得られた検索結果は、領域を埋めるようにして表示される。よって、ユーザは得られた検索結果について部分的に追加の検索を実行したい場合に、検索時刻範囲や類似度閾値の変更を選択した検索結果の移動操作により直感的に行うことができ、直接に値を変更する操作入力を行う必要がない。これにより、ユーザは個々の検索条件を個別に変更する必要がなくなるため、検索に係る手間を削減することができる。

本実施形態においては、選択画像移動後の選択画像間の距離、或いは、選択画像間に設定された領域の大きさに応じて、追加の検索を行う際の類似度閾値が変更される。よって、ユーザは、選択画像の移動量から、類似度閾値の変更度合いを直感的に把握することが可能となる。また、類似度閾値は、選択画像間に設定された領域に表示可能な画像の数に対応するように変更されるため、ユーザは閾値そのものを意識せず、追加で要求する画像の枚数を考えるだけでよくなる。これにより、検索条件を絞り込む際の煩雑さが軽減される。

＜実施形態２＞
次に、実施形態１の変形例として実施形態２について説明する。なお、実施形態１との関連で説明した内容と共通するものについては同番号を付し、適宜説明を省略する。また本実施形態にかかる検索システムのハードウェア構成および機能構成は実施形態１に準じる。

実施形態１では、システムが検索結果表示部３０５に表示されている検索結果３０７を利用するＵＩ操作によって、検索条件の再設定を可能としている。しかしながら、検索システム１０が適用可能なＵＩ操作はこれに限定されるものではない。以下、本実施形態におけるＵＩ操作について説明する。

図９（Ａ）は検索システムに適用可能な変形例１のＵＩの例を表している。図９（Ａ）は図３（Ａ）の構成要素の他に検索結果を模した選択用表示子としてオブジェクト９００を含むように構成されている。検索結果を模したオブジェクト９００は時刻情報を有している。当該時刻情報は、例えば、検索時刻範囲の末尾の時刻情報であってもよいし、現在時刻であってもよいし、或いは、オブジェクト９００の表示順で手前（左隣）に表示されている検索結果の画像の撮像日時であってもよいし、当該撮像日時に一定時間を付加した時間であってもよい。一定時間は、例えば、５分、３０分、１時間等、ユーザが設定により任意の時間とすることができる。

図９（Ａ）において、検索結果に模したオブジェクト９００を検索結果３０７ｃの右隣で、検索結果の一覧における末尾の位置に配置したが、検索結果表示部３０５におけるいずれかの点３０９上に配置可能である。また、配置するオブジェクト９００の数は１つであってもよいし、複数であってもよい。また、ユーザが任意の位置にオブジェクト９００を挿入できるようにしてもよい。その場合、表示順において挿入位置の前後の画像の撮像日時に基づいてオブジェクト９００に割り当てる時刻情報を決定してもよい。例えば、時間順で前後の画像の撮像日時の中間値としてもよいし、時間順で後ろの画像の撮像日時、或いは、その一定時間前としてもよい。

ユーザはオブジェクト９００を選択して、検索結果表示部３０５内の他の点３０９の表示位置に移動することができる。図９（Ｂ）は、検索結果３０７ｃが選択されると共に、オブジェクト９００の表示位置が変更された場合の表示形態の一例を示している。当該操作を受け付けると、実施形態１と同様に、検索条件を変更して追加の画像検索を行うことができる。当該画像検索処理の流れは、表示位置が変更された検索結果３０７ｄがオブジェクト９００に変更されたことを除き、基本的には図６（Ａ）、図６（Ｂ）、図６（Ｃ）に示したものと同様である。以下、図６（Ａ）から図６（Ｃ）のうち、本実施形態に特有の処理について説明する。

図９（Ａ）に示すような表示状態においてＳ６０１では、情報処理装置１００の入力部２０１は、表示されている検索結果３０７のうちから１つの検索結果とオブジェクト９００との選択、及び、オブジェクト９００の位置の変更の操作を受け付ける。このとき、図９（Ａ）に示すように、検索結果３０７ｃが選択されたものとする。

続くＳ６０２では、入力部２０１は、検索結果３０７ｃ及びオブジェクト９００それぞれが有する時刻情報を検索時刻範囲としてＲＡＭ１０２に保持する。また、検索時刻範囲入力部３０２に表示されている時刻を、選択された検索結果に基づく時刻に変更してもよい。例えば、オブジェクト９００が元々指定されていた検索時刻範囲外の時間を指定する場合には、オブジェクト９００の選択に応じて検索時刻範囲入力部３０２の表示を変更することができる。続くＳ６０３からＳ６１１までの処理は、検索結果３０７ｄがオブジェクト９００に置き換わる以外は実施形態１で記載した内容と同様である。

図９（C）はＳ６１１で生成されたＵＩを表しており、検索結果３０７ｄから検索結果３０７ｋには新たに算出した検索結果が表示されている。検索結果３０７ｄから検索結果３０７ｋはＵＩ操作により選択された検索結果３０７ｃおよびオブジェクト９００との間に生成された領域を埋めるように表示される。

このようにして、本実施形態によれば、時系列に得られた検索結果のいずれか１つの検索結果と、画面に表示された任意の時刻情報を有するオブジェクトを選択した後、その表示位置を変更して領域を形成すると、当該領域を埋めるための新たな検索条件が設定されて追加の検索が実行される。当該追加の検索により得られた検索結果は、領域を埋めるようにして表示される。よって、ユーザは得られた検索結果について部分的に追加の検索を実行したい場合に、検索時刻範囲や類似度閾値の変更を選択した検索結果の移動操作により直感的に行うことができ、直接に値を変更する操作入力を行う必要がない。これにより、ユーザは個々の検索条件を個別に変更する必要がなくなるため、検索に係る手間を削減することができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：検索システム、１００：情報処理装置、１１０：サーバ装置、１２０：ネットワーク

Claims (13)

1. 情報処理装置であって、
   第１の検索条件に従って実行された検索により得られた検索結果を一覧表示するように表示部を制御する表示制御手段と、
   前記一覧表示された検索結果のうち、第１の検索結果及び第２の検索結果の選択と、選択された前記第１の検索結果及び前記第２の検索結果のうち、少なくとも、いずれか一方の表示位置の変更と、を受け付ける受付手段と、
   前記表示位置が変更された検索結果の表示位置と、前記選択された他の検索結果の表示位置とにより特定される第１の領域に表示が可能な検索結果の数に基づいて、前記第１の検索条件を変更して第２の検索条件を生成する変更手段と
   を備え、
   前記表示制御手段は、前記第２の検索条件に従って実行された検索により得られた検索結果を前記第１の領域に更に表示するように前記表示部を制御することを特徴とする情報処理装置。
2. 前記一覧表示された検索結果は、前記第１の検索条件に含まれる検索画像と、第１の閾値以上の類似度を有する画像であって、
   前記表示制御手段は、撮像日時の順に前記画像を一覧表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の検索条件には、検索対象の画像を絞り込むための第１の時間的範囲と、前記第１の閾値とが更に含まれ、
   前記変更手段は、前記第１の時間的範囲と前記第１の閾値とを変更することを特徴とする請求項２に記載の情報処理装置。
4. 前記変更手段は、
   前記第１の時間的範囲を前記第１の検索結果の画像の撮像日時と、前記第２の検索結果の撮像日時とに基づいて第２の時間的範囲に変更し、
   前記第１の閾値を、前記第１の閾値よりも小さく、かつ、前記第１の領域に表示が可能な検索結果の数に応じた第２の閾値に変更する
   ことにより前記第２の検索条件を生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御手段は、前記第２の検索条件に従って実行された検索により得られた検索結果を前記第１の領域に更に表示する場合に、前記一覧表示の表示順において前記第２の検索結果よりも後に表示されている検索結果の表示位置を、前記第１の領域に更に表示される検索結果の数に応じて変更することを特徴とする請求項２から４のいずれか1項に記載の情報処理装置。
6. 前記表示制御手段は、前記一覧表示に選択用の表示子を含めて表示するように前記表示部を制御し、
   前記受付手段が、前記第１の検索結果及び前記表示子の選択と、前記表示子の表示位置の変更とを受け付けた場合に、
   前記変更手段は、前記表示位置が変更された前記表示子の表示位置と、前記第１の検索結果の表示位置とにより特定される第２の領域に表示が可能な検索結果の数に基づいて、前記第１の検索条件を変更して第３の検索条件を生成することを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
7. 前記表示制御手段は、前記一覧表示された検索結果の末尾に前記表示子を表示するように前記表示部を制御することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示制御手段は、前記一覧表示された検索結果の間のユーザにより指定された表示位置に前記表示子を表示するように前記表示部を制御することを特徴とする請求項６に記載の情報処理装置。
9. 前記変更手段は、
   前記第１の検索条件に含まれる第１の時間的範囲を、前記第１の検索結果の画像の撮像日時と前記表示子に割り当てられた日時とに基づいて第３の時間的範囲に変更し、
   前記第１の検索条件に含まれる前記第１の閾値を、前記第１の閾値よりも小さく、かつ、前記第２の領域に表示が可能な検索結果の数に応じた第３の閾値に変更することにより、前記第３の検索条件を生成することを特徴とする請求項６から８のいずれか１項に記載の情報処理装置。
10. 前記検索結果の前記表示位置は、該検索結果を表示するための表示領域において予め定められた複数の位置のうちのいずれかの位置が選択され、
    前記表示位置の変更は、前記予め定められた複数の位置のうちの他の位置に変更されることにより行われることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 請求項１から１０のいずれか１項に記載の情報処理装置と、
    前記情報処理装置からの、検索条件に基づく検索要求に応じて検索を実行し、前記検索結果を前記情報処理装置に提供する検索装置と、
    を備える検索システム。
12. 情報処理装置の制御方法であって、
    表示制御手段が、第１の検索条件に従って実行された検索により得られた検索結果を一覧表示するように表示部を制御する工程と、
    受付手段が、前記一覧表示された検索結果のうち、第１の検索結果と第２の検索結果の選択と、選択された前記第１の検索結果及び前記第２の検索結果のうち、少なくとも、いずれか一方の検索結果の表示位置の変更と、を受け付ける工程と、
    変更手段が、前記表示位置が変更された検索結果の表示位置と、前記選択された他の検索結果の表示位置とにより特定される第１の領域に表示が可能な検索結果の数に基づいて、前記第１の検索条件を変更して第２の検索条件を生成する工程と、
    前記表示制御手段が、前記第２の検索条件に従って実行された検索により得られた検索結果を前記第１の領域に更に表示するように前記表示部を制御する工程と
    を含むことを特徴とする情報処理装置の制御方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images