JP2018198056A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】オブジェクトの特徴を効果的に組み合わせて、目的とするオブジェクトを精度よく検索できるようにする。【解決手段】監視カメラの映像中の人物を追尾して得られた一連の同一人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを関連付けて記憶するようにし、クエリとして与えられた顔画像をもとに顔画像検索を行うようにして、その後、クエリ顔画像との類似度が所定の閾値以上の顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行うようにし、弁別性の高い顔画像特徴を用いて、人体画像の検索結果を検証する。【選択図】図２

Description

本発明は、特に、オブジェクトを精度よく検索するために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。

従来、監視対象である映像の各フレームから人物の顔を検出し、その顔から画像特徴量を算出して映像のフレームと対応づけて蓄積しておく装置が知られている（特許文献１参照）。その装置では、探したい人の顔をクエリとして蓄積した画像特徴量と照合を行い、その人物が映っている映像を表示することが可能である。さらに、人物の顔の画像特徴量のみでなく、その人物の服装の色や形といった着衣情報等も記憶しておき、それらの情報を検索に用いることにより、精度の高い人物検索を実現する装置が知られている（特許文献２参照）。

また、複数のカメラで撮像された映像の人物の領域から服装の色や形といった特徴量を取得し、その特徴量を比較することにより、各カメラで撮像された映像における人物が同一人物か否かを同定する技術が開示されている（非特許文献１参照）。非特許文献１に記載の技術を用いることにより、複数のカメラを跨いで不審人物などを追跡することが可能となる。

特開２０１３−１５３３０４号公報 特開２００９−１９９３２２号公報 特開２００２−３７３３３２号公報 特開２０１０−１６５１５６号公報 米国特許出願公開第２００７／０２３７３８７号明細書 特許第６２０２９３７号公報

M. Farenzena, L. Bazzani, A. Perina, V. Murino and M. Cristani: "Person Re-Identification by Symmetry-Driven Accumulation of Local Features", Proc. of CVPR, pp. 2360−2367 (2010) Erik Muphy-Chutorian, "Head pose estimation for driver assistance systems: A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems, 2007, pp. 709-714. Z. Liu, P. Luo, S. Qiu, X. Wang, X. Tang. "Deepfashion: Powering robust clothes recognition and retrieval with richannotations". Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016 Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun : "Faster R-CNN: Towards real-time object detection with region proposal networks." Computer Vision and Pattern Recognition 2015

特許文献１および２に記載の技術は、顔画像に基づいて人物の検索を行う。しかしながら、監視カメラは高い天井に設置されていることも多く、見下ろした角度になっていたり、小さく写っていたりして、人物の顔がはっきり写っていないことがある。したがって、これらの技術では、そのようなカメラの映像に写った人物の検索は難しい。一方、非特許文献１に記載の方法では、人物の服装の色や形など、全身から得られた情報を用いることで人物の追跡を可能としているが、この方法のみでは、制服や作業服、スーツなど、周りと同じような服装をしている人の弁別は難しい。

本発明は前述の問題点に鑑み、オブジェクトの特徴を効果的に組み合わせて、目的とするオブジェクトを精度よく検索できるようにすることを目的としている。

本発明に係る情報処理装置は、画像に含まれるオブジェクトに関する第１の特徴と前記第１の特徴とは異なる第２の特徴とを関連付けて前記画像とともに記憶する記憶手段から、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する情報処理装置であって、前記検索元画像に含まれるオブジェクトから前記第１の特徴を取得する第１の取得手段と、前記第１の取得手段によって取得された第１の特徴に類似する第１の特徴を前記記憶手段から検索する第１の検索手段と、前記第１の検索手段により検索された第１の特徴のうちの少なくとも１つの第１の特徴を選択する選択手段と、前記選択手段によって選択された第１の特徴と関連付けられている第２の特徴を前記記憶手段から取得する第２の取得手段と、前記第２の取得手段によって取得された第２の特徴に類似する第２の特徴を前記記憶手段から検索する第２の検索手段と、前記第１の検索手段の検索結果と前記第２の検索手段の検索結果とに基づいて、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する特定手段と、を備えることを特徴とする。

本発明によれば、オブジェクトの特徴を効果的に組み合わせて、目的とするオブジェクトを精度よく検索することができる。

実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第１の実施形態において、顔画像特徴および人体画像特徴を蓄積する処理手順の一例を示すフローチャートである。 第１の実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。 人物の顔画像及び人体画像を検索する概要を説明するための図である。 第２の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第２の実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。 第３の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第３の実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。 第４の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第４の実施形態において、顔画像特徴、人体画像特徴、属性を蓄積する処理手順の一例を示すフローチャートである。 第４の実施形態において、人物の属性、顔画像、人体画像を検索する処理手順の一例を示すフローチャートである。 第５の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第５の実施形態において、顔画像特徴および人体画像特徴を蓄積する処理手順の一例を示すフローチャートである。 検索結果の表示例を示す図である。 検索結果の他の表示例を示す図である。

（第１の実施形態）
本実施形態では、監視カメラで撮影された映像中の人物を追尾して得られた一連の同一人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを関連付けて記憶する。そして、クエリ（検索元）として与えられた顔画像（検索元画像）をもとに顔画像検索を行う。その後、顔画像検索結果の類似度が予め設定した閾値以上の顔画像と関連付けて登録されている人体画像特徴を用いて人体画像検索を行う。更に、弁別性の高い顔画像特徴を用いて、人体画像検索の結果を検証する。

図１は、本実施形態において、サーバ装置やクライアント装置を構成する情報処理装置１００のハードウェア構成例を示すブロック図である。なお、サーバ装置やクライアント装置はそれぞれ単一の情報処理装置で実現してもよいし、必要に応じた複数の装置に各機能を分散して情報処理装置を実現するようにしてもよい。複数の装置で構成される場合は、互いに通信可能なようにＬＡＮ（Local Area Network）などで接続されている。また、情報処理装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の装置によって実現することができる。

図１において、ＣＰＵ（Central Processing Unit）１０１は、情報処理装置１００全体を制御する。ＲＯＭ（Read Only Memory）１０２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ（Random Access Memory）１０３は、外部装置などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣＤ等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどであってもよい。後述する各動作は、ＲＯＭ１０２や外部記憶装置１０４に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。

入力デバイスインターフェイス１０５は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７は、インターネットなどのネットワーク回線１１１に接続するための通信インターフェイスである。ネットワークカメラ１１２は、監視カメラなどの映像の撮像装置であり、ネットワーク回線１１１を介して情報処理装置に接続されている。システムバス１０８は前述した各ユニットを通信可能に接続する伝送路である。

図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。
映像入力部２０１は、ネットワークカメラ１１２から通信インターフェイス１０７を介して映像データ（連続画像）を入力する。
映像蓄積部２０２は、映像入力部２０１に入力された映像データを外部記憶装置１０４に記憶する。このとき、映像のメタデータとして、映像の取得時刻である撮影時刻や映像の取得場所である撮影カメラのような映像の取得条件などの情報を映像データに関連付けて記憶しておく。

追尾処理部２０３は、映像入力部２０１から入力された映像中の人物の追尾を行う。人物追尾処理に関しては、例えば、特許文献３に示す公知技術を用いればよい。特許文献３に記載の方法では、動きベクトルから物体を検出し、次フレームでの探索位置を推定してテンプレートマッチングにより人物追尾を行っている。追尾処理部２０３では、同じ人物を追尾している追尾トラックに対して同じ追尾トラックＩＤを発行し、異なる人物の追尾トラックに対しては異なる追尾トラックＩＤを発行することにより一意性を担保し、追尾トラックＩＤから同一人物の特定を可能とする。また同じ人物であっても、追尾が途切れた場合は、異なる追尾トラックＩＤを発行する。

顔検出部２０４は、追尾処理部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。また、映像入力部２０１、後述するクエリ入力部２１２によって入力された顔画像を含む映像から顔検出を行う。画像から人物の顔を検出する方法については、例えば、特許文献４に示す公知技術を用いればよい。つまり、処理対象の画像に対し、片目候補領域を検出し、複数の片目候補領域からペアリングを行い、ペアリングされた両目位置に基づいて顔領域を決定する。

代表顔画像決定部２０５は、追尾された人物のフレーム画像群から、代表となる顔画像を選択する。代表顔画像の選択処理については、例えば、顔検出部２０４で検出された顔サイズの大きい画像を選択する。顔サイズの大きい画像を用いる理由として、顔画像が大きいほど、精度の高い画像特徴が得られるからである。すなわち、顔画像から画像特徴を算出する際、顔画像の大きさを一定の大きさに変倍する顔サイズ正規化処理を行う必要がある。その際、顔画像が上記一定の大きさよりも大きい場合には縮小処理を行い情報のロスは比較的小さいが、上記一定の大きさよりも小さい場合には超解像度処理の様な画素補完を行う必要が有り、情報の劣化が激しい。

また、代表顔画像として、フレーム画像群から複数の画像を選択するようにしてもよい。例えば、複数の顔の向きの画像を選択する方法がある。同じ人の画像であっても、顔の向きが異なるとその画像から得られる画像特徴が異なるためである。画像から人物の顔向きを検出する方法については、例えば、非特許文献２に示す公知技術を用いればよい。非特許文献２に開示されている技術では、特徴量として勾配方向ヒストグラム（Histogram of Oriented Gradient，ＨＯＧ）を抽出し、ＳＶＲで顔向きを推定している。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴量で、局所的なノイズや画像の明暗にロバストな特徴量として知られている。ノイズや照明変動のような、顔の向きに関係のない変動にロバストな特徴量を選択することで、実環境においても安定した顔向き推定を実現している。

更に、ブレが少ない画像を代表顔画像として選択するようにしてもよい。動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合がある。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じる事があり、これは直接的に画像特徴量や属性情報の劣化の原因となる。ブレの推定に関しては、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断する事が可能となる。その他、眼つぶり、口あきなどの観点で代表顔画像を選択するようにしてもよい。眼つぶりや口あき等があると、器官の画像特徴が変質する可能性があり、これらの画像は代表顔画像として選択しないようにする。なお、代表顔画像を選択するこれらの方法は例であり、本発明はこれらに限定されるものではない。

顔画像特徴算出部２０６は、顔画像特徴の算出を行う。本実施形態では、人物の顔画像内の目、口などの器官点を求め、各器官点のＳＩＦＴ（Scale Invariant Feature Transform）特徴を用いる。なお、この特徴は例であり、本発明はこれに限定されるものではない。顔全体をブロック分割し、ＬＢＰ（Local Binary Pattern）特徴を算出して用いても良いし、Deep Learningを行って特徴を算出しても良い。

顔画像特徴蓄積部２０７は、映像入力部２０１に入力された映像から追尾処理部２０３、顔検出部２０４、代表顔画像決定部２０５、顔画像特徴算出部２０６を経て算出された顔画像特徴を外部記憶装置１０４に記憶する。加えて、顔画像特徴のメタデータとして、人物のＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶しておく。

人体領域検出部２０８は、追尾処理部２０３で追尾された人物のフレーム画像のそれぞれから人体領域の検出を行う。画像から人体を検出する方法については、例えば、特許文献５に示す公知技術を用いればよい。この方法では、所定の大きさの検出ウィンドウを入力映像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人体であるか否かの判別を行う。アダブースト（ＡｄａＢｏｏｓｔ）を使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別の精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成する。弱判別器は、ＨＯＧ（Histograms of Oriented Gradients）特徴量を入力として判別を行う。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人体かどうかの判別を行う。

人体画像特徴算出部２０９は、人体画像特徴の算出を行う。本実施形態では、人体領域をブロック分割し、ＬＢＰ（Local Binary Pattern）特徴を算出する。なお、この特徴は例であり、本発明はこれに限定されるものではない。人体を、頭部、上肢、下肢等に分割し、それぞれの領域について、ＬＢＰ特徴を算出しても良いし、Deep Learningを行って特徴を算出しても良い。

人体画像特徴蓄積部２１０は、映像入力部２０１で入力された映像から追尾処理部２０３、人体領域検出部２０８、人体画像特徴算出部２０９を経て算出された人体画像特徴を外部記憶装置１０４に記憶する。加えて、人体画像特徴のメタデータとして、人物のＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を人体画像特徴と関連付けて記憶しておく。

関連付け情報蓄積部２１１は、同じ人物から顔画像特徴と人体画像特徴とが算出できた場合に、それらの関連付け情報を外部記憶装置１０４に記憶する。本実施形態では、追尾処理部２０３で追尾して得られた複数のフレーム画像に亘って検出された人物は同一人物であるとして、それら複数のフレーム画像から得られた複数の顔画像、人体画像の関連付け情報を記憶する。したがって、顔画像と人体画像との関連付けが、１対１、多対１、１対多、多対多の場合がある。

クエリ入力部２１２は、検索に用いる人の顔画像を指定（入力）する。具体的には、外部記憶装置１０４に記憶された人の顔画像をモニタ１１０に表示し、ユーザの操作によって入力デバイス１０９を介して指定する。本発明の検索に用いる人の顔画像の指定方法はこれらに限定されるものではない。このとき、検索に用いる人の顔画像は１枚でもよいし複数枚であってもよい。

顔画像検索部２１３は、クエリ画像から顔検出部２０４、顔画像特徴算出部２０６を経て算出された顔画像特徴をクエリとし、顔画像特徴蓄積部２０７によって外部記憶装置１０４に記憶された顔画像特徴を用いて顔画像の検索を行う。そして、顔画像特徴の類似度が所定の閾値ＴＨ１以上の顔画像を検索結果として特定する。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和の逆数を正規化し、類似度を求める。

検索結果選別部２１４は、顔画像検索部２１３の検索結果の中から、顔画像特徴の類似度が所定の閾値ＴＨ２以上の顔画像を特定する。同一人物でない顔画像が混じってしまうと、後段の処理で検索したい人とは異なる人で検索を行うことになってしまうため、クエリ画像の顔画像と同一人物と思われる顔画像のみが選別されるよう閾値ＴＨ１以上の値を閾値ＴＨ２として予め設定しておく。更に、必要に応じて、選別数に上限を設ける。

クエリ選別部２１５は、検索結果選別部２１４で選別された顔画像に係る顔画像特徴と関連付けられている人体画像特徴の有無を、関連付け情報蓄積部２１１によって外部記憶装置１０４に蓄積された関連付け情報から判定する。そして関連付けられた人体画像特徴が外部記憶装置１０４に記憶されている場合は、外部記憶装置１０４からその人体画像特徴を取得する。検索結果選別部２１４で選別された顔画像は複数の場合もあり、また、顔画像特徴１つに対し複数の人体画像特徴が関連付けられている場合もあるため、取得される人体画像特徴が多数になる場合がある。したがって、このような場合にはそれらの人体画像特徴の中から代表となる１つ以上の人体画像特徴を選別する。人体画像特徴を選別するにあたっては、人物画像特徴をクラスタリングし、それぞれのクラスタからクラスタの重心に近い人物画像特徴のみを選別する。

人体画像検索部２１６は、クエリ選別部２１５で選別された人体画像特徴をクエリとし、人体画像特徴蓄積部２１０によって外部記憶装置１０４に記憶された人体画像特徴を用いて人体画像の検索を行う。そして、人体画像特徴の類似度が所定の閾値よりも高い人体画像を検索結果として特定する。類似度の算出にあたっては、ＬＢＰ特徴の距離の逆数を正規化し、類似度を求める。

検証部２１７は、人体画像検索部２１６の検索結果の画像と関連付けられている顔画像特徴の有無を、関連付け情報蓄積部２１１によって外部記憶装置１０４に蓄積された関連付け情報から判定する。そして関連付けられた顔画像特徴が外部記憶装置１０４に記憶されている場合は、外部記憶装置１０４からその顔画像特徴を取得する。そして、それらの顔画像特徴と、クエリ画像の顔画像から算出された顔画像特徴とを比較し、類似度を求める。該類似度が所定の閾値ＴＨ３よりも低いとき、その顔画像特徴と関連付けられている人体画像特徴を有する人体画像を、検索結果から削除する。人体画像特徴による比較は、顔画像特徴による比較よりも弁別性能が低いため、人体画像の検索結果に対し、顔画像特徴による比較で検証を実施する。ここで、閾値ＴＨ３は、検索結果選別部２１４で用いられる閾値ＴＨ２以下の値で、かつ、同一人物の検出漏れが少なくなる値より大きい値を設定する。また、本実施形態では、検証結果を反映するために検索結果から削除しているが、人体画像の検索結果の類似度を低くするような補正を行うようにしても良い。顔画像特徴による検証時の類似度と人体画像検索時の類似度とを掛け合わせる等により、人体画像検索時の類似度を補正するようにしても良い。

統合部２１８は、顔画像検索部２１３で検索された顔画像の検索結果に、検証部２１７で補正された人体画像の検索結果を統合することにより、顔画像の検索結果を更新する。
顔画像と人体画像の両方の検索で検索された結果の両方の類似度を用い、顔画像特徴の類似度と人体画像特徴の類似度の間の散布図を作成し、これらの値の間の近似直線を生成する。そして、顔画像の検索結果が存在しない結果に対し、該近似直線を変換式として用い、人体画像特徴の類似度から顔画像特徴の類似度を擬似的に算出する。そして、これらの類似度でソートし検索結果を統合する。なお、本実施形態は例であり、両方の検索で検索された結果のうちの一部のみを用いて近似直線を求めてもよい。また、両方の検索の検索結果とはならなかったが、両方の特徴量がある画像については、検索されなかった特徴と対応するクエリ特徴とを比較して類似度を算出することができる。この類似度も用いて近似直線を求めるようにしてもよい。また、近似式としては、上記近似直線ではなく、高次の近似曲線、指数関数の近似曲線等を用いてもよい。また、本実施形態では、顔画像特徴の類似度が存在しない結果に対し、顔画像特徴の類似度を擬似的に算出することとした。これは、顔画像特徴による比較の方が、人体画像特徴による比較よりも弁別性が高く、類似度の信頼性も高いためで、顔画像特徴の類似度を優先的に用いるためである。しかしながら、本手法に限定するものではなく、両方の類似度を求め、それらの重みづけ平均等で、統合類似度を算出するようにしてもよい。

検索結果表示部２１９は、統合部２１８で統合された検索結果をモニタ１１０に表示する。例えば、図１５（Ａ）に示すように、カメラ毎に分類して撮影時刻順に検索結果をモニタ１１０に表示する。あるいは、図１５（Ｂ）に示すように、カメラの設置位置をマップ表示し、撮影時刻をもとに移動履歴をモニタ１１０に表示するようにしてもよい。また、スコアによって、結果を表示するようにしてもよい。例えば、図１６（Ａ）で示すように、顔画像検索と人体画像検索の結果を統合して同一画面内で区別して表示する。また、これらの結果を別画面で表示することも可能である。図１６（Ｂ）では顔画像検索の結果のみを表示し、図１６（Ｃ）では人体画像検索の結果のみを表示する。また、これらの結果表示を、切り替え可能なようにしてもよい。本発明の照合結果の表示方法はこれらに限定されるものではない。

次に、映像入力部２０１から入力された映像データを検索可能なように蓄積する処理の詳細を、図３を用いて説明する。
図３は、本実施形態において、顔画像特徴および人体画像特徴を蓄積する処理手順の一例を示すフローチャートである。本処理は、先に説明した映像入力部２０１から関連付け情報蓄積部２１１までの処理に対応し、その処理の詳細は割愛する。

ステップＳ３０１において、映像入力部２０１は、ネットワークカメラ１１２から通信インターフェイス１０７を介して映像データを入力する。
ステップＳ３０２において、映像蓄積部２０２は、ステップＳ３０１で入力された映像データを外部記憶装置１０４に記憶する。加えて、映像のメタデータとして、撮影時刻や撮影したカメラなどの情報を関連付けて記憶しておく。

ステップＳ３０３からステップＳ３０４は追尾処理部２０３で行われる処理である。まず、ステップＳ３０３において、追尾処理部２０３は、各フレーム画像から人物を検出し、追尾を行う。ここで、検出された人物にはフレーム画像ごとに別々の人物ＩＤが割り振られ、フレーム画像中の人物の座標とともに一時記憶される。また、追尾を行っている人物に対しては、同じ追尾トラックＩＤが割り振られ、追尾を行っているフレーム画像のＩＤとともに一時記憶される。

ステップＳ３０４において、追尾処理部２０３は、追尾が途切れた人物があるか否かを判定する。この判定の結果、追尾が途切れた人物がある場合は、該人物の追尾画像群が決定することから次のステップＳ３０５に進む。一方、追尾が途切れた人物がない場合は、追尾を継続するため、ステップＳ３０１に戻る。

ステップＳ３０５において、顔検出部２０４は、追尾処理部２０３で追尾された人物を含むフレーム画像のそれぞれから顔検出を行う。
ステップＳ３０６において、顔検出部２０４は、ステップＳ３０５の処理によって顔が検出されたか否かを判定する。この判定の結果、顔が検出された場合はステップＳ３０７に進み、顔が検出されなかった場合はステップＳ３１０に進む。

ステップＳ３０７において、代表顔画像決定部２０５は、追尾された人物のフレーム画像群から、検出された顔の代表となる顔画像を１枚もしくは複数枚選択する。
ステップＳ３０８において、顔画像特徴算出部２０６は、ステップＳ３０７で選択された１枚もしくは複数枚の代表顔画像から顔画像特徴の算出を行う。
ステップＳ３０９において、顔画像特徴蓄積部２０７は、ステップＳ３０８で算出された顔画像特徴を外部記憶装置１０４に記憶する。加えて、顔画像特徴のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶しておく。

ステップＳ３１０において、人体領域検出部２０８は、追尾処理部２０３で追尾された人物のフレーム画像のそれぞれから人体領域検出を行う。
ステップＳ３１１において、人体領域検出部２０８は、ステップＳ３１０の処理によって人体が検出されたか否かを判定する。この判定の結果、人体が検出された場合はステップＳ３１２に進み、人体が検出されなかった場合はステップＳ３１４に進む。

ステップＳ３１２において、人体画像特徴算出部２０９は、人体が検出されたフレーム画像から人体画像特徴の算出を行う。
ステップＳ３１３において、人体画像特徴蓄積部２１０は、ステップＳ３１２で算出された人体画像特徴を外部記憶装置１０４に記憶する。加えて、人体画像特徴のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を人体画像特徴と関連付けて記憶しておく。

ステップＳ３１４において、関連付け情報蓄積部２１１は、ステップＳ３０５で検出された顔と、ステップＳ３１０で検出された人体とで人物が一致するものが存在するか否かを判定する。例えば、顔画像特徴および人体画像特徴のメタデータを参照し、追尾トラックＩＤが一致しているものが存在するか否かを判定する。この判定の結果、人物が一致する組合せが存在する場合はステップＳ３１５に進み、そうでない場合は処理を終了する。ステップＳ３１５において、関連付け情報蓄積部２１１は、同じ人物から算出された顔画像特徴と人体画像特徴とを関連付けた関連付け情報を外部記憶装置１０４に記憶し、処理を終了する。

以上の処理により、ネットワークカメラ１１２から入力された映像に写る人物の顔画像の顔画像特徴が顔画像特徴蓄積部２０７によって外部記憶装置１０４に蓄積され、検索可能な状態になる。また、人物の人体画像の人体画像特徴も人体画像特徴蓄積部２１０によって外部記憶装置１０４に蓄積され、検索可能な状態になる。

次に、クエリ入力部２１２から入力されたクエリ画像から人物の顔画像および人体画像を検索する処理の詳細を、図４を用いて説明する。
図４は、本実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。本処理は、先に説明した図２における顔検出部２０４、顔画像特徴算出部２０６、クエリ入力部２１２から検索結果表示部２１９までの処理に対応し、その処理の詳細は割愛する。

まず、概念的な処理の流れについて、図５を用いて説明する。図５に示す例では、５台のカメラのうち、カメラ１〜カメラ４に、クエリとして指定された人物が写っている。まず、クエリとして与えられた顔画像５００をもとに、顔画像検索を行う。結果として、顔がはっきり写っているカメラ１、カメラ４からそれぞれ検索結果５０１、５０４を得る。次に、検索結果５０１、５０４をクエリとして、人体画像検索を行う。結果として、カメラ２、カメラ３、カメラ５からそれぞれ検索結果５０２、５０３、５０５を得る。ここで、カメラ５の検索結果５０５は顔がはっきり写っているため、クエリ顔画像と検索結果５０５の顔画像とを比較する。ここで、クエリ顔画像と５０５との類似度が低いことがわかり、検索結果から除去する。最終的にカメラ１〜カメラ４の検索結果５０１〜５０４の画像が正しい検索結果として得られる。

ステップＳ４０１において、クエリ入力部２１２は、検索に用いる人の顔画像を入力する。
ステップＳ４０２において、顔検出部２０４は、クエリ入力部２１２によって入力された顔画像を含む映像から顔検出を行う。
ステップＳ４０３において、顔画像特徴算出部２０６は、ステップＳ４０２で検出された顔画像から顔画像特徴の算出を行う。

ステップＳ４０４において、顔画像検索部２１３は、ステップＳ４０３で算出された顔画像特徴をクエリとし、顔画像特徴蓄積部２０７によって外部記憶装置１０４に記憶された顔画像特徴を用いて顔画像の検索を行う。そして、顔画像特徴の類似度が所定の閾値ＴＨ１以上の顔画像を検索結果として特定する。
ステップＳ４０５において、検索結果選別部２１４は、ステップＳ４０４で特定された検索結果の中から顔画像特徴の類似度が所定の閾値ＴＨ２以上の顔画像を特定する。

ステップＳ４０６からステップＳ４１１はクエリ選別部２１５で行われる処理であり、ステップＳ４０５で選別された顔画像の数だけループする。

ステップＳ４０７において、クエリ選別部２１５は、外部記憶装置１０４に蓄積された関連付け情報に基づき、処理対象の顔画像に係る顔画像特徴に関連付けされた人体画像特徴が外部記憶装置１０４に記憶されているか否かを判定する。この判定の結果、関連付けされた人体画像特徴が外部記憶装置１０４に記憶されていない場合は、ステップＳ４０６に戻り、次の顔画像を処理対象とする。一方、関連付けされた人体画像特徴が外部記憶装置１０４に１つ記憶されている場合はステップＳ４０８に進み、複数記憶されている場合はステップＳ４０９に進む。

ステップＳ４０８においては、クエリ選別部２１５は、外部記憶装置１０４からその人体画像特徴を取得する。
一方、ステップＳ４０９においては、クエリ選別部２１５は、外部記憶装置１０４から複数の人体画像特徴を取得する。
そして、ステップＳ４１０において、クエリ選別部２１５は、複数の人物画像特徴をクラスタリングし、それぞれのクラスタの重心に近い人物画像特徴のみを選別する。この処理は、全てのカメラに対して行っても良いし、カメラをグループ化して行っても良いし、カメラ毎に行っても良い。また、すべての時間帯に対し選別を行っても良いし、時間帯を分けて行っても選別を良い。カメラを分けたり、時間帯を分けたりして選別することで、後述するステップＳ４１２における人体画像検索時に検索対象を絞って効率的に検索することも可能となる。

ステップＳ４１１においては、クエリ選別部２１５は、ステップＳ４０８で取得された人物画像特徴、もしくは、ステップＳ４１０で選別された人物画像特徴を人体画像検索用クエリとして設定する。

ステップＳ４１２において、人体画像検索部２１６は、ステップＳ４１１で設定された人体画像特徴をクエリとし、人体画像特徴蓄積部２１０によって外部記憶装置１０４に記憶された人体画像特徴を用いて人体画像の検索を行う。そして、人体画像特徴の類似度が所定の閾値以上の人体画像を検索結果として特定する。

その際、カメラの設置場所や撮影時刻を制限して人体画像の検索を行ってもよい。すなわち、探したい人物があるカメラに写っていることが確認できた場合、そのカメラから離れている場所に設置されているカメラに近傍の時間では出現し得ない、という制限を加えて検索することができる。この場合、ステップＳ４０５で選別された顔画像の検索結果からカメラの場所、時刻の情報を得ることができるため、検索範囲に制限を加えることができる。更に、ステップＳ４１０において、カメラをグループ化して選別、カメラ毎に選別、時間帯を分けて選別を行った場合は、検索対象となるカメラに近い場所、近い時間の画像をクエリとして検索することが可能となるため、より効率的な検索が可能となる。

ステップＳ４１３からステップＳ４１７は検証部２１７で行われる処理であり、ステップＳ４１２で検索された人体画像の数だけループする。

ステップＳ４１４においては、検証部２１７は、外部記憶装置１０４に蓄積された関連付け情報に基づき、処理対象の人体画像に係る人体画像特徴に関連付けされた顔画像特徴が外部記憶装置１０４に記憶されているか否かを判定する。この判定の結果、関連付けされた顔画像特徴が外部記憶装置１０４に記憶されていない場合はステップＳ４１３に戻り、次の人体画像を処理対象とする。一方、関連付けされた顔画像特徴が外部記憶装置１０４に記憶されている場合は、ステップＳ４１５に進む。

ステップＳ４１５においては、検証部２１７は、外部記憶装置１０４から顔画像特徴を取得し、ステップＳ４０３で算出されたクエリの顔画像特徴と比較し、類似度を求める。
ステップＳ４１６において、検証部２１７は、ステップＳ４１５で算出した類似度が所定の閾値ＴＨ３より小さいか否かを判定する。この判定の結果、類似度が所定の閾値ＴＨ３以上である場合はステップＳ４１３に戻り、次の人体画像を処理対象とする。一方、類似度が所定の閾値ＴＨ３未満である場合は、ステップＳ４１７に進む。
ステップＳ４１７においては、検証部２１７は、処理対象である人体画像を人体画像の検索結果から削除する。

ステップＳ４１８は、統合部２１８は、ステップＳ４０４の顔画像の検索結果と、ステップＳ４１３からステップＳ４１７で補正された人体画像の検索結果とを統合する。
ステップＳ４１９は、検索結果表示部２１９は、ステップＳ４１８で統合された検索結果をモニタ１１０に表示する。なお、同一カメラから複数の結果が得られたときは、すべてを表示するのではなく、顔画像の類似度が最も高い結果のみを表示することも可能である。

以上のように本実施形態によれば、監視カメラの映像中の人物を追尾して得られた一連の同一人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを関連付けて記憶するようにした。そして、クエリとして与えられた顔画像をもとに顔画像検索を行うようにした。その後、クエリ顔画像との類似度が所定の閾値以上の顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行うようにした。これにより、顔が写っている監視映像からも、顔がはっきり写っていない監視映像からも探したい人を検索することが可能となる。更に、弁別性の高い顔画像特徴を用いて、人体画像の検索結果を検証するようにしたので、検索の誤検出を減らすことも可能となる。

（第２の実施形態）
第１の実施形態では、クエリ顔画像との類似度が所定の閾値以上の顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像検索した。そして、顔画像特徴を用いて、所定の閾値をもとに人体画像の検索結果を検証した。本実施形態では、顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行う。そして、ユーザが選択した顔画像の検索結果の類似度をもとに人体画像の検索結果を検証する。

本実施形態における情報処理装置のハードウェア構成は、図１と同様であるため、説明は省略する。以下、本実施形態に係る情報処理装置の機能構成について、図６を用いて説明する。以下、第１の実施形態と異なる点についてのみ説明する。
図６は、本実施形態に係る情報処理装置６００の機能構成例を示すブロック図である。映像入力部２０１から顔画像検索部２１３、クエリ選別部２１５、人体画像検索部２１６、統合部２１８は、図１と同様であるため、説明は省略する。

検索結果表示部２１９は、統合部２１８で統合された検索結果を表示するが、それ以外の処理として顔画像検索部２１３で検索された結果を表示する。
検索結果選択部６１４は、検索結果表示部２１９に表示された顔画像特徴の検索結果に係る顔画像群の中から１枚以上の顔画像をユーザが選択する。

検証部２１７は、第１の実施形態と同様に、人体画像特徴の検索結果の人体画像特徴に関連付けられて登録されている顔画像特徴とクエリ画像の顔画像特徴とを比較して得た類似度と、所定の閾値ＴＨ３との比較を行う。ここで、閾値ＴＨ３は、第１の実施形態と同様に予め定められた値としても良いが、検索結果選択部６１４で選択された顔画像の顔画像特徴とクエリ顔画像の顔画像特徴との類似度をもとに、動的に決めるようにしても良い。例えば、本実施形態では、検索結果選択部６１４で選択された複数の顔画像の顔画像特徴とクエリ顔画像の顔画像特徴との類似度のうち、最小の類似度を閾値ＴＨ３としている。一方で、最小の類似度よりも更に一定量もしくは、一定割合、小さい値を閾値ＴＨ３としてもよい。

次に、本実施形態に係る情報処理装置６００による詳細な処理手順について説明する。なお、顔画像特徴および人体画像特徴を外部記憶装置１０４に蓄積する処理手順は図３と同様である。以下、人物の顔画像及び人体画像を検索する処理手順について、図６を用いて説明する。本処理は、先に説明した図６における顔検出部２０４、顔画像特徴算出部２０６、クエリ入力部２１２から検索結果表示部２１９、検索結果選択部６１４の処理に対応し、その処理の詳細は割愛する。

図７は、本実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。
図７のステップＳ４０１からステップＳ４０４は、それぞれ図４のステップＳ４０１からステップＳ４０４と同様である。

ステップＳ７０１においては、検索結果表示部２１９は、ステップＳ４０４の顔画像の検索結果をモニタ１１０に表示する。
ステップＳ７０２においては、検索結果選択部６１４は、モニタ１１０に表示された顔画像の検索結果の中から１枚以上の顔画像を選択する。この処理では、ユーザが入力デバイス１０９から顔画像を選択し、検索結果選択部６１４は、入力デバイスインターフェイス１０５を介してユーザの指示に基づき、顔画像を選択する。

ステップＳ７０３においては、検証部２１７は、検索結果選択部６１４で選択された複数の顔画像に係る顔画像特徴とクエリ顔画像の顔画像特徴との類似度のうち、最小の類似度を閾値ＴＨ３として設定する。
ステップＳ４０６からステップＳ４２０は、それぞれ図４のステップＳ４０６からステップＳ４２０と同様である。

以上のように本実施形態によれば、顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行うようにした。そして、ユーザが選択した顔画像の検索結果の類似度をもとに人体画像の検索結果を検証するようにした。ユーザのインタラクションにより検索絞り込みの補正が行われるため、誤検出の少ない検索結果を得ることが可能となる。

（第３の実施形態）
第１および第２の実施形態では、クエリとして顔画像が与えられたときに、顔画像、人体画像の検索を行った。本実施形態では、クエリとして人体画像が与えられたときに、顔画像、人体画像の検索を行う。

本実施形態における情報処理装置のハードウェア構成は、図１と同様であるため、説明は省略する。以下、本実施形態に係る情報処理装置の機能構成について、図８を用いて説明する。以下、第２の実施形態と異なる点についてのみ説明する。

クエリ入力部８１２は、検索に用いる人の人体画像を指定（入力）する。具体的には、外部記憶装置１０４に記憶された人の人体画像をモニタ１１０に表示し、ユーザの操作によって入力デバイス１０９を介して指定する。本発明の検索に用いる人の人体画像の指定方法はこれらに限定されるものではない。このとき、検索に用いる人の人体画像は１枚でもよいし複数枚であってもよい。

人体画像検索部８１６は、クエリ画像から人体領域検出部２０８、人体画像特徴算出部２０９を経て算出された人体画像特徴をクエリとし、人体画像特徴蓄積部２１０によって外部記憶装置１０４に記憶された人体画像特徴を用いて人体画像の検索を行う。そして、人体画像特徴の類似度が所定の閾値ＴＨ１以上の人体画像を検索結果として特定する。類似度の算出にあたっては、ＬＢＰ特徴の距離の逆数を正規化し、類似度を求める。
検索結果選択部８１４は、検索結果表示部２１９に表示された人体画像特徴の検索結果に係る人体画像群の中から１枚以上の人体画像をユーザが選択する。

クエリ選別部８１５は、検索結果選択部８１４で選別された人体画像に係る人体画像特徴と関連付けられている顔画像特徴の有無を、関連付け情報蓄積部２１１によって外部記憶装置１０４に蓄積された関連付け情報から判定する。そして関連付けられた顔画像特徴が外部記憶装置１０４に記憶されている場合は、外部記憶装置１０４からその顔画像特徴を取得する。検索結果選択部８１４で選別された人体画像は複数の場合もあり、また、人体画像特徴１つに対し複数の顔画像特徴が関連付けられている場合もあるため、取得される顔画像特徴が多数になる場合がある。したがって、このような場合にはそれらの顔画像特徴の中から代表となる１つの顔画像特徴を選別する。顔画像特徴を選別するにあたっては、顔画像特徴をクラスタリング、それぞれのクラスタからクラスタの重心に近い顔画像特徴のみを選別する。顔画像検索部８１３は、クエリ選別部８１５で選別された顔画像特徴をクエリとし、顔画像特徴蓄積部２０７によって外部記憶装置１０４に記憶された顔画像特徴を用いて顔画像の検索を行う。そして、顔画像特徴の類似度が所定の閾値よりも高い顔画像を検索結果として特定する。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和の逆数を正規化し、類似度を求める。

検証部８１７は、人体画像検索部２１６の検索結果の画像と関連付けられている顔画像特徴の有無を、関連付け情報蓄積部２１１によって外部記憶装置１０４に蓄積された関連付け情報から判定する。そして関連付けられた顔画像特徴が外部記憶装置１０４に記憶されている場合は、外部記憶装置１０４からその顔画像特徴を取得する。そして、それらの顔画像特徴と、クエリ画像の顔画像から算出された顔画像特徴とを比較し、類似度を求める。該類似度が所定の閾値ＴＨ３よりも低いとき、その顔画像特徴と関連付けられている人体画像特徴を有する人体画像を、検索結果から削除する。人体画像特徴による比較は、顔画像特徴による比較よりも弁別性能が低いため、人体画像の検索結果に対し、顔画像特徴による比較で検証を実施する。ここで、閾値ＴＨ３は、検索結果選択部８１４で用いられる閾値ＴＨ２以下の値で、かつ、同一人物の検出漏れが少なくなる値より大きい値を設定する。また、本実施形態では、検証結果を反映するために検索結果から削除しているが、人体画像の検索結果の類似度を低くするような補正を行うようにしても良い。顔画像特徴による検証時の類似度と人体画像検索時の類似度とを掛け合わせる等により、人体画像検索時の類似度を補正するようにしても良い。

統合部８１８では、第１から第３の実施形態における顔画像検索結果と人体画像検索結果の統合、第３の実施形態における属性検索結果と顔画像検索結果の統合に加え、人体画像検索の結果から顔が類似している結果を統合することにより検索結果を更新する。人体画像特徴による比較は弁別性能が低く、多くの類似した検索結果が取得される。したがって、同じ人と思われる結果、すなわち、顔画像特徴が類似している結果は、代表の結果のみを検索結果に残す。これにより、検索結果の冗長性を削減することが可能となる。統合部８１８では、人体画像検索部８１６の検索結果の画像と関連付けられている顔画像特徴の有無を、関連付け情報蓄積部２１１によって外部記憶装置１０４に蓄積された関連付け情報から判定する。そして関連付けられた顔画像特徴が外部記憶装置１０４に記憶されている場合は、外部記憶装置１０４からその顔画像特徴を取得する。そして、それらの顔画像特徴同士を相互に比較し、類似度を求める。該類似度が所定の閾値ＴＨ４よりも高いとき、それらの顔画像特徴と関連付けられている人体画像検索の結果のうち人体画像検索のスコアが低い方を、検索結果から削除する。ここで、閾値ＴＨ４は、本人だという確信が高いスコアを設定する。

次に、本実施形態に係る情報処理装置８００による詳細な処理手順について説明する。なお、顔画像特徴および人体画像特徴を外部記憶装置１０４に蓄積する処理手順は図３と同様である。

以下、人物の顔画像及び人体画像を検索する処理手順について、図９を用いて説明する。図９は、本実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。本処理は、先に説明した図６における人体領域検出部２０８、人体画像特徴算出部２０９、クエリ入力部８１２から統合部８１８、検索結果表示部２１９の処理に対応し、その処理の詳細は割愛する。

ステップＳ９０１において、クエリ入力部２１２は、検索に用いる人体画像を入力する。
ステップＳ９０２において、人体領域検出部２０８は、クエリ入力部２１２によって入力された人体画像を含む映像から人体領域検出を行う。

ステップＳ９０３において、人体画像特徴算出部２０９は、ステップＳ９０２で検出された人体画像から人体画像特徴の算出を行う。
ステップＳ９０４において、人体画像検索部８１６は、ステップＳ９０３で算出された人体画像特徴をクエリとし、人体画像特徴蓄積部２１０によって外部記憶装置１０４に記憶された人体画像特徴を用いて人体画像の検索を行う。そして、人体画像特徴の類似度が所定の閾値ＴＨ５以上の人体画像を検索結果として特定する。

ステップＳ９０５からステップＳ９０９は統合部８１８で行われる処理であり、ステップＳ９０４で検索された人体画像の数だけステップＳ９０５からステップＳ９０７をループする。

ステップＳ９０６において、統合部８１８は、外部記憶装置１０４に蓄積された関連付け情報に基づき、処理対象の人体画像に係る人体画像特徴に関連付けされた顔画像特徴が外部記憶装置１０４に記憶されているか否かを判定する。この判定の結果、関連付けされた顔画像特徴が外部記憶装置１０４に記憶されていない場合はステップＳ９０５に戻り、次の人体画像を処理対象とする。一方、関連付けされた顔画像特徴が外部記憶装置１０４に記憶されている場合は、ステップＳ９０７に進む。

ステップＳ９０７において、統合部８１８は、外部記憶装置１０４から顔画像特徴を取得し、ステップＳ９０８において、ステップＳ９０７で取得した顔画像特徴を相互に比較する。そして、ステップＳ９０９において、顔画像特徴を相互に比較した際の類似度がＴＨ４よりも高い２つの顔画像特徴と関連付けられている人体画像特徴の検索結果のスコアを比較し、スコアが低い方を、検索結果から削除する。

ステップＳ９１０においては、検索結果表示部２１９は、ステップＳ９０４で検索され、ステップＳ９０５からステップＳ９０９で統合された人体画像の検索結果を顔画像と合わせてモニタ１１０に表示する。

ステップＳ９１１においては、検索結果選択部８１４は、モニタ１１０に表示された人体画像の検索結果の中から１枚以上の人体画像、顔画像を選択する。この処理では、ユーザが入力デバイス１０９から人体画像、顔画像を選択し、検索結果選択部８１４は、入力デバイスインターフェイス１０５を介してユーザの指示に基づき、人体画像、顔画像を選択する。

ステップＳ９１２において、顔画像検索部８１３は、ステップＳ９１１で設定された顔画像と関連付けられている顔画像特徴をクエリとし、顔画像特徴蓄積部２０７によって外部記憶装置１０４に記憶された顔画像特徴を用いて顔画像の検索を行う。そして、顔画像特徴の類似度が所定の閾値以上の顔画像を検索結果として特定する。

ステップＳ９１３において、統合部８１８は、ステップＳ９０４の人体画像の検索結果と、ステップＳ９１２の顔画像の検索結果とを統合する。その際、カメラの設置場所や撮影時刻を制限して人体画像の検索結果の更新を行ってもよい。すなわち、探したい人物があるカメラに写っていることが確認できた場合、そのカメラから離れている場所に設置されているカメラに近傍の時間では出現し得ない、という制限により検索結果を更新することができる。この場合、ステップＳ９１１で選択された顔画像からカメラの場所、時刻の情報を得ることができるため、人体画像検索の検索結果の範囲に制限を加えることができる。

ステップＳ９１４は、検索結果表示部２１９は、ステップＳ９１３で統合された検索結果をモニタ１１０に表示する。なお、同一カメラから複数の結果が得られたときは、すべてを表示するのではなく、顔画像の類似度が最も高い結果のみを表示することも可能である。

以上のように、本実施形態によれば、クエリとして人体画像が与えられたときに、人体画像の検索結果の中から１枚以上の人体画像をユーザが選択し、その人体画像特徴と関連付けて登録されている顔画像特徴を用いて顔画像の検索を行うようにした。また、人体画像の検索結果を表示してユーザに次のクエリを選択してもらう際、検索結果の人体画像特徴に関連付けされた顔画像特徴同士を相互に比較し、似ている顔があった場合はそれらの人体画像検索のスコアが高い方のみを検索結果として表示するようにした。このように、人体画像検索のような弁別性能が低い検索結果を、弁別性能の高い顔画像特徴の比較により補正することで、冗長な結果表示を少なくし、ユーザによる検索結果の選択を容易にすることが可能となる。

（第４の実施形態）
第１から第３の実施形態では、監視カメラの映像中の人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを画像と関連付けて記憶した。本実施形態では、更に、人物の画像を認識して得た属性情報や持ち物等の情報を画像と関連付けて記憶する。検索の際は、クエリとして与えられた属性情報をもとに顔画像を検索する。属性による顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴を用いて顔画像の検索を行う。更に、顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行う。このように、検索結果と関連付けされている別の特徴を多段に用いて検索を行う。

本実施形態における情報処理装置のハードウェア構成は、図１と同様であるため、説明は省略する。以下、本実施形態に係る情報処理装置の機能構成について、図１０を用いて説明する。以下、第２の実施形態と異なる点についてのみ説明する。

図１０は、本実施形態に係る情報処理装置１０００の機能構成例を示すブロック図である。映像入力部２０１から関連付け情報蓄積部２１１、顔画像検索部２１３、検索結果選択部６１４、クエリ選別部２１５から検索結果表示部２１９は、第２の実施形態の図５と同様であるため、説明は省略する。

クエリ入力部１０１２は、検索に用いる人の顔属性、人体属性を指定（入力）する。具体的には、属性ごとに表示された項目を選択する。指定しない属性があっても構わないし、１つの属性に対し、複数の属性を選択しても構わない。指定方法はこれに限定されるものではなく、ユーザには自然言語で入力してもらい、自然言語解析を行うことによって、属性に変換するようにしても構わない。

統合部１０１８は、第１の実施形態、第２の実施形態における顔画像検索結果と人体画像検索結果の統合に加え、属性検索部１０２２の検索結果に、顔画像検索部２１３の検索結果を統合することにより、検索結果を更新する。属性と顔の結果統合としては、顔画像検索結果に関連付いている属性が、クエリと異なる場合に、顔画像検索結果から削除する。

属性認識部１０２０は、人物の顔画像、人体画像の属性を認識する。顔画像から得られる属性としては、年齢、性別、人種、髪型、メガネ有無、マスク有無等である。顔属性認識については、特許文献６に示す公知技術を用いればよい。すなわち、顔画像特徴算出部２０６で算出された顔画像特徴をSupport Vector Machine（ＳＶＭ）を用いて学習することで属性識別器を作成しておき、該識別器を用いて属性を認識する。また、人体画像から得られる属性としては、服の形状（ブレザー、セーター、ズホン、スカート、ワンピース等）、服の色や柄、持ち物（形状、色）等である。服の形状、色や柄の認識については、非特許文献３に示す公知技術を用いればよい。持ち物については、非特許文献４に示す公知技術を用いればよい。これらは、人体画像から算出した特徴をＤｅｅｐ Ｌｅａｒｎｉｎｇを用いて学習することで属性識別器を作成しておき、該識別器を用いて属性を認識する。

属性蓄積部１０２１は、属性認識部１０２０で認識した、顔属性、人体属性を外部記憶装置１０４に記憶する。加えて、属性のメタデータとして、人物のＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶しておく。

属性検索部１０２２は、クエリとして与えられた属性情報をもとに、属性蓄積部１０２１によって外部記憶装置１０４に記憶されている属性と一致する顔画像の検索を行う。また、検索結果の顔画像特徴同士を比較し、顔画像特徴の類似度が所定の閾値ＴＨ１以上の顔画像を検索結果として特定する。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和の逆数を正規化し、類似度を求める。

次に、本実施形態に係る情報処理装置１０００による詳細な処理手順について説明する。
次に、映像入力部２０１から入力された映像データを検索可能なように蓄積する処理の詳細を、図１１を用いて説明する。

図１１は、本実施形態において、顔画像特徴、人体画像特徴、属性を蓄積する処理手順の一例を示すフローチャートである。本処理は、先に説明した映像入力部２０１から関連付け情報蓄積部２１１、属性認識部１０２０、属性蓄積部１０２１の処理に対応し、その処理の詳細は割愛する。

図１１のステップＳ３０１からステップＳ３０８は、それぞれ図３のステップＳ３０１からステップＳ３０８と同様である。
ステップＳ１１０１では、属性認識部１０２０により、顔画像から属性を抽出する。

ステップＳ１１０２では、顔画像特徴蓄積部２０７によってステップＳ３０８で算出された顔画像特徴を外部記憶装置１０４に記憶し、属性蓄積部１０２１によってステップＳ１１０１で抽出された顔属性を外部記憶装置１０４に記憶する。加えて、顔画像特徴、顔属性のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を顔画像特徴、顔属性と関連付けて記憶しておく。

図１１のステップＳ３１０からステップＳ３１２は、それぞれ図３のステップＳ３１０からステップＳ３１２と同様である。
ステップＳ１１０３では、属性認識部１０２０により、人体画像から属性を抽出する。

ステップＳ１１０４では、人体画像特徴蓄積部２１０によってステップＳ３１２で算出された顔画像特徴を外部記憶装置１０４に記憶し、属性蓄積部１０２１によってステップＳ１１０３で抽出された人体属性を外部記憶装置１０４に記憶する。加えて、人体画像特徴、人体属性のメタデータとして、人物ＩＤや、人物を追尾したときの追尾トラックＩＤ、撮影時刻、撮影カメラなどの情報を人体画像特徴、人体属性と関連付けて記憶しておく。

図１１のステップＳ３１４は、図３のステップＳ３１４と同様である。
ステップＳ１１０５において、関連付け情報蓄積部２１１は、同じ人物から算出された顔画像特徴、人体画像特徴、顔属性、人体属性を関連付けた関連付け情報を外部記憶装置１０４に記憶し、処理を終了する。

以下、人物の顔画像特徴、人体画像特徴を検索する処理手順について、図１２を用いて説明する。本処理は、先に説明した図１０におけるクエリ入力部１０１２、顔画像検索部２１３、検索結果選択部６１４、クエリ選別部２１５から検索結果表示部２１９、属性検索部１０２２の処理に対応し、その処理の詳細は割愛する。

図１２は、本実施形態において、人物の顔画像及び人体画像を検索する処理手順の一例を示すフローチャートである。
ステップＳ１２０１において、クエリ入力部１０１２は、検索に用いる人の顔属性、人体属性を指定（入力）する。

ステップＳ１２０２において、属性検索部１０２２において、クエリとして与えられた属性情報をもとに、属性蓄積部１０２１によって外部記憶装置１０４に記憶されている属性と一致する顔画像の検索を行う。
同一人物が複数登録されている場合、属性による検索において同一人物が複数結果をして出力される。それを抑制するため、第３の実施形態のステップＳ９０５からＳ９０９で行っているような処理を行ってもよい。すなわち、検索結果の顔画像特徴同士を比較し、顔画像特徴の類似度が所定の閾値ＴＨ４以上の顔画像があったときに、比較したどちらか一方を属性による検索結果から削除することも可能である。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和の逆数を正規化し、類似度を求める。

ステップＳ１２０３において、検索結果表示部２１９は、ステップＳ１２０２の顔画像の検索結果をモニタ１１０に表示する。
ステップＳ１２０４においては、検索結果選択部６１４は、モニタ１１０に表示された顔画像の検索結果の中から１枚以上の顔画像を選択する。この処理では、ユーザが入力デバイス１０９から顔画像を選択し、検索結果選択部６１４は、入力デバイスインターフェイス１０５を介してユーザの指示に基づき、顔画像を選択する。

図１２のステップＳ４０４は、図７のステップＳ４０４と同様である。
ステップＳ１２０５において、統合部１０１８は、ステップＳ１２０２の属性検索の検索結果と、ステップＳ４０４の顔画像検索の検索結果とを統合する。

図１２のステップＳ７０１からステップＳ４１３は、図７のステップＳ７０１からステップＳ４１３と同様である。
ステップＳ１２０６において、検証部２１７は、外部記憶装置１０４に蓄積された関連付け情報に基づき、処理対象の人体画像に係る人体画像特徴に関連付けされた顔画像特徴が外部記憶装置１０４に記憶されているか否かを判定する。また、処理対象の人体画像に係る人体画像特徴に関連付けされた属性情報が外部記憶装置１０４に記憶されているか否かを判定する。この判定の結果、関連付けされた顔画像特徴、属性情報のいずれも外部記憶装置１０４に記憶されていない場合はステップＳ４１３に戻り、次の人体画像を処理対象とする。一方、関連付けされた顔画像特徴、属性情報のいずれかが外部記憶装置１０４に記憶されている場合は、ステップＳ１２０７に進む。

ステップＳ１２０７において、検証部２１７は、顔画像特徴が記憶されている場合は、外部記憶装置１０４から顔画像特徴を取得し、ステップＳ１２０４で選択された顔画像検索のクエリの顔画像特徴と比較し、類似度を求める。また、属性情報が記憶されている場合は、外部記憶装置１０４から属性情報を取得し、ステップＳ１２０１で入力された属性情報と比較する。

ステップＳ１２０８において、検証部２１７は、ステップＳ１２０７で算出した類似度が所定の閾値ＴＨ３より小さいか否か、属性情報が同じであるかを判定する。この判定の結果、類似度が所定の閾値ＴＨ３以上、かつ、属性情報が同じである場合はステップＳ４１３に戻り、次の人体画像を処理対象とする。一方、類似度が所定の閾値ＴＨ３未満、もしくは、属性が異なる場合は、ステップＳ４１７に進む。
図１２のステップＳ４１７からステップＳ４１９は、図７のステップＳ４０４からステップＳ４１３と同様である。

以上のように、本実施形態によれば、監視カメラの映像中の人物の画像から顔画像特徴、人体画像特徴を抽出し、また、人物の画像を認識して得た属性情報や持ち物等の情報を抽出し、それらを画像と関連付けて記憶した。そして、検索の際は、クエリとして与えられた属性情報をもとに顔画像を検索した。そして、属性による顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴を用いて顔画像の検索を行った。更に、顔画像の検索結果の中から１枚以上の顔画像をユーザが選択し、その顔画像特徴と関連付けて登録されている人体画像特徴を用いて人体画像の検索を行った。このように、検索結果と関連付けされている別の特徴を多段に用いて検索を行うことにより、クエリとして属性情報が与えられたときに、顔画像、人体画像の検索が可能となる。

本実施形態では、顔画像特徴、人体画像特徴、属性情報を用い、３段の検索を実施しているが、本発明はこれに限定されるものではない。歩容特徴、乗り物、動作などを第４、第５、第６の特徴として用いることも可能である。また、本実施形態では、すべての属性情報をひとまとめに扱っているが、顔画像から得られる属性、人体画像から得られる属性、持ち物などを別々の特徴として扱ってもよい。そして、それらの特徴を、多段に組み合わせて、検索を行うことが可能である。更には、同行者の特徴を同様に多段に組み合わせて検索を行うことも可能である。

（第５の実施形態）
第１から第４の実施形態では、監視カメラの映像中の人物を追尾して得られた一連の同一人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを関連付けて記憶した。本実施形態では、人物の追尾を行わず、監視カメラの映像のフレーム画像から人物の顔画像と人体画像とが得られたとき、顔画像特徴と人体画像特徴とを関連付けて記憶する。

本実施形態における情報処理装置のハードウェア構成は、図１と同様であるため、説明は省略する。以下、本実施形態に係る情報処理装置の機能構成について、図１３を用いて説明する。以下、第２の実施形態と異なる点についてのみ説明する。

図１３は、本実施形態に係る情報処理装置１３００の機能構成例を示すブロック図である。本構成は、図６に示した構成から追尾処理部２０３、代表顔画像決定部２０５を除いた構成である。

顔検出部２０４は、映像入力部２０１によって入力された映像のフレーム画像から顔検出を直接行う。本実施形態では代表顔画像を選択せず、顔画像特徴算出部２０６は、顔検出部２０４で検出されたすべての顔画像に対し、顔画像特徴の算出を行う。また、人体領域検出部２０８は、映像入力部２０１によって入力された映像のフレーム画像から人体領域の検出を直接行う。

次に、本実施形態に係る情報処理装置１３００による詳細な処理手順について説明する。なお、人物の顔画像及び人体画像を検索する処理手順は図７と同様であるため、説明は省略する。以下、顔画像特徴および人体画像特徴を外部記憶装置１０４に蓄積する処理手順について、図１４を用いて説明する。

図１４は、本実施形態において、顔画像特徴および人体画像特徴を外部記憶装置１０４に蓄積する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１からステップＳ３０２は、それぞれ図３のステップＳ３０１からステップＳ３０２と同様である。

ステップＳ１４０１においては、顔検出部２０４は、映像入力部２０１によって入力された映像のフレーム画像から顔検出を直接行う。次のステップＳ３０６は、図３のステップＳ３０６と同様である。そして、顔が検出された場合はステップＳ１４０２に進む。

ステップＳ１４０２においては、顔画像特徴算出部２０６は、ステップＳ１４０１で検出された顔画像から顔画像特徴の算出を行う。
ステップＳ１４０３においては、顔画像特徴蓄積部２０７は、ステップＳ１４０１で算出された顔画像特徴を外部記憶装置１０４に記憶する。加えて、顔画像特徴のメタデータとして、人物ＩＤや、撮影時刻、撮影カメラなどの情報を顔画像特徴と関連付けて記憶しておく。なお、本実施形態では追尾処理が行われていないため、追尾トラックＩＤがメタデータに含まれない。

ステップＳ１４０４においては、人体領域検出部２０８は、映像入力部２０１によって入力された映像のフレーム画像から人体領域の検出を直接行う。なお、ステップＳ３１１からステップＳ３１２は、それぞれ図３のステップＳ３１１からステップＳ３１２と同様である。

ステップＳ１４０５においては、人体画像特徴蓄積部２１０は、ステップＳ３１２で算出された人体画像特徴を外部記憶装置１０４に記憶する。加えて、人体画像特徴のメタデータとして、人物ＩＤや、撮影時刻、撮影カメラなどの情報を人体画像特徴と関連付けて記憶しておく。なお、本実施形態では追尾処理が行われていないため、追尾トラックＩＤがメタデータに含まれない。

ステップＳ１４０６において、関連付け情報蓄積部２１１は、ステップＳ１４０１で検出された顔と、ステップＳ１４０４で検出された人体とで人物が一致するものが存在するか否かを判定する。例えば、顔画像特徴および人体画像特徴のメタデータを参照し、人物ＩＤや、撮影時刻、撮影カメラなどから総合的に人物が一致しているか否かを判定する。この判定の結果、人物が一致する組合せが存在する場合はステップＳ３１５に進み、そうでない場合は処理を終了する。ステップＳ３１５は、図３のステップＳ３１５と同様である。

以上のように本実施形態によれば、人物の追尾を行わずに、監視カメラ映像のフレーム画像から人物の顔画像と人体画像とが得られたときに、顔画像特徴と人体画像特徴とを関連付けて記憶するようにした。人物の追尾を行うには、高いフレームレートの映像が要求されるが、本実施形態では、高いフレームレートの映像が不要となり、映像解析処理、ネットワーク負荷の低減を図ることができる。また、１枚の静止画から複数の特徴量を抽出することで、同様の検索を行うことも可能である。

（その他の実施形態）
前述した第１〜第５の実施形態では、１つのカメラに写る人物の画像から顔画像特徴と人体画像特徴とを抽出し、それらを関連付けて記憶した。一方、複数の監視カメラが設置されていると、視野を重複させて同じ場所を写してしまう場合がある。このような場合、同じ場所に対し、複数の映像が得られる。すなわち、その場所に人物がいるときには、前方からの映像と後方からの映像とが得られたり、顔がはっきり写る映像と顔ははっきりしていないが全身が写っている映像が得られたりすることがある。三角測量の原理を利用すれば、それらの映像に写る同じ人物が同一人物と同定することができるため、複数のカメラから得られた同じ人物の顔画像特徴と人体画像特徴とを関連付けて記憶することができる。これにより、異なる画角の画像に対し、より精度よく顔画像特徴と人体画像特徴との関連付けが可能となる。

また、非特許文献１に記載されているようなカメラ間の人物追跡技術を利用することで、複数のカメラ間で同一人物を同定することができる。そのような場合も、関連付け情報蓄積部２１１は、複数のカメラから得られた同じ人物の顔画像特徴と人体画像特徴とを関連付けて記憶することができる。異なるカメラから得られた顔画像と人体画像とが同一人物の画像であると同定できることで、それらのうちの一部が検索できれば一連の画像は同一人物の画像であると見なすことができる。これにより、様々なカメラからの検出率を上げることが可能となる。

前述した実施形態ではオブジェクトとして人物の検出を例としており、顔画像を弁別性能が高い特徴として用い、人体画像を弁別性能が低い特徴として用いている。しかしながら本発明は、オブジェクトは人物に限定するものではない。例えば、犬、猫などの動物や、車などの乗り物に適用しても良い。動物に本発明を適用する場合は、顔画像、体の模様や衣服を弁別性能が高い特徴として用い、全体的な形状や色を弁別性能が低い特徴として用いればよい。車に本発明を適用する場合は、識別番号周辺の画像を弁別性能が高い特徴として用い、全体的な形状や色を弁別性能が低い特徴として用いればよい。なお、本発明は、クエリ画像に含まれるオブジェクトと同一のオブジェクトを検索する場合に限らず、類似するオブジェクトを検索する構成にも適用できる。例えば、オブジェクトが動物であれば、同一でなくとも同じ種類の動物を検索することができる。また、オブジェクトが車であれば、同一の車でなくとも、例えば同一車種で同一色の車を検索できるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２１３ 顔画像検索部
２１４ 検索結果選別部
２１５ クエリ選別部
２１６ 人体画像検索部
２１７ 統合部
２１９ 検索結果表示部

Claims (17)

1. 画像に含まれるオブジェクトに関する第１の特徴と前記第１の特徴とは異なる第２の特徴とを関連付けて前記画像とともに記憶する記憶手段から、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する情報処理装置であって、
   前記検索元画像に含まれるオブジェクトから前記第１の特徴を取得する第１の取得手段と、
   前記第１の取得手段によって取得された第１の特徴に類似する第１の特徴を前記記憶手段から検索する第１の検索手段と、
   前記第１の検索手段により検索された第１の特徴のうちの少なくとも１つの第１の特徴を選択する選択手段と、
   前記選択手段によって選択された第１の特徴と関連付けられている第２の特徴を前記記憶手段から取得する第２の取得手段と、
   前記第２の取得手段によって取得された第２の特徴に類似する第２の特徴を前記記憶手段から検索する第２の検索手段と、
   前記第１の検索手段の検索結果と前記第２の検索手段の検索結果とに基づいて、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する特定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第２の検索手段によって検索された第２の特徴と関連付けられている第１の特徴を前記記憶手段から取得する第３の取得手段と、
   前記第３の取得手段によって取得された第１の特徴と、前記第１の取得手段によって前記検索元画像から取得した第１の特徴とを比較することにより前記第２の検索手段の検索結果を検証する検証手段と、
   を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記検証手段は、前記第３の取得手段によって取得された第１の特徴と、前記検索元画像から取得した第１の特徴との類似度が閾値よりも低い場合に、当該検索元画像から取得した第１の特徴に関連付けられた、前記第２の検索手段により検索された第２の特徴を前記第２の検索手段の結果から除外することを特徴とする請求項２に記載の情報処理装置。
4. 前記選択手段は、前記第１の検索手段の検索結果の中から、前記第１の取得手段によって取得された第１の特徴との類似度が閾値以上の類似度を有する第１の特徴を選択することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
5. 前記選択手段は、前記第１の検索手段の検索結果の中からユーザによって指定された第１の特徴を選択することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
6. 前記第１の特徴は、前記第２の特徴よりも弁別性能が高い特徴であることを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
7. 前記第２の取得手段は、前記選択手段によって選択された第１の特徴と関連付けられている第２の特徴の中から代表となる１つの第２の特徴を取得することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 前記特定手段により特定された画像を表示装置に表示する表示手段を更に備えることを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
9. 前記表示手段は、前記検索元画像の第１の特徴との類似度が最も高い結果を表示することを特徴とする請求項８に記載の情報処理装置。
10. 前記第２の検索手段は、撮影された場所または時間を制限して検索を行うことを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
11. 前記オブジェクトは人物であることを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
12. 前記第１の特徴は顔画像から得られた特徴であり、前記第２の特徴は人体画像から得られた特徴であることを特徴とする請求項１１に記載の情報処理装置。
13. 前記記憶手段は、追尾されたオブジェクトのＩＤに基づいて関連付けされた第１の特徴および第２の特徴を記憶することを特徴とする請求項１〜１２の何れか１項に記載の情報処理装置。
14. 前記記憶手段は、視野が重複するように設置された複数のカメラから得られた画像に基づいて関連付けされた第１の特徴および第２の特徴を記憶することを特徴とする請求項１〜１２の何れか１項に記載の情報処理装置。
15. 前記記憶手段は、３以上の特徴を画像と関連付けて記憶し、
    前記第２の検索手段で検索したときの検索結果を前記第１の検索手段の検索結果と置き換えて前記選択手段による選択を行い、前記第１の特徴および前記第２の特徴以外の特徴を前記第２の特徴と置き換えて前記第２の取得手段による取得と、前記第２の検索手段による検索とを行い、前記第２の検索手段の検索結果を更に前記第１の検索手段の検索結果と置き換えるよう多段に繰り返すことを特徴とする請求項１〜１４の何れか１項に記載の情報処理装置。
16. 画像に含まれるオブジェクトに関する第１の特徴と前記第１の特徴とは異なる第２の特徴とを関連付けて前記画像とともに記憶する記憶手段から、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する情報処理装置の情報処理方法であって、
    前記検索元画像に含まれるオブジェクトから前記第１の特徴を取得する第１の取得工程と、
    前記第１の取得工程において取得された第１の特徴に類似する第１の特徴を前記記憶手段から検索する第１の検索工程と、
    前記第１の検索工程において検索された第１の特徴のうちの少なくとも１つの第１の特徴を選択する選択工程と、
    前記選択工程において選択された第１の特徴と関連付けられている第２の特徴を前記記憶手段から取得する第２の取得工程と、
    前記第２の取得工程において取得された第２の特徴に類似する第２の特徴を前記記憶手段から検索する第２の検索工程と、
    前記第１の検索工程の検索結果と前記第２の検索工程の検索結果とに基づいて、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する特定工程と、
    を備えることを特徴とする情報処理方法。
17. 画像に含まれるオブジェクトに関する第１の特徴と前記第１の特徴とは異なる第２の特徴とを関連付けて前記画像とともに記憶する記憶手段から、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する情報処理装置を制御するためのプログラムであって、
    前記検索元画像に含まれるオブジェクトから前記第１の特徴を取得する第１の取得工程と、
    前記第１の取得工程において取得された第１の特徴に類似する第１の特徴を前記記憶手段から検索する第１の検索工程と、
    前記第１の検索工程において検索された第１の特徴のうちの少なくとも１つの第１の特徴を選択する選択工程と、
    前記選択工程において選択された第１の特徴と関連付けられている第２の特徴を前記記憶手段から取得する第２の取得工程と、
    前記第２の取得工程において取得された第２の特徴に類似する第２の特徴を前記記憶手段から検索する第２の検索工程と、
    前記第１の検索工程の検索結果と前記第２の検索工程の検索結果とに基づいて、検索元画像に含まれるオブジェクトと同一または類似するオブジェクトを含む画像を特定する特定工程と、
    をコンピュータに実行させることを特徴とするプログラム。