JP2020095757A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】撮像対象を同定する精度を向上させる技術を提供することを目的とする。【解決手段】取得手段は、画像を取得する。検出手段は、取得手段が取得した画像から物体を検出する。抽出手段は、検出手段が検出した物体の複数の要素の各々に対応する特徴量を抽出する。導出手段は、抽出手段により抽出した特徴量に対応する信頼度を導出する。決定手段は、取得手段が取得した画像に対して行われるユーザ操作に基づいて、検索対象の物体を決定する。出力手段は、決定手段により決定した前記物体における複数の要素と、該複数の要素の各々の特徴量に対応する信頼度とを関連付けた情報を出力する。選択手段は、出力手段が出力した情報において、複数の要素から少なくとも一つの要素を選択する。同定手段は、選択手段により選択した要素に対応する特徴量と該特徴量に対応する信頼度とに基づいて、取得手段が取得した複数の画像から物体を同定する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来から、ショッピングモール、空港等の広域に設置された複数のカメラ映像を、ネットワークを介して受信し、映像解析することにより不審人物を追跡する技術が開示されている。あるカメラによって撮像した人物と、他のカメラによって撮像した人物とを同定するには、あるカメラで映った人物の特徴量を記録し、他のカメラで映った人物の特徴量と、既に記録されている特徴量とを比較し、類似度が高い場合には同じ人物であると判断する方法が多く用いられている。特許文献１では、人物の移動方向から人の向きを推定し、観測できた範囲の特徴のみを比較範囲とすることにより、人物の同定精度を向上している。これにより、各カメラの人物の追尾結果を対応付けることができるようになり、複数のカメラに跨る人物の追跡が実現できる。

特開２０１５−２５４７号公報

あるカメラによって撮像した人物と、他のカメラによって撮像した人物とを同定する際、カメラの設置位置によって対象の見え方が変化する。例えば人物の写る向きが大きく変化するため、見え方の変化に対して影響が少ない情報を記憶しておく必要がある。一般的には、見え方の変化に対して影響が少ない特徴量を定義し、あるカメラに映った人物の一連の画像特徴から、特徴量を学習する方法がある。しかし、１つの特徴量にすべての見え方の情報を含むため、同定精度が低下する。また、同じカメラで撮像した人物であっても、人物の移動によって、追尾対象の人物の見え方が変化してしまう。
特許文献１には、人物の向きを判定し、向き別に特徴量を計算、記憶する技術が開示されている。この技術により、人物の見え方が同じ状態で記憶された特徴量を比較することで、人物の同定精度を向上している。しかし、人物が、一連の動きの中で、一時的に向いた方向であっても特徴量が存在すると判定されてしまう場合がある。このような場合、得られる特徴量が少なく、不安定であるため、違う人物と同定され、誤対応を引き起こす場合がある。
そこで、本発明の目的は、撮像対象を同定する精度を向上させる技術を提供することである。

そこで、本発明の情報処理装置は、画像を取得する取得手段と、前記取得手段が取得した画像から物体を検出する検出手段と、前記検出手段が検出した物体の複数の要素の各々に対応する特徴量を抽出する抽出手段と、前記抽出手段により抽出した前記特徴量に対応する信頼度を導出する導出手段と、前記取得手段が取得した画像に対して行われるユーザ操作に基づいて、検索対象の物体を決定する決定手段と、前記決定手段により決定した前記物体における複数の要素と、該複数の要素の各々の特徴量に対応する信頼度とを関連付けた情報を出力する出力手段と、前記出力手段が出力した前記情報において、前記複数の要素から少なくとも一つの要素を選択する選択手段と、前記選択手段により選択した前記要素に対応する特徴量と該特徴量に対応する信頼度とに基づいて、前記取得手段が取得した複数の画像から前記物体を同定する同定手段と、を有する。

本発明によれば、撮像対象を同定する精度を向上させる技術を提供することができる。

情報処理システムのシステム構成の一例を示す図である。 対象同定装置のハードウェア構成の一例を示す図である。 対象同定装置のソフトウェア構成の一例を示す図である。 対象の特徴量の一例を示した図である。 表示の一例を示す図である。 検索条件を変更して再検索が実施された場合の表示の一例を示す図である。 情報処理の一例を示すフローチャートである。 検索対象の選択の他の例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、一例として、撮像された画像から人物を検出して、その検出された人物を追跡することを例として説明するが、人物以外にも自動車や動物等であってもよい。以下、このように、検出して追跡する対象の物体のことを単に対象と称する。

＜実施形態１＞
実施形態１では、対象の特徴量を向き又は部位別に記録し、それぞれの特徴量について信頼度を計算し、対象を同定する方法について説明をする。なお、対象を同定するとは、ある撮像装置によって撮像した対象と、他の撮像装置によって撮像した対象とを対応づけることや、ある撮像装置によって所定の時点に撮像した対象と、その撮像装置によって前述の所定の時点より後に撮像した対象とを対応づけることである。
図１は、情報処理システムのシステム構成の一例を示す図である。
情報処理システムは、複数の撮像装置（カメラ）１０１、１０２、１０３と、対象同定装置１０５と、を含む。
撮像装置１０１、１０２、１０３は、ネットワーク１０４を介して撮像した映像データを送信する。対象同定装置１０５は、ネットワーク１０４を介して受信した各撮像装置で撮像した映像データを基に撮像装置間に出現した対象を同定する装置である。

図２は、対象同定装置１０５のハードウェア構成の一例を示す図である。対象同定装置１０５は、ハードウェア構成として、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、２次記憶装置２０４、入力装置２０５、表示装置２０６、ネットワークＩ／Ｆ２０７、バス２０８を含む。
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する。
ＲＯＭ２０２は、不揮発性メモリであり、プログラムやＣＰＵ２０１がプログラムに基づき処理を実行する際に必要なデータ等を格納する。
ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果等の一時的なデータを記憶する。
２次記憶装置２０４は、ハードディスクドライブやフラッシュメモリー等の書き換え可能な２次記憶装置であり、画像情報や画像処理プログラムや、各種設定内容等を記憶する。これらの情報はＲＡＭ２０３に転送され、ＣＰＵ２０１がプログラムの基づき処理を実行する際に利用される。
入力装置２０５は、キーボードやマウス等であり、ユーザからの入力をＣＰＵ２０１に通知する。
表示装置２０６は、ブラウン管ＣＲＴや液晶ディスプレイ等であり、ユーザに対してＣＰＵ２０１の処理結果等を表示する。
ネットワークＩ／Ｆ２０７は、インターネットやイントラネット等のネットワークと接続を行うモデムやＬＡＮ等である。
バス２０８は、これらを接続して相互にデータの入出力を行う。
ＣＰＵ２０１が、ＲＯＭ２０２又は２次記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより、後述する図３に示されるソフトウェア構成及び後述する図７に示すフローチャートの処理が実現される。

図３は、対象同定装置１０５を示すブロック図である。対象同定装置１０５は、画像取得部３０１、対象検出追尾部３０２、特徴量抽出部３０３、向き判定部３０４、部位判定部３０５、カテゴリ判定部３０６、特徴量更新部３０７、特徴量管理部３０８を含む。また、対象同定装置１０５は、更に、信頼度算出部３０９、対象同定部３１０、出力部３１１を含む。
画像取得部３０１は、レンズや撮像センサ等を備えた撮像装置１０１〜１０３が撮像した画像（画像データ）を所定の時間間隔で順次取得して、対象検出追尾部３０２に提供する。
対象検出追尾部３０２は、画像取得部３０１から取得した画像から対象の検出処理を行う。対象検出追尾部３０２は、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）等の機械学習を利用して、対象の画像特徴を学習した識別器を作成する。対象検出追尾部３０２は、この識別器を利用して、画像取得部３０１から取得した画像での対象の位置座標とサイズ情報を求めることで、検出処理を行う。対象検出追尾部３０２は、同一の処理によって、対象の部位の位置とサイズとを検出してもよい。例えば、対象が人物であれば、対象検出追尾部３０２は、頭部、胴体、腕、足等の部位を検出する。また、対象検出追尾部３０２は、各部位の位置、向きを総じて姿勢情報として検出してもよい。なお、対象検出追尾部３０２による対象の検出方法は、識別器による検出方法に限定されるものではなく、画像から対象を検出する処理であればよい。例えば、パターンマッチングによって、画像から対象を検出してもよい。
そして、対象検出追尾部３０２は、検出した対象の情報を基に追尾処理を行う。追尾処理は、一つの撮像装置において、あるフレームの画像において検出した対象と、別のフレームの画像において検出した対象とを、画像の特徴と、画像間での位置関係とから対応付ける処理である。但し、対象の検出に失敗し、現在の画像に、別のフレームの画像において検出した対象と対応付けられる対象がない場合、対象検出追尾部３０２は、Ｋａｌｍａｎ Ｆｉｌｔｅｒ等の移動予測を用いて対応付けの結果を補完する。また、所定期間以上、対応付けられる対象がない場合は、対象検出追尾部３０２は、追尾処理を終了する。対象検出追尾部３０２は、対応付けた対象にはそれぞれ一意のＩＤを付与する。対象検出追尾部３０２は、処理の結果得られた対象のＩＤ、位置座標、サイズ情報、画像の取得時刻、及び撮像装置を示す情報を含む対象情報を、特徴量抽出部３０３と向き判定部３０４と部位判定部３０５とに提供する。
なお、対象検出追尾部３０２における、検出機能と、追尾機能とは一体であってもよいし、別体であってもよい。

特徴量抽出部３０３は、対象情報に含まれる対象の位置座標に基づいて、画像における対象の領域から対象の特徴量を抽出する。対象の特徴量としては、対象領域内から抽出された色、輝度、エッジ等があげられる。特徴量抽出部３０３は、色、輝度、及びエッジのうちの少なくともいずれかを特徴量としてもよいし、これらを任意に組み合わせたものを特徴量としてもよい。また、特徴量抽出部３０３によって抽出する特徴量は、色、輝度、エッジ等をヒストグラムとして表したものであってもよい。また、特徴量抽出部３０３は、対象の特徴量を、対象検出追尾部３０２によって求められた、対象の部位ごとに抽出してもよい。対象の部位とは、頭部、胴体、腕、足等である。
また、特徴量抽出部３０３は、対象が鞄を持っているか否か、対象がサングラスをかけているか、対象が髭を生やしているか等を示す対象の特徴を抽出してもよい。これらの特徴は０から１までの範囲の値で示される。例えば、鞄の有無であれば、０は鞄が無いことを示し、１は鞄が有ることを示す。画像のみから有無をはっきりと断定できない場合もあるため、０．５等、中間の値も取り得る。また、特徴量抽出部３０３は、年齢、性別、身長、服装、体型等を示す特徴を抽出してもよい。以下、鞄、サングラス、髭の有無、年齢、性別、身長、服装、体型を総じて、特徴判別カテゴリ(カテゴリ)と呼ぶ。この特徴判別カテゴリは、物体の特徴を判別するためのカテゴリである。
特徴量抽出部３０３は、形状特徴であるＬＢＰ特徴量やＨＯＧ特徴量、或いは、ＧａｂｏｒフィルタやＳｃｈｍｉｄフィルタを用いて抽出したテクスチャ特徴を用いて特徴量を抽出する。識別器としてはサポートベクターマシーン（ＳＶＭ）等の手法が挙げられる。そして、特徴量抽出部３０３は、得られた対象の特徴量と利用した識別器の種類情報とを、対象検出追尾部３０２で得られている対象のＩＤに関連付け、部位判定部３０５、カテゴリ判定部３０６、特徴量更新部３０７に提供する。

向き判定部３０４は、対象検出追尾部３０２における識別器を対象の向き別に作成することで、最も高い信頼度が得られる識別器の情報から対象の向きを判定する。又は、向き判定部３０４は、フレーム間の対象の動きから移動方向を推定し、対象が移動する方向を正面方向とすることで、画面における対象の向きを判定してもよい。例えば、対象が右に移動している場合、対象の正面は右を向いていると判断し、画面における対象の向きは右向きであると判定できる。そして、向き判定部３０４は、得られた対象の向きを特徴量更新部３０７に提供する。
部位判定部３０５は、対象検出追尾部３０２によって得られる対象部位の検出結果と、特徴量抽出部３０３が抽出した部位の特徴量とを対応付ける。この際、特徴量に基づいて、対象検出追尾部３０２が検出した部位が正確であるか判定してもよい。特徴量も用いて部位を判定することでより正確な部位判定を行うことができる。そして、部位判定部３０５は、部位と、部位の特徴量とを対応付けた情報である部位情報を特徴量更新部３０７に提供する。
カテゴリ判定部３０６は、特徴量抽出部３０３によって利用された識別器の種類から特徴判別カテゴリを判定する。例えば、カテゴリ判定部３０６は、髭の有無を検出する識別器が利用された場合は、特徴判別カテゴリは髭の有無である、と判定する。そして、カテゴリ判定部３０６は、得られた特徴判別カテゴリの判定結果を特徴量更新部３０７に提供する。なお、特徴判別カテゴリの判定方法はこれに限らず、種々の方法を用いることができる。例えば、特徴判別カテゴリを示すメタデータを用いてもよい。
特徴量更新部３０７は、特徴量抽出部３０３から得られる特徴量と、向き判定部３０４から得られる対象の向きと、部位判定部３０５から得られる部位情報と、カテゴリ判定部３０６から得られる特徴判別カテゴリとを基に、対象の特徴量を更新する。以下、対象の向き、部位、特徴判別カテゴリをまとめて属性と呼ぶ。また、属性を構成する要素を属性要素と呼ぶ。例えば、向きであればその角度、部位であればそれぞれの部位、特徴判別カテゴリであればそれぞれのカテゴリが属性要素（要素）である。特徴量更新部３０７は、対象検出追尾部３０２によって同一の対象の情報が得られるごとに、後に説明する特徴量管理部３０８で管理されている、同じ対象の特徴量に対して更新処理を行う。特徴量更新部３０７は、もし、対象の特徴量が過去に得られていない場合は、得られている特徴量を対象のＩＤと関連付けて、特徴量管理部３０８に提供する。また、特徴量更新部３０７は、特徴量を、属性要素別に更新する。例えば、特徴量更新部３０７は、対象向きが正面で得られた特徴量を、正面方向の特徴量として更新し、右向きで得られた特徴量を、右方向の特徴量として更新する。特徴量更新部３０７は、部位情報に対しても同じように、部位別に更新する。更新の方法は、特徴量を累積計算してもよいし、特徴量が得られるたびに追加で記憶してもよい。また、属性要素別に特徴量が更新された回数を、特徴量が得られたフレーム数として、特徴量管理部３０８に提供する。

特徴量管理部３０８は、特徴量更新部３０７の更新処理によって更新された特徴量を属性要素別に管理する（記録する）。例えば、特徴量管理部３０８は、対象向きが正面で得られた特徴量は、正面方向の特徴量として管理し、右向きで得られた特徴量は、右方向の特徴量として管理する。特徴量管理部３０８は、部位情報に対しても同じように、部位別に管理する。
信頼度算出部３０９は、特徴量管理部３０８で管理されている特徴量に対して、信頼度を計算する（導出する）。信頼度とは、更新した特徴量が、対象を特定する処理において、対象の特定を成功する確率表した数値である。言い換えると、対象の特定を成功する確度を表した数値であり、値が大きいほど成功確率が高いことを示す。信頼度算出部３０９は、信頼度を、属性要素別に定義し、特徴量を算出したフレームの総数（又はフレーム数）、又は、特徴量を抽出した対象の領域（対象領域）の解像度に基づいて計算する。信頼度算出部３０９は、特徴量を算出したフレームの総数（又はフレーム数）と、対象領域の解像度との両方に基づいて信頼度を計算してもよい。対象領域とは、例えば、向きであれば左向きの人物全体である、部位であれば頭部や胴体等の各部位であり、カテゴリであれば髭の部分である。
例えば、対象が正面方向で長時間撮像された場合、正面方向の特徴量が連続して得られ、特徴量が安定するので、正面方向の特徴量の信頼度が他の特徴量の信頼度より高くする。また、右向きの人物がカメラに接近して、大きく撮像された場合、右向きの特徴量が高解像度で得られ、特徴量の質がよいので、右向きの信頼度を他の特徴量の信頼度より高くする。逆に、対象が瞬間的に後ろ向きになった場合やカメラから遠い位置で後ろ向きになった場合は、特徴量が不安定であることや、特徴量の質が低いため、後ろ向きの信頼度を他の特徴量の信頼度より低くする。信頼度算出部３０９は、信頼度を、累積計算をすることで、徐々に信頼度が高まるよう計算してもよいし、毎回、再計算して、得られる信頼度が毎回、低い場合は、信頼度が低いまま保たれるようにしてもよい。ここで、フレーム数が多いほど情報が集まるので信頼度が高くなる。また、解像度が高いほど信頼度が高くなる。

図４は、特徴量管理部３０８が記録する対象の特徴量の一例を示した図である。対象１の画像群４０１と、対象２の画像群４０２とは、対象検出追尾部３０２の一連の追跡結果から求めることができる。画像群４０１と画像群４０２とから対象の特徴量が算出され、属性要素ごとに特徴量が更新されることで、向き別特徴量４０３と部位別特徴量４０４と特徴判別カテゴリ別の特徴量４０５とが得られる。向き別特徴量４０３は、各向きの情報と対応する特徴量を、角度別に管理している。この場合、正面方向を０度として定義し、右を９０度、後ろを１８０度、左を２７０度と３６０度方向を均等に区切って対象の向きを表している。対象の向きの角度が、これらの角度のうちの最も近い角度に対応付けられて管理されている。図４では、４５度区切りで向きを定義しているが、より細かく定義してもよいし、前後左右のみで定義してもよい。図４の例では、対象１の向き別特徴量４０３の、向き０度にはＡ，Ｂの特徴量が保存され、信頼度は９０であることを表している。同じく、対象２の向き別特徴量４０３の向き２７０度には、ｄ，ｅの特徴量が保存され、信頼度が８５であることを表している。部位別特徴量４０４は、対象の部位と対応する特徴量を、対象の部位別に管理している。部位の粒度は、より細かく定義してもよい。なお、特徴量管理部３０８が管理する特徴量は、向き別特徴量４０３及び部位別特徴量４０４においては、前述のように、特徴量抽出部３０３によって抽出された色、輝度、エッジ等を示す情報である。
また、特徴判別カテゴリ別の特徴量４０５は、特徴判別カテゴリ毎に、特徴量を管理している。そして、信頼度算出部３０９は、更新した特徴量と、その特徴量に対する信頼度とを、特徴量管理部３０８に提供する。なお、特徴量管理部３０８が管理する特徴量は、特徴判別カテゴリ別の特徴量４０５においては、前述のように、特徴量抽出部３０３によって抽出された０から１までの範囲の値で示されるものである。

対象同定部３１０は、特徴量を特徴量管理部３０８から読み出し、対象間距離を算出することにより類似性を算出し、その類似性に基づいて同定を行う。対象間距離を算出する方法としては、ユークリッド距離や、マハラノビス距離を予め学習しておく等の方法が挙げられる。また、対象同定部３１０は、対象間距離以外にも対象間の類似性を示す種々の値を用いて同定してもよい。
対象同定部３１０は、対象間の距離を計算する際、特徴量の比較は記憶されている属性要素毎に行う。属性は、大きく分けて３つの種類があり、それぞれの比較方法について以下で説明する。
１つめの属性は、対象の向きである。向き別の特徴量の比較方法について、図４の向き別特徴量４０３を例に説明する。まず、向き別の特徴量の比較は、定義した向きに従い、同じ向きに属する特徴量同士を比較する。図４において、０度の特徴量は、対象１がＡ，Ｂを保持し、対象２がａを保持しているので、対象同定部３１０は、特徴の比較をＡとａ、Ｂとａにおいて実施し、特徴量間の距離を求める。特徴量間の距離が近いほど、対象間の類似性が高いことを表す。又は、対象同定部３１０は、ＡとＢを統合したうえでａと比較してもよい。つまり、各対象の向き０度に属する特徴量の比較であれば、特定の方法に限らない。続いて、向き４５度については、対象１がＣ，Ｄの特徴量を保持し、対象２は特徴量を保持していない。この場合、対象同定部３１０は、特徴の比較を実施せず、向き４５度において特徴量の類似性は無いと判断し、対象間距離の計算から除外する。対象同定部３１０は、この処理をすべての向きに対して実施し、最終的に対象間距離を統合（例えば平均）することで、向き別特徴量の比較結果とする。また、各向きの比較については、対象同定部３１０は、向き４５度に属する特徴量に対して、隣接する向き０度及び９０度の特徴量と比較してもよい。つまり、比較の範囲は一例であり、向きを考慮した計算方法であれば、特定の方法に限るものではない。

２つ目の属性は、対象の部位である。対象の部位別特徴量の比較についても、向き別の特徴量比較と同じような方法で求めることが可能である。つまり、部位別の特徴量の比較は、同じ部位に属する特徴量同士を比較する。図４において、頭部の特徴量は、対象１がＨ，Ｉ，Ｊを保持し、対象２がｇ，ｈを保持しているので、対象同定部３１０は、これらの特徴の比較を実施し、特徴量間の距離を求める。他の部位についても同様である。また、対象同定部３１０は、向き別の特徴量比較と同様に、特徴量を統合したうえで比較してもよい。特徴量を比較して距離を求める処理をすべての向きに対して実施し、最終的に対象間距離を統合（例えば平均）することで、部位別特徴量の比較結果とする。部位を考慮した計算方法であれば、特定の方法に限るものではない。
３つ目の属性は、特徴判別カテゴリである。特徴判別カテゴリ別の特徴量の比較では、対象同定部３１０は、特徴判別カテゴリ毎に比較を実施する。図４において、髭の特徴量は、対象１が０．１を保持し、対象２が０．８を保持しているので、対象同定部３１０は、０．１と０．８とを比較する。この場合、対象同定部３１０は、特徴量の値が近いほど、対象間距離が近くなるように、値を求める。対象同定部３１０は、同じ計算を年齢、身長等にも適用し、求めた各対象間距離を統合することで特徴判別カテゴリ別の特徴量比較結果とする。
なお、各属性における特徴量の比較において、対象同定部３１０は、信頼度が所定の閾値に満たない特徴量については比較の対象外としてもよい。つまり、対象同定部３１０は、各属性要素の特徴量比較の際、信頼度が閾値以上の特徴量について比較の対象とするようにしてもよい。例えば、図４の向き別特徴量の比較の際、向き１８０度の特徴量は対象１がＦの特徴量を保持し、対象２がｂの特徴量を保持しているが、信頼度が１０と低い。そのため、対象同定部３１０は、この特徴量を特徴量比較の対象外とする。この例では、どちらの対象も信頼度が低い値であるが、対象同定部３１０は、一方の特徴量の信頼度が所定の閾値より低ければ、対象外としてもよい。特徴量の比較の際、信頼度が閾値に満たない特徴量を対象外とすることにより、同定の精度を向上させることができる。
最後に、対象同定部３１０は、算出した対象間距離を所定の閾値と比較し、閾値以内の対象距離であれば（類似性が高ければ）、同一対象と判断する。そして、対象同定部３１０は、対象間の距離又は対象の同定情報を出力部３１１に提供する。

出力部３１１は、対象が同定された結果を表示装置２０６に表示することでユーザに表示する。出力部３１１は、表示の一例として、入力装置２０５を介して表示装置２０６に表示されている対象のうち、ユーザが選択した対象に対して、対象同定部３１０によって同定された対象を、対象間距離が一番近い順に左から並べて表示するようにしてもよい。なお、左から並べる等は一例であり、画面の構成等に応じて、一番右から順に並べてもよいし、一番上から順に並べてもよい。また、出力部３１１は、ユーザへの参考情報として、属性別の信頼度をレーダーチャート等のグラフを含む画面を表示装置２０６に表示してもよい。更に、前記画面に含まれる検索領域等に、入力装置２０５を介してユーザが属性要素をより絞り込むことで、出力部３１１は、選択された属性要素に基づいて対象同定部３１０の対象間距離を再計算した結果を表示する。

図５は、表示の一例を示す図である。図５に示される画面は、検索の基準となる対象を選択する選択領域５０１と、検索結果を表示する検索結果表示領域５０２と検索条件を設定する設定領域５０３と、を含む。選択領域５０１には、検索対象のクエリ画像と、ＩＤ等の対象情報とを表す検索対象情報５１０とが含まれると共に、選択の入力を受け付ける参照ボタン５１１が含まれる。
ユーザが入力装置２０５を介して表示装置２０６に表示されている参照ボタン５１１を選択することにより、対象同定部３１０は、対象の選択処理を実施する。つまり、対象同定部３１０は、対象が選択されると、検索対象情報５１０に選択された対象の情報を出力部３１１に表示させる。検索結果表示領域５０２には、対象間の距離が一番近い順に一番左から同定対象５２０が一覧表示される。なお、ユーザが、この検索結果をみて、検索対象と一致する対象を指定することができるようにしてもよい。設定領域５０３には、向き別信頼度グラフ５３０と、部位別信頼度グラフ５３１と、特徴判別カテゴリ別信頼度グラフ５３２と、再検索ボタン５３３と、検索条件設定ボタン５３４とが、含まれる。ユーザは、検索結果表示領域５０２の表示と信頼度グラフ５３０〜５３２とに基づいて、検索の絞り込み条件を決定する。そして、ユーザは、決定した検索条件に基づいて、検索条件設定ボタン５３４の選択等によって検索条件の変更を対象同定装置１０５に指示する。対象同定部３１０は、再検索ボタン５３３が選択されると、前記指示に応じて変更した検索条件で再検索を実施する。例えば、ユーザによって、対象の向きは「正面」、部位は「頭部」、特徴判別カテゴリは「髭」が、絞り込み条件として選択されたとする。そうすると、対象同定部３１０は、その選択された条件を対象にして、同定処理を再度行うこととなる。

ここで、図５及び後述する図６のｔｒａｃｋＩＤは、一つの物体（又は一人の人物）に対して付加された識別情報である。例えば、対象検出追尾部３０２は、検出した対象ごとに識別情報を付加する。また、ｃａｍｅｒａＩＤは、撮像装置を識別する識別情報である。また、ｓｃｏｒｅは、対象間の類似性である。
また、図５では、１つの画面に、選択領域５０１、検索結果表示領域５０２、設定領域５０３が含まれる例を示したが、これに限定されるものではない。例えば、選択領域５０１、検索結果表示領域５０２、設定領域５０３は、別々の画面に表示されてもよいし、任意の組み合わせで同一の画面に表示されるようにしてもよい。後述する図６、図８等においても同様である。

図６は、検索条件を変更して再検索が実施された場合の表示の一例を示す図である。図６の例は、向きについて、正面、正右が選択され、部位について、頭部、胴体、右足が選択され、特徴判別カテゴリについて、身長、性別が選択されている。以上の条件で再検索が実施されることで、検索結果表示領域５０２に表示される結果が変わる。
ここで、出力部３１１は、向き別信頼度グラフ５３０、部位別信頼度グラフ５３１、特徴判別カテゴリ別の信頼度グラフ５３２において、選択領域５０１で選択された検索の基準となる対象の各信頼度を表示している。このような構成とすることにより、例えば、ユーザは、設定領域の各グラフに表示されている対象の各信頼度に応じて、信頼度が他の信頼度より高いものを検索条件として選択することができる。
画像取得部３０１の画像の取得は、撮像装置１０１〜１０３からの入力に限定されるものではなく、録画映像の読み込みやネットワークを介したストリーミング入力等、画像を入力する方法であればよい。
対象検出追尾部３０２の追尾は、前記画像から検出した対象を画像内で追尾する処理であればよく、上述した記載の方法に限定されるものではない。
対象同定部３１０の比較は、同定した対象の情報を管理する対象情報管理部に対して、対象のＩＤを同定したＩＤに書き換えることで同じ対象として情報を管理してもよい。このとき、出力部３１１は、画像取得部３０１で取得した画像上に、対象の位置とサイズとを表す図形、例えば対象に外接する矩形、と、対象のＩＤとを描画して表示してもよい。

図７は、連続して入力される画像に対して、対象の特徴量を記憶し、選択した対象の同定を行う情報処理の一例を示すフローチャートである。
Ｓ１０１において、画像取得部３０１は、画像を取得する。
Ｓ１０２において、対象検出追尾部３０２は、取得した画像から対象の検出処理を実施する。
次に、Ｓ１０３において、対象検出追尾部３０２は、得られた対象情報を基に、追尾処理を実行し、対象を追跡する。
次に、Ｓ１０４において、特徴量抽出部３０３は、得られた対象情報を基に、対象の特徴量を抽出する。
同時に、Ｓ１０５において、向き判定部３０４と、部位判定部３０５と、カテゴリ判定部３０６とは、対象の属性要素を判定する。
向き判定部３０４と、部位判定部３０５と、カテゴリ判定部３０６と、の処理が終了した後、Ｓ１０６において、特徴量更新部３０７は、以下の処理を実行する。即ち、特徴量更新部３０７は、抽出された特徴量と、判定された属性要素と、に基づいて、特徴量管理部３０８で管理されている、対象の特徴量を更新する。
特徴量更新部３０７の処理が終了した後、Ｓ１０７において、信頼度算出部３０９は、特徴量管理部３０８で管理されている、特徴量の属性要素別の信頼度を計算する。Ｓ１０７の処理は、物体を同定できる確率を表わす信頼度を求める制御の処理の一例である。

Ｓ１０８において、対象同定部３１０は、選択領域５０１で対象が選択されたか否かを判定する。対象同定部３１０は、選択領域５０１で対象が選択されたと判定した場合（Ｓ１０８においてＹｅｓ）、Ｓ１０９に処理を進め、対象が選択されていないと判定した場合（Ｓ１０８においてＮｏ）、Ｓ１０１に処理を戻す。
Ｓ１０９において、対象同定部３１０は、対象間の距離の算出と対象同定処理とを行う。
対象同定部３１０の処理が終了した後、Ｓ１１０において、出力部３１１は、結果を表示装置２０６等に出力する。
Ｓ１１１において、対象同定部３１０は、設定領域５０３で検索条件の設定変更がされたか否かを判定する。対象同定部３１０は、設定領域５０３で検索条件の設定変更がされたと判定した場合（Ｓ１１１においてＹｅｓ）、Ｓ１１２に処理を進める。一方、対象同定部３１０は、設定領域５０３で検索条件の設定変更がされていないと判定した場合（Ｓ１１１においてＮｏ）、図７に示すフローチャートの処理を終了させる。
Ｓ１１２において、対象同定部３１０は、変更された設定に応じて、検索条件を変更する。対象同定部３１０は、Ｓ１１２の処理の後、処理をＳ１０９に戻す。
なお、画像の取得から特徴量の更新の処理の実行タイミングは、対象選択の有無に関わらず、常時であってもよいし、何れの時点であってもよい。
以上説明の通り、本実施形態の処理によれば、対象同定装置１０５は、連続して入力される画像に対して、対象の特徴量を記憶し、選択された対象の同定をすることができる。

＜実施形態２＞
実施形態１では、出力部３１１等が、入力装置２０５等を介したユーザ操作に応じて、検索対象として既に特徴量管理部３０８において特徴量等が管理されている、登録された対象（物体）を図５や図６等のように選択領域５０１に表示する例を示した。しかし、出力部３１１等は、入力装置２０５等を介したユーザ操作に応じて、検索対象として、撮像装置１０１〜１０３で撮像中の未登録の対象を選択領域５０１に表示するようにしてもよい。図８は、検索対象の選択の他の例を示す図である。ユーザは、入力装置２０５等を操作し図８の選択領域５０１に表示されている撮像装置１０１〜１０３で撮像中の未登録の対象を検索対象として選択することができる。
検索対象が選択されると、本実施形態の対象同定装置１０５は、選択された撮像中の画像の対象の検出処理及び追尾処理を行い、特徴量を抽出すると共に、対象の向き判定、部位判定、特徴判別カテゴリの判定を行い、特徴量の登録、信頼度の算出を行う。そして、本実施形態の対象同定装置１０５は、選択された対象と、登録済みの他の対象との同定処理を行い、処理結果を出力する。
本実施形態の処理によっても、対象同定装置１０５は、選択された対象の同定をすることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態では、属性の例として、物体の向きと、物体の部位と、特徴量のカテゴリと、を例に説明を行ったが、物体の向きと、物体の部位と、特徴量のカテゴリと、の何れか、又はこれらの任意の組み合せであってもよい。

以上、上述した各実施形態の処理によれば、対象の向き、部位の種類、特徴量のカテゴリ別に特徴量を記憶、更新する際に、それぞれの特徴量の信頼度を求め、信頼度の高い特徴同士を比較することで、同定精度を向上させることができる。
よって、上述した各実施形態の処理によれば、対象の同定精度を向上させる技術を提供することができる。

１０５ 対象同定装置
２０１ ＣＰＵ

Claims (12)

1. 画像を取得する取得手段と、
   前記取得手段が取得した画像から物体を検出する検出手段と、
   前記検出手段が検出した物体の複数の要素の各々に対応する特徴量を抽出する抽出手段と、
   前記抽出手段により抽出した前記特徴量に対応する信頼度を導出する導出手段と、
   前記取得手段が取得した画像に対して行われるユーザ操作に基づいて、検索対象の物体を決定する決定手段と、
   前記決定手段により決定した前記物体における複数の要素と、該複数の要素の各々の特徴量に対応する信頼度とを関連付けた情報を出力する出力手段と、
   前記出力手段が出力した前記情報において、前記複数の要素から少なくとも一つの要素を選択する選択手段と、
   前記選択手段により選択した前記要素に対応する特徴量と該特徴量に対応する信頼度とに基づいて、前記取得手段が取得した複数の画像から前記物体を同定する同定手段と、
   を有することを特徴とする情報処理装置。
2. 前記選択手段は、前記情報に対して行われるユーザ操作に基づいて、前記要素を選択することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記検出手段により検出された物体を示す領域を選択するユーザ操作に基づいて、前記物体を決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記出力手段は、前記同定手段による同定結果を出力することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記導出手段は、前記決定手段が前記物体を決定するのに用いた画像のフレーム数に基づいて前記信頼度を導出することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記導出手段は、前記決定手段が前記物体を決定するのに用いた画像の解像度に基づいて前記信頼度を導出することを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記要素とは、前記物体の向き、部位、及び、特徴を判別するためのカテゴリのいずれか、又はこれらの任意の組み合わせである請求項１から６のいずれか一項に記載の情報処理装置。
8. 前記カテゴリは、鞄、サングラス、髭の有無、年齢、性別、身長、服装、及び体型のうちの少なくとも一つである請求項７に記載の情報処理装置。
9. 前記抽出手段は、前記物体における色、輝度、又はエッジに基づいて前記特徴量を抽出する請求項１から８のいずれか一項に記載の情報処理装置。
10. 複数の画像から検索対象の物体を同定するための情報処理方法であって、
    画像を取得する取得ステップと、
    前記取得ステップが取得した画像から物体を検出する検出ステップと、
    前記検出ステップが検出した物体の複数の要素の各々に対応する特徴量を抽出する抽出ステップと、
    前記抽出ステップにより抽出した前記特徴量に対応する信頼度を導出する導出ステップと、
    前記取得ステップが取得した画像に対して行われるユーザ操作に基づいて、検索対象の物体を決定する決定ステップと、
    前記決定ステップにより決定した前記物体における複数の要素と、該複数の要素の各々の特徴量に対応する信頼度とを関連付けた情報を出力する出力ステップと、
    前記出力ステップが出力した前記情報において、前記複数の要素から少なくとも一つの要素を選択する選択ステップと、
    前記選択ステップにより選択した前記要素に対応する特徴量と該特徴量に対応する信頼度とに基づいて、前記取得ステップが取得した複数の画像から前記物体を同定する同定ステップと、
    を有することを特徴とする情報処理方法。
11. コンピュータに、複数の画像から検索対象の物体を同定するための情報処理方法を実行させるためのプログラムであって、
    前記情報処理方法は、
    画像を取得する取得ステップと、
    前記取得ステップが取得した画像から物体を検出する検出ステップと、
    前記検出ステップが検出した物体の複数の要素の各々に対応する特徴量を抽出する抽出ステップと、
    前記抽出ステップにより抽出した前記特徴量に対応する信頼度を導出する導出ステップと、
    前記取得ステップが取得した画像に対して行われるユーザ操作に基づいて、検索対象の物体を決定する決定ステップと、
    前記決定ステップにより決定した前記物体における複数の要素と、該複数の要素の各々の特徴量に対応する信頼度とを関連付けた情報を出力する出力ステップと、
    前記出力ステップが出力した前記情報において、前記複数の要素から少なくとも一つの要素を選択する選択ステップと、
    前記選択ステップにより選択した前記要素に対応する特徴量と該特徴量に対応する信頼度とに基づいて、前記取得ステップが取得した複数の画像から前記物体を同定する同定ステップと、
    を有することを特徴とするプログラム。
12. 請求項１１に記載されたプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。

Images