JP2016206836A - 特徴量生成ユニット、照合装置、特徴量生成方法、および特徴量生成プログラム - Google Patents

Abstract

【課題】オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成し、オブジェクトの照合精度を向上させる技術を提供する。
【解決手段】画素特徴ベクトルマップ生成機能部３４は、オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する。局所領域ベクトル生成機能部３６は、大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出し、算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する。大域領域ベクトル生成機能部３７は、大域領域に位置する局所領域の局所領域ベクトルの自己相関行列を算出し、算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する。
【選択図】図２

Description

この発明は、オブジェクトの照合に用いる特徴量を、このオブジェクトが撮像されているオブジェクト画像を処理して生成する技術に関する。

従来、カメラで撮像したフレーム画像に撮像されているオブジェクト(被検索対象オブジェクト）の中から、特定のオブジェクト（検索対象オブジェクト）を検出する画像処理の技術が様々な分野で利用されている。例えば、犯罪捜査等では、様々な場所に設置されている防犯カメラによって撮像された動画像に対して、犯罪に関係する人（容疑者）が撮像されているかどうかの検索に利用している。また、製造ラインでは、この製造ラインを流れる物品を撮像した画像を処理して、異種物品や不良品（検索対象オブジェクトでない物品）の検出に利用している。

被検索対象オブジェクトが検索対象のオブジェクトであるかどうかの判定は、検索対象オブジェクトが撮像された画像から生成した検索対象オブジェクトの特徴量と、被検索対象オブジェクトが撮像された画像から生成した被検索対象オブジェクトの特徴量と、を照合し、その類似度によって行っている。したがって、オブジェクトの照合精度の向上を図る上で、オブジェクトが撮像された画像から照合に適したオブジェクトの特徴量を生成することが重要である。

例えば、特許文献１、２は、オブジェクトが撮像された画像から、このオブジェクトの色と形状の情報を含む特徴量を生成する手法を開示している。具体的には、オブジェクトが撮像された画像の画素の２値化された濃淡値や量子化された色ベクトルの局所自己相関によって、オブジェクトの特徴量を生成している。

特開２００６−２６０３１０号公報 特開２０１０− ２６７１２号公報

最近では、テロリズムによる事件や、凶悪犯罪等に対する対策として、容疑者の探索が広域にわたって行われることがある。この場合、撮像エリアが異なる多数の防犯カメラの撮像画像を確認することになる。すなわち、防犯カメラ間で容疑者の照合を行うことになる。異なる防犯カメラ間においては、解像度等の性能の違いや、撮像エリアに対するアングルや周辺の明るさ等の撮像環境の違いがあるので、性能や撮像環境が違う防犯カメラで撮像された撮像画像間で容疑者を照合することになる。このようなことから、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成する技術の開発が要望されている。

この発明の目的は、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成し、オブジェクトの照合精度を向上させる技術を提供することを目的にする。

この発明の特徴量生成ユニットは、上記目的を達するため、以下のように構成されている。

この特徴量生成ユニットは、オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する。

オブジェクト画像は、オブジェクトが撮像されているフレーム画像から、このオブジェクトが撮像されている領域を切り出し、切り出した領域を予め定めた画素数に変換した画像にすればよい。これにより、大域領域の特徴量を生成するオブジェクト画像のサイズが均一になる。また、オブジェクト画像全体を１つの大域領域としてもよいし、オブジェクト画像に対して複数の大域領域を設定してもよい。また、オブジェクト画像に対して複数の大域領域を設定する場合には、各帯域領域が他の大域領域に重ならないように設定してもよいし、他の大域領域に重なるようにしてもよい。オブジェクト画像に撮像されているオブジェクトの特徴量は、このオブジェクト画像に対して設定した各大域領域の特徴量である。

画素特徴ベクトル抽出部は、オブジェクトが撮像されているオブジェクト画像の各画素について、画素特徴ベクトルを抽出する。画素特徴ベクトルの要素としては、輝度値にかかる要素や、エッジにかかる要素や、色相にかかる要素等がある。

第１の自己相関行列算出部は、大域領域内に設定した複数の局所領域毎に、その局所領域内に位置する画素の画素特徴ベクトルの自己相関行列を算出する。自己相関行列は、画素特徴ベクトルの平均の情報を含んでいる（自己相関行列は、平均をゼロとした場合の共分散行列である。）。

局所領域ベクトル生成部は、局所領域毎に、第１の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する。例えば、自己相関行列同士の距離を適切に計算するため，行列に対して定義される対数変換（行列対数変換）を行った後、画像特徴ベクトルの自己相関行列をベクトルに並び替えることで、局所領域ベクトルを生成する。

第２の自己相関行列算出部は、大域領域に位置する局所領域の局所領域ベクトルの自己相関行列を算出する。そして、大域領域ベクトル生成部は、大域領域の特徴量として、第２の自己相関行列算出部で算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する。大域領域ベクトル生成部も、例えば、局所領域ベクトルの自己相関行列に対して行列対数変換を行い、ベクトルへ並び替えることで、大域領域ベクトルを生成する。

このように、局所領域における画素の特徴量の分布（自己相関行列）を一旦局所領域の特徴量として算出し、その後大域領域における局所領域の特徴量の分布（自己相関行列）を大域領域の特徴量として算出する。大域領域の特徴量は、大域領域内に位置する局所領域の特徴分布である。したがって、大域領域において、色や勾配等の特徴量（画素特徴ベクトル）の分布量が類似しているオブジェクトであっても、局所領域における画素の分布が異なっているオブジェクトであれば、異なる大域領域の特徴ベクトルを生成でき、対象の判別性が向上する。また、画像の局所領域における画素の特徴分布は、カメラの性能や撮像環境の違いに対して頑健性を持つ。したがって、画像の局所領域における画素の特徴分布を統合した大域領域の特徴量も、カメラの性能や撮像環境の違いに対して頑健性を持つ。

また、この発明にかかる照合装置は、特徴量生成ユニットが検索対象オブジェクトについて生成した大域領域ベクトルと、被検索対象オブジェクトについて生成した大域領域ベクトルとを用いて、被検索対象オブジェクトが検索対象オブジェクトであるかどうかを判定する。上述したように、大域領域の特徴量は、カメラの性能や撮像環境の違いに対して頑健性を持つので、オブジェクトの照合精度を向上させることができる。

この発明によれば、オブジェクトの撮像画像から、カメラの性能や撮像環境の違いに対して頑健性を持つオブジェクトの特徴量を生成することができる。

照合装置の主要部の構成を示すブロック図である。 画像処理部の機能構成を示す概略の機能ブロック図である。 特徴量生成処理を示すフローチャートである。 処理対象フレーム画像を示す図である。 処理対象フレーム画像上に設定したオブジェクト領域を示す図である。 正規化画像を示す図である。 正規化画像に対して設定される大域領域示す図である。 正規化画像に対して設定される参照画素を示す図である。 照合処理を示すフローチャートである。

以下、この発明の実施形態である照合装置について説明する。

図１は、この例にかかる照合装置の主要部の構成を示すブロック図である。照合装置１は、画像入力部２と、画像処理部３と、照合部４と、出力部５と、特徴量記憶部６と、を備えている。

この例にかかる照合装置１は、フレーム画像に撮像されている人を対象者とし、この対象者の特徴量を生成する特徴量生成処理を行う。また、照合装置１は、特徴量生成処理で生成した対象者（検索対象者）の特徴量と、特徴量生成処理で生成した他の対象者（被検索対象者）の特徴量とを照合し、被検索対象者が検索対象者であるかどうかを判定する照合処理を行う。

画像入力部２には、接続された外部機器から対象者が撮像されている静止画像や、動画像が入力される。外部機器は、静止画像や、動画像を画像入力部２に入力する機能を備える装置であれば、どのような機器であってもよい。例えば、外部機器は、監視エリアを撮像している防犯カメラあってもよいし、防犯カメラが監視エリアを撮像した動画像にかかる動画像ファイルを再生する再生装置であってもよいし、撮像した静止画像を記憶しているデジタルスチルカメラであってもよい。

画像処理部３は、画像入力部２に入力されたフレーム画像に撮像されている人を対象者とし、この対象者の特徴量を生成する特徴量生成処理を行う。画像処理部３が、この発明にかかる特徴量生成方法を実行する。また、この発明にかかる特徴量生成プログラムは、各ステップを画像処理部３が備える画像処理プロセッサ（コンピュータ）に実行させる。画像処理部３が実行する特徴量生成処理の詳細については後述する。

照合部４は、対象者（検索対象者）の特徴量と、他の対象者（被検索対象者）の特徴量とを照合し、被検索対象者が検索対象者であるかどうかを判定する照合処理を行う。照合部４が実行する照合処理の詳細については後述する。

出力部５は、照合部における照合処理の結果を上位装置等に出力する。

特徴量記憶部６は、画像処理部３が特徴量を生成した対象者毎に、対象者を識別するＩＤ、この対象者について生成した特徴量、特徴量の生成に用いたフレーム画像の撮像日時、特徴量の生成に用いたフレーム画像の撮像場所等を対応付けた照合用データを記憶する。特徴量記憶部６は、対象者の特徴量を生成したフレーム画像毎に、その対象者の照合用データを特徴量記憶部６に記憶する。したがって、同一人物であっても、特徴量を生成したフレーム画像が異なる場合には、ＩＤが異なる照合用データが特徴量記憶部６に記憶される。

図２は、画像処理部の機能構成を示す概略の機能ブロック図である。画像処理部３は、オブジェクト検出機能部３１と、オブジェクト領域切出機能部３２と、画像サイズ正規化機能部３３と、画素特徴ベクトルマップ生成機能部３４と、領域設定機能部３５と、局所領域ベクトル生成機能部３６と、大域領域ベクトル生成機能部３７と、特徴量生成機能部３８とを有する。

オブジェクト検出機能部３１は、画像入力部２に入力されたフレーム画像に撮像されている人物（対象者）を検出する。また、オブジェクト検出機能部３１は、対象者が撮像されているフレーム画像の中から処理対象フレーム画像を選択する機能を有する。

オブジェクト領域切出機能部３２は、オブジェクト検出機能部３１が選択した処理対象フレーム画像上において、オブジェクト検出機能部３１が検出した対象者を囲む矩形領域をオブジェクト領域として切り出す。

画像サイズ正規化機能部３３は、オブジェクト領域切出機能部３２が切り出したオブジェクト領域の画像を予め定めた画素数の画像に変換する。画像サイズ正規化機能部３３は、オブジェクト領域切出機能部３２が切り出したオブジェクト領域の画像を、公知のニアレストネイバー法、バイリニア法、バイキュービック法等で予め定めた画素数の画像に変換する。画像サイズ正規化機能部３３が予め定めた画素数に変換したオブジェクト領域の画像を、ここでは正規化画像と言う。

オブジェクト領域切出機能部３２、および画像サイズ正規化機能部３３が、この発明で言うオブジェクト画像生成部に相当する。

画素特徴ベクトルマップ生成機能部３４は、正規化画像の画素毎に画素特徴ベクトルを生成する。画素特徴ベクトルは、ｄ次元のベクトルである（ｄ＞１）。画素特徴ベクトルマップ生成機能部３４が、この発明で言う画素特徴ベクトル抽出部に相当する。

領域設定機能部３５は、正規化画像に対して、局所領域と、大域領域と、を設定する。局所領域は、複数の画素からなる領域である。大域領域は、複数の局所領域が位置する領域である。すなわち、大域領域は、局所領域よりも大きい。また、この例では、正規化画像に対して、大域領域を複数設定する。複数の大域領域は、他の大域領域と重ならないように設定してもよいし、他の大域領域と重なるように設定してもよい。また、局所領域も他の局所領域と重ならないように設定してもよいし、他の局所領域と重なるように設定してもよい。

局所領域ベクトル生成機能部３６は、領域設定機能部３５によって設定された局所領域毎に、その局所領域内に位置する画素の画素特徴ベクトルの自己相関行列を算出する。局所領域内に位置する画素の画素特徴ベクトルの自己相関行列が、この発明で言う第１の自己相関行列に相当する。

また、局所領域ベクトル生成機能部３６は、局所領域毎に、その局所領域について算出した画素の画素特徴ベクトルの自己相関行列をベクトル化した局所領域ベクトルを生成する。局所領域ベクトルが、局所領域の特徴量である。局所領域ベクトル生成機能部３６が、この発明で言う第１の自己相関行列算出部、および局所領域ベクトル生成部に相当する。

大域領域ベクトル生成機能部３７は、領域設定機能部３５によって設定された大域領域毎に、その大域領域内に位置する局所領域の局所領域ベクトルの自己相関行列を算出する。大域領域内に位置する局所領域の局所領域ベクトルの自己相関行列が、この発明で言う第２の自己相関行列に相当する。

また、大域領域ベクトル生成機能部３７は、大域領域毎に算出した局所領域の局所領域ベクトルの自己相関行列をベクトル化した大域領域ベクトルを生成する。大域領域ベクトルが、大域領域の特徴量である。大域領域ベクトル生成機能部３７が、この発明で言う第２の自己相関行列算出部、および大域領域ベクトル生成部に相当する。

特徴量生成機能部３８は、各大域領域の大域領域ベクトルを対象者の特徴量にする。すなわち、対象者の特徴量は、複数（領域設定機能部３５が正規化画像に対して設定した大域領域の個数）の大域領域ベクトルである。

以下、この例にかかる照合装置１の動作について説明する。

まず、照合装置１における特徴量生成処理について説明する。図３は、特徴量生成処理を示すフローチャートである。画像処理部３が、この特徴量生成処理を実行する。ここでは、画像入力部２に入力されるフレーム画像は、カラー画像である。また、照合装置１には、画像入力部２に入力されたフレーム画像の撮像日時や撮像場所等の情報が入力されている。

画像処理部３は、画像入力部２に入力されたフレーム画像の中から、処理対象フレーム画像を選択する（ｓ１）。ｓ１では、オブジェクト検出機能部３１が、画像入力部２に入力されたフレーム画像に対象者（特徴量を生成する対象者）が撮像されているかどうかを、公知のパターンマッチング等の手法で判定する。オブジェクト検出機能部３１は、対象者が撮像されているフレーム画像を処理対象フレーム画像として選択する。

なお、画像入力部２に入力されている画像が動画像であれば、対象者が時間的に連続する複数のフレーム画像に撮像されている場合がある。オブジェクト検出機能部３１は、対象者が時間的に連続する複数のフレーム画像に撮像されている場合には、これらのフレーム画像の中で、この対象者の撮像状態が特徴量の生成に最適であるフレーム画像を処理対象フレーム画像として選択する。この例では、フレーム画像上における対象者の大きさが正規化サイズに最も近いフレーム画像を処理対象フレーム画像として選択する。

図４は、ｓ１で選択された処理対象フレーム画像を示す図である。オブジェクト領域切出機能部３２は、ｓ１で選択した処理対象フレーム画像に撮像されている対象者を囲む矩形領域をオブジェクト領域に設定し、このオブジェクト領域を切り出す（ｓ２）。図５は、処理対象フレーム画像上に設定したオブジェクト領域を示す図である。

画像サイズ正規化機能部３３は、ｓ２で切り出したオブジェクト領域の画像を、予め定めた画素数の正規化画像（ｎ（横）×ｍ（縦）画素の画像）に変換する正規化画像生成処理を行う（ｓ３）。ｓ３では、公知のニアレストネイバー法、バイリニア法、バイキュービック法等で、ｓ２で切り出したオブジェクト領域の画像を正規化画像に変換する。図６は正規化画像を示す図である。この例では、正規化画像は、４８（＝ｎ）×１２８（＝ｍ）画素である。

上述したように、処理対象フレーム画像として、フレーム画像上における対象者の大きさが正規化サイズに最も近いフレーム画像を選択するので、ｓ３にかかる正規化画像生成処理の影響が抑えられる。

画素特徴ベクトルマップ生成機能部３４は、正規化画像の画素毎に、その画素の画素特徴ベクトルを登録した画素特徴ベクトルマップを作成する（ｓ４）。この例では、正規化画像の任意の画素ｒの画素特徴ベクトルｘ（ｒ）は、［数１］に示す６次元のベクトルである。ｒは、正規化画像における画素の位置を示す。

［数１］においてＲ（ｒ）は、その画素の赤の輝度値、Ｇ（ｒ）は、その画素の緑の輝度値、Ｂ（ｒ）は、その画素の青の輝度値、Ｉ_xは水平方向のエッジの強さ、Ｉ_yは垂直方向のエッジの強さである。また、｜｜は絶対値である。［数１］に示す画素特徴ベクトルｘ（ｒ）は、オブジェクトの色と模様にかかる情報を含んでいる。

なお、画素特徴ベクトルは、［数１］に示した６次元のベクトルに限らず、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）にかかる要素も加えた９次元のベクトルにしてもよいし、ＲＧＢの輝度値にかかる要素を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）にかかる要素に置き換えた６次元のベクトルにしてもよい。さらには、画像入力部２に入力されている画像がカラー画像でない場合（モノクロ画像である場合）には、ＲＧＢの輝度値にかかる要素をその画素の輝度値に置き換えた４次元のベクトルにしてもよい。

また、水平方向のエッジの強さや、垂直方向のエッジの強さは、公知のPrewittフィルタや、Sobelフィルタ等を用いることによって検出できる。

また、領域設定機能部３５が、ｓ３で生成した正規化画像に対して、大域領域、および局所領域を設定する領域設定処理を行う（ｓ５）。このｓ５にかかる処理は、ｓ４にかかる処理よりも先に行ってもよい。図７は、正規化画像に対して設定される大域領域を示す図である。この例では、図７に示すように、正規化画像に対して７つの大域領域Ａ〜Ｇを設定する。大域領域Ａ〜Ｇのサイズは同じである。この例では、大域領域のサイズは、４８×３２画素（１５３６画素）である。領域設定機能部３５は、正規化画像を縦方向（図７に示す上下方向）に均等に４分割し、上から順番に大域領域Ａ，大域領域Ｃ、大域領域Ｅ、大域領域Ｇを設定する。また、領域設定機能部３５は、上半分が大域領域Ａに重なり、下半分が大域領域Ｃに重なる大域領域Ｂ、上半分が大域領域Ｃに重なり、下半分が大域領域Ｅに重なる大域領域Ｄ、および上半分が大域領域Ｅに重なり、下半分が大域領域Ｇに重なる大域領域Ｆを設定する。

なお、正規化画像に対して設定する大域領域の個数は、図７に示した７つに限らず、いくつであってもよい。また、正規化画像に対していずれかの大域領域が、他の大域領域と重なるように設定してもよいし、重ならないように設定してもよい。

また、領域設定機能部３５は、正規化画像に対して複数の参照画素ｐを設定することにより、複数の局所領域を設定する。局所領域は、設定した参照画素ｐ毎に、その参照画素ｐを中心とするα×β画素の領域である。この例では、局所領域は、参照画素ｐを中心とする７（＝α）×７（＝β）画素（４９画素）の領域である。領域設定機能部３５は、図８に示すように、正規化画像に対して、横方向、および縦方向に２画素間隔で参照画素ｐを設定する。図８において、ハッチングで示すそれぞれの画素が、参照画素ｐである。また、図８では、１つの参照画素ｐについて設定される１つの局所領域を図示している。

なお、領域設定機能部３５は、正規化画像の全ての画素を参照画素ｐに設定してもよいし、横方向、および縦方向に３画素間隔等で参照画素ｐを設定してもよい。また、局所領域のサイズも、７×７画素に限らず、３×３画素や、４×４画素、１１×１１画素等に設定してもよい。さらには、この例では、局所領域が参照画素ｐを中心にして設定されるとしたが、参照画素ｐを中心とせず、参照画素ｐを局所領域の右上の角の画素にしてもよいし、左上の角の画素にしてもよい。すなわち、局所領域は、参照画素ｐを基準にして設定される領域であれば、どのように設定される領域であってもよい。

正規化画像に対する大域領域の設定条件、正規化画像に対する参照画素ｐの設定条件、参照画素ｐを基準にした局所領域の設定条件等は、予め設定されている。

局所領域ベクトル生成機能部３６は、ｓ５で設定された参照画素ｐ毎に、その参照画素ｐに対して設定される局所領域の自己相関行列Σ(ｐ)を登録した自己相関局行列マップを作成する（ｓ６）。ｓ６で生成する自己相関行列マップは、参照画素ｐと、局所領域の自己相関局行列Σ(ｐ)と、を対応づけたものである。

参照画素ｐに対して設定される局所領域の自己相関行列Σ(ｐ)は、

により算出される。［数２］において、NL(p)は、参照画素ｐの局所領域内の画素数（この例では、４９画素）であり、LocalArea(p)は、参照画素ｐに対して設定される局所領域を示す。

局所領域ベクトル生成機能部３６は、正規化画像の参照画素pについて設定される局所領域LocalArea(p)ごとに、自己相関行列Σ(p)を算出する。このとき、各局所領域の自己相関行列が対称行列であるので、重複する要素については、一方について演算し、他方については一方の演算結果を流用する。この例では、画素特徴ベクトルｘ（ｒ）が６次元であるので、画素特徴ベクトルｘ（ｒ）の自己相関行列は６行６列になる。また、重複する要素の組は、１５組である。すなわち、この例では、１つの局所領域の自己相関行列の算出において、１５個の要素について演算を省略できる。

また、局所領域ベクトル生成機能部３６は、局所領域LocalArea(p)毎の自己相関行列Σ(p)に対して行列対数変換を行う（ｓ７）。自己相関行列は正定値対象行列であるため、この行列の形成する空間は、ユークリッド空間でなく、リーマン多様体となっている。行列対数変換は、正定値対象行列をこの多様体の接空間へ射影することに相当し、これを行った後、行列をベクトル化することで、自己相関行列の多様体構造を配慮した演算が、通常のユークリッド空間の演算により実現可能となる。

ｓ７では、各局所領域LocalArea(p)の自己相関行列Σ(p)を、

に示すように特異値分解する。

また、行列対数変換を、

と定義する。この行列対数変換では、固有値λが０であるとき、行列対数変換した値が−∞になるのを防止するため、特異値λにεを加算するようにしている。この例では、ε＝１とした。

さらに、局所領域ベクトル生成機能部３６は、行列対数変換した行列Ｙ(p)＝log（Σ(p)）を、要素の重複を考慮し、

により、ベクトル化する（ｓ８）。ｓ８でベクトル化された、局所領域LocalArea(p)の自己相関行列Σ(p)のベクトルy(p)は、局所領域LocalArea(p)の特徴ベクトル（この発明で言う、局所領域ベクトルに相当する。）である。局所領域LocalArea(p)の特徴ベクトルy(p)は、画素特徴ベクトルがｄ次元のベクトルである場合、（ｄ×（ｄ＋１）／２）次元のベクトルになる。局所領域ベクトル生成機能部３６は、局所領域LocalArea(p)毎に、その局所領域LocalArea(p)の特徴ベクトルy(p)を登録した局所領域ベクトルマップを作成する（ｓ９）。

次に、大域領域ベクトル生成機能部３７が、大域領域Ａ〜Ｇ毎に、その大域領域Ａ〜Ｇの自己相関行列Ｍ（Ｍ（Ａ）〜Ｍ（Ｇ））を登録した自己相関局行列マップを作成する（ｓ１０）。大域領域Ａ〜Ｇの自己相関局行列マップは、

により算出する。［数６］において、NGは、大域領域内に位置する局所領域の数であり、GlobalAreaは大域領域を示す。

ｓ９では、大域領域において、その領域内の局所領域LocalArea(p)の特徴ベクトルy(p)の自己相関行列Ｍを算出する。このとき、大域領域ベクトル生成機能部３７は、大域領域の自己相関行列Ｍが対称行列であるので、重複する要素については、一方について演算し、他方については一方の演算結果を流用する。この例では、局所領域LocalArea(p)の特徴ベクトルy(p)は、２１次元であるので、大域領域の自己相関行列Ｍは２１行２１列になる。また、重複する要素の組は、２１０組である。すなわち、この例では、大域領域の自己相関行列Ｍの算出において、２１０個の要素について演算を省略できる。

大域領域ベクトル生成機能部３７は、大域領域Ａ〜Ｇ毎に、自己相関行列Ｍ（Ｍ（Ａ）〜Ｍ（Ｇ））を対応づけた大域領域の自己相関行列マップを作成する。

また、大域領域ベクトル生成機能部３７は、大域領域Ａ〜Ｇ毎に、その大域領域Ａ〜Ｇの自己相関行列Ｍ（Ｍ（Ａ）〜Ｍ（Ｇ））に対して行列対数変換を行う（ｓ１１）。上述したように、自己相関行列は、正定値対称行列であることから、行列の対数変換を行ってベクトル化することで、ユークリッド空間の演算に自己相関行列の多様体構造を配慮させる。

ｓ１１では、ｓ７と同様の手法で、各大域領域Ａ〜Ｇの自己相関行列Ｍ（Ｍ（Ａ）〜Ｍ（Ｇ））に対して行列対数変換を行う。

さらに、大域領域ベクトル生成機能部３７は、大域領域Ａ〜Ｇ毎に、行列対数変換した行列を、要素の重複を考慮してベクトル化する（ｓ１２）。ｓ１２でベクトル化された、各大域領域Ａ〜Ｇの特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）は、画素特徴ベクトルがｄ次元のベクトルである場合、
（（ｄ×（ｄ＋１）／２）×（（ｄ×（ｄ＋１）／２）＋１）／２）次元のベクトルになる。この例では、２３１次元のベクトルになる。各大域領域Ａ〜Ｇの特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）が、この発明で言う大域領域ベクトルに相当する。

特徴量生成機能部３８は、対象者を識別する対象者のＩＤ、各大域領域Ａ〜Ｇの特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）、処理対象フレーム画像の日時、撮像場所等を対応づけた照合用データを生成し、この照合用データを特徴量記憶部６に登録する（ｓ１３）。

このように、画像処理部３は、局所領域LocalArea(p)における画素の特徴量の分布（自己相関行列）を、局所領域LocalArea(p)の特徴量として算出し、その後大域領域における局所領域LocalArea(p)の特徴量の分布を大域領域の特徴量として算出する。画像の局所領域LocalArea(p)における画素の特徴分布は、カメラの性能や撮像環境の違いに対して頑健性を持つ。また、大域領域の特徴量は、この大域領域内に位置する局所領域LocalArea(p)の特徴分布である。したがって、オブジェクト画像において、色や勾配等の特徴量（画素特徴ベクトル）が類似する画素の分布量が近似しているオブジェクトであっても、局所領域の画素の分布が異なっているオブジェクトであれば、異なる大域領域ベクトルが生成される。

次に、照合処理について説明する。図９は、照合処理を示すフローチャートである。

照合部４は、指定された検索対象者の照合用データを特徴量記憶部６から読み出すとともに（ｓ２１）、被検索対象者の照合用データを特徴量記憶部６から読み出す（ｓ２２）。検索対象者、および被検索対象者の照合用データは、上述した特徴量生成処理で生成され、特徴量記憶部６に記憶されている。

照合装置１は、オペレータ等が被検索対象者を指定する構成であってもよいし、照合部４が特徴量記憶部６に照合用データが記憶されている人物の中から被検索対象者を自動的に選択する構成であってもよい。

照合部４は、大域領域Ａ〜Ｇ毎に、検索対象者の特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）と、被検索対象者の特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）と、の距離を算出する（ｓ２３）。照合部４は、大域領域Ａ〜Ｇ毎に算出した、特徴ベクトルｚ（Ａ）〜ｚ（Ｇ）の距離の総和を算出する（ｓ２４）。

照合部４は、ｓ２４で算出した、距離の総和が予め定めた閾値以下であれば、ｓ２で照合用データを読み出した被検索対象者を、ｓ１で照合用データを読み出した検索対象であると判定する（ｓ２５、ｓ２６）。反対に、照合部４は、ｓ２５で算出した、距離の総和が予め定めた閾値以下でなければ、ｓ２で照合用データを読み出した被検索対象者を、ｓ１で照合用データを読み出した検索対象でないと判定する（ｓ２５、ｓ２７）。

このように、この照合装置１は、上述した特徴量生成処理で生成した特徴量を用いて、オブジェクトの照合を行うので、照合精度の向上が図れる。

１…照合装置
２…画像入力部
３…画像処理部
４…照合部
５…出力部
６…特徴量記憶部
３１…オブジェクト検出機能部
３２…オブジェクト領域切出機能部
３３…画像サイズ正規化機能部
３４…画素特徴ベクトルマップ生成機能部
３４…画素特徴ベクトルマップ生成機能部
３４…画素特徴ベクトルマップ生成機能部
３５…領域設定機能部
３６…局所領域ベクトル生成機能部
３７…大域領域ベクトル生成機能部
３８…特徴量生成機能部

Claims (11)

1. オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する特徴量生成ユニットであって、
   オブジェクトが撮像されているオブジェクト画像の各画素について、画素特徴ベクトルを抽出する画素特徴ベクトル抽出部と、
   前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第１の自己相関行列算出部と、
   前記局所領域毎に、前記第１の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成部と、
   前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第２の自己相関行列算出部と、
   前記大域領域の特徴量として、前記第２の自己相関行列算出部で算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成部と、を備えた特徴量生成ユニット。
2. 前記局所領域ベクトル生成部は、前記第１の自己相関行列算出部で算出した画素特徴ベクトルの自己相関行列に対して行列対数変換を行って局所領域ベクトルを生成する、請求項１に記載の特徴量生成ユニット。
3. 前記画素特徴ベクトル抽出部は、画素の輝度値にかかる要素を含む画素特徴ベクトルを抽出する、請求項１、または２に記載の特徴量生成ユニット。
4. 前記画素特徴ベクトル抽出部は、画素のエッジにかかる要素を含む画素特徴ベクトルを抽出する、請求項１〜３のいずれかに記載の特徴量生成ユニット。
5. オブジェクトが撮像されているフレーム画像から、このオブジェクトが撮像されている領域を切り出し、切り出した領域を予め定めた画素数に変換した画像を前記オブジェクト画像として生成するオブジェクト画像生成部を備えた、請求項１〜４のいずれかに記載の特徴量生成ユニット。
6. 前記大域領域内に設定した前記局所領域は、この大域領域内に設定した他の局所領域と重なっている、請求項１〜５のいずれかに記載の特徴量生成ユニット。
7. 前記オブジェクト画像に対して設定した複数の前記大域領域毎に、その大域領域について前記大域領域ベクトル生成部が生成した大域領域ベクトルを、このオブジェクト画像に撮像されているオブジェクトの特徴量にするオブジェクト特徴量生成部を備えた請求項１〜６のいずれかに記載の特徴量生成ユニット。
8. 前記オブジェクト画像に対して設定した前記大域領域は、このオブジェクト画像に対して設定した他の大域領域と重なっている、請求項７に記載の特徴量生成ユニット。
9. 請求項１〜８のいずれかに記載の特徴量生成ユニットを備え、
   前記特徴量生成ユニットが検索対象オブジェクトについて生成した前記大域領域ベクトルと、被検索対象オブジェクトについて生成した前記大域領域ベクトルと、を用いて、前記被検索対象オブジェクトが前記検索対象オブジェクトであるかどうかを判定する照合部を備えた照合装置。
10. オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する特徴量生成方法であって、
    オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する画素特徴ベクトル抽出ステップと、
    前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第１の自己相関行列算出ステップと、
    前記局所領域毎に、前記第１の自己相関行列算出ステップで算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成ステップと、
    前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第２の自己相関行列算出ステップと、
    前記大域領域の特徴量として、前記第２の自己相関行列算出ステップで算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成ステップと、を備えた特徴量生成方法。
11. オブジェクトが撮像されているオブジェクト画像に対して設定した大域領域の特徴量を生成する処理をコンピュータに実行させる特徴量生成プログラムであって、
    オブジェクトが撮像されているオブジェクト画像の各画素について、予め定めた次元の画素特徴ベクトルを抽出する画素特徴ベクトル抽出ステップと、
    前記大域領域内に設定した複数の局所領域毎に、その局所領域に位置する画素の画素特徴ベクトルの自己相関行列を算出する第１の自己相関行列算出ステップと、
    前記局所領域毎に、前記第１の自己相関行列算出ステップで算出した画素特徴ベクトルの自己相関行列から局所領域ベクトルを生成する局所領域ベクトル生成ステップと、
    前記大域領域に位置する前記局所領域の局所領域ベクトルの自己相関行列を算出する第２の自己相関行列算出ステップと、
    前記大域領域の特徴量として、前記第２の自己相関行列算出ステップで算出した局所領域ベクトルの自己相関行列から大域領域ベクトルを生成する大域領域ベクトル生成ステップと、をコンピュータに実行させる特徴量生成プログラム。

Images