JP2019125057A - 画像処理装置及びその方法、プログラム - Google Patents

Abstract

【課題】 画像中の物体を簡単に照合する。【解決手段】 画像情報処理装置に、入力画像から画像特徴を抽出する画像特徴抽出部１０５と、前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出部１０７と、前記画像特徴に基づいて補正情報を取得する取得部１０８と、前記補正情報を用いて前記前景領域を補正する補正部１０９と、前記補正手段により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出部１１０と、前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合部１１１とを備える。【選択図】 図１

Description

本発明は、画像中の物体の照合などを行う画像処理装及びその方法、プログラム置に関するものである。

監視カメラシステムにおいて、カメラ画像から人物などの物体を検出して、他のカメラで検出された物体と同一であるか否かを判定する技術が開示されている（非特許文献１、非特許文献２）。この技術では、まず、カメラ画像中から物体を検出する。次に、その物体の領域から物体固有の特徴を表す照合特徴を抽出する。そして、異なるカメラで検出された物体の照合特徴を比較することで、これらの物体が同一であるか否かを識別する。

監視カメラは頭上から物体を見下ろす角度で設置されることが多い。そのため、カメラのパースペクティブによって、物体が画像の左右の端に近づくほど、画像のｙ軸方向に対して傾いたように映る。画像の照合精度を向上させるためには、画像に映る物体がなるべく同じ環境条件に近づくになるように正規化することが望ましい。そのため、非特許文献１では、事前に取得したカメラの回転などの姿勢情報を用いて、傾いた物体の画像を直立した物体の画像に補正している。

また、照合特徴の抽出領域に物体以外の背景が含まれていると精度が低下することが知られている。そのため、非特許文献３では推定した物体領域のマスクを用いることで、物体領域のみから照合特徴を抽出している。

Ｓ．Ｂａｋ ｅｔ ａｌ．，"Ｐｅｒｓｏｎ ｒｅ−ｉｄｅｎｔｉｃａｔｉｏｎ ｅｍｐｌｏｙｉｎｇ ３Ｄ ｓｃｅｎｅ ｉｎｆｏｒｍａｔｉｏｎ，"Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ，Ｓｏｃｉｅｔｙ ｏｆ Ｐｈｏｔｏ−ｏｐｔｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ Ｅｎｇｉｎｅｅｒｓ，２０１５． Ｓ．Ｌｉａｏ ｅｔ ａｌ．，"Ｐｅｒｓｏｎ Ｒｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｌｏｃａｌ Ｍａｘｉｍａｌ Ｏｃｃｕｒｒｅｎｃｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ，"Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５． Ｍ．Ｆａｒｅｎｚｅｎａ ｅｔ ａｌ．，"Ｐｅｒｓｏｎ Ｒｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｂｙ Ｓｙｍｍｅｔｒｙ−Ｄｒｉｖｅｎ Ａｃｃｕｍｕｌａｔｉｏｎ ｏｆ Ｌｏｃａｌ Ｆｅａｔｕｒｅｓ，"ＣＶＰＲ２０１０． Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ「Ｒｏｂｕｓｔ Ｒｅａｌ‐ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」ＩＪＣＶ２００１

非特許文献１では、カメラの姿勢情報を取得するためにはカメラキャリブレーションが必要となる。しかしながら、人手によるキャリブレーションは人的なコストがかかる。特に、多数の監視カメラを運用する際には、カメラの設定によるユーザの負担が大きい。カメラのパン・チルト・ズームやカメラ固定器具の劣化によるカメラの姿勢の変化によっても再設定が必要になることがある。

また、好適にカメラ間の物体照合を行うためには、非特許文献１のような傾いた物体に対して画像変換によって傾き補正を行う処理と、非特許文献３のような物体領域を抽出する処理の両方が必要である。しかしながら、同じ物体を対象としているにもかかわらず、これらの処理を別々に行うことは冗長であり、余分な計算量が必要となる。

本発明は、上記課題に鑑みてなされたものであり、画像中の物体を簡単に照合することのできる装置を提供することを目的とする。

本発明の１態様によれば、画像情報処理装置に、入力画像から画像特徴を抽出する画像特徴抽出手段と、前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出手段と、前記画像特徴に基づいて補正情報を取得する取得手段と、前記補正情報を用いて前記前景領域を補正する補正手段と、前記補正手段により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出手段と、前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合手段とを備える。

本発明によれば、画像中の物体を簡単に照合することができる。

実施形態１の人物照合装置の機能構成を示す図である。 実施形態１の人物照合装置のハードウェア構成例を示す図である。 画像解析部の処理の流れを示すフローチャートである。 実施形態１のニューラルネットワークを説明する図である。 画像特徴と消失点情報から物体の特徴点を取得する処理の流れを示すフローチャートである。 物体の特徴点を補正する処理の説明図である。 特徴点を用いて消失点情報を更新する処理の説明図である。 画像と前景領域を幾何補正する処理の説明図である。 画像と前景領域から照合特徴を抽出する処理の説明図である。 照合特徴解析部の処理の流れを示すフローチャートである。 画面表示の例である。 学習部の処理の流れを示すフローチャートである。 画像特徴と消失点情報から物体の特徴点を取得する処理の流れを示すフローチャートである。 実施形態２のニューラルネットワークを説明する図である。 実施形態３の画像解析部の処理の流れを示すフローチャートである。 実施形態３の画像と前景領域を幾何補正する処理の説明図である。

以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。

（実施形態１）
図２に、本実施形態の人物照合装置のハードウェア構成例を示す。図２で、撮像素子２０１は、ＣＣＤ、ＣＭＯＳ、等で構成され、被写体像を光から電気信号に変換する。信号処理回路２０２は、撮像素子２０１から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する。ＣＰＵ２０３は、ＲＯＭ２０４に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。ＲＯＭ２０４は、ＣＰＵ２０３が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、ＣＰＵ２０３で実行されることにより、後述するフローチャートに示す各処理を実現し、当該装置を機能させる。

ＲＡＭ２０５は、画像や各種情報を記憶し、ＣＰＵ２０３のワークエリアやデータの一時待避領域として機能する。ディスプレイ２０６はデータを表示する。入力装置２０７は、マウス等のポインティングデバイスや、キーボードであり、ユーザからの入力を受け付ける。通信装置２０８は、ネットワークやバス等であり、他の通信装置とデータや制御信号を通信する。

なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ２０３を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、人物照合装置は、撮像素子２０１や信号処理回路２０２を省いて汎用ＰＣを用いて実現してもよいし、専用装置として実現するようにしても構わない。また、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ，プロセッサ）にて実行してもよい。

本実施形態は監視対象の物体として人物を例に説明するが、これに限定せず、動物や車など他の物体でも構わない。

本実施形態の人物照合装置として機能する画像処理装置の構成を図１に示す。本実施形態は１つ以上の画像解析部１０１、照合特徴解析部１１１、学習部１１２、表示部１１５で構成される。画像解析部１０１はカメラの数だけ存在し、本実施形態では２つとするが、いくつでも構わない。

画像解析部１０１は、画像取得部１０２、物体検出部１０３、画像情報抽出部１０４、画像補正部１０９、照合特徴抽出部１１０で構成される。

画像取得部１０２はカメラから入力画像を取得する。物体検出部１０３は入力画像中の人体を検出し、人体の全身を含む矩形領域を人体領域（人物領域）として取得する。本実施形態では人物の全身とするが、人物の所定の一部分でも構わない。画像情報抽出部１０４は画像から幾何補正パラメータと前景領域を抽出する。画像情報抽出部１０４は画像特徴抽出部１０５、画像特徴解析部１０６で構成される。

画像特徴抽出部１０５は、物体検出部１０３で画像内から検出された人物領域より画像特徴を抽出する。画像特徴解析部１０６は画像特徴抽出部１０５で抽出された画像特徴から幾何補正パラメータと前景領域を抽出する。画像特徴解析部１０６は、前景領域抽出部１０７と補正パラメータ取得部１０８で構成される。

前景領域抽出部１０７は、画像特徴抽出部１０５で抽出された画像特徴から前景領域画像を生成する。補正パラメータ取得部１０８は、画像特徴抽出部１０５で抽出された画像特徴から、人物の特徴点を抽出する。人物の特徴点は後の処理で画像の幾何補正に利用するため、幾何補正パラメータ（補正情報）と呼ぶ。人物の特徴点は人物の頭頂と足の点とするが、後述のようにその他の身体部位の点でも構わない。足の点は、足が開いている場合は、両足の間の胴体の延長線上の点とする。

画像補正部１０９は、補正パラメータ取得部１０８で取得された幾何補正パラメータを用いて、画像取得部１０２で取得された画像を幾何補正する。さらに、補正パラメータ取得部１０８で取得された幾何補正パラメータを用いて、前景領域抽出部１０７で取得された前景領域画像を幾何補正する。画像の幾何補正は、人物の頭頂と足の点を基準として人物が直立するようにアフィン変換を行うが、後述のように他の変換方法でも構わない。

照合特徴抽出部１１０は、画像補正部１０９で幾何補正された画像と幾何補正された前景領域画像から照合用の特徴である照合特徴を生成する。照合特徴とは、ある人物と他人を区別する人物固有の特徴であり、この特徴同士を比較することによって、同一人物であるか否かの判定を行う。

照合特徴解析部１１１は、照合特徴抽出部１１０で取得される照合特徴のうち、異なるカメラで取得された照合特徴を比較し、同一人物か否かを判定する。本実施形態では異なるカメラで取得された照合特徴を比較する方法について例示するが、同じカメラの異なる時刻の照合特徴を比較しても構わない。

学習部１１２は学習データ取得部１１３、学習パラメータ更新部１１４で構成される。

学習データ取得部１１３は、画像特徴抽出部１０５と前景領域抽出部１０７と補正パラメータ取得部１０８とを制御するパラメータを学習するための、学習データを取得する。

学習パラメータ更新部１１４は、学習データ取得部１１３で取得した学習データを用いて、画像特徴抽出部１０５と前景領域抽出部１０７と補正パラメータ取得部１０８とを制御するパラメータを更新する。

表示部１１５は人物画像を画面に表示する。表示部１１５は画像生成部１１６を含む。画像生成部１１６は表示する人物の画像である表示画像を生成する。

本実施形態では、画像解析部１０１、照合特徴解析部１１１、学習部１１２、表示部１１５は異なるコンピュータで構成され、ネットワークで接続されている。しかし、これに限らず、同じコンピュータで構成されていてもいいし、任意の数のコンピュータで構成してもよい。

画像解析部１０１が動作することに先立って、学習部１１２は画像解析部１０１で使用するパラメータを学習する。学習部１１２で学習されたパラメータは画像解析部１０１の動作するコンピュータにネットワークを通じて転送される。学習部１１２の動作の詳細は後述する。学習部１１２で学習されたパラメータが画像解析部１０１に転送された後は、学習部１１２のコンピュータは必要なく、ネットワーク上から取り除いても構わないし、そのままでもよい。学習部１１２は画像解析部１０１の動作の前に少なくとも１度は動作させる。

画像解析部１０１で決定した照合特徴は、照合特徴解析部１１１が動作するコンピュータにネットワークを通じて転送される。そして、照合特徴解析部１１１にて、照合特徴同士が比較され、同一人物か否か判定される。

画像解析部１０１の動作を図３のフローチャートを用いて説明する。ステップ３０１ではシステムを初期化する。ステップ３０２ではカメラまたは記憶装置から画像フレームを取得する。ステップ３０２は図１の画像取得部１０２の動作に相当する。

ステップ３０３では、ステップ３０２で取得した画像に対し、人物の全身を含む矩形領域を検出する。この人物領域の検出には非特許文献４の手法を用いる。ステップ３０３は図１の物体検出部１０３の動作に相当する。

ステップ３０４、ステップ３０５、ステップ３０６では、ニューラルネットワークを用いてステップ３０３で得られた人物領域の画像から前景領域と人物の特徴点を取得する。このニューラルネットワークは第一のニューラルネットワーク、第二のニューラルネットワーク、第三のニューラルネットワークの３つの部分ニューラルネットワークで構成されている（図４（ａ））。第二のニューラルネットワーク、第三のニューラルネットワークは第一のニューラルネットワークの出力をそれぞれ入力とする。

ステップ３０４では、ステップ３０３で得られた人物領域に対して、画像特徴を抽出する。画像特徴の抽出には第一のニューラルネットワークを用いる。この第一のニューラルネットワークの入力は固定サイズのＲＧＢ画像である。そのため、まずステップ３０３で得られた矩形領域内の画像に対して拡大縮小を行い、固定サイズの人物領域画像を作成する。ＲＧＢ画像とは、言い換えると、幅、高さ、チャネル数を持つ３次元配列である。人物領域画像を第一のニューラルネットワークに入力することによって、出力として事前に定められたサイズの特徴マップで表される画像特徴を得る。

図４（ｂ）に第一のニューラルネットワークの構成例を図示する。第一のニューラルネットワークは多層のコンボリューション層およびプーリング層によって構成されているが、これに限らず、ほかの種類のニューラルネットワークを用いても構わない。本実施形態では第一のニューラルネットワークの最終層をコンボリューション層とするため、この画像特徴は幅、高さ、チャネル数を持つ３次元の配列である。ステップ３０４は図１の画像特徴抽出部１０５の動作に相当する。

ステップ３０５では、ステップ３０４で抽出された画像特徴から前景領域画像を抽出する。前景領域画像は事前に定められたサイズの輝度値が０から１のグレースケール画像であり、前景らしいほど１に近く、背景らしいほど０に近い。前景領域の抽出には第二のニューラルネットワークを用いる。画像特徴を第二のニューラルネットワークに入力することによって、出力として前景領域画像を得る。図４（ｃ）に第二のニューラルネットワークの構成例を図示する。第二のニューラルネットワークは多層のコンボリューション層、プーリング層、デコンボリューション層によって構成されているが、これに限らず、ほかの種類のニューラルネットワークを用いても構わない。ステップ３０５は図１の前景領域抽出部１０７の動作に相当する。

ステップ３０６では、ステップ３０４で抽出された画像特徴と消失点情報から物体の特徴点を取得する。ステップ３０６の処理の詳細を図５のフローチャートに示す。ステップ３０６は図１の補正パラメータ取得部１０８の動作に相当する。

画像情報抽出部１０４の動作は、画像特徴抽出部１０５、前景領域抽出部１０７、補正パラメータ取得部１０８の一連の動作に相当する。画像特徴解析部１０６の動作は、前景領域抽出部１０７、補正パラメータ取得部１０８の一連の動作に相当する。

図５のステップ５０１では図３のステップ３０４で抽出された画像特徴から物体の特徴点を抽出する。物体の特徴点は、具体的には頭頂と足の点である。物体の特徴点を抽出には第三のニューラルネットワークを用いる。画像特徴を第三のニューラルネットワークに入力することによって、出力として頭頂と足の２次元座標（ｘ１，ｙ１）、（ｘ２，ｙ２）をそれぞれ得る。図４（ｄ）に第三のニューラルネットワークの構成例を図示する。第三のニューラルネットワークは座標を連続値として推定するため、最終層が全結合層（フルコネクション層）によって構成されている。しかし、これに限らず、ほかの種類のニューラルネットワークを用いても構わない。本実施形態では図４（ｄ）のように第三のニューラルネットワークにコンボリューション層が含まれているが、必ずしも含まれていなくても構わない。

第一のニューラルネットワークの出力、第二のニューラルネットワーク、第三のニューラルネットワークの入力は必ずしも３次元の配列である必要はない。ニューラルネットワークの構成によって、１次元や２次元などの他の多次元ベクトルなど、ほかの形式でも構わない。例えば、第一のニューラルネットワークの最終層を全結合層で構成し、第一のニューラルネットワークの出力を１次元ベクトルとしても構わない。

ステップ５０２では、図３のステップ３０３で検出した物体の代表点と消失点情報から物体の中心軸を取得する。ここで物体の代表点とは、人物の全身を含む矩形領域の中心とする。また、物体の中心軸とは、物体の回転方向と中心線を表す直線であり、人物では特定部位（本実施形態では体の中心であり腹部）から鉛直に足元に下した直線を表す。図６（ａ）にステップ５０２の概略図を示す。物体の代表点６０２と消失点６０４を通る直線６０３を物体の中心軸とする。消失点情報がない場合は、このステップは実行しない。

ステップ５０３では、物体の特徴点から推定される物体の中心軸がステップ５０２で取得した物体の中心軸に近づくように、物体の特徴点を補正する。消失点情報がない場合は、このステップは実行しない。図６（ｂ）にステップ５０３の概略図を示す。まず、物体の特徴点から推定される物体の中心軸６０６は頭部の点６０７と足の点６０８を通る直線である。そのため、この直線をステップ５０２で取得した物体の中心軸６０５に近づけるためには、頭部の点６０７と足の点６０８をそれぞれ、この物体の中心軸６０５に近づくように移動させればよい。ここでは、特徴点から中心軸６０５に下した垂線と中心軸６０５の交わる点を計算する。そして、この点と特徴点を一定割合αで内分する点を求め、特徴点を移動させる。図５のフローチャートによる処理の出力として、消失点情報で補正された物体の特徴点を得る。

図３のステップ３０７ではステップ３０６で取得した特徴点を用いて、消失点情報を更新する。図７に概略を示す。まず、物体の頭部の点７０２と足の点７０３から、ステップ５０３と同様の方法で物体の中心軸７０１を得る。次に、複数の物体の中心軸の交点を求めることで、消失点７０４を推定する。複数の物体の中心軸は、現在および過去の時刻のフレームにおけるステップ３０６で得られる特徴点を記憶しておいたものから計算する。中心軸の交点を求めるとき、特徴点の推定誤差やカメラレンズの歪によって、中心軸が１点で交わらない場合がある。各中心軸からの距離の和が最小となる点を計算し、この点を交点とする。

ステップ３０８では、ステップ３０６で得られた特徴点を用いてステップ３０２で得られた画像フレームを幾何補正する。また、ステップ３０９では、ステップ３０６で得られた特徴点を用いてステップ３０５で得られた前景領域を幾何補正する。図８（ａ）、（ｂ）を用いてステップ３０８について説明する。まず、図８（ａ）のように、画像フレーム上に頭部の点８０１と足の点８０２を基準とし、平行四辺形８０３を設置する。この平行四辺形は上辺と下辺が水平で、この上辺と下辺のそれぞれの中点は足の点、頭部の点と位置する。平行四辺形の高さは頭部の点８０１と足の点８０２のｙ座標の差とし、上辺と下辺の長さは高さを定数倍したものとする。平行四辺形の傾きは、頭部の点８０１と足の点８０２を通る直線の傾きと同じとする。次にこの平行四辺形に画像の幾何変換を適用することによって、図８（ｂ）のように物体が直立し、物体の部分だけ切り出された画像に変換する。

具体的には、平行四辺形８０３の４頂点が変形後の長方形８０４の４頂点に一致するようにアフィン変換を適用する。ここで、図８（ｂ）の画像の幅と高さは事前に定められた長さとする。ステップ３０９もステップ３０８と同様に、図８（ｃ）、（ｄ）のように前景領域画像に平行四辺形を設置し、その４頂点が変換後の長方形の４頂点と一致するように幾何変形を適用する。それによって物体が直立し、物体の部分だけが切り出された前景領域画像を得る。ステップ３０８とステップ３０９はそれぞれ図１の画像補正部１０９の動作に相当する。

ステップ３１０ではステップ３０８で得られた幾何補正された画像と、ステップ３０９で得られた幾何補正された前景領域画像から照合特徴を抽出する。図９を用いてステップ３１０を説明する。まず、物体の画像を図９（ａ）のように水平に境界線を引き、Ｎ等分の部分領域に分割する。そして、Ｎ等分した各部分領域に対し、画像の色ヒストグラムをそれぞれ計算する。人間は頭、胴、下半身で構成され、それぞれが服や肌、持ち物等によって、色などの特徴が鉛直方向で異なることが多い。一方、服の色等は人間の向きが変化しても大きな変化が生じにくいため、水平方向では特徴が大きく変化しないことが多い。

そのため、水平の境界で縦に分割した領域ごとに特徴量を抽出することで、個人的な特徴をよく表現することができる。色ヒストグラムを計算する際、図９（ｂ）の前景領域の画素値を用いて重みづけを行う。前景領域画像の輝度値は０から１をとり、前景らしいほど１に近く、背景に近いほど０に近い値をとる。画像のある座標における色画素を色ヒストグラムのビンに投票する際、同じ座標における背景領域画像の輝度値を参照し、その輝度値を投票重みとする。ステップ３１０で取得された照合特徴は照合特徴解析部１１１に渡される。ステップ３１０は図１の照合特徴抽出部１１０の動作に相当する。

ステップ３１１では、図３のフローチャートの処理を終了するか否かを判定し、終了条件を満たすなら終了し、満たさないならステップ３０２に戻る。次の画像フレームが存在する場合は終了しないと判定し、存在しない場合には終了すると判定する。

図１の照合特徴解析部１１１と表示部１１５の動作を図１０のフローチャートを用いて説明する。本フローチャートによる人物照合によって表示される画面の例を図１１に示す。

図１０のステップ１００１はユーザがカメラＡの画面上の人物をクリックし、検索対象の人物を指定する。人物は図３のステップ３０３で検出された人物である。表示画面上で、選択された人物は実線の矩形で表示され、選択されなかった人物は点線の矩形で表示される。

図１０のステップ１００２はカメラＡの指定された人物の照合特徴を取得する。照合特徴は照合特徴抽出部１１０で抽出したものである。ステップ１００３はカメラＢの任意の人物の照合特徴を取得する。

ステップ１００４はステップ１００２とステップ１００３とで取得された照合特徴同士を照合し比較して相違度を算出し、同一人物の候補であるか否かを判定する。まず、照合特徴同士のユークリッド距離を計算する。ユークリッド距離がしきい値以下の場合は同一人物の候補とみなし、それ以外は異なる人物とみなす。本実施形態は距離の比較はユークリッド距離にて行うが、Ｌ１距離などの他の距離指標でもいいし、部分空間などの別の空間に写像して距離を計算してもよい。

ステップ１００５では、ステップ１００４で同一人物の候補と判定された場合はステップ１００６に進み、異なる人物と判定された場合はステップ１００７に進む。ステップ１００６は、ステップ１００５で同一人物の候補と判定されたカメラＢの人物を、相違度とともに同一人物の候補リストに追加する。ステップ１００７は、選択したカメラＡの人物とカメラＢの人物をすべて照合していたら、ステップ１００８に進む。すべて照合していなかったら、ステップ１００３に戻る。

ステップ１００８では、ステップ１００１で選択されたカメラＡの人物とステップ１００６で追加された同一人物の候補リスト内の人物について、以降のステップで画面に表示するための人物画像を生成する。具体的には、図３のステップ３０８で幾何補正された人物の画像とステップ３０９で幾何補正された前景領域画像から、背景を加工した人物の画像を生成する。ここでは、幾何補正された前景領域画像の画素を参照し、人物画像の前景領域に対応しない背景部分の画素を任意の色の画素（本実施形態では黒）に設定する。

言い換えると、前景領域を参照して画像の背景部分の画素の色情報に前所定の色を設定する。本実施形態では任意の色の画素で塗りつぶすが、前景以外を透明または半透明に設定するなど、他の方法でも構わない。言い換えると、前景領域を参照して画像の背景部分の画素の透過度情報に所定の透過度を設定する。また、背景部分を写真や市松模様（チェッカーボード）などのパターンなどの任意の画像などに置き換えてもいい。言い換えると、前景領域を参照して画像の背景部分の画素の色情報または透過度情報に所定の画像を設定する。また、任意の画像と半透明の背景を合成するなど、複数の方法の組み合わせでも構わない。ステップ１００８の図１の画像生成部１１６の処理に相当する。

ステップ１００９では、ステップ１００１で選択されたカメラＡの人物とステップ１００６で追加された同一人物の候補リスト内の人物を画面に表示する。図１１のように、カメラＡの人物をクエリ画像として表示する。また、同一人物の候補リスト内の複数の人物を、同一人物の候補として、クエリ画像の下に候補画像として横一列に並べて表示する。このとき、ステップ１００４で決定された相違度が小さい順に並べて表示する。これは、並び替えることにより、ユーザが同一人物を目視で探しやすくなる効果がある。また、それぞれの候補画像の下に次のステップで用いる「選択」ボタンを設置する。１以上の事前に決められた数の人物を最大で表示する。

ステップ１０１０では、ステップ１００９で表示された同一人物の候補から、ユーザが最も同一であると思われる人物を選択する。このカメラＢの選択された人物とステップ１００１で選択されたカメラＡの人物の情報を、同一人物として記憶装置に記憶する。このとき、画面に「すべて異なる人物」のボタンを設け、表示された同一人物の候補の中に同一人物が存在しないことをユーザに入力させられるようにしても構わない。

図１０において、ステップ１００２からステップ１００７の動作は照合特徴解析部１１１に対応し、それ以外のステップは表示部１１５の動作に対応する。

図１の学習部１１２の動作を図１２のフローチャートを用いて説明する。本フローチャートでは、事前に人手で収集した物体画像と正解データを用いて、誤差逆伝播法（バックプロパゲーション）によってニューラルネットワークの学習を行う。

ステップ１２０１はニューラルネットワークの初期化を行う。すなわち、第一のニューラルネットワーク、第二のニューラルネットワーク、第三のニューラルネットワークを構成する各層の結合の重みを乱数で初期化する。ステップ１２０２では入力データ、すなわち物体画像を記憶装置から取得する。物体画像は人手で事前に収集しておいたものである。

ステップ１２０３ではニューラルネットワークの出力の正解データを記憶装置から取得する。すなわち、前景領域画像と頭部の点、足の点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）を取得する。正解データは人手で事前に収集しておいたものである。ステップ１２０２とステップ１２０３は図１の学習データ取得部１１３の動作に相当する。

ステップ１２０４では、ステップ１２０２で取得した物体画像を第一のニューラルネットワークに入力し、画像特徴を抽出する。このとき、第一のニューラルネットワークの各層をデータが通過する際の各層の出力値を記憶装置に記憶しておく。

ステップ１２０５では、ステップ１２０４で取得した画像特徴を第二のニューラルネットワークに入力し、前景領域を抽出する。このとき、第二のニューラルネットワークの各層をデータが通過する際の各層の出力値を記憶装置に記憶しておく。

ステップ１２０６では、ステップ１２０４で取得した画像特徴を第三のニューラルネットワークに入力し、物体の特徴点を取得する。このとき、第三のニューラルネットワークの各層をデータが通過する際の各層の出力値を記憶装置に記憶しておく。

ステップ１２０７では、ステップ１２０５で取得した前景領域とステップ１２０６で取得した物体の特徴点とステップ１２０３で取得した正解データとを比較し、次式を用いて誤差関数Ｅ（ロス関数）を計算する。

Ｅ＝αＥ_１＋（１−α）Ｅ_２
ここで、αは０から１の定数である。Ｅ_１はステップ１２０５で取得した前景領域と正解データの前景領域の相違度（二乗誤差）であり、Ｅ_２はステップ１２０６で取得した物体の特徴点と正解データの物体の特徴点の位置の相違度（二乗誤差）である。誤差関数ＥはＥ_１とＥ_２の線形和である。

ステップ１２０８では、ステップ１２０７で取得した誤差関数Ｅを用いる。誤差逆伝播法によって、誤差関数Ｅが小さくなるように第一のニューラルネットワーク、第二のニューラルネットワーク、第三のニューラルネットワークのそれぞれの結合重み（学習パラメータ）を更新する。まず、誤差関数Ｅを用いて第二のニューラルネットワーク、第三のニューラルネットワークを更新する。そして、さらに誤差を第一のニューラルネットワークに誤差逆伝播させ、これを更新する。誤差逆伝播による更新の際、ステップ１２０４、ステップ１２０５、ステップ１２０６で記憶しておいたニューラルネットワークの各層をデータが通過する際の各層の出力値を用いる。

ステップ１２０４からステップ１２０８は図１の学習データ取得部１１３の動作に相当する。ステップ１２０９では、図１２のフローチャートの処理を終了するか否かを判定し、終了条件を満たすなら終了し、満たさないならステップ１２０２に戻る。繰り返しが規定回数に達していない場合は終了しないと判定し、達している場合には終了すると判定する。

学習部１１２で学習されたパラメータは画像解析部１０１の動作するコンピュータにネットワークを通じて転送される。

ステップ３１０では照合特徴としてＲＧＢの色ヒストグラムを用いたが、これに限らず、他の特徴量を用いてもよい。例えば、他のＨＳＶなど色空間を用いてもよい。また、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴やＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴等の形状特徴や、複数の特徴量を組み合わせたものでもいい。また、ニューラルネットワークによって照合特徴を抽出しても構わない。

ステップ３０８、ステップ３０９では、上辺と下辺が水平な平行四辺形が長方形になるようなアフィン変換によって画像や前景領域を幾何補正した。さらに、ステップ３１０では物体の画像に対し、水平に境界線を引き、Ｎ等分の部分領域に分割し、部分領域ごとに色ヒストグラムを抽出した。ステップ３０８、ステップ３０９のアフィン変換は水平成分が保存される性質がある。一方、ステップ３１０では水平な領域に沿って特徴量を抽出する。そのため、このような方法でアフィン変換を行うことで、画像変換を行った後でも特徴が劣化しにくく、良好に特徴量を行えるようになる効果が見込める。

本実施形態では、画像や前景領域の幾何補正をアフィン変換で行ったが、他の方法を用いても構わない。例えば、頭と足の点を通る直線が鉛直になるように回転変換を行っても構わない。回転変換は水平成分が保存される変換ではないが、回転角度が小さければ影響は十分に無視できる。また、回転変換は画像が不自然に歪まないため、変換後の画像が自然に見える効果が見込める。特に、ユーザが同一人物か否かを目視で判定する際には効果が高い。

図３のステップ３０６では、物体の特徴点として頭と足の点を抽出したが、他の点でも構わない。例えば、肩、肘、膝などの関節や、目、鼻、口、耳、手指などの特定の部位、あるいはこれらの組み合わせでもよい。例えば、特徴点として両肩と頭頂を用いた場合、両肩が水平で、両肩の中点と頭頂を結ぶ線が鉛直になるようなアフィン変換や回転などの画像変換を行えばよい。また、必ずしも物体上にある必要はなく、物体の特定部位との間に特定の相対的な位置関係があれば物体の外の点でもよい。例えば、肩と頭頂の中間点などでもよい。開いた足の間の胴体の延長線上の点でもよい。

本実施形態では、画像や前景領域の幾何補正をアフィン変換で行ったが、射影変換でも構わない。図３のステップ３０６では、物体の特徴点として頭と足の点を抽出したが、４点以上の点を用いれば射影変換が可能である。例えば、幾何補正前の画像の頭頂、足、左肩、右肩の点が、幾何補正後の画像の特定の位置の点に対応するように射影変換することができる。２次元画像の射影変換は、ある３次元の面を別の３次元の面に射影する変換に相当する。そのため、幾何補正後の画像において、より正確に人物の部位の位置を正規化することができ、照合精度を向上させる効果が見込める。特徴点は頭頂、足、左肩、右肩に限らず、他の部位でも構わない。アフィン変換、回転変換、射影変換を総じて幾何学的変換と呼ぶ。

本実施形態では、前景領域抽出部１０７と補正パラメータ取得部１０８は、画像特徴抽出部１０５で生成された共通の画像特徴からそれぞれ前景領域と幾何補正パラメータを生成する。共通の画像特徴を用いることで、冗長な処理を削減することができ、計算量削減の効果が見込める。

また、学習部１１２によって、前景領域抽出部１０７と補正パラメータ取得部１０８と画像特徴抽出部１０５は共通の誤差関数が減少していくように同時学習されている。そのため、画像特徴抽出部１０５は、後段の前景領域抽出部１０７と補正パラメータ取得部１０８の両方の推定処理に対して好適に学習される効果が見込める。

また、前景抽出と物体の特徴点抽出は、両者とも物体の形状情報の抽出に関する処理である。同時学習することで、前景領域の情報が物体の特徴点の抽出に使われたり、物体の特徴点の情報が前景領域の抽出に使われたりと、異なる種類の処理の間で相互に情報が効果的に利用されるようになる効果が見込まれる。そのため、同時学習された共通の画像特徴抽出部１０５を設けることにより、前景領域抽出部１０７と補正パラメータ取得部１０８の出力の精度を向上させる効果が見込める。特に、人物は縦に長い特徴的な形状をしているため、効果が高い。なぜなら、人物の領域が分かれば頭と足の位置を特定することが容易になり、頭と足の位置が分かれば人物の領域を特定することが容易になるからである。

本実施形態では、画像から画像の幾何補正パラメータを推定する。そのため、人手によるカメラのキャリブレーションが不要となり、人手による作業を削減できる効果が期待できる。

また、ステップ３０６において、消失点情報が得られていない場合でも物体の特徴点を推定することが可能な一方、消失点情報が得られている場合には、事前の角度情報が利用できることで、さらに高精度に特徴点を推定することが可能となる効果が見込める。

本実施形態では、人物画像を画面に表示する際、人物画像を直立するように幾何補正して表示した。表示される人物の向きが揃うため、ユーザにとって見やすく、人物を観察しやすくなる効果が見込める。そのため、ユーザが目視で人物が同一であるか比較しやすくなる効果が見込める。

本実施形態では、人物画像を画面に表示する際、前景領域の情報を用いることによって、背景を除いて表示した。このようにすることによって、ユーザにとって人物が観察しやすくなる効果が見込める。そのため、ユーザが目視で人物が同一であるか比較しやすくなる効果が見込める。

人物画像を画面に表示する際、人物画像を直立するように幾何補正し、背景を揃えることによって、観察する外的環境が同一に近くなる。そのためユーザは人物の細部の観察に集中できる効果が見込める。そのため、ユーザが目視で人物が同一であるか比較しやすくなる効果が見込める。

実施形態では、画像と前景領域画像の両方を幾何補正した後、これらから画面に表示する人物画像を生成した。一方、画像と前景領域画像を幾何補正する前に、前景領域を用いて画像から背景の除去などの加工を行っても構わない。そして、加工したこの画像を幾何補正することによって画面に表示する人物画像を生成しても構わない。すなわち、幾何補正パラメータと前景領域を取得するステップ、前景領域を参照して画像を加工するステップ、加工した画像を幾何補正パラメータで幾何補正するステップという順番で行っても構わない。画像の加工の方法は、ステップ１００８の説明で前述したいずれかの方法と同様で構わない。

本実施形態では、画像と前景領域画像の両方を幾何補正した後、これらから前景を表す領域の照合特徴を抽出した。一方、画像と前景領域画像を幾何補正する前に、前景領域を用いて画像から背景の除去などの加工を行っても構わない。そして、加工したこの画像を幾何補正し、さらに照合特徴を抽出しても構わない。すなわち、本実施形態の構成に前景領域を参照し画像に加工を行う画像加工部を設ける。そして、本実施形態の処理の順番を、以下のようにしても構わない。

すなわち、幾何補正パラメータと前景領域を取得するステップ、前景領域を参照して画像を加工するステップ、加工した画像を幾何補正パラメータで幾何補正するステップ、幾何補正した画像から照合特徴を抽出するステップとしても構わない。画像の加工の方法は、ステップ１００８の説明で前述したいずれかの方法と同様で構わない。照合特徴抽出の方法はステップ３１０と同様でよいが、特に画像の画素に色情報に加えて透過度情報が付加されているのであれば、透過度情報を前景情報とみなせばよい。

本実施形態では、ステップ３０４、ステップ３０５、ステップ３０６にニューラルネットワークを用いたが、このニューラルネットワークを構成する特徴抽出器および識別器の一部または全部に他の特徴抽出器や識別器を用いても構わない。例えば、他のフィルタ特徴や回帰分析などを用いても構わない。

実施形態１では、画像解析部１０１、照合特徴解析部１１１、学習部１１２、表示部１１５は異なるコンピュータで構成され、ネットワークで接続されている。しかし、これに限らず、画像解析部１０１、照合特徴解析部１１１、学習部１１２はネットワークやバス、記憶媒体で接続された異なるコンピュータで構成されていてもよいし、同じコンピュータで構成されていても構わない。さらにそれぞれのモジュールをさらに複数のサブモジュールに任意に分割し、それぞれのモジュール、サブモジュールを任意の複数のコンピュータに分散して実行してもよい。

複数のコンピュータで構成することにより、計算の負荷を分散する効果が見込める。また、負荷を分散することで、カメラ入力に近い部分にコンピュータを設置して処理を行う、いわゆるエッジコンピューティングを行うことが可能となり、通信負荷の軽減や反応速度向上の効果が見込める。また、加工をしていないカメラ画像ではなく、加工した画像や特徴量をコンピュータ間で通信することにより、通信負荷が軽減される。

本実施形態では、画像から画像の幾何補正パラメータを推定する。そのため、人手によるカメラのキャリブレーションが不要となり、人手による作業を削減できる効果が期待できる。前景領域抽出部１０７と補正パラメータ取得部１０８は、画像特徴抽出部１０５で生成された共通の画像特徴からそれぞれ前景領域と幾何補正パラメータを生成する。共通の画像特徴を用いることで、冗長な処理を削減することができ、計算量削減の効果が見込める。

（実施形態２）
本実施形態では、実施形態１との差分のみを説明し、それ以外は実施形態１と同様である。実施形態１では、ステップ１２０６を図５のフローチャートのようにしたが、図１３のフローチャートに置き換えても構わない。

図１３のステップ１３０１は図５のステップ５０２と同様であり、図３のステップ３０３で検出した物体の位置（物体の代表点）と消失点情報から物体の中心軸を取得する。消失点情報が存在しない場合には中心軸は計算しない。ステップ１３０２は、ステップ１３０１で取得した物体の中心軸から物体の角度を計算する。

ステップ１３０３は、図３のステップ３０４で抽出された画像特徴と図１３のステップ１３０２で取得した物体の角度とから物体の特徴点を抽出する。まず、物体の角度をＫ次元のベクトルで表す。具体的には、３６０度をＫ分割し、Ｋ次元のベクトルの内、該当する角度の要素に１の値を立て、その他の要素には０の値を立てる。ステップ１３０１で消失点情報が存在せず、中心軸が存在しない場合には、Ｋ次元のベクトルの各要素には一律に１／Ｋの値を入力する。このＫ次元のベクトルは、角度の事前情報を表す。そのため、角度の事前情報が不明の場合は、確率分布は一様分布となる。次に、画像特徴とこの角度を表すベクトルを第三のニューラルネットワークに入力することによって、出力として頭頂と足の２次元座標（ｘ１，ｙ１）、（ｘ２，ｙ２）をそれぞれ得る。

本実施形態で用いるニューラルネットワークの構成を図１４（ａ）に示す。実施形態１の図４のニューラルネットワークと比較すると、図１４（ｄ）のように第三のニューラルネットワークに角度を表すベクトルを入力する部分が存在することが異なる。第三のニューラルネットワークを構成する一部の全結合層は画像特徴から計算される情報と角度を表すベクトルから計算される情報の両方を入力とする。

この第三のニューラルネットワークの出力は、出力（頭頂と足の２次元座標）から計算される物体の中心軸の傾き角度が、入力（角度が表すベクトル）に示す角度情報に近くなりやすく出力されるように学習されている。第三のニューラルネットワークは座標を連続値として推定するため、最終層が全結合層（フルコネクション層）によって構成されている。しかし、これに限らず、ほかの種類のニューラルネットワークを用いても構わない。図１３のフローチャートの処理の出力として、消失点情報で補正された物体の特徴点を得る。

また、実施形態１では、図１２のステップ１２０２で入力データとして物体画像を記憶装置から取得した。本実施形態では、ニューラルネットワークに物体の角度に関する情報を入力するため、入力データとして物体画像と物体角度情報の２種類を取得する。物体角度情報は、すべての物体について付与せず、図１３のステップ１３０３のように物体角度情報が不明のものも用意する。物体角度情報が存在する学習サンプルと不明な学習サンプルを両方含めて学習することで、物体角度情報が存在するか否かにかかわらず、好適に識別が行えるニューラルネットワークを学習できる効果が見込める。

図１３のステップ１３０３では、角度が不明な状態でも角度情報をニューラルネットワークに入力できるようにした。これによって、例えばシステムの稼働開始時に消失点情報が不明な場合でも、ニューラルネットワークは物体の特徴点を推定することができ、物体の傾き、画像を幾何補正するパラメータ、消失点情報を推定できる効果が見込める。別の見方をすると、消失点情報が不明な場合でもニューラルネットワークは物体の特徴点を推定することが可能な一方、消失点情報が得られている場合には、事前の角度情報を利用することで、さらに高精度に特徴点を推定することが可能となる効果が見込める。

（実施形態３）
本実施形態では、実施形態１との差分のみを説明し、それ以外は実施形態１と同様である。実施形態１では、画像の幾何補正パラメータとして物体の特徴点を用いた。本実施形態のように、幾何補正パラメータとして、物体の角度を用いてもよい。本実施形態では、画像解析部１０１の一部の動作が異なり、他は実施形態１と同様である。実施形態３の画像解析部１０１の動作を図１５のフローチャートを用いて説明する。図１５は、ステップ１５０６とステップ１５０７を除き、図３と同様である。

ステップ１５０６では、ステップ３０４で抽出された画像特徴と消失点情報から物体の角度を取得する。まず、物体の角度の推定は第三のニューラルネットワークを用いる。物体の角度とは物体の中心軸の傾き角度である。画像特徴を第三のニューラルネットワークに入力することによって、出力として物体の角度θを得る。第三のニューラルネットワークは最終層が全結合層によって構成されている。しかし、これに限らず、ほかの種類のニューラルネットワークを用いても構わない。次に、図５のステップ５０２と同様の方法で、物体の代表点と消失点情報から物体の中心軸を取得する。次に、この物体の中心軸の傾き角度に近づくように、第三のニューラルネットで推定された物体の角度θを修正する。具体的には、物体の角度θをこれらの２つの角度の中間の角度に修正する。

ステップ１５０７ではステップ１５０６で取得した物体の角度を用いて、消失点情報を更新する。まず、物体の代表点とステップ１５０６で決定した物体の角度から物体の中心軸を得る。そして、図３のステップ３０７と同様の方法で複数の物体の中心軸の交点を求めることで、消失点情報を更新する。

ステップ１５０８では、ステップ１５０６で得られた物体の角度とステップ１５０３で得られた物体の矩形を用いて、ステップ１５０２で得られた画像フレームを幾何補正する。また、ステップ１５０９では、ステップ１５０６で得られた物体の角度とステップ１５０３で得られた物体の矩形を用いて、ステップ１５０５で得られた前景領域を幾何補正する。

図１６（ａ）、（ｂ）を用いてステップ１５０８について説明する。まず、物体の中心軸として、物体の代表点１６０２を通り、傾きが物体の角度の直線１６０１を考える。この直線と物体の矩形の２つの交点１６０４、１６０５を求める。物体が人物であれば、これらの交点は頭頂と足の点にそれぞれ相当する。頭頂と足の点が得られたため、後は実施形態１の図３のステップ３０８と同様の方法で頭頂と足の点を用いて、人物を直立させるような画像変換を行うことができる。ステップ１５０９もステップ１５０８と同様の変換を行うことで、幾何補正した前景領域画像を得ることができる。

本実施形態では、幾何補正パラメータとして物体の角度を用いた。物体の角度は物体の概形から求めることが可能であり、局所的なテクスチャの影響が少なく、安定的に幾何補正パラメータを求められる効果が見込める。例えば、人物のような細長い物体の角度は物体のシルエットから推定が可能である。そのため、前景領域の推定と物体の角度の推定を同時に行うことは効果が高く、幾何補正パラメータの推定精度を良好に求めることができる効果が見込める。

本実施形態では幾何補正パラメータとして物体の角度のみを用いたが、実施形態１のような特徴点と併用してもよい。例えば、物体の中心軸を求める際、物体の角度と代表点を用いる代わりに物体の角度と特徴点の重心を用いるなどを行ってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像解析部
１０２ 画像取得部
１０３ 物体検出部
１０４ 画像情報抽出部
１０５ 画像特徴抽出部
１０６ 画像特徴解析部
１０７ 前景領域抽出部
１０８ 補正パラメータ取得部
１０９ 画像補正部
１１０ 照合特徴抽出部
１１１ 照合特徴解析部
１１２ 学習部
１１３ 学習データ取得部
１１４ 学習パラメータ更新部
１１５ 表示部
１１６ 画像生成部

Claims (14)

1. 入力画像から画像特徴を抽出する画像特徴抽出手段と、
   前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出手段と、
   前記画像特徴に基づいて補正情報を取得する取得手段と、
   前記補正情報を用いて前記前景領域を補正する補正手段と、
   前記補正手段により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出手段と、
   前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合手段とを備えることを特徴とする画像処理装置。
2. 前記補正手段は前記前景領域を幾何補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記前景領域の傾きを補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記補正情報として人体の特定部位の位置を取得し、前記補正手段は当該特定部位の位置に基づいて前記前景領域の傾きを補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記人体の特定部位の位置として頭部および足の位置を取得することを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、前記補正情報として人体の角度を取得し、前記補正手段は当該角度に基づいて前記前景領域の傾きを補正することを特徴とする請求項２に記載の画像処理装置。
7. 前記補正手段は前記入力画像及び前記前景領域を補正し、
   前記照合特徴抽出手段は、補正後の前記入力画像において補正後の前記前景領域に対応する領域から前記照合用の画像特徴を抽出することを特徴とする請求項１に記載の画像処理装置。
8. 前記入力画像において前記補正手段で補正された前記前景領域を表す画像を生成する生成手段と、
   前記生成手段により生成された画像を表示する表示手段とをさらに備えることを特徴とする請求項１に記載の画像処理装置。
9. 前記補正手段は、アフィン変換、回転変換、射影変換の少なくとも１つを行うことを特徴とする請求項２に記載の画像処理装置。
10. 前記補正情報は、前記補正手段による補正におけるパラメータであることを特徴とする請求項２に記載の画像処理装置。
11. 前記入力画像はある撮像装置で撮像された画像であり、前記照合手段は、当該入力画像中の人物を他の撮像装置で撮像された画像内の人物と照合することを特徴とする請求項１に記載の画像処理装置。
12. 前記入力画像から人体領域を検出する検出手段をさらに備え、
    前記画像特徴抽出手段は、前記人体領域から画像特徴を抽出することを特徴とする請求項１に記載の画像処理装置。
13. 入力画像から画像特徴を抽出する画像特徴抽出工程と、
    前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出工程と、
    前記画像特徴に基づいて補正情報を取得する取得工程と、
    前記補正情報を用いて前記前景領域を補正する補正工程と、
    前記補正手段により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出工程と、
    前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合工程とを備えることを特徴とする画像処理方法。
14. コンピュータを請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。

Images