JP2015002547A - 画像処理装置、プログラム、および画像処理方法 - Google Patents
画像処理装置、プログラム、および画像処理方法 Download PDFInfo
- Publication number
- JP2015002547A JP2015002547A JP2013127967A JP2013127967A JP2015002547A JP 2015002547 A JP2015002547 A JP 2015002547A JP 2013127967 A JP2013127967 A JP 2013127967A JP 2013127967 A JP2013127967 A JP 2013127967A JP 2015002547 A JP2015002547 A JP 2015002547A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- range
- image
- person
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 74
- 238000003672 processing method Methods 0.000 title claims description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高める。【解決手段】検出部は、入力画像から対象人物を検出し、前記検出された対象人物の画像領域を求めるとともに対象人物の移動方向を算出する。記憶部は、画像特徴と人物の向きとの対応関係を示す情報を記憶する。画像特徴抽出部は、カメラの光軸に対する対象人物の移動方向と観測可能範囲の対応テーブルを用いて、対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、部分領域特徴を観測領域範囲内に格納する。特徴照合部は、比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、重畳する部分領域の特徴のみを照合する。【選択図】図１
Description
本発明は、画像処理装置、プログラム、および画像処理方法に関する。
防犯カメラには、犯罪の瞬間や証拠の記録、犯罪の抑止といった機能はもちろん、事件が起った際、その周辺の防犯カメラの画像を確認し、不審者がいないか捜索する用途もある。また、多数のカメラ画像を用いた人物の追跡システムは、セキュリティに使用された場合、それぞれ異なる場所で撮影された映像を利用して、検出した人物の移動ルートを示すことで、犯罪捜査に役立つことができる。視野の重なりがない異なる場所に設置した複数カメラを用いて人物を自動的に追跡するためには、異なるカメラ画像から同一人物を同定する必要がある。
同一人物の同定手法としては、顔、歩容情報や形状特徴などを用いた認証方法が提案されている。しかし、顔認証は人物が後ろを向いている場合は適用できない。また、歩容情報を用いた多くの方法は歩容シルエットを前提としているため、歩行方向と観測方向の変化による見えの変化によって認証性能が低下する問題がある。また、人物の画像特徴を用いて同定する方法が知られている。しかし、人物の体の向きの違いによって画像上の映り方が異なるため、同一の人物の同定は非常に難しくなる場合がある。
人物の体の向き毎に人物の特徴を取得し、同じ向き同士の特徴を比較する方法が考えられる。移動体の向きが同じ場合に、同一移動体か否かを判断する方法が知られている。
川合諒,槇原靖,八木康史:"STHOG特徴を用いた複数カメラ間での人物照合" ,情報処理学会CVIM研究報告Vol.2011-CVIM-177 No.10, pp. 1-8, 2011.
佐藤雄隆, 金子俊一, 丹羽義典, 山本和彦:"Radial Reach Filter(RRF)によるロバストな物体検出", 信学論(D-II), Vol. J86-D-II No.5,pp 616-624, 2003.
山内悠嗣, 山下隆義, 藤吉弘亘"Boostingに基づく特徴量の共起表現による人検出", 信学論D, Vol. J92-D, No. 8, pp. 1125-1134, 2009.
早坂光晴,富永英義,小宮一三:"逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡",PRMU2001-132,pp.133-138,Nov,2001.
岡部亜梨子, 安倍満, 小沢慎治 "ＡｂＳ手法を用いた店舗内における人物の検出"電気学会論文誌. C, 電子・情報・システム部門誌 127(4), 506-512, 2007.
岡野慎介, 浮田宗伯, 萩田紀博:"領域特徴量による複雑背景下での人物姿勢推定" ,情報処理学会CVIM研究報告Vol.2012-CVIM-180 No.9, pp. 1-8, 2012.
しかし、実環境では全く同じ向きの映像を得ることは現実的に難しく、移動体の向きが異なっていた場合に、その中で重畳をする部分を用いて、同一移動体か否かを判断することは知られていない。
そこで、１つの側面において、本発明は、カメラの撮影角度が一定である条件で、人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高める画像処理装置、プログラム、および画像処理方法を提供することを目的とする。
本明細書で後述する画像処理装置に、検出部と、記憶部と、画像特徴抽出部と、特徴照合部と備えているというものがある。検出部は、入力画像から対象人物を検出し、検出された対象人物の画像領域を求めるとともに対象人物の移動方向を算出する。記憶部は、画像特徴と人物の向きとの対応関係を示す情報を記憶する。画像特徴抽出部は、カメラの光軸に対する対象人物の移動方向と観測可能範囲の対応テーブルを用いて、対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、部分領域特徴を観測領域範囲内に格納する。特徴照合部は、比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、重畳する部分領域の特徴のみを照合する。
本明細書で後述する画像処理装置によれば、カメラの撮影角度が一定である条件で、人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高めることができるという効果を奏する。
以下、図面を参照しながら、実施形態を説明する。以下で開示される実施形態は、異なるカメラ画像から同一人物を同定することで、人物を自動的に追跡し、検出した人物の移動ルートを示す。たとえば、人物の移動方向が異なる複数のカメラ画像を用いて同一人物を同定する。このような装置は、犯罪捜査に役に立ち得る。
以下、「背景画像」とは、天井、壁など見え方が変化しない、人物が映っていない画像を意味する。また、「観測領域」とは、画像に映った人物の胴体部分の領域を意味する。
＜全般的説明＞
以下では、人物を例に説明するが、人物以外の移動体にも以下の説明は適用可能である。図１は、本実施形態に係る画像を用いて同一人物を同定する画像処理装置１０の構成の概要を示す。以下では、まず、画像処理装置１０が有する機能について説明する。
以下では、人物を例に説明するが、人物以外の移動体にも以下の説明は適用可能である。図１は、本実施形態に係る画像を用いて同一人物を同定する画像処理装置１０の構成の概要を示す。以下では、まず、画像処理装置１０が有する機能について説明する。
図２は、人物の胴体を円柱にモデル化することを説明するための図である。
図２（ａ）は、向きによって人物の特徴、例えば胴体の色分布が異なる人物の胴体を示している。図２（ｂ）に示されているように、この人物の胴体を円柱とみなす。すると、円柱の横表面を一定の刻みで部分領域に分割し、部分領域は人物の部分特徴として見なすことができる。
図２（ａ）は、向きによって人物の特徴、例えば胴体の色分布が異なる人物の胴体を示している。図２（ｂ）に示されているように、この人物の胴体を円柱とみなす。すると、円柱の横表面を一定の刻みで部分領域に分割し、部分領域は人物の部分特徴として見なすことができる。
図３（ａ）は、人物を上から見た図であり、図３（ｂ）は人物のモデルである円柱の横表面を一定刻みで分割した部分領域を示す図である。各部分領域には、色などの特徴量が付与される。図３（ｂ）に示されているように、円柱の横表面を一定刻み、たとえば１０度刻みで部分領域に分割し、各部分領域に特徴量を付与する。
図３に示されているように、カメラの光軸に対して人物の移動方向が分かれば、移動方向毎に人物が映る範囲は特定可能である。一方、移動方向が異なってもカメラに映る人物の体領域は重畳する共通の部分領域が観測できる。たとえば、正面向きと後向きの正反対方向は、移動方向を比較し、対象外に設定できる。この重畳する共通の部分領域の特徴を照合に用いることで、異なる領域の特徴が混じらないので、照合の精度を改善することが可能である。ここで、「特徴」とは、画像で人物を表す服装の色、輝度、テクスチャやパターンなどを意味しても良い。
図４（ａ）は、カメラ１の光軸に対して９０度方向に移動する人物を上から見た図である。図４（ｂ）に示されているように、人物が映る範囲は、１１０度から２５０度までの観測領域部分とする。ここでは、観測可能な領域範囲の角度を１４０度とする。しかしながら、カメラ１の性能に応じて、観測可能な領域範囲の角度を１４０度以外の角度に設定しても良い。図４（ｃ）はカメラ１における部分領域ごとの特徴量、例えばグレースケールを示す図である。
図５は、人物の移動方向と観測範囲の対応を示す表である。人物の移動方向に対して、観測範囲の角度が対応付けられる。例えば、移動方向が１１０度の場合、観測範囲は、９０度から２３０度である。
図６（ａ）は、カメラ１の光軸に対して９０度方向に移動する人物であって、左右対称である人物を上から見た図である。図５（ｂ）に示されているように、人物が映る範囲は、１１０度から２５０度までの観測領域部分と、２９０度から７０度までの対象領域部分である。
図７（ａ）は、カメラ２の光軸に対して１１０度方向に移動する人物を上から見た図である。図７（ｂ）に示されているように、この場合の観測範囲は、４０度から１８０度までである。図７（ｃ）は、カメラ２における部分領域ごとの特徴量、たとえばグレースケールを示す図である。
図８は、各カメラで得られた画像に含まれる人物について、移動方向、観測範囲（部分領域の範囲）、特徴量を含むデータベースを示している。もし、カメラがＮ台ある場合は、カメラ１〜カメラＮのそれぞれに対して、データベースが作成される。
次に、同一人物を同定するために、複数のカメラ、たとえばカメラ１とカメラ２で観測可能な領域を重ね、重畳する部分領域（重畳部分領域）で特徴量を比較する。
図９（ａ）は、図４および図７に示されている２つの観測領域を重ね合わせた図である。カメラ１の観測範囲とカメラ２の観測範囲は、１１０度から１８０度の角度で重なっている。図９（ｂ）および９（ｃ）はそれぞれ、カメラ１およびカメラ２における部分領域ごとの特徴量を示す図である。図９（ｂ）のＡの部分が重畳部分領域の特徴量である。また、図９（ｃ）のＢの部分が重畳部分領域の特徴量である。図９（ｂ）のＡの部分が重畳部分領域の特徴量と図９（ｃ）のＢの部分が重畳部分領域の特徴量を比較することによって、カメラ１に映った人物とカメラ２で映った人物が同一人物であるか否かを判定する。
以上のような機能を有することによって、画像処理装置１０は、カメラの撮影角度が一定である条件で、人物の体の向きが異なって映る複数のカメラ映像を用いて同一人物を同定する精度を高めることができる。
また、画像透視投影の観測対象が画像上に映っている位置の違いによって、求める移動方向のずれの範囲を判断し、重畳部分を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合することで照合する誤差を最小限に抑えることができる。
さらに、移動方向に変化がある場合は新たに増加する領域の特徴を統合し、重畳して共通する部分領域を広げ、利用可能な情報をできるだけ増やして照合することで、安定性を高める。また、人物の胴体を左右対称と見なした場合、観測できた人物の領域と対称になる部分の領域も部分領域特徴に加えて、重畳部分を算出するときの部分領域特徴として用い、重畳する部分のみの特徴を照合することで、重畳する共通の部分領域をさらに広げることができる。
＜第１実施形態＞
＜＜画像処理装置＞＞
図１に戻って、画像処理装置１０について説明する。
＜＜画像処理装置＞＞
図１に戻って、画像処理装置１０について説明する。
図１は、本実施形態に係る画像を用いて同一人物を同定する画像処理装置１０の構成の概要を示す。画像処理装置１０は、カメラ１０２と接続可能であり、画像入力部１０４、検出部１０６、画像特徴抽出部１０８、データベース（ＤＢ）（または記憶部）１１４、特徴照合部１１０、及び出力部１１２を備える。
検出部１０６は、移動体検出部１０６２と、移動方向の算出部１０６４とを含む。
画像特徴抽出部１０８は、特徴範囲の選定部１０８２、特徴抽出部１０８４、及び、領域分割・格納部１０８６を含む。
画像特徴抽出部１０８は、特徴範囲の選定部１０８２、特徴抽出部１０８４、及び、領域分割・格納部１０８６を含む。
まず、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。以下、画像の画像データを、単に画像と省略する。
なお、カメラ１０２は、ネットワークを介して画像処理装置１０と接続されてもよく、画像処理装置１０に直接接続されてもよい。
検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。
ここで、入力画像から人物を検出するには、予め準備した人物が存在しない画像(背景画像)を入力画像から差し引いた背景差分画像により、移動体の人物の領域を前景として抽出する方法を用いても良い。また、例えば、非特許文献２に記載のように、移動体の領域を検出する方法を用いても良い。また、認識対象が人物らしい特徴モデルであることを利用して、人物の輪郭を前景として抽出する方法を用いても良い。また、例えば、非特許文献３に記載のように、人物の特徴を学習し、入力画像から人物の特徴を抽出する方法を用いても良い。
続いて、移動方向の算出部１０６４は、カメラ１０２で検出された人物の移動方向を求める。検出された人物の領域に対しては、３次元上の人物の位置(ｘ,ｙ)を得ることができるので、検出された人物の３次元上の位置の移動を用いて移動方向を求めることができる。例えば、非特許文献４の記載のように逆投影法とカルマンフィルタを用いて、画像上の人物の領域から、３次元上の人物の位置(ｘ,ｙ)を得ることができる。また、非特許文献５の記載のように、人物の標準身長を基に、人物領域画像から３次元上の人物の位置を得ることもできる。例えば、移動前の実環境平面上の座標位置Ｐ(ｘ１,ｙ１)、移動後の実環境平面上の座標位置Ｐ(ｘ２,ｙ２)が得られた場合、移動方向θは式（１）のように求めることができる。
１枚の画像で移動方向を求める方法として、例えば、非特許文献６に記載のように、人物を表現する複数のパーツに対応するテンプレートを作成し、分割領域との類似度を計算することで人物の向きを推定しても良い。
画像特徴抽出部１０８は、検出部１０６から画像を受信し、画像の特徴を算出する。画像特徴抽出部１０８は、移動方向によって観測領域範囲を選択し、抽出した領域内特徴を分割して特徴テーブルの観測領域範囲内に格納する。
より詳細には、画像特徴抽出部１０８の特徴範囲の選定部１０８２は、移動方向によって観測可能な特徴領域を選定する。対象人物の移動方向を用いて観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
まず、図２のように人物の胴体を円柱と見なして、円柱の横表面を既定の刻みで部分領域に分割し特徴テーブルを作成する。例えば、一つの部分領域を１０度刻みで表す場合、図３（ｂ）のように特徴テーブルを作成することができる。
画像特徴抽出部１０８の特徴範囲の選定部１０８２は、カメラの光軸に対する人物の移動方向毎に観測可能な範囲を事前調査で選定する。例えば、カメラの光軸に対する移動方向が９０度の場合、観測可能な部分領域の範囲は約１４０度(１１０〜２５０度)とする。
画像特徴抽出部１０８の特徴抽出部１０８４は、移動方向毎に観測可能な部分領域の範囲を予め設定し、選定された領域の特徴を抽出し、移動方向と観測範囲の対応を示す対応テーブル作成する。例えば、移動方向を１０度単位(−５〜５度を移動方向０とする)で観測範囲を対応付けた場合、対応テーブルの例は、図５に示されている。
画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域の特徴をテーブルに記入し、テーブルをＤＢ１１４に格納する。選択された観測範囲に対応付けて、分割された部分領域特徴(ここで、特徴は画像で人物を表す服装の色、輝度、テクスチャやパターンなどの特徴を意味する)を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。例えば、カメラ１のＩＤ１の移動方向が９０度で部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の移動方向が１６０度で部分領域特徴の範囲が４０〜１８０度とする。図７に、カメラ１のＩＤ１とカメラ２のＩＤ１の特徴テーブルを示す。また、図８に、カメラ１とカメラ２のデータベースの例を示す。
また、ＤＢ１１４は、図６に示すような画像特徴と人物の向きとの対応関係を示す情報が記憶されている。図６については、後で詳細に述べる。
特徴照合部１１０は、比較する二つの特徴テーブルが重畳する部分の範囲を求め、重畳する部分領域の特徴のみを照合する。照合した特徴の類似度を用いて同一人物かを判定する。
出力部１１２は、特徴照合部１１０が推定した結果を出力する。
ここで、上記実施の形態による画像処理装置の動作、及び画像処理方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１０は、標準的なコンピュータのハードウェア構成の一例を示すブロック図である。図１０に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
ここで、上記実施の形態による画像処理装置の動作、及び画像処理方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１０は、標準的なコンピュータのハードウェア構成の一例を示すブロック図である。図１０に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記それぞれの実施の形態による人物の向きを推定するための画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検出の動作を行う。このとき、画像検出の処理をＣＰＵ３０２に行わせるための制御プログラムは、予め外部記憶装置３１２に記憶されている。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
図１１は、画像処理装置１０における処理の流れを示すフローチャートである。また、画像処理装置１０が後述の図１０に示されているような汎用コンピュータ３００によって構成される場合には、下記の説明は、そのような処理を行う制御プログラムを定義する。すなわち、以下では、下記に説明する処理を汎用コンピュータに行わせる制御プログラムの説明でもある。
Ｓ１００で画像処理装置１０の画像入力部１０４は、カメラ１０２で撮像された画像を入力画像として取得する。
Ｓ１０２で画像処理装置１０の検出部１０６の移動体検出部１０６２は、入力画像から人物を検出する。
ここで、入力画像から人物を検出するには、予め準備した人物が存在しない画像(背景画像)を入力画像から差し引いた背景差分画像により、移動体の人物の領域を前景として抽出する方法を用いても良い。また、移動体の領域を検出する方法を用いても良い。また、認識対象が人物らしい特徴モデルであることを利用して、人物の輪郭を前景として抽出する方法を用いても良い。また、人物の特徴を学習し、入力画像から人物の特徴を抽出する方法を用いても良い。
Ｓ１０４で画像処理装置１０の検出部１０６の移動方向の算出部１０６４は、Ｓ１０２で検出された人物の移動方向を求める。
Ｓ１０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、移動方向によって観測可能な特徴領域を選定する。
対象人物の移動方向を用いて観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
まず、図２のように人物の胴体を円柱と見なして、円柱の横表面を既定の刻みで部分領域に分割し特徴テーブルを作成する。例えば、一つの部分領域を１０度刻みで表す場合、図３（ｂ）のように特徴テーブルを作成することができる。
またＳ１０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、カメラの光軸に対する人物の移動方向毎に観測可能な範囲を事前調査で選定する。例えば、カメラの光軸に対する移動方向が９０度の場合、観測可能な部分領域の範囲は約１４０度(１１０〜２５０度)とする。
Ｓ１０８で画像特徴抽出部１０８の特徴抽出部１０８４は、移動方向毎に観測可能な部分領域の範囲を予め設定し、選定された領域の特徴を抽出し、移動方向と観測範囲の対応を示す対応テーブル作成する。例えば、移動方向を１０度単位(−５〜５度を移動方向０とする)で観測範囲を対応付けた場合、対応テーブルの例は、図５に示されている。
また、Ｓ１１０で画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域の特徴をテーブルに記入し、テーブルをＤＢ１１４に格納する。
選択された観測範囲に対応付けて、分割された部分領域特徴(ここで、特徴は画像で人物を表す服装の色、輝度、テクスチャやパターンなどの特徴を意味する)を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。例えば、カメラ１のＩＤ１の移動方向が９０度で部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の移動方向が１６０度で部分領域特徴の範囲が４０〜１８０度とする。図７に、カメラ１のＩＤ１とカメラ２のＩＤ１の特徴テーブルを示す。また、図８に、カメラ１とカメラ２のデータベースの例を示す。
Ｓ１１２で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の算出部１１０２は、重畳して共通する部分を求める。具体的には、異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。例えば、カメラ１のＩＤ１の部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の部分領域特徴の範囲が４０〜１８０度の場合、重畳部分領域は１１０〜１８０度である。図９に、観測範囲を重ね合わせた鳥瞰図と重畳部分領域を示す。
Ｓ１１４で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の照合部１１０４は、重畳部分領域の特徴の照合処理を行う。たとえば照合部１１０４は、重畳部分領域のみの特徴を用いて照合処理を行う。
Ｓ１１６で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の類似度算出部１１０６は、類似度を算出する。
Ｓ１１８で画像特徴抽出部１０８の出力部１１２は、照合結果を出力する。
＜第２実施形態＞
図１２〜１６を参照して、第２実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
図１２〜１６を参照して、第２実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
透視投影画像では、人物の検出位置の違いによって移動方向のずれ幅が異なる。影される人物の位置が画像上の中心から端に行くほど、また手前から遠方に行くほど、誤差の振れ幅が大きくなる。撮影される人物の位置が画像上の中心から端に行くほど、また手前から遠方に行くほど、誤差の振れ幅が大きくなる。
図１２は、撮影位置によって異なる同一人物の画像を示す。図１２（ａ）は、人物が手前位置にいる場合、図１２（ｂ）は、遠方位置にいる場合、そして、図１２（ｃ）は端の位置にいる場合を示している。
図１３（ａ）は、カメラ１から撮像可能な領域を角度と距離に応じて分割された複数の領域を示す図である。カメラ１から３ｍ以下の領域は、左側の領域ＣＡ、中央の領域ＣＢ、右側の領域ＣＣの３つの領域に分割される。同様に、カメラ１からの距離が３ｍ〜５ｍの領域も、左側の領域ＢＡ、中央の領域ＢＢ、右側の領域ＢＣの３つの領域に分割される。カメラ１からの距離が５ｍ以上の領域も、左側の領域ＡＡ、中央の領域ＡＢ、右側の領域ＡＣの３つの領域に分割される。
また、撮影される人物はカメラに対して相対位置に応じて、誤差の振れ幅を図１３（ｃ）に示すように予め設定することができる。例えば、検出された人物の座標位置Ｐ(ｘ１、ｙ１)が領域ブロックＢＢに属して、移動方向の誤差の振れ幅が１０である。例えば、移動方向が９０度の場合、振れ幅が±１０度を考慮して、移動方向は９０±１０度となる。
画像特徴抽出部１０８の特徴範囲の選定部１０８２は、対象人物の移動方向から観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。ここで、対応テーブルの作成は第１の実施形態と同様である。
画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域特徴をテーブルに格納する。すなわち、画像特徴抽出部１０８の領域分割・格納部１０８６は、選択された観測範囲に対応付けて、分割された部分領域特徴を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。なお、ここで特徴テーブルは、移動方向、観測範囲、特徴量に加えて、移動方向の誤差範囲や座標位置を追加する。図１４に、カメラ１とカメラ２のデータベースの例を示す。
特徴照合部１１０の重畳部分の算出部１１０２は、重畳して共通する部分を求める。
異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。ここでは、移動方向の誤差範囲を考慮して観測範囲を変更して重ね合わせを複数回行う。例えば、カメラ１のＩＤ１とカメラ２のＩＤ１の重ね合わせ処理を行う場合、処理の順番と移動方向の対応表を図１５に示す。
異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。ここでは、移動方向の誤差範囲を考慮して観測範囲を変更して重ね合わせを複数回行う。例えば、カメラ１のＩＤ１とカメラ２のＩＤ１の重ね合わせ処理を行う場合、処理の順番と移動方向の対応表を図１５に示す。
特徴照合部１１０の照合部１１０４は、重畳部分領域の特徴の照合処理を行う。
特徴照合部１１０の類似度算出部１１０６は、類似度を算出し照合結果を出力する。
出力部１１２は、最大の類似度から照合結果を出力する。
特徴照合部１１０の類似度算出部１１０６は、類似度を算出し照合結果を出力する。
出力部１１２は、最大の類似度から照合結果を出力する。
図１６は、本実施形態に係る画像処理装置１０における処理の流れを示すフローチャートである。また、画像処理装置１００が図１０に示されているような汎用コンピュータ３００によって構成される場合には、下記の説明は、そのような処理を行う制御プログラムを定義する。すなわち、以下では、下記に説明する処理を汎用コンピュータに行わせる制御プログラムの説明でもある。
Ｓ２００で画像処理装置１０の画像入力部１０４は、カメラ１０２で撮像された画像を入力画像として取得する。
Ｓ２０２で画像処理装置１０の検出部１０６の移動体検出部１０６２は、入力画像から人物を検出する。
ここで、入力画像から人物を検出するには、予め準備した人物が存在しない画像(背景画像)を入力画像から差し引いた背景差分画像により、移動体の人物の領域を前景として抽出する方法を用いても良い。また、移動体の領域を検出する方法を用いても良い。また、認識対象が人物らしい特徴モデルであることを利用して、人物の輪郭を前景として抽出する方法を用いても良い。また、人物の特徴を学習し、入力画像から人物の特徴を抽出する方法を用いても良い。
Ｓ２０４で画像処理装置１０の検出部１０６の移動方向の算出部１０６４は、Ｓ２０２で検出された人物の移動方向を求める。
Ｓ２０６で画像処理装置１０の検出部１０６の移動方向の算出部１０６４は、検出位置によって移動方向の誤差の振れ幅を求める。
Ｓ２０８で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、移動方向によって観測可能な特徴領域を選定する。
対象人物の移動方向を用いて観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
Ｓ２１０で画像特徴抽出部１０８の特徴抽出部１０８４は、移動方向毎に観測可能な部分領域の範囲を予め設定し、選定された領域の特徴を抽出し、移動方向と観測範囲の対応を示す対応テーブル作成する。
また、Ｓ２１２で画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域の特徴をテーブルに記入し、テーブルをＤＢ１１４に格納する。
選択された観測範囲に対応付けて、分割された部分領域特徴(ここで、特徴は画像で人物を表す服装の色、輝度、テクスチャやパターンなどの特徴を意味する)を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。例えば、カメラ１のＩＤ１の移動方向が９０度で部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の移動方向が１６０度で部分領域特徴の範囲が４０〜１８０度とする。
Ｓ２１４で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の算出部１１０２は、重畳して共通する部分を求める。具体的には、異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。例えば、カメラ１のＩＤ１の部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の部分領域特徴の範囲が４０〜１８０度の場合、重畳部分領域は１１０〜１８０度である。
Ｓ２１６で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の照合部１１０４は、重畳部分領域の特徴の照合処理を行う。たとえば照合部１１０４は、重畳部分領域のみの特徴を用いて照合処理を行う。
Ｓ２１８で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の類似度算出部１１０６は、類似度を算出する。
Ｓ２２０で画像特徴抽出部１０８の出力部１１２は、照合結果を出力する。
Ｓ２２０で画像特徴抽出部１０８の出力部１１２は、照合結果を出力する。
＜第３実施形態＞
図１７〜図２０を参照して、第３実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
図１７〜図２０を参照して、第３実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
特徴領域を既定の刻みで分割し、部分領域特徴をテーブルに格納する際、選択された観測範囲に対応付けて、分割された部分領域特徴を特徴テーブルに格納する。
人物の連続する動きで移動方向に変化がある場合は、移動方向毎に、検出された人物の移動方向を求めることと、移動方向によって観測可能な特徴領域を選定することを繰り返す。移動方向の変更で新たに取得てきた部分領域特徴を累積して特徴テーブルに格納する。例えば、検出された人物の最初取得できた移動方向が９０度の場合、観測範囲が１１０〜２５０度で、次に取得できた移動方向が１００度の場合、観測範囲が１００〜２４０度である。新たに取得できた部分領域特徴を加えて観測範囲１００〜２５０度の部分領域特徴が格納される。
図１７〜図１９に例を示す。図１７は、移動方向が９０度の場合の観測部分領域の特徴の累積例を示す図である。図１８は、移動方向が１００度の場合の観測部分領域の特徴の累積例を示す図である。図１９は、統合する場合の観測部分領域の特徴の累積例を示す図である。
図２０は、本実施形態に係る画像処理装置１０における処理の流れを示すフローチャートである。また、画像処理装置１００が後述の図１０に示されているような汎用コンピュータ３００によって構成される場合には、下記の説明は、そのような処理を行う制御プログラムを定義する。すなわち、以下では、下記に説明する処理を汎用コンピュータに行わせる制御プログラムの説明でもある。
Ｓ３００で画像処理装置１０の画像入力部１０４は、カメラ１０２で撮像された画像を入力画像として取得する。
Ｓ３０２で画像処理装置１０の検出部１０６の移動体検出部１０６２は、入力画像から人物を検出する。
ここで、入力画像から人物を検出するには、予め準備した人物が存在しない画像(背景画像)を入力画像から差し引いた背景差分画像により、移動体の人物の領域を前景として抽出する方法を用いても良い。また、移動体の領域を検出する方法を用いても良い。また、認識対象が人物らしい特徴モデルであることを利用して、人物の輪郭を前景として抽出する方法を用いても良い。また、人物の特徴を学習し、入力画像から人物の特徴を抽出する方法を用いても良い。
Ｓ３０４で画像処理装置１０の検出部１０６の移動方向の算出部１０６４は、Ｓ１０２で検出された人物の移動方向を求める。
Ｓ３０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、移動方向によって観測可能な特徴領域を選定する。
対象人物の移動方向を用いて観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
またＳ３０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、カメラの光軸に対する人物の移動方向毎に観測可能な範囲を事前調査で選定する。例えば、カメラの光軸に対する移動方向が９０度の場合、観測可能な部分領域の範囲は約１４０度(１１０〜２５０度)とする。
Ｓ３０８で画像特徴抽出部１０８の特徴抽出部１０８４は、移動方向毎に観測可能な部分領域の範囲を予め設定し、選定された領域の特徴を抽出し、移動方向と観測範囲の対応を示す対応テーブル作成する。
また、Ｓ３１０で画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域の特徴をテーブルに記入し、テーブルをＤＢ１１４に格納する。
選択された観測範囲に対応付けて、分割された部分領域特徴(ここで、特徴は画像で人物を表す服装の色、輝度、テクスチャやパターンなどの特徴を意味する)を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。例えば、カメラ１のＩＤ１の移動方向が９０度で部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の移動方向が１６０度で部分領域特徴の範囲が４０〜１８０度とする。
Ｓ３１２で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の算出部１１０２は、移動方向の変化で増加した領域の特徴を統合する。
Ｓ３１４で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の算出部１１０２は、重畳して共通する部分を求める。具体的には、異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。例えば、カメラ１のＩＤ１の部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の部分領域特徴の範囲が４０〜１８０度の場合、重畳部分領域は１１０〜１８０度である。
Ｓ３１６で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の照合部１１０４は、重畳部分領域の特徴の照合処理を行う。たとえば照合部１１０４は、重畳部分領域のみの特徴を用いて照合処理を行う。
Ｓ３１８で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の類似度算出部１１０６は、類似度を算出する。
Ｓ３２０で画像特徴抽出部１０８の出力部１１２は、照合結果を出力する。
＜第４実施形態＞
図２１〜図２２を参照して、第４実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
図２１〜図２２を参照して、第４実施形態について説明する。
以下では、第１実施形態と異なる部分のみ説明する。
移動方向によって観測可能な特徴領域を選定する際、対象人物の移動方向から観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
まず、第１実施形態の場合のように、人物の胴体を円柱と見なして、円柱の横表面(３６０度)を既定の刻みで部分領域に分割し特徴テーブルを作成する。
次に、カメラの光軸に対する人物の移動方向毎に観測可能な範囲を事前調査で設定する。ここでは、人物の胴体を左右対称と見なし、観測できた人物の領域と対称になる部分の領域も用いる。例えば、カメラの光軸に対する移動方向が９０度の場合、観測可能な部分領域の範囲は１１０〜２５０度で、その対称領域２９０〜３６０且つ０〜７０度となる。
図２１は、左右対称性を用いた特徴テーブルを示す。
さらに、移動方向毎に観測可能な部分領域の範囲を予め設定し、移動方向と観測範囲の対応テーブル作成しておく。
さらに、移動方向毎に観測可能な部分領域の範囲を予め設定し、移動方向と観測範囲の対応テーブル作成しておく。
そして、特徴領域を既定の刻みで分割し、部分領域特徴をテーブルに格納する。
Ｓ４００で画像処理装置１０の画像入力部１０４は、カメラ１０２で撮像された画像を入力画像として取得する。
Ｓ４００で画像処理装置１０の画像入力部１０４は、カメラ１０２で撮像された画像を入力画像として取得する。
Ｓ４０２で画像処理装置１０の検出部１０６の移動体検出部１０６２は、入力画像から人物を検出する。
ここで、入力画像から人物を検出するには、予め準備した人物が存在しない画像(背景画像)を入力画像から差し引いた背景差分画像により、移動体の人物の領域を前景として抽出する方法を用いても良い。また、移動体の領域を検出する方法を用いても良い。また、認識対象が人物らしい特徴モデルであることを利用して、人物の輪郭を前景として抽出する方法を用いても良い。また、人物の特徴を学習し、入力画像から人物の特徴を抽出する方法を用いても良い。
Ｓ４０４で画像処理装置１０の検出部１０６の移動方向の算出部１０６４は、Ｓ１０２で検出された人物の移動方向を求める。
Ｓ４０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、移動方向によって観測可能な特徴領域を選定する。
対象人物の移動方向を用いて観測可能な特徴領域の範囲を選定する。ここでは、予め用意しておいた、移動方向と観測可能範囲の対応テーブルを用いる。
またＳ４０６で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、カメラの光軸に対する人物の移動方向毎に観測可能な範囲を事前調査で選定する。例えば、カメラの光軸に対する移動方向が９０度の場合、観測可能な部分領域の範囲は約１４０度(１１０〜２５０度)とする。
Ｓ４０８で画像特徴抽出部１０８の特徴範囲の選定部１０８２は、対照となる領域を特徴領域として加える。
Ｓ４１０で画像特徴抽出部１０８の特徴抽出部１０８４は、移動方向毎に観測可能な部分領域の範囲を予め設定し、選定された領域の特徴を抽出し、移動方向と観測範囲の対応を示す対応テーブル作成する。
また、Ｓ４１２で画像特徴抽出部１０８の領域分割・格納部１０８６は、特徴領域を既定の刻みで分割し、部分領域の特徴をテーブルに記入し、テーブルをＤＢ１１４に格納する。
選択された観測範囲に対応付けて、分割された部分領域特徴(ここで、特徴は画像で人物を表す服装の色、輝度、テクスチャやパターンなどの特徴を意味する)を特徴テーブルに格納する。さらに、カメラ毎に検出した人物にＩＤをつけて特徴テーブルをデータベースとして保存する。例えば、カメラ１のＩＤ１の移動方向が９０度で部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の移動方向が１６０度で部分領域特徴の範囲が４０〜１８０度とする。
Ｓ４１４で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の算出部１１０２は、重畳して共通する部分を求める。具体的には、異なるカメラのデータベースに保存された人物ＩＤの観測範囲を重ね合わせて、重畳する部分の領域範囲を算出する。例えば、カメラ１のＩＤ１の部分領域特徴の範囲が１１０〜２５０度で、カメラ２のＩＤ１の部分領域特徴の範囲が４０〜１８０度の場合、重畳部分領域は１１０〜１８０度である。図９に、観測範囲を重ね合わせた鳥瞰図と重畳部分領域を示す。
Ｓ４１６で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の照合部１１０４は、重畳部分領域の特徴の照合処理を行う。たとえば照合部１１０４は、重畳部分領域のみの特徴を用いて照合処理を行う。
Ｓ４１８で画像特徴抽出部１０８の特徴照合部１１０の重畳部分の類似度算出部１１０６は、類似度を算出する。
Ｓ４２０で画像特徴抽出部１０８の出力部１１２は、照合結果を出力する。
以上、説明したように、本発明の画像処理装置、プログラム、および画像処理方法によれば、実際に観測できた特徴のみを用いることで、人物の移動方向が異なる複数のカメラ映像を用いて同一人物の同定精度を高めることができる。
以上、説明したように、本発明の画像処理装置、プログラム、および画像処理方法によれば、実際に観測できた特徴のみを用いることで、人物の移動方向が異なる複数のカメラ映像を用いて同一人物の同定精度を高めることができる。
本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、ＰＣ上で動作をするプログラムの提供だけでなく、クラウド上のサーバによるサービスの提供であってもよい。また、画像検出の方法は上記に限定されるものではなく、公知の別の方法を用いてもよい。詳細処理の方法も、公知の別の方法を用いてもよい。
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
入力画像から対象人物を検出し、前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出する検出部と、
画像特徴と人物の向きとの対応関係を示す情報を記憶する記憶部と、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納する画像特徴抽出部と、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、前記重畳する部分領域の特徴のみを照合する特徴照合部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記特徴照合部は、前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記特徴照合部は、前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
前記特徴照合部は、前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記５）
入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
処理をコンピュータに実行させるプログラム。
（付記６）
前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、
前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記７）
前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、
前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記８）
前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、
前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記９）
コンピュータによって実行される画像処理方法であって、
入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
ことを特徴とする画像処理方法。
（付記１０）
前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、
前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
ことを含む、付記９に記載の画像処理方法。
（付記１１）
前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、
前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
ことを含む、付記９に記載の画像処理方法。
（付記１２）
前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、
前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
ことを含む、付記９に記載の画像処理方法。
（付記１）
入力画像から対象人物を検出し、前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出する検出部と、
画像特徴と人物の向きとの対応関係を示す情報を記憶する記憶部と、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納する画像特徴抽出部と、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、前記重畳する部分領域の特徴のみを照合する特徴照合部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記特徴照合部は、前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記特徴照合部は、前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
前記特徴照合部は、前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
ことを特徴とする付記１に記載の画像処理装置。
（付記５）
入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
処理をコンピュータに実行させるプログラム。
（付記６）
前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、
前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記７）
前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、
前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記８）
前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、
前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
処理を更にコンピュータに実行させる付記５に記載のプログラム。
（付記９）
コンピュータによって実行される画像処理方法であって、
入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
ことを特徴とする画像処理方法。
（付記１０）
前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、
前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
ことを含む、付記９に記載の画像処理方法。
（付記１１）
前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、
前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
ことを含む、付記９に記載の画像処理方法。
（付記１２）
前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、
前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
ことを含む、付記９に記載の画像処理方法。
１０ 画像処理装置
１０２ カメラ
１０４ 画像入力部
１０６ 検出部
１０６２ 移動体検出部
１０６４ 移動方向の算出部
１０８ 画像特徴抽出部
１０８２ 特徴範囲の選定部
１０８４ 特徴抽出部
１０８６ 領域分割・格納部
１１０ 特徴照合部
１１０２ 重畳部分の算出部
１１０４ 重畳部分の照合部
１１０６ 類似度算出部
１１２ 出力部
１１４ データベース
１０２ カメラ
１０４ 画像入力部
１０６ 検出部
１０６２ 移動体検出部
１０６４ 移動方向の算出部
１０８ 画像特徴抽出部
１０８２ 特徴範囲の選定部
１０８４ 特徴抽出部
１０８６ 領域分割・格納部
１１０ 特徴照合部
１１０２ 重畳部分の算出部
１１０４ 重畳部分の照合部
１１０６ 類似度算出部
１１２ 出力部
１１４ データベース
Claims (6)
- 入力画像から対象人物を検出し、前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出する検出部と、
画像特徴と人物の向きとの対応関係を示す情報を記憶する記憶部と、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納する画像特徴抽出部と、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、前記重畳する部分領域の特徴のみを照合する特徴照合部と、
を備えていることを特徴とする画像処理装置。 - 前記特徴照合部は、前記対象人物が画像上に映っている位置の違いによって、求める移動方向の誤差の振れ幅を判断し、前記重畳する部分領域を比較する時には、比較する部分領域特徴の範囲を誤差の振れ幅分ずらして照合する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記特徴照合部は、前記対象人物の移動方向に変化がある場合は新たに増加する部分領域の特徴を累積し、前記対象人物の領域を分割して重ね合わせて一致する部分のみの特徴を利用して照合する、
ことを特徴とする請求項１に記載の画像処理装置。 - 前記特徴照合部は、前記対象人物の領域と対称になる部分の領域を前記部分領域特徴に加えて、前記重畳する部分領域を算出するときの部分領域特徴として用い、重畳する部分領域のみの特徴を照合する、
ことを特徴とする請求項１に記載の画像処理装置。 - 入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
処理をコンピュータに実行させるプログラム。 - コンピュータによって実行される画像処理方法であって、
入力画像から対象人物を検出し、
前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出し、
カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、
前記選択された観測領域範囲の部分領域特徴を抽出し、
抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納し、
比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、
前記重畳する部分領域の特徴のみを照合する、
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013127967A JP6221390B2 (ja) | 2013-06-18 | 2013-06-18 | 画像処理装置、プログラム、および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013127967A JP6221390B2 (ja) | 2013-06-18 | 2013-06-18 | 画像処理装置、プログラム、および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015002547A true JP2015002547A (ja) | 2015-01-05 |
| JP6221390B2 JP6221390B2 (ja) | 2017-11-01 |
Family
ID=52296797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013127967A Active JP6221390B2 (ja) | 2013-06-18 | 2013-06-18 | 画像処理装置、プログラム、および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6221390B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015184810A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2017068375A (ja) * | 2015-09-28 | 2017-04-06 | Kddi株式会社 | 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム |
| JP2017204095A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 特徴量比較プログラム、情報処理装置、および特徴量比較方法 |
| US10121068B2 (en) | 2015-08-18 | 2018-11-06 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method and program |
| JP2019008480A (ja) * | 2017-06-22 | 2019-01-17 | 富士通株式会社 | 画像解析プログラム、画像解析装置、及び画像解析方法 |
| WO2020136794A1 (ja) | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
| WO2020136795A1 (ja) | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2020123246A (ja) * | 2019-01-31 | 2020-08-13 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、システム、及びプログラム |
| WO2022201987A1 (ja) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | 画像解析装置、画像解析システム、画像解析方法及びプログラム |
| WO2023281559A1 (ja) * | 2021-07-05 | 2023-01-12 | 三菱電機株式会社 | 人物同定装置、及び人物同定方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002218449A (ja) * | 2001-01-17 | 2002-08-02 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
| JP2008035301A (ja) * | 2006-07-31 | 2008-02-14 | Hitachi Ltd | 移動体追跡装置 |
| WO2011046128A1 (ja) * | 2009-10-16 | 2011-04-21 | 日本電気株式会社 | 人物服装特徴抽出装置、人物検索装置、及びその処理方法 |
| JP2011215843A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像処理装置 |
| JP2012128693A (ja) * | 2010-12-15 | 2012-07-05 | Canon Inc | 映像処理装置、映像処理方法およびプログラム |
| JP2012221437A (ja) * | 2011-04-14 | 2012-11-12 | Hitachi Ltd | 物体認識装置および物体認識方法 |
-
2013
- 2013-06-18 JP JP2013127967A patent/JP6221390B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002218449A (ja) * | 2001-01-17 | 2002-08-02 | Atr Media Integration & Communications Res Lab | 移動物体追跡装置 |
| JP2008035301A (ja) * | 2006-07-31 | 2008-02-14 | Hitachi Ltd | 移動体追跡装置 |
| WO2011046128A1 (ja) * | 2009-10-16 | 2011-04-21 | 日本電気株式会社 | 人物服装特徴抽出装置、人物検索装置、及びその処理方法 |
| JP2011215843A (ja) * | 2010-03-31 | 2011-10-27 | Secom Co Ltd | 顔画像処理装置 |
| JP2012128693A (ja) * | 2010-12-15 | 2012-07-05 | Canon Inc | 映像処理装置、映像処理方法およびプログラム |
| JP2012221437A (ja) * | 2011-04-14 | 2012-11-12 | Hitachi Ltd | 物体認識装置および物体認識方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015184810A (ja) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラム |
| US10121068B2 (en) | 2015-08-18 | 2018-11-06 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method and program |
| JP2017068375A (ja) * | 2015-09-28 | 2017-04-06 | Kddi株式会社 | 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム |
| JP2017204095A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 特徴量比較プログラム、情報処理装置、および特徴量比較方法 |
| JP2019008480A (ja) * | 2017-06-22 | 2019-01-17 | 富士通株式会社 | 画像解析プログラム、画像解析装置、及び画像解析方法 |
| US11361588B2 (en) | 2018-12-27 | 2022-06-14 | Nec Corporation | Information processing apparatus, information processing method, and program |
| WO2020136795A1 (ja) | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2020136794A1 (ja) | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
| US11704934B2 (en) | 2018-12-27 | 2023-07-18 | Nec Corporation | Information processing apparatus, information processing method, and program |
| US11710347B2 (en) | 2018-12-27 | 2023-07-25 | Nec Corporation | Information processing apparatus, information processing method, and program |
| US11836217B2 (en) | 2018-12-27 | 2023-12-05 | Nec Corporation | Information processing apparatus, information processing method, and program |
| US11928181B2 (en) | 2018-12-27 | 2024-03-12 | Nec Corporation | Information processing apparatus, information processing method, and program |
| US11934483B2 (en) | 2018-12-27 | 2024-03-19 | Nec Corporation | Information processing apparatus, information processing method, and program |
| US11971952B2 (en) | 2018-12-27 | 2024-04-30 | Nec Corporation | Information processing apparatus, information processing method, and program |
| JP2020123246A (ja) * | 2019-01-31 | 2020-08-13 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、システム、及びプログラム |
| JP7313155B2 (ja) | 2019-01-31 | 2023-07-24 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、システム、及びプログラム |
| WO2022201987A1 (ja) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | 画像解析装置、画像解析システム、画像解析方法及びプログラム |
| WO2023281559A1 (ja) * | 2021-07-05 | 2023-01-12 | 三菱電機株式会社 | 人物同定装置、及び人物同定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6221390B2 (ja) | 2017-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| Dong et al. | Marker-free monitoring of the grandstand structures and modal identification using computer vision methods | |
| US20200279121A1 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| Chen et al. | Principal axes descriptor for automated construction-equipment classification from point clouds | |
| US9741130B2 (en) | Method and apparatus for detecting object | |
| US8965114B2 (en) | Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system | |
| US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
| Zhuang et al. | 3-D-laser-based scene measurement and place recognition for mobile robots in dynamic indoor environments | |
| JP2021530821A (ja) | 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム | |
| WO2015098971A1 (ja) | キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| Yan et al. | Estimating worker-centric 3D spatial crowdedness for construction safety management using a single 2D camera | |
| CN104246793A (zh) | 移动设备的三维脸部识别 | |
| KR101380628B1 (ko) | 복수의 카메라를 사용한 객체 추적 방법 및 장치 | |
| Liang et al. | Image-based positioning of mobile devices in indoor environments | |
| KR20150065445A (ko) | 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법 | |
| JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
| CN113240678B (zh) | 平面信息检测方法及系统 | |
| Hoseinnezhad et al. | Finite sample bias of robust estimators in segmentation of closely spaced structures: A comparative study | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| JPWO2018131163A1 (ja) | 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体 | |
| JP6096601B2 (ja) | 駅ホーム転落検知装置 | |
| JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
| JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
| JP6163732B2 (ja) | 画像処理装置、プログラム、及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170918 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6221390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |