JP2016057998A - 物体識別方法 - Google Patents

Abstract

【課題】
動画像中から移動物体を検出し、さらに移動物体の種別、属性を高精度に識別可能な物体識別方法を提供すること。
【解決手段】
動画像中から移動している物体を検出し、検出した物体の動線を求め、求めた動線の形状を解析することで物体の種別または物体の属性を識別することを特徴とする物体識別装置であって、動線の形状の解析結果を用いて物体の種別または物体の属性を高精度に識別する。
【選択図】 図１

Description

物体を検出し、その種別を識別する装置、および当該装置を用いた方法に関する。

近年、犯罪防止や犯罪捜査の支援を目的とした監視カメラや、運転支援を目的とした車載カメラなどが開発され普及しつつある。従来、監視カメラでは、膨大な映像を人の目視により確認することで犯罪の瞬間や犯人が映っているシーンを見つけていた。人の目視による確認の労力を低減するために、撮像、録画した画像を警察官、警備員、ユーザに見せるだけでなく、画像処理により移動物体を自動的に検出する機能が搭載されてきている。

画像中から人を自動的に検出する技術としては、特許文献１に記載された方法が提案されている。これは、過去の画像と現在の画像の差分から移動物体の領域を検出し、移動物体を追跡することで、風で揺れている草木等を除去し、連続的に移動する人のみを検出するものである。

特開２００２−１５７５９９号公報

しかしながら、特許文献１に記載された手法によれば、風で揺れている草木のように大きく移動しない物体を人として検出してしまう誤検出を防止することはできるが、人と二輪車のように連続的に移動する物体の種別を識別することはできないといった問題がある。

前記課題を解決するための一態様として、本発明に係る物体識別装置は主として、動画像中から移動している物体を検出する物体検出部と、物体検出部により検出した物体の動線を求める動線算出部と、動線算出部で求めた動線の形状を解析することで物体の種別を識別または物体の属性を識別する物体識別部とを具備することを特徴とする。

上記一態様によれば、移動物体を検出することに加え、移動物体の種別、属性を識別可能な装置、および当該装置を用いた方法を提供できるので、犯罪防止や犯罪捜査の支援を目的とした監視カメラで物体の種別を識別し、特定の物体が映っている映像のみをユーザに提示することにより、人の目視確認に必要な時間をさらに削減することができる。

本実施の形態に係る物体識別装置の基本構成の例を示す図である。 本実施の形態に係る動線算出結果の例を示す図である。 本実施の形態に係る動線算出結果の他の例を示す図である。 本実施の形態に係る動線算出結果の他を示す図である。 本実施の形態に係る動線算出結果の他の例を示す図である。 本実施の形態に係る物体識別装置を適用した画像処理装置の基本構成の例を示す図である。 本実施の形態に係る物体識別装置を適用した画像処理システムの構成の例を示す図である。 本実施の形態に係る物体識別装置を適用した画像記憶システムの構成の例を示す図である。 本実施の形態に係る物体識別装置を適用した画像検索システムの構成の例を示す図である。 本実施の形態に係る物体識別装置を適用した画像処理装置の構成の他の例を示す図である。 本実施の形態に係る物体識別装置の全体の処理フローの例を示す図である。 本実施の形態に係る動線算出部の処理フローの例を示す図である。 本実施の形態に係るステレオカメラの３次元計測の原理を説明する図である。 本実施の形態に係る物体識別部の処理フローの例を示す図である。 本実施の形態に係る物体のラベリングと外接矩形の例を示す図である。 本実施の形態に係る特徴量を利用した人物判定の例を説明する図である。

以下、図面を参照して、本実施の形態について説明する。
（第１の実施の形態）
図１は、第１の実施の形態における物体識別装置の基本構成の例を示したブロック図である。詳細は後述する。

第１の実施の形態は、撮像装置であるカメラから取り込んだ画像を処理し、画像に映っている物体を検出するとともに、物体の種別を識別する物体識別装置、および当該装置を適用した画像処理装置について説明する。

まず、図６を用いて、本実施の形態に係る画像処理装置について説明する。

本実施の形態に係る物体識別装置１は、図６に示すような画像処理装置４１において、例えばＣＰＵ６またはこれに相当するユニットに適用されて、画像処理装置４１が備えるカメラ４（撮像装置）により撮像された周囲の環境の画像を取り込み、取り込んだ画像を処理して物体を検出する機能を実現することができる。

この画像処理装置４１は、図６に示す通り撮像素子であるカメラ４と、このカメラ４にて撮像した画像を処理するための処理手段であるＣＰＵ６、ＣＰＵ６用の記録手段であるメモリ９、プログラムやデータの記録手段であるＲＯＭ７と、前記カメラ４を制御するとともに画像を取り込む画像入力手段５で構成され、これらがバス１１で接続されている。

本画像処理装置４１のカメラ４は、例えばＣＣＤやＣＭＯＳ撮像素子を搭載する。画像入力手段５は、カメラ４で撮像した画像をメモリ９に格納し、ＲＯＭ７に保存されているプログラムおよびデータをもとにＣＰＵ６が画像を処理する。処理結果はＩ／Ｆ１４に接続されているモニタ１６に表示する、物体が検出された場合にスピーカ１７から警告音を発する等によりユーザに物体が検出さらた旨を通知する。入力機器１５は、画像処理装置４１の設定等を変更するためのもである。ただし、この構成は必須な要件ではなく、ＣＰＵ６に加え、さらに画像処理ＬＳＩを搭載して処理の一部を専用のＬＳＩで処理する構成や、１つのメモリのみでなくを画像処理ＬＳＩ用のＲＡＭなど複数のメモリを用いる構成でも良い。あるいはＲＯＭ７の代わりに図示しないハードディスク等の記憶装置であっても良い。

また図７に示すようにカメラユニット４２と処理ユニット４３から構成されても良い。この場合は、カメラユニット４２は、Ｉ／Ｆ１２から画像および処理に必要なカメラのシャッタースピード、ゲイン、焦点距離等の情報を、データ伝送手段３を介し、Ｉ／Ｆ１３を通して処理ユニットと通信する。さらに図８に示す通り、記録装置３１をさらに具備することで長時間の画像を保存する画像記録システム４５を構成することもできる。そして、図９のように記録装置３１をコンピュータ等にＵＳＢ等のＩ／Ｆ１８に接続し、録画した画像を処理して物体の種別、属性を識別し、自動的に特定の種別、属性の物体が映っている画像を検索する画像検索システム４４の構成であっても良い。

次に、図１に示すの物体識別装置の構成を例に説明する。物体識別装置１は、主として、図６において上述した画像処理装置４１のＣＰＵ６がプログラムを実行し、カメラ４から取得した動画像を処理して移動している物体を検出する物体検出部２０と、検出した物体の移動軌跡である動線算出部２１と、動線の形状を解析して物体の種別あるいは属性を識別する物体識別部２２から構成される。

物体検出部２０は、公知の背景差分やフレーム間差分等により移動している物体を検出する機能を有する。

動線算出部２１は、物体領域の重心の系列を動線として算出する、物体領領域中の特徴点を追跡処理により撮像タイミングの異なる画像間で対応付けることで動線を求める機能を有する。

物体識別部２２は、動線の周波数、振幅、動線を構成する個々の線分のばらつき、平均移動方向と動線を構成する個々の線分の成す角度、動線を構成する線分の系列等から物体の種別を識別する機能を有する。

本実施の形態に係る物体識別装置の全体の処理を図１１に示すフローチャートに沿って説明する。まず、過去画像の作成、動線情報のクリア等の初期化を行う（ステップ１０１）。ステップ１０２は、連続して稼働している途中に、照明条件が大きく変化した、カメラの設置位置・角度が変化した場合等に初期化タイミングか否かを判定（ステップ１０２）し、初期化タイミングであれば（ステップ１０３）システムの起動直後以外でも初期化処理を実行する（ステップ１１１）。そしてステップ１１２では、過去画像（例えば時刻ｔ−１）と現在（時刻ｔ）の画像の差分により移動している物体を検出する。ステップ１１３では、時刻ｔ−１の画像中から公知のＨａｒｒｉｓ検出器、Ｓｕｓａｎ検出器等により上下方向、左右方向ともに輝度変化のあるコーナーを特徴点として検出する。あるいは、頭部等を検出して、検出した頭部領域の中心等を特徴点としても良い。もちろん頭部以外に、動体、腕、足等でも良い。このとき時刻ｔ−１で追跡が成功している場合は追跡により求めた点をそのまま用い、追跡に失敗した場合は今まで追跡していた特徴点を除去して、新たに検出した特徴点を追跡する点として追加する。

次に、時刻ｔ−１の画像の特徴点から、時刻ｔの画像上の特徴点の座標を求める。この処理を逐次繰り返すことで、図２に示すように人が歩いてきた動線、二輪が移動してきた動線を求めることができる（ステップ１１４）。そして、求めた動線の長さを閾値と比較し、となり、動線の長さが十分か否かを判定し（ステップ１２０）、この長さが十分であると判定されればステップ１１５に移行する。

ステップ１１５では、動線の形状を解析し、動線の振幅、周波数、動線の平均方向と動線を構成する各線分のばらつき、動線の平均方向と動線を構成する各線分の成す角度の少なくともいずれか一つを特徴量として求める。

ステップ１１６では、ステップ１１５で求めた情報をもとに物体を識別する。例えば、振幅が閾値以上であれば人、閾値未満であれば二輪とする。あるいは、事前に学習させておいた学習結果２３を用いて、公知のニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト等の機械学習、判別分析等により識別しても良い。

ステップ１１７は、過去の識別結果を考慮して物体識別結果が正しいか否かを検証し、識別結果を確定する。そしてステップ１１８では、物体種別に応じたフラグを設定する。例えば、二輪車の場合はフラグを１に、人の場合はフラグを２にセットする。最後にステップ１１９は、何フレーム分の動線を算出できているかに基づいて信頼度を求める。例えば、１００フレーム分以上の動線が求められている場合は信頼度を１００、１フレーム分の動線のみしか求められていない場合は信頼度を１とする。もちろん、指数関数、対数、多項式等を用いて信頼度を算出する構成や、ルックアップテーブルにより動線の長さから信頼度に変換する構成でも良い。

ステップ１１４の動線算出の処理フローについて、図１２を用いて詳細に説明する。本処理フローは、図１に示した物体識別装置１のうち、動線算出部２１が実行する。まず、物体がカメラ４の視野内から外れた場合等の初期化タイミングか否かを判定する（ステップ１２０）。初期化タイミングであれば（１２１）、ステップ１２６により過去の追跡情報をクリアしし、ステップ１２７で動線を求める対象の物体が存在する場合は新しい特徴点を登録する。ステップ１２２は、公知のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、勾配法（Ｌｕｃａｓ−Ｋａｎａｄｅ法）等により、時刻ｔ−１の特徴点の座標と時刻ｔの特徴点の座標の対応関係を求める。ここでは、勾配法を用いた特徴点の追跡（オプティカルフロー）について述べる。画像中の画素p=(x, y)の画素の時刻tにおける輝度を、I(x, y, t)とする。この画素が時刻t+Δtに座標(x+Δx, y+Δy)に移動したとする。画像の画素の値が移動後も変わらないとすると、式（１）が成り立つ。
右辺をＴａｙｌｏｒ展開し高次の項を無視すると、式（２）を得る。
両編をΔtで割り、Δt→0とすると、
が得られる。
ただし、
である。

局所領域内の各点の移動量uが等しいと仮定すると、局所領域内で式（３）の関係式が最も当てはまるuを求めればよく、式（５）に示される局所領域Ｒの各画素の２乗誤差Ｅを最小とするuを求めればよい。

ステップ１２３では、特徴点の対応付けに失敗すればステップ１２６へ、成功すればステップ１２４に移行し動線の情報を更新する。動線の情報とは、動線が時刻t-Nから時刻tまで求まっているとすると、時刻t-Nから時刻tの特徴点の座標の系列、動線の開始フレームはNフレーム前といった情報である。これを逐次繰り返していくことで動線を求めることができる。

ここで、図１１における動線の形状を分析する処理（ステップ１１５）の一例を、図４と図５を用いて説明する。動線は、フレーム間の特徴点の移動量であるため、図４に示す通り時刻ｔと時刻ｔ−１の移動量、時刻ｔ−１と時刻ｔ−２の移動量、・・・、時刻ｔ−（Ｎ−１）と時刻ｔ−Ｎの移動量の複数の線分から成る。つまりＮ＋１点の座標の系列である。この座標の系列をフーリエ変換等により周波数成分に変換することで周波数を求めることができる。また、図５に示すように動線の平均を求め、平均の直線と動線の座標の距離を求め、その距離を振幅とすることもできる。さらに、動線の平均の移動方向と各動線の線分の成す角度θ、動線の平均の移動方向ベクトル、動線の平均の移動方向ベクトルの大きさ、動線の平均の移動方向と各動線の線分の成す角度θのヒストグラム等を求めても良い。

図１１における物体の種別を識別する処理（ステップ１１６）の一例を、図１４を用いて説明する。ランダムフォレストを例に説明するが、公知の識別器、分析手法等で代替可能である。まず、ステップ１１５で求めた周波数、振幅、平均の直線と動線の各線分の成す角度θ、動線の線分の系列等のうち少なくとも一つを特徴量ベクトルとし、識別器の入力とする。例えば、特徴量ベクトルx＝（周波数 振幅 動線の平均の移動方向と動線の各線分の成す角度）である。特徴量ベクトルx を、L個の二分決定木に入力する。各二分決定木のノードでは各特徴量の値から物体の物体種別を分類する。これを末端のノードまで繰り返すことで物体がいずれの物体種別に属するかを各二分決定木毎に判定する。この処理がL個の二分決定木で行われるため，判定結果を集約した判定結果のヒストグラムyを作成し，最も投票値の多い物体種別を識別結果とする。図１４の例では物体種別３と識別することができる。ランダムフォレストも図１４に示したものは一例であり、例えば２分決定木ではなく、各ノードで３つ以上に分類する決定木でも良い。また、物体の種別とは、例えば自転車、バイク、歩行者、自転車の上半身、バイクの上半身、歩行者の上半身である。識別する物体の種別の総数に制約は無く、４足歩行の動物、自動車等のように足で歩行している物体と車輪で移動している物体を識別対象に加えても良い。また、自転車とバイクのように人が動力源の物体と原動機を搭載している物体を識別対象とすることもできる。

解析に用いる動線の長さは、歩行の周期に基づいて決定することができる。例えば、1歩進む間であれば０．５周期、２歩進む間であれば１周期である。1秒で2歩き、動画像のフレームレートが３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の場合であれば、それぞれ１５フレーム以上、３０フレーム以上の動線を用いれば良いということになる。２秒で２歩の場合はその倍である。もちろんこれ以下であっても識別処理を実行することは可能である。この周期は、歩行だけでなく、自転車を漕ぐ足の動作等であっても良い。

以上までに述べた方法は、カメラを１台用いるカメラに関して説明したが、カメラが２第以上存在する場合でも本実施の形態を適用することができるのは明らかである。また、１つの点の動線を求める場合について説明したが、図２（ｂ）の通り物体領域中から複数の特徴点を検出し複数の動線を求める、または頭部、腕、胴体、足等の各部位を検出し各部位の動線を求めても良い。複数の動線を求めることで、動線の算出誤差にロバストになるだけでなく、物体の一部分のみを比較すると同じ動きをしている場合であっても、複数の動線を用いることで物体の種別を識別できる。例えば、物体の重心の系列を動線とすると、二輪車と人の動線が類似する場合であっても、物体領域中に複数の動線を求めると足や手等の領域で異なった動線が得られるため、正しく物体の種別を識別することができる。

二輪車は人が跨って乗る乗り物であるため、形状が類似してしまう。特に、カメラに近づいてくる、あるいは離れていく方向に移動しているときに差異が小さい。本第１の実施の形態を用いることで、形状が類似してしまった物体も正しく識別できる利点がある。

また、図３（ａ）に示す通り人の上半身のみ映った場合と、二輪車全体が画像の下端に映った場合も輪郭が類似してしまい、従来のＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴量、Ｈａａｒ−ｌｉｋｅ特徴量など物体の形状を用いる手法では誤識別が発生してしまう。この問題についても本第１の実施の形態で解決できる。

さらに図３（ｂ）のように歩いている人の上半身と二輪に乗った人の上半身も、二輪車がカメラの視野外であるため形状が類似する。この場合も、足で歩行している人と、二輪で移動している人では動線の形状に差異が生じるため、正しく識別することができる。

１つの物体に対して１つの動線でなく、図２（ｂ）のように１ついの物体に対して複数の動線を求めても良い。

識別する物体は、人と二輪車以外に、縦横比が類似してしまう車と４足歩行の動物、車と台車を押している（引いている）人等であっても良い。

ステップ１１２の物体検出処理は、背景差分やフレーム間差分のように、過去の画像と現在の画像の差分を取ることで物体を検出する方法を例に説明した。カメラが移動している場合、これらの手法では物体を検出することができない。その場合は、公知のＨＯＧ特徴量、Ｈａａｒ−ｌｉｋｅ特徴量を用い、ＳＶＭ等の識別器により物体を検出しても良い。または、フレーム間の画素の移動量を表すオプティカルフローから静止物と移動物体を分離することもできる。

オプティカルフローの代わりに、本発明で用いる動線を用いて静止物と移動物体を分離しても良い。その場合、物体検出部２０が動線を算出し、クラスタリング処理により類似した動線を１つの物体として検出し、静止物と移動物体を分離する。動線算出部２１は、物体検出部２０で検出した移動物体の領域に含まれる動線のみを抽出すれば良い。

物体が１個の場合を例に説明したが、物体が複数存在する場合も適用できる。複数物体が存在する場合は、図１５に示すように公知のラベリングアルゴリズムでそれぞれの物体領域に異なったラベルを付与する、または各物体の外接矩形を求める等の処理を行う。時刻tの特徴点の座標が時刻tのラベル１の領域に含まれるときは、その動線をラベル１が付与されている物体の動線と判定できる。あるいは、時刻tの特徴点の座標が外接矩形1の領域内に含まれる場合は、その動線が外接矩形1の物体の動線と判定する。

さらに物体識別部の結果に基づいて、ユーザに警報を発することができる。例えば、二輪車を検出した場合は、スピーカ１７から音声を発し、モニタ１６に検出した二輪車が映っている映像を表示する。もちろん二輪車でなく、人の場合に警報を発しても良い。

図９に示す画像検索システム４４では、物体識別部の結果に基づいてある種別の物体が映っている画像を検索し、ステップ１１９で求めた信頼度をもとに信頼度の高い映像から優先的にユーザに提示することができる。物体の種別は入力機器１５で指定することもできる。
（第２の実施の形態）
第２の実施の形態について、図面を参照して詳細に説明する。

第２の実施の形態は、撮像装置であるステレオカメラから取り込んだ画像を処理し、画像に映っている物体を検出するとともに、物体の種別を識別する物体識別装置、および当該装置を適用した画像処理装置について説明する。

本実施の形態に係る物体識別装置は、図１０に示すような画像処理装置４１における例えばＣＰＵ６またはこれに相当するユニットに適用されて、この画像処理装置４１が備える複数のカメラ４ａとカメラ４ｂにより周囲の環境を撮像し、撮像した画像を処理して物体を検出する機能を実現する。このとき、カメラは３つ以上備えていても良い。

図１３は、本実施の形態に係るステレオカメラの３次元計測の原理を説明する図である。本図に示す通り、距離ｂだけ離れた視点の異なる２台のカメラにより、視野の重複したシーンを撮像すると距離Ｚ離れた計測点は、２台の画像から取得した画像上で視差δだけずれた位置に投影される。つまり、この視差δを求めれば三角測量の原理に依り画像上の点の３次元座標を算出することができる。このとき、公知のカメラキャリブレーションによりカメラ間の位置関係のずれや、レンズの焦点距離のずれ、レンズ歪みのカメラ間の差異などを補正しておくことで精度良く３次元を計測できる。

３次元座標を求めることができるステレオカメラを用いることで、２次元の画像上の動線から３次元の動線を求めることができる。これにより、例えば横向きに歩いている人と、カメラの前後方向に歩いている人では、２次元の画像上の動線の形状は異なるが、３次元空間に変換すると、方向が異なるのみで形状は類似する。この３次元の動線から前述の周波数等の特徴量を求めることで、高精度に物体の種別を識別することができる。あるいは、カメラの光軸方向に移動している物体の動線、斜め方向に移動している物体の動線、横方向に移動している物体の動線を、基準の方向（例えば横方向）に回転、平行移動により変換し、２次元座標に写像してから動線の振幅等の特徴量を求めても良い。
（第３の実施の形態）
第３の実施の形態について、図面を参照して詳細に説明する。

図１６は、本実施の形態に係る特徴量を利用した人物判定の例を説明する図である。
本発明に係る物体識別装置は、図１０に示すような画像処理装置４１における例えばＣＰＵ６またはこれに相当するユニットに適用されて、この画像処理装置４１が備える撮像装置である複数のカメラ４ａとカメラ４ｂから取り込んだ画像を処理し、画像に映っている物体を検出するとともに、物体の種別を識別する物体識別方法である。このときカメラは同じ方向を向いている必要はない。

カメラ４ａの撮像エリア内を人Ａおよび人Ｂが通過し、その後カメラ４ｂの撮像エリア内に人Ｃおよび人Ｄ入った場合に、人物Ａが人物Ｃと人Ｂのいずれに対応するかを判定することで、広範囲の人の追跡が可能となる。このとき、人Ａの動線の形状を解析して得られる特徴量Ａと、人Ｃと人Ｄの動線の形状を解析して得られる特徴量Ｃおよび特徴量Ｄを照合することで同一人物か否かを識別する。

ステップ１１６の処理で、カメラ４ａ内の人Ａから算出した動線の特徴量Ａと、カメラ４ｂ内の人Ｃから算出した動線の特徴量Ｃおよび人Ｄから算出した動線の特徴量Ｄを比較することで、人Ａと人Ｃが同一人物か否か、あるいは人Ａと人Ｄが同一人物か否かを判定する。例えば、人Ａの動線の振幅Ａや周波数Aと、人Ｃの動線の振幅Ｃや周波数Ｃの差分が閾値の範囲内であれば同一人物とする。このとき、動線の情報以外に、色、濃淡、輪郭、テクスチャ等のアピアランス特徴を併用しても良い。または、人Ａの動線の平均の移動方向と動線の各線分の成す角度θのヒストグラムＡと、人Ｃの動線の平均の移動方向と動線の各線分の成す角度θのヒストグラムＣとの、公知のヒストグラム距離（例えば、Ｂｈａｔｔａｃｈａｒｙｙａ Ｄｉｓｔａｎｃｅ）を求め、その距離が閾値以下のときは同一の人物と判定しても良い。あるいは、人Ｄ動線の平均の移動方向と動線の各線分の成す角度θのヒストグラムＤを求め、ヒストグラムＡとヒストグラムＣのヒストグラム距離、ヒストグラムＡとヒストグラムＤのヒストグラム距離を求め、距離が近い方を同一人物と判定できる。もちろん、事前に各人物の特徴量を計測可能なのであれば、ＳＶＭやランダムフォレスト等の識別器を用いて、識別しても良い。

カメラ４ａとカメラ４ｂのカメラ２台のときについて説明したが、カメラが３台以上であっても同様に本手法を適用できる。また、カメラが１台であっても、過去に通過した人と、現在通過した人が同一人物か否かを識別することもできる。
（第４の実施の形態）
第４の実施の形態について、図面を参照して詳細に説明する。

第４の実施の形態では、撮像装置である複数のカメラ４から取り込んだ画像を処理し、画像に映っている物体を検出するとともに、物体の属性を識別する物体識別装置について説明する。

物体の属性とは、例えば傘をさしている人と、傘をさしていない人である。男性と女性、子供と大人といった年齢層、手に鞄を持った人と鞄を手に持っていない人、持っている荷物が鞄か台車かといった荷物の種別、ヒールの高い靴を履いた人とヒールの低い靴を履いた人、スカートを履いた人とパンツを履いた人等を属性として識別することもできる。人という同じ物体の種別であっても、性別、服装、持っている荷物で動線の形状が変化するため、本発明によりこれらの物体の属性を識別することができる。

物体の属性を識別する処理は、ステップ１１６の処理において、物体の種別の代わりに、物体の属性を識別クラスとして事前に学習させておき、入力された動画からステップ１１５で得られた特徴量から属性を識別する。図１４の物体種別１から物体種別５が、物体属性１から物体属性５となる違いはあるが、処理は同等である。もちろん物体の属性は５つである必要はなくそれ以上であってもそれ以下でも良い。

ステップ１１５で動線から得られる特徴量のみを説明したが、画像の画素の濃淡値や色、物体領域中の輝度変化や色の変化、背景差分やフレーム間差分により抽出した移動物体領域の形状等を特徴量として併用しても良い。

１・・・物体識別方法、３・・・データ伝送手段、４・・・カメラ、５・・・画像入力手段、６・・・ＣＰＵ、７・・・ＲＯＭ、９・・・メモリ、１１・・・バス、１２・・・インターフェース（Ｉ／Ｆ）、１３・・・インターフェース（Ｉ／Ｆ）、１４・・・インターフェース（Ｉ／Ｆ）、１５・・・入力機器、１６・・・モニタ、１７・・・スピーカ、１８・・・インターフェース（Ｉ／Ｆ）、２０・・・物体検出部、２１・・・動線算出部、２２・・・物体識別部、２３・・・学習結果、３１・・・記録装置、４１・・・画像処理装置、４２・・・カメラユニット、４３・・・処理ユニット、４４・・・画像検索システム、４５・・・画像記録システム、

Claims (10)

1. 動画像から移動している物体を検出する物体検出部と、物体検出部により検出した物体の動線を求める動線算出部と、動線算出部で求めた動線の形状に基づいて、物体の種別または物体の属性を識別する物体識別部とを具備することを特徴とした物体識別装置。
2. 請求項１の物体識別装置において、車輪で移動している物体と脚で歩行している物体を識別することを特徴とする物体識別装置。
3. 請求項１の物体識別装置において、物体の属性として同一物体の個体を識別することを特徴とする物体識別装置。
4. 請求項１の物体識別装置において、動線算出部は物体の部位毎、または物体領域中の特徴点毎に複数の動線を算出することを特徴とする物体識別装置。
5. 請求項１の物体識別装置において、物体識別部は動線算出部で求めた動線に加え、物体の形状を解析することで物体の種別あるいは物体の属性を識別することを特徴とする物体識別装置。
6. 請求項１の物体識別装置において、動線算出部で求めた動線の長さを元に物体の種別または属性の識別結果の信頼度を算出することを特徴とする物体識別装置。
7. 請求項１の物体識別装置において、複数の撮像装置から取得した複数の動画像から物体を検出し、それぞれの動画像中の物体の動線を求め、動線の形状を解析することで、カメラ間で映っている物体が同一であるか否かを識別することを特徴とする物体識別装置。
8. 請求項１の物体識別装置において、物体の属性として性別、年齢、服装、持っているか荷物の種別の少なくとも１つを識別することを特徴とした物体識別装置。
9. 請求項１の物体識別装置において、物体の移動動作の周期に基づいて、動線算出部で求めた動線から形状の解析に用いる動線の長さを決定することを特徴とする物体識別装置。
10. 物体の動画像を取得する撮像装置と、当該取得された動画像から移動している物体を検出する物体検出部と、前記物体検出部により検出した物体の動線を求める動線算出部と、前記動線算出部で求めた動線の形状に基づいて、物体の種別または物体の属性を識別する物体識別部とを具備することを物体識別装置と、を有することを特徴とする画像処理装置。