JP2002157599A - 物体検出認識方法，物体検出認識プログラムを記録した記録媒体および物体監視追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】 監視対象となる特定の移動物体を，見かけの
形状変化や一時的な環境変化があるような場合にも高精
度で検出し，追跡できるようにする。 【解決手段】 カメラから逐次入力する複数の画像信号
から１つ以上の移動物体を背景差分法と，動的２値化
法，テンプレートマッチングを用いて逐次検出し，検出
された移動物体の特徴量を抽出し，その移動物体を特徴
づける物理量の系列として，抽出された特徴量を移動物
体と関連付けて画像信号ごとに逐次メモリに記憶し，移
動物体が監視対象の特定移動物体に属するか否かを判定
する判定基準に基づき，メモリに記憶した特徴量系列か
ら各移動物体が追跡目標の特定移動物体であるか否かを
判別する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，テレビカメラ等で
撮影される画像内で目標物を連続的に追跡する移動体追
跡システムに係り，特に高度な物体監視追跡を可能とし
た物体検出認識方法および物体監視追跡装置に関するも
のである。画像内の移動物体を追跡する物体監視追跡装
置は，スポーツ中継のカメラ制御，自律移動ロボットの
制御，セキュリティ監視等の多くの分野で利用されてい
る。

【０００２】

【従来の技術】従来から広く用いられている移動物体追
跡手法として背景差分法がある。これは，カメラからの
入力画像と物体の写っていない規準背景画像に対して画
素ごとの輝度値の差分を計算し，差分値の大きい領域を
物体として検出する方法である。

【０００３】また，リアルタイム性を重視する移動物体
追跡手法として，相関演算に基づくテンプレートマッチ
ングによる手法が開発されてきた。この手法では，画像
上の探索領域を局所領域に限定することで計算量を減ら
し，また探索領域を分割することで原理上処理の並列化
を可能としている。しかしながら，この手法は，画像上
で見かけが大きく変形するようなターゲットに対しては
目標をすぐに見失ってしまうという問題点がある。これ
はテンプレートをあらかじめ作成しておき，そのあらか
じめ作成されたテンプレートとの相関演算を行うことに
因る。この形状変化の問題に対しては，テンプレート逐
次更新処理を用いて安定性を向上させることが常套手段
である。

【０００４】

【発明が解決しようとする課題】しかしながら，前者の
背景差分法に関しては，一つの物体を一時的に複数の物
体であると誤認識し追跡してしまう分裂現象や，逆に複
数の物体を一つの物体と誤認識して追跡してしまう連結
現象という問題点が指摘されている。さらには，追跡対
象以外の動きを持った物体を誤検出してしまい，高精度
に対象物体のみを追跡できないという欠点もある。

【０００５】後者のテンプレート逐次更新処理と相関テ
ンプレートマッチング法についていえば，スケール変化
や回転などの対象の見かけの形状変化を伴う追跡の場合
には，その適用が難しいという問題がある。つまり，両
者とも実用上十分な追跡性能を実現するには至っていな
い。

【０００６】したがって，本発明は上記問題点を鑑み，
先に述べた従来技術の課題を解決する高度な物体監視追
跡方式の提供を目的としている。

【０００７】

【課題を解決するための手段】上記目的を達成するため
の本発明のポイントは新規に考案した２つのキーアイデ
アにあり，本発明はこれらのポイントを含むことを特徴
とする。本発明の新規性および進歩性は，これらのキー
ポイントにあることを本明細書において主張する。

【０００８】第１のアイデアは，例えば特願平１１−１
６９４５３号に記載の濃淡画像の２値化方法（動的２値
化法と記す），ならびにテンプレートマッチングの一方
法である特開平９−３３０４０２号，特開平９−３３０
４０３号公報に記載のパラメトリックテンプレート法
（以下，ＰＴ法と記す）という要素技術を組み合わせる
ことによって，またはこれらの少なくともいずれかを用
いることによって，所望の追跡対象のみを高精度に抽出
し，かつ自動追尾する機能を実現するということであ
る。前者の発明（動的２値化法）では，従来困難であっ
た不均一な輝度分布や雑音性の背景パターンを有する低
コントラスト画像の２値化が可能となり，所望の物体の
みを抽出できる。また，近赤外線領域あるいは遠赤外線
領域をセンシングする赤外線カメラを併用し，その赤外
線画像を２値化することにより，例えば背景が絶えず変
化するような場合でも，人物のみを容易に検出可能であ
る。

【０００９】一方，後者の発明（ＰＴ法）は，回転やス
ケール変化，形状変形による個体変動を有する対象をパ
ラメトリックな補間画像空間内の一点として効率的に表
現し，探索画像内から高速にサーチすることを可能とす
る。

【００１０】第２のアイデアは，移動物体の軌跡の連続
性を判定する手段と，移動物体の位置変化のばらつきを
判定する手段の少なくとも１つ以上を用いることによ
り，実用に耐えうる物体監視追跡方法を提供するという
ことである。

【００１１】すなわち，本発明では，逐次入力する画像
信号中の特定移動物体を検出し，他の物体と区別する物
体検出認識方法において，逐次入力する複数の前記画像
信号から１つ以上の移動物体を背景差分法と動的２値化
法またはテンプレートマッチングによって逐次検出する
第１の処理過程と，検出された移動物体が有する少なく
とも１つ以上の特徴量を抽出する第２の処理過程と，前
記移動物体を特徴づける物理量の系列として，抽出され
た前記特徴量を該移動物体と関連付けて画像信号ごとに
逐次メモリに記憶する第３の処理過程と，前記移動物体
が前記特定移動物体に属するか否かを判定する判定基準
に基づき，前記記憶された特徴量系列から前記移動物体
が追跡目標の特定移動物体であるか否かを判別する第４
の処理過程とを有することを特徴とする。

【００１２】以上の各処理をコンピュータによって実行
するためのプログラムは，コンピュータが読み取り可能
な可搬媒体メモリ，半導体メモリ，ハードディスクなど
の適当な記録媒体に格納することができる。

【００１３】

【発明の実施の形態】本発明の実施形態に関し，人物の
追跡に適用した場合を例にとって，図面に基づき詳細に
述べる。

【００１４】図１は，本発明の第１の実施形態で，検出
物体の軌跡の連続性を判定する場合のフローチャートの
一例である。この実施形態は，検出物体の情報（特徴
量）のうち，検出時刻と検出位置のデータ系列に基づき
検出物体の追跡経過時間を算出し，当該経過時間によっ
て対象物体と対象物体外とに分類する方法である。

【００１５】最初に，図３，図４および図５を用いて，
図１のフローチャートのステップ１０１からステップ１
０５の処理を説明する。

【００１６】時刻ｔ＝ｔ₀ においてビデオカメラから，
例えば大きさ３２０×２４０（画素）に対応する図３に
示す入力画像３０１を得る（画像入力ステップ１０
１）。次に，入力画像３０１と画像メモリに記憶されて
いる規準背景画像３０２との画素ごとの差分を計算し，
背景差分画像３０３を得る（背景差分ステップ１０
２）。背景差分画像３０３に動的２値化処理を施し，２
値化画像３０４を得る（動的２値化処理ステップ１０
３）。さらに，輝度値が２５５（この例では，１画素の
値を０か２５５のいずれかに２値化している）のかたま
り領域の部分画像３０５を，ラベリングによって検出物
体として抽出する。

【００１７】動的２値化処理は，画像の領域ごとに２値
化閾値をダイナミックに決定して２値化する方式であ
り，この処理方法は，例えば特開昭５９−１１４６８７
号公報，特開昭６１−１９４５８０号公報等に記載され
ている。特開昭５９−１１４６８７号公報のものでは，
画像を部分領域に分割し，部分領域内の画素の濃度の平
均値によりその部分領域の中心の局所的閾値を算出す
る。画像中の任意の画素の閾値は，その画素周辺の４つ
の局所的閾値の補間処理によって決定する。また，特開
昭６１−１９４５８０号公報のものでは，まず分割され
た部分領域内の濃度ヒストグラム，あるいは濃度の平均
値と標準偏差から計算した各部分領域の重みに基づく加
重平均によって，当該部分領域の中心の局所的閾値を算
出する。これらの局所的閾値を用いた補間処理，あるい
は近傍領域の局所的閾値と重みを用いた補正処理によっ
て，全部分領域の局所的閾値を決定する。次にそれらの
局所的閾値を線形補間して濃淡画像全ての画素に対する
閾値を決定し，２値化画像を生成する方法をとってい
る。

【００１８】さらに本発明の実施に好ましい動的２値化
処理の方法として，特願平１１−１６９４５３号におい
て提案されている濃淡画像の２値化方法がある。この方
法では，処理対象の濃淡画像を小領域である部分領域に
分割し，分割された各部分領域に属する画素の濃度値に
対して算出した平均値と標準偏差とにもとづいて，背景
分離直線を設定して対象ブロック（部分領域が２値化し
たい対象を含むブロック）と一様化ブロック（背景領域
に該当するブロック）とを判別し，その判別結果を用い
て該部分領域の局所的閾値を決定し，各部分領域に対し
て得られた当該局所的閾値を当該部分領域の中心に与
え，補間処理を用いて算出した当該濃淡画像の全画素の
閾値と当該濃淡画像の濃度値の大小により２値化する処
理を行う。特に，この特願平１１−１６９４５３号に示
されている動的２値化法を用いることにより，背景中の
雑音性パターンに左右されることなく，安定して所望の
２値化画像を得ることが可能になる。

【００１９】今，図４において，前記ラべリングの方法
で抽出した検出物体を時刻ｔ＝ｔ₀の検出物体４０６と
する。このとき，検出物体の位置として検出物体４０６
の重心４０９を計算する。時刻ｔ₀ ＋１以降は，１フレ
ーム前の時刻ｔ−１における検出物体の外接矩形で切り
取られる画像パターンをテンプレートとして，上述のＰ
Ｔ法によるマッチング（または通常の濃度正規化相関マ
ッチング）を毎フレーム行う。その結果得られる矩形の
中心位置４１０や４１１を計算し，検出物体の位置とす
る（物体位置算出ステップ１０４）。ただし，システム
に対する要求条件を考慮して，毎回上記の（テンプレー
ト）マッチングを行わずとも，上記処理ステップ１０２
および１０３とラベリングで検出される物体４０７の重
心４１０ａや４１１ａを検出物体の位置と近似する簡便
な計算方法を採用してもよい。

【００２０】図５は，物体位置算出ステップ１０４の処
理結果の一例を示した図である。左側の列５０１，５０
２，５０３が時刻ｔ^* から時刻ｔ^* ＋２までのフレーム
の入力画像，中央の列５０４，５０５，５０６がそれぞ
れの時刻のフレームにおいてマッチング結果から生成さ
れた規準テンプレート画像，右側の列５０７，５０８，
５０９がそれぞれの時刻のフレームにおいて自動生成さ
れた規準テンプレートのマスク画像である。

【００２１】時刻ｔ^* ＋１において次の時刻ｔ^* ＋２の
フレームでの物体位置検出のために行う（ＰＴ法によ
る）テンプレートマッチング用の規準テンプレート５０
５は，前の時刻ｔ^* のフレームにおける規準テンプレー
ト５０４を用いて入力画像５０２内を探索して最も高い
相関値が得られた（矩形５１２の）位置と大きさによっ
て与えられる。

【００２２】また，時刻ｔ^* ＋２のフレームでのＰＴ法
によるテンプレートマッチングでは，テンプレート５０
５のマスク画像５０８を用いてサンプリングしたり，画
像５０８中の白画素位置に相当する規準テンプレート５
０５の輝度値データのみを選択して入力画像との照合を
行う。そうすることで追跡対象の向き変化やスケール変
化，回転に対応できる。なお，各規準テンプレートのマ
スク画像は動的２値化により背景差分画像を２値化後ラ
ベリングし，ある一定値以上の面積をもつ連結領域の外
接矩形を切り出して作成する。

【００２３】この物体位置算出ステップ１０４で物体が
一つも検出されなかった場合には，画像入力ステップ１
０１に戻り，物体が少なくとも一つ検出された場合に
は，検出物体の特徴量を作業メモリに記憶し（物理量格
納ステップ１０６），ついで位置変化算出ステップ１０
７に進む（検出物体有無分岐ステップ１０５）。

【００２４】作業メモリに記憶する検出物体の特徴量
は，検出物体の検出時刻，検出物体の外接矩形の中心位
置等で代表される検出位置，検出物体の面積（画素数）
である。しかしながら，必ずしもこれらに限定されるわ
けではなく，例えば検出物体の時刻ごとの位置変化量や
面積変化量などの物理量を特徴量と定義してもかまわな
い。また，特徴量として，ＲＧＢやＹＩＱの色空間ヒス
トグラム，もしくは特に肌色などの特徴をよく表すＹＩ
Ｑ色空間のＩ値などを用いてもよい。

【００２５】言うまでもなく，物体監視追跡のプログラ
ムにおいて，これらの特徴量によって検出された物体が
追跡対象か否かを決定する判定基準は，あらかじめ追跡
対象物体やそれ以外の物体の特徴および監視区域環境等
の関連する要素に応じて，計算と実験によって最適化さ
れた値が設定されている。また，これらの判定規準は，
物体追跡装置の必要に応じて随時変更される。

【００２６】次に，図６，図７によって図１のフローチ
ャートのステップ１０７とステップ１０８の処理内容を
説明する。図６は本実施形態における軌跡判定方法の一
例を説明する図で，６０１，６０２は画像，６０３，６
０４，６０５，６０６，６０３′，６０４′，６０
５′，６０６′は検出物体，６０７，６０８，６０９，
６１０，６０７′，６０８′，６１０′は重心位置，６
１１，６１２，６１３，６１１′，６１３′は変化ベク
トルである。

【００２７】物体追跡監視システムでは，まず入力画像
から逐次物体を検出する。図６に示す画像６０１は，ス
テップ１０４において逐次検出された２値化画像で，時
刻ｔ ₀ −３から時刻ｔ₀ までのフレームでのすべての検
出物体６０３，６０４，６０５，６０６と各検出物体の
それぞれの重心位置６０７，６０８，６０９，６１０を
説明のため同時に表したものである。

【００２８】また，画像６０２は，本来画像６０１のよ
うにすべての時刻にわたって検出されるべき物体が，規
準背景画像との輝度差が小さかった（コントラストが低
かった）ために検出されるべき物体６０５′が検出され
なかった場合について，検出物体とその重心について，
画像６０１の符号と対応付けられるものはそれぞれの符
号に“′”（ダッシユ）を付けて表したものである。従
来の方法では，この検出物体６０５′の前後では接続関
係が失われてしまい追跡ができない。

【００２９】しかしながら，本実施形態では，直前のフ
レームとの接続関係だけを判定規準とするのではなく，
Ｎフレーム前の接続関係まで遡って処理するので，一時
的に検出されなかった物体の追跡も（Ｎ−１フレームの
間で）可能となる。すなわち，位置変化算出ステップ１
０７では，時刻ｔ₀ において時刻ｔ₀ −Ｎから時刻ｔ ₀
−１までのフレームでの検出物体について，各検出物体
間で重心位置の距離を計算しこれらの距離が所定の値以
下となる条件の時刻ｔ₀ −Ｎから時刻ｔ₀ −１までのフ
レームでの検出物体が同一物体であるか否かを判定す
る。

【００３０】ここで，所定の値とは，連続したフレーム
で検出された物体を同一物体であるとみなす（接続可能
な）距離を指す。例えば，監視対象の見かけの速度より
大きめに設定する。理由は，追跡に用いる検出物体の代
表位置が必ずしも検出物体の一定の部位とはならないか
らである。この値が大きいと，連続するフレーム間で確
実に同一の物体を接続できるが，ノイズ等による検出部
分も接続してしまうことがある。また，この値が小さ過
ぎると，連続するフレームで同一物体を接続できなくな
ることがある。実際は撮影条件や対象とする物体の移動
速度に応じて固定値（例えば４０画素）を設定する。

【００３１】この接続可能な物体と時刻ｔ₀ のフレーム
での検出物体との検出位置の変位を時刻ｔ₀ における検
出物体の変位ベクトル（検出位置変化）と定義すれば，
この検出位置変化が検出物体の軌跡に他ならない。な
お，Ｎ（Ｎ：自然数）は接続可能な物体の対象とするフ
レーム数であり，例えばＮ＝１の場合，連続するフレー
ムだけで接続可能な物体を検出することになる。

【００３２】図７は，位置変化算出ステップ１０７の動
作例を説明するための図である。図７において，画像７
０１は，時刻ｔ₀ −５から時刻ｔ₀ までのフレームでの
検出物体を説明のために同時に示しており，黒丸一つが
検出物体一つに相当する。また，画像７０１のように検
出される物体の情報系列は，作業メモリ内でリスト構造
で記憶される。なお，以上のように黒丸で表現されてい
る上記Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｃ１，Ｃ
２，Ｃ３，Ｃ４は，検出物体を示すだけのものであっ
て，検出された二値化画像の領域面積（画素数）とは何
ら関係がない。

【００３３】図７の例では，以下に述べる理由から接続
可能な物体の対象とするフレーム数がＮ＝１（連続する
フレームだけ）では正しい検出が困難であるが，Ｎを大
きな値に設定すれば問題は解決する。図７において，Ｎ
＝１とした場合，時刻ｔ₀ −５のフレームでの検出物体
Ｂ１と時刻ｔ₀ −４のフレームでの検出物体Ｂ２との接
続，および時刻ｔ₀ −４のフレームでの検出物体Ｂ３と
時刻ｔ₀ −３のフレームでの検出物体Ｂ４と時刻ｔ₀ −
２のフレームでの検出物体Ｂ５と時刻ｔ₀ −１のフレー
ムでの検出物体Ｂ６との接続は可能であることを確認で
きる。しかし，時刻ｔ₀ −３のフレームで物体が検出さ
れていないために，時刻ｔ₀ −４のフレームでの検出物
体Ｂ２と時刻もｔ₀ −２のフレームでの検出物体Ｂ５と
は接続可能であることがわからない。そこで，例えばＮ
＝５として，時刻ｔ₀ −４のフレームでの検出物体Ｂ２
と時刻ｔ₀ −２のフレームでの検出物体Ｂ５との接続が
決定できる。

【００３４】このように，接続可能物体検出の対象とな
るフレーム数Ｎに許容幅を持たせれば，規準背景画像に
近い輝度値を持つ物体を検出する場合に生じる一時的な
追跡見逃しを防止できる。ゆえに，移動する検出物体の
軌跡を従来技術より正確に抽出することが可能となる。

【００３５】図１の説明に戻る。次のステップ１０８で
は，時刻ｔ₀ −Ｎから時刻ｔ₀ −１のフレームでの検出
物体に対して作業メモリ内に検出物体の検出時刻と検出
位置変化を格納する物体情報記憶領域を確保し，物体の
検出時刻と検出位置変化とともに検出位置情報を格納す
る。上記物体情報記憶領域には，各時刻で検出された物
体に関する検出時刻，検出位置，面積，外接矩形とその
検出物体に接続可能な時刻ｔ₀ −Ｎから時刻ｔ₀ −１ま
で各フレームの検出物体の物体情報記憶領域のポインタ
集合を記憶している。

【００３６】連続性判定ステップ１０９では，このポイ
ンタ集合を使って時刻ｔ₀ −１から時刻ｔ₀ −Ｎまでの
検出物体情報を遡ることによって，検出物体の軌跡の連
続性を求める。すなわち，連続的に追跡したフレーム数
の値が所定の値より大きい場合には軌跡の連続性があ
り，フレーム数の値が所定の値より小さい場合には軌跡
の連続性がないと判定する。例えば，５秒以上追跡でき
た物体を連続性ありと判断する場合，４フレーム／秒の
処理速度でフレーム数が２０以上であれば，その物体の
軌跡を連続的と判断する。言い換えれば，検出物体の軌
跡が所定時間以上にわたって連続して存在する場合，そ
の物体に軌跡の連続性があると判定している。

【００３７】次に，検出物体軌跡の連続性判定ステップ
１０９において，検出された物体の軌跡を連続的と判断
した場合には対象物体分類ステップ１１１に進む。連続
的でないと判断した場合には対象物体外分類ステップ１
１３に進む（連続性分岐ステップ１１０）。ここで，連
続性分岐ステップ１１０で連続的と判定された軌跡を持
つ検出物体は，対象物体として分類される（対象物体分
類ステップ１１１）。一方，連続的でない軌跡を持つと
判定された検出物体は，対象物体外に分類される（対象
物体外分類ステップ１１３）。

【００３８】対象物体分類ステップ１１１によって連続
的な軌跡を持つ検出物体が存在する場合，警報・結果モ
ニター表示ステップ１１２へ進む。警報・結果モニター
表示ステップ１１２と対象物体外分類ステップ１１３と
の後は，どちらも画像入力ステップ１０１に戻り，図１
のフローチャートの処理を繰り返し行う。

【００３９】この第１の実施形態によれば，記憶した検
出時刻と検出位置の系列に基づく対象物体の軌跡の連続
性判定により，例えば照明光の反射，木々の動きや紙布
類等の風による揺れや洋上の波の動きや反射といった瞬
間的に検出される物体を対象物体外に分類し，撮像視野
内の対象物体以外の移動する物体を判別しながら物体を
追尾することが可能となる。

【００４０】図２は，本発明の第２の実施形態で，検出
物体の軌跡の（位置変化の）ばらつきを算出する場合の
フローチャートの一例である。この実施形態は，物体情
報記憶領域に格納された検出物体の情報（特徴量）のう
ち，検出時刻と検出位置のデータ系列に基づき検出物体
の軌跡のばらつきを算出し，その算出したばらつきによ
って対象物体と対象物体外とに分類する方法である。

【００４１】図２に示すフローチャートは，図１のフロ
ーチャートに対して，検出時刻・位置変化記憶ステップ
１０８の後に検出物体の軌跡のばらつきを判定するばら
つき判定ステップ２０９を加え，連続性分岐ステップ１
１０の代りにばらつき判定ステップ２０９の判定結果に
基づき分岐する軌跡滑らかさ分岐ステップ２１０を設け
ている。さらに，滑らかな位置変化をする軌跡（ばらつ
きがない）と判定された検出物体を対象物体として分類
する対象物体分類ステップ１１１と，滑らかでない位置
変化をする軌跡（ばらついている，ランダムな位置変化
をする）と判定された検出物体を対象物体外として分類
する対象物体外分類ステップ１１３とを追加したもので
ある。

【００４２】図２において，図１で述べた処理ステップ
と同様の処理ステップを経て，ばらつき判定ステップ２
０９に進んだとする。検出時刻・位置変化記憶ステップ
１０８では，時刻ｔ₀ における検出物体情報のポインタ
集合がリスト構造の形で記憶されている。このポインタ
集合を使って時刻ｔ₀ −１から時刻ｔ₀ −Ｎまでの検出
物体情報を遡ることにより，検出物体の軌跡の位置変化
系列データを計算する。この位置変化系列データからば
らつき具合を定量化したばらつき度を算出し，ばらつき
の有無を判定する。例えば，時刻ｔ₀ における位置変化
量の分散をばらつき度と定義すれば，ばらつき度の計算
式は次式のとおりである。

【００４３】 σ² ＝（１／Ｍ）Σ_i=0 ^M-1 ｜Ｄ_t0-i−Ｄ′｜² ＝（１／Ｍ）Σ_i=0 ^M-1 ｛｜Ｘ_t0-i−Ｘ′｜² ＋｜Ｙ_t0-i−Ｙ′｜² ｝ Ｄ′＝（１／Ｍ）Σ_i=0 ^M-1 Ｄ_t0-i Ｘ′＝（１／Ｍ）Σ_i=0 ^M-1 Ｘ_t0-i Ｙ′＝（１／Ｍ）Σ_i=0 ^M-1 Ｙ_t0-i Ｄ_t0-i＝（Ｘ_t0-i，Ｙ_t0-i） ここでは，時刻ｔ₀ のフレームでの検出位置を（Ｘ_t0，
Ｙ_t0），時刻ｔ₀ −ｉ−１のフレームから時刻ｔ₀ −ｉ
のフレームヘの位置変化（変位）をＤ_t0-iとし，時刻ｔ
₀ からＭ枚のフレームを遡って物体の位置変化量の分散
を算出するものとしている。この位置変化量の分散は，
Ｍ枚のフレームから一定の位置変化をした場合，σ² ＝
０となり，各フレーム毎に位置変化量がばらつくにした
がって大きな値をとる。

【００４４】次に，前記ばらつき判定ステップ２０９で
得られたばらつき度が所定の値未満であれば，その検出
物体の軌跡の位置変化は滑らかであると判断し，対象物
体分類ステップ１１１に進む。それ以上の場合は，滑ら
かな軌跡でないと判定し，対象物体外分類ステップ１１
３に進む（ばらつき分岐ステップ２１０）。

【００４５】このばらつき分岐ステップ２１０で滑らか
な軌跡と判定された検出物体は，対象物体として分類さ
れる（対象物体分類ステップ１１１）。このばらつき分
岐ステップ２１０で滑らかでない軌跡（ランダムな位置
変化をする軌跡）と判定された検出物体は，対象物体外
に分類される（対象物分類外ステップ１１３）。対象物
体分類ステップ１１１によって滑らかな軌跡を持つ検出
物体が存在する場合，警報・モニター表示ステップ１１
２へ進む。前記対象物体外分類ステップ１１３と警報・
モニター表示ステップ１１２の後は，どちらも画像入力
ステップ１０１に戻り，図２のフローチャートの処理を
繰り返し行う。

【００４６】上述したように，この第２の実施形態によ
れば，記憶した検出時刻と検出位置の系列に基づく対象
物体の軌跡の（位置変化の）ばらつき判定により，例え
ば木々の動きや紙布類等の風による揺れや洋上の波の動
きといったランダムな位置変化で検出される物体を対象
物体外に分類し，撮像視野内の対象物体以外の移動する
物体を判別しながら所望の物体を自動追尾することか可
能となる。

【００４７】図８を用いて，第１および第２の実施形態
について補足説明を行う。図８は建物の周囲をカメラ視
野に設定して入口付近に近づいてくる人を監視する例を
説明する図である。８０１は画像，８０２は監視対象区
域，８０３は建物，８０４は人，８０５は木々，８０６
は雑草，８０７は落葉である。

【００４８】図８において，風は激しく吹いており，木
々８０５の木の葉，雑草８０６，落葉８０７は常に動い
ているとする。軌跡が滑らかな変化かランダムな変化か
を判断する軌跡のばらつき判定ステップ２０９によっ
て，木々８０５の木の葉と雑草８０６はランダムな位置
変化と判定されるので，監視を行う対象物体外と認識さ
れて監視対象から除外される。

【００４９】また，落葉８０７に関しては監視対象区域
８０２に存在するため，第２の実施形態では監視対象と
判定されて警告やモニター表示がなされることになる。
しかしながら，軌跡の連続性を計算する連続性判定ステ
ップ１０９の処理を併用することで，落葉８０７は軌跡
が連続的でないと判定されるので，監視を行う対象物体
外に分類することができる。あるいは，落葉８０７の外
接矩形を求め，その大きさが所定値より小さければ“小
物体”とみなすような処理を追加すれば，監視対象から
除外することも可能である。

【００５０】次に，本発明による人物の動き監視追跡を
マーケティング支援（店舗における顧客の行動分析）に
応用した第３の実施形態を説明する。目的は人物の動き
監視により，人手による売れ筋商品の効果的陳列を支援
することにある。

【００５１】図９は，実験室において人物追跡を行った
際の画像と処理結果であるが，図９に従って以下に説明
する方法は，コンビニエンスストア等の店舗における顧
客滞留時間分析にそのまま適用できる。

【００５２】図９は，カメラの入力画像に，人物（顧客
等）ごとに積算した滞留時間のヒストグラムを重ねて表
示したものである。ヒストグラムの横軸は顧客の空間的
位置，縦軸は度数である。この図では画像を横方向に３
２等分し，１０×２４０（画素）の領域ごとに追跡物体
の検出位置（ｘ座標）の度数を計算した。このようなヒ
ストグラムは，各対象ごとにそれぞれの移動軌跡（ｘ，
ｙ座標値の組）と時刻を記録した移動軌跡ログファイル
（図１０参照）を作成することで，容易に計算できる。

【００５３】この実施形態によれば，来店客が店舗内の
どの陳列棚の付近で立ち止まっていたか，顧客全体の行
動傾向を把握できる。また別装置でカメラの入力画像を
逐次ファイルに保存しておけば，過去に遡って来店客の
注意を引いた棚（商品）が何であったかを，人間が目で
確認できるというメリットがある。

【００５４】前述の説明は，追跡対象物体と対象物体外
とに分類する実施形態であった。しかし，本発明を監視
対象区域あるいはカメラ視野内に侵入または発生した動
物体を特定できるように容易に拡張できる。したがっ
て，本発明は，監視視野内の動物体がどういうクラスに
属するかを分類する物体認識・識別に広く適用可能であ
る。

【００５５】また，例えば大きさだけを監視対象物体の
判定基準とした場合に，検出漏れを少なくするためには
大きさ（あるいはその範囲）の閾値を大きくする必要あ
るが，その結果，監視対象としたくない物体までも誤検
出してしまう。逆に，大きさの閾値を小さくすると検出
漏れが多くなり，監視対象物体を追尾できなくなる。し
かし，本発明では，１フレームではなく連続した複数フ
レーム間の特徴量について総合的に判断するため，判定
基準を厳しく設定しても誤認識を抑制し検出漏れを少な
くすることができる。

【００５６】以上の記述では物体検出認識方法について
説明したが，当該方法をデータ処理が実行できるプログ
ラムの形で保持することができる。このことから，本発
明は当該プログラムを保存した記録媒体をも発明の対象
としており，本明細書の特許請求の範囲に記述されてい
る。

【００５７】図１１に，以上説明した物体検出認識方法
を用いて特定移動物体を監視追跡する物体監視追跡装置
の一構成例を示す。ビデオカメラ１１は，監視対象を撮
像するカメラである。可視光領域をセンシングする通常
のビデオカメラ１１の他に，赤外線領域をセンシングす
る赤外線カメラを接続してもよい。赤外線カメラを接続
した場合，物体監視追跡装置の本体１０では，ビデオカ
メラ１１と赤外線カメラから入力する２枚の画像を併用
し，それぞれ背景差分法と動的２値化法を適用して得ら
れる画像処理結果を統合して１つ以上の移動物体を逐次
検出し，その移動物体を追跡する。

【００５８】物体監視追跡装置の本体１０は，ビデオカ
メラ１１から画像を入力する画像入力インタフェース
（Ｉ／Ｆ）１２と，画像データが格納される画像メモリ
１３と，物体認識検出プログラムの命令列を実行するＣ
ＰＵ１４と，テンプレートその他の各種データが格納さ
れるデータ格納領域１５と，作業メモリ１６と，ＣＲＴ
等の監視用モニタ１８に画像データを出力するための画
像出力インタフェース（Ｉ／Ｆ）１７と，これらを接続
するシステムバス１９とを備える。

【００５９】図１２は，図１１の物体監視追跡装置にお
ける処理構成を示すブロック図である。

【００６０】画像入力部２０は，ビデオカメラ１１から
画像入力Ｉ／Ｆ１２を介して原画像３０を入力する。背
景差分処理部２２は，入力した原画像３０と，画像メモ
リ１３に格納されている規準背景画像３１との画素ごと
の差分を計算し，背景差分画像３２を生成する。規準背
景画像３１は，規準背景画像更新部２１によって逐次更
新される。

【００６１】動的２値化処理部２３は，背景差分画像３
２に動的２値化処理を施す。物体位置算出部２５は，動
的２値化処理部２３の処理結果から，例えば最初のフレ
ームではラベリングによって得られた検出物体の重心を
演算部２６によって算出して検出物体の位置とし，それ
以降は，１フレーム前の検出物体の外接矩形で切り取ら
れる画像パターンをテンプレート３３として，テンプレ
ートマッチングを行い，その矩形の中心位置を検出物体
の位置とする。テンプレート更新部２４は，テンプレー
トマッチングの際に用いるテンプレート３３を逐次更新
する。

【００６２】位置変化算出部２７は，時刻ｔ₀ において
時刻ｔ₀ −Ｎから時刻ｔ₀ −１までのフレームでの検出
物体について，各検出物体間で重心位置の距離を計算
し，これらの距離から時刻ｔ₀ −Ｎから時刻ｔ₀ −１ま
でのフレームで検出された物体が同一物体であるかどう
かを判定する。そして，検出した同一物体の情報系列
を，作業メモリ１６内にリスト構造で記憶する。

【００６３】次に，軌跡の連続性／ばらつき判定部２８
は，検出物体の軌跡の連続性または検出物体の位置変化
のばらつきによって，検出物体が監視追跡対象となる特
定移動物体であるかそれ以外の物体であるかを判定し，
監視追跡対象の特定移動物体であれば，警報／結果モニ
ター表示部２９に通知する。警報／結果モニター表示部
２９は，ＣＲＴ等の監視用モニタ１８に，正常であるか
異常であるか，動物体の有無，侵入開始・終了時刻，移
動軌跡などの出力情報３４を出力する。

【００６４】画像信号として，可視光領域をセンシング
する通常のビデオカメラ１１から入力した画像信号の他
に，赤外線カメラから入力した画像信号を用い，これら
の画像処理結果を統合する方法の例について説明する。

【００６５】(1) 第１の方法 図１２に示す背景差分処理部２２と動的２値化処理部２
３までは，通常のビデオカメラ１１からの画像信号と，
赤外線カメラからの画像信号を独立に処理し，それぞれ
について２値化画像Ｐ_v ，Ｐ_i を得る。その２値化画像
Ｐ_v ，Ｐ_i の重みづけ計算をした画像を再度２値化して
移動物体を検出する。重み値は，追跡対象物体の特性，
撮影環境，検出された領域の大きさその他に応じて，あ
らかじめ定めておく。

【００６６】(2) 第２の方法 第１の方法と同様に，背景差分処理部２２と動的２値化
処理部２３までは，通常のビデオカメラ１１からの画像
信号と，赤外線カメラからの画像信号を独立に処理し，
それぞれについて２値化画像Ｐ_v ，Ｐ_i を得る。その
後，追跡対象物体の特性や画像のコントラスト，撮影時
間帯に応じた２値化画像Ｐ_v ，Ｐ_i の信頼度を算出し，
信頼度の大きい画像処理結果を採用する。例えば，夕方
から夜間にかけては，赤外線カメラの画像信号から得た
２値化画像Ｐ_i の結果の信頼度を高くしておく。

【００６７】(3) 第３の方法 第１の方法と同様に，背景差分処理部２２と動的２値化
処理部２３までは，通常のビデオカメラ１１からの画像
信号と，赤外線カメラからの画像信号を独立に処理し，
それぞれについて２値化画像Ｐ_v ，Ｐ_i を得る。その
後，２値化画像Ｐ _v ，Ｐ_i の論理和または論理積をと
り，面積が一定値以下の領域は除去する。

【００６８】(4) 第４の方法 図１２に示す物体位置算出部２５までは，通常のビデオ
カメラ１１からの画像信号と，赤外線カメラからの画像
信号を独立に処理し，それぞれから物体位置Ｔ _v ，Ｔ_i
を得る。それらについて，追跡対象物体の特性や撮影時
間帯，テンプレートマッチングの類似度，前フレームか
らの位置変化量や移動軌跡に応じた物体位置Ｔ_v ，Ｔ_i
の信頼度を算出し，信頼度の大きい計算結果を採用す
る。

【００６９】(5) 第５の方法 追跡対象物体がカメラ視野内に入る最初の１フレームは
ビデオカメラ画像を用いて処理し，次フレーム以降は赤
外線カメラ画像をもとに（追跡対象物体が撮像視野から
外れるまで）処理を行う。

【００７０】

【発明の効果】上述したように，本発明によれば，従来
困難であった２値化閾値の設定が不要となり物体検出を
容易に行うことができるようになる。そしてカメラ視野
内に監視対象物体以外の動物体が存在した場合に，当該
物体を対象物体外として除外し，正確に所望の対象物体
のみを追跡することができる。また，撮影時の一時的な
輝度変化や他の物体のオクルージョンや影の影響で，侵
入物体を一時的に見失うことが少なくなり，高度な動物
体監視追跡装置を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態を説明するためのフロ
ーチャートである。

【図２】本発明の第２の実施形態を説明するためのフロ
ーチャートである。

【図３】背景差分法と動的２値化による物体検出の手順
を説明する図である。

【図４】背景差分法と動的２値化，ならびにテンプレー
トマッチング（あるいはＰＴ法によるマッチング）を用
いた検出物体の追跡手順を説明する図である。

【図５】本発明における物体位置算出ステップの処理結
果の一例を示した図である。

【図６】本発明の軌跡連続性判定方法による物体追跡の
原理を説明する図である。

【図７】物体情報記憶領域のリスト構造を説明する図で
ある。

【図８】本発明の第２の実施形態を補足説明するための
図である。

【図９】本発明の第３の実施形態を説明するための図で
ある。

【図１０】本発明を用いて計算される各対象ごとの移動
軌跡ログファイルの内容の一例を示す図である。

【図１１】物体監視追跡装置の一構成例を示した図であ
る。

【図１２】物体監視追跡装置における処理構成を示すブ
ロック図である。

【符号の説明】

１０１ 画像入力ステップ １０２ 背景差分ステップ １０３ 動的２値化処理ステップ １０４ 物体位置算出ステップ １０５ 検出物体有無分岐ステップ １０６ 物理量格納ステップ １０７ 位置変化算出ステップ １０８ 検出時刻・位置変化記憶ステップ １０９ 検出物体軌跡の連続性判定ステップ １１０ 軌跡連続性分岐ステップ １１１ 対象物体分類ステップ １１２ 警報・結果モニター表示ステップ １１３ 対象物体外分類ステップ ２０９ 検出物体軌跡のばらつき判定ステップ ２１０ 軌跡滑らかさ分岐ステップ ３０１ 入力画像 ３０２ 規準背景画像 ３０３ 背景差分画像 ３０４ ２値化画像 ３０５ 部分画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 遠藤 公誉 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 目黒 眞一 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C054 AA01 CA04 CA05 FC05 FC12 FE28 FF03 HA31 5L096 BA02 CA04 CA05 EA43 FA69 GA08 HA04 HA05 JA09

Claims (8)

【特許請求の範囲】
1. 【請求項１】 逐次入力する画像信号中の特定移動物体
   を検出し，他の物体と区別する物体検出認識方法におい
   て，逐次入力する複数の前記画像信号から１つ以上の移
   動物体を背景差分法と，少なくとも動的２値化法または
   テンプレートマッチングとによって逐次検出する第１の
   処理過程と，検出された移動物体が有する少なくとも１
   つ以上の特徴量を抽出する第２の処理過程と，前記移動
   物体を特徴づける物理量の系列として，抽出された前記
   特徴量を該移動物体と関連付けて画像信号ごとに逐次メ
   モリに記憶する第３の処理過程と，前記移動物体が前記
   特定移動物体に属するか否かを判定する判定基準に基づ
   き，前記記憶された特徴量系列から前記移動物体が追跡
   目標の特定移動物体であるか否かを判別する第４の処理
   過程とを有することを特徴とする物体検出認識方法。
2. 【請求項２】 逐次入力する画像信号中の特定移動物体
   を検出し，他の物体と区別する物体検出認識方法におい
   て，逐次入力する複数の前記画像信号から１つ以上の移
   動物体を背景差分法と，少なくとも動的２値化法または
   テンプレートマッチングとによって逐次検出し，次に検
   出された移動物体に関する少なくとも１つ以上の特徴量
   抽出を画像信号ごとに行い逐次メモリに記憶し，記憶さ
   れた特徴量に基づいて，前記移動物体の軌跡を少なくと
   も１つ以上抽出し，前記移動物体と関連付けて記憶され
   た移動物体の特徴量の系列から，当該移動物体の軌跡が
   連続する時間を算出し，さらに算出された軌跡の連続時
   間が所定の時間以上の移動物体を前記特定移動物体の集
   合に分類し，前記軌跡の連続時間が所定の時間より小さ
   い移動物体を前記特定移動物体以外の集合に分類し，当
   該分類された前記特定移動物体を監視追跡対象物体とし
   て判定することを特徴とする物体検出認識方法。
3. 【請求項３】 逐次入力する画像信号中の特定移動物体
   を検出し，他の物体と区別する物体検出認識方法におい
   て，逐次入力する複数の前記画像信号から１つ以上の移
   動物体を背景差分法と，少なくとも動的２値化法または
   テンプレートマッチングとによって逐次検出し，次に検
   出された移動物体に関する少なくとも１つ以上の特徴量
   抽出を各画像信号ごとに行い逐次メモリに記憶し，記憶
   された特徴量に基づいて，前記移動物体の軌跡を少なく
   とも１つ以上抽出し，前記移動物体と関連付けて記憶さ
   れた移動物体の特徴量の系列から，当該移動物体の位置
   変化のばらつきを算出し，さらに算出された物体の位置
   変化のばらつきが所定のばらつき範囲内の移動物体を前
   記特定移動物体の集合に分類し，前記物体の位置変化の
   ばらつきが所定のばらつき範囲外の移動物体を前記特定
   移動物体以外の集合に分類し，当該分類された前記特定
   移動物体を監視追跡対象物体として判定することを特徴
   とする物体検出認識方法。
4. 【請求項４】 請求項１から請求項３までのいずれかに
   記載の物体検出認識方法において，前記逐次入力する複
   数の画像信号からの移動物体の検出では，逐次規準テン
   プレートを更新しながらパラメトリックテンプレート法
   によるマッチングを用いて１つ以上の移動物体を検出
   し，当該物体の検出位置を計算し，それを前記特徴量の
   １つとして用いることを特徴とする物体検出認識方法。
5. 【請求項５】 請求項１から請求項４までのいずれかに
   記載の物体検出認識方法において，前記テンプレートマ
   ッチングに用いる規準テンプレートとして，サンプリン
   グされた画素集合からなるテンプレート画像，または人
   物等の注目物体領域外をマスクしたテンプレート画像を
   使用することを特徴とする物体検出認識方法。
6. 【請求項６】 請求項１から請求項５までのいずれかに
   記載の物体検出認識方法を，コンピュータに実行させる
   ためのプログラムを記録したこと特徴とする物体検出認
   識プログラムを記録した記録媒体。
7. 【請求項７】 逐次入力する画像信号中の特定移動物体
   を検出し，他の物体と区別して追跡する物体監視追跡装
   置において，カメラにより撮像した画像信号を逐次入力
   する手段と，入力した画像と規準背景画像との差分を計
   算し，背景差分画像を生成する手段と，生成した背景差
   分画像をもとに，動的２値化法もしくはテンプレートマ
   ッチングまたはその双方を用いて移動物体を検出し，そ
   の位置を算出する手段と，検出した移動物体の位置変化
   を算出する手段と，算出した位置変化による軌跡の連続
   性または位置変化量のばらつきによって，検出した移動
   物体が監視対象としている特定移動物体であるか否かを
   判別する手段と，判別した結果により特定移動物体を監
   視追跡し，その追跡情報を出力する手段とを備えること
   を特徴とする物体監視追跡装置。
8. 【請求項８】 請求項７記載の物体監視追跡装置におい
   て，前記画像信号として可視光領域をセンシングする通
   常のビデオカメラから入力した画像信号と，赤外線カメ
   ラから入力した画像信号とを併用し，それぞれの画像処
   理結果を統合して１つ以上の移動物体を逐次検出するこ
   とを特徴とする物体監視追跡装置。