JP2003346156A

JP2003346156A - 物体検出装置、物体検出方法、プログラムおよび記録媒体

Info

Publication number: JP2003346156A
Application number: JP2002148491A
Authority: JP
Inventors: Shigeru Takagi; 茂高木; Takahito Kawanishi; 隆仁川西; Hiroshi Murase; 洋村瀬
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-05-23
Filing date: 2002-05-23
Publication date: 2003-12-05

Abstract

(57)【要約】【課題】時系列入力画像内で起こる変化を検出し、持
ち込まれた物体、持ち出された物体、あるいは、移動さ
れた物体を検出する物体検出装置を提供する。【解決手段】時系列入力画像から基準画像を生成する
基準画面生成手段と、前記基準画面生成手段で生成され
た基準画像と、他の時系列入力画像との差分から画像変
化領域を検出する画像変化領域検出手段と、前記画像変
化領域検出手段で検出した画像変化領域発生の原因が物
体の持ち込みにより生じたものか、または、物体の持ち
出しにより生じたものか、あるいは、物体の位置や向き
の変化により生じたものかを画像特徴を用いて判定する
画像変化原因判定手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体検出装置、物
体検出方法、プログラムおよび記録媒体に係わり、特
に、時系列入力画像から画像の変化した領域を検出し、
その変化が物体の持ち込み、持ち出し、あるいは、物体
の位置や向きの変化に起因するものかを判定する技術に
関する。

【０００２】

【従来の技術】自動車や人間等の移動物体を、背景画像
と入力画像との差分法等を用いて検出することは広く行
われている。これら動いている物体の検出では、動いて
いる差分領域が物体領域に対応することは自明である。
これに対して、人間により物体の持ち込み、持ち出し、
物体位置の変位が行われたときの静的な変化領域に対し
ては、これらの識別は自明ではない。静的な変化領域の
識別に関連する技術が、電子情報通信学会研究会資料Ｐ
ＲＭＵ99-103(1999-11)「身体各部の状態遷移に基づく
人物行動のテキスト表現」に報告されている。

【０００３】

【発明が解決しようとする課題】しかしながら、前述の
報告では、物体の持ち出し、持ち込みの識別を行うだけ
であり、物体の変位は考慮していなかった。カメラの画
面内で、人がある物体を使用し、使用後にもとの場所に
もどすときに、厳密に元の位置で、しかも同じ向きにも
どす確率は極めて低い。このため、物体を使用する前の
画像と、使用後の画像の差分をとると、物体の近傍に変
化領域が生じ、そのため、前述の報告では取り扱えな
い。物体監視等の状況を考えるならば、カメラの画面内
で物体が持ち込まれたり、持ち出されたりする事象よ
り、物体の位置が多少変位するという事象の発生頻度が
高い状況が考えうる。このような状況では、前述の物体
検出技術では、変化領域の解釈ができない。

【０００４】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、時系列
に入力される入力画像内で起こる変化を検出し、持ち込
まれた物体、または、持ち出された物体、あるいは、移
動された物体を検出する物体検出装置、および物体検出
方法を提供することにある。また、本発明の他の目的
は、前述の物体検出方法をコンピュータに実行させるた
めのプログラムを提供することにある。また、本発明の
他の目的は、前述のプログラムが記録された記録媒体を
提供することにある。本発明の前記ならびにその他の目
的と新規な特徴は、本明細書の、記述及び添付図面によ
って明らかにする。

【０００５】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。即ち、本発明は、時系列入力画像内
で起こる変化を検出し、持ち込まれた物体、または、持
ち出された物体、あるいは、移動された物体を検出する
物体検出方法であって、前記時系列入力画像から基準画
像を生成する第１のステップと、前記第１のステップで
生成された基準画像と、他の時系列入力画像との差分か
ら画像変化領域を検出する第２のステップと、前記第２
のステップで検出した画像変化領域発生の原因が物体の
持ち込みにより生じたものか、または、物体の持ち出し
により生じたものか、あるいは、物体の位置や向きの変
化により生じたものかを画像特徴を用いて判定する第３
のステップとを有する。また、本発明は、前記第３のス
テップでの判定結果が、物体の持ち込みにより生じたも
のである場合には画像変化領域内から持ち込まれた物体
領域の画像を、または、物体の持ち出しにより生じたも
のである場合には画像変化領域内から持ち出された物体
領域の画像を、あるいは、物体の位置や向きの変化によ
り生じたものである場合には画像変化領域内から位置や
向きが変化した物体領域の画像を抽出する第４のステッ
プを有する。

【０００６】本発明の好ましい実施の形態では、前記第
３のステップは、前記画像変化領域内における基準画像
と入力画像の色特徴の相違を用いて、前記画像変化領域
検出手段で検出した画像変化領域発生の原因が物体の持
ち込みにより生じたものか、または、物体の持ち出しに
より生じたものか、あるいは、物体の位置や向きの変化
により生じたものかを判定するステップである。本発明
の好ましい実施の形態では、前記第３のステップは、基
準画像から生成したエッジ画像の変化領域内における外
郭エッジ点と、入力画像から生成したエッジ画像の変化
領域内における外郭エッジ点との位置関係を用いて、前
記画像変化領域検出手段で検出した画像変化領域発生の
原因が物体の持ち込みにより生じたものか、または、物
体の持ち出しにより生じたものか、あるいは、物体の位
置や向きの変化により生じたものかを判定するステップ
である。

【０００７】本発明の好ましい実施の形態では、前記第
４のステップは、画像変化領域の外側近傍画像の特徴を
用いて、前記画像変化領域内から物体領域の画像を抽出
するステップである。本発明の好ましい実施の形態で
は、前記第４のステップは、エッジ画像の変化領域内の
外郭エッジを用いて、前記画像変化領域内から物体領域
の画像を抽出するステップである。また、本発明は、前
述の物体検出方法を実行して物体を検出する物体検出装
置である。また、本発明は、前述の物体検出方法をコン
ピュータに実行させるプログラムである。また、本発明
は、前述のプログラムが記録された記録媒体である。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。なお、実施の形態を説明す
るための全図において、同一機能を有するものは同一符
号を付け、その繰り返しの説明は省略する。図１は、本
発明の実施の形態の物体検出装置の概略構成を示すブロ
ック図である。同図１に示すように、本実施の形態の物
体検出装置は、カメラ１により撮影され、時系列的に画
像を入力される入力画像から基準画像３を生成する基準
画像生成機構２と、基準画像と入力画像の差異部分を検
出する画像変化領域検出機構４と、変化領域毎にそれが
発生した原因を判定する画像変化原因判定機構５と、発
生原因に従って適切な物体画像を抽出する物体画像抽出
機構６とから構成される。

【０００９】図２は、図１に示す基準画像生成機構２の
処理手順の一例を示すフローチャートである。以下、図
２を用いて基準画像生成機構２の処理手順の一例を説明
する。先ず、物体変化のない最初のＮ（Ｎ≧１）枚（た
だし、Ｎ枚の画像系列中には物体変化がないようにＮを
選ぶ）の入力画像の平均画像を作成し、基準画像とする
（ステップＳ１１）。次に、入力画像に変化があり、変
化原因の判定、物体画像抽出処理が行われたか否かを判
断し（ステップＳ１２）、ステップＳ１２でｎｏなら
ば、入力画像に変化があり、変化原因の判定、物体画像
抽出処理が行われるのを待つ。ステップＳ１２でｙｅｓ
ならば、変化後の入力画像のＭ（Ｍ≧１）枚（ただし、
Ｍ枚の画像系列中には物体変化がないようにＭを選ぶ）
から平均画像を作成し、基準画像の変化領域を置き換え
（ステップＳ１３）、ステップＳ１２に戻る。もし、人
間等の動変化領域がなければ、ステップＳ１３におい
て、基準画像全体を変化後の画像で置き換える。

【００１０】図３は、図１に示す基準画像生成機構２の
処理手順の他の例を示すフローチャートである。以下、
図３を用いて基準画像生成機構２の処理手順の他の例を
説明する。先ず、最初のＮ（Ｎ≧１）枚（ただし、Ｎ枚
の画像系列中には物体変化がないようにＮを選ぶ）の入
力画像の平均画像を作成し、基準画像とする（ステップ
Ｓｌ４）。次に、入力画像に変化があり、変化原因の判
定、物体画像抽出処理が行われたか否かを判断する（ス
テップＳ１５）。ステップＳ１５でｙｅｓならば、変化
後の入力画像のＭ（Ｍ≧１）枚（ただし、Ｍ枚の画像系
列中には物体変化がないようにＭを選ぶ）から平均画像
を作成し、基準画像の変化領域を置き換える（ステップ
Ｓ１６）。もし、人間等の動変化領域がなければ、ステ
ップＳ１５において、基準画像全体を変化後の画像で置
き換える。ステップＳ１５でｎｏならば、差分画像に閾
値以上の大きさの差分領域が存在するか否かを判断する
（ステップＳ１７）。ステップＳ１７でｎｏならば、基
準画像を更新する（ステップＳ１８）。基準画像の更新
（ステップＳ１８）は、例えば、基準画像と入力画像を
（（ｎ−１）／ｎ）：（１／ｎ）の重み付けで加算する
ことにより得られる。照明等の変動がない環境の場合に
は、この基準画像の更新処理は省略しても差し支えな
い。ステップＳ１７でｙｅｓならば、人間等が動作中と
みなして基準画像は更新しない。

【００１１】図４は、図１に示す画像変化領域抽出機構
４の処理手順を示すフローチャートである。以下、図４
を用いて画像変化領域抽出機構４の処理手順を説明す
る。先ず、基準画像と入力画像の差分を計算し、閾値を
用いて｛０，１｝の２値化画像を作成する（ステップＳ
２１）。次に、２値化画像のごま塩雑音を除去後、膨張
処理等により微小なギャップを埋める（ステップＳ２
２）。次に、２値画像のラベリング手法を用いて、連結
領域を抽出する（ステップＳ２３）。一般には、このス
テップＳ２３において、複数の連結領域が検出される。
また、連結領域の情報は、画像番号情報とともに保存し
ておく。次に、ある閾値以上の連結領域があるか否かを
判断し（ステップＳ２４）、ステップＳ２４でｎｏなら
ば、処理を終了する。ステップＳ２４でｙｅｓならば、
検出した連結領域と、過去に検出された連結領域とを比
較し、位置、面積、形が同様な領域が過去、一定時間以
上存在するか否かを判断（ステップＳ２５）し、ステッ
プＳ２５でｎｏならば、処理を終了する。ステップＳ２
５でｙｅｓならば、即ち、位置、面積、形が同様な領域
が、直近に連続して一定時間以上存在すれば、その連結
領域を変化領域として抽出する（ステップＳ２５）。

【００１２】図５は、図１に示す画像変化原因判定機構
５の処理手順の一例を示すフローチャートであり、色情
報を利用する場合の画像変化原因判定機構５の処理手順
を示すフローチャートである。以下、図５を用いて、色
情報を利用する場合の画像変化領域抽出機構５の処理手
順を説明する。先ず、基準画像の変化領域の色ヒストグ
ラムＨＲを作成する（ステップＳ３１）。色ヒストグラ
ムとは、画像の色を量子化し、各色の出現頻度を求めて
ヒストグラムとする公知の手法である。例えば、カメラ
からの入力信号が、（Ｒ、Ｇ、Ｂ）の色信号とすると、
（Ｒ、Ｇ、Ｂ）の各軸を８等分し、色空間を８×８×８
＝２５６の小色区画に分け、各色区画に番号（色番号と
呼ぶ）を付与する。入力画像の各画素が、どの色番号に
属するかを調べ、色番号（ｋ）毎にそれに属する画素の
出現頻度（Ｐｋ）を積算したのが色ヒストグラムであ
る。なお、色の表し方や色空間の小区画への分割は、こ
の例に限定されたものではない。同様に、各入力画像の
変化領域の色ヒストグラムＨＩを作成する（ステップＳ
３２）。次に、色ヒストグラムＨＲとＨＩの類似度（Ｓ
ｉｍ（ＨＲ，ＨＩ））がある閾値以上か否かを判断する
（ステップＳ３３）。ステップＳ３３でｙｅｓならば、
物体の移動と判定し、ステップＳ３３でｎｏならば、物
体の移動ではないと判定する。色ヒストグラムＨＲとＨ
Ｉの類似度（Ｓｉｍ（ＨＲ，ＨＩ））は、下記（１）式
により計算する。

【００１３】

【数１】ここで、ＨＲ_ｋ、ＨＩ_ｋは、色番号（ｋ）に属する画素
数であり、ｍｉｎは最小値を選択する関数である。

【００１４】物体の移動の場合に、色ヒストグラムＨＲ
とＨＩの類似度（Ｓｉｍ（ＨＲ，ＨＩ））の値がとる傾
向を図６を用いて説明する。ある背景に背景とは異なっ
た色の物体が置かれていたとする。図６（１）に示す基
準画像では物体は位置ａにあり、図６（２）に示す入力
画像では物体は位置ｂにあり、物体の存在範囲が基準画
像と入力画像でオーバーラップしていたとする。すると
画像変化領域検出機構４により検出された変化領域は、
図６（３）に示すようになる。この変化領域に対応する
基準画像の領域の５０％以上は物体が占めており、同様
に、この変化領域に対応する入力画像の領域の５０％以
上は物体が占めている。従って、若干の位置の移動で物
体の色が大きく変化しない場合は、Ｓｉｍ（ＨＲ，Ｈ
Ｉ）は、変化領域の画素数の５０％以上と期待できる。
移動量が少なければ少ないほど類似度は高く、物体の移
動では下記（２）式に示す不等式となる傾向がある。

【数２】１≧Ｓｉｍ（ＨＲ，ＨＩ）／変化領域の画素数≧０．５・・・・（２）そこで、上記閾値としては、若干の余裕を見込んで、変
化領域の画素数の４０％前後と設定することが多い。

【００１５】ステップＳ３３で物体の移動ではないと判
定した場合には、物体の持ち込みか持ち出しかを判定す
る処理をおこなう。先ず、変化領域の周辺（変化領域は
含まず、変化領域からある距離δ内の領域）の色ヒスト
グラムＨＳを作成する（ステップＳ３４）。色ヒストグ
ラムＨＲとＨＳの類似度（Ｓｉｍ（ＨＲ，ＨＳ））と、
色ヒストグラムＨＩとＨＳの類似度（Ｓｉｍ（ＨＩ，Ｈ
Ｓ））とを比較し、これら値の大小関係により、物体の
持ち出し、持ち込みの判定を行う（ステップＳ３５）即
ち、Ｓｉｍ（ＨＲ，ＨＳ）と、Ｓｉｍ（ＨＩ，ＨＳ）と
が、下記（３）式を満たす場合には、物体の持ち込みと
判定する。また、Ｓｉｍ（ＨＲ，ＨＳ）と、Ｓｉｍ（Ｈ
Ｉ，ＨＳ）とが、下記（４）式を満たす場合には、物体
の持ち出しと判定する。また、Ｓｉｍ（ＨＲ，ＨＳ）
と、Ｓｉｍ（ＨＩ，ＨＳ）とが、下記（５）式を満たす
場合には、判定不能と判定する。

【数３】Ｓｉｍ（ＨＲ，ＨＳ）＞Ｓｉｍ（ＨＩ，ＨＳ）・・・・・・・・（３）Ｓｉｍ（ＨＲ，ＨＳ）＜Ｓｉｍ（ＨＩ，ＨＳ）・・・・・・・・（４）Ｓｉｍ（ＨＲ，ＨＳ）＝Ｓｉｍ（ＨＩ，ＨＳ）・・・・・・・・（５）

【００１６】前述の（３）式の意味は、以下の通りであ
る。物体はある背景の中に置かれることが多い。変化領
域の周辺が背景に属すると仮定すると、基準画像の変化
領域が周辺に類似しているということは、基準画像で
は、その変化領域はもともと背景に属していた。即ち、
背景に物体が持ち込まれたことにより、入力画像の変化
領域と背景との類似度が低下したと判定する。また、前
述の（４）式では、逆に物体が取り除かれたことによ
り、入力画像の変化領域が背景に類似したと判定する。
なお、本実施の形態において、物体の移動とは、図６
（３）に示すように、基準画像と入力画像とにおいて、
物体の存在領域に重なりがあるようなものを意味し、物
体の移動が大きく、基準画像と入力画像とにおいて、物
体の存在領域に重なりがないものは、基準画像から物体
が持ち出され、入力画像に物体が持ち込まれたものとし
て取り扱われる。ただし、物体の移動量が大きく、変化
領域が２つに分離した場合は、一方の変化領域は物体の
持ち出しと判定でき、もう一方の変化領域は物体の持ち
込みと判定でき、持ち出された物体と持ち込まれた物体
の類似度が高くなることより、視野内で移動したと結論
できる。

【００１７】図７は、図１に示す画像変化原因判定機構
５の処理手順の他の例を示すフローチャートであり、エ
ッジ点情報を利用する場合の画像変化原因判定機構５の
処理手順を示すフローチャートである。以下、図７を用
いて、エッジ点情報を利用する場合の画像変化領域抽出
機構５の処理手順を説明する。先ず、基準画像のエッジ
画像を作成し、画像変化領域内での外郭エッジ点（Ｐ
１）を抽出する（ステップＳ４１）。外郭エッジ点の意
味および抽出法を図８に示す。エッジ画像を、ある線分
（図８の破線で示す線分のように、水平あるいは垂直設
定することが多い）でスキャンし、その線分上で他のエ
ッジ点で挟まれないエッジ点を外郭エッジ点とする。線
分を所定の間隔で平行に移動しながら外郭エッジ点（Ｐ
１）を求める。同様に、入力画像のエッジ画像を作成
し、画像変化領域内での外郭エッジ点（Ｐ２）を求める
（ステップＳ４２）。次に、Ｐ１がＰ２の外側にある指
数Ｃｌ、逆にＰ２がＰ１の外側にある指数Ｃ２、および
Ｐ１とＰ２が交差する指数Ｃ３を計算する（ステップＳ
４３）。

【００１８】外側にある、あるいは交差の意味と求め方
を図９に示す。図９（１）に示すように、Ｐ１がＰ２に
挟まれていない時、Ｐ１がＰ２の外側にあると言い指数
Ｃｌを１増加する。図９（２）に示すように、Ｐ１が存
在するがＰ２が存在しない場合も、Ｐ１がＰ２の外側に
あると言い、Ｃｌを増加させる。図９（３）に示すよう
に、Ｐ１とＰ２が互い違いに並ぶときは、Ｐ１とＰ２は
交差するといい、指数Ｃ３を増加する。図９（１）、
（２）において、Ｐ１とＰ２を入れ替えた関係となれ
ば、Ｐ２がＰ１の外側にあると言い、Ｃ２を増加する。
次に、下記（６）式を計算し、その値が、ある閾値より
小さいか、あるいは、ある閾値以上かを判断する（ステ
ップＳ４４）。

【数４】｜Ｃｌ−Ｃ２｜／（Ｃ１＋Ｃ２＋Ｃ３）・・・・・・・・・・・（６）

【００１９】この（６)式の値は、物体の持ち込み、あ
るいは、持ち出しの場合には、１に近い値をとり、物体
の移動の場合には０に近い値をとるという特徴を有す
る。そこで、ある閾値を設け、その閾値より小さけれ
ば、物体の移動と判定し、閾値以上であれば、物体の持
ち出しと持ち込みを区別するステップへと進む。閾値の
値は、例えば、０．５程度に設定すると、多くの場合正
しく判定できる。物体の移動でない場合には、ＣｌとＣ
２を比較する（ステップＳ４５）。物体の持ち出しの場
合には、Ｃ２は０に近い値をとり、物体の持ち込みの場
合には、Ｃｌが０に近い値をとるという特徴がある。そ
こで、Ｃｌ＞Ｃ２なら物体の持ち出しであると判定す
る。また、Ｃｌ＜Ｃ２なら物体の持ち込みであると判定
する。さらに、Ｃｌ＝Ｃ２なら判定不能と判定する。

【００２０】図１０は、図１に示す物体画像抽出機構６
の処理手順を示すフローチャートである。以下、図１０
を用いて、物体画像抽出機構６の処理手順を説明する。
画像変化の原因が物体持ち出しである場合には、基準画
像の変化領域の画像を物体画像とする（ステップＳ５
２）。画像変化の原因が物体持ち込みである場合には、
入力画像の変化領域内の画像を物体画像とする（ステッ
プＳ５３）。画像変化の原因が物体の移動である場合に
は、基準画像と入力画像の変化領域のそれぞれから物体
画像を抽出する（ステップＳ５４，ステップＳ５５）。
前述のステップＳ５４、ステップＳ５５における、変化
領域内から物体領域を抽出する方法は複数通りある。

【００２１】図１１は、エッジ画像を用いて、変化領域
内から物体領域を抽出する処理手順を示すフローチャー
トである。先ず、変化領域内のエッジ画像を求め閾値処
理により、２値化する（ステップＳ６１）。次に、ラベ
リング手法を用いて、連結領域を求める（ステップＳ６
２）。次に、面積最大の連結領域を選択し、これを被覆
する最小領域を求める（ステップＳ６３）。最小領域
は、連結領域の凸包（Convex Closure）、あるいは最小
矩形（minimum bounding rectangle）を求めるアルゴリ
ズムを用いて求める。図１２は、変化領域の周辺画像の
特徴を用いて、変化領域内から物体領域を抽出する処理
手順を示すフローチャートである。先ず、変化領域の外
側周辺画像の特徴を抽出する（ステップＳ７１）。次
に、変化領域内で周辺画像特徴と異なる特徴を有する画
素を選択する（ステップＳ７２）。これら画素を被覆す
る最小領域を物体領域とする（ステップＳ７３）。な
お、画像特徴としては、色あるいはテクスチャを用い
る。

【００２２】図１３は、本発明の実施の形態の物体検出
装置を使用して、実際に物体を検出した結果を示す写真
である。図１３（１）は、物体（ネコ型置物）の持ち出
しの例であり、基準画像の置物領域を物体領域として検
出した。図１３（２）は、物体（バケツ）の持ち込みの
例であり、入力画像のバケツ領域を物体領域として検出
した。図１３（３）は、物体（箱）を全幅の１／２程度
左へ移動した例である。基準画像、入力画像の双方にお
いて、背景と類似していない領域を物体領域として検出
した。なお、図１３の各図において、検出した物体領域
を被覆する最小矩形を画像に重ねて表示してある。ただ
し、図１３（３）に示す、物体移動の場合には、物体領
域に加えて画像変化領域を被覆する最小矩形も表示して
ある（大きい方の矩形）。

【００２３】以上説明したように、本実施の形態によれ
ば、画像変化原因判定機構５により物体の持ち込み、持
ち出し、変位の判定が可能となる。さらに、この判定結
果と物体画像抽出機構６により、どのような物体が持ち
込まれた、持ち出された、あるいは変位したかの記録を
とることが可能となる。さらに、画像変化原因判定機構
５、または、物体画像抽出機構６において、エッジ画像
や色情報を用いることにより、色画像およびグレースケ
ール画像の両方に対応することができる。これら判定が
できれば、不信物体の持ち込み監視、物体の持ち出し監
視、物体の所在管理に有用である。なお、本実施の形態
の物体検出方法は、コンピュータで実行させることも可
能であり、この場合に、本実施の形態の物体検出方法
は、コンピュータ上で実行されるプログラムにより実行
され、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体、
あるいは、ネットワークを介したダウンロードにより供
給される。以上、本発明者によってなされた発明を、前
記実施の形態に基づき具体的に説明したが、本発明は、
前記実施の形態に限定されるものではなく、その要旨を
逸脱しない範囲において種々変更可能であることは勿論
である。

【００２４】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。本発明によれば、画像に変化があった
場合に、その変化が物体の持ち込みによるものか、物体
の持ち出しによるものか、あるいは、物体の移動による
ものか判定することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態の物体検出装置の概略構成
を示すブロック図である。

【図２】図１に示す基準画像生成機構の処理手順の一例
を示すフローチャートである。

【図３】図１に示す基準画像生成機構の処理手順の他の
例を示すフローチャートである。

【図４】図１に示す画像変化領域抽出機構の処理手順を
示すフローチャートである。

【図５】図１に示す画像変化原因判定機構の処理手順の
一例を示すフローチャートである。

【図６】物体の移動の場合に、色ヒストグラムＨＲとＨ
Ｉの類似度（Ｓｉｍ（ＨＲ，ＨＩ））の値がとる傾向を
説明する図であり、基準画像、入力画像、および差分画
像の位置関係の一例を示す図である。

【図７】図１に示す画像変化原因判定機構の処理手順の
他の例を示すフローチャートである。

【図８】外郭エッジ点の意味および抽出法を説明する図
である。

【図９】外郭エッジ点集合間の外側、交差関係を説明す
る図である。

【図１０】図１に示す物体画像抽出機構の処理手順を示
すフローチャートである。

【図１１】図１０のステップＳ５４、ステップＳ５５に
おける、変化領域内から物体領域を抽出する方法の一つ
として、エッジ画像を用いて、変化領域内から物体領域
を抽出する処理手順を示すフローチャートである。

【図１２】図１０のステップＳ５４、ステップＳ５５に
おける、変化領域内から物体領域を抽出する方法の一つ
として、変化領域の周辺画像の特徴を用いて、変化領域
内から物体領域を抽出する処理手順を示すフローチャー
トである。

【図１３】本発明の実施の形態の物体検出装置を使用し
て、実際に物体を検出した結果を示す写真である。

【符号の説明】

１…カメラ、２…基準画像生成機構、３…基準画像、４
…画像変化領域検出機構、５…画像変化原因判定機構、
６…物体画像抽出機構。

【手続補正書】

【提出日】平成１４年５月２３日（２００２．５．２
３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図１３

【補正方法】変更

【補正内容】

【図１３】本発明の実施の形態の物体検出装置を使用し
て、実際に物体を検出した結果を示すディスプレイ上に
表示した中間調画像の写真である。 ─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年５月３１日（２００２．５．３
１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項１７

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】請求項１８

【補正方法】変更

【補正内容】

───────────────────────────────────────────────────── フロントページの続き (72)発明者村瀬洋東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 5B057 BA11 CH01 CH11 DA08 DA11 DC01 DC08 DC16 DC25 DC32 5C054 CA04 CG02 CG06 EA01 EA05 EA07 ED07 FC01 FC05 FC14 FC16 HA18 5L096 AA02 CA02 EA05 EA43 FA06 FA15 FA35 GA34 HA04

Claims

【特許請求の範囲】

【請求項１】時系列入力画像内で起こる変化を検出
し、持ち込まれた物体、持ち出された物体、あるいは、
移動された物体を検出する物体検出装置であって、前記時系列入力画像から基準画像を生成する基準画面生
成手段と、前記基準画面生成手段で生成された基準画像と、他の時
系列入力画像との差分から画像変化領域を検出する画像
変化領域検出手段と、前記画像変化領域検出手段で検出した画像変化領域発生
の原因が物体の持ち込みにより生じたものか、または、
物体の持ち出しにより生じたものか、あるいは、物体の
位置や向きの変化により生じたものかを画像特徴を用い
て判定する画像変化原因判定手段とを有することを特徴
とする物体検出装置。
【請求項２】前記画像変化原因判定手段での判定結果
が、物体の持ち込みにより生じたものである場合には画
像変化領域内から持ち込まれた物体領域の画像を、また
は、物体の持ち出しにより生じたものである場合には画
像変化領域内から持ち出された物体領域の画像を、ある
いは、物体の位置や向きの変化により生じたものである
場合には画像変化領域内から位置や向きが変化した物体
領域の画像を抽出する物体画像抽出手段を有することを
特徴とする請求項１に記載の物体検出装置。
【請求項３】前記画像変化原因判定手段は、前記画像
変化領域内における基準画像と入力画像の色特徴の相違
を用いて、前記画像変化領域検出手段で検出した画像変
化領域発生の原因が物体の持ち込みにより生じたもの
か、または、物体の持ち出しにより生じたものか、ある
いは、物体の位置や向きの変化により生じたものかを判
定することを特徴とする請求項１または請求項２に記載
の物体検出装置。
【請求項４】前記画像変化原因判定手段は、基準画像
から生成したエッジ画像の変化領域内における外郭エッ
ジ点と、入力画像から生成したエッジ画像の変化領域内
における外郭エッジ点との位置関係を用いて、前記画像
変化領域検出手段で検出した画像変化領域発生の原因が
物体の持ち込みにより生じたものか、または、物体の持
ち出しにより生じたものか、あるいは、物体の位置や向
きの変化により生じたものかを判定することを特徴とす
る請求項１または請求項２に記載の物体検出装置。
【請求項５】前記物体画像抽出手段は、画像変化領域
の外側近傍画像の特徴を用いて、前記画像変化領域内か
ら物体領域の画像を抽出することを特徴とする請求項２
に記載の物体検出装置。
【請求項６】前記物体画像抽出手段は、エッジ画像の
変化領域内の外郭エッジを用いて、前記画像変化領域内
から物体領域の画像を抽出することを特徴とする請求項
２に記載の物体検出装置。
【請求項７】時系列入力画像内で起こる変化を検出
し、持ち込まれた物体、または、持ち出された物体、あ
るいは、移動された物体を検出する物体検出方法であっ
て、前記時系列入力画像から基準画像を生成する第１のステ
ップと、前記第１のステップで生成された基準画像と、他の時系
列入力画像との差分から画像変化領域を検出する第２の
ステップと、前記第２のステップで検出した画像変化領域発生の原因
が物体の持ち込みにより生じたものか、または、物体の
持ち出しにより生じたものか、あるいは、物体の位置や
向きの変化により生じたものかを画像特徴を用いて判定
する第３のステップとを有することを特徴とする物体検
出方法。
【請求項８】前記第３のステップでの判定結果が、物
体の持ち込みにより生じたものである場合には画像変化
領域内から持ち込まれた物体領域の画像を、または、物
体の持ち出しにより生じたものである場合には画像変化
領域内から持ち出された物体領域の画像を、あるいは、
物体の位置や向きの変化により生じたものである場合に
は画像変化領域内から位置や向きが変化した物体領域の
画像を抽出する第４のステップを有することを特徴とす
る請求項７に記載の物体検出方法。
【請求項９】前記第３のステップは、前記画像変化領
域内における基準画像と入力画像の色特徴の相違を用い
て、前記画像変化領域検出手段で検出した画像変化領域
発生の原因が物体の持ち込みにより生じたものか、また
は、物体の持ち出しにより生じたものか、あるいは、物
体の位置や向きの変化により生じたものかを判定するス
テップであることを特徴とする請求項７または請求項８
に記載の物体検出方法。
【請求項１０】前記第３のステップは、基準画像から
生成したエッジ画像の変化領域内における外郭エッジ点
と、入力画像から生成したエッジ画像の変化領域内にお
ける外郭エッジ点との位置関係を用いて、前記画像変化
領域検出手段で検出した画像変化領域発生の原因が物体
の持ち込みにより生じたものか、または、物体の持ち出
しにより生じたものか、あるいは、物体の位置や向きの
変化により生じたものかを判定するステップであること
を特徴とする請求項７または請求項８に記載の物体検出
方法。
【請求項１１】前記第４のステップは、画像変化領域
の外側近傍画像の特徴を用いて、前記画像変化領域内か
ら物体領域の画像を抽出するステップであることを特徴
とする請求項８に記載の物体検出方法。
【請求項１２】前記第４のステップは、エッジ画像の
変化領域内の外郭エッジを用いて、前記画像変化領域内
から物体領域の画像を抽出するステップであることを特
徴とする請求項８に記載の物体検出方法。
【請求項１３】コンピュータに、時系列入力画像内で
起こる変化を検出し、持ち込まれた物体、または、持ち
出された物体、あるいは、移動された物体を検出する物
体検出方法を実行させるプログラムであって、前記プログラムは、前記時系列入力画像から基準画像を
生成させる第１の手順と、前記第１の手順で生成させた基準画像と、他の時系列入
力画像との差分から画像変化領域を検出させる第２の手
順と、前記第２の手順で検出させた画像変化領域発生の原因が
物体の持ち込みにより生じたものか、または、物体の持
ち出しにより生じたものか、あるいは、物体の位置や向
きの変化により生じたものかを画像特徴を用いて判定さ
せる第３の手順とを、コンピュータに実行させることを
特徴とするプログラム。
【請求項１４】前記プログラムは、前記第３の手順で
判定させた結果が、物体の持ち込みにより生じたもので
ある場合には画像変化領域内から持ち込まれた物体領域
の画像を、または、物体の持ち出しにより生じたもので
ある場合には画像変化領域内から持ち出された物体領域
の画像を、あるいは、物体の位置や向きの変化により生
じたものである場合には画像変化領域内から位置や向き
が変化した物体領域の画像を抽出させる第４の手順を、
コンピュータに実行させることを特徴とする請求項１３
に記載のプログラム。
【請求項１５】前記第３の手順は、前記画像変化領域
内における基準画像と入力画像の色特徴の相違を用い
て、前記画像変化領域検出手段で検出した画像変化領域
発生の原因が物体の持ち込みにより生じたものか、また
は、物体の持ち出しにより生じたものか、あるいは、物
体の位置や向きの変化により生じたものかを判定させる
手順であることを特徴とする請求項１３または請求項１
４に記載のプログラム。
【請求項１６】前記第３の手順は、基準画像から生成
したエッジ画像の変化領域内における外郭エッジ点と、
入力画像から生成したエッジ画像の変化領域内における
外郭エッジ点との位置関係を用いて、前記画像変化領域
検出手段で検出した画像変化領域発生の原因が物体の持
ち込みにより生じたものか、または、物体の持ち出しに
より生じたものか、あるいは、物体の位置や向きの変化
により生じたものかを判定させる手順であることを特徴
とする請求項１３または請求項１４に記載のプログラ
ム。
【請求項１７】前記第４の手順は、画像変化領域の外
側近傍画像の特徴を用いて、前記画像変化領域内から物
体領域の画像を抽出させる手順であることを特徴とする
請求項１３に記載のプログラム。
【請求項１８】前記第４の手順は、エッジ画像の変化
領域内の外郭エッジを用いて、前記画像変化領域内から
物体領域の画像を抽出させる手順であることを特徴とす
る請求項１３に記載のプログラム。
【請求項１９】前記請求項１３ないし請求項１８のい
ずれか１項に記載のプログラムが記録された記録媒体。