JP2002329206A

JP2002329206A - 画像処理方法

Info

Publication number: JP2002329206A
Application number: JP2001132388A
Authority: JP
Inventors: Tadahiro Arakawa; 忠洋荒川; Satoshi Furukawa; 聡古川; Hiroshi Matsuda; 啓史松田; Kenichi Hagio; 健一萩尾
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2001-04-27
Filing date: 2001-04-27
Publication date: 2002-11-15

Abstract

(57)【要約】【課題】移動物体が複数存在しても、移動物体それぞ
れについての移動、静止を検知することのできる画像処
理装置を提供する。【解決手段】画像処理方法は、複数の移動物体それぞ
れについて、個々にマスク領域を作成し、そのマスク領
域それぞれについて、差分画像における画像変化領域と
を比較、照合することで、画像変化領域が、マスク領域
とマスク領域周辺に設けられた移動可能範囲を含む移動
可能範囲領域内に存在した場合、その画像変化領域をマ
スク領域に対応する移動物体の移動によるものと判断
し、移動可能範囲領域内に存在しなかった場合、マスク
領域に対応する移動物体は静止したと判断する画像処理
方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数物体の移動、
静止を検出することが可能な画像処理装置に関する。

【０００２】

【従来の技術】従来の画像処理装置は、ある時刻Ｔ１で
撮影した画像と、時刻Ｔ１以降の時刻Ｔ２で撮影した画
像とを、差分２値化することで、移動物体の検出を行な
うものであった。この方法では、時刻Ｔ１の画像と時刻
Ｔ２の画像とにおいて、静止している箇所、すなわち背
景画像部分などは、２つの画像において静止しているの
で、画像の差分２値化により得られる２値化画像では、
抽出されないものである。逆に、移動物体については、
時刻Ｔ１で移動物体が存在した画像位置と、時刻Ｔ２で
移動物体が存在する画像位置とは異なる。すなわち、背
景が静止していたとすると、時刻Ｔ２において、移動物
体は時刻Ｔ１で背景であった画像部分に移動し、時刻Ｔ
１において移動物体の存在した画像位置には背景画像が
撮影されることになる。この移動物体の移動により、移
動物体と背景画像との画像の輝度、明度の差から、２つ
の画像の差分２値化を行ない、差分画像において、輝
度、明度の差から抽出される画像部分があった場合に
は、移動物体が移動したと判断するものである。

【０００３】図５（ａ）に示すように、例えば、移動物
体Ｍ１が時刻Ｔ１から時刻Ｔ２において移動すれば、差
分画像上に移動物体Ｍ１の変化領域がＭＡ１として抽出
される。さらに時刻Ｔ３において静止すれば差分画像は
抽出されないことから、移動物体Ｍ１の静止が検知でき
る。しかし、図５（ｂ）に示すように、同一画面上に移
動物体Ｍ２が存在し、時刻Ｔ１から時刻Ｔ２において
は、静止していたので、差分画像上に変化領域ＭＰ１以
外は抽出されないが、移動物体Ｍ２が時刻Ｔ２から時刻
Ｔ３において移動すれば、差分画像上に移動物体Ｍ２の
変化領域がＭＰ２として抽出される。２つの時刻の撮像
画像を差分した差分画像上に変化領域が生じた場合に、
移動物体は移動したと判断される画像処理方法であるの
で、この場合、移動物体Ｍ１が時刻Ｔ１から時刻Ｔ２に
おいて移動し、さらに、あたかも時刻Ｔ２から時刻Ｔ３
においても移動したかのように検知され、移動物体Ｍ１
についての静止を検知できないだけでなく、移動物体Ｍ
２についての移動も検知できないものである。

【０００４】

【発明が解決しようとする課題】そこで、本発明は上記
問題点に鑑みてなされたもので、その目的とするところ
は、移動物体が複数存在しても、移動物体それぞれにつ
いての移動、静止を検知することのできる画像処理装置
を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は、以下の構成を備える。すな
わち、請求項１の発明では、複数の移動物体を撮影した
撮像画像から、前記複数の移動物体の静止もしくは移動
を判断できる画像処理方法であって、第１の時刻で撮影
した第１の画像と、前記第１の時刻以降の第２の時刻で
撮影した第２の画像と、を差分２値化し、画像上変化の
あった複数の画像変化領域間で相互に近接する画像変化
領域同士に対し、それぞれ同一のラベルを付与すること
で、複数のマスク領域を作成する第１のステップと、前
記第２の画像と、前記第２の時刻以降の第３の時刻で撮
影した第３の画像と、を差分２値化し、画像上変化のあ
った複数の画像変化領域を有する差分画像を作成する第
２のステップと、前記マスク領域と、前記差分画像とを
比較して、第１のマスク領域周辺の所定の領域内に、前
記差分画像における前記複数の画像変化領域のうちどれ
も存在しない場合は、前記第１のマスク領域に対応する
移動物体は、静止したと判断し、前記所定の領域内に、
前記差分画像における前記複数の画像変化領域が存在す
る場合は、前記移動物体は、移動したと判断する第３の
ステップと、を備え、前記複数のマスク領域全てについ
て移動物体の静止もしくは移動の判断をすることを特徴
とする。

【０００６】請求項２の発明では、前記複数の移動物体
の移動速度値が予め判明しており、前記所定の領域は、
前記移動速度値と画像取得間隔から算出されることを特
徴とする。

【０００７】

【発明の実施の形態】以下、本発明の実施の形態を図示
例と共に説明する。本発明に係わる画像処理方法の第１
の実施の形態を以下に説明する。図１に示すように、本
実施の形態の画像処理装置は、撮像カメラ１からの撮像
信号を入力する入力インターフェース２と、撮像カメラ
１により撮影された画像を記憶する記憶部６と、画像処
理を行う画像処理部４と、ＣＰＵ５と、画像を一時的に
記憶する画像データバッファ３と、を備えてなるもので
ある。

【０００８】本実施の形態における画像処理方法を説明
する。移動物体を撮影した、２つの画像の差分２値化に
より、動きのない背景画像部分は、２つの画像間で輝
度、明度等の画像変化がないので、画像変化領域として
抽出されない。しかし、移動物体による画像変化が２つ
の画像間であった場合は、画像変化領域として抽出され
る。図２（ａ）に示すように、時刻Ｔ１で、移動物体Ｍ
１が画像位置Ａ１に存在し、移動物体Ｍ２は、画像位置
Ｂ１に存在したとする。また、図２（ｂ）に示すよう
に、時刻Ｔ１以降の時刻Ｔ２で、移動物体Ｍ１は画像位
置Ａ２に移動し、移動物体Ｍ２は画像位置Ｂ２に移動し
たとする。つまり、同時刻に２つの物体が移動したとす
るとき、この２つの画像を差分２値化すると、図２
（ｃ）に示す差分画像Ｓ１が得られる。ここで、差分画
像Ｓ１には、移動物体Ｍ１の移動による画像変化領域
と、移動物体Ｍ２の移動による画像変化領域とが抽出さ
れる。このように、同時刻に複数の移動物体による移動
があった場合は、１つの差分画像中に複数の画像変化領
域が存在するものとなる。そこで、画像変化領域同士
で、画像上近い位置にあるものに対し、同じ符号を付
し、ラベリング処理を行うようにして、移動物体に対応
するマスク領域を作成し、複数の移動物体の判別を行っ
ている。図２（ｃ）では、マスク領域は、ＭＡ１とＭＢ
１となり、それぞれ、異なるマスク領域として認識され
ている。

【０００９】次に、静止／移動判別を行う際の動作の説
明をする。上述のラベリング処理により、図２（ｃ）に
示すように、マスク領域ＭＡ１，ＭＢ１を作成した。こ
のあとで、時刻Ｔ２以降の時刻Ｔ３における画像を取得
する。この画像を図２（ｄ）に示す。移動物体Ｍ１は、
画像位置Ａ３に移動し、移動物体Ｍ２は、画像位置Ｂ３
に移動したものとする。この画像と図２（ｂ）に示す時
刻Ｔ２で得た画像とを差分２値化することで、図２
（ｄ）に示す差分画像Ｓ２を得る。この差分画像Ｓ２
と、図２（ｃ）に示すマスク領域ＭＡ１，ＭＢ１とを有
する画像とを比較照合する。比較照合する際に、移動物
体の移動速度値と、画像取得間隔から、その移動物体の
移動可能範囲を算出し、マスク領域周辺に移動可能範囲
を設けるものである。図２（ｅ）に示すように、マスク
領域ＭＡ１周辺には、移動可能範囲Ａを設け、マスク領
域ＭＢ１周辺には、移動可能範囲Ｂを設けるものであ
る。そこで、任意のマスク領域に対し、そのマスク領域
と移動可能範囲を含む移動可能範囲領域内に、画像変化
領域が存在するかどうかで、移動物体の静止／移動の判
断を行うものである。図２（ｅ）に示すように、図２
（ｄ）における画像位置Ａ２の画像変化領域はマスク領
域ＭＡ１と重なるが、画像位置Ａ３の画像変化領域は、
マスク領域ＭＡ１と離れて存在する。しかし、移動可能
範囲領域内に存在するので、画像位置Ａ３の画像変化領
域は、マスク領域ＭＡ１に対応する移動物体Ｍ１が時刻
Ｔ３において移動したものと判断する。同様にマスク領
域ＭＢ１についても同じ判断を行うものである。なお、
移動可能範囲は、人体移動速度値、人体と撮像カメラと
の距離、カメラのズーム値、により、都度変わるもので
あるので、それらを記憶部６に記憶させておき、画像処
理を行わせる際に、予め、人体移動速度値、人体と撮像
カメラとの距離、ズーム値を用いて移動可能範囲を算出
するものである。

【００１０】また、時刻Ｔ３において、移動物体Ｍ１が
移動せず、時刻Ｔ２における画像位置Ａ２と同じところ
に静止していた場合について、以下に説明する。なお、
マスク領域を作成するところまでは、図２（ａ）〜
（ｃ）に示す動作と同じであり、その動作の詳細な説明
は省略する。時刻Ｔ３において、移動物体は画像位置Ａ
２であるので、時刻Ｔ３の画像と、時刻Ｔ２における画
像との差分２値化を行い、差分画像Ｓ３を作成すると、
図３（ａ）に示すように、移動物体Ｍ１については、画
像変化領域として抽出されない。移動物体Ｍ２について
は、Ｔ３においても移動しているので、図２（ｄ）と同
じように画像変化領域として抽出される。このとき、差
分画像Ｓ３と図２（ｃ）で示すマスク領域とを比較照合
すると、図３（ｂ）に示すように、マスク領域ＭＡ１と
移動可能範囲Ａで構成される領域内に画像変化領域が存
在しないので、マスク領域ＭＡ１に対応する移動物体Ｍ
１は、静止したと判断される。また、移動していたとし
ても、画像変化領域が、完全にマスク領域ＭＡ１内に存
在した場合は、静止と判断するものである。次に、マス
ク領域ＭＢ１について、差分画像Ｓ３と比較照合する
と、マスク領域ＭＢ１と移動可能範囲Ｂで構成される領
域内に画像変化領域が存在するので、マスク領域ＭＢ１
に対応する移動物体Ｍ２は、移動したと判断される。

【００１１】次に、本実施の形態における動作を説明す
る。図４に示すフローチャートにおいて、ステップＳＡ
１からステップＳＡ７までは、初期処理であり、ステッ
プＳＡ８からステップＳＡ１６までが、繰り返し行われ
る通常処理である。まず、時刻Ｔ１において、撮像カメ
ラで撮影を行い、画像を入力する（ステップＳＡ１）。
その画像を画像データバッファ３に取りこみ、記憶する
（ステップＳＡ２）、次に画像取得間隔経過後の時刻Ｔ
２に再度撮影を行い、画像を入力する（ステップＳＡ
３）。その画像を記憶する（ステップＳＡ４）。画像デ
ータバッファ３に記憶した、２つの画像を差分２値化す
る（ステップＳＡ５）。差分２値化により、動きのない
背景画像部分は、２つの画像間で変化がないので、画像
変化領域として抽出されない。また、移動物体による、
画像変化が２つの画像間であった場合は、画像変化領域
として抽出される。その画像変化領域は、複数の移動物
体による移動があった場合は、複数の画像変化領域があ
るので、その画像変化領域同士で、画像上近い位置にあ
るものに対し、ラベリング処理を行う（ステップＳＡ
６）。ラベリングされた画像変化領域は、マスク領域と
して作成され、画像データバッファ３に記憶する（ステ
ップＳＡ７）。この初期マスク領域を作成するまでが、
初期処理である。

【００１２】次に、通常処理として行われる動作を説明
する。まず、画像を撮像し、入力する（ステップＳＡ
８）。それを画像データバッファ３に記憶する（ステッ
プＳＡ９）。今回取り込んだ画像と、１サイクル前に取
り込んだ画像とを差分２値化する（ステップＳＡ１
０）。差分２値化された２つの画像から、変化のあった
画像部分が抽出された画像変化領域を有する差分画像が
作成される。その差分画像と、ステップＳＡ７で作成さ
れたマスク領域とを比較照合する（ステップＳＡ１
１）。マスク領域の１つずつについて、照合を行い、マ
スク領域の周辺に設けられた移動可能範囲内に、差分画
像の画像変化領域が存在していれば、同一物体による移
動があったものとして、その移動物体については、移動
の判断を行う（ステップＳＡ１２）。移動の判断を行っ
た場合は、差分画像のその画像変化領域に対し、ステッ
プＳＡ６と同様のラベリング処理を行い、マスク領域を
作成し、前サイクルにおいて作成したその移動物体に対
応するマスク領域を更新する（ステップＳＡ１３）。ス
テップＳＡ１１において、マスク領域周辺に設けられた
移動可能範囲内に差分画像の画像変化領域が存在しなけ
れば、ステップＳＡ１２においてマスク領域に対応する
移動物体は、静止したものと判断する。その場合、マス
ク領域は更新せず、次回のサイクルでの静止／移動判断
に用いる。全てのマスク領域を判断していなければ（ス
テップＳＡ１４）、次の移動物体の静止／移動判断を行
うために、次のマスク領域を選択する（ステップＳＡ１
５）。ステップＳＡ１４において、全てのマスク領域に
ついて、静止／移動の判断を行っていれば、次サイクル
に移るために、ステップＳＡ８に移行し、次画像を入力
するものである。

【００１３】本実施の形態により、１つの画像において
複数の移動物体が存在する場合でも、移動物体個々につ
いて、静止／移動の判断を行うことができる。

【００１４】以上、本発明の好適な実施の形態を説明し
たが、本発明はこの実施の形態に限らず、種々の形態で
実施することができる。

【００１５】

【発明の効果】上記のように本発明の請求項１及び請求
項２に係る画像処理方法は、複数の移動物体の静止／移
動を判断することができる。

【図面の簡単な説明】

【図１】本発明に係わる画像処理装置の第１の実施の形
態を示す図である

【図２】上記画像処理装置の処理する画像である

【図３】上記画像処理装置の処理する画像である

【図４】上記画像処理方法のフローチャートである

【図５】従来の画像処理方法における同時に移動する移
動物体が１つのみの画像である

【符号の説明】

２画像入力インターフェース３画像データバッファ４画像処理部５ＣＰＵ６記憶部ＭＡ１マスク領域ＭＢ１マスク領域Ｓ１差分画像Ｓ２差分画像Ｓ３差分画像Ａ移動可能範囲Ｂ移動可能範囲

───────────────────────────────────────────────────── フロントページの続き (72)発明者松田啓史大阪府門真市大字門真1048番地松下電工株式会社内 (72)発明者萩尾健一大阪府門真市大字門真1048番地松下電工株式会社内Ｆターム(参考） 5B057 BA02 CA12 CA16 DA06 DB02 DC32 5C054 AA01 CC02 EA01 EA05 FC01 FC13 HA00 5L096 CA02 EA43 GA08 GA10 GA34 HA03

Claims

【特許請求の範囲】

【請求項１】複数の移動物体を撮影した撮像画像から、
前記複数の移動物体の静止もしくは移動を判断できる画
像処理方法であって、第１の時刻で撮影した第１の画像
と、前記第１の時刻以降の第２の時刻で撮影した第２の
画像と、を差分２値化し、画像上変化のあった複数の画
像変化領域間で相互に近接する画像変化領域同士に対
し、それぞれ同一のラベルを付与することで、複数のマ
スク領域を作成する第１のステップと、前記第２の画像
と、前記第２の時刻以降の第３の時刻で撮影した第３の
画像と、を差分２値化し、画像上変化のあった複数の画
像変化領域を有する差分画像を作成する第２のステップ
と、前記マスク領域と、前記差分画像とを比較して、第
１のマスク領域周辺の所定の領域内に、前記差分画像に
おける前記複数の画像変化領域のうちどれも存在しない
場合は、前記第１のマスク領域に対応する移動物体は、
静止したと判断し、前記所定の領域内に、前記差分画像
における前記複数の画像変化領域が存在する場合は、前
記移動物体は、移動したと判断する第３のステップと、
を備え、前記複数のマスク領域全てについて移動物体の
静止もしくは移動の判断をすることを特徴とする画像処
理方法。
【請求項２】前記複数の移動物体の移動速度値が予め判
明しており、前記所定の領域は、前記移動速度値と画像
取得間隔から算出されることを特徴とする請求項１に記
載の画像処理方法。