JP2004157879A - Object detection method - Google Patents

Object detection method Download PDF

Info

Publication number
JP2004157879A
JP2004157879A JP2002324397A JP2002324397A JP2004157879A JP 2004157879 A JP2004157879 A JP 2004157879A JP 2002324397 A JP2002324397 A JP 2002324397A JP 2002324397 A JP2002324397 A JP 2002324397A JP 2004157879 A JP2004157879 A JP 2004157879A
Authority
JP
Japan
Prior art keywords
detection target
target area
image
area
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002324397A
Other languages
Japanese (ja)
Other versions
JP4228657B2 (en
Inventor
Atsuyuki Hirono
淳之 広野
Satoshi Furukawa
聡 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2002324397A priority Critical patent/JP4228657B2/en
Publication of JP2004157879A publication Critical patent/JP2004157879A/en
Application granted granted Critical
Publication of JP4228657B2 publication Critical patent/JP4228657B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detection method for detecting the movement or existence of a retrieval object from the image of a monitor area by simple processing. <P>SOLUTION: An arithmetic processing part 2 carries out the image processing of grey level images successively inputted from a camera 1, and extracts a detection object area where a retrieval object exists. When the detection object area searched this time is included in the previous detection object area, or when the detection object area searched this time is overlapped with the previous detection object area, and the rate of the area to the previous detection object area is smaller than a predetermined threshold, or when any detection object area at least partially overlapped with the previous detection object area does not exist in this time retrieval image, the arithmetic processing part 2 determines that the retrieval object is standing still in the previous detection object area, and when the detection object area searched this time is overlapped with the previous detection object area, and the proportion of the area to the previous detection object area is larger than the predetermined threshold, the arithmetic processing part 2 determines that the retrieval object is moving. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の監視エリアの画像から人や車輌などの探索物体を抽出して、探索物体の動きや存在を自動的に検出する物体検出方法に関するものである。
【０００２】
【従来の技術】
従来、所定の監視エリアの画像から人や車輌などの探索物体を検出するために背景差分方法やフレーム間差分方法などの手法が用いられている。
【０００３】
先ず背景差分方法について図２１（ａ）〜（ｃ）を参照して説明する。この方法では、事前に探索物体が存在していない時の監視エリアＡの画像（図２１（ａ）参照）を撮像し、この画像を背景画像として記憶させる。その後、監視エリアＡの画像を逐次撮像して、背景画像との差分を求め、差分の発生した領域を背景に無い物体の進入してきた部分であると判断している。例えば、監視エリアＡに人Ｈが進入した場合、この時の監視エリアＡの画像（図２１（ｂ）参照）と背景画像との差分をとると、図２１（ｃ）に示すような差分二値画像が得られるので、この画像から人Ｈが進入したことを判別できる（例えば特許文献１参照）。
【０００４】
次に、フレーム間差分方法について図２２（ａ）〜（ｃ）を参照して説明する。この方法では、監視エリアＡの画像を逐次撮像しており、異なる時刻に撮像された２枚の画像の差分をとることによって、探索物体を検出している。図２２（ａ）はある時刻に撮像された監視エリアＡの画像を、図２２（ｂ）はそれ以降の別の時刻に撮像された監視エリアＡの画像をそれぞれ示し、この間に動いた人Ｈの部位が差分画像となって、図２２（ｃ）に示すような差分二値画像が得られるので、この画像から何らかの物体が移動していることを検出できる（例えば特許文献２参照）。
【０００５】
そして、上述の方法を用いて監視エリアＡの画像から探索物体（例えば人）の存在すると思われる検知対象領域を抽出した場合に、図２３（ａ）（ｂ）に示すように、前回抽出した領域Ｓ１の重心位置（Ｘｔ，Ｙｔ）と、今回抽出した領域Ｓ２の重心位置（Ｘｔ＋１，Ｙｔ＋１）との移動量を求め、この移動量と所定の閾値との大小を比較することで、その探索物体が移動している物体であるか、静止している物体であるかを判断する方法が提案されている（例えば特許文献３参照）。また、図２４に示すように前回抽出した領域Ｓ１と今回抽出した領域Ｓ２とが重なっていることから、同一人であると判断して、この人物を追跡する方法も提案されている。
【０００６】
【特許文献１】
特開平１１−４１５８９号公報（段落番号［０００２］［０００３］）
【特許文献２】
特開平６−２０１７１５号公報（第３頁、及び、第４図）
【特許文献３】
特開２００１−８９８１号公報（段落番号［０００９］［００１０］［００２１］）
【０００７】
【発明が解決しようとする課題】
上述した探索物体の追跡方法では、前回抽出した領域の重心位置と今回抽出した領域の重心位置との移動量から、探索物体が移動しているか静止しているかを判断しているのであるが、抽出領域の重心位置を毎回計算しなければならず、計算量が膨大になるという問題があり、探索物体の追跡を簡単な処理で行うことができなかった。
【０００８】
また、今回抽出した人物の存在する領域が前回の領域と重なっていることから、同一人と判断して追跡する方法では、別の手段によって監視エリアＡ内に１人しか存在しないことが予め判明している場合は、人物の存在する領域を抽出した段階で同じ人物の存在する領域であると判断できるから、実質的には追跡処理を行う必要はないが、監視エリアＡ内に複数の人間が存在する場合は、前回抽出した領域と今回抽出した領域とが重なっていたとしても、その重なった領域に同じ人物が存在するとは限らず、ある人物のところへ別の人物が近付いてきたような場面もあり得るので、前回と今回とで領域が重なっているというだけで、重なっている領域に同じ人物が存在すると判断することはできなかった。
【０００９】
また、前回抽出した領域の画像を記憶しておき、前回の抽出領域の近傍に今回の抽出領域が現れた場合、今回の抽出領域と前回の抽出領域とにそれぞれテンプレートマッチングを行って、相関値の高い方に人が存在するという方法もあるが、人が移動するとその向きによって形状が大きく変化するので、相関値の閾値を決定するのが難しく、また前回の抽出領域と今回の抽出領域の両方にテンプレートマッチングを行わねばならないから、計算量が膨大になるという問題があった。さらに、フレーム間差分方式では変化のあった部分しか抽出できないので、探索物体の重心位置を正確に算出できなかった。
【００１０】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、監視エリアの画像から簡単な処理で探索物体の動きや存在を検出できる物体検出方法を提供するにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【００１２】
請求項２の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きければ探索物体が移動していると判断して、今回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【００１３】
請求項３の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする。
【００１４】
請求項４の発明では、請求項１乃至請求項３の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする。ここに、静止物体とは、人などの探索物体で体の一部は微動しているがある領域に留まっている状態の探索物体を言う。また、移動物体とは、人などの探索物体で歩くなどしてエリア内を移動している状態の探索物体を言う。
【００１５】
請求項５の発明では、請求項４の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１６】
請求項６の発明では、請求項４の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【００１７】
請求項７の発明では、請求項４の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする。
【００１８】
請求項８の発明では、請求項４の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とする。
【００１９】
請求項９の発明では、請求項４の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とする。
【００２０】
請求項１０の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする。
【００２１】
【発明の実施の形態】
本発明の物体検出方法を用いる物体検出装置について図面を参照して説明する。
【００２２】
（実施形態１）
図１に本実施形態の物体検出装置のブロック図を示す。この物体検出装置は、人や車輌などの探索物体の他に移動する物体が殆ど存在しないような環境で使用されて、所定の監視エリアの画像から探索物体を検出するものであり、監視エリアの濃淡画像を逐次撮像するカメラ１と、カメラ１の撮像した濃淡画像を画像処理して探索物体（本実施形態では例えば人）を検出する演算処理部２と、画像処理の過程で作成した画像データを一時的に記憶する画像記憶部３とで構成される。
【００２３】
この物体検出装置による物体検出方法を図２乃至図１０を参照して説明する。図２（ａ）は人Ｈが倒れる途中の時刻ｔｎ−３においてカメラ１の撮像した濃淡画像（入力画像）、図２（ｂ）は人Ｈが倒れた（床に横たわった）瞬間の時刻ｔｎ−２における入力画像、図２（ｃ），（ｄ）は人Ｈが倒れたまま静止している状態の時刻ｔｎ−１，ｔｎにおける入力画像をそれぞれ示しており、時刻ｔｎ−２から時刻ｔｎの間では人Ｈは静止している。また、時刻ｔｎ−２において壁に設置された照明器具Ｌが自動点灯し、時刻ｔｎ−２から時刻ｔｎの間では略一定の状態で点灯している。また、図３（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける輪郭画像を、図４（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける静止部位の抽出画像を、図５（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の移動部位の抽出画像を、図６（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索物体の停止部位の抽出画像を、図７（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎにおける探索画像をそれぞれ示している。尚、図２〜図７は模式図であり、物体の輪郭を示す線を同じ太さの線で図示しているが、実際には細い部分や太い部分があるので、処理の過程で消滅する部分や残る部分が発生する。
【００２４】
カメラ１は監視エリアＡの白黒濃淡画像を所定の時間間隔で撮像しており、カメラ１の映像信号はＡ／Ｄ変換部（図示せず）でディジタル信号に変換されて、演算処理部２に逐次入力される。
【００２５】
カメラ１からの映像信号が演算処理部２に入力されると、演算処理部２ではこの映像信号をもとに微分画像を作成し、それを二値化して物体の境界線（エッジ）を検出する。すなわち、画像中の物体に対応する部分では、その特徴、例えば濃度が一様で、異なる物体あるいは物体の部分間では濃度が急激に変化すると考えられるので、濃度の急激に変化する場所を探すことによって、対象物の境界線（エッジ）を検出することができる。また、異なる２つの物体が重なっていると、両者の境界部分では濃度が不連続になり、濃度の変化量（傾き）が大きくなっているので、濃度の傾きが大きい場所を検出することによって、物体の境界線を検出することができる。一般に濃淡の不連続性を検出するには空間微分を行えば良く、ある時刻に撮像された白黒濃淡画像において隣接する画素間の差分を求めることによって、濃度の微分値、すなわち勾配（傾き）を検出することができる。そして、演算処理部２は白黒濃淡画像の画像データから濃度の勾配値を検出すると、検出した勾配値と所定のしきい値との高低を比較して、勾配値がしきい値よりも高ければ輪郭部、しきい値以下であれば平面部と判断する（二値化処理）。
【００２６】
例えば、図２（ａ）〜（ｄ）は時刻ｔｎ−３〜ｔｎの各時刻にカメラ１から入力された白黒濃淡画像（入力画像）を、図３（ａ）〜（ｄ）は各時刻の白黒濃淡画像から求めた輪郭画像をそれぞれ示し、図３（ａ）〜（ｄ）中の実線が二値化処理の結果得られた物体の輪郭を示している。なお、図２及び図３の例では人体Ｈの胴体部分や顔と背景との区別がつきにくいため、図３（ａ）〜（ｄ）の輪郭画像では胴体部分や顔の輪郭を検出することができず、頭部や手足がばらばらに分離したような画像になっている。
【００２７】
次に、演算処理部２は前回の撮像時に作成した輪郭画像（第１の微分画像）と今回作成した輪郭画像（第２の微分画像）との論理積を求めることによって、第１の微分画像と第２の微分画像との間で差分が存在しない部分（すなわち変化していない部分）を抽出し、前回の撮像時点から今回の撮像時点までの間、静止していた物体（静止部位）の画像を作成する（図４（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では演算処理部２が、時刻ｔｎ−２における輪郭画像（図３（ｂ）参照）と時刻ｔｎ−１における輪郭画像（図３（ｃ）参照）との論理積を求めることにより、この間に移動していない静止部位の画像（図４（ｃ）参照）を抽出している。
【００２８】
また、演算処理部２は今回作成した輪郭画像（第２の微分画像）と、今回抽出した静止部位の画像との差分を求めることによって、２つの画像の間で差分が存在した部分（すなわち移動した部分）を抽出し、前回の撮像時点から今回の撮像時点までの間に移動した探索物体の移動部位の画像を作成する（図５（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−２では演算処理部２が、この時点での輪郭画像（図３（ｂ）参照）と静止部位の画像（図４（ｂ）参照）との差分を取ることによって、移動部位の画像（図５（ｂ）参照）を抽出している。時刻ｔｎ−２では人Ｈの頭及び手の一部と左足とが静止し、照明器具Ｌが消灯状態から点灯状態に切り替わっているので、頭及び手の移動している部分と右足の部分が残り、且つ、照明器具Ｌの照明範囲を示す線が残ったような画像となる。
【００２９】
また更に、演算処理部２は前回抽出した静止部位の画像と今回抽出した静止部位の画像との差分を求めることで、前回抽出した静止部位の画像には存在せず、今回抽出した静止部位の画像のみに存在する部分を抽出し、今回抽出した静止部位の画像から探索物体の停止部位のみの画像を抽出する（図６（ａ）〜（ｄ）参照）。例えば時刻ｔｎ−１では、演算処理部２が時刻ｔｎ−１で抽出した静止部位の画像（図４（ｃ）参照）と、時刻ｔｎ−２で抽出した静止部位の画像（図４（ｂ）参照）との差分を求めることによって、探索物体の停止部位のみの画像（図６（ｃ）参照）を抽出している。
【００３０】
尚、探索物体の停止部位を抽出する際に、演算処理部２が、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにしても良い。例えば時刻ｔｎでは時刻ｔｎ−１で停止していた停止部位が停止し続けているため、この停止部位は今回抽出した停止部位及び移動部位の画像の何れにも現れず、その結果探索画像（図７（ｄ）参照）には何も現れなくなるが、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにすれば、探索物体（人Ｈ）の形状を正確に検出することができる。
【００３１】
その後、演算処理部２は、上述の処理で抽出した移動部位の画像と停止部位の画像との論理和を求め、さらにノイズ成分を除去することによって、探索物体（例えば人体）の画像を抽出した探索画像を作成する（図７（ａ）〜（ｄ）参照）。このように本実施形態の画像処理装置では、探索物体（人Ｈ）の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、またフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行える。さらに、背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００３２】
次に、上述の処理で求めた探索画像をもとに探索物体の有無やその位置を検出する方法について以下に説明する。
【００３３】
先ず、演算処理部２は、上述の処理で作成した探索画像から探索物体が存在すると思われる検知対象領域を抽出する。図８（ａ）は探索画像の一例を示しており、この図に示されるように探索画像では探索物体（人Ｈ）の境界線Ｅが細切れに分割され、しかも境界線の一部が抜け落ちているので、どの部分に探索物体である人Ｈが存在するのか分からなくなっている。そこで、演算処理部２では探索画像に膨張処理を施して、細切れに分割された境界線Ｅを膨張させることで、図８（ｂ）に示すようなブロックＢを形成しており、この画像中のブロックＢに外接する外接長方形を求める。また、１つ１つのブロックＢを含む外接長方形がある程度近接している場合には、これら複数の外接長方形を１つに纏めており、このようにして求めた外接長方形の領域を検知対象領域Ｃ１〜Ｃ３としている。なお、検知対象領域Ｃ１〜Ｃ３を決定する場合にはある程度の余裕を見込むためにブロックＢに外接する外接長方形よりも大きめの領域を設定している。例えば図８（ａ）に示す探索画像では人体の境界線の一部しか現れておらず、頭部及び脚部の境界線Ｅが細切れになっているが、膨張処理を行うことで細切れになった境界線Ｅを一体化して、人体の境界線を復元することができる。また細切れになった人体の境界線Ｅを膨張させて複数のブロックＢを形成した場合、これらのブロックＢをそれぞれ含む複数の外接長方形は互いに近接しているので、人体を含む検知対象領域Ｃ１は最終的に１つの領域に纏められる。尚、図８の例では検知対象領域Ｃ１…を矩形状としているが、検知対象領域Ｃ１…の形状を矩形状に限定する趣旨のものではなく、図７に示すように探索物体を曲線で囲んだような領域としても良い。
【００３４】
ところで、探索物体の停止時間が長くなって静止状態になると、移動部位の画像と停止部位の画像との論理和の画像（探索画像）に探索物体が現れなくなる。また、監視エリア内に進入した人体が、手だけを動かしているような微動状態に移行すると、最初は全身が探索画像に現れていたのに、微動状態に移行するにしたがって探索画像に現れる検知対象領域の面積が小さくなってしまう。逆に、探索物体が移動していると探索画像中に検知対象領域が大きく現れることになるので、このような現象を利用して探索対象の挙動を判断することができる。
【００３５】
すなわち、演算処理部２では、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば、この検知対象領域の探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とし、この検知対象領域で後述のテンプレートマッチングを行う。一方、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きい場合、演算処理部２はこの検知対象領域の探索物体が移動していると判断し、今回求めた検知対象領域でテンプレートマッチングを行う。尚、本実施形態の物体検出装置は探索物体以外に移動する物体が殆ど存在しないような環境で使用されるものであり、前回抽出した検知対象領域と今回抽出した検知対象領域とが重なっている場合は同じ探索物体であると判断している。
【００３６】
例えば、図１１（ａ）は探索画像中の検知対象領域を示しており、この例では今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０に含まれているので、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１１（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図１２（ａ）に示すように、今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とが重なり且つ前回の検知対象領域Ｎ０の面積に対する今回の検知対象領域Ｎ１の面積の比率が所定の閾値よりも小さい場合は、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたか、移動を始めたがその移動量が小さいものと判断して、前回の検知対象領域Ｎ０を探索物体の存在する領域Ｎ１’とし（図１２（ｂ）参照）、この検知対象領域Ｎ１’内でテンプレートマッチングを行う。また、図示は省略するが今回求めた検知対象領域Ｎ１と前回の検知対象領域Ｎ０とで重なり合う部分が全く存在しない場合は、探索物体が全くの静止状態となって、探索画像中に探索物体が現れなくなったものと判断し、前回の検知対象領域Ｎ０を探索物体の存在する領域として、この領域内でテンプレートマッチングを行う。
【００３７】
一方、図１３（ａ）に示すように、今回求めた検知対象領域Ｎ１が前回の検知対象領域Ｎ０と重なり、且つ、前回の検知対象領域Ｎ０に対する面積の比率が所定の閾値よりも大きい場合、演算処理部２は、立ち止まるか又は着席するなどして静止していた人物が移動を始めたと判断し、今回求めた検知対象領域Ｎ１に探索物体が存在すると判断して（図１３（ｂ）参照）、この検知対象領域Ｎ１でテンプレートマッチングを行う。
【００３８】
このように、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行ったり、重心移動計算を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。尚、探索物体の挙動を判断するために重心移動計算を行う場合には、濃淡画像から作成した輪郭画像をもとに物体の重心位置を算出した後に、重心位置の移動量を計算するのであるが、輪郭画像を作成する段階で輪郭の一部が消滅することもあるため、重心位置を正確に算出することができず、また輪郭の消滅した部分を補間するなどして重心位置を算出するために、算出処理の手間がかかるが、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、簡単な処理で探索物体の挙動を判断できる。
【００３９】
また、探索画像中の検知対象領域は移動部位と停止部位との論理和で構成されているので、演算処理部２が、検知対象領域に含まれる移動部位の画素数と停止部位の画素数とを比較し、移動部位の画素数の方が多ければ探索物体が移動し、停止部位の画素数の方が多ければ探索物体が静止していると判断するようにしても良く、物体の輪郭から判断しているので、従来のようにフレーム間差分方法或いは背景差分方法により抽出した領域の重心位置の移動距離から判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。
【００４０】
例えば時刻ｔｎ−３では図７（ａ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数の方が停止部位の画素数よりも多いので、演算処理部２は探索対象が移動していると判断する。また、時刻ｔｎ−１では図７（ｃ）に示す探索画像中の検知対象領域Ｃ１に含まれる移動部位の画素数が停止部位の画素数よりも少ないので、演算処理部２は探索物体が静止していると判断する。
【００４１】
上述のようにして演算処理部２は探索画像から探索物体の存在すると思われる検知対象領域を求めており、求められた検知対象領域の画像と探索物体のテンプレート画像とのマッチング処理を行って、両者の相関値を求めている。例えば時刻ｔｎ−２では、演算処理部２がこの時刻における探索画像（図７（ｂ）参照）の検知対象領域Ｃ１１，Ｃ１２に所定のテンプレート画像を重ね合わせ、テンプレート画像の位置を１画素ずつずらしながら、相関値を検出する。そして、この検知対象領域内で最も高い相関値が予め設定された閾値を超えていれば、人が存在しているものと判断し、この相関値に対応する検知対象領域を人が存在する位置に設定している。尚、マッチング処理を行う際には、検知対象領域の範囲で輪郭画像とテンプレート画像とのマッチング処理を行っても良いし、移動画像と停止画像との論理和の画像とテンプレート画像とのマッチング処理を行うようにしても良い。
【００４２】
ここで、探索物体が人の場合には、人型のテンプレート画像を用いてマッチングを行うことで、人間以外を抽出することがなくなり、正しく人間を抽出できる。また、監視エリアが図１０に示すような通路の場合には、そこで人が寝ていることを考慮する必要がなく、したがって歩行中の人間の形をシンボル化したテンプレート画像Ｔａ（図９参照）を用いて検知対象領域内を探索し、検知対象領域内の画像との相関値を求めることで、人間以外のものを抽出するのを防止できる。また、道路を監視エリアとして車輌を検出する場合には、道路とカメラとの位置関係を一旦決めれば、カメラに映る車輌の形状は略同じ形状となるので、走行中の車輌の代表的な形状をしたテンプレート画像を用いることで、車輌以外のものを検出するのを防止できる。
【００４３】
尚、一般住宅を監視エリアとして人を検出する場合には、人の姿勢（立っている場合、座っている場合、寝ている場合）が大きく変化するため、次回のマッチング処理で使用するテンプレート画像を、毎回の画像をもとに作成するのが望ましいが、本実施形態のように探索物体である人体や車輌の形状が殆ど変化しない場合には固定のテンプレート画像を用いてマッチング処理を行うことができ、テンプレート画像を更新する手間が省け、また使用するテンプレート画像の数が少なくて済むので、テンプレート画像を記憶させるメモリに記憶容量の小さいものを使用できる。
【００４４】
尚、輪郭画像から探索物体の存在すると思われる検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用い、輪郭画像から動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体が移動しているか、静止しているかを判定するようにしても良いし、濃淡画像から探索物体の存在すると思われる検知対象領域を抽出するようにしても良い。
【００４５】
（実施形態２）
本発明の実施形態２を図１４乃至図２０を参照して説明する。尚、物体検出装置の基本的な構成及びその動作は実施形態１と同様であるので、同一の構成要素には同一の符号を付して、その説明は省略する。
【００４６】
本実施形態の物体検出装置は、実施形態１で説明した物体検出方法により抽出した前回の検出対象領域と今回の検知対象領域とをもとに、探索物体が移動しているか静止しているかを判断している。尚、今回の検知対象領域は、監視エリアの画像（濃淡画像或いは輪郭画像）から動きのある部分を抽出したものである。
【００４７】
すなわち、前回の検知対象領域と今回の検知対象領域とが重なっている場合、演算処理部２は、重なっている２つの領域が同一の探索物体を表していると判断して、この物体を追跡しており、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更している。尚、検知対象領域の探索物体が移動物体であるか、静止物体であるかの判定は実施形態１で説明した方法により行う。
【００４８】
例えば、図１４（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合は、歩行中の１乃至複数の人物が移動している、又は、着席している人物が体を大きく動かしているといった場面が想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１４（ｂ）参照）。
【００４９】
また、図１５（ａ）に示すように前回抽出時に移動物体であると判断された検知対象領域Ｕ１が、今回抽出した２つの検知対象領域Ｕ２，Ｕ３の一部にそれぞれ重なっている場合は、歩行中の複数の人物が２つのグループに分かれて別々の方向に移動しているといった場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２，Ｕ３に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２，Ｕ３に移動したものと判断する（図１５（ｂ）参照）。
【００５０】
また、図１６（ａ）に示すように、前回撮像時に静止物体であると判断された検知対象領域Ｕ１と今回抽出した検知対象領域Ｕ２の一部が重なっている場合、静止していた人物が動き始めた、又は、立ち止まっているか或いは着席中の人物が手、足、上半身を大きく動かしたという場面を想定でき、演算処理部２は、探索物体が検知対象領域Ｕ２に移動したものと判断して、探索物体を追跡する。つまり、演算処理部２は、探索物体の存在する領域が検知対象領域Ｕ１から検知対象領域Ｕ２に移動したものと判断する（図１６（ｂ）参照）。
【００５１】
また、図１７（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部と移動物体であると判断された別の検知対象領域Ｕ２の一部とに、今回抽出した検知対象領域Ｕ３が重なっている場合、立ち止まっているか又は着席中の人物に別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１に探索物体が静止し続けるとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、追跡を行う。つまり、演算処理部２は、探索物体が前回求めた検知対象領域Ｕ１と今回求めた検知対象領域Ｕ３とにそれぞれ存在するものと判断する（図１７（ｂ）参照）。
【００５２】
また、図１８（ａ）に示すように前回撮像時に静止物体であると判断された検知対象領域Ｕ１の一部、及び、前回撮像時に静止物体であると判断された別の検知対象領域Ｕ２の一部に今回抽出した検知対象領域Ｕ３が重なっている場合、静止していた複数の人物の何れかが動き始めた、又は、立ち止まっているか或いは着席中の複数の人物の何れかが手、足、上半身を大きく動かしたというような場面を想定でき、演算処理部２は、前回の２つの検知対象領域Ｕ１，Ｕ２に探索物体が存在するものと判断して、追跡を行う（図１８（ｂ）参照）。
【００５３】
また、図１９（ａ）に示すように前回抽出時に静止物体であると判断された検知対象領域Ｕ１（第１の検知対象領域）の一部と移動物体であると判断された別の検知対象領域Ｕ２（第２の検知対象領域）の一部とに、今回抽出した検知対象領域Ｕ３（第３の検知対象領域）が重なっており、さらに検知対象領域Ｕ１の一部に今回抽出した別の検知対象領域Ｕ４（第４の検知対象領域）が重なっている場合、立ち止まっているか又は着席中の人物が動き始めるとともに、別の人物が近寄ってきたような場面を想定でき、演算処理部２は、検知対象領域Ｕ１にいた探索物体が検知対象領域Ｕ４に移動するとともに、検知対象領域Ｕ２にいた探索物体が検知対象領域Ｕ３に移動したものと判断して、それぞれ追跡する。つまり、演算処理部２は、探索物体が検知対象領域Ｕ３，Ｕ４に存在するものと判断する（図１９（ｂ）参照）。
【００５４】
このように演算処理部２は、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更しており、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体である人間の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、また従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００５５】
また演算処理部２では、ある時点で抽出された第１の検知対象領域の探索物体を静止物体であると判断した場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って相関値を求め、この相関値が所定の閾値よりも高ければ前回静止物体と判断した探索物体は第１の検知対象領域に留まっていると判断し、相関値が所定の閾値よりも低ければ前回静止物体と判断した探索物体が第２の検知対象領域の物体とともに第１の検知対象領域の外側へ移動するか、或いは第２の検知対象領域の物体とは別の方向へ移動して、第１の検知対象領域の外側へ移動したと判断している。
【００５６】
例えば、図２０（ａ）〜（ｃ）に示すように時刻ｔｎ−２と時刻ｔｎ−１と時刻ｔｎとにおける検知対象領域が変化した場合、時刻ｔｎ−２では静止物体であると判断した検知対象領域Ｍ１（第１の検知対象領域）と移動物体であると判断した検知対象領域Ｍ２（第２の検知対象領域）とが重なっていないので、演算処理部２は検知対象領域Ｍ１の画像を画像記憶部３に記憶させて、順次更新している。次に、時刻ｔｎ−１では移動物体であると判断した検知対象領域Ｍ２’が移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１’と一部分が重なっているので、演算処理部２は静止物体の画像の記憶更新を止めて、直前（時刻ｔｎ−２）の静止物体の画像を保持する。その後の時刻ｔｎでは移動物体であると判断した検知対象領域Ｍ２″がさらに移動し（時刻ｔｎ−２における位置を点線で示す）、静止物体であると判断した検知対象領域Ｍ１との重なりが無くなるので、演算処理部２は、この時点における静止物体の検知対象領域Ｍ１″の画像と、画像記憶部３に記憶された時刻ｔｎ−２における静止物体の検知対象領域Ｍ１の画像とのパターンマッチングを行って、両者の相関値を計算して、所定の設定値との高低を比較する。そして、演算処理部２では、相関値が所定の設定値よりも高ければ、静止物体が検知対象領域Ｍ１″に留まっていると判断し、相関値が設定値よりも低ければ、前回静止物体と判断した探索物体が検知対象領域Ｍ１″の外側に移動していったと判断する。例えば、他に検知対象領域が無ければ、検知対象領域Ｍ１″を通り過ぎていった移動物体とともに前回静止物体と判断した探索物体が移動していったと判断し、新たに検知対象領域が現れれば、その検知対象領域に前回静止物体と判断した探索物体が移動していったと判断する。尚、図２０（ｃ）の場合は検知対象領域に物体が静止しているので、相関値が高くなっている。
【００５７】
ここで、監視エリアを撮像するカメラ１の配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、検知対象領域の外側へ移動したかを確実に判定できる。
【００５８】
尚、本実施形態では実施形態１で説明した方法により監視エリアの画像から探索物体の存在する検知対象領域を抽出しているが、検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用いて監視エリアの画像から探索物体の存在する検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体の位置や挙動を判定するようにしても良い。
【００５９】
（実施形態３）
本発明の実施形態３について説明する。尚、物体検出装置の構成及び動作は実施形態１と同様であるので、図示及び説明は省略する。
【００６０】
この物体検出装置を一般住宅で使用する場合には、カメラ１の撮像する監視エリア内に人間以外にも犬猫などの小動物が存在する可能性があり、また窓を開けていると風が吹き込んできてカーテンが揺れたり、雲の動きによる日照の変化などで、探索物体である人間以外にも移動する物体が撮像される可能性がある。それに対して、本実施形態は例えばオフィスなどで人を検出するために用いられるものであり、オフィス内を人間以外の犬猫のような小動物が動き回ることは殆どないので、人間以外で自然に動く物体（可動物）は殆ど無いと考えて良く、机上のＯＡ機器のモニタ画面のちらつきや照明器具の点灯／消灯などを考慮するだけで良い。
【００６１】
照明器具の点灯／消灯の変化は、消灯状態から点灯状態に切り替わった瞬間だけ移動画像に現れ、連続して移動画像に現れることはなく、例えば図２（ａ）〜（ｄ）に示すように時刻ｔｎ−２において照明器具Ｌが自動点灯し、点灯後一定の状態で点灯している場合、図４及び図５に示すように、時刻ｔｎ−２では照明器具Ｌの照明範囲を示す線が移動画像に現れるが（図５（ｂ）参照）、時刻ｔｎ−１では照明器具Ｌの照明範囲を示す線が停止画像に現れ、移動画像には現れていない（図４（ｃ）及び図５（ｃ）参照）。したがって、照明器具Ｌの光に相当する検知対象領域は、点灯した時のみ移動画像に現れ、その後の撮像時には停止画像に１回だけ現れることになる。
【００６２】
一方、オフィス内にいる人物は動き続けているので、移動画像に現れ続けるとともに、例え一時的に静止したとしても過去に移動していたという履歴を辿ることで、人や車輌などの可動物体と照明のオン／オフとを簡単に区別することができる。
【００６３】
尚、室内で用いる場合は人間以外の小動物が動き回ることは殆どないので、テンプレートマッチングが不要になる。
【００６４】
而して、探索画像中の検出対象領域が連続して所定回数移動した場合は、演算処理部２が、この検出対象領域に人や車輌のような可動物の探索物体が存在するものと判断するようにすれば、一定期間以上連続して移動することから可動物と照明器具Ｌの点灯／消灯とを簡単に判別できる。
【００６５】
【発明の効果】
上述のように、請求項１の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域を判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の存在する領域を検出できるという効果がある。
【００６６】
請求項２の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きければ探索物体が移動していると判断して、今回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域と面積の比率から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。
【００６７】
請求項３の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とし、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。そのうえ、探索物体の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、且つフレーム間差分方法のように探索物体の画像が２重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行え、さらに背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【００６８】
請求項４の発明は、請求項１乃至請求項３の何れか１つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とし、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、且つ、従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【００６９】
請求項５の発明は、請求項４の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項４の発明と同様の効果がある。
【００７０】
請求項６の発明は、請求項４の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項４の発明と同様の効果がある。
【００７１】
請求項７の発明は、請求項４の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とし、請求項４の発明と同様の効果がある。
【００７２】
請求項８の発明は、請求項４の発明において、前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とし、請求項４の発明と同様の効果がある。
【００７３】
請求項９の発明は、請求項４の発明において、ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とし、監視エリアを撮像するカメラの配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第１の検知対象領域に第２の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第１の検知対象領域の画像を保持しておき、第１の検知対象領域と第２の検知対象領域との重なりがなくなった時点で（静止物体が移動物体の影から再び現れた時点で）、この時の第１の検知対象領域の画像と、第２の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、移動していったかを確実に判定できる。
【００７４】
請求項１０の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とし、例えば監視エリア内にいる人や車輌などの可動物が動き続けている場合、可動物よりなる探索物体は移動部位の画像に連続して現れることになるので、移動部位の画像と停止部位の画像との論理和の画像も連続して現れることになる。したがって、移動部位の画像と停止部位の画像との論理和の画像から作成した検知対象領域が所定回数移動することから、この検知対象領域が可動物の存在する領域であると判断することができ、簡単な処理で可動物の存在する領域を検出することができる。
【図面の簡単な説明】
【図１】実施形態１の画像処理方法を用いる画像処理装置の概略構成図である。
【図２】（ａ）〜（ｄ）は各時刻における入力画像の説明図である。
【図３】（ａ）〜（ｄ）は各時刻における輪郭画像の説明図である。
【図４】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図５】（ａ）〜（ｄ）は各時刻における移動物体の抽出画像の説明図である。
【図６】（ａ）〜（ｄ）は各時刻における静止物体の抽出画像の説明図である。
【図７】（ａ）〜（ｄ）は各時刻における探索画像の説明図である。
【図８】（ａ）（ｂ）は検知対象領域を作成する手順を説明する説明図である。
【図９】同上のテンプレート画像の説明図である。
【図１０】同上の監視エリアの説明図である。
【図１１】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１２】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１３】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１４】（ａ）（ｂ）は実施形態２の物体検出装置の動作を説明する説明図である。
【図１５】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１６】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１７】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１８】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図１９】（ａ）（ｂ）は同上の動作を説明する説明図である。
【図２０】（ａ）〜（ｃ）は同上の動作を説明する説明図である。
【図２１】（ａ）〜（ｃ）は背景差分方法を用いた画像処理方法の説明図である。
【図２２】（ａ）〜（ｃ）はフレーム間差分方法を用いた画像処理方法の説明図である。
【図２３】（ａ）（ｂ）は従来の探索物体が移動しているか静止しているかを判断する判断方法の説明図である。
【図２４】従来の探索物体の追跡方法を説明する説明図である。
【符号の説明】
１ カメラ
２ 演算処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object detection method for extracting a search object such as a person or a vehicle from an image of a predetermined monitoring area and automatically detecting the movement or presence of the search object.
[0002]
[Prior art]
Conventionally, techniques such as a background subtraction method and an inter-frame difference method have been used to detect a search object such as a person or a vehicle from an image of a predetermined monitoring area.
[0003]
First, the background subtraction method will be described with reference to FIGS. In this method, an image of the monitoring area A when there is no search object (see FIG. 21A) is captured in advance, and this image is stored as a background image. Thereafter, the image of the monitoring area A is sequentially captured, a difference from the background image is obtained, and it is determined that the area where the difference has occurred is a portion where an object not in the background has entered. For example, when a person H enters the monitoring area A, when a difference between the image of the monitoring area A (see FIG. 21B) and the background image at this time is calculated, a difference 2 shown in FIG. Since a value image is obtained, it can be determined from this image that the person H has entered (for example, see Patent Document 1).
[0004]
Next, the inter-frame difference method will be described with reference to FIGS. In this method, images of the monitoring area A are sequentially captured, and a search object is detected by calculating a difference between two images captured at different times. FIG. 22A shows an image of the monitoring area A taken at a certain time, and FIG. 22B shows an image of the monitoring area A taken at another time thereafter. Is a difference image, and a difference binary image as shown in FIG. 22C is obtained, so that it can be detected from this image that any object is moving (for example, see Patent Document 2).
[0005]
Then, when the detection target area where the search object (for example, a person) is considered to be present is extracted from the image of the monitoring area A by using the above-described method, as shown in FIGS. The position of the center of gravity (X t , Y t ) And the position of the center of gravity (X t + 1 , Y t + 1 ) Is determined, and by comparing the amount of movement with a predetermined threshold, it is possible to determine whether the searched object is a moving object or a stationary object. It has been proposed (for example, see Patent Document 3). Further, as shown in FIG. 24, since the previously extracted area S1 and the currently extracted area S2 overlap, a method has been proposed in which it is determined that they are the same person and this person is tracked.
[0006]
[Patent Document 1]
JP-A-11-41589 (paragraph numbers [0002] [0003])
[Patent Document 2]
JP-A-6-201715 (page 3 and FIG. 4)
[Patent Document 3]
JP 2001-8981 A (paragraph numbers [0009] [0010] [0021])
[0007]
[Problems to be solved by the invention]
In the search object tracking method described above, it is determined whether the search object is moving or stationary based on the amount of movement between the center of gravity of the previously extracted area and the center of gravity of the currently extracted area. Since the position of the center of gravity of the extraction area must be calculated every time, there is a problem that the amount of calculation is enormous, and the tracking of the search object cannot be performed by simple processing.
[0008]
Further, since the area where the extracted person is present overlaps with the previous area, it is previously determined that only one person exists in the monitoring area A by another means in the method of determining and tracking the same person. If it is determined that the area where the person exists is extracted, it can be determined that the area is where the same person exists. Therefore, it is not necessary to substantially perform the tracking process. Exists, even if the area extracted last time and the area extracted this time overlap, the same person does not necessarily exist in the overlapped area, and it seems that another person approaches one person It is not possible to judge that the same person exists in the overlapping area just because the areas overlap in the previous time and this time because there may be some scenes.
[0009]
In addition, the image of the previously extracted area is stored, and when the current extracted area appears near the previous extracted area, template matching is performed on the current extracted area and the previous extracted area, respectively, and the correlation value is calculated. There is also a method in which a person exists on the higher side, but when the person moves, the shape changes greatly depending on the direction, so it is difficult to determine the threshold value of the correlation value, and the difference between the previous extraction area and the current extraction area Since both must perform template matching, there has been a problem that the amount of calculation becomes enormous. Further, since only the changed portion can be extracted by the inter-frame difference method, the position of the center of gravity of the search object cannot be calculated accurately.
[0010]
The present invention has been made in view of the above problems, and an object of the present invention is to provide an object detection method capable of detecting the movement and presence of a search object from a monitor area image by simple processing.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, the method comprising: Generating a detection target area where a search object is considered to be present by extracting a moving area from either the grayscale image or a contour image indicating the contour of the object generated from the grayscale image; When the target area is included in the previous detection target area, or when the detection target area obtained this time and the previous detection target area overlap and the ratio of the area of the current detection target area to the area of the previous detection target area is predetermined. Is smaller than the threshold value, or if there is no overlapping portion between the detection target area obtained this time and the previous detection target area at all, the search object is stopped. It is determined that that characterized the steps of the area where the search object of the previous detection subject region is present, in that it consists of.
[0012]
According to the second aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein the step of sequentially capturing a grayscale image of the monitoring area includes the steps of: Creating a detection target area where a search object is considered to exist by extracting a moving area from any of the contour images showing the contour of the created object, and a detection target area obtained this time and a previous detection target area And if the ratio of the area of the current detection target area to the area of the previous detection target area is larger than a predetermined threshold value, it is determined that the search object is moving, and the search object is determined to be the current detection target area. And setting the area as an existing area.
[0013]
According to the third aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a grayscale image of the monitoring area, And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Extracting a region that does not exist in the created static part image but exists in the static part image created this time, thereby creating an image of the stop part of the search object that is stopped during this time; Creating a detection target area where the search object is present by performing an expansion process on the image of the logical sum of the image of the moving part and the image of the stop part, and the number of pixels of the moving part included in the detection target area Determining whether the search object in the detection target area is moving or stationary by comparing the number of pixels with the number of pixels of the stop part.
[0014]
According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, if the previously determined detection target area and the currently determined detection target area overlap, it is determined that they are the same search object. In addition, the determination condition for obtaining the current position of the search object from the previous and current detection target areas is changed according to whether the search object in the detection target area obtained last time is determined to be a moving object or a stationary object. It is characterized by doing. Here, the stationary object refers to a search object such as a person, which is a search object in which a part of the body is slightly moving and stays in a certain area. The moving object refers to a search object that is moving in an area by walking with a search object such as a person.
[0015]
According to a fifth aspect of the present invention, in the fourth aspect of the present invention, if the previous detection target area overlaps with the current detection target area and the current detection target area does not overlap with another previous detection target area, It is determined that the search object in the previous detection target area overlapping the detection target area has moved to the current detection target area and is tracked.
[0016]
In the invention of claim 6, in the invention of claim 4, when the search object in the previously detected detection target area is determined to be a stationary object, the previous detection target area overlaps with the current detection target area, and If the detection target area overlaps with another detection target area that was previously determined to be a moving object, it is determined that the search object in another detection target area obtained last time has moved to the current detection target area and tracking is performed. It is characterized by.
[0017]
In the invention of claim 7, in the invention of claim 4, when the search object of the previously detected detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other, and If the detection target area of the above overlaps with another detection target area previously determined to be a stationary object, it is determined that the search object remains in each of the two detection target areas obtained last time, and is tracked. .
[0018]
According to an eighth aspect of the present invention, in the fourth aspect of the present invention, the present extraction includes the first detection target area determined to be a stationary object and the second detection target area determined to be a moving object during the previous extraction. If the detected third detection target area overlaps and the first detection target area overlaps the fourth detection target area extracted this time, the search object in the first detection target area is determined as the fourth detection target. In addition to moving to the area, it is determined that the search object located in the second detection target area has moved to the third detection target area and is tracked.
[0019]
According to the ninth aspect of the present invention, in the fourth aspect of the present invention, when it is determined that the search object in the first detection target area extracted at a certain point in time is a stationary object, the first detection target area is thereafter added to the first detection target area. When the second detection target area extracted in the above is overlapped, the image of the first detection target area immediately before the second detection target area overlaps is held, and the overlap with the second detection target area is eliminated. At this time, a matching process is performed between the image of the first detection target region at this time and the image of the first detection target region immediately before the second detection target region overlaps to obtain a correlation value between the two. If the correlation value is higher than a predetermined threshold value, it is determined that the stationary object remains in the first detection target area. If the correlation value is lower than the threshold value, the stationary object has moved outside the first detection target area. Is determined.
[0020]
According to a tenth aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a grayscale image of the monitoring area, And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Creating an image of a stopped part of the search object stopped during this time by extracting a region that is not present in the created still part image but present in the created still part image. Creating a detection target area in which a search object seems to be present by performing an expansion process on an image of the logical sum of the image of the moving part and the image of the stop part, and the created detection target area is continuously And a step of setting the detection target area as an area where a search object made of a movable object such as a person or a vehicle exists when the object has moved a predetermined number of times or more.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
An object detection device using the object detection method of the present invention will be described with reference to the drawings.
[0022]
(Embodiment 1)
FIG. 1 shows a block diagram of the object detection device of the present embodiment. This object detection device is used in an environment where almost no moving object exists other than a search object such as a person or a vehicle, and detects a search object from an image of a predetermined monitoring area. A camera 1 that sequentially captures a grayscale image, an arithmetic processing unit 2 that performs image processing on the grayscale image captured by the camera 1 to detect a search object (for example, a person in this embodiment), and image data created in the process of the image processing And an image storage unit 3 for temporarily storing
[0023]
An object detection method by the object detection device will be described with reference to FIGS. FIG. 2A shows the time t when the person H is falling down. n-3 In FIG. 2, a grayscale image (input image) captured by the camera 1, and FIG. 2B shows a time t at the moment when the person H falls down (lays down on the floor). n-2 2 (c) and 2 (d) show the time t when the person H is standing still while falling down. n-1 , T n At the time t n-2 To time t n The person H is at a standstill. Time t n-2 The lighting fixture L installed on the wall automatically turns on at time t. n-2 To time t n It is lit in a substantially constant state in between. FIGS. 3A to 3D show time t. n-3 ~ T n 4A to 4D show the outline image at time t. n-3 ~ T n 5 (a) to 5 (d) show the extracted image of the stationary part at time t. n-3 ~ T n 6A to 6D show extracted images of the moving part of the search object at time t. n-3 ~ T n 7 (a) to 7 (d) show the extracted image of the stop portion of the search object at time t. n-3 ~ T n Respectively show the search images. 2 to 7 are schematic diagrams, and the lines indicating the outline of the object are shown by lines of the same thickness. However, since there are actually thin portions and thick portions, they disappear in the process of processing. Parts and remaining parts occur.
[0024]
The camera 1 captures black-and-white grayscale images of the monitoring area A at predetermined time intervals, and the video signal of the camera 1 is converted into a digital signal by an A / D converter (not shown). Entered sequentially.
[0025]
When a video signal from the camera 1 is input to the arithmetic processing unit 2, the arithmetic processing unit 2 creates a differential image based on the video signal, binarizes it, and detects a boundary line (edge) of the object. I do. That is, in the part corresponding to the object in the image, its characteristics, for example, the density is uniform, and it is considered that the density changes rapidly between different objects or parts of the object. Thus, the boundary (edge) of the object can be detected. When two different objects overlap, the density is discontinuous at the boundary between the two objects, and the amount of change (gradient) in the density is large. Therefore, by detecting a place where the gradient of the density is large, Object boundaries can be detected. In general, to detect the discontinuity of density, spatial differentiation may be performed, and the differential value of density, that is, the gradient (slope) is obtained by calculating the difference between adjacent pixels in a monochrome grayscale image captured at a certain time. Can be detected. When the arithmetic processing unit 2 detects the density gradient value from the image data of the black-and-white grayscale image, it compares the detected gradient value with a predetermined threshold value, and if the gradient value is higher than the threshold value. If it is equal to or less than the contour portion and the threshold value, it is determined to be a flat portion (binarization process).
[0026]
For example, FIG. 2A to FIG. n-3 ~ T n 3 (a) to 3 (d) show contour images obtained from the monochrome grayscale images at each time, and FIGS. 3 (a) to 3 (d) show contour images obtained from the monochrome grayscale images at each time. The solid line in (d) shows the contour of the object obtained as a result of the binarization processing. In the examples of FIGS. 2 and 3, it is difficult to distinguish the torso portion or the face of the human body H from the background, so that the torso portion or the face contour is detected in the contour images of FIGS. The image is as if the head and limbs were separated apart.
[0027]
Next, the arithmetic processing unit 2 obtains a logical product of the contour image (first differential image) created at the time of the previous imaging and the contour image (second differential image) created this time, thereby obtaining the first differential image. A portion where there is no difference between the second differential image and the second differential image (that is, a portion that has not changed) is extracted, and a portion of the object (stationary part) that has been stationary from the previous imaging time to the current imaging time is extracted. An image is created (see FIGS. 4A to 4D). For example, time t n-1 Then, the arithmetic processing unit 2 sets the time t n-2 (See FIG. 3 (b)) and time t n-1 By calculating the logical product with the contour image (see FIG. 3 (c)), the image of the stationary part (see FIG. 4 (c)) that has not moved during this period is extracted.
[0028]
In addition, the arithmetic processing unit 2 obtains a difference between the contour image (second differential image) created this time and the image of the still part extracted this time, thereby obtaining a portion where the difference exists between the two images (that is, the moving image). Is extracted, and an image of the moving part of the search object moved between the previous imaging time point and the current imaging time point is created (see FIGS. 5A to 5D). For example, time t n-2 Then, the arithmetic processing unit 2 calculates the difference between the contour image at this point (see FIG. 3B) and the image of the stationary part (see FIG. 4B) to obtain the image of the moving part (FIG. b)). Time t n-2 In the part of the head and hand of the person H and the left foot are stationary, and the lighting fixture L is switched from the unlit state to the lit state, so that the moving part of the head and hand and the part of the right foot remain, and The image is such that a line indicating the illumination range of the lighting fixture L remains.
[0029]
Further, the arithmetic processing unit 2 obtains a difference between the image of the previously extracted still part and the image of the currently extracted still part. A part existing only in the image is extracted, and an image of only the stop part of the search object is extracted from the image of the stationary part extracted this time (see FIGS. 6A to 6D). For example, time t n-1 Then, the arithmetic processing unit 2 sets the time t n-1 The image of the stationary part extracted at step (see FIG. 4C) and the time t n-2 By obtaining a difference from the image of the stationary part extracted in (4) (see FIG. 4 (b)), an image of only the stopped part of the search object (see FIG. 6 (c)) is extracted.
[0030]
When extracting the stop part of the search object, the arithmetic processing unit 2 determines, from the areas present in the image of the stop part extracted last time, the areas not present in the image of the stop part and the moving part extracted this time, this time. You may make it add to the image of the extracted stop part. For example, time t n Then time t n-1 Since the stop portion that has been stopped in the above step continues to stop, this stop portion does not appear in any of the images of the stop portion and the moving portion extracted this time, and as a result, the search image (see FIG. 7D) appears. Nothing appears, but of the regions present in the previously extracted stop region image, the regions not present in the currently extracted stop region and moving region images are added to the currently extracted stop region image. The shape of the search object (person H) can be accurately detected.
[0031]
Thereafter, the arithmetic processing unit 2 obtains a logical sum of the image of the moving part and the image of the stop part extracted in the above-described processing, and further extracts a search object (for example, a human body) image by removing a noise component. A search image is created (see FIGS. 7A to 7D). As described above, in the image processing apparatus according to the present embodiment, of the search object (person H), an image of a moving part and an image of a stopped part are obtained, and the entire image of the search object is obtained from both images. Therefore, the search object can be easily distinguished as compared with the case where only the moving part is extracted as in the inter-frame difference method, and the search object can be distinguished as in the inter-frame difference method. Since the image is not double-extracted, processing such as template matching can be easily performed. Furthermore, unlike the background subtraction method, it is not necessary to previously photograph a background image in which no search object exists, so that it is not necessary to photograph the background image.
[0032]
Next, a method for detecting the presence or absence of a search object and its position based on the search image obtained by the above-described processing will be described below.
[0033]
First, the arithmetic processing unit 2 extracts, from the search image created by the above-described processing, a detection target area where a search object is considered to be present. FIG. 8A shows an example of a search image. As shown in FIG. 8, in the search image, the boundary E of the search object (person H) is divided into small pieces, and a part of the boundary is dropped. Therefore, it is impossible to know in which portion the person H as the search object exists. Therefore, the arithmetic processing unit 2 performs a dilation process on the search image and dilates the boundary line E divided into small pieces to form a block B as shown in FIG. 8B. A circumscribed rectangle circumscribing the block B is obtained. Further, when the circumscribed rectangles including each block B are close to some extent, the plurality of circumscribed rectangles are combined into one, and the area of the circumscribed rectangle obtained in this way is detected as the detection target area C1. To C3. When the detection target areas C1 to C3 are determined, an area larger than a circumscribed rectangle circumscribing the block B is set in order to allow a certain margin. For example, in the search image shown in FIG. 8A, only a part of the boundary line of the human body appears, and the boundary line E between the head and the leg is fragmented. The boundary line E can be integrated to restore the boundary line of the human body. When a plurality of blocks B are formed by expanding the shredded human body boundary line E, a plurality of circumscribed rectangles each including these blocks B are close to each other, so that the detection target area C1 including the human body is Finally, they are put together in one area. In the example of FIG. 8, the detection target areas C1 are rectangular, but this is not intended to limit the shape of the detection target areas C1 to a rectangle, and the search object is surrounded by a curve as shown in FIG. Such an area may be used.
[0034]
By the way, when the stop time of the search object becomes long and the search object becomes stationary, the search object does not appear in the image of the logical sum of the image of the moving part and the image of the stop part (search image). Also, when the human body enters the surveillance area and moves to the fine movement state where only the hand is moving, the whole body appears at first in the search image, but it appears in the search image as it moves to the fine movement state. The area of the target region is reduced. Conversely, if the search object is moving, the detection target area will appear large in the search image, and thus the behavior of the search target can be determined using such a phenomenon.
[0035]
In other words, in the arithmetic processing unit 2, when the detection target area obtained this time is included in the previous detection target area, or when the detection target area obtained this time overlaps the previous detection target area and the area of the previous detection target area If the ratio of the area of the current detection target area to the current detection target area is smaller than a predetermined threshold value, or if there is no overlapping part between the current detection target area and the previous detection target area, It is determined that the search object in the detection target area is stationary, and the previous detection target area is set as the area where the search object exists, and template matching described later is performed in this detection target area. On the other hand, when the detection target area obtained this time overlaps the previous detection target area and the ratio of the area of the current detection target area to the area of the previous detection target area is larger than a predetermined threshold, the arithmetic processing unit 2 It is determined that the search object in the detection target area is moving, and template matching is performed in the detection target area obtained this time. Note that the object detection device of the present embodiment is used in an environment in which almost no moving object other than the search object exists, and the detection target region extracted last time and the detection target region extracted this time overlap. In this case, it is determined that they are the same search object.
[0036]
For example, FIG. 11A shows a detection target area in a search image. In this example, since the detection target area N1 obtained this time is included in the previous detection target area N0, stop or sit down. It is determined that the person who has been stationary has moved a part of the body such as the hand, the foot, or the head, and the previous detection target area N0 is set as the area N1 ′ where the search object exists (see FIG. 11B). ), Template matching is performed in the detection target area N1 ′. Further, as shown in FIG. 12A, the detection target area N1 obtained this time and the previous detection target area N0 overlap and the ratio of the area of the current detection target area N1 to the area of the previous detection target area N0 is If it is smaller than the predetermined threshold, it is determined that the person who was stationary by stopping or sitting down moved a part of the body such as hand, foot, head, etc., or started moving, but the movement amount was small. Then, the previous detection target region N0 is set as a region N1 'where the search object is present (see FIG. 12B), and template matching is performed within the detection target region N1'. Further, although not shown, if there is no overlapping portion between the detection target area N1 obtained this time and the previous detection target area N0, the search object is in a completely stationary state, and the search object is not included in the search image. It is determined that the object no longer appears, and the template matching is performed in the previous detection target area N0 as the area where the search object is located.
[0037]
On the other hand, as shown in FIG. 13A, when the detection target area N1 obtained this time overlaps the previous detection target area N0 and the ratio of the area to the previous detection target area N0 is larger than a predetermined threshold, Arithmetic processing unit 2 determines that the person who was stationary, such as stopping or sitting down, has begun to move, and has determined that the search object is present in detection target area N1 obtained this time (see FIG. 13B). ), Template matching is performed in this detection target area N1.
[0038]
As described above, in the present embodiment, it is determined from the relationship between the detection target area obtained this time and the previous detection target area whether the detection target area where the search object is present or the search object is moving or stationary. Therefore, the behavior of the search object can be determined by simple processing compared to the case where the search processing is determined by performing matching processing in the previous and current detection target areas or calculating the center of gravity movement. I can judge. When calculating the center of gravity movement to determine the behavior of the search object, the amount of movement of the center of gravity is calculated after calculating the center of gravity of the object based on the contour image created from the grayscale image. However, since a part of the contour may disappear at the stage of creating the contour image, the position of the center of gravity cannot be calculated accurately, and the position of the center of gravity is calculated by interpolating the part where the contour has disappeared. Therefore, in the present embodiment, the calculation process takes time, but in the present embodiment, based on the relationship between the currently detected detection target region and the previous detection target region, the detection target region in which the search object exists, or whether the search object is moving or stationary. Since it is determined whether the search object is performing, the behavior of the search object can be determined by simple processing.
[0039]
Further, since the detection target area in the search image is formed by the logical sum of the moving part and the stop part, the arithmetic processing unit 2 determines the number of pixels of the moving part and the number of pixels of the stop part included in the detection target area. The search object may be moved if the number of pixels in the moving part is larger, and the search object may be determined to be stationary if the number of pixels in the stop part is larger. Since the determination is made, the behavior of the search object can be determined by simple processing compared to the case where the determination is made based on the movement distance of the center of gravity of the region extracted by the inter-frame difference method or the background difference method as in the related art.
[0040]
For example, time t n-3 Since the number of pixels of the moving part included in the detection target area C1 in the search image illustrated in FIG. 7A is larger than the number of pixels of the stop part, the arithmetic processing unit 2 determines that the search target is moving. to decide. Time t n-1 In FIG. 7, since the number of pixels of the moving part included in the detection target area C1 in the search image shown in FIG. 7C is smaller than the number of pixels of the stop part, the arithmetic processing unit 2 determines that the search object is stationary. .
[0041]
As described above, the arithmetic processing unit 2 obtains a detection target area in which the search object is considered to be present from the search image, performs matching processing between the obtained image of the detection target area and the template image of the search object, The correlation value between the two is obtained. For example, time t n-2 Then, the arithmetic processing unit 2 superimposes a predetermined template image on the detection target regions C11 and C12 of the search image (see FIG. 7B) at this time, and shifts the correlation value while shifting the position of the template image by one pixel. To detect. If the highest correlation value in the detection target area exceeds a preset threshold, it is determined that a person exists, and the detection target area corresponding to the correlation value is located at the position where the person exists. Is set to When performing the matching process, the matching process between the contour image and the template image may be performed in the range of the detection target area, or the matching process between the image of the logical sum of the moving image and the stop image and the template image may be performed. May be performed.
[0042]
Here, when the search object is a person, matching is performed using a human-shaped template image, so that a person other than a human is not extracted, and a human can be correctly extracted. When the monitoring area is a passage as shown in FIG. 10, it is not necessary to consider that a person is sleeping there, and therefore, a template image Ta symbolizing the shape of a walking human (see FIG. 9). By searching for the detection target area using, and calculating the correlation value with the image in the detection target area, it is possible to prevent extraction of something other than human beings. When a vehicle is detected with a road as a monitoring area, once the positional relationship between the road and the camera is determined, the shape of the vehicle reflected on the camera becomes substantially the same. By using the template image subjected to the above, detection of something other than the vehicle can be prevented.
[0043]
In addition, when detecting a person using a general house as a monitoring area, the posture of the person (when standing, sitting, sleeping) greatly changes, so the template image used in the next matching processing is changed. Is preferably created based on each image, but when the shape of the human body or the vehicle as the search object hardly changes as in the present embodiment, matching processing should be performed using a fixed template image. This eliminates the need to update the template image and reduces the number of template images to be used, so that a memory having a small storage capacity can be used for storing the template image.
[0044]
It should be noted that the method of extracting the detection target region where the search object is considered to be present from the contour image is not intended to be limited to the above-described method. Instead, a background difference method or an inter-frame difference method is used. By extracting the detection target area where the search object seems to be present by extracting the search object, it is determined whether the search object is moving or stationary based on the detection target area obtained last time and the detection target area obtained this time. The determination may be performed, or a detection target area where the search object is considered to be present may be extracted from the grayscale image.
[0045]
(Embodiment 2)
Embodiment 2 of the present invention will be described with reference to FIGS. Since the basic configuration and operation of the object detection device are the same as those of the first embodiment, the same components are denoted by the same reference numerals and description thereof will be omitted.
[0046]
The object detection device according to the present embodiment determines whether the search object is moving or stationary based on the previous detection target region and the current detection target region extracted by the object detection method described in the first embodiment. Deciding. The detection target area in this case is obtained by extracting a moving part from an image (a grayscale image or a contour image) of the monitoring area.
[0047]
That is, when the previous detection target area and the current detection target area overlap, the arithmetic processing unit 2 determines that the two overlapping areas represent the same search object, and tracks this object. A determination condition for obtaining the current position of the search object from the previous and current detection target regions according to whether the search object in the detection target region obtained last time was determined to be a moving object or a stationary object. Has changed. The determination as to whether the search object in the detection target area is a moving object or a stationary object is performed by the method described in the first embodiment.
[0048]
For example, as shown in FIG. 14A, when a part of the detection target area U1 determined to be a moving object at the time of previous extraction and a part of the detection target area U2 extracted this time overlaps, one or more of It can be assumed that a person is moving or a seated person is moving his body greatly, and the arithmetic processing unit 2 determines that the search object has moved to the detection target area U2, and performs a search. Track objects. That is, the arithmetic processing unit 2 determines that the area where the search object exists has moved from the detection target area U1 to the detection target area U2 (see FIG. 14B).
[0049]
In addition, as shown in FIG. 15A, when the detection target area U1 determined to be a moving object at the time of the previous extraction overlaps a part of the two detection target areas U2 and U3 extracted this time, It can be assumed that a plurality of walking persons are moving into different directions in two groups, and the processing unit 2 determines that the search object has moved to the detection target areas U2 and U3. Track the search object. That is, the arithmetic processing unit 2 determines that the area where the search object exists has moved from the detection target area U1 to the detection target areas U2 and U3 (see FIG. 15B).
[0050]
Also, as shown in FIG. 16A, when the detection target area U1 determined to be a stationary object at the time of the previous imaging and a part of the detection target area U2 extracted this time overlap, the person who was stationary remains It can be assumed that the person who has begun to move, or is standing still, or has moved his hands, feet, and upper body greatly, and the processing unit 2 determines that the search object has moved to the detection target area U2. To track the search object. That is, the arithmetic processing unit 2 determines that the area where the search object exists has moved from the detection target area U1 to the detection target area U2 (see FIG. 16B).
[0051]
Also, as shown in FIG. 17A, a part of the detection target area U1 determined to be a stationary object at the time of the previous imaging and a part of another detection target area U2 determined to be a moving object, When the detection target area U3 extracted this time is overlapped, it is possible to assume a situation where another person approaches the stopped or seated person, and the arithmetic processing unit 2 determines that the search object is in the detection target area U1. While continuing to stand still, it is determined that the search object in the detection target area U2 has moved to the detection target area U3, and tracking is performed. That is, the arithmetic processing unit 2 determines that the search object exists in the detection target region U1 obtained last time and the detection target region U3 obtained this time, respectively (see FIG. 17B).
[0052]
Further, as shown in FIG. 18A, a part of the detection target area U1 determined to be a stationary object at the time of the previous imaging and another detection target area U2 determined to be a stationary object at the previous imaging. When the detection target area U3 extracted this time partially overlaps, any of the plurality of persons who are stationary has begun to move, or one of the plurality of persons who are standing still or seated has their hands or feet. The operation processing unit 2 determines that the search object exists in the previous two detection target areas U1 and U2, and performs tracking (FIG. 18 (b)). )reference).
[0053]
Further, as shown in FIG. 19A, a part of the detection target area U1 (first detection target area) determined to be a stationary object at the time of previous extraction and another detection target determined to be a moving object The detection target area U3 (third detection target area) extracted this time overlaps with a part of the area U2 (second detection target area), and another part of the detection target area U1 extracted this time is further overlapped. When the detection target area U4 (fourth detection target area) overlaps, it is possible to assume a situation where a stopped or seated person starts to move and another person approaches, and the arithmetic processing unit 2 The search object located in the detection target area U1 moves to the detection target area U4, and the search object located in the detection target area U2 is determined to have moved to the detection target area U3. That is, the arithmetic processing unit 2 determines that the search object exists in the detection target areas U3 and U4 (see FIG. 19B).
[0054]
As described above, the arithmetic processing unit 2 determines the current position of the search object from the previous and current detection target areas according to whether the search object in the detection target area obtained last time is determined to be a moving object or a stationary object. Since the next action differs when the search object is moving and when it is stationary, changing the determination condition based on the previous behavior , The search object can be tracked in accordance with the movement of the human being, so that the search object can be tracked more accurately, and the search object can be tracked by simple processing compared to the conventional method of tracking the search object by performing template matching. Can be detected.
[0055]
The arithmetic processing unit 2 determines that the search object in the first detection target area extracted at a certain point in time is a stationary object, and then determines in the first detection target area the second detection object extracted thereafter. When the target areas overlap, the image of the first detection target area immediately before the second detection target area overlaps is held, and when the overlap with the second detection target area is eliminated, the first A matching value is obtained by performing a matching process between the image of the first detection target region and the image of the first detection target region immediately before the second detection target region overlaps, and if the correlation value is higher than a predetermined threshold value The search object previously determined to be a still object is determined to remain in the first detection target area, and if the correlation value is lower than a predetermined threshold, the search object previously determined to be a still object is an object in the second detection target area. To the outside of the first detection target area Or dynamic, or the object of the second detection target region by moving to a different direction, are determined to have been moved to the outside of the first detection target region.
[0056]
For example, as shown in FIGS. n-2 And time t n-1 And time t n At the time t n-2 Since the detection target area M1 (first detection target area) determined to be a stationary object does not overlap with the detection target area M2 (second detection target area) determined to be a moving object, the arithmetic processing unit Reference numeral 2 stores the image of the detection target area M1 in the image storage unit 3 and sequentially updates the image. Next, at time t n-1 Moves the detection target area M2 'determined to be a moving object (at time t). n-2 Is indicated by a dotted line), and partly overlaps with the detection target area M1 'determined to be a stationary object, the arithmetic processing unit 2 stops storing and updating the image of the stationary object, and immediately before (time t n-2 ) Holds the image of the stationary object. Subsequent time t n Then, the detection target area M2 ″ determined to be a moving object further moves (at time t). n-2 Is indicated by a dotted line), the overlap with the detection target region M1 determined to be a stationary object is eliminated, and the arithmetic processing unit 2 determines the image of the stationary object detection target region M1 ″ at this time and the image storage unit Time t stored in 3 n-2 The pattern matching with the image of the detection target area M1 of the stationary object is performed, the correlation value between the two is calculated, and the level of the correlation with a predetermined set value is compared. When the correlation value is higher than a predetermined set value, the arithmetic processing unit 2 determines that the stationary object is staying in the detection target area M1 ″. It is determined that the determined search object has moved outside the detection target area M1 ″. For example, if there is no other detection target area, it is determined that the search object previously determined to be a stationary object has moved along with the moving object that has passed the detection target area M1 ″, and if a new detection target area appears, It is determined that the search object previously determined to be a stationary object has moved to the detection target area.In the case of FIG.20 (c), since the object is stationary in the detection target area, the correlation value increases. I have.
[0057]
Here, depending on the arrangement of the camera 1 that images the monitoring area, when the moving object moves in front of the stationary object, the stationary object is hidden by the shadow of the moving object, but the second object is located in the first detection target area. Before the detection target areas overlap, that is, before the stationary object is hidden by the moving object, the image of the first detection target area is held, and the overlap between the first detection target area and the second detection target area is eliminated. (At the time when the stationary object reappears from the shadow of the moving object), a matching process is performed between the image of the first detection target area at this time and the image immediately before overlapping with the second detection target area, Since the correlation value is obtained, it can be reliably determined from this correlation value whether the stationary object remains or has moved outside the detection target area.
[0058]
In the present embodiment, the detection target area where the search object exists is extracted from the image of the monitoring area by the method described in the first embodiment, but the method of extracting the detection target area is limited to the above method. Instead, the detection target area where the search object is present is extracted from the image of the monitoring area using the background difference method or the inter-frame difference method, and based on the detection target area obtained last time and the detection target area obtained this time. The position and behavior of the search object may be determined.
[0059]
(Embodiment 3)
Embodiment 3 of the present invention will be described. Note that the configuration and operation of the object detection device are the same as those in the first embodiment, and thus illustration and description are omitted.
[0060]
When this object detection device is used in a general house, small animals such as dogs and cats may be present in the monitoring area imaged by the camera 1 in addition to humans. There is a possibility that a moving object other than a human being, which is the search object, may be imaged due to the curtain shaking or the change in sunshine caused by the movement of clouds. On the other hand, the present embodiment is used for detecting a person in an office, for example, and small animals such as dogs and cats other than humans rarely move around in the office. It can be considered that there is almost no object (movable object), and it is only necessary to consider the flickering of the monitor screen of the OA device on the desk and the turning on / off of the lighting equipment.
[0061]
The change of lighting / extinguishing of the lighting fixture appears in the moving image only at the moment of switching from the extinguished state to the lit state, and does not appear continuously in the moving image. For example, as shown in FIGS. Time t n-2 In the case where the lighting fixture L is automatically turned on at a time and is turned on in a constant state after the lighting, as shown in FIGS. n-2 In FIG. 5, a line indicating the illumination range of the lighting fixture L appears in the moving image (see FIG. 5B). n-1 In FIG. 4, a line indicating the illumination range of the lighting fixture L appears in the still image, but does not appear in the moving image (see FIGS. 4C and 5C). Therefore, the detection target area corresponding to the light of the lighting device L appears in the moving image only when it is turned on, and appears only once in the still image during the subsequent imaging.
[0062]
On the other hand, since the person in the office continues to move, it continues to appear in the moving image, and even if it temporarily stops, it traces the history that it has moved in the past, so that it can move with people and vehicles and other movable objects. Lighting can be easily distinguished from on / off.
[0063]
When used indoors, small animals other than humans rarely move around, so template matching becomes unnecessary.
[0064]
Thus, when the detection target area in the search image continuously moves a predetermined number of times, the arithmetic processing unit 2 determines that a search target of a movable object such as a person or a vehicle exists in the detection target area. By doing so, the movable object and the lighting / non-lighting of the lighting fixture L can be easily distinguished because the moving object continuously moves for a certain period or more.
[0065]
【The invention's effect】
As described above, the invention of claim 1 is an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein the step of sequentially capturing a grayscale image of the monitoring area, Extracting a moving area from either the image or the contour image indicating the contour of the object created from the grayscale image to create a detection target area where the search object is considered to be present; and When included in the previous detection target area, or when the detection target area obtained this time and the previous detection target area overlap and the ratio of the area of the current detection target area to the area of the previous detection target area is greater than a predetermined threshold Is smaller, or if there is no overlapping part between the current detection target area and the previous detection target area, it is determined that the search object is stationary. And setting the previous detection target area as an area where the search object is present. The relationship between the detection target area obtained this time and the previous detection target area indicates that the detection target where the search object is present is present. Since the area is determined, the area where the search object is located can be determined by simple processing compared to the case where the behavior of the search object is determined by performing matching processing in the previous and current detection target areas as in the past. There is an effect that it can be detected.
[0066]
The invention according to claim 2 is an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a gray image of the monitoring area, Creating a detection target area where a search object is considered to exist by extracting a moving area from any of the contour images showing the contour of the created object, and a detection target area obtained this time and a previous detection target area And if the ratio of the area of the current detection target area to the area of the previous detection target area is larger than a predetermined threshold value, it is determined that the search object is moving, and the search object is determined to be the current detection target area. Determining whether or not the search object is moving based on the ratio of the area of the detection target area obtained this time to the area of the previous detection target area and the area. Compared to the conventional case where the behavior of the search object is determined by performing matching processing in the previous and current detection target areas, it is possible to determine that the search object is moving with simple processing There is.
[0067]
According to a third aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image in a predetermined monitoring area. And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; By extracting an area that is not present in the created static part image but present in the static part image created this time, creating an image of the stop part of the search object that is stopped during this time, Creating a detection target area where the search object is present by performing an expansion process on the image of the logical sum of the image of the moving part and the image of the stop part, and the number of pixels of the moving part included in the detection target area Determining whether the search object in the detection target area is moving or stationary by comparing the number of pixels with the number of pixels of the stop part. The moving part included in the detection target area It is determined whether or not the search object is moving based on the size of the number of pixels in the stop area and the number of pixels in the stop area. As compared with the case where the behavior of the object is determined, there is an effect that it can be determined that the search object is moving by simple processing. In addition, an image of a moving part and an image of a stopped part of the search object are obtained, and an image of the entire search object is obtained from both images. In comparison with the case where only the part where the search object is extracted, the search object can be easily distinguished, and the image of the search object is not double-extracted as in the inter-frame difference method. In addition, it is possible to easily perform processing such as template matching, and it is not necessary to previously photograph a background image in a state where no search object exists unlike the background subtraction method.
[0068]
According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, if the previously determined detection target area and the currently determined detection target area overlap, it is determined that the objects are the same search object. In addition, the determination condition for obtaining the current position of the search object from the previous and current detection target areas is changed according to whether the search object in the detection target area obtained last time is determined to be a moving object or a stationary object. The next action differs between when the search object is moving and when the search object is stationary, so by changing the judgment conditions based on the previous action, the motion of the search object Therefore, the search object can be tracked more accurately, and the search object can be detected by a simpler process as compared with the case where the search object is tracked by performing template matching as in the related art.
[0069]
In the invention according to claim 5, in the invention according to claim 4, if the previous detection target area overlaps with the current detection target area and the current detection target area does not overlap with another previous detection target area, The search object in the previous detection target area overlapping the detection target area is determined to have moved to the current detection target area and is tracked, and has the same effect as the invention of claim 4.
[0070]
According to a sixth aspect of the present invention, in the invention of the fourth aspect, when the search object in the previously determined detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other. If the detection target area overlaps with another detection target area that was previously determined to be a moving object, it is determined that the search object in another detection target area obtained last time has moved to the current detection target area and tracking is performed. And has the same effect as the fourth aspect of the present invention.
[0071]
According to a seventh aspect of the present invention, in the invention of the fourth aspect, when the search object in the previously detected detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other. If the detection target area overlaps with another detection target area that was previously determined to be a stationary object, it is determined that the search object is staying in each of the two detection target areas obtained last time, and is tracked. There is an effect similar to that of the fourth aspect.
[0072]
According to an eighth aspect of the present invention, in the invention of the fourth aspect, the current extraction is performed on the first detection target area determined to be a stationary object and the second detection target area determined to be a moving object at the previous extraction. If the detected third detection target area overlaps and the first detection target area overlaps the fourth detection target area extracted this time, the search object in the first detection target area is determined as the fourth detection target. In addition to moving to the area, it is determined that the search object located in the second detection target area has moved to the third detection target area and is tracked, and has the same effect as the invention of claim 4.
[0073]
According to a ninth aspect of the present invention, in the fourth aspect of the present invention, when it is determined that the search object in the first detection target area extracted at a certain point in time is a stationary object, the search object is added to the first detection target area thereafter. In the case where the second detection target area extracted in the step (c) overlaps, the image of the first detection target area immediately before the second detection target area overlaps is held, and the overlap with the second detection target area is eliminated. At this time, a matching process is performed between the image of the first detection target region at this time and the image of the first detection target region immediately before the second detection target region overlaps to obtain a correlation value between the two. If the correlation value is higher than a predetermined threshold value, it is determined that the stationary object remains in the first detection target area. If the correlation value is lower than the threshold value, the stationary object has moved outside the first detection target area. The monitoring area is imaged. Depending on the arrangement of the cameras, when the moving object moves in front of the stationary object, the stationary object is hidden by the shadow of the moving object, but before the second detection target area overlaps the first detection target area, In other words, an image of the first detection target area before the stationary object is hidden by the moving object is held, and when the first detection target area and the second detection target area no longer overlap (the stationary object moves Since the image of the first detection target area at this time and the image immediately before overlapping with the second detection target area are subjected to the matching process to obtain the correlation value, From this correlation value, it can be reliably determined whether the stationary object remains or has moved.
[0074]
According to a tenth aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area. And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Extracting a region that does not exist in the created static part image but exists in the static part image created this time, thereby creating an image of the stop part of the search object that is stopped during this time; Performing a dilation process on an image of the logical sum of the image of the moving part and the image of the stop part to create a detection target area in which the search object is considered to be present; If the number of times of movement is more than the number of times, the detection target area is set as an area where a search object composed of a movable object such as a person or a vehicle is present, for example, a movable object such as a person or a vehicle in a monitoring area. If the object continues to move, the search object consisting of the movable object will appear continuously in the image of the moving part, so that the image of the logical sum of the image of the moving part and the image of the stopped part will also appear continuously. Become. Therefore, since the detection target area created from the image of the logical sum of the image of the moving part and the image of the stop part moves a predetermined number of times, it can be determined that the detection target area is the area where the movable object exists. It is possible to detect an area where a movable object exists by a simple process.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an image processing apparatus using an image processing method according to a first embodiment.
FIGS. 2A to 2D are explanatory diagrams of an input image at each time.
FIGS. 3A to 3D are explanatory diagrams of a contour image at each time.
FIGS. 4A to 4D are explanatory diagrams of an extracted image of a stationary object at each time.
FIGS. 5A to 5D are explanatory diagrams of an extracted image of a moving object at each time.
FIGS. 6A to 6D are explanatory diagrams of an extracted image of a stationary object at each time.
FIGS. 7A to 7D are explanatory diagrams of a search image at each time.
FIGS. 8A and 8B are explanatory diagrams illustrating a procedure for creating a detection target area.
FIG. 9 is an explanatory diagram of a template image according to the embodiment.
FIG. 10 is an explanatory diagram of a monitoring area according to the embodiment.
FIGS. 11A and 11B are explanatory diagrams illustrating the operation of the above.
FIGS. 12A and 12B are explanatory diagrams illustrating the operation of the above.
FIGS. 13A and 13B are explanatory diagrams illustrating the operation of the above.
FIGS. 14A and 14B are explanatory diagrams illustrating an operation of the object detection device according to the second embodiment.
FIGS. 15A and 15B are explanatory diagrams illustrating the operation of the above.
FIGS. 16A and 16B are explanatory diagrams illustrating the operation of the above.
FIGS. 17 (a) and (b) are explanatory diagrams for explaining the above operation.
FIGS. 18A and 18B are explanatory diagrams illustrating the operation of the above.
FIGS. 19A and 19B are explanatory diagrams illustrating the operation of the above.
20 (a) to 20 (c) are explanatory diagrams for explaining the operation of the above.
FIGS. 21A to 21C are explanatory diagrams of an image processing method using a background subtraction method.
FIGS. 22A to 22C are explanatory diagrams of an image processing method using an inter-frame difference method.
FIGS. 23A and 23B are explanatory diagrams of a conventional determination method for determining whether a search object is moving or stationary.
FIG. 24 is an explanatory diagram illustrating a conventional search object tracking method.
[Explanation of symbols]
1 camera
2 Arithmetic processing unit

Claims (10)

所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする物体検出方法。An object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a gray image of the monitoring area and an outline of an object created from the gray image or the gray image are shown. A step of creating a detection target area where a search object is considered to be present by extracting a moving area from any of the contour images, and a case where the detection target area obtained this time is included in the previous detection target area, or The detection target area obtained this time overlaps the previous detection target area and the ratio of the area of the current detection target area to the area of the previous detection target area is smaller than a predetermined threshold, or the detection target area obtained this time If there is no overlapping part between the search object and the previous detection target area, it is determined that the search object is stationary and the search object Object detecting wherein the steps of that Mashimashi region, in that it consists of. 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きければ探索物体が移動していると判断して、今回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする物体検出方法。An object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a gray image of the monitoring area and an outline of an object created from the gray image or the gray image are shown. A step of creating a detection target area in which a search object is considered to be present by extracting a moving area from any of the contour images, and a step in which the detection target area obtained this time and the previous detection target area overlap with each other and the previous detection If the ratio of the area of the current detection target area to the area of the target area is larger than a predetermined threshold, it is determined that the search object is moving, and the current detection target area is set as the area where the search object exists. And an object detecting method. 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする物体検出方法。An object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, in which a grayscale image of the monitoring area is sequentially captured, and a contour image indicating a contour of the object is created from the grayscale image. Extracting an area where there is no difference between the first contour image created last time and the second contour image created this time to create an image of a stationary part that does not move during this time; Extracting an area where a difference exists between the contour image of Step 2 and the image of the stationary part created this time, thereby creating an image of the moving part of the search object moved during this time. By extracting an area that is not present but present in the image of the stationary part created this time, thereby creating an image of the stopped part of the search object that has stopped during this time; and A step of creating a detection target area where a search object is present by performing an expansion process on an image of the logical sum of the image of the stop part and the number of pixels of the moving part and the number of pixels of the stop part included in the detection target area Determining whether the search object in the detection target area is moving or stationary by comparing the magnitudes of the search object areas. 前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする請求項１乃至請求項３の何れか１つに記載の物体検出方法。If the previously determined detection target area and the currently determined detection target area overlap, it is determined that the search object is the same search object. The object according to any one of claims 1 to 3, wherein a determination condition for obtaining the current position of the search object from the previous and current detection target areas is changed depending on whether the object has been determined. Detection method. 前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする請求項４記載の物体検出方法。If the previous detection target area overlaps with the current detection target area and the current detection target area does not overlap with another previous detection target area, the previous detection target area overlapping with the current detection target area 5. The object detection method according to claim 4, wherein the tracking is performed by determining that the search object has moved to the current detection target area. 前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする請求項４記載の物体検出方法。If the search object in the previously determined detection target area is determined to be a stationary object, the previous detection target area overlaps with the current detection target area, and another detection target area in which the current detection target area is determined to be the previous moving object is used. 5. The object detection method according to claim 4, wherein if the search object overlaps with the detection target area, it is determined that the search object in another detection target area obtained last time has moved to the current detection target area and tracking is performed. 前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた２つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする請求項４記載の物体検出方法。If the search object in the previously determined detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap, and another detection target area in which the current detection target area was previously determined to be a still object is determined. 5. The object detection method according to claim 4, wherein if the target object overlaps with the detection target area, the search object is determined to be staying in each of the two detection target areas obtained last time, and tracking is performed. 前回抽出時に静止物体であると判断された第１の検知対象領域と移動物体であると判断された第２の検知対象領域とに今回抽出した第３の検知対象領域が重なり、且つ、第１の検知対象領域に今回抽出した第４の検知対象領域が重なっていれば、第１の検知対象領域にいた探索物体が第４の検知対象領域に移動すると共に、第２の検知対象領域にいた探索物体が第３の検知対象領域に移動したものと判断して追跡することを特徴とする請求項４記載の物体検出方法。The third detection target area extracted this time overlaps the first detection target area determined to be a stationary object at the previous extraction and the second detection target area determined to be a moving object, and If the fourth detection target area extracted this time overlaps with the detection target area, the search object that was in the first detection target area moves to the fourth detection target area and is located in the second detection target area. The method according to claim 4, wherein the tracking is performed by determining that the search object has moved to the third detection target area. ある時点で抽出された第１の検知対象領域の探索物体が静止物体であると判断された場合に、第１の検知対象領域にそれ以後に抽出された第２の検知対象領域が重なった場合、第２の検知対象領域が重なる直前の第１の検知対象領域の画像を保持させておき、第２の検知対象領域との重なりが無くなった時点で、この時点の第１の検知対象領域の画像と、第２の検知対象領域が重なる直前の第１の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第１の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第１の検知対象領域の外側に移動したと判断することを特徴とする請求項４記載の物体検出方法。When it is determined that the search object in the first detection target area extracted at a certain point in time is a stationary object, and the second detection target area extracted thereafter is overlapped with the first detection target area The image of the first detection target area immediately before the second detection target area overlaps is held, and when the overlap with the second detection target area is eliminated, the first detection target area at this time is A matching process is performed between the image and the image of the first detection target region immediately before the second detection target region overlaps to obtain a correlation value between the two. If the correlation value is higher than a predetermined threshold, the stationary object is determined to be the second detection target region. 5. The object according to claim 4, wherein it is determined that the stationary object has stayed in the first detection target area, and if the correlation value is lower than the threshold value, it is determined that the stationary object has moved outside the first detection target area. Detection method. 所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第１の輪郭画像と今回作成した第２の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第２の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする物体検出方法。An object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, in which a grayscale image of the monitoring area is sequentially captured, and a contour image indicating a contour of the object is created from the grayscale image. Extracting an area where there is no difference between the first contour image created last time and the second contour image created this time to create an image of a stationary part that does not move during this time; Extracting an area where a difference exists between the contour image of Step 2 and the image of the stationary part created this time, thereby creating an image of the moving part of the search object moved during this time. By extracting an area that is not present but present in the image of the stationary part created this time, thereby creating an image of the stopped part of the search object that has stopped during this time; and A step of creating a detection target area in which a search object seems to be present by performing dilation processing on the image of the logical sum with the image of the stop part, and when the created detection target area has continuously moved a predetermined number of times or more. Setting the detection target area as an area where a search object formed of a movable object such as a person or a vehicle exists.
JP2002324397A 2002-11-07 2002-11-07 Object detection method Expired - Fee Related JP4228657B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002324397A JP4228657B2 (en) 2002-11-07 2002-11-07 Object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002324397A JP4228657B2 (en) 2002-11-07 2002-11-07 Object detection method

Publications (2)

Publication Number Publication Date
JP2004157879A true JP2004157879A (en) 2004-06-03
JP4228657B2 JP4228657B2 (en) 2009-02-25

Family

ID=32803997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002324397A Expired - Fee Related JP4228657B2 (en) 2002-11-07 2002-11-07 Object detection method

Country Status (1)

Country Link
JP (1) JP4228657B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277547A (en) * 2009-06-01 2010-12-09 Chuo Electronics Co Ltd Congestion situation detecting device, method, and program
JP2011053951A (en) * 2009-09-02 2011-03-17 Canon Inc Image processing apparatus
JP2012174223A (en) * 2011-02-24 2012-09-10 Nippon Steel Corp Person monitoring device, person monitoring method, and computer program
WO2013187047A1 (en) * 2012-06-13 2013-12-19 パナソニック株式会社 Object detection device
US20140016815A1 (en) * 2012-07-12 2014-01-16 Koji Kita Recording medium storing image processing program and image processing apparatus
WO2018047616A1 (en) * 2016-09-08 2018-03-15 ソニー株式会社 Arithmetic device and sensor
CN110268440A (en) * 2017-03-14 2019-09-20 欧姆龙株式会社 Image analysis apparatus, method for analyzing image and image analysis program
CN112097744A (en) * 2020-09-16 2020-12-18 上海遥程信息科技有限公司 Image scanning method, device, equipment and storage medium for vertical face
JP2021028807A (en) * 2019-08-09 2021-02-25 フジテック株式会社 Image processing device and image processing method
CN112850436A (en) * 2019-11-28 2021-05-28 宁波微科光电股份有限公司 Pedestrian trend detection method and system of elevator intelligent light curtain

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010277547A (en) * 2009-06-01 2010-12-09 Chuo Electronics Co Ltd Congestion situation detecting device, method, and program
JP2011053951A (en) * 2009-09-02 2011-03-17 Canon Inc Image processing apparatus
JP2012174223A (en) * 2011-02-24 2012-09-10 Nippon Steel Corp Person monitoring device, person monitoring method, and computer program
KR101640875B1 (en) 2012-06-13 2016-07-19 파나소닉 아이피 매니지먼트 가부시키가이샤 Object detection device
WO2013187047A1 (en) * 2012-06-13 2013-12-19 パナソニック株式会社 Object detection device
KR20150013756A (en) * 2012-06-13 2015-02-05 파나소닉 아이피 매니지먼트 가부시키가이샤 Object detection device
TWI509569B (en) * 2012-06-13 2015-11-21 Panasonic Corp Object detecting device
US9436996B2 (en) * 2012-07-12 2016-09-06 Noritsu Precision Co., Ltd. Recording medium storing image processing program and image processing apparatus
US20140016815A1 (en) * 2012-07-12 2014-01-16 Koji Kita Recording medium storing image processing program and image processing apparatus
WO2018047616A1 (en) * 2016-09-08 2018-03-15 ソニー株式会社 Arithmetic device and sensor
JPWO2018047616A1 (en) * 2016-09-08 2019-06-24 ソニー株式会社 Arithmetic unit and sensor
US10891706B2 (en) 2016-09-08 2021-01-12 Sony Corporation Arithmetic device and sensor to track movement of object between frames
JP7058010B2 (en) 2016-09-08 2022-04-21 ソニーグループ株式会社 Arithmetic logic unit and sensor
CN110268440A (en) * 2017-03-14 2019-09-20 欧姆龙株式会社 Image analysis apparatus, method for analyzing image and image analysis program
CN110268440B (en) * 2017-03-14 2023-05-16 欧姆龙株式会社 Image analysis device, image analysis method, and storage medium
JP2021028807A (en) * 2019-08-09 2021-02-25 フジテック株式会社 Image processing device and image processing method
CN112850436A (en) * 2019-11-28 2021-05-28 宁波微科光电股份有限公司 Pedestrian trend detection method and system of elevator intelligent light curtain
CN112097744A (en) * 2020-09-16 2020-12-18 上海遥程信息科技有限公司 Image scanning method, device, equipment and storage medium for vertical face

Also Published As

Publication number Publication date
JP4228657B2 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
US11151409B2 (en) Information processing device, information processing method, and program
Fuentes et al. People tracking in surveillance applications
US7969470B2 (en) Moving object detection apparatus, method and program
JP6631619B2 (en) Video monitoring system and video monitoring method
US7436887B2 (en) Method and apparatus for video frame sequence-based object tracking
KR20120083086A (en) Image survailance system and method for detecting left-behind/taken-away of the system
JP4228657B2 (en) Object detection method
JP4691708B2 (en) White cane user detection system using stereo camera
JP5277805B2 (en) Object extraction device, object extraction method, and object extraction program
CN110298323A (en) Detection method of fighting based on video analysis, system, device
JP5300694B2 (en) Detection device
JP4913801B2 (en) Shielding object image identification apparatus and method
JP2009110185A (en) Passerby behavior analyzer, passerby behavior analysis method, and its program
JP2004094518A (en) Figure tracing device and figure tracing method and its program
JP4470342B2 (en) Image processing method and image processing apparatus using the same
JP6527183B2 (en) Leftover object detection device
JP4578072B2 (en) Resident detection system
CN114120368A (en) Target detection method and detection equipment
JP4096757B2 (en) Image tracking device
Moro et al. Auto-adaptive threshold and shadow detection approaches for pedestrians detection
JP5562090B2 (en) Object judgment device
JP2003232867A (en) Method and device for detecting material object
JP2004265251A (en) Image processor
JP2012053609A (en) Parking detector, parking detection method and parking detection program
JP2000115750A (en) Mobile object monitor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees