JP2004157879A - Object detection method - Google Patents
Object detection method Download PDFInfo
- Publication number
- JP2004157879A JP2004157879A JP2002324397A JP2002324397A JP2004157879A JP 2004157879 A JP2004157879 A JP 2004157879A JP 2002324397 A JP2002324397 A JP 2002324397A JP 2002324397 A JP2002324397 A JP 2002324397A JP 2004157879 A JP2004157879 A JP 2004157879A
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- target area
- image
- area
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、所定の監視エリアの画像から人や車輌などの探索物体を抽出して、探索物体の動きや存在を自動的に検出する物体検出方法に関するものである。
【0002】
【従来の技術】
従来、所定の監視エリアの画像から人や車輌などの探索物体を検出するために背景差分方法やフレーム間差分方法などの手法が用いられている。
【0003】
先ず背景差分方法について図21(a)〜(c)を参照して説明する。この方法では、事前に探索物体が存在していない時の監視エリアAの画像(図21(a)参照)を撮像し、この画像を背景画像として記憶させる。その後、監視エリアAの画像を逐次撮像して、背景画像との差分を求め、差分の発生した領域を背景に無い物体の進入してきた部分であると判断している。例えば、監視エリアAに人Hが進入した場合、この時の監視エリアAの画像(図21(b)参照)と背景画像との差分をとると、図21(c)に示すような差分二値画像が得られるので、この画像から人Hが進入したことを判別できる(例えば特許文献1参照)。
【0004】
次に、フレーム間差分方法について図22(a)〜(c)を参照して説明する。この方法では、監視エリアAの画像を逐次撮像しており、異なる時刻に撮像された2枚の画像の差分をとることによって、探索物体を検出している。図22(a)はある時刻に撮像された監視エリアAの画像を、図22(b)はそれ以降の別の時刻に撮像された監視エリアAの画像をそれぞれ示し、この間に動いた人Hの部位が差分画像となって、図22(c)に示すような差分二値画像が得られるので、この画像から何らかの物体が移動していることを検出できる(例えば特許文献2参照)。
【0005】
そして、上述の方法を用いて監視エリアAの画像から探索物体(例えば人)の存在すると思われる検知対象領域を抽出した場合に、図23(a)(b)に示すように、前回抽出した領域S1の重心位置(Xt,Yt)と、今回抽出した領域S2の重心位置(Xt+1,Yt+1)との移動量を求め、この移動量と所定の閾値との大小を比較することで、その探索物体が移動している物体であるか、静止している物体であるかを判断する方法が提案されている(例えば特許文献3参照)。また、図24に示すように前回抽出した領域S1と今回抽出した領域S2とが重なっていることから、同一人であると判断して、この人物を追跡する方法も提案されている。
【0006】
【特許文献1】
特開平11−41589号公報(段落番号[0002][0003])
【特許文献2】
特開平6−201715号公報(第3頁、及び、第4図)
【特許文献3】
特開2001−8981号公報(段落番号[0009][0010][0021])
【0007】
【発明が解決しようとする課題】
上述した探索物体の追跡方法では、前回抽出した領域の重心位置と今回抽出した領域の重心位置との移動量から、探索物体が移動しているか静止しているかを判断しているのであるが、抽出領域の重心位置を毎回計算しなければならず、計算量が膨大になるという問題があり、探索物体の追跡を簡単な処理で行うことができなかった。
【0008】
また、今回抽出した人物の存在する領域が前回の領域と重なっていることから、同一人と判断して追跡する方法では、別の手段によって監視エリアA内に1人しか存在しないことが予め判明している場合は、人物の存在する領域を抽出した段階で同じ人物の存在する領域であると判断できるから、実質的には追跡処理を行う必要はないが、監視エリアA内に複数の人間が存在する場合は、前回抽出した領域と今回抽出した領域とが重なっていたとしても、その重なった領域に同じ人物が存在するとは限らず、ある人物のところへ別の人物が近付いてきたような場面もあり得るので、前回と今回とで領域が重なっているというだけで、重なっている領域に同じ人物が存在すると判断することはできなかった。
【0009】
また、前回抽出した領域の画像を記憶しておき、前回の抽出領域の近傍に今回の抽出領域が現れた場合、今回の抽出領域と前回の抽出領域とにそれぞれテンプレートマッチングを行って、相関値の高い方に人が存在するという方法もあるが、人が移動するとその向きによって形状が大きく変化するので、相関値の閾値を決定するのが難しく、また前回の抽出領域と今回の抽出領域の両方にテンプレートマッチングを行わねばならないから、計算量が膨大になるという問題があった。さらに、フレーム間差分方式では変化のあった部分しか抽出できないので、探索物体の重心位置を正確に算出できなかった。
【0010】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、監視エリアの画像から簡単な処理で探索物体の動きや存在を検出できる物体検出方法を提供するにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【0012】
請求項2の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きければ探索物体が移動していると判断して、今回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とする。
【0013】
請求項3の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第1の輪郭画像と今回作成した第2の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第2の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とする。
【0014】
請求項4の発明では、請求項1乃至請求項3の何れか1つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とする。ここに、静止物体とは、人などの探索物体で体の一部は微動しているがある領域に留まっている状態の探索物体を言う。また、移動物体とは、人などの探索物体で歩くなどしてエリア内を移動している状態の探索物体を言う。
【0015】
請求項5の発明では、請求項4の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【0016】
請求項6の発明では、請求項4の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とする。
【0017】
請求項7の発明では、請求項4の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた2つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とする。
【0018】
請求項8の発明では、請求項4の発明において、前回抽出時に静止物体であると判断された第1の検知対象領域と移動物体であると判断された第2の検知対象領域とに今回抽出した第3の検知対象領域が重なり、且つ、第1の検知対象領域に今回抽出した第4の検知対象領域が重なっていれば、第1の検知対象領域にいた探索物体が第4の検知対象領域に移動すると共に、第2の検知対象領域にいた探索物体が第3の検知対象領域に移動したものと判断して追跡することを特徴とする。
【0019】
請求項9の発明では、請求項4の発明において、ある時点で抽出された第1の検知対象領域の探索物体が静止物体であると判断された場合に、第1の検知対象領域にそれ以後に抽出された第2の検知対象領域が重なった場合、第2の検知対象領域が重なる直前の第1の検知対象領域の画像を保持させておき、第2の検知対象領域との重なりが無くなった時点で、この時点の第1の検知対象領域の画像と、第2の検知対象領域が重なる直前の第1の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第1の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第1の検知対象領域の外側に移動したと判断することを特徴とする。
【0020】
請求項10の発明では、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第1の輪郭画像と今回作成した第2の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第2の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とする。
【0021】
【発明の実施の形態】
本発明の物体検出方法を用いる物体検出装置について図面を参照して説明する。
【0022】
(実施形態1)
図1に本実施形態の物体検出装置のブロック図を示す。この物体検出装置は、人や車輌などの探索物体の他に移動する物体が殆ど存在しないような環境で使用されて、所定の監視エリアの画像から探索物体を検出するものであり、監視エリアの濃淡画像を逐次撮像するカメラ1と、カメラ1の撮像した濃淡画像を画像処理して探索物体(本実施形態では例えば人)を検出する演算処理部2と、画像処理の過程で作成した画像データを一時的に記憶する画像記憶部3とで構成される。
【0023】
この物体検出装置による物体検出方法を図2乃至図10を参照して説明する。図2(a)は人Hが倒れる途中の時刻tn−3においてカメラ1の撮像した濃淡画像(入力画像)、図2(b)は人Hが倒れた(床に横たわった)瞬間の時刻tn−2における入力画像、図2(c),(d)は人Hが倒れたまま静止している状態の時刻tn−1,tnにおける入力画像をそれぞれ示しており、時刻tn−2から時刻tnの間では人Hは静止している。また、時刻tn−2において壁に設置された照明器具Lが自動点灯し、時刻tn−2から時刻tnの間では略一定の状態で点灯している。また、図3(a)〜(d)は時刻tn−3〜tnにおける輪郭画像を、図4(a)〜(d)は時刻tn−3〜tnにおける静止部位の抽出画像を、図5(a)〜(d)は時刻tn−3〜tnにおける探索物体の移動部位の抽出画像を、図6(a)〜(d)は時刻tn−3〜tnにおける探索物体の停止部位の抽出画像を、図7(a)〜(d)は時刻tn−3〜tnにおける探索画像をそれぞれ示している。尚、図2〜図7は模式図であり、物体の輪郭を示す線を同じ太さの線で図示しているが、実際には細い部分や太い部分があるので、処理の過程で消滅する部分や残る部分が発生する。
【0024】
カメラ1は監視エリアAの白黒濃淡画像を所定の時間間隔で撮像しており、カメラ1の映像信号はA/D変換部(図示せず)でディジタル信号に変換されて、演算処理部2に逐次入力される。
【0025】
カメラ1からの映像信号が演算処理部2に入力されると、演算処理部2ではこの映像信号をもとに微分画像を作成し、それを二値化して物体の境界線(エッジ)を検出する。すなわち、画像中の物体に対応する部分では、その特徴、例えば濃度が一様で、異なる物体あるいは物体の部分間では濃度が急激に変化すると考えられるので、濃度の急激に変化する場所を探すことによって、対象物の境界線(エッジ)を検出することができる。また、異なる2つの物体が重なっていると、両者の境界部分では濃度が不連続になり、濃度の変化量(傾き)が大きくなっているので、濃度の傾きが大きい場所を検出することによって、物体の境界線を検出することができる。一般に濃淡の不連続性を検出するには空間微分を行えば良く、ある時刻に撮像された白黒濃淡画像において隣接する画素間の差分を求めることによって、濃度の微分値、すなわち勾配(傾き)を検出することができる。そして、演算処理部2は白黒濃淡画像の画像データから濃度の勾配値を検出すると、検出した勾配値と所定のしきい値との高低を比較して、勾配値がしきい値よりも高ければ輪郭部、しきい値以下であれば平面部と判断する(二値化処理)。
【0026】
例えば、図2(a)〜(d)は時刻tn−3〜tnの各時刻にカメラ1から入力された白黒濃淡画像(入力画像)を、図3(a)〜(d)は各時刻の白黒濃淡画像から求めた輪郭画像をそれぞれ示し、図3(a)〜(d)中の実線が二値化処理の結果得られた物体の輪郭を示している。なお、図2及び図3の例では人体Hの胴体部分や顔と背景との区別がつきにくいため、図3(a)〜(d)の輪郭画像では胴体部分や顔の輪郭を検出することができず、頭部や手足がばらばらに分離したような画像になっている。
【0027】
次に、演算処理部2は前回の撮像時に作成した輪郭画像(第1の微分画像)と今回作成した輪郭画像(第2の微分画像)との論理積を求めることによって、第1の微分画像と第2の微分画像との間で差分が存在しない部分(すなわち変化していない部分)を抽出し、前回の撮像時点から今回の撮像時点までの間、静止していた物体(静止部位)の画像を作成する(図4(a)〜(d)参照)。例えば時刻tn−1では演算処理部2が、時刻tn−2における輪郭画像(図3(b)参照)と時刻tn−1における輪郭画像(図3(c)参照)との論理積を求めることにより、この間に移動していない静止部位の画像(図4(c)参照)を抽出している。
【0028】
また、演算処理部2は今回作成した輪郭画像(第2の微分画像)と、今回抽出した静止部位の画像との差分を求めることによって、2つの画像の間で差分が存在した部分(すなわち移動した部分)を抽出し、前回の撮像時点から今回の撮像時点までの間に移動した探索物体の移動部位の画像を作成する(図5(a)〜(d)参照)。例えば時刻tn−2では演算処理部2が、この時点での輪郭画像(図3(b)参照)と静止部位の画像(図4(b)参照)との差分を取ることによって、移動部位の画像(図5(b)参照)を抽出している。時刻tn−2では人Hの頭及び手の一部と左足とが静止し、照明器具Lが消灯状態から点灯状態に切り替わっているので、頭及び手の移動している部分と右足の部分が残り、且つ、照明器具Lの照明範囲を示す線が残ったような画像となる。
【0029】
また更に、演算処理部2は前回抽出した静止部位の画像と今回抽出した静止部位の画像との差分を求めることで、前回抽出した静止部位の画像には存在せず、今回抽出した静止部位の画像のみに存在する部分を抽出し、今回抽出した静止部位の画像から探索物体の停止部位のみの画像を抽出する(図6(a)〜(d)参照)。例えば時刻tn−1では、演算処理部2が時刻tn−1で抽出した静止部位の画像(図4(c)参照)と、時刻tn−2で抽出した静止部位の画像(図4(b)参照)との差分を求めることによって、探索物体の停止部位のみの画像(図6(c)参照)を抽出している。
【0030】
尚、探索物体の停止部位を抽出する際に、演算処理部2が、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにしても良い。例えば時刻tnでは時刻tn−1で停止していた停止部位が停止し続けているため、この停止部位は今回抽出した停止部位及び移動部位の画像の何れにも現れず、その結果探索画像(図7(d)参照)には何も現れなくなるが、前回抽出した停止部位の画像に存在する領域の内、今回抽出した停止部位及び移動部位の画像に存在しない領域を、今回抽出した停止部位の画像に加えるようにすれば、探索物体(人H)の形状を正確に検出することができる。
【0031】
その後、演算処理部2は、上述の処理で抽出した移動部位の画像と停止部位の画像との論理和を求め、さらにノイズ成分を除去することによって、探索物体(例えば人体)の画像を抽出した探索画像を作成する(図7(a)〜(d)参照)。このように本実施形態の画像処理装置では、探索物体(人H)の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、またフレーム間差分方法のように探索物体の画像が2重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行える。さらに、背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【0032】
次に、上述の処理で求めた探索画像をもとに探索物体の有無やその位置を検出する方法について以下に説明する。
【0033】
先ず、演算処理部2は、上述の処理で作成した探索画像から探索物体が存在すると思われる検知対象領域を抽出する。図8(a)は探索画像の一例を示しており、この図に示されるように探索画像では探索物体(人H)の境界線Eが細切れに分割され、しかも境界線の一部が抜け落ちているので、どの部分に探索物体である人Hが存在するのか分からなくなっている。そこで、演算処理部2では探索画像に膨張処理を施して、細切れに分割された境界線Eを膨張させることで、図8(b)に示すようなブロックBを形成しており、この画像中のブロックBに外接する外接長方形を求める。また、1つ1つのブロックBを含む外接長方形がある程度近接している場合には、これら複数の外接長方形を1つに纏めており、このようにして求めた外接長方形の領域を検知対象領域C1〜C3としている。なお、検知対象領域C1〜C3を決定する場合にはある程度の余裕を見込むためにブロックBに外接する外接長方形よりも大きめの領域を設定している。例えば図8(a)に示す探索画像では人体の境界線の一部しか現れておらず、頭部及び脚部の境界線Eが細切れになっているが、膨張処理を行うことで細切れになった境界線Eを一体化して、人体の境界線を復元することができる。また細切れになった人体の境界線Eを膨張させて複数のブロックBを形成した場合、これらのブロックBをそれぞれ含む複数の外接長方形は互いに近接しているので、人体を含む検知対象領域C1は最終的に1つの領域に纏められる。尚、図8の例では検知対象領域C1…を矩形状としているが、検知対象領域C1…の形状を矩形状に限定する趣旨のものではなく、図7に示すように探索物体を曲線で囲んだような領域としても良い。
【0034】
ところで、探索物体の停止時間が長くなって静止状態になると、移動部位の画像と停止部位の画像との論理和の画像(探索画像)に探索物体が現れなくなる。また、監視エリア内に進入した人体が、手だけを動かしているような微動状態に移行すると、最初は全身が探索画像に現れていたのに、微動状態に移行するにしたがって探索画像に現れる検知対象領域の面積が小さくなってしまう。逆に、探索物体が移動していると探索画像中に検知対象領域が大きく現れることになるので、このような現象を利用して探索対象の挙動を判断することができる。
【0035】
すなわち、演算処理部2では、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば、この検知対象領域の探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とし、この検知対象領域で後述のテンプレートマッチングを行う。一方、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きい場合、演算処理部2はこの検知対象領域の探索物体が移動していると判断し、今回求めた検知対象領域でテンプレートマッチングを行う。尚、本実施形態の物体検出装置は探索物体以外に移動する物体が殆ど存在しないような環境で使用されるものであり、前回抽出した検知対象領域と今回抽出した検知対象領域とが重なっている場合は同じ探索物体であると判断している。
【0036】
例えば、図11(a)は探索画像中の検知対象領域を示しており、この例では今回求めた検知対象領域N1が前回の検知対象領域N0に含まれているので、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたものと判断して、前回の検知対象領域N0を探索物体の存在する領域N1’とし(図11(b)参照)、この検知対象領域N1’内でテンプレートマッチングを行う。また、図12(a)に示すように、今回求めた検知対象領域N1と前回の検知対象領域N0とが重なり且つ前回の検知対象領域N0の面積に対する今回の検知対象領域N1の面積の比率が所定の閾値よりも小さい場合は、立ち止まるか又は着席するなどして静止していた人物が手、足、頭などの身体の一部分を動かしたか、移動を始めたがその移動量が小さいものと判断して、前回の検知対象領域N0を探索物体の存在する領域N1’とし(図12(b)参照)、この検知対象領域N1’内でテンプレートマッチングを行う。また、図示は省略するが今回求めた検知対象領域N1と前回の検知対象領域N0とで重なり合う部分が全く存在しない場合は、探索物体が全くの静止状態となって、探索画像中に探索物体が現れなくなったものと判断し、前回の検知対象領域N0を探索物体の存在する領域として、この領域内でテンプレートマッチングを行う。
【0037】
一方、図13(a)に示すように、今回求めた検知対象領域N1が前回の検知対象領域N0と重なり、且つ、前回の検知対象領域N0に対する面積の比率が所定の閾値よりも大きい場合、演算処理部2は、立ち止まるか又は着席するなどして静止していた人物が移動を始めたと判断し、今回求めた検知対象領域N1に探索物体が存在すると判断して(図13(b)参照)、この検知対象領域N1でテンプレートマッチングを行う。
【0038】
このように、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行ったり、重心移動計算を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。尚、探索物体の挙動を判断するために重心移動計算を行う場合には、濃淡画像から作成した輪郭画像をもとに物体の重心位置を算出した後に、重心位置の移動量を計算するのであるが、輪郭画像を作成する段階で輪郭の一部が消滅することもあるため、重心位置を正確に算出することができず、また輪郭の消滅した部分を補間するなどして重心位置を算出するために、算出処理の手間がかかるが、本実施形態では今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域や、探索物体が移動しているか静止しているかを判断しているので、簡単な処理で探索物体の挙動を判断できる。
【0039】
また、探索画像中の検知対象領域は移動部位と停止部位との論理和で構成されているので、演算処理部2が、検知対象領域に含まれる移動部位の画素数と停止部位の画素数とを比較し、移動部位の画素数の方が多ければ探索物体が移動し、停止部位の画素数の方が多ければ探索物体が静止していると判断するようにしても良く、物体の輪郭から判断しているので、従来のようにフレーム間差分方法或いは背景差分方法により抽出した領域の重心位置の移動距離から判断する場合に比べて、簡単な処理で探索物体の挙動を判断できる。
【0040】
例えば時刻tn−3では図7(a)に示す探索画像中の検知対象領域C1に含まれる移動部位の画素数の方が停止部位の画素数よりも多いので、演算処理部2は探索対象が移動していると判断する。また、時刻tn−1では図7(c)に示す探索画像中の検知対象領域C1に含まれる移動部位の画素数が停止部位の画素数よりも少ないので、演算処理部2は探索物体が静止していると判断する。
【0041】
上述のようにして演算処理部2は探索画像から探索物体の存在すると思われる検知対象領域を求めており、求められた検知対象領域の画像と探索物体のテンプレート画像とのマッチング処理を行って、両者の相関値を求めている。例えば時刻tn−2では、演算処理部2がこの時刻における探索画像(図7(b)参照)の検知対象領域C11,C12に所定のテンプレート画像を重ね合わせ、テンプレート画像の位置を1画素ずつずらしながら、相関値を検出する。そして、この検知対象領域内で最も高い相関値が予め設定された閾値を超えていれば、人が存在しているものと判断し、この相関値に対応する検知対象領域を人が存在する位置に設定している。尚、マッチング処理を行う際には、検知対象領域の範囲で輪郭画像とテンプレート画像とのマッチング処理を行っても良いし、移動画像と停止画像との論理和の画像とテンプレート画像とのマッチング処理を行うようにしても良い。
【0042】
ここで、探索物体が人の場合には、人型のテンプレート画像を用いてマッチングを行うことで、人間以外を抽出することがなくなり、正しく人間を抽出できる。また、監視エリアが図10に示すような通路の場合には、そこで人が寝ていることを考慮する必要がなく、したがって歩行中の人間の形をシンボル化したテンプレート画像Ta(図9参照)を用いて検知対象領域内を探索し、検知対象領域内の画像との相関値を求めることで、人間以外のものを抽出するのを防止できる。また、道路を監視エリアとして車輌を検出する場合には、道路とカメラとの位置関係を一旦決めれば、カメラに映る車輌の形状は略同じ形状となるので、走行中の車輌の代表的な形状をしたテンプレート画像を用いることで、車輌以外のものを検出するのを防止できる。
【0043】
尚、一般住宅を監視エリアとして人を検出する場合には、人の姿勢(立っている場合、座っている場合、寝ている場合)が大きく変化するため、次回のマッチング処理で使用するテンプレート画像を、毎回の画像をもとに作成するのが望ましいが、本実施形態のように探索物体である人体や車輌の形状が殆ど変化しない場合には固定のテンプレート画像を用いてマッチング処理を行うことができ、テンプレート画像を更新する手間が省け、また使用するテンプレート画像の数が少なくて済むので、テンプレート画像を記憶させるメモリに記憶容量の小さいものを使用できる。
【0044】
尚、輪郭画像から探索物体の存在すると思われる検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用い、輪郭画像から動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体が移動しているか、静止しているかを判定するようにしても良いし、濃淡画像から探索物体の存在すると思われる検知対象領域を抽出するようにしても良い。
【0045】
(実施形態2)
本発明の実施形態2を図14乃至図20を参照して説明する。尚、物体検出装置の基本的な構成及びその動作は実施形態1と同様であるので、同一の構成要素には同一の符号を付して、その説明は省略する。
【0046】
本実施形態の物体検出装置は、実施形態1で説明した物体検出方法により抽出した前回の検出対象領域と今回の検知対象領域とをもとに、探索物体が移動しているか静止しているかを判断している。尚、今回の検知対象領域は、監視エリアの画像(濃淡画像或いは輪郭画像)から動きのある部分を抽出したものである。
【0047】
すなわち、前回の検知対象領域と今回の検知対象領域とが重なっている場合、演算処理部2は、重なっている2つの領域が同一の探索物体を表していると判断して、この物体を追跡しており、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更している。尚、検知対象領域の探索物体が移動物体であるか、静止物体であるかの判定は実施形態1で説明した方法により行う。
【0048】
例えば、図14(a)に示すように前回抽出時に移動物体であると判断された検知対象領域U1と今回抽出した検知対象領域U2の一部が重なっている場合は、歩行中の1乃至複数の人物が移動している、又は、着席している人物が体を大きく動かしているといった場面が想定でき、演算処理部2は、探索物体が検知対象領域U2に移動したと判断して、探索物体を追跡する。つまり、演算処理部2は、探索物体の存在する領域が検知対象領域U1から検知対象領域U2に移動したものと判断する(図14(b)参照)。
【0049】
また、図15(a)に示すように前回抽出時に移動物体であると判断された検知対象領域U1が、今回抽出した2つの検知対象領域U2,U3の一部にそれぞれ重なっている場合は、歩行中の複数の人物が2つのグループに分かれて別々の方向に移動しているといった場面を想定でき、演算処理部2は、探索物体が検知対象領域U2,U3に移動したものと判断して、探索物体を追跡する。つまり、演算処理部2は、探索物体の存在する領域が検知対象領域U1から検知対象領域U2,U3に移動したものと判断する(図15(b)参照)。
【0050】
また、図16(a)に示すように、前回撮像時に静止物体であると判断された検知対象領域U1と今回抽出した検知対象領域U2の一部が重なっている場合、静止していた人物が動き始めた、又は、立ち止まっているか或いは着席中の人物が手、足、上半身を大きく動かしたという場面を想定でき、演算処理部2は、探索物体が検知対象領域U2に移動したものと判断して、探索物体を追跡する。つまり、演算処理部2は、探索物体の存在する領域が検知対象領域U1から検知対象領域U2に移動したものと判断する(図16(b)参照)。
【0051】
また、図17(a)に示すように前回撮像時に静止物体であると判断された検知対象領域U1の一部と移動物体であると判断された別の検知対象領域U2の一部とに、今回抽出した検知対象領域U3が重なっている場合、立ち止まっているか又は着席中の人物に別の人物が近寄ってきたような場面を想定でき、演算処理部2は、検知対象領域U1に探索物体が静止し続けるとともに、検知対象領域U2にいた探索物体が検知対象領域U3に移動したものと判断して、追跡を行う。つまり、演算処理部2は、探索物体が前回求めた検知対象領域U1と今回求めた検知対象領域U3とにそれぞれ存在するものと判断する(図17(b)参照)。
【0052】
また、図18(a)に示すように前回撮像時に静止物体であると判断された検知対象領域U1の一部、及び、前回撮像時に静止物体であると判断された別の検知対象領域U2の一部に今回抽出した検知対象領域U3が重なっている場合、静止していた複数の人物の何れかが動き始めた、又は、立ち止まっているか或いは着席中の複数の人物の何れかが手、足、上半身を大きく動かしたというような場面を想定でき、演算処理部2は、前回の2つの検知対象領域U1,U2に探索物体が存在するものと判断して、追跡を行う(図18(b)参照)。
【0053】
また、図19(a)に示すように前回抽出時に静止物体であると判断された検知対象領域U1(第1の検知対象領域)の一部と移動物体であると判断された別の検知対象領域U2(第2の検知対象領域)の一部とに、今回抽出した検知対象領域U3(第3の検知対象領域)が重なっており、さらに検知対象領域U1の一部に今回抽出した別の検知対象領域U4(第4の検知対象領域)が重なっている場合、立ち止まっているか又は着席中の人物が動き始めるとともに、別の人物が近寄ってきたような場面を想定でき、演算処理部2は、検知対象領域U1にいた探索物体が検知対象領域U4に移動するとともに、検知対象領域U2にいた探索物体が検知対象領域U3に移動したものと判断して、それぞれ追跡する。つまり、演算処理部2は、探索物体が検知対象領域U3,U4に存在するものと判断する(図19(b)参照)。
【0054】
このように演算処理部2は、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更しており、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体である人間の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、また従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【0055】
また演算処理部2では、ある時点で抽出された第1の検知対象領域の探索物体を静止物体であると判断した場合に、第1の検知対象領域にそれ以後に抽出された第2の検知対象領域が重なった場合、第2の検知対象領域が重なる直前の第1の検知対象領域の画像を保持させておき、第2の検知対象領域との重なりが無くなった時点で、この時点の第1の検知対象領域の画像と、第2の検知対象領域が重なる直前の第1の検知対象領域の画像とのマッチング処理を行って相関値を求め、この相関値が所定の閾値よりも高ければ前回静止物体と判断した探索物体は第1の検知対象領域に留まっていると判断し、相関値が所定の閾値よりも低ければ前回静止物体と判断した探索物体が第2の検知対象領域の物体とともに第1の検知対象領域の外側へ移動するか、或いは第2の検知対象領域の物体とは別の方向へ移動して、第1の検知対象領域の外側へ移動したと判断している。
【0056】
例えば、図20(a)〜(c)に示すように時刻tn−2と時刻tn−1と時刻tnとにおける検知対象領域が変化した場合、時刻tn−2では静止物体であると判断した検知対象領域M1(第1の検知対象領域)と移動物体であると判断した検知対象領域M2(第2の検知対象領域)とが重なっていないので、演算処理部2は検知対象領域M1の画像を画像記憶部3に記憶させて、順次更新している。次に、時刻tn−1では移動物体であると判断した検知対象領域M2’が移動し(時刻tn−2における位置を点線で示す)、静止物体であると判断した検知対象領域M1’と一部分が重なっているので、演算処理部2は静止物体の画像の記憶更新を止めて、直前(時刻tn−2)の静止物体の画像を保持する。その後の時刻tnでは移動物体であると判断した検知対象領域M2″がさらに移動し(時刻tn−2における位置を点線で示す)、静止物体であると判断した検知対象領域M1との重なりが無くなるので、演算処理部2は、この時点における静止物体の検知対象領域M1″の画像と、画像記憶部3に記憶された時刻tn−2における静止物体の検知対象領域M1の画像とのパターンマッチングを行って、両者の相関値を計算して、所定の設定値との高低を比較する。そして、演算処理部2では、相関値が所定の設定値よりも高ければ、静止物体が検知対象領域M1″に留まっていると判断し、相関値が設定値よりも低ければ、前回静止物体と判断した探索物体が検知対象領域M1″の外側に移動していったと判断する。例えば、他に検知対象領域が無ければ、検知対象領域M1″を通り過ぎていった移動物体とともに前回静止物体と判断した探索物体が移動していったと判断し、新たに検知対象領域が現れれば、その検知対象領域に前回静止物体と判断した探索物体が移動していったと判断する。尚、図20(c)の場合は検知対象領域に物体が静止しているので、相関値が高くなっている。
【0057】
ここで、監視エリアを撮像するカメラ1の配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第1の検知対象領域に第2の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第1の検知対象領域の画像を保持しておき、第1の検知対象領域と第2の検知対象領域との重なりがなくなった時点で(静止物体が移動物体の影から再び現れた時点で)、この時の第1の検知対象領域の画像と、第2の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、検知対象領域の外側へ移動したかを確実に判定できる。
【0058】
尚、本実施形態では実施形態1で説明した方法により監視エリアの画像から探索物体の存在する検知対象領域を抽出しているが、検知対象領域を抽出する方法を上記の方法に限定する趣旨のものではなく、背景差分方法やフレーム間差分方法を用いて監視エリアの画像から探索物体の存在する検知対象領域を抽出し、前回求めた検知対象領域と今回求めた検知対象領域とをもとに探索物体の位置や挙動を判定するようにしても良い。
【0059】
(実施形態3)
本発明の実施形態3について説明する。尚、物体検出装置の構成及び動作は実施形態1と同様であるので、図示及び説明は省略する。
【0060】
この物体検出装置を一般住宅で使用する場合には、カメラ1の撮像する監視エリア内に人間以外にも犬猫などの小動物が存在する可能性があり、また窓を開けていると風が吹き込んできてカーテンが揺れたり、雲の動きによる日照の変化などで、探索物体である人間以外にも移動する物体が撮像される可能性がある。それに対して、本実施形態は例えばオフィスなどで人を検出するために用いられるものであり、オフィス内を人間以外の犬猫のような小動物が動き回ることは殆どないので、人間以外で自然に動く物体(可動物)は殆ど無いと考えて良く、机上のOA機器のモニタ画面のちらつきや照明器具の点灯/消灯などを考慮するだけで良い。
【0061】
照明器具の点灯/消灯の変化は、消灯状態から点灯状態に切り替わった瞬間だけ移動画像に現れ、連続して移動画像に現れることはなく、例えば図2(a)〜(d)に示すように時刻tn−2において照明器具Lが自動点灯し、点灯後一定の状態で点灯している場合、図4及び図5に示すように、時刻tn−2では照明器具Lの照明範囲を示す線が移動画像に現れるが(図5(b)参照)、時刻tn−1では照明器具Lの照明範囲を示す線が停止画像に現れ、移動画像には現れていない(図4(c)及び図5(c)参照)。したがって、照明器具Lの光に相当する検知対象領域は、点灯した時のみ移動画像に現れ、その後の撮像時には停止画像に1回だけ現れることになる。
【0062】
一方、オフィス内にいる人物は動き続けているので、移動画像に現れ続けるとともに、例え一時的に静止したとしても過去に移動していたという履歴を辿ることで、人や車輌などの可動物体と照明のオン/オフとを簡単に区別することができる。
【0063】
尚、室内で用いる場合は人間以外の小動物が動き回ることは殆どないので、テンプレートマッチングが不要になる。
【0064】
而して、探索画像中の検出対象領域が連続して所定回数移動した場合は、演算処理部2が、この検出対象領域に人や車輌のような可動物の探索物体が存在するものと判断するようにすれば、一定期間以上連続して移動することから可動物と照明器具Lの点灯/消灯とを簡単に判別できる。
【0065】
【発明の効果】
上述のように、請求項1の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域が前回の検知対象領域に含まれる場合、又は、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも小さい場合、又は、今回求めた検知対象領域と前回の検知対象領域とで重なり合う部分が全く存在しない場合の何れかであれば探索物体が静止していると判断して、前回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域との関係から、探索物体の存在する検知対象領域を判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体の存在する領域を検出できるという効果がある。
【0066】
請求項2の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像又は濃淡画像から作成した物体の輪郭を示す輪郭画像の何れかから動きのある領域を抽出することによって探索物体の存在すると思われる検知対象領域を作成する段階と、今回求めた検知対象領域と前回の検知対象領域とが重なり且つ前回の検知対象領域の面積に対する今回の検知対象領域の面積の比率が所定の閾値よりも大きければ探索物体が移動していると判断して、今回の検知対象領域を探索物体が存在している領域とする段階と、からなることを特徴とし、今回求めた検知対象領域と前回の検知対象領域と面積の比率から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。
【0067】
請求項3の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第1の輪郭画像と今回作成した第2の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第2の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在する検知対象領域を作成する段階と、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小を比較することによって当該検知対象領域内の探索物体が移動しているか静止しているかを判断する段階とからなることを特徴とし、検知対象領域に含まれる移動部位の画素数と停止部位の画素数との大小から、探索物体が移動しているか否かを判断しているので、従来のように前回と今回の検知対象領域でマッチング処理を行うなどして探索物体の挙動を判断する場合に比べて、簡単な処理で探索物体が移動していると判断できるという効果がある。そのうえ、探索物体の内、移動している部位の画像と停止している部位の画像をそれぞれ求め、両者の画像から探索物体の全体の画像を求めているので、フレーム間差分方法のように移動している部位のみを抽出する場合に比べて、探索物体の判別を容易に行うことができ、且つフレーム間差分方法のように探索物体の画像が2重にだぶって抽出されることはないから、テンプレートマッチングなどの処理を容易に行え、さらに背景差分方法のように探索物体が存在しない状態の背景画像を予め撮影しておく必要がないから、背景画像を撮像する手間を無くすことができる。
【0068】
請求項4の発明は、請求項1乃至請求項3の何れか1つの発明において、前回求めた検知対象領域と今回求めた検知対象領域とが重なっていれば同一の探索物体であると判断するとともに、前回求めた検知対象領域の探索物体が移動物体と判断されたか、静止物体と判断されたかに応じて、前回及び今回の検知対象領域から探索物体の現在位置を求めるための判定条件を変更することを特徴とし、探索物体が移動している場合と静止している場合とでは次の行動が異なってくるので、前回の挙動をもとに判定条件を変更することで、探索物体の動きに即した追跡を行えるから、より正確に探索物体を追跡でき、且つ、従来のようにテンプレートマッチングを行って探索物体を追跡する場合に比べて簡単な処理で探索物体を検出できる。
【0069】
請求項5の発明は、請求項4の発明において、前回の検知対象領域と今回の検知対象領域が重なり、且つ、今回の検知対象領域が前回の別の検知対象領域に重なっていなければ、今回の検知対象領域に重なっている前回の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項4の発明と同様の効果がある。
【0070】
請求項6の発明は、請求項4の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回移動物体と判断された別の検知対象領域に重なっていれば、前回求めた別の検知対象領域の探索物体が今回の検知対象領域に移動したと判断して追跡することを特徴とし、請求項4の発明と同様の効果がある。
【0071】
請求項7の発明は、請求項4の発明において、前回求めた検知対象領域の探索物体が静止物体と判断されている場合、前回の検知対象領域と今回の検知対象領域とが重なるとともに、今回の検知対象領域が前回静止物体と判断された別の検知対象領域に重なっていれば、前回求めた2つの検知対象領域に探索物体がそれぞれ留まっていると判断して追跡することを特徴とし、請求項4の発明と同様の効果がある。
【0072】
請求項8の発明は、請求項4の発明において、前回抽出時に静止物体であると判断された第1の検知対象領域と移動物体であると判断された第2の検知対象領域とに今回抽出した第3の検知対象領域が重なり、且つ、第1の検知対象領域に今回抽出した第4の検知対象領域が重なっていれば、第1の検知対象領域にいた探索物体が第4の検知対象領域に移動すると共に、第2の検知対象領域にいた探索物体が第3の検知対象領域に移動したものと判断して追跡することを特徴とし、請求項4の発明と同様の効果がある。
【0073】
請求項9の発明は、請求項4の発明において、ある時点で抽出された第1の検知対象領域の探索物体が静止物体であると判断された場合に、第1の検知対象領域にそれ以後に抽出された第2の検知対象領域が重なった場合、第2の検知対象領域が重なる直前の第1の検知対象領域の画像を保持させておき、第2の検知対象領域との重なりが無くなった時点で、この時点の第1の検知対象領域の画像と、第2の検知対象領域が重なる直前の第1の検知対象領域の画像とのマッチング処理を行って両者の相関値を求め、この相関値が所定の閾値よりも高ければ静止物体は第1の検知対象領域に留まっていると判断し、相関値が前記閾値よりも低ければ静止物体が第1の検知対象領域の外側に移動したと判断することを特徴とし、監視エリアを撮像するカメラの配置によっては、静止物体の前を移動物体が移動する際に、静止物体が移動物体の影に隠れてしまうが、第1の検知対象領域に第2の検知対象領域が重なる前、つまり静止物体が移動物体に隠れる前の第1の検知対象領域の画像を保持しておき、第1の検知対象領域と第2の検知対象領域との重なりがなくなった時点で(静止物体が移動物体の影から再び現れた時点で)、この時の第1の検知対象領域の画像と、第2の検知対象領域と重なる直前の画像とのマッチング処理を行い、相関値を求めているので、この相関値から静止物体が留まっているか、移動していったかを確実に判定できる。
【0074】
請求項10の発明は、所定の監視エリアの画像から人や車輌などの探索物体を検出する物体検出方法であって、監視エリアの濃淡画像を逐次撮像する段階と、上記濃淡画像から物体の輪郭を示す輪郭画像を作成する段階と、前回作成した第1の輪郭画像と今回作成した第2の輪郭画像とで差分の存在しない領域を抽出することによって、この間で動いていない静止部位の画像を作成する段階と、上記第2の輪郭画像と今回作成した静止部位の画像とで差分の存在する領域を抽出することによって、この間に移動した探索物体の移動部位の画像を作成する段階と、前回作成した静止部位の画像には存在せず今回作成した静止部位の画像に存在する領域を抽出することによって、この間で停止している探索物体の停止部位の画像を作成する段階と、前記移動部位の画像と前記停止部位の画像との論理和の画像に膨張処理を施すことによって探索物体の存在すると思われる検知対象領域を作成する段階と、作成した検知対象領域が連続して所定回数以上移動した場合は当該検知対象領域を人や車輌などの可動物からなる探索物体が存在する領域とする段階とからなることを特徴とし、例えば監視エリア内にいる人や車輌などの可動物が動き続けている場合、可動物よりなる探索物体は移動部位の画像に連続して現れることになるので、移動部位の画像と停止部位の画像との論理和の画像も連続して現れることになる。したがって、移動部位の画像と停止部位の画像との論理和の画像から作成した検知対象領域が所定回数移動することから、この検知対象領域が可動物の存在する領域であると判断することができ、簡単な処理で可動物の存在する領域を検出することができる。
【図面の簡単な説明】
【図1】実施形態1の画像処理方法を用いる画像処理装置の概略構成図である。
【図2】(a)〜(d)は各時刻における入力画像の説明図である。
【図3】(a)〜(d)は各時刻における輪郭画像の説明図である。
【図4】(a)〜(d)は各時刻における静止物体の抽出画像の説明図である。
【図5】(a)〜(d)は各時刻における移動物体の抽出画像の説明図である。
【図6】(a)〜(d)は各時刻における静止物体の抽出画像の説明図である。
【図7】(a)〜(d)は各時刻における探索画像の説明図である。
【図8】(a)(b)は検知対象領域を作成する手順を説明する説明図である。
【図9】同上のテンプレート画像の説明図である。
【図10】同上の監視エリアの説明図である。
【図11】(a)(b)は同上の動作を説明する説明図である。
【図12】(a)(b)は同上の動作を説明する説明図である。
【図13】(a)(b)は同上の動作を説明する説明図である。
【図14】(a)(b)は実施形態2の物体検出装置の動作を説明する説明図である。
【図15】(a)(b)は同上の動作を説明する説明図である。
【図16】(a)(b)は同上の動作を説明する説明図である。
【図17】(a)(b)は同上の動作を説明する説明図である。
【図18】(a)(b)は同上の動作を説明する説明図である。
【図19】(a)(b)は同上の動作を説明する説明図である。
【図20】(a)〜(c)は同上の動作を説明する説明図である。
【図21】(a)〜(c)は背景差分方法を用いた画像処理方法の説明図である。
【図22】(a)〜(c)はフレーム間差分方法を用いた画像処理方法の説明図である。
【図23】(a)(b)は従来の探索物体が移動しているか静止しているかを判断する判断方法の説明図である。
【図24】従来の探索物体の追跡方法を説明する説明図である。
【符号の説明】
1 カメラ
2 演算処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object detection method for extracting a search object such as a person or a vehicle from an image of a predetermined monitoring area and automatically detecting the movement or presence of the search object.
[0002]
[Prior art]
Conventionally, techniques such as a background subtraction method and an inter-frame difference method have been used to detect a search object such as a person or a vehicle from an image of a predetermined monitoring area.
[0003]
First, the background subtraction method will be described with reference to FIGS. In this method, an image of the monitoring area A when there is no search object (see FIG. 21A) is captured in advance, and this image is stored as a background image. Thereafter, the image of the monitoring area A is sequentially captured, a difference from the background image is obtained, and it is determined that the area where the difference has occurred is a portion where an object not in the background has entered. For example, when a person H enters the monitoring area A, when a difference between the image of the monitoring area A (see FIG. 21B) and the background image at this time is calculated, a
[0004]
Next, the inter-frame difference method will be described with reference to FIGS. In this method, images of the monitoring area A are sequentially captured, and a search object is detected by calculating a difference between two images captured at different times. FIG. 22A shows an image of the monitoring area A taken at a certain time, and FIG. 22B shows an image of the monitoring area A taken at another time thereafter. Is a difference image, and a difference binary image as shown in FIG. 22C is obtained, so that it can be detected from this image that any object is moving (for example, see Patent Document 2).
[0005]
Then, when the detection target area where the search object (for example, a person) is considered to be present is extracted from the image of the monitoring area A by using the above-described method, as shown in FIGS. The position of the center of gravity (X t , Y t ) And the position of the center of gravity (X t + 1 , Y t + 1 ) Is determined, and by comparing the amount of movement with a predetermined threshold, it is possible to determine whether the searched object is a moving object or a stationary object. It has been proposed (for example, see Patent Document 3). Further, as shown in FIG. 24, since the previously extracted area S1 and the currently extracted area S2 overlap, a method has been proposed in which it is determined that they are the same person and this person is tracked.
[0006]
[Patent Document 1]
JP-A-11-41589 (paragraph numbers [0002] [0003])
[Patent Document 2]
JP-A-6-201715 (
[Patent Document 3]
JP 2001-8981 A (paragraph numbers [0009] [0010] [0021])
[0007]
[Problems to be solved by the invention]
In the search object tracking method described above, it is determined whether the search object is moving or stationary based on the amount of movement between the center of gravity of the previously extracted area and the center of gravity of the currently extracted area. Since the position of the center of gravity of the extraction area must be calculated every time, there is a problem that the amount of calculation is enormous, and the tracking of the search object cannot be performed by simple processing.
[0008]
Further, since the area where the extracted person is present overlaps with the previous area, it is previously determined that only one person exists in the monitoring area A by another means in the method of determining and tracking the same person. If it is determined that the area where the person exists is extracted, it can be determined that the area is where the same person exists. Therefore, it is not necessary to substantially perform the tracking process. Exists, even if the area extracted last time and the area extracted this time overlap, the same person does not necessarily exist in the overlapped area, and it seems that another person approaches one person It is not possible to judge that the same person exists in the overlapping area just because the areas overlap in the previous time and this time because there may be some scenes.
[0009]
In addition, the image of the previously extracted area is stored, and when the current extracted area appears near the previous extracted area, template matching is performed on the current extracted area and the previous extracted area, respectively, and the correlation value is calculated. There is also a method in which a person exists on the higher side, but when the person moves, the shape changes greatly depending on the direction, so it is difficult to determine the threshold value of the correlation value, and the difference between the previous extraction area and the current extraction area Since both must perform template matching, there has been a problem that the amount of calculation becomes enormous. Further, since only the changed portion can be extracted by the inter-frame difference method, the position of the center of gravity of the search object cannot be calculated accurately.
[0010]
The present invention has been made in view of the above problems, and an object of the present invention is to provide an object detection method capable of detecting the movement and presence of a search object from a monitor area image by simple processing.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, the method comprising: Generating a detection target area where a search object is considered to be present by extracting a moving area from either the grayscale image or a contour image indicating the contour of the object generated from the grayscale image; When the target area is included in the previous detection target area, or when the detection target area obtained this time and the previous detection target area overlap and the ratio of the area of the current detection target area to the area of the previous detection target area is predetermined. Is smaller than the threshold value, or if there is no overlapping portion between the detection target area obtained this time and the previous detection target area at all, the search object is stopped. It is determined that that characterized the steps of the area where the search object of the previous detection subject region is present, in that it consists of.
[0012]
According to the second aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein the step of sequentially capturing a grayscale image of the monitoring area includes the steps of: Creating a detection target area where a search object is considered to exist by extracting a moving area from any of the contour images showing the contour of the created object, and a detection target area obtained this time and a previous detection target area And if the ratio of the area of the current detection target area to the area of the previous detection target area is larger than a predetermined threshold value, it is determined that the search object is moving, and the search object is determined to be the current detection target area. And setting the area as an existing area.
[0013]
According to the third aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a grayscale image of the monitoring area, And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Extracting a region that does not exist in the created static part image but exists in the static part image created this time, thereby creating an image of the stop part of the search object that is stopped during this time; Creating a detection target area where the search object is present by performing an expansion process on the image of the logical sum of the image of the moving part and the image of the stop part, and the number of pixels of the moving part included in the detection target area Determining whether the search object in the detection target area is moving or stationary by comparing the number of pixels with the number of pixels of the stop part.
[0014]
According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, if the previously determined detection target area and the currently determined detection target area overlap, it is determined that they are the same search object. In addition, the determination condition for obtaining the current position of the search object from the previous and current detection target areas is changed according to whether the search object in the detection target area obtained last time is determined to be a moving object or a stationary object. It is characterized by doing. Here, the stationary object refers to a search object such as a person, which is a search object in which a part of the body is slightly moving and stays in a certain area. The moving object refers to a search object that is moving in an area by walking with a search object such as a person.
[0015]
According to a fifth aspect of the present invention, in the fourth aspect of the present invention, if the previous detection target area overlaps with the current detection target area and the current detection target area does not overlap with another previous detection target area, It is determined that the search object in the previous detection target area overlapping the detection target area has moved to the current detection target area and is tracked.
[0016]
In the invention of
[0017]
In the invention of claim 7, in the invention of claim 4, when the search object of the previously detected detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other, and If the detection target area of the above overlaps with another detection target area previously determined to be a stationary object, it is determined that the search object remains in each of the two detection target areas obtained last time, and is tracked. .
[0018]
According to an eighth aspect of the present invention, in the fourth aspect of the present invention, the present extraction includes the first detection target area determined to be a stationary object and the second detection target area determined to be a moving object during the previous extraction. If the detected third detection target area overlaps and the first detection target area overlaps the fourth detection target area extracted this time, the search object in the first detection target area is determined as the fourth detection target. In addition to moving to the area, it is determined that the search object located in the second detection target area has moved to the third detection target area and is tracked.
[0019]
According to the ninth aspect of the present invention, in the fourth aspect of the present invention, when it is determined that the search object in the first detection target area extracted at a certain point in time is a stationary object, the first detection target area is thereafter added to the first detection target area. When the second detection target area extracted in the above is overlapped, the image of the first detection target area immediately before the second detection target area overlaps is held, and the overlap with the second detection target area is eliminated. At this time, a matching process is performed between the image of the first detection target region at this time and the image of the first detection target region immediately before the second detection target region overlaps to obtain a correlation value between the two. If the correlation value is higher than a predetermined threshold value, it is determined that the stationary object remains in the first detection target area. If the correlation value is lower than the threshold value, the stationary object has moved outside the first detection target area. Is determined.
[0020]
According to a tenth aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area, wherein a step of sequentially capturing a grayscale image of the monitoring area, And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Creating an image of a stopped part of the search object stopped during this time by extracting a region that is not present in the created still part image but present in the created still part image. Creating a detection target area in which a search object seems to be present by performing an expansion process on an image of the logical sum of the image of the moving part and the image of the stop part, and the created detection target area is continuously And a step of setting the detection target area as an area where a search object made of a movable object such as a person or a vehicle exists when the object has moved a predetermined number of times or more.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
An object detection device using the object detection method of the present invention will be described with reference to the drawings.
[0022]
(Embodiment 1)
FIG. 1 shows a block diagram of the object detection device of the present embodiment. This object detection device is used in an environment where almost no moving object exists other than a search object such as a person or a vehicle, and detects a search object from an image of a predetermined monitoring area. A
[0023]
An object detection method by the object detection device will be described with reference to FIGS. FIG. 2A shows the time t when the person H is falling down. n-3 In FIG. 2, a grayscale image (input image) captured by the
[0024]
The
[0025]
When a video signal from the
[0026]
For example, FIG. 2A to FIG. n-3 ~ T n 3 (a) to 3 (d) show contour images obtained from the monochrome grayscale images at each time, and FIGS. 3 (a) to 3 (d) show contour images obtained from the monochrome grayscale images at each time. The solid line in (d) shows the contour of the object obtained as a result of the binarization processing. In the examples of FIGS. 2 and 3, it is difficult to distinguish the torso portion or the face of the human body H from the background, so that the torso portion or the face contour is detected in the contour images of FIGS. The image is as if the head and limbs were separated apart.
[0027]
Next, the
[0028]
In addition, the
[0029]
Further, the
[0030]
When extracting the stop part of the search object, the
[0031]
Thereafter, the
[0032]
Next, a method for detecting the presence or absence of a search object and its position based on the search image obtained by the above-described processing will be described below.
[0033]
First, the
[0034]
By the way, when the stop time of the search object becomes long and the search object becomes stationary, the search object does not appear in the image of the logical sum of the image of the moving part and the image of the stop part (search image). Also, when the human body enters the surveillance area and moves to the fine movement state where only the hand is moving, the whole body appears at first in the search image, but it appears in the search image as it moves to the fine movement state. The area of the target region is reduced. Conversely, if the search object is moving, the detection target area will appear large in the search image, and thus the behavior of the search target can be determined using such a phenomenon.
[0035]
In other words, in the
[0036]
For example, FIG. 11A shows a detection target area in a search image. In this example, since the detection target area N1 obtained this time is included in the previous detection target area N0, stop or sit down. It is determined that the person who has been stationary has moved a part of the body such as the hand, the foot, or the head, and the previous detection target area N0 is set as the area N1 ′ where the search object exists (see FIG. 11B). ), Template matching is performed in the detection target area N1 ′. Further, as shown in FIG. 12A, the detection target area N1 obtained this time and the previous detection target area N0 overlap and the ratio of the area of the current detection target area N1 to the area of the previous detection target area N0 is If it is smaller than the predetermined threshold, it is determined that the person who was stationary by stopping or sitting down moved a part of the body such as hand, foot, head, etc., or started moving, but the movement amount was small. Then, the previous detection target region N0 is set as a region N1 'where the search object is present (see FIG. 12B), and template matching is performed within the detection target region N1'. Further, although not shown, if there is no overlapping portion between the detection target area N1 obtained this time and the previous detection target area N0, the search object is in a completely stationary state, and the search object is not included in the search image. It is determined that the object no longer appears, and the template matching is performed in the previous detection target area N0 as the area where the search object is located.
[0037]
On the other hand, as shown in FIG. 13A, when the detection target area N1 obtained this time overlaps the previous detection target area N0 and the ratio of the area to the previous detection target area N0 is larger than a predetermined threshold,
[0038]
As described above, in the present embodiment, it is determined from the relationship between the detection target area obtained this time and the previous detection target area whether the detection target area where the search object is present or the search object is moving or stationary. Therefore, the behavior of the search object can be determined by simple processing compared to the case where the search processing is determined by performing matching processing in the previous and current detection target areas or calculating the center of gravity movement. I can judge. When calculating the center of gravity movement to determine the behavior of the search object, the amount of movement of the center of gravity is calculated after calculating the center of gravity of the object based on the contour image created from the grayscale image. However, since a part of the contour may disappear at the stage of creating the contour image, the position of the center of gravity cannot be calculated accurately, and the position of the center of gravity is calculated by interpolating the part where the contour has disappeared. Therefore, in the present embodiment, the calculation process takes time, but in the present embodiment, based on the relationship between the currently detected detection target region and the previous detection target region, the detection target region in which the search object exists, or whether the search object is moving or stationary. Since it is determined whether the search object is performing, the behavior of the search object can be determined by simple processing.
[0039]
Further, since the detection target area in the search image is formed by the logical sum of the moving part and the stop part, the
[0040]
For example, time t n-3 Since the number of pixels of the moving part included in the detection target area C1 in the search image illustrated in FIG. 7A is larger than the number of pixels of the stop part, the
[0041]
As described above, the
[0042]
Here, when the search object is a person, matching is performed using a human-shaped template image, so that a person other than a human is not extracted, and a human can be correctly extracted. When the monitoring area is a passage as shown in FIG. 10, it is not necessary to consider that a person is sleeping there, and therefore, a template image Ta symbolizing the shape of a walking human (see FIG. 9). By searching for the detection target area using, and calculating the correlation value with the image in the detection target area, it is possible to prevent extraction of something other than human beings. When a vehicle is detected with a road as a monitoring area, once the positional relationship between the road and the camera is determined, the shape of the vehicle reflected on the camera becomes substantially the same. By using the template image subjected to the above, detection of something other than the vehicle can be prevented.
[0043]
In addition, when detecting a person using a general house as a monitoring area, the posture of the person (when standing, sitting, sleeping) greatly changes, so the template image used in the next matching processing is changed. Is preferably created based on each image, but when the shape of the human body or the vehicle as the search object hardly changes as in the present embodiment, matching processing should be performed using a fixed template image. This eliminates the need to update the template image and reduces the number of template images to be used, so that a memory having a small storage capacity can be used for storing the template image.
[0044]
It should be noted that the method of extracting the detection target region where the search object is considered to be present from the contour image is not intended to be limited to the above-described method. Instead, a background difference method or an inter-frame difference method is used. By extracting the detection target area where the search object seems to be present by extracting the search object, it is determined whether the search object is moving or stationary based on the detection target area obtained last time and the detection target area obtained this time. The determination may be performed, or a detection target area where the search object is considered to be present may be extracted from the grayscale image.
[0045]
(Embodiment 2)
[0046]
The object detection device according to the present embodiment determines whether the search object is moving or stationary based on the previous detection target region and the current detection target region extracted by the object detection method described in the first embodiment. Deciding. The detection target area in this case is obtained by extracting a moving part from an image (a grayscale image or a contour image) of the monitoring area.
[0047]
That is, when the previous detection target area and the current detection target area overlap, the
[0048]
For example, as shown in FIG. 14A, when a part of the detection target area U1 determined to be a moving object at the time of previous extraction and a part of the detection target area U2 extracted this time overlaps, one or more of It can be assumed that a person is moving or a seated person is moving his body greatly, and the
[0049]
In addition, as shown in FIG. 15A, when the detection target area U1 determined to be a moving object at the time of the previous extraction overlaps a part of the two detection target areas U2 and U3 extracted this time, It can be assumed that a plurality of walking persons are moving into different directions in two groups, and the
[0050]
Also, as shown in FIG. 16A, when the detection target area U1 determined to be a stationary object at the time of the previous imaging and a part of the detection target area U2 extracted this time overlap, the person who was stationary remains It can be assumed that the person who has begun to move, or is standing still, or has moved his hands, feet, and upper body greatly, and the
[0051]
Also, as shown in FIG. 17A, a part of the detection target area U1 determined to be a stationary object at the time of the previous imaging and a part of another detection target area U2 determined to be a moving object, When the detection target area U3 extracted this time is overlapped, it is possible to assume a situation where another person approaches the stopped or seated person, and the
[0052]
Further, as shown in FIG. 18A, a part of the detection target area U1 determined to be a stationary object at the time of the previous imaging and another detection target area U2 determined to be a stationary object at the previous imaging. When the detection target area U3 extracted this time partially overlaps, any of the plurality of persons who are stationary has begun to move, or one of the plurality of persons who are standing still or seated has their hands or feet. The
[0053]
Further, as shown in FIG. 19A, a part of the detection target area U1 (first detection target area) determined to be a stationary object at the time of previous extraction and another detection target determined to be a moving object The detection target area U3 (third detection target area) extracted this time overlaps with a part of the area U2 (second detection target area), and another part of the detection target area U1 extracted this time is further overlapped. When the detection target area U4 (fourth detection target area) overlaps, it is possible to assume a situation where a stopped or seated person starts to move and another person approaches, and the
[0054]
As described above, the
[0055]
The
[0056]
For example, as shown in FIGS. n-2 And time t n-1 And time t n At the time t n-2 Since the detection target area M1 (first detection target area) determined to be a stationary object does not overlap with the detection target area M2 (second detection target area) determined to be a moving object, the arithmetic processing
[0057]
Here, depending on the arrangement of the
[0058]
In the present embodiment, the detection target area where the search object exists is extracted from the image of the monitoring area by the method described in the first embodiment, but the method of extracting the detection target area is limited to the above method. Instead, the detection target area where the search object is present is extracted from the image of the monitoring area using the background difference method or the inter-frame difference method, and based on the detection target area obtained last time and the detection target area obtained this time. The position and behavior of the search object may be determined.
[0059]
(Embodiment 3)
[0060]
When this object detection device is used in a general house, small animals such as dogs and cats may be present in the monitoring area imaged by the
[0061]
The change of lighting / extinguishing of the lighting fixture appears in the moving image only at the moment of switching from the extinguished state to the lit state, and does not appear continuously in the moving image. For example, as shown in FIGS. Time t n-2 In the case where the lighting fixture L is automatically turned on at a time and is turned on in a constant state after the lighting, as shown in FIGS. n-2 In FIG. 5, a line indicating the illumination range of the lighting fixture L appears in the moving image (see FIG. 5B). n-1 In FIG. 4, a line indicating the illumination range of the lighting fixture L appears in the still image, but does not appear in the moving image (see FIGS. 4C and 5C). Therefore, the detection target area corresponding to the light of the lighting device L appears in the moving image only when it is turned on, and appears only once in the still image during the subsequent imaging.
[0062]
On the other hand, since the person in the office continues to move, it continues to appear in the moving image, and even if it temporarily stops, it traces the history that it has moved in the past, so that it can move with people and vehicles and other movable objects. Lighting can be easily distinguished from on / off.
[0063]
When used indoors, small animals other than humans rarely move around, so template matching becomes unnecessary.
[0064]
Thus, when the detection target area in the search image continuously moves a predetermined number of times, the
[0065]
【The invention's effect】
As described above, the invention of
[0066]
The invention according to
[0067]
According to a third aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image in a predetermined monitoring area. And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; By extracting an area that is not present in the created static part image but present in the static part image created this time, creating an image of the stop part of the search object that is stopped during this time, Creating a detection target area where the search object is present by performing an expansion process on the image of the logical sum of the image of the moving part and the image of the stop part, and the number of pixels of the moving part included in the detection target area Determining whether the search object in the detection target area is moving or stationary by comparing the number of pixels with the number of pixels of the stop part. The moving part included in the detection target area It is determined whether or not the search object is moving based on the size of the number of pixels in the stop area and the number of pixels in the stop area. As compared with the case where the behavior of the object is determined, there is an effect that it can be determined that the search object is moving by simple processing. In addition, an image of a moving part and an image of a stopped part of the search object are obtained, and an image of the entire search object is obtained from both images. In comparison with the case where only the part where the search object is extracted, the search object can be easily distinguished, and the image of the search object is not double-extracted as in the inter-frame difference method. In addition, it is possible to easily perform processing such as template matching, and it is not necessary to previously photograph a background image in a state where no search object exists unlike the background subtraction method.
[0068]
According to a fourth aspect of the present invention, in any one of the first to third aspects of the present invention, if the previously determined detection target area and the currently determined detection target area overlap, it is determined that the objects are the same search object. In addition, the determination condition for obtaining the current position of the search object from the previous and current detection target areas is changed according to whether the search object in the detection target area obtained last time is determined to be a moving object or a stationary object. The next action differs between when the search object is moving and when the search object is stationary, so by changing the judgment conditions based on the previous action, the motion of the search object Therefore, the search object can be tracked more accurately, and the search object can be detected by a simpler process as compared with the case where the search object is tracked by performing template matching as in the related art.
[0069]
In the invention according to claim 5, in the invention according to claim 4, if the previous detection target area overlaps with the current detection target area and the current detection target area does not overlap with another previous detection target area, The search object in the previous detection target area overlapping the detection target area is determined to have moved to the current detection target area and is tracked, and has the same effect as the invention of claim 4.
[0070]
According to a sixth aspect of the present invention, in the invention of the fourth aspect, when the search object in the previously determined detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other. If the detection target area overlaps with another detection target area that was previously determined to be a moving object, it is determined that the search object in another detection target area obtained last time has moved to the current detection target area and tracking is performed. And has the same effect as the fourth aspect of the present invention.
[0071]
According to a seventh aspect of the present invention, in the invention of the fourth aspect, when the search object in the previously detected detection target area is determined to be a stationary object, the previous detection target area and the current detection target area overlap with each other. If the detection target area overlaps with another detection target area that was previously determined to be a stationary object, it is determined that the search object is staying in each of the two detection target areas obtained last time, and is tracked. There is an effect similar to that of the fourth aspect.
[0072]
According to an eighth aspect of the present invention, in the invention of the fourth aspect, the current extraction is performed on the first detection target area determined to be a stationary object and the second detection target area determined to be a moving object at the previous extraction. If the detected third detection target area overlaps and the first detection target area overlaps the fourth detection target area extracted this time, the search object in the first detection target area is determined as the fourth detection target. In addition to moving to the area, it is determined that the search object located in the second detection target area has moved to the third detection target area and is tracked, and has the same effect as the invention of claim 4.
[0073]
According to a ninth aspect of the present invention, in the fourth aspect of the present invention, when it is determined that the search object in the first detection target area extracted at a certain point in time is a stationary object, the search object is added to the first detection target area thereafter. In the case where the second detection target area extracted in the step (c) overlaps, the image of the first detection target area immediately before the second detection target area overlaps is held, and the overlap with the second detection target area is eliminated. At this time, a matching process is performed between the image of the first detection target region at this time and the image of the first detection target region immediately before the second detection target region overlaps to obtain a correlation value between the two. If the correlation value is higher than a predetermined threshold value, it is determined that the stationary object remains in the first detection target area. If the correlation value is lower than the threshold value, the stationary object has moved outside the first detection target area. The monitoring area is imaged. Depending on the arrangement of the cameras, when the moving object moves in front of the stationary object, the stationary object is hidden by the shadow of the moving object, but before the second detection target area overlaps the first detection target area, In other words, an image of the first detection target area before the stationary object is hidden by the moving object is held, and when the first detection target area and the second detection target area no longer overlap (the stationary object moves Since the image of the first detection target area at this time and the image immediately before overlapping with the second detection target area are subjected to the matching process to obtain the correlation value, From this correlation value, it can be reliably determined whether the stationary object remains or has moved.
[0074]
According to a tenth aspect of the present invention, there is provided an object detection method for detecting a search object such as a person or a vehicle from an image of a predetermined monitoring area. And extracting a region where there is no difference between the first contour image created last time and the second contour image created this time, so that an image of a stationary part that does not move during this time is extracted. Creating an image of a moving part of the search object moved during this time by extracting an area where a difference exists between the second contour image and the image of the stationary part created this time; Extracting a region that does not exist in the created static part image but exists in the static part image created this time, thereby creating an image of the stop part of the search object that is stopped during this time; Performing a dilation process on an image of the logical sum of the image of the moving part and the image of the stop part to create a detection target area in which the search object is considered to be present; If the number of times of movement is more than the number of times, the detection target area is set as an area where a search object composed of a movable object such as a person or a vehicle is present, for example, a movable object such as a person or a vehicle in a monitoring area. If the object continues to move, the search object consisting of the movable object will appear continuously in the image of the moving part, so that the image of the logical sum of the image of the moving part and the image of the stopped part will also appear continuously. Become. Therefore, since the detection target area created from the image of the logical sum of the image of the moving part and the image of the stop part moves a predetermined number of times, it can be determined that the detection target area is the area where the movable object exists. It is possible to detect an area where a movable object exists by a simple process.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an image processing apparatus using an image processing method according to a first embodiment.
FIGS. 2A to 2D are explanatory diagrams of an input image at each time.
FIGS. 3A to 3D are explanatory diagrams of a contour image at each time.
FIGS. 4A to 4D are explanatory diagrams of an extracted image of a stationary object at each time.
FIGS. 5A to 5D are explanatory diagrams of an extracted image of a moving object at each time.
FIGS. 6A to 6D are explanatory diagrams of an extracted image of a stationary object at each time.
FIGS. 7A to 7D are explanatory diagrams of a search image at each time.
FIGS. 8A and 8B are explanatory diagrams illustrating a procedure for creating a detection target area.
FIG. 9 is an explanatory diagram of a template image according to the embodiment.
FIG. 10 is an explanatory diagram of a monitoring area according to the embodiment.
FIGS. 11A and 11B are explanatory diagrams illustrating the operation of the above.
FIGS. 12A and 12B are explanatory diagrams illustrating the operation of the above.
FIGS. 13A and 13B are explanatory diagrams illustrating the operation of the above.
FIGS. 14A and 14B are explanatory diagrams illustrating an operation of the object detection device according to the second embodiment.
FIGS. 15A and 15B are explanatory diagrams illustrating the operation of the above.
FIGS. 16A and 16B are explanatory diagrams illustrating the operation of the above.
FIGS. 17 (a) and (b) are explanatory diagrams for explaining the above operation.
FIGS. 18A and 18B are explanatory diagrams illustrating the operation of the above.
FIGS. 19A and 19B are explanatory diagrams illustrating the operation of the above.
20 (a) to 20 (c) are explanatory diagrams for explaining the operation of the above.
FIGS. 21A to 21C are explanatory diagrams of an image processing method using a background subtraction method.
FIGS. 22A to 22C are explanatory diagrams of an image processing method using an inter-frame difference method.
FIGS. 23A and 23B are explanatory diagrams of a conventional determination method for determining whether a search object is moving or stationary.
FIG. 24 is an explanatory diagram illustrating a conventional search object tracking method.
[Explanation of symbols]
1 camera
2 Arithmetic processing unit
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002324397A JP4228657B2 (en) | 2002-11-07 | 2002-11-07 | Object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002324397A JP4228657B2 (en) | 2002-11-07 | 2002-11-07 | Object detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004157879A true JP2004157879A (en) | 2004-06-03 |
JP4228657B2 JP4228657B2 (en) | 2009-02-25 |
Family
ID=32803997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002324397A Expired - Fee Related JP4228657B2 (en) | 2002-11-07 | 2002-11-07 | Object detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228657B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010277547A (en) * | 2009-06-01 | 2010-12-09 | Chuo Electronics Co Ltd | Congestion situation detecting device, method, and program |
JP2011053951A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image processing apparatus |
JP2012174223A (en) * | 2011-02-24 | 2012-09-10 | Nippon Steel Corp | Person monitoring device, person monitoring method, and computer program |
WO2013187047A1 (en) * | 2012-06-13 | 2013-12-19 | パナソニック株式会社 | Object detection device |
US20140016815A1 (en) * | 2012-07-12 | 2014-01-16 | Koji Kita | Recording medium storing image processing program and image processing apparatus |
WO2018047616A1 (en) * | 2016-09-08 | 2018-03-15 | ソニー株式会社 | Arithmetic device and sensor |
CN110268440A (en) * | 2017-03-14 | 2019-09-20 | 欧姆龙株式会社 | Image analysis apparatus, method for analyzing image and image analysis program |
CN112097744A (en) * | 2020-09-16 | 2020-12-18 | 上海遥程信息科技有限公司 | Image scanning method, device, equipment and storage medium for vertical face |
JP2021028807A (en) * | 2019-08-09 | 2021-02-25 | フジテック株式会社 | Image processing device and image processing method |
CN112850436A (en) * | 2019-11-28 | 2021-05-28 | 宁波微科光电股份有限公司 | Pedestrian trend detection method and system of elevator intelligent light curtain |
-
2002
- 2002-11-07 JP JP2002324397A patent/JP4228657B2/en not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010277547A (en) * | 2009-06-01 | 2010-12-09 | Chuo Electronics Co Ltd | Congestion situation detecting device, method, and program |
JP2011053951A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image processing apparatus |
JP2012174223A (en) * | 2011-02-24 | 2012-09-10 | Nippon Steel Corp | Person monitoring device, person monitoring method, and computer program |
KR101640875B1 (en) | 2012-06-13 | 2016-07-19 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Object detection device |
WO2013187047A1 (en) * | 2012-06-13 | 2013-12-19 | パナソニック株式会社 | Object detection device |
KR20150013756A (en) * | 2012-06-13 | 2015-02-05 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Object detection device |
TWI509569B (en) * | 2012-06-13 | 2015-11-21 | Panasonic Corp | Object detecting device |
US9436996B2 (en) * | 2012-07-12 | 2016-09-06 | Noritsu Precision Co., Ltd. | Recording medium storing image processing program and image processing apparatus |
US20140016815A1 (en) * | 2012-07-12 | 2014-01-16 | Koji Kita | Recording medium storing image processing program and image processing apparatus |
WO2018047616A1 (en) * | 2016-09-08 | 2018-03-15 | ソニー株式会社 | Arithmetic device and sensor |
JPWO2018047616A1 (en) * | 2016-09-08 | 2019-06-24 | ソニー株式会社 | Arithmetic unit and sensor |
US10891706B2 (en) | 2016-09-08 | 2021-01-12 | Sony Corporation | Arithmetic device and sensor to track movement of object between frames |
JP7058010B2 (en) | 2016-09-08 | 2022-04-21 | ソニーグループ株式会社 | Arithmetic logic unit and sensor |
CN110268440A (en) * | 2017-03-14 | 2019-09-20 | 欧姆龙株式会社 | Image analysis apparatus, method for analyzing image and image analysis program |
CN110268440B (en) * | 2017-03-14 | 2023-05-16 | 欧姆龙株式会社 | Image analysis device, image analysis method, and storage medium |
JP2021028807A (en) * | 2019-08-09 | 2021-02-25 | フジテック株式会社 | Image processing device and image processing method |
CN112850436A (en) * | 2019-11-28 | 2021-05-28 | 宁波微科光电股份有限公司 | Pedestrian trend detection method and system of elevator intelligent light curtain |
CN112097744A (en) * | 2020-09-16 | 2020-12-18 | 上海遥程信息科技有限公司 | Image scanning method, device, equipment and storage medium for vertical face |
Also Published As
Publication number | Publication date |
---|---|
JP4228657B2 (en) | 2009-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101237970B1 (en) | Image survailance system and method for detecting left-behind/taken-away of the system | |
US11151409B2 (en) | Information processing device, information processing method, and program | |
Fuentes et al. | People tracking in surveillance applications | |
US7969470B2 (en) | Moving object detection apparatus, method and program | |
JP6631619B2 (en) | Video monitoring system and video monitoring method | |
JP5832910B2 (en) | Image monitoring device | |
JP4228657B2 (en) | Object detection method | |
JP4691708B2 (en) | White cane user detection system using stereo camera | |
JP5277805B2 (en) | Object extraction device, object extraction method, and object extraction program | |
JP5300694B2 (en) | Detection device | |
Alqaysi et al. | Detection of abnormal behavior in dynamic crowded gatherings | |
JP4913801B2 (en) | Shielding object image identification apparatus and method | |
JP2009110185A (en) | Passerby behavior analyzer, passerby behavior analysis method, and its program | |
JP2004094518A (en) | Figure tracing device and figure tracing method and its program | |
JP4470342B2 (en) | Image processing method and image processing apparatus using the same | |
JP4578072B2 (en) | Resident detection system | |
CN117830890A (en) | Mouse detection method based on video stream | |
CN117291951A (en) | Multi-human-body posture tracking method based on human body key points | |
CN114120368A (en) | Target detection method and detection equipment | |
Moro et al. | Auto-adaptive threshold and shadow detection approaches for pedestrians detection | |
JP2003232867A (en) | Method and device for detecting material object | |
JP5562090B2 (en) | Object judgment device | |
JP2004265251A (en) | Image processor | |
JP2000115750A (en) | Mobile object monitor | |
TWI423148B (en) | Method and system of monitoring and monitoring of fighting behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |