JP2010152672A - 物体検知識別装置 - Google Patents
物体検知識別装置 Download PDFInfo
- Publication number
- JP2010152672A JP2010152672A JP2008330489A JP2008330489A JP2010152672A JP 2010152672 A JP2010152672 A JP 2010152672A JP 2008330489 A JP2008330489 A JP 2008330489A JP 2008330489 A JP2008330489 A JP 2008330489A JP 2010152672 A JP2010152672 A JP 2010152672A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- input image
- background
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】低フレームレートの映像であっても正しく背景更新のタイミングを得ることができる物体検知識別装置を得る。
【解決手段】画像比較部3は、入力画像と背景画像記憶部2の背景画像とを比較する。物体判定部4は、画像比較部3における画像比較の結果から物体の存在を判定し、判定結果を背景画像生成部5に出力する。背景画像更新用動き判定部6は、入力画像の時間的な変化から画像中の動きを抽出し、動き抽出結果を背景画像生成部5に出力する。背景画像生成部5は、背景画像更新用動き判定部6による動き抽出結果と、物体判定部4による物体判定結果と、現在の入力画像とに基づいて背景画像を更新する。
【選択図】図1
【解決手段】画像比較部3は、入力画像と背景画像記憶部2の背景画像とを比較する。物体判定部4は、画像比較部3における画像比較の結果から物体の存在を判定し、判定結果を背景画像生成部5に出力する。背景画像更新用動き判定部6は、入力画像の時間的な変化から画像中の動きを抽出し、動き抽出結果を背景画像生成部5に出力する。背景画像生成部5は、背景画像更新用動き判定部6による動き抽出結果と、物体判定部4による物体判定結果と、現在の入力画像とに基づいて背景画像を更新する。
【選択図】図1
Description
この発明は、監視カメラや監視用レコーダから得られる監視映像を処理することにより、人などの移動物体を検知して、その不審な滞留や不審な放置物を自動的に検出する物体検知識別装置に関するものである。
今日、監視用ディジタルレコーダ、入退室システムなどのビルシステム、ATM機や銀行ロビーなどの金融システム、その他駐車場や住宅、ビルなどの侵入監視を画像処理によって行う物体検知識別装置が知られている。
このような物体検知識別装置は、監視カメラにより周期的に撮影された入力画像と背景画像との差分画像に基づいて監視エリアに入る物体を検出するよう構成されている(例えば、特許文献1参照)。
このような物体検知識別装置は、監視カメラにより周期的に撮影された入力画像と背景画像との差分画像に基づいて監視エリアに入る物体を検出するよう構成されている(例えば、特許文献1参照)。
上記特許文献1に示されたような従来の装置では、入力画像と背景画像との差分処理によって得られる変化領域に基づいて、監視映像中に出現した侵入者や移動物体を検知している。またそれと同時に差分処理によって得られたこの変化領域の面積に応じて背景画像の更新を行うかどうかを決定している。
このように、物体検出を行うメカニズムと、その物体検出の演算を行うためのベースとなる背景画像の更新処理とが同じメカニズムで構成されているため、一旦誤った判断がなされると、それを是正することなく更に誤った結果が生じてしまい、最終的に侵入者を見落とす、あるいは侵入者が居ないにも拘らず侵入者が居ると判断してしまう可能性があった。
このように、物体検出を行うメカニズムと、その物体検出の演算を行うためのベースとなる背景画像の更新処理とが同じメカニズムで構成されているため、一旦誤った判断がなされると、それを是正することなく更に誤った結果が生じてしまい、最終的に侵入者を見落とす、あるいは侵入者が居ないにも拘らず侵入者が居ると判断してしまう可能性があった。
ここで、映像のフレームレートが十分に高い場合は、照明変動によって生じる輝度変化の時間的変化率と、移動物体の侵入によって生じる輝度変化の時間的変化率の差が明瞭であるため、単純な面積しきい値でも識別することができる。しかしながら、低フレームレートの映像を扱う場合は両者に明瞭な差が無くなるため、このような誤りが顕著となる。このような点から、低フレームレートの映像であっても正しく背景更新のタイミングを得ることができるような判断手段が求められていた。
また、特許文献1に示されたような従来の装置においては、入力画像と背景画像との差分を求める演算において、正規化相関を行っていた。この正規化相関は線形な照明変動の影響を取り除くことができる画像比較の方法である。しかしながら、実際の監視映像においては非線形な照明変動が生じるため、誤った変化領域の検出が行われてしまう。このような点から非線形な照明変動にも対処可能な差分演算手段も求められていた。
この発明は上記のような課題を解決するためになされたもので、低フレームレートの映像であっても正しく背景更新のタイミングを得ることができる物体検知識別装置を得ることを目的とする。
この発明に係る物体検知識別装置は、入力画像と背景画像を比較する画像比較部と、画像比較部における画像比較の結果から物体の存在を判定する物体判定部と、入力画像の時間的な変化から画像中の動きを抽出する背景画像更新用動き判定部と、背景画像更新用動き判定部による動き抽出結果と、物体判定部による物体判定結果と、現在の入力画像とに基づいて背景画像を更新する背景画像生成部とを備えたものである。
この発明の物体検知識別装置は、入力画像の時間的な変化から画像中の動きを抽出した動き抽出結果と、入力画像と背景画像とを比較したことによる物体判定結果と、現在の入力画像とに基づいて背景画像を更新するようにしたので、低フレームレートの映像であっても正しく背景更新のタイミングを得ることができる。
実施の形態1.
図1は、この発明の実施の形態1による物体検知識別装置を示す構成図である。
図において、物体検知識別装置は、画像入力部1、背景画像記憶部2、画像比較部3、物体判定部4、背景画像生成部5、背景画像更新用動き判定部6を備え、背景画像更新用動き判定部6は、前フレーム画像記憶部7、フレーム間画像比較部8、動き判定部9を有している。
図1は、この発明の実施の形態1による物体検知識別装置を示す構成図である。
図において、物体検知識別装置は、画像入力部1、背景画像記憶部2、画像比較部3、物体判定部4、背景画像生成部5、背景画像更新用動き判定部6を備え、背景画像更新用動き判定部6は、前フレーム画像記憶部7、フレーム間画像比較部8、動き判定部9を有している。
画像入力部1は、監視画像を取り込む機能部であり、例えば監視カメラを用いて構成されている。あるいは、画像入力部1は、遠隔地からの監視映像といったように、外部からの監視画像を取り込むインタフェースであってもよい。背景画像記憶部2は、背景画像生成部5から出力された背景画像を記憶する記憶部である。画像比較部3は、画像入力部1からの入力画像と背景画像記憶部2に記憶されている背景画像とを比較、即ち、入力画像と背景画像との差分処理を行う機能部である。物体判定部4は、画像比較部3の比較結果に基づいて監視エリア内に物体が存在しているか否かを判定するものである。背景画像生成部5は、物体判定部4の物体判定結果と背景画像更新用動き判定部6からの動き判定結果とに基づいて次の背景画像を生成する、即ち、背景を入力画像に置き換えて更新するか、あるいは前回の背景画像をそのまま使うかを判断し、選択するよう構成されている。
背景画像更新用動き判定部6は、入力画像の時間的な変化から画像中の動きを抽出するよう構成されている。背景画像更新用動き判定部6における前フレーム画像記憶部7は、前フレームを一時的に記憶する記憶部であり、フレーム間画像比較部8は、前フレーム画像記憶部7に記憶されている前フレームの画像と画像入力部1からの入力画像とを比較(フレーム間差分処理)する機能部である。動き判定部9は、フレーム間画像比較部8の判定結果に基づいて、フレーム間で動きが検出されたか否かを判定し、これを動き判定結果として背景画像生成部5に出力するよう構成されている。
尚、物体検知識別装置はコンピュータを用いて実現され、背景画像記憶部2および前フレーム画像記憶部7はメモリ上に構成されている。また、画像比較部3〜背景画像生成部5及びフレーム間画像比較部8,動き判定部9は、それぞれの機能に対応したソフトウェアと、これらのソフトウェアを実行するためのCPUやメモリ等のハードウェアで構成されるか、専用のハードウェアで構成されている。
次に、実施の形態1における物体検知識別装置の動作について説明する。
画像入力部1に入力された映像は、先ず、一方の流れとして、背景画像記憶部2に一時的に記憶された背景画像と共に画像比較部3に入力され、そこで両画像間で比較処理、即ち、背景差分処理が行われる。その差分結果は物体判定部4に入力され、物体判定部4において侵入者や不審物体があるかどうかが判断される。また、もう一方の流れとして、画像入力部1に入力された映像は、背景画像更新用動き判定部6に入力され、フレーム間画像比較部8によって画像入力部1からの入力画像と前フレーム画像記憶部7に一時的に記憶された前フレーム画像との比較処理、即ち、フレーム間差分処理が行われる。その差分結果は動き判定部9に入力され、動き判定部9において動きがあったかどうかが判定される。
画像入力部1に入力された映像は、先ず、一方の流れとして、背景画像記憶部2に一時的に記憶された背景画像と共に画像比較部3に入力され、そこで両画像間で比較処理、即ち、背景差分処理が行われる。その差分結果は物体判定部4に入力され、物体判定部4において侵入者や不審物体があるかどうかが判断される。また、もう一方の流れとして、画像入力部1に入力された映像は、背景画像更新用動き判定部6に入力され、フレーム間画像比較部8によって画像入力部1からの入力画像と前フレーム画像記憶部7に一時的に記憶された前フレーム画像との比較処理、即ち、フレーム間差分処理が行われる。その差分結果は動き判定部9に入力され、動き判定部9において動きがあったかどうかが判定される。
背景画像生成部5には、画像入力部1から入力画像と、物体判定部4の判定結果および背景画像更新用動き判定部6で判定された動き判定結果に基づいて次回の背景画像を生成する。即ち、背景を入力画像に置き換えて更新するか、あるいは前回の背景画像をそのまま使うかを判断して選択する。背景画像生成部5における背景画像更新の判断基準は次の通りである。
背景画像生成部5では、背景画像更新用動き判定部6の判定結果であるフレーム間差分処理の結果を観測し、何も検出されない、つまり動きがまったく見られない状態であり、かつ、物体判定部4の判定結果である背景差分処理の結果を観測し、止まっている人や物体も存在しない、というその瞬間に背景画像を更新すればよいことになる。この「次の背景画像をどう更新するか」は、どのタイミングで「入力される画像を背景画像に書き込むか」ということに置き換えることができる。つまり、背景画像生成部5は、指定した時間が経過し、かつ、フレーム間差分結果から動きが検出されない、かつ、背景差分結果から、動いてはいないが背景とは違う物体も検出されない、というタイミングで画像入力部1からの入力画像を背景画像記憶部2にコピーする(上書きする)。
次に具体的な適用例として、金融機関などのATMコーナーにおける人、不審者、不審物監視の例を用いて、物体の検出と動きの抽出動作を説明する。
図2は、ATMコーナを想定した監視ターゲットの情景である。ターゲット全体の情景100の中に、監視カメラ、人物3名、ATM機が存在している。
監視カメラ101が撮影する範囲はカメラ視野102で示されている。ATM機103を操作しているのが人物A104で、その近くに人物B105、そして少し離れた後方に人物C106が存在する。
図2は、ATMコーナを想定した監視ターゲットの情景である。ターゲット全体の情景100の中に、監視カメラ、人物3名、ATM機が存在している。
監視カメラ101が撮影する範囲はカメラ視野102で示されている。ATM機103を操作しているのが人物A104で、その近くに人物B105、そして少し離れた後方に人物C106が存在する。
図3は、図2で示したターゲット全体の情景100を監視カメラ101で撮影した場合の監視映像の例である。ターゲットをカメラで撮影した際に得られる映像107において、ATM機108、人物A109、人物B110、人物C111が写っている。
図4は、時刻(t−T)における監視カメラ映像である。ここで、tは現在時刻、Tは映像のサンプリング周期である。図4において、カメラ映像112の中に、人物A113と人物B114が写っている。
図5は、時刻t、即ち現在時刻における監視カメラ映像である。図5において、カメラ映像115の中に、人物A116、人物B117、人物C118が写っている。
時刻(t−T)の状態(図4)から時刻tの状態(図5)の間に、人物Aはわずかに左に揺らぎ、人物Bは画面中の下方向から中央まで移動した。また人物Cは初めは画像中に存在せず、画像中の下方向から出現した。
図4は、時刻(t−T)における監視カメラ映像である。ここで、tは現在時刻、Tは映像のサンプリング周期である。図4において、カメラ映像112の中に、人物A113と人物B114が写っている。
図5は、時刻t、即ち現在時刻における監視カメラ映像である。図5において、カメラ映像115の中に、人物A116、人物B117、人物C118が写っている。
時刻(t−T)の状態(図4)から時刻tの状態(図5)の間に、人物Aはわずかに左に揺らぎ、人物Bは画面中の下方向から中央まで移動した。また人物Cは初めは画像中に存在せず、画像中の下方向から出現した。
図6は、時刻(t−T)における入力画像と背景画像との差分処理、即ち比較処理によって求められた変化領域を示す図である。図6において、差分処理結果119中に人物Aの抽出結果120、人物Bの抽出結果121が示されている。時刻(t−T)における人物領域が黒い領域として抽出されている。
図7は、時刻tにおける入力画像と背景画像との差分処理、即ち比較処理によって求められた変化領域を示す図である。図7において、差分処理結果122中に人物Aの抽出結果123、人物Bの抽出結果124、人物Cの抽出結果125が示されている。時刻tにおける人物領域が黒い領域として抽出されている。
図7は、時刻tにおける入力画像と背景画像との差分処理、即ち比較処理によって求められた変化領域を示す図である。図7において、差分処理結果122中に人物Aの抽出結果123、人物Bの抽出結果124、人物Cの抽出結果125が示されている。時刻tにおける人物領域が黒い領域として抽出されている。
図8は、時刻(t−T)の入力画像と時刻tの入力画像とのフレーム間の差分処理によって求められた移動物体の領域を示す図である。図8において、差分処理結果126の中に人物Aの移動検出結果127、人物Bの移動検出結果128および129、人物Cの移動検出結果130が示されている。人物Aはわずかに左に揺らいだ分だけ両端に変化領域が黒い領域として抽出されている。人物Bは画像中の下方向から出現した瞬間と、画像中央にまで移動した後の二つの領域が黒い領域として抽出されている。また人物Cは画像中の下方向に出現した際の領域が黒い領域として抽出されている。
このように、現在時刻の入力画像と、一サンプリング時刻前の入力画像との差分によって、移動物体のみの抽出が可能である。
このように、現在時刻の入力画像と、一サンプリング時刻前の入力画像との差分によって、移動物体のみの抽出が可能である。
このように、理想的な背景画像の更新処理がなされていれば、入力画像と背景画像との差分によって現在時刻における人や放置物などの物体抽出が可能である。
しかし、例えば、カメラ台数が増加して、通信経路の帯域制限や複数チャンネルの画像処理を行う処理側の負荷の問題等によって、映像のフレームレートが低下すると、照明変動と移動物体の区別が困難になり、上述のような適切な背景画像の更新処理に失敗する場合が生じる。
しかし、例えば、カメラ台数が増加して、通信経路の帯域制限や複数チャンネルの画像処理を行う処理側の負荷の問題等によって、映像のフレームレートが低下すると、照明変動と移動物体の区別が困難になり、上述のような適切な背景画像の更新処理に失敗する場合が生じる。
その現象を画像中のある一画素に着目して、輝度値の時系列的な変化を用いて説明する。
図9は、入力画像中のある画素の輝度値の時間変化をグラフとして示した説明図である。グラフ131において、入力画像中のある画素の輝度値は連続曲線で示されている。図9においては、移動物体が出現した時間帯133において、輝度値132は高い値を示している。尚、移動物体が出現している、していないにかかわらず、背景の輝度値はわずかに上昇している。これは背景の照明が次第に明るくなっているためである。
図10は、図9の画素値に対応する、理想的な背景画像の輝度値の時間変化を示したグラフである。グラフ134において、理想的な背景画像の輝度値135は時間と共にわずかに上昇している。移動物体が出現した時間帯136における入力画像の輝度値を点線で示している。
図9は、入力画像中のある画素の輝度値の時間変化をグラフとして示した説明図である。グラフ131において、入力画像中のある画素の輝度値は連続曲線で示されている。図9においては、移動物体が出現した時間帯133において、輝度値132は高い値を示している。尚、移動物体が出現している、していないにかかわらず、背景の輝度値はわずかに上昇している。これは背景の照明が次第に明るくなっているためである。
図10は、図9の画素値に対応する、理想的な背景画像の輝度値の時間変化を示したグラフである。グラフ134において、理想的な背景画像の輝度値135は時間と共にわずかに上昇している。移動物体が出現した時間帯136における入力画像の輝度値を点線で示している。
図11は、入力画像中のある画素の輝度値の時間変化を高いフレームレートでサンプリングした場合の値の変化を説明する図である。図においてグラフ137中に入力画像中のある画素の輝度値を高いフレームレートでサンプリングした値138を黒丸で示した。
図12は、ある画素における入力画像と理想的な背景画像との差分値の時間変化を高いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ139中に入力画像と理想的な背景画像との差分値の時間変化を高いフレームレートで求めた場合の値140を黒丸で示した。
図13は、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を高いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ141中に、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を高いフレームレートで求めた場合の値142を黒丸で示した。
このように、高いフレームレートでは、入力画像と背景画像との差分処理によって侵入者などの変化領域をほぼ正しく抽出することができ、またフレーム間の差分処理によって動きを抽出することができる。
図12は、ある画素における入力画像と理想的な背景画像との差分値の時間変化を高いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ139中に入力画像と理想的な背景画像との差分値の時間変化を高いフレームレートで求めた場合の値140を黒丸で示した。
図13は、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を高いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ141中に、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を高いフレームレートで求めた場合の値142を黒丸で示した。
このように、高いフレームレートでは、入力画像と背景画像との差分処理によって侵入者などの変化領域をほぼ正しく抽出することができ、またフレーム間の差分処理によって動きを抽出することができる。
一方、これが低フレームレートになった場合の動作を説明する。
図14は、入力画像中のある画素の輝度値の時間変化を低いフレームレートでサンプリングした場合の値の変化を説明する図である。図において、グラフ143中に入力画像中のある画素の輝度値を低いフレームレートでサンプリングした値144を黒丸で示した。
図15は、ある画素における入力画像と理想的な背景画像との差分値の時間変化を低いフレームレートで求めた場合の値の変化を示す説明図である。図において、グラフ145中に入力画像と理想的な背景画像との差分値の時間変化を低いフレームレートで求めた場合の値146を黒丸で示した。
図16は、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を低いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ147中に、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を低いフレームレートで求めた場合の値148を黒丸で示した。
図14は、入力画像中のある画素の輝度値の時間変化を低いフレームレートでサンプリングした場合の値の変化を説明する図である。図において、グラフ143中に入力画像中のある画素の輝度値を低いフレームレートでサンプリングした値144を黒丸で示した。
図15は、ある画素における入力画像と理想的な背景画像との差分値の時間変化を低いフレームレートで求めた場合の値の変化を示す説明図である。図において、グラフ145中に入力画像と理想的な背景画像との差分値の時間変化を低いフレームレートで求めた場合の値146を黒丸で示した。
図16は、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を低いフレームレートで求めた場合の値の変化を説明する図である。図において、グラフ147中に、ある画素における入力画像と一つ前のサンプリングにおける入力画像中との差分値の時間変化を低いフレームレートで求めた場合の値148を黒丸で示した。
このように、低いフレームレートでは、入力画像と背景画像との差分処理によって侵入者などの変化領域を正しく抽出することが難しい。しかしフレーム間の差分処理によって動き抽出は安定して求めることができる。このような観点に基づいて、背景画像生成部5では、物体判定部4の判定結果だけでなく、背景画像更新用動き判定部6の動き判定結果に基づいて背景画像を更新するか否かを判定するため、低いフレームレートであっても背景画像の更新処理を正しく行うことができる。
以上のように、実施の形態1の物体検知識別装置によれば、背景画像中の物体を検知する物体検知識別装置において、入力画像と背景画像を比較する画像比較部と、画像比較部における画像比較の結果から物体の存在を判定する物体判定部と、入力画像の時間的な変化から画像中の動きを抽出する背景画像更新用動き判定部と、背景画像更新用動き判定部による動き抽出結果と、物体判定部による物体判定結果と、現在の入力画像とに基づいて背景画像を更新する背景画像生成部とを備えたので、背景更新のタイミングを、背景画像と入力画像の差分結果だけでなく、入力画像から求めた動きの判断結果をも用いて判断することができ、その結果、低フレームレートの映像に対しても安定して物体の検知処理を行うことができる。
また、実施の形態1の物体検知識別装置によれば、背景画像更新用動き判定部は、前フレームの入力画像を記憶する前フレーム画像記憶部と、現在の入力画像と前フレームの入力画像を比較するフレーム間画像比較部と、フレーム間画像比較部における画像比較の結果から動きの有無を判定する動き判定部とからなるよう構成したので、フレーム間差分処理によって動きの抽出を行うことができる。
実施の形態2.
実施の形態2は、注目画素周辺の輝度分布から求めた輝度勾配の方向ベクトルに基づいて入力画像と背景画像の比較や現在の入力画像と前フレームの入力画像との比較を行うようにしたものである。実施の形態2における図面上の構成は実施の形態1と同様であるため、図1を援用して説明する。
実施の形態2は、注目画素周辺の輝度分布から求めた輝度勾配の方向ベクトルに基づいて入力画像と背景画像の比較や現在の入力画像と前フレームの入力画像との比較を行うようにしたものである。実施の形態2における図面上の構成は実施の形態1と同様であるため、図1を援用して説明する。
実施の形態2では、フレーム間画像比較部8または画像比較部3は、注目画素周辺の輝度分布から求めた輝度勾配の方向ベクトルを用いて、二つのベクトルのなす角度のうち小さいほうが0度に近ければ一致度が高く、90度に近ければ一致度が低いという演算を行って、この演算結果に基づいて現在の入力画像と前フレームの入力画像との比較や、入力画像と背景画像の比較を行うよう構成されている。これ以外の構成は実施の形態1と同様である。
次に、実施の形態2の物体検知識別装置の動作について説明する。
図17は、実施の形態2の動作を示す説明図である。
監視映像200の中に存在する人などの物体201について、その各画素において周辺輝度値の分布から、輝度値の空間的勾配の方向ベクトル202を計算し、比較対象画像における各画素の輝度値の空間的勾配の方向ベクトル(um,vm)との間で以下の演算(式1)による比較計算を実行する。また、輝度値の空間的勾配の方向ベクトル(um,vm)とは、次のような意味である。
例えば、ある画素の輝度値が50で、そこから例えば2画素右隣の画素の輝度値が100だとし、また、例えば2画素下の画素の輝度値が80だとすると、
x方向の輝度の勾配=um=(100−50)/2=25
y方向の輝度の勾配=vm=(80−50)/2=15
となる。但し、mは画像の番号を示すm=1,2,3,…であり、ここではmの値は1または2が入る。即ち、(u1,v1)の場合は画像1に対する輝度勾配、(u2,v2)の場合は画像2に対する輝度勾配を示す。従って、この場合の輝度値の空間的勾配の方向ベクトルは、(25,15)となる。
図17は、実施の形態2の動作を示す説明図である。
監視映像200の中に存在する人などの物体201について、その各画素において周辺輝度値の分布から、輝度値の空間的勾配の方向ベクトル202を計算し、比較対象画像における各画素の輝度値の空間的勾配の方向ベクトル(um,vm)との間で以下の演算(式1)による比較計算を実行する。また、輝度値の空間的勾配の方向ベクトル(um,vm)とは、次のような意味である。
例えば、ある画素の輝度値が50で、そこから例えば2画素右隣の画素の輝度値が100だとし、また、例えば2画素下の画素の輝度値が80だとすると、
x方向の輝度の勾配=um=(100−50)/2=25
y方向の輝度の勾配=vm=(80−50)/2=15
となる。但し、mは画像の番号を示すm=1,2,3,…であり、ここではmの値は1または2が入る。即ち、(u1,v1)の場合は画像1に対する輝度勾配、(u2,v2)の場合は画像2に対する輝度勾配を示す。従って、この場合の輝度値の空間的勾配の方向ベクトルは、(25,15)となる。
尚、この例では2画素離れた点を用いて輝度の差を計算したが、この範囲を短く(例えば1画素)にするとノイズの影響を受けやすく、また長く(例えば数十画素に)すると、その数十画素の中に輝度勾配の違いがあったとしても平均化されて埋もれてしまうため、対象とする画像や照明条件等に応じて適切な値を選択する。
また、GOC1,2については、画像1のある画素から求められた勾配ベクトル(u1,v1)と、画像2の同じ画素から求めた勾配ベクトル(u2,v2)との間の類似度を判定した結果を意味している。
GOC1,2=|(u1,v1)*(u2,v2)|/|u1,v1|/|u2,v2|…(1)
但し、「*」の記号はベクトルの内積を、|・|の記号はベクトルの大きさを示す。
また、(式1)は以下の(式2)に置き換えることができる。
GOC1,2=|u1*u2+v1*v2|/√(u1*u1+v1*v1)/√(u2*u2+v2*v2)…(2)
但し、「*」の記号はベクトルの内積を、|・|の記号はベクトルの大きさを示す。
また、(式1)は以下の(式2)に置き換えることができる。
GOC1,2=|u1*u2+v1*v2|/√(u1*u1+v1*v1)/√(u2*u2+v2*v2)…(2)
このとき、ベクトル(u1,v1)とベクトル(u2,v2)の方向が一致していればGOC1,2の値は1.0に近い値となり、また、明暗が反転して方向が180度の差に近い場合もGOC1,2の値は1.0に近い値となる。一方で方向の差が0度から広がる、あるいは180度からせばまり90に近くなれば、GOC1,2の値は小さな値となり、差が90度の場合に最小値0.0となる。
このようにGOC1,2は輝度勾配方向相関であり、非線形な明度変化に対しても、また明度の反転に対しても安定に画像中の物体の構造情報を記述する手段であり、差分処理の演算として十分に機能する。画像比較において、注目画素周辺の構造が類似していれば、その点におけるGOC1,2の値は1.0に近い値となり、逆に類似していなければ0.0に近い値となる。
実施の形態2の画像比較部3とフレーム間画像比較部8は、このような輝度勾配の方向ベクトルを用いて演算を行い、画像比較結果を出力する。このため、非線形な照明変動がある場合でも正確な画像比較結果を得ることができる。
以上のように、実施の形態2の物体検知識別装置によれば、画像比較部またはフレーム間画像比較部は、注目画素周辺の輝度分布から求めた輝度勾配の方向ベクトルを用いて、二つのベクトルのなす角度のうち小さいほうが0度に近ければ一致度が高く、90度に近ければ一致度が低いという演算を行い、当該演算結果に基づいて入力画像と背景画像の比較または現在の入力画像と前フレームの入力画像との比較を行うようにしたので、非線形な照明変動があっても正確な画像比較結果が得られ、従って、より確実に背景更新のタイミングを得ることができる。
1 画像入力部、2 背景画像記憶部、3 画像比較部、4 物体判定部、5 背景画像生成部、6 背景画像更新用動き判定部、7 前フレーム画像記憶部、8 フレーム間画像比較部、9 動き判定部。
Claims (3)
- 背景画像中の物体を検知する物体検知識別装置において、
入力画像と前記背景画像を比較する画像比較部と、
前記画像比較部における画像比較の結果から前記物体の存在を判定する物体判定部と、
前記入力画像の時間的な変化から画像中の動きを抽出する背景画像更新用動き判定部と、
前記背景画像更新用動き判定部による動き抽出結果と、前記物体判定部による物体判定結果と、現在の入力画像とに基づいて背景画像を更新する背景画像生成部とを備えたことを特徴とする物体検知識別装置。 - 背景画像更新用動き判定部は、
前フレームの入力画像を記憶する前フレーム画像記憶部と、
現在の入力画像と前記前フレームの入力画像を比較するフレーム間画像比較部と、
前記フレーム間画像比較部における画像比較の結果から動きの有無を判定する動き判定部とからなることを特徴とする請求項1記載の物体検知識別装置。 - 画像比較部またはフレーム間画像比較部は、注目画素周辺の輝度分布から求めた輝度勾配の方向ベクトルを用いて、二つのベクトルのなす角度のうち小さいほうが0度に近ければ一致度が高く、90度に近ければ一致度が低いという演算を行い、当該演算結果に基づいて入力画像と背景画像の比較または現在の入力画像と前フレームの入力画像との比較を行うことを特徴とする請求項2記載の物体検知識別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330489A JP2010152672A (ja) | 2008-12-25 | 2008-12-25 | 物体検知識別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008330489A JP2010152672A (ja) | 2008-12-25 | 2008-12-25 | 物体検知識別装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010152672A true JP2010152672A (ja) | 2010-07-08 |
Family
ID=42571687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008330489A Pending JP2010152672A (ja) | 2008-12-25 | 2008-12-25 | 物体検知識別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010152672A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140022676A (ko) * | 2012-08-14 | 2014-02-25 | 에스케이텔레콤 주식회사 | 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002150295A (ja) * | 2000-11-09 | 2002-05-24 | Oki Electric Ind Co Ltd | 物体検出方法及び物体検出装置 |
JP2002358595A (ja) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | 道路交通流計測装置および道路交通流計測方法 |
JP2003123074A (ja) * | 2001-10-11 | 2003-04-25 | Sanyo Electric Co Ltd | 動物体検出装置、動物体検出方法及び動物体検出プログラム |
-
2008
- 2008-12-25 JP JP2008330489A patent/JP2010152672A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002150295A (ja) * | 2000-11-09 | 2002-05-24 | Oki Electric Ind Co Ltd | 物体検出方法及び物体検出装置 |
JP2002358595A (ja) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | 道路交通流計測装置および道路交通流計測方法 |
JP2003123074A (ja) * | 2001-10-11 | 2003-04-25 | Sanyo Electric Co Ltd | 動物体検出装置、動物体検出方法及び動物体検出プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140022676A (ko) * | 2012-08-14 | 2014-02-25 | 에스케이텔레콤 주식회사 | 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 |
KR101970611B1 (ko) | 2012-08-14 | 2019-04-19 | 에스케이 텔레콤주식회사 | 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110049206B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
US7982774B2 (en) | Image processing apparatus and image processing method | |
KR100677913B1 (ko) | 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치 | |
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
KR101910542B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
WO2014155979A1 (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
KR102144394B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6551226B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US9934576B2 (en) | Image processing system, image processing method, and recording medium | |
WO2014192441A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2016163328A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN107122743B (zh) | 安防监控方法、装置和电子设备 | |
US20220004748A1 (en) | Video display method, device and system, and video camera | |
US8923552B2 (en) | Object detection apparatus and object detection method | |
CN115760912A (zh) | 运动目标跟踪方法、装置、设备及计算机可读存储介质 | |
KR20100025338A (ko) | 영상 촬영을 통한 물체 추적 시스템 및 그 방법 | |
KR101396838B1 (ko) | 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템 | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
JP7074174B2 (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
KR102050418B1 (ko) | 영상 정합 장치 및 이를 이용한 영상 정합 방법 | |
JP2010152672A (ja) | 物体検知識別装置 | |
KR102450466B1 (ko) | 영상 내의 카메라 움직임 제거 시스템 및 방법 | |
CN114187322A (zh) | 对同一对象基于不同特征和场景的跨摄像头连续跟踪方法和装置、电子设备 | |
JP2013179614A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120925 |