JP2004110280A - 移動物体検出装置 - Google Patents

Abstract

【課題】動きがあっても、輝度変動の大きさとして現れにくい部分での移動物体の検出感度を向上させる。
【解決手段】画像フレーム中のピクセルの輝度の変化をＴ算出部２が検出する。この検出された変化量とＴ閾値とをＴ判定部６が比較し、検出された変化量がＴ閾値よりも大きいとき、前記ピクセルにおいて物体の移動があると判定する。Ｔ閾値を生成する閾値設定部８は、過去のフレーム中の前記ピクセルに対応する各ピクセルの輝度値の分散を用いてＴ閾値に設定する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像フレームから移動物体を検出する移動物体検出装置に関する。
【０００２】
【従来の技術】
従来、画像フレームから移動物体を検出する技術としては、例えばフレーム間差分法や背景差分法がある。フレーム間差分法は、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域を移動物体として検出するものである。背景差分法は、検出すべき物体が存在しない背景画像フレームを予め用意しておき、現在入力されている画像フレームと背景画像フレームとの差分を計算するものである。
【０００３】
フレーム間差分法は、環境が変化しても対応することができるが、移動物体の全ての領域を抽出することが不可能である。背景差分法は、ほぼ完全な移動物体領域を抽出することができるが、天候等による環境変化が生じると、その度に背景画像を更新する必要がある。
【０００４】
例えばフレーム間差分法を用いて動きを検出する場合、動きがあるか否かを判定するための閾値を、輝度レベルに応じて変更するものがある（例えば、特許文献１）。この特許文献１では、１画像フレーム中において動きのあるところは動画を、動きの無いところは静止画を送ることを目的としている。特に、静止画と判定した部分には、フレーム間処理を行って、ランダムノイズを低減させている。そして、輝度値が低い部分では、ノイズが混入すると、視覚的にノイズが目立つので、静止画と判断した方が有利となる。そこで、動き検出の感度を決定する閾値を、輝度値が低い場合には、下げている。
【０００５】
【特許文献１】
特開平４−１７２８９１号公報（第４−５頁、第１−４図）
【０００６】
【発明が解決しようとする課題】
しかし、この手法では、１画像フレーム中の暗い部分において動きの検出感度を下げている。従って、画像を利用した監視システムにおける移動物体の検出に、特許文献１の技術を使用した場合、１画像フレームの暗い部分にある物体を検出することができなくなる。
【０００７】
本発明は、動きがあっても、輝度変動の大きさとして現れにくい部分での、移動物体の検出感度を向上させることを目的とする。
【０００８】
【課題を解決するための手段】
本発明による移動物体検出装置の一態様では、画像フレーム中の小領域の輝度の変化を輝度変化量検出手段が検出する。小領域としては、１ピクセルを使用することもできるし、隣接する複数のピクセルからなるブロックとすることもできる。輝度変化量検出手段としては、例えば或る画像フレームにおける前記小領域の輝度値と、この画像フレームよりも過去の複数の画像フレームにおける前記小領域の輝度値との偏差のうち最大の値を検出するものや、フレーム間差分法または背景差分法を使用して、輝度値の変化量を検出するものを使用できる。この検出された値と閾値とを判定手段が比較し、検出値が前記閾値よりも大きいとき、前記小領域において物体の移動があると判定手段が判定する。前記閾値を閾値生成手段が生成する。前記閾値生成手段は、前記過去の画像フレームにおける互いに対応する前記小領域の輝度値変化に基づいて前記閾値を生成する。
【０００９】
このように構成した移動物体検出装置では、閾値が過去の画像フレームにおける互いに対応する小領域の輝度値変化に基づいて変動する。例えば小領域の輝度が余り変化していない状態を基に閾値を作成していると、その閾値の値は小さくなる。この状態で、小領域の輝度が変化すると、この輝度値は、小さな値である閾値よりも大きくなり、物体を検出することができる。即ち、物体と、その背景との輝度差が低く、輝度変動が小領域に現れにくい場合でも、検出感度を上げることができ、検出精度を向上させることができる。
【００１０】
前記閾値生成手段は、過去の画像フレームにおける互いに対応する前記小領域の輝度の分散に比例した値を前記閾値とすることができる。例えば分散は、小領域の値に変動が少ない場合には、小さな値となる。この状態で、小領域の輝度値がわずかでも大きくなると、小領域の輝度値の方が閾値よりも大きくなる。なお、過去の画像フレームとしては、検査対象としているフレームから、或いはこのフレームよりも１つ前のフレームから、最低２フレームを使用する。
【００１１】
【発明の実施の形態】
本発明の１実施態様の移動物体検出装置は、例えば屋外を監視のために撮像している撮像手段、例えばビデオカメラの映像信号から移動物体を検出する事前段階として、画像上の各小領域、例えば各ピクセルの輝度の時間的変化を観測して、そのピクセルの状態を動状態、静状態、背景状態のいずれかであると判定するものである。このようにして静状態または動状態と判定された各ピクセルは、クラスタリングにより動状態の領域と静状態の領域とに分けられる。動状態に分けられた領域を移動物体、静状態に分けられた領域を静止物体と判定する。
【００１２】
この動状態、静状態、背景状態のいずれかであるかと判定するための基本原理として、ピクセルの輝度が、状況に応じて、次の３つのように変化する点を利用する。物体がピクセル上を通過するとき、そのピクセルの輝度値は、図３（ａ）に示すように、元の輝度値から急激に変化した後、一時的に不安定な状態となり、再度、急激に変化した後、元の値に戻る。物体がピクセル上に停止したとき、そのピクセルの輝度値は、図３（ｂ）に示すように、元の輝度値から急激に変化した後、一時的に不安定な状態が続き、その後、元の輝度値ではなく、停止している物体の輝度値で安定する。物体が存在せずに、太陽が雲に隠れた等の環境変化が生じたとき、同図（ｃ）に示すように、輝度値は緩やかに変化する。
【００１３】
このような輝度値の変化を捉えることによって、ピクセルが動状態であるか静状態であるか背景状態であるかを捉えることができる。例えば、図２に示すような一連のフレームを考え、最新のフレームをＦ_{（ｔ＋Ｋ）}とし、これよりも予め定めた数Ｋだけ遡ったフレームＦ_ｔを検査対象フレームとする。このフレームＦ_ｔと、このフレームＦ_ｔよりもさらにＪフレームだけ遡ったフレームＦ_{（ｔ−Ｊ）}とを考える。そして、これら各フレームにおいて対応する１つのピクセルの輝度値をＩ_ｔ乃至Ｉ_{（ｔ−Ｊ）}とする。輝度値Ｉ_{（ｔ−１）}乃至Ｉ_{（ｔ−Ｊ）}とＩ_ｔとの差の絶対値のうち最も大きなものを、輝度値の変化量Ｔとして求める。即ち、
【数１】

の演算を行う。この演算は、輝度値変化量検出手段、例えば図１に示すＴ算出部２によって行われる。この演算を行うために、例えばリングバッファ４に記憶されているビデオストリームから、Ｔ算出部２にデータが入力されている。
【００１４】
この変化量Ｔが大きければ、現在のフレームＦ_{（ｔ＋Ｋ）}よりもＫフレーム前のフレームＦ_ｔの或るピクセルとフレームＦ_{（ｔ−Ｊ）}のとの間の互いに対応するピクセルにおいて急激な輝度値の変化が生じたと、判断することができる。そこで、急激な変化であるか判定するために、輝度値の変化量Ｔを閾値と比較する。そのため、判定手段と閾値生成手段、例えば、図１にＴ判定部６とＴ閾値設定部８とが設けられている。
【００１５】
本発明の特徴は、このＴ閾値設定部８でのＴ閾値の設定にある。Ｔ閾値として固定値を使用した場合、輝度値の変化量ＴがＴ閾値よりも大きくなければ、急激な変化とは判定されない。例えば建物や木の影になっているような領域を、物体が移動しても、その物体と背景となっている影の部分の輝度値に大きな差がないため、輝度値の変化量Ｔは小さく、固定値であるＴ閾値を超えない可能性がある。そこで、この実施の形態では、Ｔ閾値として、例えば、フレームＦ_ｔよりも過去のフレームにおいて、Ｉ_{（ｔ−１）}乃至Ｉ_{（ｔ−Ｊ）}に対応するピクセルの輝度値の分散Ｓより決定する。
【００１６】
閾値を求めるために用いる過去のフレームとしては、輝度変化量を求めたＩ_{（ｔ−１）}乃至Ｉ_{（ｔ−Ｊ）}が属するフレームを使用することもできる。或いは、最低限度２フレーム、例えばＩ_{（ｔ−１）}及びＩ_{（ｔ−２）}が属するフレームを使用することもできる。分散Ｓを求めるためのフレームの期間を余り長く設定すると、環境変化による輝度の変化、例えば太陽が徐々に雲に隠れて、輝度が徐々に低下するというような輝度の変化の影響を受ける。実際の形態としては、数フレームを使用する。
【００１７】
例えば影の領域を物体が移動していない状態では、その影の領域に属する或るピクセルの過去の輝度値は、このピクセルの過去の輝度値の算術平均値からの乖離が少なく、分散Ｓは小さな値である。この状態において、上記或るピクセル上を物体が移動すると、上記算術平均値からの乖離よりも大きな変化量Ｔが生じる。従って、影の領域において分散Ｓに比べて大きな変化量Ｔを伴う移動する物体を検出することが可能である。
【００１８】
分散Ｓを、フレームＦ_{（ｔ−ｋ）}からＦ_{（ｔ−１）}までのｋフレームで求めると、
【数２】

となる。但し、Ｉ_ａｖｅは、フレームＦ_{（ｔ−ｋ）}からＦ_{（ｔ−１）}までの同じ位置に属するピクセルの平均輝度値である。式の変形の途中経過は省略するが、分散Ｓは
【数３】

となる。Ｔ閾値設定部８は、この式を用いて、Ｔ閾値をＴ判定部６に設定する。
【００１９】
このようにして、輝度値の急激な変化があるか判定した上に、図３（ｂ）に示すように不安定な状態から安定した状態に過去に輝度値が変化しているか判定する。即ち、フレームＦ_{（ｔ＋１）}から未来のフレームＦ_{（ｔ＋Ｋ）}までのＫフレームにおいて、輝度値が安定しているか判定する。そのため、フレームＦ_{（ｔ＋１）}からＦ_{（ｔ＋Ｋ）}までの互いに対応するピクセル（同じ位置に属するピクセル）での分散Ｖが、Ｖ算出部１０によって算出される。この分散Ｖは、
【数４】

によって求められる。
【００２０】
この分散Ｖが小さい値であるなら、安定した状態にあると判定することができる。そのため、Ｖ判定部１２において、Ｖ閾値設定部１４からのＶ閾値と比較され、分散ＶがＶ閾値よりも小さい値の時、ピクセルは安定状態にあると判定される。
【００２１】
これらＴ判定部６及びＶ判定部１２での判定結果が、判定部１６に供給され、これら判定結果に基づいて、検査対象フレームＦ_ｔの対象としているピクセルの状態を判定する。例えば、このピクセルの前回の状態が静または背景であり、変化量ＴがＴ閾値を超えたとＴ判定部６が判定しているとき、判定部１６は、このピクセルが動状態であると判定する。また、現在のピクセルの状態が動状態であって、Ｖ判定部１２で分散ＶがＶ閾値よりも小さいと判断されている場合、さらに輝度値Ｉ_ｔが、このピクセル用に予め設定されている背景用輝度値に属するか判断し、属していれば、このピクセルを背景と判断し、属していなければ、このピクセルを静状態であると判定する。
【００２２】
このような操作を、全てのピクセルに対して行うことによって、各ピクセルが動状態、静状態、背景状態のいずれであるかを判定する。これら各ピクセルの状態を基に背景以外のピクセル群をセグメンテーションして、動状態のみによって構成されている領域を移動物体の領域と判定する。静状態のみによって構成されている領域を、停止している物体の領域と判定する。これらの判定法の詳細は、本発明とは直接に関連しないので、その詳細な説明は省略する。
【００２３】
なお、図１では、この移動物体検出装置の構成をブロック図によって示したが、実際には、ＣＰＵやＤＳＰによってプログラムを実行することによって、この移動物体検出装置を実現することができる。
【００２４】
上記の実施の形態では、輝度値の変化量Ｔを、Ｉ_ｔとＩ_{（ｔ−ｉ）}との偏差のうち最も大きなものとしたが、これに限ったものではなく、例えば公知のフレーム間差分値または、背景差分値を変化量Ｔとすることもできる。また、上記の実施の形態では、分散Ｓに比例した値をＴ閾値として使用したが、過去の輝度値の影響を受けているもの、例えば算術平均値や標準偏差を使用することもできる。また、上記の実施の形態では、輝度値の変化量Ｔを算出するために、連続するＪ個のフレームの互いに対応するピクセルの輝度値を使用したが、例えば不連続な、具体的には１つおきまたは２つおきのフレームの互いに対応するピクセルの輝度値を使用しても良い。また、ピクセルごとに輝度値の変化量を求めたが、これに限ったものではなく、例えば水平及び垂直方向に連続する複数個、例えばｎ＊ｍ個のピクセルからなるブロックごとに輝度値の変化量を求めることもできる。
【００２５】
【発明の効果】
以上のように、本発明によれば、輝度値の変化量と比較して物体が移動しているか否かを判定するのに使用する閾値を、輝度値の過去の変化に基づいて決定しているので、影の領域のように輝度値の変化が少ない領域において物体が移動したような場合でも、高精度に移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の１実施形態の移動物体検出装置のブロック図である。
【図２】図１の移動物体検出装置の動作説明図である。
【図３】或るピクセル上を物体が通過した場合、物体が静止した場合及び或るピクセルの環境が変化した場合の輝度値の時間経過に伴う変化を示す図である。
【符号の説明】
２　Ｔ算出部（輝度値変化量検出手段）
６　Ｔ判定部（判定手段）
８　Ｔ閾値設定部（閾値生成手段）

Claims (5)

1. 画像フレーム中の小領域の輝度の変化を検出する輝度変化量検出手段と、
   この検出された変化量と閾値とを比較し、検出された変化量が前記閾値よりも大きいとき、前記小領域において物体の移動があると判定する判定手段と、
   前記閾値を生成する閾値生成手段とを、
   具備し、前記閾値生成手段は、前記フレームよりも過去のフレーム中の前記小領域に対応する小領域における輝度値に基づいて変動する前記閾値を生成する
   移動物体検出装置。
2. 請求項１記載の移動物体検出装置において、前記閾値生成手段は、過去の画像フレームにおける互いに対応する前記小領域の輝度の分散を前記閾値とする移動物体検出装置。
3. 請求項２記載の移動物体検出装置において、前記輝度変化量検出手段は、或る画像フレームにおける前記小領域の輝度値と、この画像フレームよりも過去の複数の画像フレームにおける前記小領域の輝度値との偏差のうち最大の値を検出する移動物体検出装置。
4. 請求項２記載の移動物体検出装置において、前記輝度変化量検出手段は、フレーム間差分法によって輝度の変化を検出する移動物体検出装置。
5. 請求項２記載の移動物体検出装置において、前記輝度変化量検出手段は、背景差分法によって輝度の変化を検出する移動物体検出装置。

Images