JP2009032284A - 移動物体検出装置 - Google Patents

Abstract

【課題】動画像のノイズに関わらず安定して移動物体を検出することができる移動物体検出装置を提供すること。
【解決手段】動ベクトル切替部１０８が動画像の各ブロックについて、動ベクトルの始点に対応したブロックと終点に対応したブロックとの第１の整合度あるいは第１の整合度と同位置ブロック同士の第２の整合度との差分をしきい値と比較して動ベクトルを出力するか否かを切り替え、移動物体検出部１０９が出力された動ベクトルで移動物体を検出し、ノイズ測定部１０５が動ベクトル検出部１０４により検出された動ベクトルに関する動ベクトル情報を参照して、動ベクトルの変化の状態に基づいて動画像のノイズを測定し、動画像を複数の領域に分割して領域毎に動ベクトルの増加数を算出し、しきい値決定部１０７が複数の増加数に基づいてしきい値を決定する構成とした。
【選択図】図７

Description

本発明は、動画像をフレーム間で比較して移動物体を検出する移動物体検出装置および移動物体検出方法に関し、特に、動画像のノイズに関わらず安定して移動物体を検出することができる移動物体検出装置および移動物体検出方法に関する。

動画像をフレーム間で比較して移動物体を検出する従来の移動物体検出装置として、例えば特許文献１に記載されたものがある。この従来の移動物体検出装置は、移動物体領域における動ベクトルの検出性能を損なうことなく背景領域における動ベクトルの誤検出を抑えることを意図して、移動体物体領域と背景領域とで異なるしきい値を用い、動ベクトルを出力するか否かを切り替えるようになっている。

具体的には、まず、動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す画素値の差分絶対値和を算出する。次に、各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出する。次に、各ブロックについて、差分絶対値和である最小値と、同位置ブロック同士のフレーム間の単純差分である差分絶対値和との差分をとり、この差分をしきい値と比較する。ここで、しきい値以上であれば動ベクトルを出力し、しきい値未満であれば零ベクトルを出力する。また、動ベクトルに基づいて行われた領域判定の結果に基づいて、図１６に示すように、背景領域１６１１においては背景領域用の予め決められた第１のしきい値ｔｈ１を用い、移動物体領域１６１２においては移動物体領域用の予め決められた第２のしきい値ｔｈ２を用いるようになっていた。
特開平７−９９６５７号公報

しかしながら、このような従来の移動物体検出装置では、動画像のノイズの程度やノイズの変動によっては、しきい値が適切な値ではなくなってしまい、動ベクトルを正常に出力することができないこととなり、したがって、安定して移動物体を検出することができないという問題があった。

本発明はこのような問題を解決するためになされたもので、動画像のノイズに関わらず安定して移動物体を検出することができる移動物体検出装置および移動物体検出方法を提供するものである。

本発明の移動物体検出装置は、動画像をフレーム毎に取り込む動画像取込部と、前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出部と、前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出部と、前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第１の整合度あるいは前記第１の整合度と同位置ブロック同士の第２の整合度との差分をしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替部と、前記動ベクトル切替部を介して出力された前記動ベクトルで移動物体を検出する移動物体検出部と、前記動画像のノイズを測定するノイズ測定部と、前記ノイズの測定結果に応じて前記しきい値を決定するしきい値決定部と、前記動ベクトル検出部によって検出された前記動ベクトルに関する動ベクトル情報を記録する動ベクトル情報記録部とを備え、前記ノイズ測定部は、前記動ベクトル情報を参照して、前記動ベクトルの変化の状態に基づいて前記動画像のノイズを測定し、前記動画像を複数の領域に分割して、領域毎に前記動ベクトルの増加数を算出し、前記しきい値決定部は、前記複数の増加数に基づいて前記しきい値を決定する構成を有している。

この構成により、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。

また、動画像のノイズのレベルが上がっても、領域毎に動ベクトルの増加数を算出するという簡単な処理によって、動ベクトルの変化の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかからずに、しきい値を動的にかつ的確に制御することができる。

本発明の移動物体検出装置は、前記移動物体検出部が、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出する構成を有している。

この構成により、動画像のノイズのレベルが上がっても、誤って出力された動ベクトルは無視されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらずさらに安定して移動物体を検出することができる。

本発明の移動物体検出装置は、前記移動物体検出部が、前記動ベクトルの方向が一定範囲内にあるブロックに同一のラベルを付して移動物体を検出する構成を有している。

この構成により、誤って出力された動ベクトルは無視されるとともに、異なる方向に移動する移動物体同士が区別されることとなり、したがって、安定して移動物体を検出することができるとともに、異なる方向に移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。

本発明の移動物体検出装置は、前記移動物体検出部が、前記動ベクトルの方向が一定範囲内かつ前記動ベクトルの大きさが一定範囲内にあるブロックに同一のラベルを付して移動物体を検出する構成を有している。

この構成により、誤って出力された動ベクトルは無視されるとともに、異なる方向および異なる速度で移動する移動物体同士が区別されることとなり、したがって、安定して移動物体を検出することができるとともに、異なる方向および異なる速度で移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。

本発明の移動物体検出装置は、前記整合度算出部が、フレーム間の各ブロック対各ブロックについて画素値の差分絶対値和を算出し、前記動ベクトル検出部が、前記動画像の各ブロックについて前記差分絶対値和の最小値を求めて動ベクトルを検出し、前記動ベクトル切替部が、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第１の差分絶対値和あるいは前記第１の差分絶対値和と同位置ブロック同士の第２の差分絶対値和との差分を前記しきい値と比較する構成を有している。

この構成により、フレーム間の各ブロック対各ブロックの整合度を画素値の差分絶対値和で検出する場合においても、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。

本発明によれば、動画像のノイズに関わらず安定して移動物体を検出することができるという優れた効果を有する移動物体検出装置および移動物体掲出方法を提供することができる。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の移動物体検出装置１００を示すブロック図である。

図１において、動画像取込部１０１は、可視カメラや遠赤外線カメラ等の撮像装置１０から出力された動画像をフレーム毎に取り込むものである。動画像記録部１０２は、動画像をフレーム毎に記録するものである。差分絶対値和算出部１０３（整合度算出部）は、動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す画素値の差分絶対値和を算出するものである。動ベクトル検出部１０４は、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するものである。ノイズ測定部１０５は、動ベクトル検出部１０４によって検出された動ベクトルに関する情報に基づいて動画像のノイズを測定するものである。例えば、動ベクトルに関する情報として、動ベクトルの検出位置、動ベクトルの方向、および動ベクトルの大きさのいずれか、またはこれらの組合せに基づいて動画像のノイズを測定するようになっている。しきい値記憶部１０６は、複数のしきい値を記憶するものである。しきい値決定部１０７は、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定するものである。例えば、まず、しきい値記憶部１０６に記憶された所定の基準値をしきい値として用い、ノイズが大きくなったときには、しきい値記憶部１０６に記憶されたしきい値の切替候補の中からノイズの状態に対応したものを選択して用いるようになっている。動ベクトル切替部１０８は、動画像の各ブロックについて、動ベクトルの始点に対応したブロックと動ベクトルの終点に対応したブロックとの差分絶対値和（すなわち動ベクトルに対応した差分絶対値和）と同位置ブロック同士のフレーム間の単純差分である差分絶対値和との差分をしきい値と比較する。移動物体検出部１０９は、動ベクトル切替部１０８を介して出力された動ベクトルで移動物体を検出する。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出する。

なお、画素値は、輝度値その他の画素のレベルである。

差分絶対値和は、取り込まれた現在のフレーム（以下「現フレーム」という）と現フレームの前のフレーム（以下「前フレーム」という）とについて、注目ブロック内の各画素値と対比ブロック内の各画素値との差分の絶対値の和をとったものである。この差分絶対値和は、注目ブロックと対比ブロックとの画像の整合の度合い（以下、「整合度」という）を示す評価値（「相関値」ともいう）のひとつであり、値が小さいほどブロック間の整合度が高い。

動ベクトルは、物体の移動量を示す。本実施の形態においては、現フレーム上で対比ブロックを上下左右に移動させて、前フレームの注目ブロックとの差分絶対値和が最小となる対比ブロックと注目ブロックとの位置関係を動ベクトルとするようになっている。

ノイズは、撮像装置や動画像の伝送路等において発生するものであって、撮像対象の変化によらない画素値の変化である。

次に、本実施の形態の移動物体検出装置の動作について、図２のフローチャートを用いて説明する。

まず、動画像をフレーム毎に取りこむ（Ｓ２０１）。取り込まれた動画像は、動画像記録部１０２によってフレーム毎に記録される。

次に、動画像をフレーム毎に複数のブロックに分割して、動画像記録部１０２から取り出した前フレームの各ブロックと取り込まれた現フレームの各ブロックとについて画素値の差分絶対値和を算出する（Ｓ２０２）。具体的には、各注目ブロックの近傍において、横方向に−ＸからＸまで、縦方向に−ＹからＹまで、現フレーム上で対比ブロックをそれぞれ移動させて、数１に示すように、前フレームにおける各注目ブロック内の各画素値Ｉt-1と現フレームにおける各対比ブロック内の各素値Ｉtとの差分絶対値和Ｖ（ｖx，ｖy）をそれぞれ算出する。

ここで、（ｂx，ｂy）はフレーム内の基準ブロックを原点とした各ブロックの位置であり、（ｍ，ｎ）は各ブロックの大きさであり、（ｘ，ｙ）は各ブロック内の各基準点を原点とした各画素の相対位置であり、（ｖx，ｖy）は各注目ブロックから各対比ブロックへのベクトルである。

次に、動画像の各ブロックについて、差分絶対値和の最小値を求めて動ベクトルを検出する（Ｓ２０３）。具体的には、数２に示すように、各注目ブロックについて、各対比ブロックとの差分絶対値和の最小値Ｖminを求め、差分絶対値和が最小となる対比ブロックへのベクトル（ｖx，ｖy）を動ベクトルとする。

次に、検出された動ベクトルに関する情報に基づいて動画像のノイズを測定する（Ｓ２０４）。ノイズの測定をどのように行うかについては、（１）動ベクトルの検出位置についての分布の状態に基づいて動画像のノイズを測定する、（２）動ベクトルの方向や大きさについての分布の状態に基づいて動画像のノイズを測定する、（３）動ベクトルの時間系列での変化の状態に基づいて動画像のノイズを測定する、などがある。これらのノイズ測定の具体的な例については、後述する第２の実施の形態から第４の実施の形態までにおいてそれぞれ詳細に説明する。

次に、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定する（Ｓ２０５）。具体的には、しきい値記憶部１０６に記憶された所定の基準値を初期のしきい値として用い、ノイズが大きくなったときには、しきい値記憶部１０６に記憶されたしきい値の切替候補の中からノイズの状態に対応したものを選択して用いる。

次に、動画像の各ブロックについて、動ベクトルに対応した差分絶対値和Ｖminと同位置のブロック同士のフレーム間差分に相当する差分絶対値和Ｖ(0,0)との差分Ｖ(0,0)−Ｖminをしきい値と比較して、動ベクトルを出力するか否かを切り替える（Ｓ２０６）。図１１に、前フレームの各注目ブロックと現フレームの各対比ブロックとの差分絶対値和Ｖ（ｖx，ｖy）の最小値を求めて得た元の動ベクトル情報１１１０と、しきい値との比較により出力するか否かを切り替えられた移動物体検出用の動ベクトル情報１１２０の例を示す。図１１において、元のベクトル情報１１１０は、移動物体領域１１１２に物体の移動による複数の動ベクトルが検出されているとともに、背景領域１１１１にノイズによる複数の動ベクトルが検出されている。本実施の形態においては、ノイズの状態に応じてしきい値を決定し、各動ベクトルに対応した差分絶対値和と同位置のブロック同士の差分絶対値和との差分がしきい値以上であるときに動ベクトルを出力するとともにしきい値未満であるときに動ベクトルを出力しない（零ベクトルを出力する）よう切り替えることにより、移動物体検出用の動ベクトル情報１１２０は、移動物体領域１１２２において物体の移動による複数の動ベクトルが出力されるとともに、背景領域１１２１においてはノイズによる動ベクトルがほとんど出力されないことになる。

次に、出力された動ベクトルで移動物体を検出する（Ｓ２０７）。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出する。

以上のステップを動画像が終了するまで継続する（Ｓ２０８）。

なお、図２に示す各ステップは、コンピュータに実行させるようにしてもよい。

また、ノイズを測定するステップ（Ｓ２０４）およびしきい値を決定するステップ（Ｓ２０５）の後に動ベクトルを切り替えるステップ（Ｓ２０６）および移動物体を検出するステップ（Ｓ２０７）を行う例について説明したが、動ベクトルを切り替えるステップ（Ｓ２０６）および移動物体を検出するステップ（Ｓ２０７）の後にノイズを測定するステップ（Ｓ２０４）およびしきい値を決定するステップ（Ｓ２０５）を行い、次のフレームから新たに決定されたしきい値で動ベクトルを切り替えるようにしてもよい。

また、動ベクトルを切り替えるステップ（Ｓ２０６）において、動ベクトルに対応した差分絶対値和Ｖminと同位置のブロック同士の差分絶対値和Ｖ(0,0)との差分Ｖ(0,0)−Ｖminをしきい値と比較する例について説明したが、動ベクトルに対応した差分絶対値和Ｖminとしきい値とを比較するようにしてもよい。

また、しきい値記憶部１０６からしきい値候補を取り出すことによってしきい値を動的に変化させる例について説明したが、しきい値の基準値としきい値の基準値との差分を予め決めておき、しきい値を動的に変化させるようにしてもよい。また、しきい値が２種類の場合を含む。

以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズを測定し、動ベクトルを出力するか否かを切り替えるためのしきい値をノイズの測定結果に応じて決定するので、動画像のノイズのレベルが上がっても、誤った動ベクトルの出力が抑止されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらず安定して移動物体を検出することができる。

また、動ベクトルに関する情報に基づいてノイズを測定するので、動ベクトルの検出に影響するノイズが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。

また、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出するので、誤って出力された孤立ブロックの動ベクトルは無視されることとなり、したがって、さらに安定して移動物体を検出することができる。

（第２の実施の形態）
図３は、本発明の第２の実施の形態の移動物体検出装置を示すブロック図である。

図３において、図１に示す第１の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第１の実施の形態において説明したので詳細な説明を省略する。

本実施の形態において、位置分布測定部３０５は、動ベクトルの検出位置についての分布の状態に基づいて動画像のノイズを測定するようになっている。具体的には、動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、動画像を複数の領域に分割して領域毎に孤立ブロック数を算出する。しきい値決定部３０７は、領域毎の孤立ブロック数に基づいてしきい値を決定する。

次に、本実施の形態の移動物体検出装置の動作について、図４のフローチャートを用いて説明する。

図４において、動画像を取りこむステップ（Ｓ２０１）から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ（Ｓ２０３）までは、第１の実施の形態において説明した各ステップと同様な処理である。

次に、動ベクトルが検出されたブロックの中から隣接する４近傍あるいは８近傍のブロックに動ベクトルが検出されていない孤立ブロックを抽出するとともに、動画像を複数の領域に均等に分割して領域毎に孤立ブロック数を算出する（Ｓ４０４）。次に、動ベクトルを出力するか否か切り替えるためのしきい値を領域毎の孤立ブロック数に応じて決定する（Ｓ４０５）。

例えば、領域毎の孤立ブロック数に基づいて、孤立ブロックが全領域に均等に分布しているか否か判定し、均等に分布しているとき、しきい値を所定の基準値から基準値より値が大きなしきい値に変更する。孤立ブロックが全領域に均等に分布している場合の例を図１２に示す。図１２において、各領域の孤立ブロック数がそれぞれ予め決められた第１の数以上（例えば「３」以上）であって、かつ、各領域における孤立ブロック数の最大値（図１２においては「４」）と各領域における孤立ブロック数の最小値（図１２においては「３」）との差分（図１２においては「１」）が予め決められた第２の数以下（例えば「４」以下）であるか否かを判定し、各領域の孤立ブロック数がそれぞれ第１の数以上であって、かつ、孤立ブロック数の最大値と孤立ブロック数の最小値との差分が第２の数以下である場合には、大きなしきい値に変更する。

なお、図４において、動ベクトルを出力するか否かを切り替えるステップ（Ｓ２０６）と、動ベクトルで移動物体を検出するステップ（Ｓ２０７）と、終了するか否かを判定するステップ（Ｓ２０８）とは、第１の実施の形態において説明した各ステップと同様な処理である。

図４に示す各ステップは、コンピュータに実行させるようにしてもよい。

また、ノイズが小さくなり、孤立ブロック数が少なくなった場合については、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。

以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの検出位置についての分布の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。また、領域毎に孤立ベクトル数を算出することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。

（第３の実施の形態）
図５は、本発明の第３の実施の形態の移動物体検出装置を示すブロック図である。

図５において、図１に示す第１の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第１の実施の形態において説明したので詳細な説明を省略する。

本実施の形態において、度数分布測定部５０５は、動ベクトルの方向および動ベクトルの大きさについて分布を示す情報を生成して、動ベクトルの方向および動ベクトルの大きさの分布のうち少なくとも一方について分布の均一度を判定するようになっている。しきい値決定部５０７は、度数分布測定部５０５によって得られた均一度に基づいてしきい値を決定するようになっている。

次に、本実施の形態の移動物体検出装置の動作について、図６のフローチャートを用いて説明する。

図６において、動画像を取りこむステップ（Ｓ２０１）から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ（Ｓ２０３）までは、第１の実施の形態において説明した各ステップと同様な処理である。

次に、動ベクトルの方向についてのヒストグラム（度数分布情報）を生成して、動ベクトルの方向について分布の均一度を判定し（Ｓ６０４）、この均一度に基づいてしきい値を決定する（Ｓ６０５）。

例えば、動画像を複数の領域に均等に分割して、全ての領域において各領域の全ブロック数に対して一定比率以上のブロックで動ベクトルが検出され、かつ、ヒストグラムによって動ベクトルの方向についての各度数が一定範囲以内にあると判定されたとき、しきい値をさらに大きなしきい値に変更する。図１３は、移動物体がない場合に、全領域においてノイズによる動ベクトルが検出されてしまったときの元となる動ベクトル情報１３１０を示す。このように、ノイズによる影響がないときあるいは影響が少ないときと比較して、全領域においてノイズによる動ベクトルが増加してしまったとき、図１４に示すようなヒストグラム１４０１に基づいて、ノイズが大きくなったと判断し、しきい値を変更する。図１４のヒストグラム１４０１において、動ベクトルの方向についての各度数が「５」から「７」までの範囲にあり、ほぼ均一に分布していると判定され、しきい値が大きなしきい値に変更される。

なお、図６において、動ベクトルを出力するか否かを切り替えるステップ（Ｓ２０６）と、動ベクトルで移動物体を検出するステップ（Ｓ２０７）と、終了するか否かを判定するステップ（Ｓ２０８）とは、第１の実施の形態において説明した各ステップと同様な処理である。

図６に示す各ステップは、コンピュータに実行させるようにしてもよい。

また、ノイズが小さくなり、方向および大きさにばらつきがある状態となった場合には、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。

以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの方向や大きさの分布の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的にかつ的確に制御することができる。また、動ベクトルの方向や動ベクトルの大きさについての分布の均一度を判定することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。

なお、動ベクトルの方向についての分布の状態に基づいてしきい値を決定する例について説明したが、動ベクトルの方向および動ベクトルの大きさについての分布の状態に基づいてしきい値を決定するようにしてもよい。また、動ベクトルの大きさについての分布の状態に基づいて動画像のノイズを測定し、動ベクトルの方向についての分布の状態については測定しないようにしたものを含む。

（第４の実施の形態）
図７は、本発明の第４の実施の形態の移動物体検出装置を示すブロック図である。

図７において、図１に示す第１の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第１の実施の形態において説明したので詳細な説明を省略する。

本実施の形態において、動ベクトル情報記録部７１０は、動ベクトル検出部１０４によって検出された動ベクトルについての動ベクトル情報を記録するものである。動ベクトル情報には、動ベクトルの検出位置が少なくとも含まれる。動ベクトル情報は、動ベクトルの方向および大きさを含んでいてもよい。変化測定部７０５は、動ベクトル情報を参照して、動ベクトルの変化の状態に基づいて動画像のノイズを測定するようになっている。具体的には、動画像を複数の領域に分割して領域毎に動ベクトルの増加数を算出する。しきい値決定部７０７は、領域毎の動ベクトルの増加数に基づいてしきい値を決定するようになっている。

次に、本実施の形態の移動物体検出装置の動作について、図８のフローチャートを用いて説明する。

図８において、動画像を取りこむステップ（Ｓ２０１）から、動画像の各ブロックについて差分絶対値和の最小値を求めて動ベクトルを検出するステップ（Ｓ２０３）までは、第１の実施の形態において説明した各ステップと同様な処理である。

次に、動画像を複数の領域に分割して領域毎に動ベクトルの増加数を算出する（Ｓ８０４）。次に、領域毎の動ベクトルの増加数に基づいて前記しきい値を決定する（Ｓ８０５）。

例えば、全ての領域において動ベクトルの数が増加するとき、しきい値を所定の基準値からこの基準値より値が大きなしきい値に変更する。
図８に示す各ステップは、コンピュータに実行させるようにしてもよい。

また、ノイズが小さくなり、動ベクトルの数が減少したときについては、例えば、動ベクトルが検出されない領域が存在したとき、しきい値を基準値に戻すようにしてもよい。

なお、図８において、動ベクトルを出力するか否かを切り替えるステップ（Ｓ２０６）と、動ベクトルで移動物体を検出するステップ（Ｓ２０７）と、終了するか否かを判定するステップ（Ｓ２０８）とは、第１の実施の形態において説明した各ステップと同様な処理である。

以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、動ベクトルの変化の状態に着目してノイズのレベルが容易かつ的確に測定されることとなり、したがって、しきい値を動的かつ的確に制御することができる。

また、領域毎に動ベクトルの増加数を算出することによってノイズのレベルが容易かつ的確に測定されることとなり、したがって、負荷があまりかかることなく、しきい値を動的にかつ的確に制御することができる。

（第５の実施の形態）
図９は、本発明の第５の実施の形態の移動物体検出装置を示すブロック図である。

図９において、図１に示す第１の実施の形態の移動物体検出装置の構成要件と同じ構成要件には同じ符号を付しており、これらの構成要件については第１の実施の形態において説明したので詳細な説明を省略する。

本実施の形態において、移動物体検出部９０９は、動ベクトルが検出されたブロックの中から、隣接したブロックに動ベクトルが検出されている連結ブロックであって、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出するようになっている。

次に、本実施の形態の移動物体検出装置の動作について、図１０のフローチャートを用いて説明する。

図１０において、動画像を取りこむステップ（Ｓ２０１）から動ベクトルを出力するか否かを切り替えるステップ（Ｓ２０６）までは、第１の実施の形態において説明した各ステップと同様な処理である。

本実施の形態においては、動ベクトルが検出されたブロックの中から、隣接した４近傍あるいは８近傍のブロックに動ベクトルが検出されている連結ブロックであって、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出する（Ｓ１００７）。図１５にラベリングの例を示す。動ベクトルの検出位置、方向および大きさを示す動ベクトル情報１５１０に基づいて、各ブロックにラベルが付され、ラベル'ａ'が付された第１の移動物体領域１５２１と、ラベル'ｂ'が付された第２の移動物体領域１５２２とが検出される。

以上のステップを動画像が終了するまで継続する（Ｓ２０８）。

図１０に示す各ステップは、コンピュータに実行させるようにしてもよい。

以上説明したように、本実施の形態の移動物体検出装置は、動画像のノイズのレベルが上がっても、誤って出力された動ベクトルが無視されることとなり、したがって、動画像のノイズの程度やノイズの変動に関わらずさらに安定して移動物体を検出することができる。

また、動ベクトルの方向が一定範囲内であるブロックに同一のラベルを付して移動物体を検出するので、異なる方向に移動する移動物体同士が区別されることとなり、異なる方向に移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。

なお、第５の実施の形態において、動ベクトルの方向が一定範囲内ブロックに同一のラベルを付して移動物体を検出する例について説明したが、本発明はこれに限るものではなく、動ベクトルの方向が一定範囲内、かつ、動ベクトルの大きさが一定範囲内であるブロックに同一のラベルを付して移動物体を検出するようにしたものを含む。

このように動ベクトルの大きさが一定範囲内であるであるブロックに同一のラベルを付して移動物体を検出した場合には、異なる速度で移動する移動物体同士が区別されることとなり、異なる速度で移動する移動物体が混在する場合であっても、安定して移動物体を検出することができる。

また、第１の実施の形態から第５の実施の形態までにおいて、ブロック間の整合度を画素値の差分絶対値和として算出する例について説明したが、本発明はこれに限るものではなく、正規化相互相関値その他のマッチングの評価値によってブロック間の整合の度合いを算出するものを含む。

本発明の第１の実施の形態の移動物体検出装置を示すブロック図 本発明の第１の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート 本発明の第２の実施の形態の移動物体検出装置を示すブロック図 本発明の第２の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート 本発明の第３の実施の形態の移動物体検出装置を示すブロック図 本発明の第３の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート 本発明の第４の実施の形態の移動物体検出装置を示すブロック図 本発明の第４の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート 本発明の第５の実施の形態の移動物体検出装置を示すブロック図 本発明の第５の実施の形態の移動物体検出装置における移動物体検出処理を示すフローチャート 本発明の第１の実施の形態の移動物体検出装置におけるしきい値決定を説明するための説明図 本発明の第２の実施の形態の移動物体検出装置における動ベクトルの検出位置の分布の状態を説明するための説明図 本発明の第３の実施の形態の移動物体検出装置における動ベクトルの方向の分布の状態を説明するための説明図 本発明の第３の実施の形態の移動物体検出装置における動ベクトルの方向の度数分布情報を示す図 本発明の第１の実施の形態から第５の実施の形態の移動物体検出装置における移動物体検出を説明するための説明図 従来の移動物体検出装置におけるしきい値を説明するための説明図

符号の説明

１０１ 動画像取込部
１０２ 動画像記録部
１０３ 差分絶対値和算出部（整合度算出部）
１０４ 動ベクトル検出部
１０５ ノイズ測定部
１０６ しきい値記憶部
１０７ しきい値決定部
１０８ 動ベクトル切替部
１０９ 移動物体検出部

Claims (5)

1. 動画像をフレーム毎に取り込む動画像取込部と、前記動画像をフレーム毎に複数のブロックに分割して、フレーム間の各ブロック対各ブロックについて整合の度合いを示す整合度を算出する整合度算出部と、前記動画像の各ブロックについて前記整合度を比較して動ベクトルを検出する動ベクトル検出部と、前記動画像の各ブロックについて、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第１の整合度あるいは前記第１の整合度と同位置ブロック同士の第２の整合度との差分をしきい値と比較して、前記動ベクトルを出力するか否かを切り替える動ベクトル切替部と、前記動ベクトル切替部を介して出力された前記動ベクトルで移動物体を検出する移動物体検出部と、前記動画像のノイズを測定するノイズ測定部と、前記ノイズの測定結果に応じて前記しきい値を決定するしきい値決定部と、前記動ベクトル検出部によって検出された前記動ベクトルに関する動ベクトル情報を記録する動ベクトル情報記録部とを備え、前記ノイズ測定部は、前記動ベクトル情報を参照して、前記動ベクトルの変化の状態に基づいて前記動画像のノイズを測定し、前記動画像を複数の領域に分割して、領域毎に前記動ベクトルの増加数を算出し、前記しきい値決定部は、前記複数の増加数に基づいて前記しきい値を決定するようにしたことを特徴とする移動物体検出装置。
2. 前記移動物体検出部は、前記動ベクトルが検出されたブロックの中から隣接ブロックに動ベクトルが検出されている連結ブロックにラベルを付して移動物体を検出するようにしたことを特徴とする請求項１に記載の移動物体検出装置。
3. 前記移動物体検出部は、前記動ベクトルの方向が一定範囲内にあるブロックに同一のラベルを付して移動物体を検出するようにしたことを特徴とする請求項２に記載の移動物体検出装置。
4. 前記移動物体検出部は、前記動ベクトルの方向が一定範囲内かつ前記動ベクトルの大きさが一定範囲内にあるブロックに同一のラベルを付して移動物体を検出するようにしたことを特徴とする請求項２に記載の移動物体検出装置。
5. 前記整合度算出部は、フレーム間の各ブロック対各ブロックについて画素値の差分絶対値和を算出し、前記動ベクトル検出部は、前記動画像の各ブロックについて前記差分絶対値和の最小値を求めて動ベクトルを検出し、前記動ベクトル切替部は、前記動ベクトルの始点に対応したブロックと前記動ベクトルの終点に対応したブロックとの第１の差分絶対値和あるいは前記第１の差分絶対値和と同位置ブロック同士の第２の差分絶対値和との差分を前記しきい値と比較するようにしたことを特徴とする請求項１ないし請求項４のいずれかに記載の移動物体検出装置。

Images