JP2004013615A - 移動物体監視装置 - Google Patents
移動物体監視装置 Download PDFInfo
- Publication number
- JP2004013615A JP2004013615A JP2002167573A JP2002167573A JP2004013615A JP 2004013615 A JP2004013615 A JP 2004013615A JP 2002167573 A JP2002167573 A JP 2002167573A JP 2002167573 A JP2002167573 A JP 2002167573A JP 2004013615 A JP2004013615 A JP 2004013615A
- Authority
- JP
- Japan
- Prior art keywords
- input image
- moving object
- blocks
- template
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】外乱が発生しても精度良く移動物体を認識する移動物体監視装置、移動物体監視方法およびプログラムを提供すること。
【解決手段】画像を入力しフレームメモリ１１２に出力する画像入力手段１１１と、保持された画像を取り込み、複数のブロックに分割して、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めるオプティカルフロー推定手段１１３と、ブロック間で相関値を求める信頼性評価手段１１４と、物体の動きから検出された移動物体をテンプレートとして登録するテンプレート管理手段１１５と、テンプレートと現入力画像とを比較し相関の高い領域を抽出することで移動物体を追跡するテンプレートマッチング手段１１６と、移動物体の各計測値を取得し所望の移動物体であると判定し警報出力する物体認識手段１１７によって構成される。
【選択図】 図１
【解決手段】画像を入力しフレームメモリ１１２に出力する画像入力手段１１１と、保持された画像を取り込み、複数のブロックに分割して、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めるオプティカルフロー推定手段１１３と、ブロック間で相関値を求める信頼性評価手段１１４と、物体の動きから検出された移動物体をテンプレートとして登録するテンプレート管理手段１１５と、テンプレートと現入力画像とを比較し相関の高い領域を抽出することで移動物体を追跡するテンプレートマッチング手段１１６と、移動物体の各計測値を取得し所望の移動物体であると判定し警報出力する物体認識手段１１７によって構成される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、入力した映像より物体の侵入を認識する移動物体監視装置、移動物体監視方法およびそのプログラムに関する。
【０００２】
【従来の技術】
従来、移動物体監視装置、移動物体監視方法およびそのプログラムとしては、例えば、特開平１１−４１５８９号公報に開示されたものが知られている。
【０００３】
図１２は、従来の移動物体監視装置の例を示す構成図である。
図１２に示す移動物体監視装置１２００は、屋内の監視エリアのシーンをＩＴＶカメラ１２２０で時系列的に監視装置本体１２１０に入力され、今回画像と前回画像の２フレームをそれぞれＡ／Ｄ変換する画像入力処理部１２１１と、両画像の変化領域を抽出する差分画像作成部１２１２と、変化領域を２値化し近接距離の変化領域同士を一つにまとめる外接矩形を形成して統合領域とする変化領域抽出部１２１３と、前記統合領域毎に前記今回画像と前回画像間の正規化関数処理による濃淡パターンマッチングを行い、類似度（相関値）が所定値以上の場合に背景による類似とみて当該統合領域を外乱に判定し、類似度が低い統合領域を移動物体候補として抽出する移動物体候補選択部１２１４と、候補物体の特徴量を算出して人物を識別する移動物体識別部１２１５と、識別した人物の画像データを格納し、その移動軌跡等の情報を表示装置１２３０にリアルタイムに表示する表示制御部１２１６により構成される。この構成により、屋内に侵入する移動物体（人物）の監視において、照明のちらつきや窓外の移動体などの外乱による誤検知を防止して、高速に識別する。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の移動物体監視装置、移動物体監視方法およびそのプログラムは、全体の画像中でのみ輝度の変化を統合領域としており、また今回画像と前回画像でのみ前記統合領域が外乱か否かを判断しているため、外乱と移動物体の動きが近接して生じた場合に前記移動物体の判別を誤りやすく、背景を含んで前記移動物体と認識しやすいという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたもので、外乱が発生しても精度良く移動物体を認識することができる移動物体監視装置、移動物体監視方法およびそのプログラムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備えた構成を有している。この構成により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００７】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関値を求めるようにした構成を有している。この構成により、入力画像を帯域画像の小ブロックに分割して相関値を求め、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００８】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前入力画像と現入力画像における同一位置の前記ブロック間で正規化相関を求めるようにした構成を有している。この構成により、入力画像をブロックに分割し正規化相関により高い相関を得られ、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００９】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記テンプレート管理手段が、信頼性の高いオプティカルフローの発生密度があらかじめ定められた密度より高いことを条件として、移動物体領域を抽出するようにした構成を有している。この構成により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価し、光の外乱による不必要なテンプレート登録が避けるため、外乱が発生しても精度良く移動物体を認識することができる。
【００１０】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段と、オプティカルフローの信頼性に応じて表示色または輝度を変化させ、視覚的に出力するようにした表示手段とを備えた構成を有している。この構成により、視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴え、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１１】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記オプティカルフローの信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の水平高調波成分を抽出した同帯域画像における同一位置のブロック間で相関値を求めるようにした構成を有している。この構成により、入力画像を帯域画像に分割し水平高調波成分を抽出した帯域で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００１２】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前入力画像と現入力画像における前記ブロックを複数個合わせた小領域間で比較するようにした構成を有している。この構成により、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００１３】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前々入力画像と前入力画像とで第１の１次評価を行い、前入力画像と現入力画像とで第２の１次評価を行い、前記第１の１次評価と前記第２の１次評価との結果に基づいて２次評価を行うようにした構成を有している。この構成により、信頼性評価の精度を高くできるため、外乱が発生しても精度良く移動物体を認識することができる。
【００１４】
また、本発明の移動物体監視方法は、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとを含むことを特徴としている。この方法により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１５】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１６】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記オプティカルフロー推定ステップにおける処理が、入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割するステップと、前入力画像と現入力画像における前記ブロック間で各画素の輝度差の合計を算出するブロック間輝度差算出ステップと、輝度差が所定の閾値以上であるか判定する輝度差確認ステップと、前入力画像の探索範囲内と現入力画像における前記ブロック間で探索を行うブロックマッチングステップと、探索の結果による相関が最も高いかを判定する相関値検証ステップと、相関値と信頼度を有とする結果保持ステップと、ブロックマッチングの探索が終了したか判定し繰り返させる探索終了確認ステップと、前記輝度差が閾値以下の場合探索をせず信頼度を無とする結果保持ステップと、全ブロックについて繰り返させる推定終了確認ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割し、ブロック毎に輝度差が閾値以上であるか判定して探索し、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１７】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記信頼性評価ステップにおける処理が、入力画像を複数の帯域画像に分割するウェーブレット変換ステップと、前入力画像と現入力画像とで同一位置の前記ブロック間で相関を求める正規化相関ステップと、相関値が閾値以上であるか判定する相関値検証ステップと、前記閾値以上の場合には信頼度を無とし、前記閾値以下の場合には信頼度を有とする結果保持ステップと、全ブロックについて繰り返す評価終了確認ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られ、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１８】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記テンプレートマッチングステップにおける処理が、前入力画像の位置から限定する探索範囲設定ステップと、登録されたテンプレートと現入力画像の探索範囲から相関を算出する相関領域探索ステップと、探索範囲の探索が終了したか判断する探索範囲終了確認ステップとを備え、前記物体認識手段が、移動物体を認識するための各計測値を算出する計測値算出ステップと、各計測値毎に条件を満たしているか判定する条件判定ステップと、条件を満たしている場合には移動物体と判定し、条件を満たしていない場合には移動物体ではないと判定する結果保持ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価し、移動物体を識別するための各計測値毎に条件を判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１９】
また、本発明のコンピュータ読み取り可能な記録媒体は、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとを実行させる移動物体監視プログラムが保存されていることを特徴としている。この記録媒体の移動物体監視プログラムが、中央演算処理装置から呼び出され実行されることにより、外乱が発生しても精度良く移動物体を認識する移動物体監視動作を実行することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態の移動物体監視装置を示す構成図である。
図１に示す移動物体監視装置１００は、監視空間を撮影する撮影手段１２０、移動物体を探索する監視手段１１０、所望の移動物体が検出されたことを出力する警報出力手段１３０によって構成される。
撮影手段１２０は、監視の必要がある空間の映像を撮影して監視手段１１０へ映像信号を出力する手段である。
【００２１】
監視手段１１０は、撮影手段１２０からの映像信号を入力され、移動物体を探索し所望の移動物体が検出されたことを警報出力手段１３０へ出力する手段である。
なお、監視手段１１０は、入力された映像信号をあらかじめ定められた単位時間間隔でＡ／Ｄ変換した画像を出力する画像入力手段１１１と、転送された画像を保持し、指定された時間の画像を出力するフレームメモリ１１２と、保持された画像を取り込み、特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めるオプティカルフロー推定手段１１３と、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める信頼性評価手段１１４と、物体の動きから検出された移動物体をテンプレートとして登録もしくは更新するテンプレート管理手段１１５と、テンプレートと現入力画像とを比較し相関の高い領域を抽出することで移動物体を追跡するテンプレートマッチング手段１１６と、移動物体の各計測値を取得しあらかじめ設定している範囲であれば所望の移動物体であると判定する物体認識手段１１７によって構成される。
【００２２】
画像入力手段１１１は、撮影手段１２０より映像信号を入力し、あらかじめ定められた単位時間間隔でＡ／Ｄ変換しフレーム単位の入力画像としフレームメモリ１１２へ転送し保持させる手段である。
【００２３】
フレームメモリ１１２は、画像入力手段１１１より転送されたフレーム単位の入力画像を保持し、指定された時間の画像をオプティカルフロー推定手段１１３、信頼性評価手段１１４およびテンプレートマッチング手段１１６へ出力させる手段である。
【００２４】
オプティカルフロー推定手段１１３は、フレームメモリ１１２より保持された現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段１１５へ出力する手段である。
【００２５】
オプティカルフロー推定手段１１３の詳細について説明する。
現入力画像のフレームＩ（ｘ，ｙ）と１単位時間間隔前の前入力画像のフレームＰ（ｘ，ｙ）を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックＢＬ（ｂｘ，ｂｙ）に分割する。例えば、水平方向ｘ＝６４０画素、垂直方向ｙ＝４８０画素のフレームを、水平方向８０個、垂直方向６０個のブロックに分割した場合、ブロックサイズは水平方向に８画素、垂直方向に８画素となる。
【００２６】
フレームＩとフレームＰの同一位置におけるブロックＢＬ（ｂｘ，ｂｙ）間で、各画素の輝度差の合計を算出する。ブロック間で画像の変動があり輝度差があらかじめ定めれた閾値を越えて大きい場合は探索を開始する。輝度差が閾値以下の場合は、このブロックについて探索を行わず、オプティカルフロー推定の結果を０とする。
【００２７】
前入力画像フレームＰにおいてテンプレートマッチング手段１１６により定められた探索範囲の各ブロックと、現入力画像フレームＩのブロックＢＬ（ｂｘ，ｂｙ）間で、繰り返しブロックマッチングを行うことで探索を行う。すなわち現入力画像フレームＩのブロックＢＬ（ｂｘ，ｂｙ）との相関が最も高い領域を検出する。前入力画像の探索範囲と現入力画像におけるブロック間との相関値は、差分絶対値和ＳＡにより求める。差分絶対値和ＳＡを用いた場合、相関が最も高い位置においてＳＡは最小をとる。現入力画像フレームＩ（ｘ，ｙ）におけるブロックの左上座標を（ｘ１，ｙ１）として、前入力画像フレームＰ上の（ｘ１，ｙ１）からオフセット（ｈ１，ｖ１）での差分絶対値ＳＡ（ｈ１，ｖ１）は次式のとおり求めることができる。
【数１】
すなわち、差分絶対値和で相関を算出する場合、値が小さいほど相関が高くなる。
【００２８】
全探索領域（ｈ，ｖ）の探索を終えて、最も相関が高かった領域のオフセット量（ｈ１，ｖ１）がブロックのオプティカルフロー推定の結果となる。推定されたオプティカルフローは、影やヘッドライトなどの光の外乱によって誤って推定されるものを含んでいる。
【００２９】
信頼性評価手段１１４は、フレームメモリ１１２より保持された現入力画像と１単位時間間隔前の前入力画像を読み込み、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段１１５へ通知する手段である。
【００３０】
図２は、信頼性評価手段１１４で用いられるウェーブレット変換の動作を示す説明図である。
図２において、ウェーブレット変換は、分割イメージ２０１に示すようにフレームメモリ１１２より読み込んだ入力画像のｆ（ｘ，ｙ）を直交変換し、低周波成分を含むＬＬ帯域、水平高調波成分を含むＨＬ帯域、垂直高調波成分ＬＨ帯域、斜め高調波領域成分を含むＨＨ帯域に分割する。入力画像をｆ（ｘ，ｙ）とし、以下の各式により離散ウェーブレット変換を行い各帯域成分を求めることができる。
【数２】
ここでＬＬ（ｊ，ｋ）、ＨＬ（ｊ，ｋ）、ＬＨ（ｊ，ｋ）、ＨＨ（ｊ，ｋ）はそれぞれ、入力画像ｆ（ｘ、ｙ）をウェーブレット変換して得られる低域成分、水平成分、垂直成分、斜め成分である。ＫＳ１、ＫＳ２、ＫＳ３、ＫＳ４はレベル調整用の定数、ｊ、ｋは変換後の水平および垂直方向への画素アドレスである。
【００３１】
図２において、変換動作２０２は、ウェーブレット変換における入力画像と変換結果の関係を示している。原画像を帯域分割して得られる画像ＬＬ（ｊ，ｋ）、ＨＬ（ｊ，ｋ）、ＬＨ（ｊ，ｋ）、ＨＨ（ｊ，ｋ）は、入力画像の水平及び垂直方向に半分のサイズとなる。
前入力画像と現入力画像について上記ウェーブレット変換を実施する。オプティカルフロー推定手段１１３と同様に、変換後の画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割する。例えば、入力画像が水平方向ｘ＝６４０画素、垂直方向ｙ＝４８０画素のフレームを、ウェーブレット変換を実施後水平方向８０個、垂直方向６０個のブロックに分割した場合、ブロックサイズは水平方向に４画素、垂直方向に４画素となり、オプティカルフロー推定手段１１３におけるブロックサイズに比べて水平及び垂直方向に半分のサイズとなる。
【００３２】
続いて、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関を求める。相関は、例えば差分絶対値和により求める方法があるが、差分絶対値和の詳細は、上記オプティカルフロー推定手段１１３で説明したため省略する。相関が高い領域が、信頼性が高いと評価されたブロック領域である。
【００３３】
オプティカルフローの信頼性評価手段１１４は、ウェーブレット変換を用いることで入力画像を帯域画像の小ブロックに分割して相関値を求めるため、外乱が発生しても精度良く移動物体を認識することができる。
【００３４】
ここで、オプティカルフローの信頼性評価手段１１４で用いることができる正規化相関について説明する。フレームメモリ１１２より読み込んだ前入力画像と現入力画像とで同一位置のブロックＢＬ（ｂｘ、ｂｙ）間において次式により正規化相関ＮＲＭＬを求めることにより信頼性を評価することができる。
【数３】
ここで、Ｉ（ｘ，ｙ）は現入力画像のフレームで、Ｐ（ｘ，ｙ）は前入力画像のフレーム、―Ｉおよび―Ｐはブロック内の平均輝度、（ｊ，ｋ）はブロック左上の画像インデックスである。
正規化相関は、ランダムノイズの影響は受けやすいが、比較する成分の振幅が異なっていても位相があっていれば高い相関が得られる。差分絶対値和で相関を求めた場合は値が小さいほど相関が高くなったが、一方正規化相関で相関を求めた場合は値が大きいほど相関が高くなる。ただし、相関値があらかじめ定められた閾値より高い場合は、物体の形状変化や動きが発生していないことを示すため、信頼性が低いと評価する。したがって、相関値があらかじめ定められた閾値により近い場合に、物体の形状変化や動きが発生している可能性が高いため信頼性は高いと評価する。正規化相関により信頼性が高いと評価されたブロック領域を求めることができる。
【００３５】
オプティカルフローの信頼性評価手段１１４は、正規化相関を用いることで高い相関を得られるため、外乱が発生しても精度良く移動物体を認識することができる。
【００３６】
テンプレート管理手段１１５は、オプティカルフロー推定手段１１３より物体の動きを求めた結果と、信頼性評価手段１１４で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段１１６に出力する手段である。
【００３７】
図３は、テンプレート管理手段１１５において、移動物体領域を抽出する動作を示す説明図である。
図３に示すように、入力画像３１０において物体の動きを求めたブロック領域３２０と、信頼性が高いと評価されたブロック領域３３０で合致するブロックを物体領域と見なす。物体領域についてラベリングを行いラベリング結果３４０とする。ラベリングは、互いに接する物体領域と見なされたブロック同士に同一ラベルを与える処理である。同一ラベル３４１が与えられたブロック領域に外接する矩形領域をテンプレート画像３４２として登録する。
【００３８】
ここで、発生した全オプティカルフローの内、信頼性の高いものの発生密度ＤＥＮを以下の式で算出し、発生密度ＤＥＮがあらかじめ定められた閾値以上である場合にはテンプレートとして登録し、閾値未満の場合は登録しないようにする。
【数４】
これにより抽出した物体領域内の信頼性の高いオプティカルフローの発生密度が低い場合は、テンプレート登録しないことで、光りの外乱の影響を低減できる。
【００３９】
テンプレート管理手段１１５は、光の外乱による不必要なテンプレート登録が避けられるため、外乱が発生しても精度良く移動物体を認識することができる。
【００４０】
テンプレートマッチング手段１１６は、フレームメモリ１１２より保持された現入力画像を読み込み、テンプレート管理手段１１５で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段１１７へ出力する手段である。
【００４１】
図４は、テンプレートマッチング手段１１６における移動物体追跡の動作を示す説明図である。
前入力画像フレームＰ４１０において登録されたテンプレート画像４１１より移動範囲を考慮して探索範囲４２１を設定する。探索範囲４２１を現入力画像フレームＰ４２０全体とすることは演算量が大きすぎるため、探索範囲４２１を限定する。探索範囲４２１の広さは、移動物体の動きにもよるが、テンプレート画像に対して水平垂直方向に数画素から数十画素程度である。現入力画像フレームＰ４２０から探索範囲４２１を走査しながらテンプレート画像との相関を順次求める。相関は、正規化相関により求めるが、正規化相関の詳細は、上記信頼性評価手段１１４で説明したため省略する。最も相関が高くなる現入力画像フレームＰ４２０上の位置を対応領域４２２とする。テンプレートマッチング手段１１６をあらかじめ定められた単位時間間隔毎に繰り返すことで移動物体を追跡することができる。
【００４２】
物体認識手段１１７は、テンプレートマッチング手段１１６で得られた対応領域４２２より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別し警報出力手段１３０へ警報出力する手段である。ここで計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
【００４３】
警報出力手段１３０は、監視手段１１０の物体認識手段１１７からの警報出力により所望の移動物体を検出したことを利用者に通知する手段である。
【００４４】
また、本発明の第１の実施の形態の移動物体監視装置は、オプティカルフローの信頼性に応じて視覚的に出力する表示手段を備えることも可能である。
オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。
【００４５】
表示手段は、視覚的にオプティカルフローの推定状況を出力し信頼性の効果を訴えることができる。
【００４６】
図５は、本発明の第１の実施の形態の移動物体監視方法における処理の流れを示すフローチャートである。
オプティカルフロー推定手段１１３は、入力画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、ブロック毎に前入力画像の探索範囲と現入力画像とで比較して物体の動きを求める（ステップＳ５０１）。
信頼性評価手段１１４は、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める（ステップＳ５０２）。
テンプレート管理手段１１５は、信頼性評価手段１１４で相関値を求めることにより検出された移動物体をテンプレートとして登録もしくは更新する（ステップＳ５０３）。
【００４７】
テンプレートマッチング手段１１６は、テンプレート管理手段１１５で登録されたテンプレートと現入力画像とを比較し、相関の高い領域を抽出することで移動物体を追跡する（ステップＳ５０４）。
物体認識手段１１７は、テンプレートマッチング手段１１６で追跡された移動物体の各計測値を取得し、あらかじめ設定している範囲であれば所望の移動物体であると判定し警報出力する（ステップＳ５０５）。
表示手段は、オプティカルフロー推定手段１１１で得られた物体の動きに応じて表示色または輝度を変化させることで、視覚的にオプティカルフローの推定状況を出力する（ステップＳ５０６）。
【００４８】
また、本発明の第１の実施の形態では、上記のステップＳ５０１からＳ５０６までの各ステップでの処理を行う移動物体監視方法について説明したが、これらのステップＳ５０１からＳ５０６までの各ステップでの処理を含む移動物体監視動作を実行させるための移動物体監視プログラムを生成し、生成されたプログラムに基づいて、コンピュータに、ステップＳ５０１からＳ５０６までの各ステップでの処理を含む移動物体監視御動作を実行させることも可能である。
以下、各手段における処理について詳細に説明する。
【００４９】
オプティカルフロー推定手段１１３は、現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段１１５と表示手段に出力する。
【００５０】
図６は、オプティカルフロー推定手段１１３における処理の流れを詳細に示すフローチャートである。
オプティカルフロー推定手段１１３は、現入力画像と１単位時間間隔前の前入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割する（ステップＳ６０１）。
オプティカルフロー推定手段１１３は、前入力画像と現入力画像における同一位置におけるブロック間で各画素の輝度差の合計を算出する（ステップＳ６０２）。
オプティカルフロー推定手段１１３は、輝度差をあらかじめ定められた閾値以上であるか判定し、輝度差が閾値を越えて大きい場合は以下の探索を行い、輝度差が閾値以下の場合は探索を終了させる（ステップＳ６０３）。
オプティカルフロー推定手段１１３は、探索する場合、ブロック毎に前入力画像の探索範囲内と現入力画像でブロックマッチングにより探索を行う（ステップＳ６０４）。
オプティカルフロー推定手段１１３は、探索を終了させる場合、信頼度無と設定し、推定の終了を確認する処理へ進む（ステップＳ６０５）。
【００５１】
オプティカルフロー推定手段１１３は、相関が最も高いかを判定し、相関が最も高い場合は結果を保持する処理へ進み、さらに高い相関がすでにある場合はそのまま探索の終了を確認する処理へ進む（ステップＳ６０６）。
オプティカルフロー推定手段１１３は、相関が最も高い場合、相関値と信頼度を有とする（ステップＳ６０７）。
オプティカルフロー推定手段１１３は、ブロックマッチングの探索が終了したか判定し、探索が終了していない場合はブロックマッチングを行う処理へ戻り探索を繰り返し、探索が終了している場合は、推定の終了を確認する処理へ進む（ステップＳ６０８）。
また、オプティカルフロー推定手段１１３は、全ブロックについてオプティカルフローの推定が終了しているかを確認し、終了していない場合はブロック間の輝度差を算出する処理に戻り推定を繰り返す（ステップＳ６０９）。
【００５２】
オプティカルフロー推定手段１１３は、ブロック毎に輝度差が閾値以上であるか判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００５３】
信頼性評価手段１１４は、現入力画像と１単位時間間隔前の前入力画像を複数の帯域画像に分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段１１５へ通知する。
【００５４】
図７は、信頼性評価手段１１４における処理の流れを詳細に示すフローチャートである。
信頼性評価手段１１４は、入力画像を複数の帯域画像に分割するウェーブレット変換を行う（ステップＳ７０１）。
信頼性評価手段１１４は、分割された前入力画像と現入力画像とで同一位置のブロック間で相関を求める正規化相関を行う（ステップＳ７０２）。
【００５５】
信頼性評価手段１１４は、相関値を閾値以上であるか判定し、結果を保持する処理へ進む（ステップＳ７０３）。
信頼性評価手段１１４は、相関値が閾値以上の場合は、領域が背景であり動きがないため、信頼度を無と結果を保持する（ステップＳ７０４）。
また、信頼性評価手段１１４は、相関値が閾値以下の場合は、移動物体による動きが発生していると見なし、信頼度を有と結果を保持する（ステップＳ７０５）。
信頼性評価手段１１４は、全ブロックについて信頼性評価が終了しているかを確認し、終了していない場合はウェーブレット変換より評価を繰り返す（ステップＳ７０６）。
【００５６】
信頼性評価手段１１４は、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られるため、外乱が発生しても精度良く移動物体を認識することができる。
【００５７】
テンプレート管理手段１１５は、オプティカルフロー推定手段１１３において物体の動きを求めた結果と、信頼性評価手段１１４で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段１１６に出力する。
【００５８】
テンプレート管理手段１１５は、オプティカルフローが発生したブロック領域と、信頼性が高いと評価されたブロック領域で合致するブロックを物体領域と見なしラベリングを行い、同一ラベルが与えられたブロック領域に外接する矩形領域をテンプレートとして登録する。
【００５９】
テンプレートマッチング手段１１６は、前入力画像から探索範囲を設定し、現入力画像とテンプレート管理手段１１５で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段１１７へ出力する。
【００６０】
図８は、テンプレートマッチング手段１１６における処理の流れを詳細に示すフローチャートである。
テンプレートマッチング手段１１６は、前入力画像の位置から探索範囲を限定し設定する（ステップＳ８０１）。
テンプレートマッチング手段１１６は、登録されたテンプレートと現入力画像の探索範囲から相関を算出し、相関の高い領域を抽出し探索することで移動物体を追跡し、対応領域とする（ステップＳ８０２）。
テンプレートマッチング手段１１６は、探索範囲の探索が終了したか判断し、探索が終了していない場合は相関領域の探索を行う処理より探索を繰り返す（ステップＳ８０３）。
【００６１】
物体認識手段１１７は、テンプレートマッチング手段１１６で得られた対応領域より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別する。
【００６２】
図９は、物体認識手段１１７における処理の流れを詳細に示すフローチャートである。
物体認識手段１１７は、移動物体を識別するための各計測値を対応領域より算出する（ステップＳ９０４）。
計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
物体認識手段１１７は、計測値毎に条件を満たしているか判定し、結果を保持する処理へ進む（ステップＳ９０５）。
物体認識手段１１７は、条件を満たしている場合、移動物体と結果を保持し処理を終了する（ステップＳ９０６）。
また、物体認識手段１１７は、条件を満たしていない場合、移動物体ではないと結果を保持し処理を終了する（ステップＳ９０７）。
【００６３】
テンプレートマッチング手段１１６と物体認識手段１１７は、移動物体を識別するための各計測値毎に条件を判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００６４】
表示手段における処理は、オプティカルフロー推定手段１１３で求めた物体の動きを表示させる。
【００６５】
表示手段は、物体の動きを表示させるため、オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。これにより視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴える。
【００６６】
以上説明したように、本発明の第１の実施の形態の移動物体監視装置、移動物体監視方法、およびそのプログラムは、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００６７】
なお、本発明の第１の実施の形態の移動物体監視プログラムをあらかじめ定められたコンピュータ読み取り可能な記録媒体に保存しておき、この記録媒体の移動物体監視プログラムが中央演算処理装置から呼び出され実行されることにより、外乱が発生しても精度良く移動物体を認識する移動物体監視動作を実行することができる。
【００６８】
（第２の実施の形態）
本発明の第２の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング１１６手段、物体認識手段１１７によって構成されるが、信頼性評価手段１１４において水平高調波成分を抽出した同帯域画像で相関を求める点が第１の実施の形態と異なる。
ここで、本発明の第２の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００６９】
第１の実施の形態における信頼性評価手段１１４では、前入力画像と現入力画像についてウェーブレット変換を実施し、低周波成分を含むＬＬ帯域、水平高調波成分を含むＨＬ帯域、垂直高調波成分ＬＨ帯域、斜め高調波領域成分を含むＨＨ帯域に分割し、変換後の画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００７０】
第２の実施の形態における信頼性評価手段１１４では、上記のＬＬ帯域、ＨＬ帯域、ＬＨ帯域、ＨＨ帯域の帯域のうち水平高調波成分を含むＨＬ帯域においてのみ、画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。水平高調波成分を使用する理由は、水平成分の特徴が多い人物の領域とその他の領域を判別しやすく、高調波の方が光の外乱による影響が少ないためである。
【００７１】
以上説明したように、本発明の第２の実施の形態の移動物体監視装置は、入力画像を帯域画像に分割し水平高調波成分を抽出した帯域で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００７２】
（第３の実施の形態）
本発明の第３の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング手段１１６、物体認識手段１１７によって構成されるが、信頼性評価手段１１４においてブロックを複数個合わせた小領域間で比較する点が第１の実施の形と異なる。
ここで、本発明の第３の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００７３】
第１の実施の形態における信頼性評価手段１１４では、現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００７４】
第３の実施の形態における信頼性評価手段１１４では、分割されたブロックを複数個合わせた小領域間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。
【００７５】
図１０は、本発明の第３の実施の形態の移動物体監視装置における信頼性評価手段１１４でブロックを複数個合わせた小領域間で比較する動作を示す説明図である。
図１０において、配置図１０１０は、移動物体と撮影手段１２０の設置についての配置を示している。移動物体監視装置おける撮影手段は、一般的に地面や床面を斜め上方から俯瞰するように設置されている。
【００７６】
また、図１０において、この設置では、入力画像１０２０に示すように、撮影手段１２０の手前の物体ほど画像の下方に大きく写り、遠方の物体ほど画像の上方に小さく写る。したがって、画像の上方については細かい小領域１０２１で信頼性を評価し、画像の下方については粗い小領域１０２２で信頼性を評価することにより、ノイズへの影響を低減できる。
【００７７】
以上説明したように、本発明の第３の実施の形態の移動物体監視装置は、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００７８】
（第４の実施の形態）
本発明の第４の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング１１６手段、物体認識手段１１７によって構成されるが、信頼性評価手段１１４において１次評価と２次評価を行う点が第１の実施の形態と異なる。
ここで、本発明の第４の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００７９】
第１の実施の形態における信頼性評価手段１１４では、現入力画像と１単位時間間隔前の前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００８０】
第４の実施の形態における信頼性評価手段１１４では、前々入力画像と前入力画像を読み込みブロックに分割し、前々入力画像と前入力画像とで同一位置のブロック間で第１の相関値を求め、現入力画像と前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で第２の相関値を求め、第１の相関値と第２の相関値の結果により最終的な相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。
【００８１】
図１１は、本発明の第４の実施の形態の移動物体監視装置における信頼性評価手段１１４で１次評価と２次評価を行う動作を示す説明図である。
図１１に示すように、時間方向１１１０に対して、前々入力画像１１０１と前入力画像１１０２で第１の１次評価１１２０を行い、前入力画像１１０２と現入力画像１１０３で第２の１次評価１１３０を行い、前記第１の１次評価１１２０と前記第２の１次評価１１３０の結果により２次評価１１４０を行い最終的な信頼性を決定する。
【００８２】
以上説明したように、本発明の第４の実施の形態の移動物体監視装置は、信頼性評価の精度を高くできるため、外乱が発生しても精度良く移動物体を認識することができる。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、外乱が発生しても精度良く移動物体を認識する移動物体監視装置、移動物体監視方法およびそのプログラムが提供される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の移動物体監視装置を示す構成図
【図２】本発明の第１の実施の形態の信頼性評価手段で用いられるウェーブレット変換の動作を示す説明図
【図３】本発明の第１の実施の形態のテンプレート管理手段において、移動物体領域を抽出する動作を示す説明図
【図４】本発明の第１の実施の形態のテンプレートマッチング手段における移動物体追跡の動作を示す説明図
【図５】本発明の第１の実施の形態の移動物体監視方法における処理の流れを示すフローチャート
【図６】本発明の第１の実施の形態のオプティカルフロー推定手段における処理の流れを詳細に示すフローチャート
【図７】本発明の第１の実施の形態の信頼性評価手段における処理の流れを詳細に示すフローチャート
【図８】本発明の第１の実施の形態のテンプレートマッチングステップ手段における処理の流れを詳細に示すフローチャート
【図９】本発明の第１の実施の形態の物体認識手段における処理の流れを詳細に示すフローチャート
【図１０】本発明の第３の実施の形態の移動物体監視装置における信頼性評価手段でブロックを複数個合わせた小領域間で比較する動作を示す説明図
【図１１】本発明の第４の実施の形態の移動物体監視装置における信頼性評価手段で１次評価と２次評価を行う動作を示す説明図
【図１２】従来の移動物体監視装置の例を示す構成図である。
【符号の説明】
１００ １２００ 移動物体監視装置
１１０ 監視手段
１１１ 画像入力手段
１１２ フレームメモリ
１１３ オプティカルフロー推定手段
１１４ 信頼性評価手段
１１５ テンプレート管理手段
１１６ テンプレートマッチング手段
１１７ 物体認識手段
１２０ 撮影手段
１３０ 警報出力手段
２０１ 分割イメージ
２０２ 変換動作
３１０ 入力画像
３２０ オプティカルフローが発生したブロック領域
３３０ 信頼性評価手段で信頼性が高いと評価されたブロック領域
３４０ ラベリング結果
３４１ 同一ラベル
３４２ テンプレート画像
４１０ 前入力画像フレームＰ
４１１ テンプレート画像
４２０ 現入力画像フレームＰ
４２１ 探索範囲
４２２ 対応領域
１０１０ 配置図
１０２０ 入力画像
１０２１ 細かい小領域
１０２２ 粗い小領域
１１０１ 前々入力画像
１１０２ 前入力画像
１１０３ 現入力画像
１１１０ 時間方向
１１２０ 第１の１次評価
１１３０ 第２の１次評価
１１４０ ２次評価
１２１０ 監視装置本体
１２１１ 画像入力処理部
１２１２ 差分画像作成部
１２１３ 変化領域抽出部
１２１４ 移動物体候補選択部
１２１５ 移動物体識別部
１２１６ 表示制御部
１２２０ ＩＴＶカメラ
１２３０ 表示装置
【発明の属する技術分野】
本発明は、入力した映像より物体の侵入を認識する移動物体監視装置、移動物体監視方法およびそのプログラムに関する。
【０００２】
【従来の技術】
従来、移動物体監視装置、移動物体監視方法およびそのプログラムとしては、例えば、特開平１１−４１５８９号公報に開示されたものが知られている。
【０００３】
図１２は、従来の移動物体監視装置の例を示す構成図である。
図１２に示す移動物体監視装置１２００は、屋内の監視エリアのシーンをＩＴＶカメラ１２２０で時系列的に監視装置本体１２１０に入力され、今回画像と前回画像の２フレームをそれぞれＡ／Ｄ変換する画像入力処理部１２１１と、両画像の変化領域を抽出する差分画像作成部１２１２と、変化領域を２値化し近接距離の変化領域同士を一つにまとめる外接矩形を形成して統合領域とする変化領域抽出部１２１３と、前記統合領域毎に前記今回画像と前回画像間の正規化関数処理による濃淡パターンマッチングを行い、類似度（相関値）が所定値以上の場合に背景による類似とみて当該統合領域を外乱に判定し、類似度が低い統合領域を移動物体候補として抽出する移動物体候補選択部１２１４と、候補物体の特徴量を算出して人物を識別する移動物体識別部１２１５と、識別した人物の画像データを格納し、その移動軌跡等の情報を表示装置１２３０にリアルタイムに表示する表示制御部１２１６により構成される。この構成により、屋内に侵入する移動物体（人物）の監視において、照明のちらつきや窓外の移動体などの外乱による誤検知を防止して、高速に識別する。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の移動物体監視装置、移動物体監視方法およびそのプログラムは、全体の画像中でのみ輝度の変化を統合領域としており、また今回画像と前回画像でのみ前記統合領域が外乱か否かを判断しているため、外乱と移動物体の動きが近接して生じた場合に前記移動物体の判別を誤りやすく、背景を含んで前記移動物体と認識しやすいという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたもので、外乱が発生しても精度良く移動物体を認識することができる移動物体監視装置、移動物体監視方法およびそのプログラムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備えた構成を有している。この構成により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００７】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関値を求めるようにした構成を有している。この構成により、入力画像を帯域画像の小ブロックに分割して相関値を求め、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００８】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前入力画像と現入力画像における同一位置の前記ブロック間で正規化相関を求めるようにした構成を有している。この構成により、入力画像をブロックに分割し正規化相関により高い相関を得られ、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【０００９】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記テンプレート管理手段が、信頼性の高いオプティカルフローの発生密度があらかじめ定められた密度より高いことを条件として、移動物体領域を抽出するようにした構成を有している。この構成により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価し、光の外乱による不必要なテンプレート登録が避けるため、外乱が発生しても精度良く移動物体を認識することができる。
【００１０】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段と、オプティカルフローの信頼性に応じて表示色または輝度を変化させ、視覚的に出力するようにした表示手段とを備えた構成を有している。この構成により、視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴え、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１１】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記オプティカルフローの信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の水平高調波成分を抽出した同帯域画像における同一位置のブロック間で相関値を求めるようにした構成を有している。この構成により、入力画像を帯域画像に分割し水平高調波成分を抽出した帯域で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００１２】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前入力画像と現入力画像における前記ブロックを複数個合わせた小領域間で比較するようにした構成を有している。この構成により、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００１３】
また、本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備え、前記信頼性評価手段が、前々入力画像と前入力画像とで第１の１次評価を行い、前入力画像と現入力画像とで第２の１次評価を行い、前記第１の１次評価と前記第２の１次評価との結果に基づいて２次評価を行うようにした構成を有している。この構成により、信頼性評価の精度を高くできるため、外乱が発生しても精度良く移動物体を認識することができる。
【００１４】
また、本発明の移動物体監視方法は、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとを含むことを特徴としている。この方法により、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１５】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１６】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記オプティカルフロー推定ステップにおける処理が、入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割するステップと、前入力画像と現入力画像における前記ブロック間で各画素の輝度差の合計を算出するブロック間輝度差算出ステップと、輝度差が所定の閾値以上であるか判定する輝度差確認ステップと、前入力画像の探索範囲内と現入力画像における前記ブロック間で探索を行うブロックマッチングステップと、探索の結果による相関が最も高いかを判定する相関値検証ステップと、相関値と信頼度を有とする結果保持ステップと、ブロックマッチングの探索が終了したか判定し繰り返させる探索終了確認ステップと、前記輝度差が閾値以下の場合探索をせず信頼度を無とする結果保持ステップと、全ブロックについて繰り返させる推定終了確認ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割し、ブロック毎に輝度差が閾値以上であるか判定して探索し、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１７】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記信頼性評価ステップにおける処理が、入力画像を複数の帯域画像に分割するウェーブレット変換ステップと、前入力画像と現入力画像とで同一位置の前記ブロック間で相関を求める正規化相関ステップと、相関値が閾値以上であるか判定する相関値検証ステップと、前記閾値以上の場合には信頼度を無とし、前記閾値以下の場合には信頼度を有とする結果保持ステップと、全ブロックについて繰り返す評価終了確認ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られ、移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１８】
また、本発明の移動物体監視プログラムは、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップと、前記テンプレートマッチングステップにおける処理が、前入力画像の位置から限定する探索範囲設定ステップと、登録されたテンプレートと現入力画像の探索範囲から相関を算出する相関領域探索ステップと、探索範囲の探索が終了したか判断する探索範囲終了確認ステップとを備え、前記物体認識手段が、移動物体を認識するための各計測値を算出する計測値算出ステップと、各計測値毎に条件を満たしているか判定する条件判定ステップと、条件を満たしている場合には移動物体と判定し、条件を満たしていない場合には移動物体ではないと判定する結果保持ステップとをコンピュータに実行させることを特徴としている。このプログラムにより、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価し、移動物体を識別するための各計測値毎に条件を判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００１９】
また、本発明のコンピュータ読み取り可能な記録媒体は、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとを実行させる移動物体監視プログラムが保存されていることを特徴としている。この記録媒体の移動物体監視プログラムが、中央演算処理装置から呼び出され実行されることにより、外乱が発生しても精度良く移動物体を認識する移動物体監視動作を実行することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態の移動物体監視装置を示す構成図である。
図１に示す移動物体監視装置１００は、監視空間を撮影する撮影手段１２０、移動物体を探索する監視手段１１０、所望の移動物体が検出されたことを出力する警報出力手段１３０によって構成される。
撮影手段１２０は、監視の必要がある空間の映像を撮影して監視手段１１０へ映像信号を出力する手段である。
【００２１】
監視手段１１０は、撮影手段１２０からの映像信号を入力され、移動物体を探索し所望の移動物体が検出されたことを警報出力手段１３０へ出力する手段である。
なお、監視手段１１０は、入力された映像信号をあらかじめ定められた単位時間間隔でＡ／Ｄ変換した画像を出力する画像入力手段１１１と、転送された画像を保持し、指定された時間の画像を出力するフレームメモリ１１２と、保持された画像を取り込み、特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めるオプティカルフロー推定手段１１３と、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める信頼性評価手段１１４と、物体の動きから検出された移動物体をテンプレートとして登録もしくは更新するテンプレート管理手段１１５と、テンプレートと現入力画像とを比較し相関の高い領域を抽出することで移動物体を追跡するテンプレートマッチング手段１１６と、移動物体の各計測値を取得しあらかじめ設定している範囲であれば所望の移動物体であると判定する物体認識手段１１７によって構成される。
【００２２】
画像入力手段１１１は、撮影手段１２０より映像信号を入力し、あらかじめ定められた単位時間間隔でＡ／Ｄ変換しフレーム単位の入力画像としフレームメモリ１１２へ転送し保持させる手段である。
【００２３】
フレームメモリ１１２は、画像入力手段１１１より転送されたフレーム単位の入力画像を保持し、指定された時間の画像をオプティカルフロー推定手段１１３、信頼性評価手段１１４およびテンプレートマッチング手段１１６へ出力させる手段である。
【００２４】
オプティカルフロー推定手段１１３は、フレームメモリ１１２より保持された現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段１１５へ出力する手段である。
【００２５】
オプティカルフロー推定手段１１３の詳細について説明する。
現入力画像のフレームＩ（ｘ，ｙ）と１単位時間間隔前の前入力画像のフレームＰ（ｘ，ｙ）を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックＢＬ（ｂｘ，ｂｙ）に分割する。例えば、水平方向ｘ＝６４０画素、垂直方向ｙ＝４８０画素のフレームを、水平方向８０個、垂直方向６０個のブロックに分割した場合、ブロックサイズは水平方向に８画素、垂直方向に８画素となる。
【００２６】
フレームＩとフレームＰの同一位置におけるブロックＢＬ（ｂｘ，ｂｙ）間で、各画素の輝度差の合計を算出する。ブロック間で画像の変動があり輝度差があらかじめ定めれた閾値を越えて大きい場合は探索を開始する。輝度差が閾値以下の場合は、このブロックについて探索を行わず、オプティカルフロー推定の結果を０とする。
【００２７】
前入力画像フレームＰにおいてテンプレートマッチング手段１１６により定められた探索範囲の各ブロックと、現入力画像フレームＩのブロックＢＬ（ｂｘ，ｂｙ）間で、繰り返しブロックマッチングを行うことで探索を行う。すなわち現入力画像フレームＩのブロックＢＬ（ｂｘ，ｂｙ）との相関が最も高い領域を検出する。前入力画像の探索範囲と現入力画像におけるブロック間との相関値は、差分絶対値和ＳＡにより求める。差分絶対値和ＳＡを用いた場合、相関が最も高い位置においてＳＡは最小をとる。現入力画像フレームＩ（ｘ，ｙ）におけるブロックの左上座標を（ｘ１，ｙ１）として、前入力画像フレームＰ上の（ｘ１，ｙ１）からオフセット（ｈ１，ｖ１）での差分絶対値ＳＡ（ｈ１，ｖ１）は次式のとおり求めることができる。
【数１】
【００２８】
全探索領域（ｈ，ｖ）の探索を終えて、最も相関が高かった領域のオフセット量（ｈ１，ｖ１）がブロックのオプティカルフロー推定の結果となる。推定されたオプティカルフローは、影やヘッドライトなどの光の外乱によって誤って推定されるものを含んでいる。
【００２９】
信頼性評価手段１１４は、フレームメモリ１１２より保持された現入力画像と１単位時間間隔前の前入力画像を読み込み、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段１１５へ通知する手段である。
【００３０】
図２は、信頼性評価手段１１４で用いられるウェーブレット変換の動作を示す説明図である。
図２において、ウェーブレット変換は、分割イメージ２０１に示すようにフレームメモリ１１２より読み込んだ入力画像のｆ（ｘ，ｙ）を直交変換し、低周波成分を含むＬＬ帯域、水平高調波成分を含むＨＬ帯域、垂直高調波成分ＬＨ帯域、斜め高調波領域成分を含むＨＨ帯域に分割する。入力画像をｆ（ｘ，ｙ）とし、以下の各式により離散ウェーブレット変換を行い各帯域成分を求めることができる。
【数２】
【００３１】
図２において、変換動作２０２は、ウェーブレット変換における入力画像と変換結果の関係を示している。原画像を帯域分割して得られる画像ＬＬ（ｊ，ｋ）、ＨＬ（ｊ，ｋ）、ＬＨ（ｊ，ｋ）、ＨＨ（ｊ，ｋ）は、入力画像の水平及び垂直方向に半分のサイズとなる。
前入力画像と現入力画像について上記ウェーブレット変換を実施する。オプティカルフロー推定手段１１３と同様に、変換後の画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割する。例えば、入力画像が水平方向ｘ＝６４０画素、垂直方向ｙ＝４８０画素のフレームを、ウェーブレット変換を実施後水平方向８０個、垂直方向６０個のブロックに分割した場合、ブロックサイズは水平方向に４画素、垂直方向に４画素となり、オプティカルフロー推定手段１１３におけるブロックサイズに比べて水平及び垂直方向に半分のサイズとなる。
【００３２】
続いて、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関を求める。相関は、例えば差分絶対値和により求める方法があるが、差分絶対値和の詳細は、上記オプティカルフロー推定手段１１３で説明したため省略する。相関が高い領域が、信頼性が高いと評価されたブロック領域である。
【００３３】
オプティカルフローの信頼性評価手段１１４は、ウェーブレット変換を用いることで入力画像を帯域画像の小ブロックに分割して相関値を求めるため、外乱が発生しても精度良く移動物体を認識することができる。
【００３４】
ここで、オプティカルフローの信頼性評価手段１１４で用いることができる正規化相関について説明する。フレームメモリ１１２より読み込んだ前入力画像と現入力画像とで同一位置のブロックＢＬ（ｂｘ、ｂｙ）間において次式により正規化相関ＮＲＭＬを求めることにより信頼性を評価することができる。
【数３】
正規化相関は、ランダムノイズの影響は受けやすいが、比較する成分の振幅が異なっていても位相があっていれば高い相関が得られる。差分絶対値和で相関を求めた場合は値が小さいほど相関が高くなったが、一方正規化相関で相関を求めた場合は値が大きいほど相関が高くなる。ただし、相関値があらかじめ定められた閾値より高い場合は、物体の形状変化や動きが発生していないことを示すため、信頼性が低いと評価する。したがって、相関値があらかじめ定められた閾値により近い場合に、物体の形状変化や動きが発生している可能性が高いため信頼性は高いと評価する。正規化相関により信頼性が高いと評価されたブロック領域を求めることができる。
【００３５】
オプティカルフローの信頼性評価手段１１４は、正規化相関を用いることで高い相関を得られるため、外乱が発生しても精度良く移動物体を認識することができる。
【００３６】
テンプレート管理手段１１５は、オプティカルフロー推定手段１１３より物体の動きを求めた結果と、信頼性評価手段１１４で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段１１６に出力する手段である。
【００３７】
図３は、テンプレート管理手段１１５において、移動物体領域を抽出する動作を示す説明図である。
図３に示すように、入力画像３１０において物体の動きを求めたブロック領域３２０と、信頼性が高いと評価されたブロック領域３３０で合致するブロックを物体領域と見なす。物体領域についてラベリングを行いラベリング結果３４０とする。ラベリングは、互いに接する物体領域と見なされたブロック同士に同一ラベルを与える処理である。同一ラベル３４１が与えられたブロック領域に外接する矩形領域をテンプレート画像３４２として登録する。
【００３８】
ここで、発生した全オプティカルフローの内、信頼性の高いものの発生密度ＤＥＮを以下の式で算出し、発生密度ＤＥＮがあらかじめ定められた閾値以上である場合にはテンプレートとして登録し、閾値未満の場合は登録しないようにする。
【数４】
【００３９】
テンプレート管理手段１１５は、光の外乱による不必要なテンプレート登録が避けられるため、外乱が発生しても精度良く移動物体を認識することができる。
【００４０】
テンプレートマッチング手段１１６は、フレームメモリ１１２より保持された現入力画像を読み込み、テンプレート管理手段１１５で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段１１７へ出力する手段である。
【００４１】
図４は、テンプレートマッチング手段１１６における移動物体追跡の動作を示す説明図である。
前入力画像フレームＰ４１０において登録されたテンプレート画像４１１より移動範囲を考慮して探索範囲４２１を設定する。探索範囲４２１を現入力画像フレームＰ４２０全体とすることは演算量が大きすぎるため、探索範囲４２１を限定する。探索範囲４２１の広さは、移動物体の動きにもよるが、テンプレート画像に対して水平垂直方向に数画素から数十画素程度である。現入力画像フレームＰ４２０から探索範囲４２１を走査しながらテンプレート画像との相関を順次求める。相関は、正規化相関により求めるが、正規化相関の詳細は、上記信頼性評価手段１１４で説明したため省略する。最も相関が高くなる現入力画像フレームＰ４２０上の位置を対応領域４２２とする。テンプレートマッチング手段１１６をあらかじめ定められた単位時間間隔毎に繰り返すことで移動物体を追跡することができる。
【００４２】
物体認識手段１１７は、テンプレートマッチング手段１１６で得られた対応領域４２２より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別し警報出力手段１３０へ警報出力する手段である。ここで計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
【００４３】
警報出力手段１３０は、監視手段１１０の物体認識手段１１７からの警報出力により所望の移動物体を検出したことを利用者に通知する手段である。
【００４４】
また、本発明の第１の実施の形態の移動物体監視装置は、オプティカルフローの信頼性に応じて視覚的に出力する表示手段を備えることも可能である。
オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。
【００４５】
表示手段は、視覚的にオプティカルフローの推定状況を出力し信頼性の効果を訴えることができる。
【００４６】
図５は、本発明の第１の実施の形態の移動物体監視方法における処理の流れを示すフローチャートである。
オプティカルフロー推定手段１１３は、入力画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、ブロック毎に前入力画像の探索範囲と現入力画像とで比較して物体の動きを求める（ステップＳ５０１）。
信頼性評価手段１１４は、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める（ステップＳ５０２）。
テンプレート管理手段１１５は、信頼性評価手段１１４で相関値を求めることにより検出された移動物体をテンプレートとして登録もしくは更新する（ステップＳ５０３）。
【００４７】
テンプレートマッチング手段１１６は、テンプレート管理手段１１５で登録されたテンプレートと現入力画像とを比較し、相関の高い領域を抽出することで移動物体を追跡する（ステップＳ５０４）。
物体認識手段１１７は、テンプレートマッチング手段１１６で追跡された移動物体の各計測値を取得し、あらかじめ設定している範囲であれば所望の移動物体であると判定し警報出力する（ステップＳ５０５）。
表示手段は、オプティカルフロー推定手段１１１で得られた物体の動きに応じて表示色または輝度を変化させることで、視覚的にオプティカルフローの推定状況を出力する（ステップＳ５０６）。
【００４８】
また、本発明の第１の実施の形態では、上記のステップＳ５０１からＳ５０６までの各ステップでの処理を行う移動物体監視方法について説明したが、これらのステップＳ５０１からＳ５０６までの各ステップでの処理を含む移動物体監視動作を実行させるための移動物体監視プログラムを生成し、生成されたプログラムに基づいて、コンピュータに、ステップＳ５０１からＳ５０６までの各ステップでの処理を含む移動物体監視御動作を実行させることも可能である。
以下、各手段における処理について詳細に説明する。
【００４９】
オプティカルフロー推定手段１１３は、現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段１１５と表示手段に出力する。
【００５０】
図６は、オプティカルフロー推定手段１１３における処理の流れを詳細に示すフローチャートである。
オプティカルフロー推定手段１１３は、現入力画像と１単位時間間隔前の前入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割する（ステップＳ６０１）。
オプティカルフロー推定手段１１３は、前入力画像と現入力画像における同一位置におけるブロック間で各画素の輝度差の合計を算出する（ステップＳ６０２）。
オプティカルフロー推定手段１１３は、輝度差をあらかじめ定められた閾値以上であるか判定し、輝度差が閾値を越えて大きい場合は以下の探索を行い、輝度差が閾値以下の場合は探索を終了させる（ステップＳ６０３）。
オプティカルフロー推定手段１１３は、探索する場合、ブロック毎に前入力画像の探索範囲内と現入力画像でブロックマッチングにより探索を行う（ステップＳ６０４）。
オプティカルフロー推定手段１１３は、探索を終了させる場合、信頼度無と設定し、推定の終了を確認する処理へ進む（ステップＳ６０５）。
【００５１】
オプティカルフロー推定手段１１３は、相関が最も高いかを判定し、相関が最も高い場合は結果を保持する処理へ進み、さらに高い相関がすでにある場合はそのまま探索の終了を確認する処理へ進む（ステップＳ６０６）。
オプティカルフロー推定手段１１３は、相関が最も高い場合、相関値と信頼度を有とする（ステップＳ６０７）。
オプティカルフロー推定手段１１３は、ブロックマッチングの探索が終了したか判定し、探索が終了していない場合はブロックマッチングを行う処理へ戻り探索を繰り返し、探索が終了している場合は、推定の終了を確認する処理へ進む（ステップＳ６０８）。
また、オプティカルフロー推定手段１１３は、全ブロックについてオプティカルフローの推定が終了しているかを確認し、終了していない場合はブロック間の輝度差を算出する処理に戻り推定を繰り返す（ステップＳ６０９）。
【００５２】
オプティカルフロー推定手段１１３は、ブロック毎に輝度差が閾値以上であるか判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００５３】
信頼性評価手段１１４は、現入力画像と１単位時間間隔前の前入力画像を複数の帯域画像に分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段１１５へ通知する。
【００５４】
図７は、信頼性評価手段１１４における処理の流れを詳細に示すフローチャートである。
信頼性評価手段１１４は、入力画像を複数の帯域画像に分割するウェーブレット変換を行う（ステップＳ７０１）。
信頼性評価手段１１４は、分割された前入力画像と現入力画像とで同一位置のブロック間で相関を求める正規化相関を行う（ステップＳ７０２）。
【００５５】
信頼性評価手段１１４は、相関値を閾値以上であるか判定し、結果を保持する処理へ進む（ステップＳ７０３）。
信頼性評価手段１１４は、相関値が閾値以上の場合は、領域が背景であり動きがないため、信頼度を無と結果を保持する（ステップＳ７０４）。
また、信頼性評価手段１１４は、相関値が閾値以下の場合は、移動物体による動きが発生していると見なし、信頼度を有と結果を保持する（ステップＳ７０５）。
信頼性評価手段１１４は、全ブロックについて信頼性評価が終了しているかを確認し、終了していない場合はウェーブレット変換より評価を繰り返す（ステップＳ７０６）。
【００５６】
信頼性評価手段１１４は、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られるため、外乱が発生しても精度良く移動物体を認識することができる。
【００５７】
テンプレート管理手段１１５は、オプティカルフロー推定手段１１３において物体の動きを求めた結果と、信頼性評価手段１１４で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段１１６に出力する。
【００５８】
テンプレート管理手段１１５は、オプティカルフローが発生したブロック領域と、信頼性が高いと評価されたブロック領域で合致するブロックを物体領域と見なしラベリングを行い、同一ラベルが与えられたブロック領域に外接する矩形領域をテンプレートとして登録する。
【００５９】
テンプレートマッチング手段１１６は、前入力画像から探索範囲を設定し、現入力画像とテンプレート管理手段１１５で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段１１７へ出力する。
【００６０】
図８は、テンプレートマッチング手段１１６における処理の流れを詳細に示すフローチャートである。
テンプレートマッチング手段１１６は、前入力画像の位置から探索範囲を限定し設定する（ステップＳ８０１）。
テンプレートマッチング手段１１６は、登録されたテンプレートと現入力画像の探索範囲から相関を算出し、相関の高い領域を抽出し探索することで移動物体を追跡し、対応領域とする（ステップＳ８０２）。
テンプレートマッチング手段１１６は、探索範囲の探索が終了したか判断し、探索が終了していない場合は相関領域の探索を行う処理より探索を繰り返す（ステップＳ８０３）。
【００６１】
物体認識手段１１７は、テンプレートマッチング手段１１６で得られた対応領域より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別する。
【００６２】
図９は、物体認識手段１１７における処理の流れを詳細に示すフローチャートである。
物体認識手段１１７は、移動物体を識別するための各計測値を対応領域より算出する（ステップＳ９０４）。
計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
物体認識手段１１７は、計測値毎に条件を満たしているか判定し、結果を保持する処理へ進む（ステップＳ９０５）。
物体認識手段１１７は、条件を満たしている場合、移動物体と結果を保持し処理を終了する（ステップＳ９０６）。
また、物体認識手段１１７は、条件を満たしていない場合、移動物体ではないと結果を保持し処理を終了する（ステップＳ９０７）。
【００６３】
テンプレートマッチング手段１１６と物体認識手段１１７は、移動物体を識別するための各計測値毎に条件を判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００６４】
表示手段における処理は、オプティカルフロー推定手段１１３で求めた物体の動きを表示させる。
【００６５】
表示手段は、物体の動きを表示させるため、オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。これにより視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴える。
【００６６】
以上説明したように、本発明の第１の実施の形態の移動物体監視装置、移動物体監視方法、およびそのプログラムは、入力画像をブロックに分割して探索し移動物体か光の外乱よるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
【００６７】
なお、本発明の第１の実施の形態の移動物体監視プログラムをあらかじめ定められたコンピュータ読み取り可能な記録媒体に保存しておき、この記録媒体の移動物体監視プログラムが中央演算処理装置から呼び出され実行されることにより、外乱が発生しても精度良く移動物体を認識する移動物体監視動作を実行することができる。
【００６８】
（第２の実施の形態）
本発明の第２の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング１１６手段、物体認識手段１１７によって構成されるが、信頼性評価手段１１４において水平高調波成分を抽出した同帯域画像で相関を求める点が第１の実施の形態と異なる。
ここで、本発明の第２の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００６９】
第１の実施の形態における信頼性評価手段１１４では、前入力画像と現入力画像についてウェーブレット変換を実施し、低周波成分を含むＬＬ帯域、水平高調波成分を含むＨＬ帯域、垂直高調波成分ＬＨ帯域、斜め高調波領域成分を含むＨＨ帯域に分割し、変換後の画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００７０】
第２の実施の形態における信頼性評価手段１１４では、上記のＬＬ帯域、ＨＬ帯域、ＬＨ帯域、ＨＨ帯域の帯域のうち水平高調波成分を含むＨＬ帯域においてのみ、画像を特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。水平高調波成分を使用する理由は、水平成分の特徴が多い人物の領域とその他の領域を判別しやすく、高調波の方が光の外乱による影響が少ないためである。
【００７１】
以上説明したように、本発明の第２の実施の形態の移動物体監視装置は、入力画像を帯域画像に分割し水平高調波成分を抽出した帯域で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００７２】
（第３の実施の形態）
本発明の第３の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング手段１１６、物体認識手段１１７によって構成されるが、信頼性評価手段１１４においてブロックを複数個合わせた小領域間で比較する点が第１の実施の形と異なる。
ここで、本発明の第３の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００７３】
第１の実施の形態における信頼性評価手段１１４では、現入力画像と１単位時間間隔前の前入力画像を読み込み、特定の方向にＭ個と前記方向に対し垂直方向にＮ個のブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００７４】
第３の実施の形態における信頼性評価手段１１４では、分割されたブロックを複数個合わせた小領域間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。
【００７５】
図１０は、本発明の第３の実施の形態の移動物体監視装置における信頼性評価手段１１４でブロックを複数個合わせた小領域間で比較する動作を示す説明図である。
図１０において、配置図１０１０は、移動物体と撮影手段１２０の設置についての配置を示している。移動物体監視装置おける撮影手段は、一般的に地面や床面を斜め上方から俯瞰するように設置されている。
【００７６】
また、図１０において、この設置では、入力画像１０２０に示すように、撮影手段１２０の手前の物体ほど画像の下方に大きく写り、遠方の物体ほど画像の上方に小さく写る。したがって、画像の上方については細かい小領域１０２１で信頼性を評価し、画像の下方については粗い小領域１０２２で信頼性を評価することにより、ノイズへの影響を低減できる。
【００７７】
以上説明したように、本発明の第３の実施の形態の移動物体監視装置は、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
【００７８】
（第４の実施の形態）
本発明の第４の実施の形態の移動物体監視装置は、図１に示す第１の実施の形態の移動物体監視装置１００の構成と同じであり、撮影手段１２０、監視手段１１０、警報出力手段１３０によって構成され、監視手段１１０が、画像入力手段１１１、フレームメモリ１１２、オプティカルフロー推定手段１１３、信頼性評価手段１１４は、テンプレート管理手段１１５は、テンプレートマッチング１１６手段、物体認識手段１１７によって構成されるが、信頼性評価手段１１４において１次評価と２次評価を行う点が第１の実施の形態と異なる。
ここで、本発明の第４の実施の形態の移動物体監視装置の構成のうち、上記本発明の第１の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
【００７９】
第１の実施の形態における信頼性評価手段１１４では、現入力画像と１単位時間間隔前の前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知していた。
【００８０】
第４の実施の形態における信頼性評価手段１１４では、前々入力画像と前入力画像を読み込みブロックに分割し、前々入力画像と前入力画像とで同一位置のブロック間で第１の相関値を求め、現入力画像と前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で第２の相関値を求め、第１の相関値と第２の相関値の結果により最終的な相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段１１５へ通知する。
【００８１】
図１１は、本発明の第４の実施の形態の移動物体監視装置における信頼性評価手段１１４で１次評価と２次評価を行う動作を示す説明図である。
図１１に示すように、時間方向１１１０に対して、前々入力画像１１０１と前入力画像１１０２で第１の１次評価１１２０を行い、前入力画像１１０２と現入力画像１１０３で第２の１次評価１１３０を行い、前記第１の１次評価１１２０と前記第２の１次評価１１３０の結果により２次評価１１４０を行い最終的な信頼性を決定する。
【００８２】
以上説明したように、本発明の第４の実施の形態の移動物体監視装置は、信頼性評価の精度を高くできるため、外乱が発生しても精度良く移動物体を認識することができる。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、外乱が発生しても精度良く移動物体を認識する移動物体監視装置、移動物体監視方法およびそのプログラムが提供される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の移動物体監視装置を示す構成図
【図２】本発明の第１の実施の形態の信頼性評価手段で用いられるウェーブレット変換の動作を示す説明図
【図３】本発明の第１の実施の形態のテンプレート管理手段において、移動物体領域を抽出する動作を示す説明図
【図４】本発明の第１の実施の形態のテンプレートマッチング手段における移動物体追跡の動作を示す説明図
【図５】本発明の第１の実施の形態の移動物体監視方法における処理の流れを示すフローチャート
【図６】本発明の第１の実施の形態のオプティカルフロー推定手段における処理の流れを詳細に示すフローチャート
【図７】本発明の第１の実施の形態の信頼性評価手段における処理の流れを詳細に示すフローチャート
【図８】本発明の第１の実施の形態のテンプレートマッチングステップ手段における処理の流れを詳細に示すフローチャート
【図９】本発明の第１の実施の形態の物体認識手段における処理の流れを詳細に示すフローチャート
【図１０】本発明の第３の実施の形態の移動物体監視装置における信頼性評価手段でブロックを複数個合わせた小領域間で比較する動作を示す説明図
【図１１】本発明の第４の実施の形態の移動物体監視装置における信頼性評価手段で１次評価と２次評価を行う動作を示す説明図
【図１２】従来の移動物体監視装置の例を示す構成図である。
【符号の説明】
１００ １２００ 移動物体監視装置
１１０ 監視手段
１１１ 画像入力手段
１１２ フレームメモリ
１１３ オプティカルフロー推定手段
１１４ 信頼性評価手段
１１５ テンプレート管理手段
１１６ テンプレートマッチング手段
１１７ 物体認識手段
１２０ 撮影手段
１３０ 警報出力手段
２０１ 分割イメージ
２０２ 変換動作
３１０ 入力画像
３２０ オプティカルフローが発生したブロック領域
３３０ 信頼性評価手段で信頼性が高いと評価されたブロック領域
３４０ ラベリング結果
３４１ 同一ラベル
３４２ テンプレート画像
４１０ 前入力画像フレームＰ
４１１ テンプレート画像
４２０ 現入力画像フレームＰ
４２１ 探索範囲
４２２ 対応領域
１０１０ 配置図
１０２０ 入力画像
１０２１ 細かい小領域
１０２２ 粗い小領域
１１０１ 前々入力画像
１１０２ 前入力画像
１１０３ 現入力画像
１１１０ 時間方向
１１２０ 第１の１次評価
１１３０ 第２の１次評価
１１４０ ２次評価
１２１０ 監視装置本体
１２１１ 画像入力処理部
１２１２ 差分画像作成部
１２１３ 変化領域抽出部
１２１４ 移動物体候補選択部
１２１５ 移動物体識別部
１２１６ 表示制御部
１２２０ ＩＴＶカメラ
１２３０ 表示装置
Claims (14)
- 画像を入力してフレームメモリに転送する画像入力手段と、入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定手段と、信頼性評価手段と、前記信頼性評価手段の結果をテンプレートに登録するテンプレート管理手段と、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチング手段と、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識手段とを備えたことを特徴とする移動物体監視装置。
- 前記信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関値を求めるようにしたことを特徴とする請求項１記載の移動物体監視装置。
- 前記信頼性評価手段が、前入力画像と現入力画像における同一位置の前記ブロック間で正規化相関を求めるようにしたことを特徴とする請求項１または請求項２に記載の移動物体監視装置。
- 前記テンプレート管理手段が、信頼性の高いオプティカルフローの発生密度があらかじめ定められた密度より高いことを条件として、移動物体領域を抽出するようにしたことを特徴とする請求項１乃至請求項３の何れかに記載の移動物体監視装置。
- オプティカルフローの信頼性に応じて表示色または輝度を変化させ、視覚的にオプティカルフローの推定状況を確認できるとともに信頼性の効果を訴えることができるようにした表示手段を備えることを特徴とする請求項１乃至請求項４の何れかに記載の移動物体監視装置。
- 前記信頼性評価手段が、入力画像をウェーブレット変換により複数の帯域画像に分割して、前入力画像と現入力画像の水平高調波成分を抽出した同帯域画像における同一位置のブロック間で相関値を求めるようにしたことを特徴とする請求項１乃至請求項５の何れかに記載の移動物体監視装置。
- 前記信頼性評価手段が、前入力画像と現入力画像における前記ブロックを複数個合わせた小領域間で比較するようにしたことを特徴とする請求項１乃至請求項６の何れかに記載の移動物体監視装置。
- 前記信頼性評価手段が、前々入力画像と前入力画像とで第１の１次評価を行い、前入力画像と現入力画像とで第２の１次評価を行い、前記第１の１次評価と前記第２の１次評価との結果に基づいて２次評価を行うようにしたことを特徴とする請求項１乃至請求項７の何れかに記載の移動物体監視装置。
- 入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとを含むことを特徴とする移動物体監視方法。
- 入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前入力画像の探索範囲内と現入力画像における前記ブロック間で比較して物体の動きを求めるオプティカルフロー推定ステップと、信頼性評価ステップと、前記信頼性評価ステップの結果をテンプレートに登録するテンプレート管理ステップと、登録されたテンプレートと現入力画像から所望の移動物体を追跡するテンプレートマッチングステップと、追跡中の移動物体をあらかじめ定められた条件により識別し警報出力する物体認識ステップと、視覚的にオプティカルフローの推定状況を出力する表示ステップとをコンピュータに実行させることを特徴とする移動物体監視プログラム。
- 前記オプティカルフロー推定ステップにおける処理は、入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割するステップと、前入力画像と現入力画像における前記ブロック間で各画素の輝度差の合計を算出するブロック間輝度差算出ステップと、輝度差が所定の閾値以上であるか判定する輝度差確認ステップと、前入力画像の探索範囲内と現入力画像における前記ブロック間で探索を行うブロックマッチングステップと、探索の結果による相関が最も高いかを判定する相関値検証ステップと、相関値と信頼度を有とする結果保持ステップと、ブロックマッチングの探索が終了したか判定し繰り返させる探索終了確認ステップと、前記輝度差が閾値以下の場合探索をせず信頼度を無とする結果保持ステップと、全ブロックについて繰り返させる推定終了確認ステップとをコンピュータに実行させることを特徴とする請求項１０記載の移動物体監視プログラム。
- 前記信頼性評価ステップにおける処理は、入力画像を複数の帯域画像に分割するウェーブレット変換ステップと、前入力画像と現入力画像とで同一位置の前記ブロック間で相関を求める正規化相関ステップと、相関値が閾値以上であるか判定する相関値検証ステップと、前記閾値以上の場合には信頼度を無とし、前記閾値以下の場合には信頼度を有とする結果保持ステップと、全ブロックについて繰り返す評価終了確認ステップとをコンピュータに実行させることを特徴とする請求項１０または請求項１１に記載の移動物体監視プログラム。
- 前記テンプレートマッチングステップにおける処理は、前入力画像の位置から限定する探索範囲設定ステップと、登録されたテンプレートと現入力画像の探索範囲から相関を算出する相関領域探索ステップと、探索範囲の探索が終了したか判断する探索範囲終了確認ステップとを備え、前記物体認識ステップが、移動物体を識別するための各計測値を算出する計測値算出ステップと、各計測値毎に条件を満たしているか判定する条件判定ステップと、条件を満たしている場合には移動物体と判定し、条件を満たしていない場合には移動物体ではないと判定する結果保持ステップとをコンピュータに実行させることを特徴とする請求項１０乃至請求項１２の何れかに記載の移動物体監視プログラム。
- 請求項１０乃至請求項１３の何れかに記載の移動物体監視プログラムを保存したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167573A JP2004013615A (ja) | 2002-06-07 | 2002-06-07 | 移動物体監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167573A JP2004013615A (ja) | 2002-06-07 | 2002-06-07 | 移動物体監視装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008296743A Division JP4709889B2 (ja) | 2008-11-20 | 2008-11-20 | 移動物体監視装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004013615A true JP2004013615A (ja) | 2004-01-15 |
Family
ID=30434781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002167573A Withdrawn JP2004013615A (ja) | 2002-06-07 | 2002-06-07 | 移動物体監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004013615A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072763A (ja) * | 2004-09-02 | 2006-03-16 | Hiroshima Univ | 画像処理装置、画像処理集積化回路、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体 |
| JP2006107457A (ja) * | 2004-09-13 | 2006-04-20 | Sony Corp | 画像処理装置及び画像処理方法 |
| KR100738522B1 (ko) | 2004-12-21 | 2007-07-11 | 삼성전자주식회사 | 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법 |
| JP2008152672A (ja) * | 2006-12-19 | 2008-07-03 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および電子制御装置 |
| JP2010003325A (ja) * | 2005-10-05 | 2010-01-07 | Sony Corp | 表示装置および表示方法 |
| US7982774B2 (en) | 2004-09-13 | 2011-07-19 | Sony Corporation | Image processing apparatus and image processing method |
| US8630453B2 (en) | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
| US8704804B2 (en) | 2005-10-05 | 2014-04-22 | Japan Display West Inc. | Display apparatus and display method |
| WO2018154654A1 (ja) * | 2017-02-22 | 2018-08-30 | 三菱電機株式会社 | 動体検出装置および動体検出プログラム |
-
2002
- 2002-06-07 JP JP2002167573A patent/JP2004013615A/ja not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072763A (ja) * | 2004-09-02 | 2006-03-16 | Hiroshima Univ | 画像処理装置、画像処理集積化回路、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体 |
| JP4500999B2 (ja) * | 2004-09-02 | 2010-07-14 | 国立大学法人広島大学 | 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読み取り可能な記録媒体 |
| JP2006107457A (ja) * | 2004-09-13 | 2006-04-20 | Sony Corp | 画像処理装置及び画像処理方法 |
| US7982774B2 (en) | 2004-09-13 | 2011-07-19 | Sony Corporation | Image processing apparatus and image processing method |
| KR100738522B1 (ko) | 2004-12-21 | 2007-07-11 | 삼성전자주식회사 | 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법 |
| JP2010003325A (ja) * | 2005-10-05 | 2010-01-07 | Sony Corp | 表示装置および表示方法 |
| US8704804B2 (en) | 2005-10-05 | 2014-04-22 | Japan Display West Inc. | Display apparatus and display method |
| JP2008152672A (ja) * | 2006-12-19 | 2008-07-03 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および電子制御装置 |
| US8090147B2 (en) | 2006-12-19 | 2012-01-03 | Fujitsu Ten Limited | Matching object and reference pattern images using search window size widths and heights to predict object collision |
| US8630453B2 (en) | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
| WO2018154654A1 (ja) * | 2017-02-22 | 2018-08-30 | 三菱電機株式会社 | 動体検出装置および動体検出プログラム |
| JPWO2018154654A1 (ja) * | 2017-02-22 | 2019-06-27 | 三菱電機株式会社 | 動体検出装置および動体検出プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845383B (zh) | 人头检测方法和装置 | |
| CN109522854B (zh) | 一种基于深度学习和多目标跟踪的行人流量统计方法 | |
| US10318813B1 (en) | Digital video fingerprinting using motion segmentation | |
| US9092662B2 (en) | Pattern recognition method and pattern recognition apparatus | |
| US7783118B2 (en) | Method and apparatus for determining motion in images | |
| Needham et al. | Performance evaluation metrics and statistics for positional tracker evaluation | |
| Pless et al. | Evaluation of local models of dynamic backgrounds | |
| JP4368767B2 (ja) | 異常動作検出装置および異常動作検出方法 | |
| Venkatesh et al. | Efficient object-based video inpainting | |
| CN108399627B (zh) | 视频帧间目标运动估计方法、装置和实现装置 | |
| KR101130963B1 (ko) | 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 | |
| KR20080020595A (ko) | 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템 | |
| WO2011161579A1 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| WO2011113444A1 (en) | Method and apparatus for trajectory estimation, and method for segmentation | |
| JP5271227B2 (ja) | 群衆監視装置および方法ならびにプログラム | |
| Safaei et al. | Real-time search-free multiple license plate recognition via likelihood estimation of saliency | |
| US20220366570A1 (en) | Object tracking device and object tracking method | |
| JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| KR100347058B1 (ko) | 얼굴 촬영/인식방법 | |
| JP2004013615A (ja) | 移動物体監視装置 | |
| KR20120007850A (ko) | 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법 | |
| JP4709889B2 (ja) | 移動物体監視装置 | |
| KR101991307B1 (ko) | 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법 | |
| KR20130091441A (ko) | 물체 추적 장치 및 그 제어 방법 | |
| WO2020095644A1 (ja) | 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080904 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20081127 |