JP2005056406A - 画像の動き検出装置及びコンピュータプログラム - Google Patents

Abstract

【課題】 時系列に入力される画像フレームを記憶して画像の動きを検出する動き検出装置において、照明状態の変化の影響を受けない動き判定を実現する。
【解決手段】 監視記録装置２は、監視カメラ１の撮像信号をディジタルデータに変換する画像入力Ｉ/Ｆ２１と、その画像データが書き込まれる画像メモリ２２と、画像メモリ２２の画像データを表示装置３へ出力させる出力Ｉ/Ｆ２３と、動作のＯＮ/ＯＦＦ設定や動作条件のパラメータ設定を行うための操作部２４と、操作部２４からの入力を受け付ける設定入力Ｉ/Ｆ２５と、受け付けた設定値を記憶するパラメータ記憶部２６と、パラメータ記憶部２６の設定値に基づいて画像の動き検出を実行する動き検出装置２７と、動き検出装置２７が動き有りと判定した場合に画像メモリ２２の画像データを記録するデータ記録装置２８と、それらを統括的に制御する制御部２９とからなる。
【選択図】図１

Description

本発明は、画像の動き検出装置及びコンピュータプログラムに係り、特に、監視カメラを用いた監視システム等に適用され、その撮像領域の照明状態の変化が動き検出に影響を及ぼさないようにするための改良に関する。また、監視対象に関わらず精度良く必要な動きを検出するための改良に関する。そして、監視情報を基に侵入物体を撤退させる威嚇を行う装置に関する。

近年、工業プラント等の施設だけでなく、小規模な商業施設や一般家庭においてもセキュリティ対策として監視システムの需要が高まっている。

その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、前記の商業施設や一般家庭ではそのような態勢を採用することは困難である。

従って、監視カメラから得られる画像信号から侵入者等の物体の動きを検出し、その動き検出状態中にのみＶＴＲやハードディスク、ＤＶＤ等の記録装置によって自動録画を実行させたり、自動的にアラームを発生させたりすることが行われている。

そして、そのような監視システムに適用される画像の動き検出装置として、例えば、下記の特許文献１に開示された技術がある。
この特許文献１は、簡易な動き検出方式を用いた画像監視装置に係るものであり、画像フレームをブロックに分割してブロック毎の輝度値又は色データの平均値を求め、現フレームの前記平均値と数フレーム前の前記平均値とを各フレームの対応する分割ブロック同士で比較して差分値を求め、その差分値が設定値以上である場合に動きがあると判断する方式を提案している。

しかしながら、特許文献１(特開平１１−３９４９５号公報)に開示されている画像の動き検出方式では、監視カメラによる監視対象領域の照明状態の変化を画像内の動きとして判断してしまう可能性があり、また照明状態によって検出感度が変化するという課題を含んでいる。

ここで、照明状態の変化とは、日差しが変化したり、早朝や薄暮の時間帯に夜間照明が消灯／点灯されたり、夜間に自動車のライトの光が差し込んだ場合のように各種の態様が考えられ、また画像全体に反映する場合と部分的に反映する場合がある。更に、画像中には不可避的にフリッカーが発生するが、それを画像の動きとして判断してしまう可能性もある。また、監視場面の背景での動き、例えば室内の監視におけるTV画面の変化やエアコンの風による掲示物の揺れ等を、ユーザの検出希望の有無に関わらず、動きとして判断してしまう可能性が有る。

これらを解決する技術として、特許文献２(特開２００２−３５２３４０号公報)では、複数の時系列画像を保持し、これを元に２種類の基準画像を作成し速度別に侵入物体候補を検出して所定の距離追跡して侵入物体と確定する事で誤検出を防ぎ、また、環境分析手段を用いて照り返し状態を判定しシルエット化した物体を検出する対応をしている。

特許文献３（特開２００２-２１８４４３）では、侵入物体検出の為の差分画像の２値化閾値について、基準背景画像と侵入物体の存在しない画像間で差分画像を２値化しノイズレベルが所定値以下となる第１の閾値を設定し、基準背景画像と侵入物体を含む画像間で差分画像を２値化し侵入物体のサイズが所定の大きさ以下となる第２の閾値を設定し、第１と第２の間に侵入物体を検出する２値化閾値を設定する対応をしている。

特許文献４（特開平９−２６５５８５）では、侵入物体の位置情報を利用して侵入物体を追尾しながら、侵入物体に向かって威嚇行為を行う技術を開示している。侵入者等を検知しこれに対して威嚇を行うことにより犯罪を未然に防ぐ意図の監視方法である。
特開平１１−３９４９５号公報（第３−４頁、図２、図３） 特開２００２−３５２３４０号公報 特開２００２−２１８４４３号公報 特開平９−２６５５８５号公報

しかしながら、特許文献２の方式では、複数の時系列画像を保持して２種類の基準画像を作成し、２種類の侵入物体候補検出処理を行う等、記憶装置及び計算処理のコストが大きい。また、特許文献２の方式では、侵入物体候補を追跡し所定の距離以上追跡出来た場合検出と判断する為、物体のその場での変形のように位置の移動が少ない動きを検出することが困難である。

特許文献３の方式では、差分画像のレベルによってのみ侵入物体を検出する為、侵入物体以外に所定サイズを越える照明変化等が有る場合には対応できない。特許文献４の方式におけるような単純な照明や音声による威嚇は、周囲に設置施設の関係者などが居て、直ちに駆け付けられる状況の場合では有効であるが、関心を持つ人が近くにいない場合には、犯罪を抑止する心理的効果は不十分である。事態が明らかに切迫していない状態での大音量のアラームやフラッシングによる威嚇、液体・固体・気体を用いた威嚇は近隣の迷惑となる恐れがある。また、侵入者に有効な威嚇手段が人以外の侵入物体に対して有効とは限らず、侵入物体が人で無い場合は無駄となる可能性が高いなどの課題がある。

本発明は上述した課題に鑑み為された物であり、比較的少ないデータ処理量で、照明状態の変化やフリッカー等の影響、背景の検出不要な動きを排除すると共に、ユーザの監視したい対象物の動きを精度良く検出する画像の動き検出装置を提供し、効果的な監視システム等を実現させる。及び検出された対象物に対して有効なタイミングで適切な威嚇情報を提示し、侵入物体の侵入意欲を喪失させ撤退させる手段を提供することを目的として創作された。

そこで、上記課題を解決するために本発明は、下記の装置及びプログラムを提供するものである。
（１）
時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において
入力された画像フレームを複数のブロックに分割するフレーム分割手段と（３１，３２
）、
分割された各分割ブロックに掛かる輝度の代表値を求める第１演算手段と（３１，３２
）、
前記画像フレーム全体の輝度の代表値を求める第２演算手段と（３１，３２）、
前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第１記憶手段と（３３）、
前記第１記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と（３１，３２）、
前記動きブロックを記憶する第２記憶手段と（３３）、
前記第２記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と（３１，３２）、
前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第３記憶手段と（３３）、
前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第３記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と（３１，３２）、
前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第４記憶手段と（３３）、
前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と（３１，３２）、
前記動き領域判定手段による判定結果を出力する出力手段と（３４）、
を具備したことを特徴とする画像の動き検出装置。
（２）
前記判定手段において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロックの数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の連続するフレーム間の変位量または変位方向、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の前記動き領域候補検出開始時からの変位量または変位方向の内の、少なくも１つを用いたものであることを特徴とする上記（１）記載の画像の動き検出装置。
（３）
時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において
入力された画像フレームを複数のブロックに分割するフレーム分割手段と（３１，３２
）、
分割された各分割ブロックに掛かる輝度の代表値を求める第１演算手段と（３１，３２
）、
前記画像フレーム全体の輝度の代表値を求める第２演算手段と（３１，３２）、
前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第１記憶手段と（３３）、
前記第１記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と（３１，３２）、
前記動きブロックを記憶する第２記憶手段と（３３）、
前記第２記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と（３１，３２）、
前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第３記憶手段と（３３）、
前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第３記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と（３１，３２）、
前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第４記憶手段と（３３）、
前記現フレームの動き領域候補対応付け情報及び前フレームまでの動き領域候補対応付け情報のそれぞれに対応するように威嚇情報を関連付けてテーブルを作成するテーブル作成手段と（２６）、
前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と（３１，３２）、
前記動き領域判定手段による判定結果に応じて、前記テーブル作成手段で作成したテーブルを基に前記威嚇情報を選択する威嚇選択手段と（２９ｂ）、
前記威嚇選択手段で選択された前記威嚇情報に基づいて、警告情報を出力する警告手段と（４）、
を具備したことを特徴とする画像の動き検出装置。
（４）
時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、
入力された画像フレームを複数のブロックに分割する第１手順と、
分割された各分割ブロックに掛かる輝度の代表値を求める第２手順と、
前記画像フレーム全体の輝度の代表値を求める第３手順と、
前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第４手順と、
前記記憶された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第５手順と、
前記動きブロックを記憶する第６手順と、
前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する第７手順と、
前記第７手順によって現フレームについて作成された動き領域候補情報を記憶する第８手順と、
前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第９手順と、
前記前フレームまでの動き領域候補対応付け情報を出力すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第１０手順と、
前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第１１手順と、
前記第１１手順による判定結果を出力する第１２手順と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
（５）
前記第１１手順において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロック候補の数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均のフレーム間の変位量または変位方向、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均の前記動き領域候補検出開始時からの変位量または変位方向の内の、少なくも１つを用いたものであることを特徴とする上記（３）記載のコンピュータプログラム。
（６）
時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、
入力された画像フレームを複数のブロックに分割する第１手順と、
分割された各分割ブロックに掛かる輝度の代表値を求める第２手順と、
前記画像フレーム全体の輝度の代表値を求める第３手順と、
前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第４手順と、
前記記憶された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第５手順と、
前記動きブロックを記憶する第６手順と、
前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する第７手順と、
前記第７手順によって現フレームについて作成された動き領域候補情報を記憶する第８手順と、
前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第９手順と、
前記前フレームまでの動き領域候補対応付け情報を出力すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第１０手順と、
前記現フレームの動き領域候補対応付け情報及び前フレームまでの動き領域候補対応付け情報のそれぞれに対応するように威嚇情報を関連付けてテーブルを作成する第１１手順と、
前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第１２手順と、
前記第１２手順による判定結果に応じて、前記第１１手順で作成したテーブルを基に前記威嚇情報を選択する第１３手順と、
前記第１３手順で選択された前記威嚇情報に基づいて、警告情報を出力する第１４手順と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。

本発明の画像の動き検出装置によれば、照明状態の変化の影響を受け難い動き判定を可能にし、監視システムなどにおいて照明状態の変化に伴う動きの誤検出によって発生するトラブルを有効に防止する。加えて、ユーザの監視したい対象物の動きの特徴を動き判定基準に反映することで、検出が必要な動きを精度良く検出し背景の検出不要な動きを排除することが出来る為、効率の良い監視システム構築が可能となる。また、分割ブロックや画像フレーム全体の輝度に掛かる代表値(平均値等)を動き検出の演算に用いることで、フリッカー等のノイズの影響を予め低減し、動き判定処理を効率化できるという利点がある。
また、動き判定結果を基に検出された侵入者に対して威嚇を行う装置の場合では、簡易な処理で、監視対象とすべき動きを検出し、侵入者の位置及び動きの情報に応じて、適切な威嚇情報を提示し、侵入意欲を喪失させ撤退させることができる。
また、管理者の携帯テレビ電話と組み合わせて威嚇を行う装置の場合では、管理者が発した威嚇音声を侵入者の位置及び動きの情報に応じて、監視領域に近づく足音等の効果音と合わせて定位した音像を提示し、さらには光またはシルエット、匂いの情報を提示してあたかもその場に管理者が居るかのように装い、侵入者の侵入意欲を喪失させ撤退させることができる。
また、侵入者の位置において音圧が最大となるように威嚇音声を提示すれば、近隣に無用の騒音被害を与えず侵入者を撤退させることが出来る。
また、簡易な処理で、動き物体（監視対象）の大きさ・形状・位置・動きの情報により人間と小動物を区別することにより、侵入物体が人間の場合には上記効果のように侵入者を撤退させ、侵入物体が小動物の場合には、番犬の声、動物の警戒音声等を有効に侵入小動物に提示し、或いは、超音波を浴びせ、或いは小動物の忌避臭を提示し撃退することができる。小動物が侵入した位置及びタイミングに合わせて音圧が最大となるよう音声または超音波を提示することにより、監視エリアに侵入しない近隣のペットに被害を及ぼさず、近隣の苦情を回避することが出来る。
また、簡易な処理で、監視対象とすべき動きを検出し、侵入者や小動物の位置及び動きの情報を検出し、監視対象の映像と種類及び行動に関する推定情報をリンクして記録することが出来る。

本発明のコンピュータプログラムは、前記の各請求項の発明に係る画像の動き検出装置をコンピュータで構成する場合、及びその検出結果を基に威嚇を行う機能を実行させる為の最適なプログラムを提供することができる。

監視カメラ、監視記録装置、表示装置、及び威嚇装置とから構成される映像監視システムにおいて、監視記録装置に画像の動き検出装置を組み込み、効率の良い自動監視記録を実現する。以下に本発明の「画像の動き検出装置」及び「映像監視システム」の実施形態を、図面を用いて詳細に説明する。

先ず、図１は本発明の実施形態１を適用した監視システムのシステム構成図であり、監視カメラ１と、その撮像画像を処理・記録する監視記録装置２と、撮像画像をリアルタイムに表示させる表示装置３とから構成されている。

ここに、監視記録装置２は、監視カメラ１の撮像信号を取り込んでディジタルデータに変換する画像入力インターフェイス（以下、「インターフェイス」は「Ｉ/Ｆ」と略す）２１と、その画像データが書き込まれる画像メモリ２２と、画像メモリ２２の画像データを表示信号に変換して表示装置３へ出力させる出力Ｉ/Ｆ２３と、動作のＯＮ/ＯＦＦ設定や動き判定閾値等の動作条件のパラメータ設定を行うための操作部２４と、操作部２４からの入力を受け付ける設定入力Ｉ/Ｆ２５と、設定入力Ｉ/Ｆが受け付けた設定値を記憶するパラメータ記憶部２６と、パラメータ記憶部２６の設定値に基づいて画像の動き検出を実行する動き検出装置２７と、動き検出装置２７が動き有りと判定した場合に画像メモリ２２の画像データを記録するデータ記録装置２８と、それらモジュールを統括的に制御する制御部２９とからなる。

そして、この監視システムでは、前記の構成に基づいて、監視カメラ１による撮像画像を表示装置３に表示させておくが、動き検出装置２７が画像に動き有りと判定している状態においてのみ、データ記録装置２８によって撮像画像を記録媒体に録画させる。

尚、図１ではアラーム装置を設けていないが、アラーム装置を設けた場合には動き検出装置２７から動き有りの判定データを受けた制御部２９がアラーム装置を起動させる。

ところで、前記の監視システムの基本的構成は従来から実施されてきたものと大差はないが、この実施形態では監視記録装置２に内蔵された動き検出装置２７による動き判定のためのデータ処理動作に特徴がある。

従って、主に動き検出装置２７の構成とその動作を以下に説明する。

先ず、動き検出装置２７は図２に示すようなマイクロコンピュータ回路で構成されており、ＣＰＵ３１とＲＯＭ３２とＲＡＭ３３とＩ/Ｏポート３４がアドレスバス・データバスで接続された一般的なものである。

ここで、ＲＯＭ３２には予め動き検出プログラムが格納せしめられており、ＲＡＭ３３には、ワークエリアと共に、少なくとも１フレーム分の画像データを記憶する領域と、動き判定のための閾値等のパラメータを取り込んで記憶する領域と、動き検出過程で得られる各種データを記憶する領域と、動き検出情報を記憶する領域が確保されている。また、Ｉ/Ｏポート３４は画像メモリ２２の画像データと設定パラメータの入力を受け付けると共に、動き検出情報をデータ記録装置２８へ出力する。

次に、図３のフローチャートは動き検出装置２７のＣＰＵ３１がＲＯＭ３２の動き検出プログラムに基づいて実行する基本的な動作手順を示し、以下に順を追ってその機能を説明する。

先ず、監視システムの稼動状態では、監視カメラ１が撮像した画像データが画像入力Ｉ/Ｆ２１によって画像メモリ２２に書き込まれ、出力Ｉ/Ｆ２３が画像メモリ２２から画像データを読み出して表示装置３に監視映像を表示させている。

また、操作部２４から入力された動き判定閾値等のパラメータが予めパラメータ記憶部２６に格納されているものとする。

ここで、操作部２４から動き検出動作のＯＮ指示がなされると制御部２９が動き検出装置２７を起動させ、動き検出装置２７ではＩ/Ｏポート３４を介してパラメータ記憶部２６の設定パラメータをＲＡＭ３３に読み込むと共に、以降のデータ処理のための初期設定を行う（S11,S12）。

そして、初期設定が完了すると直ちに画像メモリ２２から画像データを１フレームずつＲＡＭ３３に取り込み（S13,S14）、ＲＡＭ３３に展開した画像データに基づいて画像分割・輝度情報処理（S15）を実行する。

この画像分割・輝度情報処理（S15）は図４のフローチャートに示す手順で実行される。

先ず、ＲＡＭ３３に取り込まれた画像フレーム:F(X)を、図５に示すように水平方向と垂直方向に均等区分し、ｍ＊ｎ個の方形状のブロック:B(X)ij［但し、i=1〜m，j=1〜n］に分割する（S31）。

その場合、当然に各分割ブロック:B(X)ijには水平・垂直方向の区分数に応じて多数の画素が含まれている。

分割ブロック:B(X)ijの設定が完了すると、各分割ブロック:B(X)ij毎に全画素の輝度値を加算し、その加算値をブロック内に含まれている画素数で除算することにより各分割ブロック:B(X)ijについての輝度平均値:BLav(X)ijを求め、そのデータをＲＡＭ３３にセーブする（S33,S34）。

また、この実施形態では、前記の輝度平均値:BLav(X)ijを求めてゆく順序が、水平方向に整列した各分割ブロック:B(X)ijについて左側から右側へ順次移行し、最上段の水平方向の分割ブロック群:B(X)ij［i=1，j=1〜n］から開始して、一段の処理が完了する度にその下段へ移行する方式に設定されており、最終的に右下の分割ブロック:B(X)mnの輝度平均値:BLav(X)mnを求めた段階で１フレーム分が終了することになっている（S32〜S38）。

そして、前記の一連の手順が完了すると、１フレーム分の分割ブロック:B(X)ijの輝度平均値:BLav(X)ijを全て加算し、その加算値:ΣB(X)ijを分割ブロックの数:ｍ＊ｎで除算することによりフレーム全体の輝度平均値:FLav(X)を求める（S39）。

また、求めたフレーム全体の輝度平均値:FLav(X)はＲＡＭ３３にセーブされ(S40)、それによって画像分割・輝度情報処理（S15）手順を完了する。

ここで、図３に戻って、前フレームの輝度情報処理に係るデータがＲＡＭ３３にセーブされているか否かを確認する（S16）。

前記の画像フレーム:F(X)の取り込み(S14)と画像分割・輝度情報処理（S15）が最初の画像フレーム:F(1)に係るものである場合には、前フレームに係る処理データがＲＡＭ３３にセーブされていないため、輝度情報処理データは前フレームの情報としてＲＡＭ３３にセーブされる(S16→S20)。

一方、第２番目以降に入力された画像フレーム:F(X)［X≧2］である場合には、既に直前の画像フレームに係る処理データがＲＡＭ３３にセーブされている。

ここでは、前記のステップS14,S15の処理が第２番目以降の画像フレームについてなされたものとして、次の動きブロック検出処理（S17）を説明する。

この実施形態での動きブロック検出処理（S17）は図６のフローチャートに示される手順で実行される。

先ず、この段階では前フレーム:F(X-1)と現フレーム:F(X)について画像分割・輝度情報処理（S15）が実行されているため、ＲＡＭ３３には、前フレーム:F(X-1)の各分割ブロック:B(X-1)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X-1)ij［i=1〜m，j=1〜n］とそのフレーム:F(X-1)全体の輝度平均値:FLav(X-1)、及び現フレーム:F(X)の各分割ブロック:B(X)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X)ij［i=1〜m，j=1〜n］とそのフレーム:F(X)全体の輝度平均値:FLav(X)がセーブされている。

動きブロック検出処理では、最初に現フレーム:F(X)全体と前フレーム:F(X-1)全体の各輝度平均値の差:ΔFLav(X)＝FLav(X)−FLav(X-1)を演算し、これをＲＡＭ３３に一旦セーブする（S41）。

次に、現フレーム:F(X)の分割ブロック:B(X)ijに係る輝度平均値とその分割ブロック:B(X)ijと対応する位置にある前フレーム:F(X-1)の分割ブロック:B(X-1)ijに係る輝度平均値との差:ΔBLav(X)ij＝BLav(X)ij−BLav(X-1)ijを演算する（S43）。

また、その分割ブロックに係る輝度平均値の差から前記のフレーム全体に係る輝度平均値の差を差し引いた値:ΔBLav(X)ij−ΔFLav(X)を演算し、その演算値を絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜に変換する（S44,S45）。

そして、この動きブロック検出処理では前記で求めた絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜を分割ブロック:B(X)ijが動きを含むものであるか否かの判定対象とする。

具体的には、ＲＡＭ３３には設定パラメータとして前記の絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜と比較するための閾値:Ｔh0が格納されており、｜ΔBLav(X)ij−ΔFLav(X)｜＞Ｔh0の場合には「分割ブロック:B(X)ijは動きを含むものである」と判定し、逆に｜ΔBLav(X)ij−ΔFLav(X)｜≦Ｔh0の場合には「分割ブロック:B(X)ijは動きを含まないものである」と判定する（S46,S47,S48）。

また、その分割ブロック:B(X)ijについての動き判定情報はＲＡＭ３３にセーブされる（S49）。ここでそのセーブする形式を図１２に示す。各分割ブロックの動き判定情報を予め確保した記憶領域に保持する際に、動き有り：１、動き無し：０のような2値の値でなく、多値のポイント加算としてセーブする。図１２(a)の○印の分割ブロックに動きが検出された場合、図１２(b)のように、初期化された記憶領域のその分割ブロックB(X)ijに該当する位置にポイント８を加算し、周囲の分割ブロックB(X)i-1j-1、B(X)i-1j、B(X) i-1j+1、B(X)ij-1、B(X)ij+1、B(X)i+1j-1、B(X)i+1j、B(X)i+1j+1に該当する位置にポイント１を加算する。これを全ての分割ブロックに適用すると、隣接する分割ブロックに動きが有る場合はその分割ブロックに該当する動き判定情報のポイントが高くなることから、動きブロックの隣接度合を表すことが出来る。動きを含む分割ブロックのうち隣接する分割ブロックも動きを含むものは図１２(c)の○印の分割ブロックとなる。

ところで、前記の一連の動きブロック検出手順は画像フレーム:F(X)の各分割ブロック:B(X)ijについて順次実行されるが、その順序は上記の輝度情報処理手順（S32〜S38）で行った順序と同様であり、分割ブロック:B(X)11から開始して分割ブロック:B(X)mnで終了する（S42〜S52）。

ここで、図３に戻って、動き検出装置２７はRAM33にセーブした分割ブロック:B(X)ijの動き判定情報を元に、動き領域候補を抽出する(S18)。

動き領域候補抽出処理(S18)は図９のフローチャートに示される手順で実行される。まず、抽出対象となる現在のフレームに動きブロックの有無を調べ(S81)、無い場合は終了する。動きブロックが有る場合は、ブロックのインデックスijを初期化し（S82）、始めのブロックから順に、分割ブロックB(X)ijの動き判定情報のポイントデータを取り出し(S83)、閾値Th4より大きくなければ次の分割ブロックの処理に移る(S84)。

分割ブロックB(X)ijの動き判定情報ポイントが閾値Th4より大きければ(S84)動き領域候補と見なし動き領域候補に登録する(S85〜S89)。処理済みの隣接する分割ブロックが既に動き領域候補にあれば(S85)隣接する分割ブロックの含まれる動き領域候補に分割ブロックB(X)ijを追加登録する(S87)。処理済みの隣接する分割ブロックに動き領域候補が無ければ、新規に動き領域候補を作成する(S86)。動き領域候補の動きブロック数情報に分割ブロックB(X)ijの分を加算し(S88)、動き領域候補の動きブロックの中心位置情報にB(X)ijの分を加算し(S89)、次の分割ブロックの処理に移る(S90、S91、S92、S93)。

全ての分割ブロックの処理が終了すれば、各動き領域候補の動きブロックの中心位置の合計を動きブロック数で割り、動きブロックの中心位置の平均を算出する(S94)。

各動き領域候補情報を動き領域候補の重要度順に並べ替え、RAM33にセーブする(S95)。ここで動き領域候補の重要度は、動き領域候補のサイズ(含まれる動きブロック数)及び／または動き領域候補の位置(検出エリアの注目度)を元に判定する。

ここでTh4は動きブロックを隣接する動き領域候補の要素として加えるかどうか判定する閾値である。入力画像にノイズ要素が多い場合はこの閾値を高く設定することにより孤立した動きブロックを動き領域候補から排除し、一方、背景と動き物体の輝度差にばらつきが有り動きブロックの判定が一定しない場合にはこの閾値を低く設定することによりまとまった領域候補として抽出する。使用する場面により適当な閾値を使い分けることにより目的の動きを精度良く検出することが出来る。

ここで再び図３に戻って、動き検出装置２７はRAM３３にセーブした動き領域候補情報と前フレームまでの動き領域候補対応付情報を用い、現フレームの動き領域候補を前フレームまでの動き領域候補と対応付ける(S19)。

動き領域候補対応付処理(S19)は図１０のフローチャートに示される手順で実行される。

現フレームに動き領域候補が無ければ前フレームまでの動き領域候補に対し保留処理を行う(S101、S110〜S113)。ここでiは前フレームまでの動き領域候補のインデックス、pは前フレームまでの動き領域候補の数である。

動き領域候補が設定された次のフレームで対応する動き領域候補が無かった場合、動き物体が一時的に速度を緩めたり停止した可能性もある。そこで所定のフレーム数は動き領域候補を削除せずに保留する処理を行う。各領域毎に保留フレーム数をカウンタにセットし、次フレームで対応する動き領域候補が無ければカウンタを1ずつ減らし、０になった時点で動き領域候補から削除するものである。

現フレームに動き領域候補が有れば(S101)、動き領域候補のインデックスを初期化し(S102)、全ての動き領域候補について(S103、S108)、前フレームまでの各動き領域候補Kiについて対応する現フレームの動き領域候補を探索する(S104)。具体的には、前フレームまでの動き領域候補情報を用い、前フレームでの動きブロック位置の平均と前フレームと前々フレーム間の動きブロック位置の平均の変位を取り出して加算し、現フレームでの動きブロック位置の平均の推定値とする。この位置を基準に所定の距離以内で最も近い位置に動きブロック位置の平均を持つ現フレームの動き領域候補を対応する現フレームの動き領域候補とする。

対応する現フレームの動き領域候補が無ければ(S105)動き領域候補保留処理を行う(S106)。

対応する現フレームの動き領域候補が有れば(S105)前フレームまでの動き領域候補情報を更新する(S107)。即ち、現在の動き領域候補の位置(動きブロックの中心位置の平均)、前フレームと現フレーム間の位置の変位量、動き領域候補が検出されてからの総変位量、動き領域のサイズを更新し、保留フレーム数を所定の値にセットする。

現フレームの動き領域候補の中で前フレームまでの動き領域候補に対応付かなかったものは、新規の動き領域候補として前フレームまでの動き領域候補に追加し(S109)、前フレームまでの動き領域候補情報をRAM33にセーブする(S114)。

ここで再び図３に戻って、動き検出装置２７はRAM３３にセーブした動き領域候補対応付情報を用い、有効な動き領域の有無を判定する(S20)。

動き領域判定処理(S20)は図１１のフローチャートに示される手順で実行される。

動き領域判定処理では、予め設定された動き領域判定基準を取り出し(S121)、動き領域候補のインデックスを初期化し(S122)、全ての動き領域候補について(S123、S126)、各動き領域候補Kiの情報を取り出し(S124)、動き領域判定基準に基づいて動き領域候補Kiが検出対象の動き領域か否かを判定する(S125)。全動き領域候補について判定が終われば動き領域判定結果をRAM33にセーブする(S127)。

ここで、再び図３に戻って、動き検出装置２７はＲＡＭ３３にセーブした動き領域候補の動き領域判定情報をデータ記録装置２８に出力する（S21）。

また、ＲＡＭ３３にセーブされている現フレーム:F(X)に係る輝度平均値:BLav(X)ij［i=1〜m，j=1〜n］とフレーム全体の輝度平均値:FLav(X)を前フレームに係るそれらの情報に上書きして保存することによりデータの更新を行う（S22）。

そして、動き検出装置２７に対して動作ＯＦＦの指示がなければ、画像メモリ２２から次の画像フレーム:F(X+1)を取り込み、上記と同様の手順でそのフレーム:F(X+1)の各分割ブロック:B(X+1)ijについて動きを含むか否かの判定を実行し、動きブロックについて動き領域候補を抽出し全フレームまでの動き領域候補との対応付及び動き領域の判定を行い、以降も同様にして画像メモリ２２に対して順次更新しながら書き込まれてゆく画像フレームに対して動き領域の検出処理を行う（S23→S24→S14〜S22）。

その結果、画像メモリ２２に書き込まれた画像フレーム中に監視対象の動きを含む領域が有るか否かの判定情報が常にデータ記録装置２８に出力されることになるため、データ記録装置２８では動きを含む領域が有ると判定された画像フレームについてのみ録画を行うことができ、監視カメラ１の撮像領域に異常がない通常状態の画像フレームを無駄に録画しないようにできる。

尚、録画の際にデータ記録装置２８が内蔵しているタイマの時刻データを録画データの所定位置に書き込んでおけば、後で画像を再生した際に異常が発生している時刻を確認できる。

また、図１の監視記録装置２には記載されていないが、アラーム装置を付加しておけば、動き検出装置２７が動きを含む分割ブロックが有ると判定した際にアラーム音等を出力させて監視カメラ１の撮像領域に異常が発生したことを通報できる。

ところで、この実施形態の動きブロック検出処理においては、現フレーム:F(X)と前フレーム:F(X-1)の対応した各分割ブロックに係る輝度平均値の差から各フレームに係る全体の輝度平均値の差を差し引いた値の絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜を設定閾値:Ｔh0と比較することにより、現フレーム:F(X)に動きを含む分割ブロックがあるか否かを判定している。

即ち、従来技術の特許文献１の開示技術のように単にフレーム間における対応した分割ブロック同士の輝度値又は色データの平均値の差分値に基づいて動きの有無を検出するのではなく、分割ブロック同士の輝度平均値の差と各フレームに係る全体の輝度平均値の差との相対的差分を判定対象としている。

ここで、監視領域の照明状態が変化した場合を想定してみると、その変化が影響した分割ブロック同士の輝度平均値の差:ΔBLav(X)ijが絶対値として大きくなるが、同時に前後の各画像フレーム全体の輝度平均値の差:ΔFLav(X)も絶対値として大きくなり、且つその＋／−方向へ増大する傾向は同一である。

従って、この実施形態において判定対象となる｜ΔBLav(X)ij−ΔFLav(X)｜は照明状態の変化がキャンセルされたものとなり、照明状態の変化に影響を受けないで（照明状態の変化を分割ブロック内の動きとして検出することなく）、一定の閾値:Ｔh0を適用することによって正確且つ安定的に動きブロック検出を行うことが可能になる。

また、判定対象となる｜ΔBLav(X)ij−ΔFLav(X)｜は分割ブロック:B(X)ij，B(X-1)ijの輝度平均値:BLav(X)ij，BLav(X-)ijや画像フレーム:F(X)，F(X-1)の全体的輝度平均値:FLav(X)，FLav(X-1)に基づいて算出されているため、画像フレーム:F(X)，F(X-1)中にフリッカー等のノイズが混在していてもその画素に係る大きな輝度値は平準化されて殆ど影響を及ぼさない。

更に、この実施形態では、画像分割・輝度情報処理（S15）において画素の輝度を予め分割ブロック:BL(X)ij単位で平均化しておくため、その後の動きブロック検出処理（S17）のための演算量を低減できる。

尚、閾値:Ｔh0の値は動きの検出感度を左右するが、例えば、８ビットで量子化された画像データの輝度値を０〜２５５として表現した場合に、Ｔh0は約５０に設定することが可能である。

従来技術の特許文献１の検出方式では、照明状態の変化が動き判定に影響を与えるために閾値を小さく設定できず、必然的に検出感度を低下させざるを得ないが、この実施形態における前記の閾値:Ｔh0≒５０は、判定方式の相違を考慮して相対化してみても、特許文献１の検出方式での適用閾値よりも相当に小さいレベルになっており、高い検出感度を実現できることになる。

閾値の適用の仕方はまた、以下のように２段階に設定することにより、検出部分の輝度に応じてより安定した検出を行うようにしてもよい。

その設定閾値は、図７に示すようなテーブルデータとして予めパラメータ記憶部２６に格納されており、操作部２４から高／中／低の何れかの感度を選択し、動き検出装置２７が選択した感度に対応する３つの閾値:Ｔh1，Ｔh2，Ｔh3を動きブロック検出処理（S17）の中で利用するようになっている。

尚、各閾値: Ｔh1，Ｔh2，Ｔh3の値は、８ビットで量子化された画像データの輝度値を０〜２５５として表現した場合を基準にとってある。

そして、この実施形態における動きブロック検出処理（S17）の具体的手順は図８のフローチャートで示される。

先ず、画像分割・輝度情報処理（S15）で求めた前フレーム:F(X-1)の各分割ブロック:B(X-1)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X-1)ij［i=1〜m，j=1〜n］とそのフレーム:F(X-1)全体の輝度平均値:FLav(X-1)、及び現フレーム:F(X)の各分割ブロック:B(X)ij［i=1〜m，j=1〜n］に係る輝度平均値:BLav(X)ij［i=1〜m，j=1〜n］とそのフレーム:F(X)全体の輝度平均値:FLav(X)を用い、現フレーム:F(X)全体と前フレーム:F(X-1)全体の各輝度平均値の差:ΔFLav(X)＝FLav(X)−FLav(X-1)を求めると共に、現フレーム:F(X)の分割ブロック:B(X)ijと対応する位置にある前フレーム:F(X-1)の分割ブロック:B(X-1)ijに係る輝度平均値の差:ΔBLav(X)ij＝BLav(X)ij−BLav(X-1)ijを求め、更に絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜を求めるが（S61〜S65）、それらの手順は上述の手順（図６）に示したステップS41〜S45と同様である。

次に、前記の絶対値:｜ΔBLav(X)ij−ΔFLav(X)｜が求まると、先ず、現フレームF(X)の分割ブロック:B(X)ijに係る輝度平均値:BLav(X)ijと前フレームF(X-1)の分割ブロック:B(X-1)ijに係る輝度平均値:BLav(X-1)ijをそれぞれ閾値:Ｔh1と比較する（S66,S67）。

そして、少なくとも輝度平均値:BLav(X)ij，BLav(X-1)ijの何れか一方が閾値:Ｔh1よりも大きい場合には判定閾値としてＴh2を適用し、双方とも閾値:Ｔh1以下であった場合には判定閾値としてＴh3を適用することとしている（S66,S67→S68,S69）。

従って、｜ΔBLav(X)ij−ΔFLav(X)｜＞適用閾値（Ｔh2又はＴh3）であれば「分割ブロック:B(X)ijは動きを含むものである」と判定し、｜ΔBLav(X)ij−ΔFLav(X)｜≦適用閾値（Ｔh2又はＴh3）であれば「分割ブロック:B(X)ijは動きを含まないものである」と判定する（S70→S71,S72）。

例えば、「中」の感度を選択した場合を例にとると、BLav(X)ij又はBLav(X-1)ijの双方又は何れか一方が１２８よりも大きい条件下では、｜ΔBLav(X)ij−ΔFLav(X)｜＞７０の場合に「分割ブロック:B(X)ijは動きを含むものである」と判定し、BLav(X)ijとBLav(X-1)ijの双方が１２８以下の条件下では、｜ΔBLav(X)ij−ΔFLav(X)｜＞３５の場合に「分割ブロック:B(X)ijは動きを含むものである」と判定する。

前記のように、この実施形態では、判定対象データである｜ΔBLav(X)ij−ΔFLav(X)｜に対して２つの閾値:Ｔh2，Ｔh3を設けておき、それら閾値の何れを適用するかを決定するために閾値:Ｔh1を設けている。

そして、現フレーム:F(X)と前フレーム:F(X-1)の対応する分割ブロック:BLav(X)ij，BLav(X-1)ijの双方又は一方の平均輝度値:BLav(X)ij，BLav(X-1)ijが中間輝度値（閾値:Ｔh1）より大きい場合には高い閾値:Ｔh2を適用し、逆に平均輝度値:BLav(X)ij，BLav(X-1)ijの双方が前記の中間輝度値より小さい場合には低い閾値:Ｔh3を適用している。

これは、一般的に、平均輝度値:BLav(X)ij，BLav(X-1)ijの少なくとも一方が中間輝度値より大きい場合には｜ΔBLav(X)ij−ΔFLav(X)｜も大きくなり、平均輝度値:BLav(X)ij，BLav(X-1)ijの双方とも中間輝度値より小さい場合には｜ΔBLav(X)ij−ΔFLav(X)｜も小さくなる傾向があるという経験則に基づくものである。

即ち、それらの場合に対応させて閾値を可変適用することにより、動きブロックの検出に係る判定条件の均等化を図ると共に、正確で安定した動作を実現できる。

本発明の実施形態２は、構成上は第１の実施形態と同様図１で表せる。

本実施形態の特徴は、パラメータの設定入力において、監視環境に応じて自動的に画像内のエリア毎の閾値及び動き領域判定基準の候補を設定可能な点である。

初期パラメータの読み込み・初期設定時に所定の期間、検出対象とすべき動きの存在しない画像入力を行い、所定の初期閾値及び領域判定基準で動き検出処理を行い、検出結果の動き領域候補情報を評価し、評価結果に基づき適切な検出パラメータを推定する。

本実施形態の設定パラメータの読み込みと初期設定は図13のフローチャートに示される手順で実行される。本実施形態２では、図３に示す実施形態１における［設定パラメータの読み込みと初期設定］S12での処理を、図13に示すS12〜S28で行う。図13に示すS12〜S28の処理を、図３に簡易的にS12'として示した。

検出パラメータ評価の為の動き領域候補検出処理は、実施形態１で説明した通常の動き検出処理と同様に行う(図13のS11〜S19、S22、S24)。フレーム毎の動き領域候補対応付処理(S19)の後、動き領域情報蓄積処理を行う(S25)。動き領域情報を評価期間全体に渡って蓄積保存する。但し同じ場所でのランプの点滅や時計の振り子のように一定の動きが繰り返される場合はその都度別の動きとして蓄積せず、出現回数及び出現する時間間隔を保存する。所定フレーム数の処理が終わるまで動き検出処理を繰返し、処理が終われば(S26)、蓄積した動き領域情報を分析し(S27)、最適なパラメータを推定する(S28)。

動き領域情報には、動き領域の位置、サイズ、動き方向及び動き量、動きの継続時間や出現頻度(周期)が蓄積されている。動き領域情報に蓄積された動きを検出せずそれ以外の動きを検出可能なパラメータ設定を行う。

例えば、図１４(a)のゲーム機の点滅ランプのように特定のエリア(図１４(1))で小さな動き領域がある場合には、このエリアの動き領域サイズを検出した動き領域サイズ以上に設定する。図１４(b)上部の車両のように特定のエリア(図１４(2))に特定方向の動き領域が有る場合は、このエリアではこの方向以外の動きを検出するよう動き領域の判定条件を設定する。図１４(b)の養魚場の魚や水面のように特定エリア(図１４(3))でそれぞれは小さな動きが断続的にある場合は、このエリアで検出された動き領域の動き継続時間や動き量の最大値を元に、これらの動きを検出しない動き継続時間、動き量に動き領域の判定条件を設定する。図１４(c)の掲示物が空調の風で揺れるような動きが特定エリア(図１４(4))に有る場合は、このエリアで検出された動き領域の動き範囲を元にこれらの動き以上の動き範囲を動き領域の判定条件に設定する。

様々な監視場面毎にユーザが検出条件設定を全て行うことは、大規模店舗等で多数の監視カメラを用いた監視記録をするユーザには大変な手間である。これを自動化することでユーザは容易に効果的な監視記録を実現できる。

尚、ユーザの監視意図を尊重する為に設定内容をユーザが確認し、承認・修正を行うインタフェースを設けても良い。

初期パラメータは検出漏れを防ぐ為高感度に設定し、不要な動き検出をマスクする方向に自動修正し、監視用の動き領域検出パラメータとする。初期パラメータはユーザが経験に基づき設定・選択することを妨げない。

パラメータ設定の為の評価画像は、予め所定時間、検出すべき動きの無い状態で録画した画像を使用しても良い。また、より適切なパラメータ設定の為に第2の評価画像として、検出目的の典型的な動きの有る画像を使用しても良い。検出目的の動きの無い評価画像で推定した動き領域検出パラメータを初期パラメータとして設定し、第２の評価画像で検出した動き領域の動き領域情報を元に、動き領域検出パラメータを設定することも可能である。

次に、監視カメラから得られる信号により監視対象である侵入物体を特定し、特定された対象物に応じて威嚇情報を自動的に提示する映像監視システムについて述べる。実施例１で示した機能部分と同一の機能部分には同一の符号を付し、説明を省く。

映像監視システムの構成について述べる。
図１５は映像監視システムの構成図である。図１に示した監視システムに比し、パラメータ記憶部２６の代わりにパラメータ記憶部２６ａがあり、動き解析部２９ａ及び威嚇情報決定部２９ｂが加えて配置される監視装置２ａと、威嚇提示部４とを有している点で異なっている。

図１６は監視記録装置２ａの要部と威嚇提示部４の構成を示したものである。
パラメータ記憶部２６ａは動き検出パラメータ２６１、テンプレート情報２６２、及び威嚇情報２６３を記憶する領域を有している。威嚇提示部４は、音声提示装置４１、照明提示装置４２、臭成分提示装置４３、および散水装置４４より構成される。

映像監視システムの動作について述べる。
まず、設定入力Ｉ/Ｆ２５を介して操作部２４から動き検出パラメータ設定値が入力される。検出パラメータ設定値はパラメータ記憶部２６ａの動き検出パラメータ２６１の記憶領域に記憶される。動き検出パラメータは監視対象ごとに整理され、整理された結果を基に監視対象と動き検出パラメータとの関係がテンプレート情報として作成される。テンプレート情報はテンプレート情報２６２の記憶領域に記憶される。操作部２４を操作し、検出された監視対象に提示すべき威嚇情報の種類を決める。決められた威嚇提示に係る情報は威嚇情報２６３の記憶領域に記憶される。

監視カメラ１から入力される映像の動き成分は動き検出装置２７により検出される。検出された動き成分は動き解析部２９ａにより解析される。解析された動き成分はテンプレート情報２６２に記憶される情報と比較され監視対象が判定される。判定された監視対象に対して提示すべき威嚇情報は、威嚇情報２６３を基に威嚇情報決定部２９ｂで決定される。決定された威嚇情報は威嚇提示部４に入力される。音声提示装置４１、照明提示装置４２、臭成分提示装置４３、及び散水装置４４の１つ以上により威嚇情報が提示される。

以下、監視対象の動き成分検出について図１７〜図２１を用いて詳述する。
動き解析部２９ａでは、動き検出装置２７で取得した動き領域を監視領域へ侵入した動き物体（監視対象）と仮定して動き情報を解析し、動き物体の種類と警戒状況を推定する。動き領域の形状・大きさ・位置・動き量等の情報と予め登録された動き物体の種類毎の登録情報を照合し、動き物体即ち監視領域への侵入物体の種類を推定する。

図１７に動き解析処理の概略の流れを示す。
まず、監視映像内の動き物体の属する警戒エリアを判定する(S201)。監視カメラで斜め上から撮影する場合は、通常画像中の動き物体の最下端が侵入物体の接地している平面上の位置と推定される。動き領域の最下端の座標を元に、所属する警戒エリアを判定する。警戒エリアは、監視カメラ設置時に撮影エリア内の平面の連続性及び管理者の必要とする警戒レベルを基に設定する。

図１８にエリア設定の例を示す。同図に示す（１）は監視エリアの初期画面である。(A)は一般者の通行出来る共通エリア、(B)は施設入口への通路エリア、(C)は通常立ち入り禁止の植栽エリアである。(D)は立ち入り制限に係る基準ラインである。それぞれのエリアは縁石又はブロックで仕切られている。

監視記録装置２ａの初期設定時に、監視カメラで撮影して得られる初期画面として画像メモリ２２の画像を動き検出装置２７に入力し、記憶しておく。記憶された画面と新たに入力される画面とを比較することにより目的とする動き物体の検出及び監視を行う。目的とする動き物体は、操作部２４よりエリア設定を修正・指定し、各警戒エリア毎の警戒対象となる物体の種類と動き、警戒パターンを設定することにより指定する。（２）はエリア（Ｂ）に人（Ｅ）が入ってきた様子を示す。（Ａ）、（Ｂ）、（Ｃ）などの警戒エリアに応じ、車や人・動物の有無や流れ等、監視すべき動き物体の種類や動き方向、動き物体の画面上での写り方が異なる。検出された動き物体に提示する威嚇内容は、設定される警戒パターンにより異なる威嚇を設定する。

各警戒エリア毎に動き物体とする動き物体の画面上で想定される大きさ及び形状を予めテンプレートとしてパラメータ記憶部内に登録しておく。更に、各物体の警戒エリア内で想定し得る動き及び警戒対象とすべき動きに関して、動き方向や動き量、動き継続時間や停止時間等を登録しておく。

動き検出された動き物体の属する警戒エリアが決まれば、警戒エリア毎に登録された動き物体のテンプレート情報を取り出す(S202)。個々の警戒エリアが広い場合は、動き物体の大きさや形状は同一警戒エリア内でも動き物体の位置や向き方向により変わる。そこで動き物体の位置により基準とする大きさや形状データを変換する計算式をパラメータ記憶部内に備える。検出された動き物体の位置における各動き物体の大きさや形状の基準値を求められるようにする。

ここで、検出された動き物体が、それまでの画像フレームで既に動き物体として推定されている動き領域であれば(S203-Y)、その物体のテンプレートと照合する(S204)。マッチすれば(S205-Y)同じ物体と推定する(S207)。テンプレートにマッチしなかった場合(S205-N)やそれまでの画像フレームで動き物体として推定されていない場合(S203-N)は、新たに動き物体推定の為にテンプレート検索処理を行う(S206)。

テンプレート検索処理では、登録されたテンプレート情報を検索し、検出された動き物体の種類を推定する。動き物体の動き情報を登録されている各物体のテンプレートと比較し、登録情報に最も良く適合する種類の物体を探し当て、その動き物体であると推定する。
物体の推定は、大きさ、形状、動き方向、と項目毎に順次候補を絞り込む方法によっても良い。

候補の絞込みは、適合する項目毎に候補物体にポイントを与え最もポイントの高い物体をその物体であると推定しても良い。後者の場合には、項目を満たす必須度を元にポイントに重み付けする。始めの動き情報で物体を推定できない場合は、複数フレームに渡る動き情報を用いて物体を推定する。動き物体が推定されれば、その物体の動きが警戒すべき対象か否かを判定する(S207)。

動きの方向、動き量、位置、動き継続時間或いは停止時間等の動き情報が、その物体に関して予め登録された警戒すべき動きのパターンと一致すれば、警戒パターン情報が取り出される。解析が終われば、動き物体に関する情報を保存する(S208)。ある時点では警戒対象の動きを見出さない物体についても情報を保存し、警戒すべき動きを開始した時に直ちに対応できるようにする。

威嚇情報決定部１２９では、動き物体に関する動き情報と警戒パターンを元に、威嚇情報を決定し各コントローラから所定の威嚇情報を出力する。警戒エリア毎の警戒すべき、或いは無視すべき動き物体の初期設定に当たっては、予めシステム内に動き物体の種類及びそれぞれの動き物体に想定される動き情報に関するテンプレートを用意し、管理者がこれらを選択し組合せることにより設定するようにしても良い。システム設置時に人が警戒エリアを歩き、入力画像から検出した人の動き情報を元に、画面上の人に関する動き情報をそのエリアの人の動きに関する標準値として設定し、これを基準に各物体のテンプレートを補正しても良い。予めシステム内に用意する動き物体のテンプレートは実際の画像データを基に作成する。

図１９〜図２１にテンプレートの例を示す。実際の物体は、同じ種類でも大きさや形状にばらつきがある。物体の推定はテンプレートに一定の範囲を設定し、テンプレートと物体の動き情報の一致度合を評価することにより行う。大きさ情報には動き領域に外接する矩形の縦横サイズまたは動き領域内の動きブロック数、形状情報には動き領域の縦横比及び領域中の動きブロックの分布を用いる。これらに加えてテンプレートの回転の可能性を用いても良い。物体の形状に対する動き方向の関係も物体を推定する要素となる。

例えば、図１９(a)は人が歩いたときの変化の様子を示す。図１９(b)のように人間と大型の犬は斜め上から撮影した画像では同程度の大きさの縦長形状の動きとして検出され得る。ここで、それぞれの動き方向を考慮し人間は立っている位置から各方向に移動することが想定されるのに比し、犬は体の前方向一定の範囲に移動することが想定される。従って、左右に動いた場合は人間であり、縦方向に動いた場合は犬であると推定される。

物体の移動に連れてカメラからの相対位置が変化することによる動き領域の大きさ・形状の変化も物体を推定する要素となる。
図２０に示すテンプレートで、カメラに対して(a)の位置に人と犬が居る場合では人も犬も同じ位の大きさの動き領域である。しかし、移動によって図(b)の位置に来ると縦のサイズが人は大きくなり、犬は大きくならない。人と犬とを判別できる。

動き領域の大きさ・形状、動き方向、動き領域内の動きブロック分布等の変動量や変動周期も評価要素となる。人や動物のように、手足を動かし重心移動しながら移動する物体では、検出される動き領域の形状や動き方向が変動するが、車のような無生物では一定の形状と動き方向を保ったまま移動する。

図２１に示すテンプレートの検出画像の場合では、(a)は大きさ・形状及び動き方向から人と推定される。(b)は大きさ・形状及び動き方向のみからは、犬であるとも旅行用のキャリーバッグであるとも推定される。そこで、動き領域の形状や動き方向の変動割合が所定の閾値よりも大きい場合の検出画像は、犬のような動物であると推定し、変動割合が小さい場合はキャリーバッグのような一定の形状と移動機能を備えた物体であるとして推定する。

尚、設置環境により、塀等で動き物体の下部が隠れることが予め分かっている場合には塀で隠れる部分について動き物体のテンプレートを調整しても良い。また、複数台のカメラを用い、各カメラで撮影された画像上の動き領域の位置とカメラの撮影位置を基に動き物体の３次元位置を精度良く求めて推定するようにしても良い。

図２２と図２３を用いて検出された動き物体の動きに応じて提示する威嚇情報について述べる。
図２２に、動き物体が人であると推定された場合の各警戒エリアでの威嚇情報の例を示す。図１８に示したエリア（A）において、一方向に通り過ぎる通行人に対しては特に威嚇は行わない。行ったり来たりしている人やその場で停止した人に対しては「桜の花が見頃でしょう。ここにゴミを捨てないでね」等と婉曲なメッセージを音声提示装置４１により提示する。

照明提示装置４２が有する図示しないＬＥＤを点滅させるなどにより、侵入者を監視していることを示しても良い。エリア（B）では、入口部に接近して来る人が入れば「ここから先は管理区域です」等と注意するメッセージを提示する。また、夜間であれば照明提示装置４２が有する図示しないライトを点灯し侵入者の顔を照らし出す。

更に近づき、例えば図１８に示す基準ライン（D）を超えた場合は、更に警戒音を提示し「管理者に通報しました」等と注意するメッセージを提示する。エリア（C）では、「ここは立ち入り禁止です。退去して下さい」等と即刻退去を促すメッセージを提示する。退去しない場合は散水装置４４のスプリンクラーを作動させて放水する等の強力な威嚇情報を提示する。本実施例では警戒パターンを、例えば４段階としているが監視場所や用途に応じて警戒パターンを適宜設定する。

図２３に、動き物体が犬または猫のような小動物であると推定された場合の各警戒パターンの威嚇情報の例を示す。エリア（A）及びエリア（B）では小動物による糞害、爪研ぎ、穴掘り等を未然に防止することを目的とする。そこに進入した小動物に対しては、臭成分提示装置４３により忌避臭の放散や動物の声、音声提示装置４１による超音波による撃退を行う。忌避臭や超音波は、常時提示していると人間や周囲のペットにも不快感を与え、撃退すべき小動物には慣れを生じさせ易くなる。小動物が排泄や爪研ぎ、穴掘り等の為に立ち止まったタイミングで威嚇情報を提示する。エリア（C）では侵入した段階で植栽を踏み荒らすという被害をもたらすのでスプリンクラーで放水する等の強力な威嚇情報を提示し、即時退去させる。

上記の他、エリア（A）で複数の動き物体が検出され、それらが人と犬であると推定された場合は、立ち止まった人に「犬のトイレはご遠慮下さい」という音声メッセージを提示する。またLEDを点滅させるなど、証拠画像を撮影していることを意識させると良い。尚好ましくは、威嚇音声又は超音波は、超音波を発音する高指向性スピーカーを用い、検出した動き物体の位置にて音圧が最大となるように提示するのが望ましい。

高指向性スピーカーを水平垂直の夫々の方向に向けて配置する。又は、発音方向を検出される動き物体の方向を検出して発音させるための自動調整可能な設置台に設置し、動き物体の位置に合わせてスピーカーの向きを調整する。さらには、音声を提示すべき場所毎に高指向性スピーカーを設置し、動き物体が焦点位置に最も近づくタイミングで威嚇音声や超音波を提示するようにしても良い。必要なタイミングや位置に限定して威嚇情報を提示することにより、威嚇対象とすべき侵入者や侵入小動物以外の人やペットに無用に不快な威嚇を与えることなく、効果的な威嚇を行う。

効果的な威嚇方法として電話装置を用いる方法がある。
図２４にテレビ電話を用いた映像監視システムの構成例を示す。
同図に示す映像監視システムは、前述の図１６に示した映像監視システムに比し、威嚇情報決定部２９ｂにテレビ電話装置５１と携帯テレビ電話５２が接続されている点で異なっている。監視記録装置２ｂの管理者は、携帯テレビ電話５２による侵入物体の確認と威嚇が可能となる。

監視カメラ１により撮影され、動き解析部２９ａにより解析して得られた動き物体が予め登録された警戒すべき監視対象として推定され、威嚇情報決定部２９ｂが管理者による確認・威嚇が必要と判断した時点で、管理者の携帯テレビ電話５２へ接続・通報し、監視画像を送る。管理者は画像を確認し、必要に応じて携帯テレビ電話５２を経由して威嚇情報の選択、応対メッセージの発話を行う。

管理者の携帯テレビ電話５２への接続は警戒すべき全ての動きに対して行う必要は無く、管理者が直接不審な動き物体を視認し応対すべきと設定された動きについて行う。例えば、図１８の例では、警戒エリア(B)に侵入した人と思しき物体が入口方向に接近し、立ち入り制限基準ライン(D)を越えた時点で管理者に通報する。管理者は携帯テレビ電話５２の画像を参照して対応する。侵入物体が人であれば、侵入者が入口近くのインタホンを押したタイミングで応答する。管理者があたかもその場に居合わせているように対応する。

音声による対応に先立ち、室内を歩いて送話口に来る足音の効果音を選択し侵入者に提示する。足音を移動する音源として、足音を侵入者に対して頭内定位させながら提示することにより、管理者の応対を臨場感を伴わせて提示させることができる。

図２５に２台のスピーカーを用いて音像を定位させる方法の原理図を示す。
入り口に対して正面を向いて立っている侵入者の左右の耳に、スピーカ１L1(t)とスピーカ２L2(t)から発音される音を、音源S(t)の位置に仮想定位させて視聴させる。２つのスピーカがある位置とは異なる音源の位置に管理者がいるように発音させるものである。

即ち、fl(t)、fr(t)は音源位置から左右の耳への伝達関数、hl1(t)、hr1(t)はスピーカー１から左右の耳への伝達関数、hl2(t)、hr2(t)はスピーカー２から左右の耳への伝達関数である。音源から発する音をS(t)とすると
L1(t)*hlt(t)+L2(t)*hl2(t)=S(t)*fl(t)
L1(t)*hr1(t)+L2(t)*hr2(t)=S(t)*fr(t)
を満たすL1(t)、L2(t)を各スピーカーから出力すれば良い。

これらの特性を元に、任意の位置に管理者を移動させて定位させるための音源を生成する。
図２６に、管理者が任意の位置に移動したときの音源を生成するための畳み込み演算処理ユニット４１１の構成を示す。
演算処理ユニットの動作について概略説明する。
まず、音源としては管理者の話し声を用いる。管理者が遠くにいるとき又は近くにいるときの音圧レベルを可変利得増幅器で調整する。定位方向処理器及びクロスフェード器により音源S(t)の到来方向に係る特性を与える。頭部演算処理器によりスピーカから発音される音を頭内定位する音源に変換する。残響処理は室内の残響を付加するための回路である。

図２７に、複数の管理者の話し声を同時に定位処理するための畳み込み処理部の構成を示す。複数の畳み込み演算処理ユニットの出力信号を加算して複数の管理者が宅内に滞在しているように振舞うことができる。定位された音声は入口前に目立たぬように設置した２台のスピーカーから発音される。

図２８に侵入者の行動の順を（ａ）〜（ｆ）により示す。侵入者が入口前に立ち止まったタイミングを見計らって発音、提示する。２つのスピーカから発音される音を所定の仮想音源位置に定位させるためには、侵入者が２つのスピーカの中央の近辺で正面を向いているときが望ましい。同図の(d)で示すタイミングはスピーカと侵入者との位置関係が最も好ましい状態であり、このタイミングでの発音が好ましい音源定位を与える。携帯テレビ電話を介して伝送される管理者の音声は、例えばボイスチェンジャーを用いることにより低音の太い声とし、効果音も重量感の有る足音を大股で近づくように定位させる。それにより、管理者を体格の良い男性と想像させ、侵入意欲を減退させる。

更に好ましくは、管理者のシルエットが浮かび上がるような照明を点灯させても良い。また好ましくは、排気口より煙草の煙臭や即席麺の臭いを排出させる等、管理者の在室を想像させるような空気環境を提示しても良い。さらにまた好ましくは、図示しないタイマ装置、明るさセンサ、インタホン機器を用い、動き物体の警戒パターン情報に加え、時刻や昼夜の別、インタホン呼出の有無の情報を基に、使用環境や状況に応じた威嚇情報を提示するようにしても良い。

第３の実施例により主に侵入者と侵入小動物の両方を動き物体として検出し、進入物体の種類や存在位置によって所望の威嚇情報を提示する方法を述べた。この他に、例えば車両を動き物体とし検出し、違法駐車や不法投棄などの行為を防止するための映像監視システムとして用いることも出来る。

以上、第１〜第３の実施例により監視システム及び映像監視システムについて詳述した。
それらのシステムによれば、比較的少ないデータ処理量で、照明状態の変化やフリッカー等の影響、背景の検出不要な動きを排除すると共に、ユーザの監視したい対象物の動きを精度良く検出する画像の動き検出装置を提供し、効果的な監視システム等を実現させる。及び検出された対象物に対して有効なタイミングで適切な威嚇情報を提示し、侵入物体の侵入意欲を喪失させ撤退させる手段を提供することができる。即ち、事態が明らかに切迫していない状態での大音量のアラームやフラッシングによる威嚇、液体・固体・気体を用いた威嚇を行うことなく、侵入者に対して、及び侵入物体に対し検出された適切な威嚇を段階的に行うことが出来るなど、好適な威嚇提示を行い不法侵入などを効率良く防止できる。

本発明は、比較的少ないデータ処理量で、照明状態の変化やフリッカー等の影響、背景の検出不要な動きを排除すると共に、多様な画像監視用途に応じてユーザの監視したい対象物の動きを精度良く検出する画像の動き検出装置を提供し、効率的な監視記録システム等を実現することができる。検出結果を基に威嚇提示を行う映像監視システムとして利用可能である。

本発明の実施形態である動き検出装置を適用した監視システムのシステム構成図である。 動き検出装置をマイクロコンピュータ回路で更生した場合のシステム回路図である。 動き検出装置が実行する基本的な動作手順を示すフローチャートである。 画像分割・輝度情報処理の手順を示すフローチャートである。 画像フレームをブロックに分割した状態を表す図である。 実施形態１に係る動きブロック検出処理の手順を示すフローチャートである。 実施形態１で適用される閾値テーブルの内容を示す図である。 実施形態１に係る動きブロック検出処理の手順を示すフローチャートである。 実施形態１に係る動き領域候補抽出処理の手順を示すフローチャートである。 実施形態１に係る動き領域候補対応付処理の手順を示すフローチャートである。 実施形態１に係る動き領域判定処理の手順を示すフローチャートである。 実施形態１に係る動き判定情報のセーブ形式を表す図である。 実施形態２に係る設定パラメータの読み込みと初期設定の手順を示すフローチャートである。 実施形態２に係る設定パラメータ初期化時の画像例である。 実施形態３に係る映像監視システムの概略構成例を示す図である。 実施形態３に係る映像監視システムの要部の構成例を示す図である。 実施形態３に係る映像監視システムの動作をフローチャートで示した図である。 実施形態３に係る警戒エリアの設定例を示す図である。 実施形態３に係る動き物体のテンプレート例を示す図である。 実施形態３に係る動き領域の大きさ・形状の変化の例を示す図である。 実施形態３に係る動き領域の変動例を示す図である。 実施形態３に係る侵入者に対する威嚇情報の例を示す図である。 実施形態３に係る侵入小動物に対する威嚇情報の例を示す図である。 実施形態３に係る映像監視システムの要部の応用構成例を示す図である。 実施形態３に係る音像定位の原理を示す概略図である。 実施形態３に係る畳み込み演算処理ユニットの構成例を示した図である。 実施形態３に係る畳み込み処理部の構成例を示した図である。 実施形態３に係る威嚇情報提示タイミングの例を示す図である。

符号の説明

１ 監視カメラ
２、２ａ、２ｂ 監視記録装置
３ 表示装置
４ 威嚇提示部
２１ 画像入力Ｉ／Ｆ
２２ 画像メモリ
２３ 出力Ｉ/Ｆ
２４ 操作部
２５ 設定入力Ｉ/Ｆ
２６、２６ａ パラメータ記憶部
２７ 動き検出装置
２８ データ記録装置
２９ 制御部
２９ａ 動き解析部
２９ｂ 威嚇情報決定部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ Ｉ/Ｏポート
４１ 音声提示装置
４２ 照明提示装置
４３ 臭成分提示装置
４４ 散水装置
５１ テレビ電話装置
５２ 携帯テレビ電話
２６１ 動き検出パラメータ
２６２ テンプレート情報
２６３ 威嚇情報

Claims (6)

1. 時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において
   入力された画像フレームを複数のブロックに分割するフレーム分割手段と、
   分割された各分割ブロックに掛かる輝度の代表値を求める第１演算手段と、
   前記画像フレーム全体の輝度の代表値を求める第２演算手段と
   前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第１記憶手段と、
   前記第１記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と、
   前記動きブロックを記憶する第２記憶手段と、
   前記第２記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と、
   前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第３記憶手段と、
   前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第３記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と、
   前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第４記憶手段と、
   前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と、
   前記動き領域判定手段による判定結果を出力する出力手段と、
   を具備したことを特徴とする画像の動き検出装置。
2. 前記判定手段において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロックの数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の連続するフレーム間の変位量または変位方向、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の前記動き領域候補検出開始時からの変位量または変位方向の内の、少なくも１つを用いたものであることを特徴とする請求項１記載の画像の動き検出装置。
3. 時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において
   入力された画像フレームを複数のブロックに分割するフレーム分割手段と、
   分割された各分割ブロックに掛かる輝度の代表値を求める第１演算手段と、
   前記画像フレーム全体の輝度の代表値を求める第２演算手段と
   前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第１記憶手段と、
   前記第１記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と、
   前記動きブロックを記憶する第２記憶手段と、
   前記第２記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と、
   前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第３記憶手段と、
   前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第３記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と、
   前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第４記憶手段と、
   前記現フレームの動き領域候補対応付け情報及び前フレームまでの動き領域候補対応付け情報のそれぞれに対応するように威嚇情報を関連付けてテーブルを作成するテーブル作成手段と、
   前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と、
   前記動き領域判定手段による判定結果に応じて、前記テーブル作成手段で作成したテーブルを基に前記威嚇情報を選択する威嚇選択手段と、
   前記威嚇選択手段で選択された前記威嚇情報に基づいて、警告情報を出力する警告手段と、
   を具備したことを特徴とする画像の動き検出装置。
4. 時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、
   入力された画像フレームを複数のブロックに分割する第１手順と、
   分割された各分割ブロックに掛かる輝度の代表値を求める第２手順と、
   前記画像フレーム全体の輝度の代表値を求める第３手順と
   前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第４手順と、
   前記記憶された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第５手順と、
   前記動きブロックを記憶する第６手順と、
   前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する第７手順と、
   前記第７手順によって現フレームについて作成された動き領域候補情報を記憶する第８手順と、
   前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第９手順と、
   前記前フレームまでの動き領域候補対応付け情報を出力すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第１０手順と、
   前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第１１手順と、
   前記第１１手順による判定結果を出力する第１２手順と、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。
5. 前記第１１手順において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロック候補の数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均のフレーム間の変位量または変位方向、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均の前記動き領域候補検出開始時からの変位量または変位方向の内の、少なくも１つを用いたものであることを特徴とする請求項３記載のコンピュータプログラム。
6. 時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、
   入力された画像フレームを複数のブロックに分割する第１手順と、
   分割された各分割ブロックに掛かる輝度の代表値を求める第２手順と、
   前記画像フレーム全体の輝度の代表値を求める第３手順と
   前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第４手順と、
   前記記憶された各輝度の代表値を用いて、時系列に入力された２つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第５手順と、
   前記動きブロックを記憶する第６手順と、
   前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とすると共に、その動き領域候補に関する情報である動き領域候補情報を作成する第７手順と、
   前記第７手順によって現フレームについて作成された動き領域候補情報を記憶する第８手順と、
   前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第９手順と、
   前記前フレームまでの動き領域候補対応付け情報を出力すると共に、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第１０手順と、
   前記現フレームの動き領域候補対応付け情報及び前フレームまでの動き領域候補対応付け情報のそれぞれに対応するように威嚇情報を関連付けてテーブルを作成する第１１手順と、
   前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第１２手順と、
   前記第１２手順による判定結果に応じて、前記第１１手順で作成したテーブルを基に前記威嚇情報を選択する第１３手順と、
   前記第１３手順で選択された前記威嚇情報に基づいて、警告情報を出力する第１４手順と、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。
   
   

Images