JP2004153829A - 画像処理システムおよびイベント検出方法 - Google Patents

Abstract

【課題】誤警報が少なく低廉な映像監視システム用イベント検出。
【解決手段】 映像監視システム（２０）に用いる画像処理システム（１００）は、過去の画像の少なくとも一部を表わす基準変換係数（１４５）を記憶する記憶媒体（１３０）と、現前画像を表わすセンサ値（３０）を受信して該現前画像の少なくとも一部を表わす現前変換係数（１２５）を計算するプロセッサ（１１０）を備える。現前変換係数（１２５）は基準変換係数（１４５）に空間的に対応しており、プロセッサ（１１０）はさらに現前変換係数（１２５）と基準変換係数（１４５）との比較を実行し、該比較に基づいて前記現前画像内のイベントを検出する。
【選択図】図３

Description

本発明は、一般に映像監視システムに係り、特に映像監視システムが生成するディジタル画像を用いたイベント（事件、出来事、事象等）の検出に関する。

侵入者の出現や故障や火事といったイベントを検出したときにだけ監視センターへ画像を転送する映像監視システムは、現在のディジタル画像と記憶画像との間で著しい変化が発生した時点を判定するアルゴリズムを用いる。例えば、アルゴリズムは現在のディジタル画像の画素値を記憶基準ディジタル画像の画素値と比較し、現在のディジタル画像と記憶基準ディジタル画像との間で画素値が著しく異なるときにイベントを検出して報告する。

一般に、記憶基準は、過去に採取した全ディジタル画像か或いは過去のディジタル画像を要約した統計集合のいずれかである。過去の全画像を記憶基準として用いると、イベント検出は今現在の画像である現前画像を用いた画素値の比率又は差分のいずれかに基づくものとなろう。例えば、本願明細書で引用する非特許文献１に記載されている如く、現前画像の変化は過去の画像のベクトルモデルと比較した現前画像のベクトルモデルに基づいて検出される。しかしながら、過去の全画像（或いはたとえカラー画像の輝度部分にしても）を記憶させることの一つの欠点は、それが多量の記憶量を必要とすることである。

他の映像監視システムでは、平均や分散や棒グラフ統計量といった様々な種別の画像統計量が過去に採取した画像を表わす記憶基準として用いられている。これらの統計量は、全画像か又はイベントとして監視対象となる画像内の関心のある領域を包含するユーザが特定した注視区域のいずれかについて収集される。しかしながら、画像統計量を使用する１つの欠点は、多くの場合、画像統計量が被写界の過去の様子の十分な描写をもたらさず、それ故に誤警報をトリガーさせたり、必要なときに警報のトリガーに失敗するかのいずれかを引き起こすことである。例えば、棒グラフを用いるときに、過去の画像と比較して現前画像内で被写体が動いた場合に、現前画像内で変化を生じた箇所を判定する方法が全くないのである。
ドゥルカン（Ｄｕｒｕｃａｎ）及びエブラヒミ（Ｅｂｒａｈｉｍｉ）著、「線形代数による変化検出及び背景抽出（Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｂａｃｋｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｂｙ Ｌｉｎｅａｒ Ａｌｇｅｂｒａ）」、ＩＥＥＥ会報、第８９巻、第１０号、２００１年、ｐ．１３６８−１３８１

それ故、必要とされるのは、誤警報を低減するに十分な描写性があって、しかもシステム経費を節減する少量の記憶量しか必要としない記憶基準を用いる映像監視システムに用いるイベント検出アルゴリズムである。

本発明は、圧縮された過去の画像を表わす変換係数を用いた映像監視システム用のイベント検出システム及び方法を提供するものである。例えば、圧縮された過去の画像はＪＰＥＧ圧縮画像や或いは別種の圧縮画像でよい。本発明の実施形態では、現在のディジタル画像について変換係数を計算する。現在のディジタル画像の変換係数は圧縮された過去の画像を表わす変換係数と比較され、イベント検出を招来するのに十分な変化が生じたか否かについて判定を行なう。

一実施形態では、１以上の閾値を用いてイベント検出に必要な変化量を計測する。例えば、現前画像の変換係数と記憶基準の変換係数との間の差分値が差分閾値を上回る場合に、一つのイベントが検出される。変換係数はさらに、用途に応じて重要度で重み付けされ、垂直方向や水平方向或いは対角方向に周波数を強調することができる。

他の実施形態では、現在のディジタル画像は非重複ブロックに仕切られ、各ブロックごとに変換係数を計算する。記憶基準内における１ブロックの変換係数と同一ブロックの変換係数との間の差分値がそのブロックに関する差分閾値を上回る場合、ブロック全体を変化ブロックとして標識付けする。変化ブロックの数がブロック閾値を上回る場合に、一つのイベントが検出される。

さらなる実施形態では、現前画像内に注視区域を特定することができる。本実施形態では、注視区域内のブロックの変換係数だけを記憶基準の対応ブロックと比較してイベント検出する。他の実施形態では画像全体か又は注視区域内だけのブロックを重要度において重み付けし、より重要でない領域内での大きな変化が検出できるようにするとともに、より重要な領域内での小さな変化が検出できるようにする。例えば、特定のブロック内の変化が一つのイベントのレベルまで立ち上がったかどうかを判定する差分閾値は、ブロックの重要度に基づいてブロックごとに動的に設定することができる。

またさらなる実施形態では、記憶基準には、段階的な被写界内容の変化に適応させるべく２以上の過去の画像からの変換係数の組み合わせが含まれる。例えば、記憶基準画像内の変換係数の組み合わせは最新のもの程大きな重みを用いる以前適応させた全基準画像の加重平均とすることができる。それ故、新規画像毎に、より古い画像データの重要度が落ちることになる。

都合のよいことに、過去の圧縮画像の変換係数を用いることで、大量の基準データの記憶を要求されずにイベント検出用に十分な基盤がもたらされる。例えば、一般のＪＰＥＧ圧縮画像は全非圧縮画像の記憶に必要な記憶量の約１／２０しか必要としない。特定のブロックと特定の係数を選択することで、必要な記憶量はさらに低減することができる。さらに、本発明は前記した内容に加え或いはそれらに代え、他の特徴と利点をもたらす。これらの特徴及び効果の多くは、以下の図面を参照し下記の説明から明らかとなる。

開示発明を添付図面を参照して説明するが、これらは本発明の重要な見本となる実施形態を示しており、本願明細書に参照用に組み込むものとする。

本出願の多数の革新的な教示を、特に例示実施形態を参照して説明する。しかしながら、これらの実施形態が本願明細書の革新的な教示の多くの優れた用途の数例だけをもたらすものであることは理解されたい。一般に、明細書内でなされる主張は必ずしも様々に特許請求される発明の全てを画定するものではない。さらに、幾つかの主張は一部の発明的特徴には当てはまるが、他の特徴に当てはまらないこともある。

本発明の実施形態に使用することのできる種類の映像監視システム１０が、図１に示してある。映像監視システム１０は、ビデオカメラ２００或いは他種の撮像センサ装置を用いて被写界２０５内の標的の挙動を監視する。例えば、例示であって限定するものではないが、撮像センサ装置は閉回路テレビジョン（ＣＣＴＶ）カメラや長波赤外センサや全方向ビデオとすることもできる。映像監視システム１０が監視する被写界２０５は、ビデオカメラ２００の視野２１０に依存し、この視野は一部ビデオカメラ２００が用いるレンズ種によって決まる。例えば、レンズは１８０度の視野まで捕捉する広角レンズとしたり、或いは１２０度の視野まで捕捉する通常のレンズとすることができる。ビデオカメラ２００の視野２１０は、映像監視システム１０の用途に依存させることもできる。この種の用途には、例えば屋内或いは屋外の動く被写体の追尾や雲の動きの分析や穀物の成長の監視や交通の流れの分析やロボット応用を含ませることができる。

ビデオカメラ２００は、カメラ２００の視野２１０内の被写界２０５の画像を捕捉し、その画像に関連するデータ２１５を監視センター２５０へ転送する。例えば、データ２１５には全画像又は画像の一部だけを含ませることができる。画像は、映像監視システム１０の用途に応じて周期的に又は映像フレーム周期で採取することができる。ビデオカメラ２００は、現前画像内のイベント（例えば、基準と比較した現前画像内の変化）の検出時に監視センター２５０へデータ２１５を転送、或いはイベント検出目的に各画像を監視センター２５０へ転送することができる。データ２１５は、ビデオカメラ２００と監視センター２５０の間のリンク２２０を介して監視センター２５０へ転送される。リンク２２０には、例えば同軸ケーブルや光ファイバリンクや捩れ線対や電波送信媒体インタフェースや衛星リンクやビデオカメラ２００と監視センター２５０の間の直接インタフェースといった任意の転送媒体を含ませることができる。

監視センターが受信したデータ２１５は、映像監視システム１０の具体的な用途に従って監視センター２５０において処理される。例えば一実施形態では、監視センター２５０には、データ処理やデータに応答した画像表示やデータ２１５に関連する報告の生成が可能なコンピュータ２５５が含まれる。コンピュータ２５５は、パーソナルコンピュータやサーバや他種のプログラム可能な処理装置でよい。監視センター２５０は、特定のアプリケーションに応じてビデオカメラ２００から別個の施設に或いはビデオカメラ２００と同じ施設内に物理的に配置することができる。他の実施形態では、監視センター２５０はカメラ２００から指定された関係者へ送信される電子メール警報或いは他の発信方法（例えばページング）で代表させることができる。

ここで図２を参照するに、本発明の実施形態になる映像監視システム１０が図示してある。映像監視システム１０は、行列配置した画素２５の二次元配列を含むＣＭＯＳセンサチップやＣＣＤセンサチップといったディジタル画像センサ２０を含む。ディジタル画像センサ２０は、白黒センサ或いはカラーセンサとすることができる。後者の場合、ディジタル画像センサ２０はカラーフィルタ配列（ＣＦＡ）により被覆され、各画素２５が一色だけを検出するようにされる。例えば、ＣＦＡは本願明細書に参照用に組み込む米国特許第３，９７１，０６５号に記載された如き一般に普及している著名なベイヤーＣＦＡとすることができ、そこでは色度色（例えば赤や青）は輝度色（例えば緑）のチェッカーボード・パターン間に点在させてある。

ディジタル画像センサ２０は現前画像を表わす生のセンサ値３０を画像処理システム１００に供給するが、このシステムが現前画像内の変化を検出すべくイベント検出アルゴリズム１２０をセンサ値３０へ適用する。画像処理システム１００内の記憶媒体１３０は、現前画像との比較用に基準１４０を記憶する。本発明の実施形態によれば、基準１４０にはＪＰＥＧ圧縮画像や別種の圧縮画像などの圧縮された過去の画像の選択された変換係数が含まれる。選択された変換係数には、圧縮画像の全変換係数或いは任意の幾つかの変換係数を含ませることができる。記憶媒体１３０は、任意種のコンピュータ可読媒体、例えばＺＩＰ（登録商標）ドライブやフレキシブルディスクやハードドライブやＣＤ−ＲＯＭや不揮発性メモリ装置やテープや他の任意種のデータ記憶装置とすることができる。

中央処理装置（ＣＰＵ）１１０は、受信センサ値３０を記憶基準１４０と比較すべくセンサ値３０の受領とイベント検出アルゴリズム１２０の受信センサ値３０への適用を制御し、一つのイベントが生起したかどうかを判定する。ＣＰＵ１１０は、イベント検出アルゴリズム１２０をロードしかつ／又は実行し記憶媒体１３０へアクセスするよう構成した任意のマイクロプロセッサ或いはマイクロコントローラとすることができる。

イベント検出時に、画像処理システム１００はさらに監視センター２５０（図１に図示）へイベント通知４０を転送する。画像処理システム１００は、図１の監視センター内或いは図１のビデオカメラ２００内或いは監視センター２５０とビデオカメラ２００の両方の一部内で実施することができる。一実施形態では、イベント通知４０には監視センター２５０へ転送される図１に示したデータ２１５が含まれる。他の実施形態では、イベント通知４０には、画像全体或いはイベントに焦点を当てた画像の一部といった現前画像を表わす他のデータやイベントに応答して生成された報告や監視員向けのイベント発生信号やイベントに関連する他の情報が含まれる。

イベント検出アルゴリズム１２０の処理が、図３に示してある。イベント検出アルゴリズム１２０はディジタル画像センサ２０（図２に図示）が生成するセンサ値３０に適用され、現在のディジタル画像内でイベントが生起したかどうかを判定する。イベントを検出するため、変換ロジック１２２はあらゆる分離可能な画像変換処理を用いて現前画像の圧縮版についてその変換係数である現前変換係数１２５を計算し、比較ロジック１２４に現前画像の現前変換係数１２５を供給し、記憶媒体１３０から検索した以前の画像に関連する記憶基準変換係数１４５と比較させる。比較目的で記憶媒体１３０から検索した基準変換係数１４５には、特定用途に応じて、基準１４０（図２に図示）が記憶する全ての基準変換係数又は基準内に記憶させた幾つかの基準変換係数だけを含ませることができる。比較ロジック１２４は、現前変換係数１２５と基準変換係数１４５間の差分が閾ロジック１２６の提供する１以上の閾値１２８を上回るかどうか判定し、上回る場合はイベント通知４０を転送する。現前変換係数１２５と基準変換係数１４５間の差分は、差分値或いは差分比率とすることができる。図３の文脈と以下の別の箇所に用いるように、「ロジック」なる用語はこのロジックの機能を遂行するのに必要なハードウェアやソフトウェア及び／又はファームウェアを指す。

現前画像内の変化がイベント指示に十分有意であるかどうかを判定する閾値１２８は、全ての画像について事前設定するか或いは現前画像のセンサ値３０に基づいて計算することができる。例えば、低照明条件では、センサ値３０は一般に低く、信号対雑音比は低く、かくして現前変換係数１２５と基準変換係数１４５の間の差分がイベントの生起を示すのに十分有意であるかどうか判定するのにより高い閾値１２８が要求される。通常の或いは明光条件下でのコントラストにより、センサ値３０は通常高く、信号対雑音比は高く、それによってより低い閾値１２８を設定し、現前変換係数１２５と基準変換係数１４５との間の差分がイベントの生起を示すに十分有意であるかどうかが判定できるようにする。かくして、一部実施形態では、閾値１２８は製造工程中にディジタル画像システムのオペレータにより或いは照明条件等に基づく閾値に関するテーブル値を用いることにより設定することができる。他の実施形態では、閾値１２８はディジタル画像センサや使用するＣＦＡに基づいて固定したり事前構成したりすることができる。

イベント検出アルゴリズム内の例示ステップが、図４に示してある。現在のディジタル画像に関するセンサ値を受信（ステップ３００）すると、現前画像の圧縮版に対応する変換係数を以前の画像に関連する記憶基準との比較用に計算する（ステップ３１０）。現前変換係数と記憶基準の基準変換係数の間の差分値を計算し（ステップ３２０）、過去の画像と比較して現前画像内に変化が生じたかどうかを判定する。

画像の照明条件に応じて変化させたり，あるいは、センサやオペレータの嗜好やＣＦＡに基づいて事前設定することのできる差分閾値を差分値が上回る場合（ステップ３３０）、現前画像と過去の画像との間の差分は現前画像内で一つのイベントが生起したことを示すのに十分な有意性があると考えられる（ステップ３４０）。イベント検出時にイベント通知を転送し、イベント又は現前画像に関連するデータを供給するか、さもなくばイベントが生起したことを監視員へ報知することができる（ステップ３５０）。差分値が差分閾値を上回らない場合（ステップ３３０）、イベントは一切検出されない（ステップ３６０）。

映像監視システムの特定用途と使用する画像変換処理に応じて、センサ値はブロック或いは領域へ分割され、各ブロックごとに変換係数を計算し、各ブロックごとに変換係数の比較を実行することができる。図５には、本発明のイベント検出アルゴリズムの一実施形態に従ってブロック４５０へ分割したディジタル画像４００の一例が示してある。各ブロック４５０は、ディジタル画像４００を作り上げるセンサ値の一部を含む。画像４００をブロック４５０へ分割すると、イベント検出は単一ブロック４５０内の変化に基づいて生起したり、或いはいくつかのブロック４５０に亙る変化に基づいて生起するようにできる。

例えば、ＪＰＥＧ画像圧縮処理では、カラー画像又はグレイスケール画像ともなり得るディジタル画像４００は、離散コサイン変換（ＤＣＴ）係数の計算前にサブサンプリングする。例えば、ディジタル画像４００がカラー画像である場合、センサ値（例えばＲ，Ｇ，Ｂ）は先ず輝度・色度コンポーネント画像（Ｙ，Ｃｂ，Ｃｒ）へ変換し、色度成分は色度空間内の細部に対する人の視角系の相対的不感応性を利用すべく係数２でもってサブサンプリングする。

色度空間変換とサブサンプリングに続き、輝度値はそれぞれが６４個の輝度値を含む非重複８×８ブロック４５０へ分割し、色度値はそれぞれが６４個のサブサンプリングされた色度値を含む非重複８×８ブロック４５０へ分割し、各ブロック４５０ごとに離散コサイン変換（ＤＣＴ）係数を計算する。ＤＣＴ処理は、画像４００のデータを空間領域から周波数領域へ写像する。例えば、所与のブロック４５０のＤＣＴ係数にＤ（ｉ，ｊ）（ｉ，ｊ＝１，・・８）を割り当てた場合、係数Ｄ（１，１）は直流係数と呼び、残りの係数は交流係数と呼んでいる。直流係数はｉ及びｊ次元の零周波数を有するが、交流係数はｉ，ｊが増えるにつれ増大する周波数を有する。

次に、画像４００のＤＣＴ係数は、既知の固定された８×８量子化テーブル内の対応入力により除算され、その結果を丸め処理することで量子化される。量子化される値をＱ（ｉ，ｊ）で表わした場合、その量子化はＤｑ（ｉ，ｊ）＝ｒｏｕｎｄ［Ｄ（ｉ，ｊ）／Ｑ（ｉ，ｊ）］により表わすことができる。得られた量子化値Ｄｑ（ｉ，ｊ）は、ＪＰＥＧ規格に規定されたテーブルを用いて２値へ符号化する。ＪＰＥＧ規格のさらなる論考に関しては、ダブリュー・ペネベーカー（Ｗ．Ｐｅｎｎｅｂａｋｅｒ）とジェイ・ミッチェル（Ｊ．Ｍｉｔｃｈｅｌｌ）著、「ＪＰＥＧ：静止画像データ圧縮規格（Ｓｔｉｌｌ Ｉｍａｇｅ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ）」、ニューヨーク、ファン・ノストランド・ラインホルト（Ｖａｎ Ｎｏｓｔｒａｎｄ Ｒｅｉｎｈｏｌｄ）、１９９３年が参照でき、これは本願明細書に参照用に組み込むものとする。

輝度値（Ｙ値）３５の８×８ブロック４５０及びこのＹ値３５の８×８ブロック４５０に関する符号化ＤＣＴ係数５００の一例が、図６に示してある。符号化ＤＣＴ係数５００は、ブロック４５０内の全ての輝度値３５を用いて計算される。得られた符号化ＤＣＴ係数５００のブロック４５０は、原輝度値３５が存在するのと同数の符号化ＤＣＴ係数５００を有する。サブサンプリングした色度値（図示せず）を含むブロックもまた同様の方法で変換できることは理解されたい。

例えば、６４個の輝度値３５からなる８×８ブロック４５０の離散コサイン変換は、６４個の符号化ＤＣＴ係数５００からなる８×８ブロック４５０へ帰結しよう。符号化ＤＣＴ係数５００の８×８ブロック４５０では、ＤＣＴ係数５００は左上側隅部符号化ＤＣＴ係数５００ａが８×８輝度値ブロックに関する平均的強度（輝度）を表わす直流係数となるよう配置される。直流係数５００ａに続く最上行上には、８×８ブロックの輝度値の水平周波係数が存在する。水平周波係数は、最低水平周波係数（ＨＦ１）５００ｂが直流値５００ａに空間的に真横に隣接し、最高水平周波係数（ＨＦ７）５００ｃが符号化ＤＣＴ係数の８×８ブロックの右上隅に位置するよう配置される。直流係数５００ａ下側の左側列には、８×８ブロックの輝度値の垂直周波数が位置する。垂直周波係数は、最低垂直周波係数（ＶＦ１）５００ｄが直流係数５００ａに空間的に真横に隣接し、最高垂直周波係数（ＶＦ７）５００ｅが８×８ブロックの符号化ＤＣＴ係数のより低い左隅に位置するよう配置される。８×８ブロックの輝度値内の他の全ての周波係数は、最低対角周波係数（ＤＦ１）５００ｆが直流係数５００ａに空間的に隣接し、最高対角周波係数（ＤＦＮ）５００ｇが８×８ブロックの符号化ＤＣＴ係数のより低い右隅に位置するよう、８×８ブロック符号化ＤＣＴ係数内に配置される。

圧縮画像を生成するため、各ブロック４５０ごとに少なくとも一つの符号化ＤＣＴ係数５００を選択し、原画像の各ブロック４５０内のセンサ値３０を表わすよう記憶させる。本発明では、選択された符号化ＤＣＴ係数５００は用途に応じて変わる。しかしながら、大半の用途では、選択されたＤＣＴ係数５００は直流係数５００ａをもたないより低い周波係数（例えば、符号化ＤＣＴ係数の８×８ブロックの左上部分）を含もう。照明条件や雑音の変化はより高い周波数と直流係数５００ａに反映されるので、より高い周波係数内での変化と直流係数５００ａは通常は画像内の侵入者の存在などのイベントを指示はしない。

それ故、一実施形態では、比較目的で用いられる符号化ＤＣＴ係数は少なくとも直流係数５００ａをもたない最低垂直周波係数５００ｄと最低水平周波係数５００ｂとなる。しかしながら、他の実施形態では、選択された符号化ＤＣＴ係数５００はより低い水平周波係数だけ或いはより低い垂直周波係数だけを含み、水平方向或いは垂直方向の変化しか検出しない。比較目的に選択された符号化ＤＣＴ係数５００の数は、用途に応じて可変できるが、多くの用途では、符号化ＤＣＴ係数５００の数はより低い周波係数の強調を用いることで、記憶空間の維持用に符号化ＤＣＴ係数５００の全数の半分未満となろう。

本発明がＤＣＴ（ＪＰＥＧ圧縮）係数の使用に限定されないことは留意すべきである。ＪＰＥＧ２０００画像圧縮に用いられるようなウェーブレット変換係数や或いは他の変換係数を用いることもできる。例えば、フーリエ変換係数やウォルシュ変換係数やアダマール変換係数やハール変換係数やスラント変換係数を用いることもできる。これらの変換はそれぞれ、ゴンザレス（Ｇｏｎｚａｌｅｚ）とウッズ（Ｗｏｏｄｓ）著、「画像処理（Ｄｉｇｉｔａｌ Ｉｍａｇｅ−Ｐｒｏｃｅｓｓｉｎｇ）」、アディソン・ウェズリー（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ）出版、１９９２年に詳しく載っており、これは参照用として本願明細書に組み込むものとする。各変換方法は、複雑さや必要なメモリや様々なアーティファクトに対する不感性や堅固な動作検出に必要な係数の数によって異なる。

図７Ａ，７Ｂに、センサ値のブロックを用いたイベント検出用の例示ステップを図示する。図７Ａに示すように、イベント検出用に画像を処理する前に、ブロックは決定され（ステップ６００）、各ブロックごとの比較プロセスに用いる変換係数が選択される（ステップ６０５）。その後、イベント検出用の閾値を設定する（ステップ６１０）。閾値には、現前画像内の特定のブロックが以前の基準画像内の対応ブロックから著しく変化したかどうかを判定するための差分閾値とイベント検出に必要な変化ブロックの数を判定するためのブロック閾値の両方を含ませることができる。一旦閾値量を設定すると、垂直や水平又は対角方向に周波数を強調すべく比較目的に用いる各変換係数ごとの重みを決定することができる（ステップ６１５）。その後、現前画像についてのセンサ値を受け取り（ステップ６２０）、適当なブロックへ分割する（ステップ６２５）。

ここで図７Ｂを参照するに、イベント検出用に画像を処理すべく、画像内の１ブロックのセンサ値の変換係数を計算する（ステップ６３０）。例えば、ｘ（ｋ，ｌ）が値（輝度又はサブサンプリングした色度）を表わす場合、そこでＸ（ｒ，ｃ）は（ｒ，ｃ）番目の周波係数を表わす。ＪＰＥＧ画像圧縮を用いると、値Ｘ（０，０）が直流係数であり、それは前述の如く、８×８ブロック内の平均的なセンサ値を計測するものである。値Ｘ（０，１），Ｘ（１，０），Ｘ（１，１）は、最低交流周波係数である。さらに前記した如く、多くの用途において、イベント検出は自動利得制御に起因する全体的な輝度変化や雲等に起因する照明変化に左右されてはならない。それ故、８×８ブロックのＤＣＴが周波数Ｘ（０，０）にある直流係数内の全体的照度に最も敏感であるために、照明によって変わらない（照明不変）イベント検出には直流係数を用いるべきではない。同様に、多くの用途では、イベント検出は雑音に起因する小さな変動に影響されてはならない。それ故、雑音変動が８×８ブロックの符号化ＤＣＴ係数の高周波係数にその存在を顕在化させるため、高周波係数は強力なイベント検出アルゴリズムに用いるべきではない。

これらの規則を用いることで、一実施形態では、堅固なイベント検出アルゴリズムが低次変換係数を以前の基準画像内の対応ブロックの対応する記憶基準変換係数と比較し、イベントを示す変化が生じたかどうかを判定する。しかしながら、変換係数のどれも用途に応じて比較目的用に選択できることは理解されねばならない。変換係数を比較することで、イベント検出は記憶基準の圧縮解除することなく実行することができる。

例えば、Ｃ（ｒ，ｃ）とＲ（ｒ，ｃ）がそれぞれ現前画像と基準画像内の対応ブロックの選択された変換係数を表わす場合、変化測度に対応する差分基準値は以下の加重和から計算する（ステップ６４０）ことができる。

Ｄ＝α₁｜Ｃ（１，０）−Ｒ（１，０）｜＋α₂｜Ｃ（０，１）−Ｒ（０，１）｜
＋α₃｜Ｃ（１，１）−Ｒ（１，１）｜
ここで、係数α₁，α₂，α₃は垂直と水平と対角のいずれかの周波数を強調すべく調整することのできる重みである。計測した差分値Ｄが差分閾値Ｔを上回る場合（ステップ６５０）、著しい変化が起きており、全ブロックを変化ブロックとして標識付けする（ステップ６５５）。計測された差分値Ｄが差分閾値を越えない場合（スラント６５０）、著しい変化は起こっておらず、ブロック全体を不変ブロック（ステップ６６０）として標識付けする。この処理は、画像内の各ブロックごとに繰り返される（ステップ６７０）。

変化ブロックの数がブロック閾値を上回る場合、イベント検出が発生する（ステップ６８０，６９０）。ブロック閾値は、映像監視システムやオペレータの嗜好や画像センサの種類や使用するＣＦＡに基づいて予め定めるか、或いは差分閾値と全く同様に画像の照明条件に応じて可変することができる。加えて、映像監視システムは、ブロック閾値を上回る数内に含まれる変化ブロックが互いに隣接しているか或いは互いから所定数のブロック内にあって誤った陽画を低減する場合にのみ、イベントを検出するよう構成することができる。変化ブロックの数がブロック閾値量以下である場合（ステップ６８０）、イベントは一切検出されず、監視センターへはイベント通知はなされない（ステップ６９５）。

被写界のディジタル画像のブロックを用いるイベントの検出を示す被写界の例示的図が、図８Ａ〜８Ｄに示してある。図８Ａは、ＪＰＥＧ圧縮データだけを記憶する被写界の例示的な基準画像４００ａを示す。図８Ｂは、基準画像のＤＣＴ係数と比較すべくＤＣＴ係数内に圧縮する被写界の例示的な現前画像４００ｂを示す。図８Ｃは、差分値が差分閾値を上回る（Ｄ＞Ｔ）の例示的な変化ブロック４５０を示し、図８Ｄは現前画像４００ｂへ写像した被検出変化ブロック４５０を示す。

ここで図９を参照するに、画像４００内で各ブロック４５０ごとにＤＣＴ係数を記憶し比較する代わりに、注視区域４２０すなわち画像４００内の関心のある領域を指定し、基準用に必要な記憶空間量を低減することができる。以下に用いるように、注視区域４２０なる用語はイベント用に監視するディジタル画像４００の一部を指す。現前画像４００の注視区域４２０内のセンサ値からなるブロック４５０を、イベント検出用に基準画像内の対応ブロックと比較する。注視区域４２０内にないセンサ値のブロック４５０は、比較も記憶もしない。かくして、注視区域４２０内のブロック４５０の変換係数だけが、イベント検出用に基準画像の対応ブロックの変換係数と比較される。

図１０Ａ，１０Ｂは、ディジタル画像の注視区域内のブロックを用いてイベントを検出する例示ステップを示す。イベント検出用に画像を処理する前に図１０Ａに示したように、映像監視システムのオペレータが特定した注視区域内のブロックを、現前画像内のイベント検出に用いるべく判定する（ステップ７００）。その後、注視区域内の各ブロックごとの比較目的に用いる変換係数を選択し（ステップ７０５）、イベント検出用の閾値を設定する（ステップ７１０）。閾値量には、現前画像内の特定のブロックが以前の基準画像内の対応ブロックから著しく変化したかどうかを判定する差分閾値と、イベント検出に必要な変化ブロック数を判定するブロック閾値の両方を含ませることができる。一旦閾値を設定すると、垂直や水平或いは対角のいずれかに周波数を強調すべく比較目的に用いる各変換係数ごとに重みを決定することができる（ステップ７１５）。その後、現前画像に関するセンサ値を受信し（ステップ７２０）、適当なブロックに分割する（ステップ７２５）。

ここで図１０Ｂを参照するに、イベント検出用に画像を処理するため、現前画像の注視区域内のセンサ値ブロックの変換係数を、図７Ｂに関連して前記した如く計算する（ステップ７３０）。一旦現在の注視区域ブロックに関する変換係数を計算すると、選択された変換係数を基準画像内の対応ブロックの対応する記憶基準変換係数と比較し、現前変換係数と基準変化係数との間の差分値を算出する（ステップ７３５）。計測した差分値Ｄが差分閾値Ｔを上回ると（ステップ７４０）、イベントを示す変化が生じており、ブロック全体が変化ブロックとして標識付けされる（ステップ（７４５）。計測された差分値Ｄが差分閾値Ｔ以下である場合（ステップ７４０）、著しい変化は生じておらず、ブロック全体は不変ブロックとして標識付けする（ステップ７５０）。

この処理は、画像の注視区域内で各ブロックごと全てに繰り返される（ステップ７５５）。注視区域内での変化ブロックの数がブロック閾値を上回ると、イベント検出が発生する（ステップ７６０，７６５）。変化ブロックの数がブロック閾値以下である場合（ステップ７６０）、イベントは一切検出されず、監視センターにイベント通知がなされることはない（ステップ７７０）。

ここで図１１に示したステップを参照するに、図７A、図７B、図１０A、図１０Bにおいて前記した如く、特定の変換係数の重み付けに加え、画像の異なる領域内のブロックに重要度の異なる重み付けを施し、図１１に示す如く、閾値を可変することで動き検出が見込めるようできる。例えば、大きい変化だけがイベント検出結果となるよう重要度のより少ない画像領域を包含するブロックに重み付けし、より小さい変化がイベント検出結果となるよう重要度のより大きな画像領域を包含するブロックに重み付けすることができる。

それ故、図１１に示す如く、図７Ａ，１０Ａに関連して前記しように、一旦現前画像に関するセンサ値をブロックに分割し、ブロック閾値と変換係数の重みを設定すると、現在のブロックに関する差分閾値が設定され（ステップ８１５）、現前画像内の現在のブロックが以前の基準画像内の対応ブロックから著しく変化したかどうかが判定される。その後、図７Ｂに関連して前記した如く、現前画像の現在のブロックの変換係数を計算することができる（ステップ８２０）。

現在のブロックに関する変換係数が一旦計算されると、選択された変換係数は基準画像内の対応ブロックの対応する記憶基準変換係数と比較され、現前変換係数と基準変換係数との間の差分値が計算される（ステップ８２５）。計測した差分値Ｄが現在のブロック用に設定された差分閾値Ｔを上回る場合（ステップ８３０）、イベントを示す変化が発生しており、ブロック全体が変化ブロックとして標識付けされる（ステップ８３５）。計測された差分値Ｄが現在のブロック用の差分閾値Ｔ以下である場合（ステップ８３０）、著しい変化は生じておらず、ブロック全体は不変ブロックとして標識付けされる（ステップ８４０）。

この処理は、図１０Bに関連して説明したように、画像内或いは画像の注視区域内で繰り返される（ステップ８４５）。画像内或いは注視区域内で変化したブロックの数がブロック閾値を上回る場合（ステップ８５０，８５５）、イベント検出が行われる。変化ブロックの数がブロック閾値を上回らない場合（ステップ８５０）、イベントは一切検出されず、イベント通知が監視センターへ転送されることはない（ステップ８６０）。

ここで図１２を参照するに、さらなる実施形態では、現前画像と比較する基準は段階的な被写界内容変化を反映すべく適応させることができる。基準の適応を容易にするため、イベント検出アルゴリズム１２０はさらに、現前画像のセンサ値３０から変換ロジック１２２により計算された現前変換係数１２５を、記憶基準変換係数１４５ａを現前変換係数１２５と組み合わせて新たな基準変換係数１４５ｂを生成することのできる計算ロジック１２９へ供給することができる。新しい基準変換係数１４５ｂは、イベント検出用に次の画像との比較に用いる基準１４０として記憶媒体１３０内に記憶することができる。

記憶基準１４０の適応は、或いはイベントをトリガーしかねないゆっくりと動く被写体の適応を許容しないよう十分ゆっくりと行わねばならない。例えば、計算ロジック１２９は、基準変換係数１４５ｂと現前変換係数１２５を以下の如く組み合わせることができる。

Ｒ_new＝（１−λ）Ｃ＋λＲ_old
新規の基準変換係数Ｒ_newを生み出す記憶基準変換係数Ｒ_oldと現前変換係数Ｃとの上記の組み合わせは、最新のもの程大きな重み付けを用いた以前の適応画像全ての加重平均である。それ故、各新規の画像にとって、より古い画像データほど重要度は落ちることになる。

画像内の全ブロックか或いは一定の規範に合致する画像内の一定のブロックについてだけ、基準１４０を適応させることができる。例えば、差分閾値未満のフレーム間変化を示すブロックだけを適応させることができる。他の実施形態では、基準１４０は特定のブロックに関する記憶済み変換係数或いはオペレータが規定した規範或いは他のパラメータに基づく一定の記憶基準変換係数を用いて適応させることができる。

図１３は、基準を適用して段階的な被写界内容の変化の根拠を示す例示的なステップを示す。各ブロックごとの変換係数を計算すると（ステップ９００）、図７，１０，１１に関連して前記した如く、イベント検出プロセスを開始する（ステップ９１０）ことができる。イベント検出プロセスが完了した後、各ブロックごとの記憶基準変換係数は現前画像の対応ブロックに関する対応する現前変換係数と組み合わされ、新たな基準変換係数が計算される（ステップ９２０）。新たな基準変換係数は、次のディジタル画像内のイベント検出に後で用いるようそこで記憶（ステップ９３０）させることができる。

当事者には言うまでもないことであるが、本出願内で説明した革新的な概念は改変することができ、様々な用途に対し可変することができる。従って、特許を受ける要旨の範囲は説明した具体的な例示的教示のいずれにも限定すべきではなく、特許請求の範囲によって規定することを意図するものである。しかしながら、本発明の広汎な実施の可能性に鑑み、本発明の実施態様の一部を以下に例示する。

（実施態様１）
映像監視システム（２０）に用いる画像処理システム（１００）であって、過去の画像の少なくとも一部を表わす基準変換係数（１４５）を記憶する記憶媒体（１３０）と、現前画像を表わすセンサ値（３０）を受信して該現前画像の少なくとも一部を表わす現前変換係数（１２５）を計算するプロセッサ（１１０）で、前記現前変換係数（１２５）が前記基準変換係数（１４５）に空間的に対応しており、前記プロセッサ（１１０）がさらに前記現前変換係数（１２５）と前記基準変換係数（１４５）との比較を実行し、該比較に基づいて前記現前画像内のイベントを検出する前記プロセッサを備える画像処理システム。
（実施態様２）
前記プロセッサ（１１０）は、前記現前変換係数（１２５）と前記基準変換係数（１４５）の間の差分を計算し、該差分が差分閾値（１２８）を上回るかどうかを判定し、前記プロセッサ（１１０）は、前記差分が前記閾値（１２８）を上回るときに前記イベントを検出する構成とした、実施態様１記載の画像処理システム。
（実施態様３）
前記プロセッサ（１１０）はさらに、前記基準変換係数（１４５）と前記対応する現前変換係数（１２５）のうちの少なくとも一方に個別の重みを割り当てることで前記差分を計算する構成とした、実施態様２記載の画像処理システム。
（実施態様４）
前記プロセッサ（１１０）は、離散コサイン変換処理を用いて前記現前変換係数（１２５）を計算する構成としてあり、前記現前変換係数（１２５）と前記基準変換係数（１４５）は前記離散コサイン変換係数のうちの直流分を除く該離散コサイン変換係数の低周波分である、実施態様２記載の画像処理システム。
（実施態様５）
前記プロセッサ（１１０）はさらに、前記現前画像をブロック（４５０）に分割する構成としてあり、前記現前変換係数（１２５）は前記各ブロック（４５０）ごとに計算し、前記比較は前記各ブロック（４５０）ごとに前記現前変換係数（１２５）と前記基準変換係数（１４５）との間で行う、実施態様２記載の画像処理システム。
（実施態様６）
前記プロセッサ（１１０）はさらに、前記差分が前記差分閾値（１２８）を上回る箇所で前記各ブロック（４５０）に変化ブロックの標識を付すことで前記比較を実行し、前記プロセッサ（１１０）はさらに、前記変化ブロックの数がブロック閾値（１２８）を上回ったときに前記イベントを検出する構成とした、実施態様５記載の画像処理システム。
（実施態様７）
前記プロセッサ（１１０）は、前記現在のディジタル画像の注視区域（４２０）に対応する前記現前変換係数（１２５）を前記基準変換係数（１４５）と比較する構成とし、前記注視区域（４２０）は前記現前画像の前記センサ値（３０）の一部しか含まない、
実施態様２記載の画像処理システム。
（実施態様８）
現前画像内のイベントを検出する方法であって、前記現前画像の少なくとも一部を表わす現前変換係数（１２５）を計算（３１０）するステップと、前記現前変換係数（１２５）と過去の画像の少なくとも一部を表わす基準変換係数（１４５）との比較を実行（３２０，３３０）するステップで、前記現前変換係数（１２５）が前記基準変換係数（１４５）と空間的に対応する前記ステップと、前記比較に基づき前記現前画像内で前記イベントを検出（３４０）するステップを有する、イベント検出方法。
（実施態様９）
前記比較の前記実行ステップはさらに、前記現前変換係数（１２５）と前記基準変換係数（１４５）の間の差分を計算（３２０）するステップと、前記差分が差分閾値（１２８）を上回ったかどうか判定（３３０）するステップを有する、実施態様８記載のイベント検出方法。
（実施態様１０）
前記現前変換係数の前記計算（３１０）ステップは、前記現前画像をブロック（４５０）に分割（６００）するステップと、前記各ブロック（４５０）に関する前記現前変換係数（１２５）を計算（６３０）するステップで、前記比較を前記ブロック（４５０）のそれぞれについて前記現前変換係数（１２５）と前記基準変換係数（１４５）の間で行なう前記ステップをさらに有する、実施態様８記載のイベント検出方法。

映像監視システムの概観図である。 映像監視システムの動作を示すブロック図である。 本発明の実施形態に従い映像監視システムに用いるイベント検出アルゴリズムを実行するための例示ロジックを示すブロック図である。 本発明のイベント検出方法の例示ステップを示すフローチャートである。 本発明の実施形態に従い処理用ブロックに分割したディジタル画像見本を示す図である。 本発明の実施形態に従いセンサ値の変換係数への変換を示す図である。 本発明の実施形態に従いディジタル画像のブロックを用いてイベントを検出する例示ステップを示すフローチャートである。 本発明の実施形態に従いディジタル画像のブロックを用いてイベントを検出する例示ステップを示すフローチャートである。 被写界のディジタル画像のブロックを用いた被写界内でのイベント検出を説明するための該被写界を表す図である。 被写界のディジタル画像のブロックを用いた被写界内でのイベント検出を説明するための該被写界を表す図である。 被写界のディジタル画像のブロックを用いた被写界内でのイベント検出を説明するための該被写界を表す図である。 被写界のディジタル画像のブロックを用いた被写界内でのイベント検出を説明するための該被写界を表す図である。 本発明の実施形態に従い処理用に注視区域のブロックに分割したディジタル画像見本を示す図である。 本発明の実施形態に従いディジタル画像の注視区域のブロックを用いたイベント検出のための例示ステップを示すフローチャートである。 本発明の実施形態に従いディジタル画像の注視区域のブロックを用いたイベント検出のための例示ステップを示すフローチャートである。 本発明の実施形態に従いディジタル画像の加重ブロックを用いたイベント検出用のための例示ステップを示すフローチャートである。 本発明のイベント検出アルゴリズムによる用途向けに基準画像を適応させる例示ロジックを示すブロック図である。 本発明の実施形態に従い基準画像を適応させる例示ステップを示すフローチャートである。

符号の説明

１０ 映像監視システム
２０ 画像センサ
２５ 画素
３０ センサ値
４０ イベント通知
１００ 画像処理システム
１１０ ＣＰＵ
１２０ イベント検出アルゴリズム
１２２ 変換ロジック
１２４ 比較ロジック
１２５ 現前変換係数
１２６ 閾ロジック
１２８ 差分閾値
１２９ 計算ロジック
１３０ 記憶媒体
１４０ 基準
１４５ 基準変換係数
２００ ビデオカメラ
２０５ 被写界
２１０ 視野
２１５ データ
２２０ リンク
２５０ 監視センター
２５５ コンピュータ

Claims (1)

1. 映像監視システムに用いる画像処理システムであって、
   過去の画像の少なくとも一部を表わす基準変換係数を記憶する記憶媒体と、
   現前画像を表わすセンサ値を受信して該現前画像の少なくとも一部を表わす現前変換係数を計算するプロセッサで、前記現前変換係数が前記基準変換係数に空間的に対応しており、前記プロセッサがさらに前記現前変換係数と前記基準変換係数との比較を実行し、該比較に基づいて前記現前画像内のイベントを検出する前記プロセッサを備える、
   ことを特徴とする画像処理システム。

Images