JP2001056864A

JP2001056864A - 連続する画像の領域における特徴値の推定方法及び装置

Info

Publication number: JP2001056864A
Application number: JP2000115504A
Authority: JP
Inventors: Keith Hanna; ハンナキース; Rakesh Kumar; クマールラケシュ
Original assignee: Sarnoff Corp
Current assignee: Sarnoff Corp
Priority date: 1999-04-15
Filing date: 2000-04-17
Publication date: 2001-02-27
Also published as: US6681058B1; EP1045591A2; EP1045591A3

Abstract

(57)【要約】【課題】ビデオシーケンスの広範囲で物体が領域を覆
い隠している場合でも、変化しない領域又は変化が遅い
領域の輝度等の特徴値を推定する方法及び装置を開示す
る。【解決手段】シーケンス内の複数の画像フレームの各
画像領域位置に対するヒストグラムを生成する。ヒスト
グラムで示した画像領域のモード値、又は最頻値が、画
像の変化しない部分を表すものとして選択される。全領
域のモード値が集められ、変化しない或いは変化が遅い
特徴値の合成画像を形成する。フレーム間の動きを見せ
る画像を処理するため、ヒストグラム生成前に、ビデオ
シーケンス画像の整列を行う。処理時間の短縮のため
に、画像処理間隔をあけ、ｎ番目ごとの画像のみを処理
可能である。又はヒストグラムを得るために、画像シー
ケンスの各領域を無作為に不規則間隔で処理する。

Description

【発明の詳細な説明】

【０００１】

【発明の背景】本発明は画像処理の方法及び装置に関
し、より詳細には、場面中を移動する物体によって部分
的に覆い隠される、場面中の変化しない画像を回復する
ための、画像シーケンスの処理方法と装置に関する。

【０００２】ビデオ画像シーケンスの、変化しない部分
を特定することが望まれる用途は多数ある。これらの用
途にはデータ圧縮システム、監視システム及び画像合成
システムが含まれる。画像シーケンスの変化しない部分
は、初めて画像が現れたときの最初の画像を除いて、す
べて重複した情報を描画している。ビデオ画像シーケン
スには、しばしば大量の重複した一時的な情報が含まれ
ている。例えば、テレビのニュース放送では、背景はも
ちろんニュースのアナウンサでさえフレームからフレー
ムへ、ほぼ同じ姿勢を保っている。ビデオの監視システ
ムでは、侵入者の可能性を除いて、画像はフレームから
フレームでほぼ同じである。

【０００３】この一時的重複を利用して、画像シーケン
スの処理を有利にできる場合がある。例えば画像データ
圧縮システムでは、画像シーケンスの静止部分を特定で
きる場合に、画像の変化部分と静止部分を別々に送信す
ることができる。それによって画像シーケンスを送信す
るために必要な総バンド幅を小さくすることができる。
監視システムでは、新たに受信した画像から画像の変化
しない部分を差し引くことによって、新しく受信した画
像の中で先行の背景画像について一致しないもののみを
含む出力画像を提供することができる。

【０００４】しかしながら、用途によっては画像シーケ
ンスの変化しない部分又は背景部分を特定することが難
しい場合がある。これは、最前面の物体がしばしば連続
画像の背景画像部分を覆い隠すことによって生じる。こ
のようなことが生じる一つの用途の例が、交通監視シス
テムである。このタイプのシステムの例では、図１に示
すような画像が作成される。画像には道路１６６に沿っ
て走る自動車１１０、１１２及び１１４が含まれてい
る。画像１００の視野内における交通の流れをモニター
するために、交通監視システムでは、車１１０、１１２
及び１１４を除いた道路１１６の画像を回復することが
望まれる。道路１１６の画像は一定ではなく、例えば太
陽光照度の変化と共にその日の中で変化する。交通監視
システムでは自動車がない状態での道路画像を得ること
が必要であるが、車が見えている間は道路画像が見えな
いため、特に交通量が非常に多い場合は、自動車のない
状態の道路画像を得ることは難しい。

【０００５】この問題に対する一つの解決方法は、一日
のうちの異なる時間、及び異なる天気状況に対応する路
面の画像を予め格納しておくことである。この方法は、
しかし、適切な背景画像を選択する際にエラーが生じや
すく、また一日の全時間、及び年間のすべての季節にわ
たるためには比較的多数の画像を格納しておく必要があ
る。

【０００６】

【発明の概要】本発明は、物体によってビデオシーケン
ス中の広範な部分が覆い隠されるような場合にも、ビデ
オ画像シーケンス中の画像領域の輝度やその他の特徴値
を、大まかに推定する方法及び装置において具体化され
る。本発明に従って、シーケンス中の複数の画像フレー
ムにわたる各画像領域に対してヒストグラムが生成され
る。ヒストグラムに示される各領域のモード値、又は各
領域に最も頻繁に生じる値が、画像の変化しない部分の
表示として選択される。そして領域内の全ピクセルのモ
ード値を集めて、背景画像が形成される。

【０００７】本発明の一つの特徴によれば、ヒストグラ
ムは再帰的フィルタを使用して生成される。

【０００８】本発明の別の特徴によれば、ビデオシーケ
ンス中の画像はヒストグラム生成前に整列される。

【０００９】本発明の別の特徴によれば、各画像フレー
ムはヒストグラム操作に先立ってフィルタにかけられ、
カメラによって生じた画像アーティファクトを除去す
る。

【００１０】本発明の更に別の特徴によれば、ヒストグ
ラムを得るため、画像領域は、一定間隔で間にあるフレ
ームを飛ばしながら処理される。

【００１１】本発明の更に別の特徴によれば、ヒストグ
ラムを得るため、画像領域は無作為に不規則な間隔で処
理される。

【００１２】本発明の更に別の特徴によれば、ノイズを
低減した画像を得るため、少数のフレームに対してヒス
トグラムが適用される。

【００１３】

【詳細な説明】本発明は背景画像回復システムに関して
記述される。以下の説明で「背景」という用語は、画像
部分が画像の前面であれ後面であれ、フレームからフレ
ームにわたり変化しないか、或いはゆっくりとしか変化
しない画像部分を意味する。更に、本発明は画像におけ
る画素（ピクセル）の輝度や強度に関して記述される。
しかし本発明では、色、コントラスト、焦点など、その
他の特徴値を用いて実施することも考えられる。更に、
以下に説明される本発明の実施形態では、個々の画像ピ
クセルによる操作が行われる。しかし、選択された特徴
値に応じて、より大きな（複数ピクセルのグループ）画
像ピクセル、又はより小さな（単色単ピクセル）画像ピ
クセルが使用されることも考えられる。

【００１４】図２は本発明による画像処理システムの一
例のブロック図である。図２ではカメラ２１０がビデオ
画像シーケンスを記録し、マルチフレームメモリ２１２
に格納する。プロセッサ２１４はマルチフレームメモリ
２１２内に保持された画像データを解析して画像シーケ
ンスの各ピクセル位置におけるヒストグラムを生成し、
生成したヒストグラムをヒストグラムメモリ２１６に格
納する。プロセッサ２１４はその後、ヒストグラムメモ
リ２１６に格納されたデータを解析し、マルチフレーム
メモリ２１２内の各ピクセルについてモード値、又は最
も頻繁に生じる値を決定する。各ピクセルのモード値は
背景画像として背景フレームメモリ２１８に転送され
る。図１に示す画像を含む画像シーケンスでは、少なく
ともシーケンスの各画像の路面１１６上に自動車が含ま
れていても、背景画像には自動車１１０、１１２、及び
１１４を抜かした道路１１６画像が含まれる。

【００１５】図２に示すシステムの一つの欠点は、マル
チフレームメモリ２１２の大きさである。カメラ２１０
が標準的なビデオカメラである場合、図２に示す本発明
の実施形態で、ビデオ画像データを１秒でも記録解析す
るためには、マルチフレームメモリ２１２は画像データ
を３０フレーム格納する必要がある。１分のビデオ画像
データを格納するためには、１８００フレームをメモリ
２１２に格納する必要がある。

【００１６】図３に示す本発明の実施形態は、マルチフ
レームメモリ２１２をシングルフレームメモリ３１０に
置き換えることにより、発明の対象のメモリ要求を大幅
に減少している。図３に示すフレームメモリ３１０は、
カメラ２１０から提供され受信した、最も新しい画像フ
レームを格納するバッファとしての役割を果たすのみで
ある。図３のヒストグラムメモリ２１６はシングルフレ
ームの３次元メモリであり、水平座標ｘ、垂直座標ｙ、
及びヒストグラム配列の指標Ｉにより指標付けられてい
る。このようにフレーム中の各ピクセル位置（ｘ、ｙ）
には、それぞれ使用可能なピクセル値を登録した線形配
列がある。例えば画像サイズが５１２×５１２で、背景
画像として８ビットの解像度を持つことが望ましい画像
の場合、ヒストグラムメモリ２１６は５１２×５１２×
２５６のディメンションを持つ。

【００１７】多くの画像処理用途では、８ビットの解像
度を求めない。これらの用途では、ヒストグラムの計算
の前に画像を量子化することによって、ヒストグラムメ
モリ２１６のサイズを縮小することができる。図３に示
す装置では、ヒストグラムメモリ２１６を使用して、ヒ
ストグラム操作を実施する無限インパルス反応（ＩＩ
Ｒ）フィルタリング操作の結果を保持する。即ち、フレ
ームメモリ３１０に新しく各フレームが受信され格納さ
れると、プロセッサ２１４がこれを処理し、ヒストグラ
ムメモリ２１６に格納された値を増やす。これらの値
は、先に受信した画像フレームから得られた結果を表し
ている。メモリ２１６内に格納された値は先に受信した
画像フレームが後に受信した画像フレームよりヒストグ
ラムにおいて少なくなるように重み付け因子により乗じ
られる。

【００１８】図３に示す装置を使用して、任意の数の画
像フレームについてヒストグラムを計算し、各ピクセル
位置におけるヒストグラムモードを背景フレームメモリ
１２８にコピーすることによって、背景画像が再構成さ
れる。

【００１９】図４は、背景フレーム２１８を生成するた
めに、図３のプロセッサ２１４が行う処理を説明したフ
ローチャート図である。この処理の第一のステップであ
るステップ４１０では、画像の整列の必要があるかどう
かを決定する。画像が静止した監視カメラによって撮影
されたものであれば、画像を揃える必要はない。しか
し、フレームからフレームで、わずかな動きでも示すカ
メラから撮影された場合、ヒストグラム操作を行う前
に、受信した画像フレームを前に受信してある画像フレ
ームに合わせるように位置を揃えることが望ましい。ス
テップ４１０で画像の整列が望ましいと決定されると、
入力画像はステップ４１２で整列される。画像の動きを
推定することによって行う画像の整列方法の例が、以下
の論文の中で公開されている。K.J.Hannaによる「自己
動作と動作による構造の直接的複数レゾルーションの推
定」、視覚動作に関するＩＥＥＥセミナー会報、１５６
頁〜１６２頁（１９９１年）、K.J.Hannaらによる「場
面構造の直接的推定のための、立体解析と動作解析の結
合」、コンピュータビジョンに関する国際会議会報、３
５７頁〜３６５頁（１９９３年）、J.R.Bergenらによる
「階層的モデルをベースとした動作推定」、コンピュー
タビジョンに関する第二回ヨーロッパ会議会報、２３７
頁〜２５２頁（１９９２年）。

【００２０】画像の整列が行われるときは、図３に示す
システムのフレームメモリ３１０とプロセッサ２１４の
間に、追加のフレームメモリ（図示せず）を含めること
ができる。この追加のメモリに整列された画像フレーム
が保持される。最も新しく受信された画像はこの追加の
フレームメモリ内の画像に合わせて整列され、追加のフ
レームメモリ内の調整済みフレームと交換される。或い
はヒストグラムメモリ２１６の大きさをフレーム一つ分
だけ増加し、整列されたフレームをヒストグラムメモリ
に格納する。また別の選択肢として、受信した画像フレ
ームを背景フレームメモリ２１８内の画像に合わせて調
整し、調整されたフレームを入力フレームメモリ３１０
に戻して格納することもできる。

【００２１】ヒストグラム操作を行う前に、画像をフィ
ルタリングすることもまた望まれる。図４のステップ４
１４の工程では、画像をフィルタリングすべきか否かが
決定され、フィルタリングすべきであれば、ステップ４
１６で画像がフィルタリングされる。

【００２２】フィルタリングは、例えば画像シーケンス
が自動利得制御（ＡＧＣ）機能を持つカメラによって得
られたものである場合に望ましい。ＡＧＣ機能は、画像
に適用する増幅定数を瞬間の画像輝度に基づいて変化さ
せる。自動利得制御機能は通常ゆっくりと作動するた
め、画像輝度を突然変化させることはない。従って、Ａ
ＧＣの補正に使用できる一つの方法を、画像データの空
間高域フィルタに応用できる。適用されるフィルタの例
では、−１、２及び１の係数を持つ３タップ有限インパ
ルス反応（ＦＩＲ）フィルタを使用している。変化する
低周波の画像要素は画像の全方向において同じであるた
め、高域フィルタは一つの画像座標、例えば水平座標に
沿ってのみ適用すればよい。図３に示す装置ではプロセ
ッサ２１４が、フレームメモリ３１０に保持された画像
データに、このフィルタリング操作を実行する。

【００２３】図３に示す背景画像回復システムを画像圧
縮システム内で使用する場合、以下の論文の中で公開さ
れるようにステップ４１６で実行されるフィルタリング
操作は圧縮アルゴリズムの基本機能である。P.Burtによ
る「画像の表示、解析、及び高度送信のための複数レゾ
ルーション技法」、ＳＰＩＥ会議１１９９：視覚的通信
及び画像処理（１９８９年）、又はM.Iraniらによる
「モザイク表示を使用したビデオ圧縮」、信号処理：画
像通信、ｖｏｌ．７、第４号〜第６号５２９頁〜５５２
頁（１９９５年）。

【００２４】図４のフローチャート図には画像フィルタ
リングの前に画像の整列が起こるように示されている
が、これら操作の順序を逆にして、画像のフィルタリン
グが画像の整列よりも前に起こるようにすることも考え
られる。

【００２５】画像のフィルタリング、及び前の画像に合
わせた整列が行われた後、ステップ４１８が実行されて
画像が量子化される。量子化操作によってピクセルが取
り得る値の数が減少し、従ってヒストグラムメモリ２１
６の第三のディメンション（Ｉ）内の要素数（ｂｉｎ
ｓ）が減少する。例えば、カメラ２１０が８ビットのピ
クセル解像度を持つ白黒画像を提供する場合、各８ビッ
ト値を７ビット値近くまで量子化し、７ビット値をマッ
ピングして８ビット値と同じ範囲を補うことによって、
ヒストグラムメモリ２１６に要するメモリは半分にな
る。量子化ステップ４１８は、整列ステップ４１２とフ
ィルタリングステップ４１６の、後者の方と組み合わせ
られると考えられる。

【００２６】ステップ４１８で画像を量子化した後、図
４のステップ４２０に示した次ステップの工程で、画像
データをヒストグラムに追加する。図３に示す装置を使
ったヒストグラムの計算に使用するアルゴリズムの一例
を、以下の表に示す。

【００２７】表 For(y=0;y<max_y;y++)[ For(x=0;x<max_x;x++)[ For(I=0;I<max_feature_value;I++)[ If(I==quantized_feature_value(x,y,t))[ Present=1; ] else[ Present=0; ] if(not_in_region_information(x,y,t)!=1)[ hist[x,y,I]=alpha^* hist[x,y,I]+(1-alpha)^* Present; ] ] ] ] この表で、配列histは図３に示すヒストグラムメモリ２
１６である。表に示すプログラムセグメント中、変数qu
antized_feature_value及びnot_in_region_information
はｘ、ｙ及びｔの関数である。ｘ値とｙ値はピクセル位
置に対応し、ｔ値は連続画像のうち現在の画像を指し示
す。変数quantized_feature_valueは、０からピクセル
が取り得る最も大きい特徴値であるmax_feature_value
までインクリメントする。関数not_in_region_informat
ionについては、以下に図６を参照して説明する。

【００２８】ヒストグラムメモリ２１６は、max_x^* max_
y^* max_feature_valueによって与えられる大きさを持
つ。上述のように、max_feature_valueの値はステップ４
１８で画像の量子化を行うことによって小さくなってい
る。

【００２９】図５は表に示した方法を説明するフローチ
ャート図である。図５に示した方法の第一ステップ５１
０では、（ｘ，ｙ）座標系におけるピクセル位置を初期
化する。表に示すように、最初のピクセル位置は（０，
０）であり、最後のピクセル位置は（max_x,max_y）で
ある。ステップ５１２でピクセルの特徴値Ｉを初期化す
る。上述のように、特徴値Ｉはピクセルが取り得るすべ
ての値にわたってインクリメントされる。本発明の実施
形態では、ステップ５１２でＩの初期値を０に設定す
る。

【００３０】次にステップ５１６では、図５に示す工程
によって、入力画像の位置（ｘ，ｙ）におけるピクセル
の現在の特徴値が、そのピクセル値と同じであるかどう
かが特定される。違う場合には、ステップ５１８で変数
ＰＲＥＳＥＮＴの値が０に設定される。同じ場合には、
ステップ５２０で変数ＰＲＥＳＥＮＴの値が１に設定さ
れる。次に、ステップ５２２の工程で、画像が覆い隠さ
れることが既知である現在の画像部分に、そのピクセル
があるかどうかを特定する。本発明の実施形態では、ピ
クセル位置に既知の障害物がある場合、ステップ５２２
はｘｙ座標の現在値を受け取り、ブーリアン値を返す。
障害物があるかどうかを決定する処理については、以下
に図６を参照して説明される。

【００３１】ステップ５２２で目標のピクセル位置に予
め分かっている障害物がない場合、ステップ５２４に制
御が移動し、現在のピクセル位置における現在の特徴値
のヒストグラム登録が更新される。ヒストグラム登録の
更新規則は、等式（１）によって与えられる。

【００３２】 HIST(x,y,I)=α^* HIST(x,y,I)+(1-α)^* PRESENT(1) この等式で、αはヒストグラムがピクセル値をモニター
する時間の長さを制御する変数であり、従ってピクセル
のモードを計算する時間の長さである。例えば、領域が
長い時間変化しないことが予想される場合、α値は１．
０に非常に近く設定される。典型的な値は０.９９９で
ある。これは静止した監視カメラの場合である。領域に
変化が見込まれる場合には、望ましくはα値を古いフレ
ームの減衰から得られた値などに設定して、新しいフレ
ームから得られる値とより速く交換する。

【００３３】等式（１）は、特徴値がそのピクセル位置
に来るたびに、特徴値に対応するヒストグラムのｂｉｎ
中の値を（１−α）ずつインクリメントする。現在のピ
クセル値と合致しない各特徴値については、ヒストグラ
ムｂｉｎ内の値は因子αで減少する。即ち、ヒストグラ
ム中の新しい値は古い値のα倍である。

【００３４】ステップ５２２で障害物があることが予め
分かっている場合は、アルゴリズムはステップ５２４を
飛ばしてステップ５２６へ直接分岐する。ステップ５２
６の処理では、現在のピクセル位置で処理する必要のあ
る特徴値がまだあるかどうかが特定される。そのような
特徴値がある場合、制御がステップ５１４へ移動し、そ
こで次の特徴値が選択されると制御は上述のステップ５
１６へ移動する。

【００３５】現在のピクセル位置の使用可能なすべての
特徴値が等式（１）によって処理された後、制御はステ
ップ５２６からステップ５２８へ移動し、ステップ５２
８では解析の必要なピクセル位置が画像中にまだあるか
どうかを特定する。そのようなピクセル位置がある場
合、制御がステップ５２９に移動しそこで次のピクセル
位置を選択した後、制御を上述のステップ５１２に移
す。ステップ５２９では、ｘを値max_xまでインクリメ
ントし、その後ｘを０にリセットして、ｙをインクリメ
ントする。この処理を、ステップ５２８で(max_x,max_
y）のピクセル位置に出会うまで続行すると、現在の画
像についてヒストグラム処理が完了する。

【００３６】図６は、現在の画像中のあるピクセル位置
で、背景が遮断されることが予め分かっているかどうか
を決定するための処理例の詳細である。この処理には動
作検知機６１０と特徴相関装置６１２、及び外部入力６
１４が含まれている。障害物事前検知機は省略される
か、これら要素の何れか、又はこれら要素の組み合わせ
が、本発明による障害物事前検知機の中で用いられると
考えられる。

【００３７】本発明の実施形態で、動作検知機６１０
は、例えば現在の画像の領域で、前の画像の対応する領
域からある閾値以上異なっている領域を表す画像マップ
を生成する。図１を参照すると、動作検知機６１０は例
えば、自動車１１０、１１２、１１４の動きによって変
化する画像部分を除外するために使用される。

【００３８】特徴相関装置６１２の例では、例えば現在
の画像をフィルタリングして画像中に特定の項目がある
かどうかを特定し、そのような項目がある場合はその位
置を特定する。図１を参照すると、このフィルタは、例
えば自動車の空間的特徴に対応するように一致させたフ
ィルタである。フィルタによって特定の画像位置に自動
車が検出されると、その位置及びその周辺位置はヒスト
グラムに更新されない。

【００３９】図６に示す装置の最後の要素は、外部入力
検出器６１４である。図１に示す画像に使用できる検出
器の例として、停止信号検出器がある。例えば、道路１
１６上の、カメラの視野１００の外に停止信号がある場
合、停止信号が赤のときに道路上の自動車１１０、１１
２、１１４は停車する。このとき自動車は特徴相関装置
６１２によって検出されるが、動作検知機６１０によっ
ては検出されない。外部入力検出器６１４が、停止信号
が赤であることを示すと、路面全体ができるだけ以前の
障害物を含みながら表示される。それによってヒストグ
ラムアルゴリズムが停車した自動車を路面と誤認するこ
とを防止する。

【００４０】本発明の実施形態において、動作検知機６
１０、特徴相関装置６１２、及び外部入力６１４はすべ
て、障害物マップ６１６への入力データを提供する。障
害物マップ６１６は、例えば、各ピクセル位置を１ビッ
トの値で表した現在画像のビットマップである。要素６
１０、６１２及び６１４の何れかによってそのピクセル
位置に障害物があることが示されると、この値が１（Ｔ
ｒｕｅ）に設定される。逆の場合は、値は０（ｆａｌｓ
ｅ）に設定される。図５のステップ５２２で、現在のピ
クセル位置（ｘ，ｙ）が障害物マップ６１６に提供さ
れ、その位置における１ビット値がブーリアン値として
返される。

【００４１】図４に戻って、ステップ４２０でヒストグ
ラムが生成されると、ステップ４２２がヒストグラムメ
モリ２１６を解析して、画像の各ピクセル位置の計算モ
ードを決定する。度数分布モードは、最も起こりやすい
値に定義される。本発明の実施形態では、この値は、配
列ＨＩＳＴ（ｘ，ｙ，Ｉ）の最高値に対応する各ピクセ
ル位置の（ｘ，ｙ）の特徴値Ｉを、単純に選択すること
によって決定できる。或いは最大値周辺の特徴値を補間
することにより、ヒストグラムの最大値に対応する特徴
値を、準量子化の精度まで計算することができる。特に
線形関数又は二次関数はそのピーク及び周辺の幾つかの
値によく合い、再帰関数から最大値を計算することがで
きる。

【００４２】最後に、図４のステップ４２２で特定のピ
クセル位置のモードが決定されると、そのモード値が背
景フレームの対応するピクセル位置に格納される。図
４、５及び６に示すアルゴリズムによってすべての画像
が処理されると、背景画像は、カメラ視野内では等式
（１）のα値によって定義される更新期間のあいだ、フ
レームからフレームで変化しないそれら物体の一つの画
像をカメラの視野内に保持する。

【００４３】図２に示すマルチフレームメモリではな
く、図３に示すシングルフレームメモリが使用される場
合でも、画像処理では極めて集中的に、関心ある領域内
のすべてのピクセルをすべてのフレームについて処理す
る。しかし、背景画像２１８の生成に必要な計算を大幅
に短縮するため、３つの方法を用いることも考えられ
る。最初の２つの方法は、出力背景画像は、必ずしもす
べてのフレーム間で更新される必要がないことを前提と
している。これは、例えばカメラ１２０が静止した監視
カメラであるような場合である。

【００４４】最初の方法を用いると、ｎ個（例えば８
個）のフレームについて、各ピクセル位置における特徴
値、及びブーリアンnot_in_region_infomationを格納
し、ｎ番目のフレームごとにこれら格納された値をアド
レス値としてルックアップテーブルに適用する。ルック
アップテーブルには、ｎ個のフレーム間隔にわたる、等
式（１）のカスケード計算値が含まれている。この方法
によって処理時間が著しく短縮されるが、情報は一つも
失われない。

【００４５】２番目の方法では、図４、５及び６に示す
処理のためにｎ番目ごとのフレームのみが使用される。
すでに計算されているα値のあいだ、同じ時間フレーム
を維持するために、等式（１）のカスケード計算値がル
ックアップテーブルに格納される。この方法を用いて、
各ｎ個のフレームのうち、一つのフレームのみを解析す
ることによってヒストグラムが維持される。本発明の実
施形態では、ｎは８となっている。

【００４６】フレームのシーケンスから背景画像を生成
するために、必要な計算量を短縮する３番目の方法は、
どの一つのフレームでも、画像の比較的小さい部分のみ
を処理する方法である。画像中、他の部分の特徴値は格
納され、更新領域が与えられる。この方法のバリエーシ
ョンの一つに、画像空間を領域に分割し、まれにしか変
化しない領域ではなく、より頻繁に高い変化率を示す領
域を処理する、というものがある。図１に示す画像を参
照すると、例えば路面１１６を含む画像空間の部分が、
道路から離れた領域よりもより頻繁に更新してもよい。

【００４７】図７及び図８は、図２〜図６に示す背景画
像処理装置と方法の２つの応用例を表している。図７は
監視システムを、図８は画像圧縮システムを説明したも
のである。これらいずれのシステムにも、本発明の実施
形態が含まれている。

【００４８】図７では監視カメラ２１０が、画像シーケ
ンスを図２又は図３に示したように背景画像取り込みシ
ステム７１０に提供する。システム７１０は、その出力
画像として背景画像７１２を提供する。この画像は、減
算器７１４によってカメラが提供した画像から差し引か
れ、その結果がディスプレイ装置７１６に表示される。
背景画像７１４はカメラ２１０によって映し出された場
面中の変化しない物体を表示するので、ディスプレイ装
置７１６上には、画像シーケンスの変化する部分や一時
的な部分が現れる。この処理によって警備員か自動検知
システムの何れかによって、解析が必要な画像データの
総量が大幅に減少する。

【００４９】図７に示す本発明の実施形態では、カメラ
２１０は一貫して明るく照らされた環境で使用する静止
した監視カメラであり、画像輝度の瞬時の変化を補正す
るＡＧＣサーキットを必要としないものである。従っ
て、画像シーケンスの画像には、フィルタリングも位置
合わせも行われない。カメラ２１０にＡＧＣ機能が含ま
れ、背景画像取り込みシステム７１０がフィルタリング
操作をする場合は、ディスプレイ装置７１６に提供され
る画像として、速く移行する物体の頻度の高い部分と、
より移行の遅い物体の頻度が低い部分とが含まれる。人
間の目は、空間頻度が低いものよりも空間頻度の高いも
のにより敏感であるため、この画像は監視システムにも
適している。

【００５０】ＡＧＣ機能によって生じる画像データの変
動を緩和する別の方法は、米国特許第４，７１８，１０
４号「フィルタ減算デシメート階層的ピラミッド信号分
析及び合成技術（FILTER-SUBTRACT-DECIMATE HIERARCHI
CAL PYRAMID SIGNAL ANALYZING AND SYNTHESIZING TECH
NIQUE）」に開示されているように、入力画像をピラミ
ッド表示に処理することである。この方法によって、各
入力画像を複数のラプラス型ピラミッドと一つのガウス
型ピラミッドで表示することができる。ヒストグラムア
ルゴリズムの例では、高レベル（高解像度）のラプラス
型ピラミッドのみを処理する。例えば、より低レベルの
ラプラス型ピラミッドと、ガウス型ピラミッドは処理さ
れない。異なるピラミッドレベルによって、α値が変化
する。例えば、最も低いレベルのラプラス型画像では、
αは０．０１の値を持つ。より高いレベルでは、１に近
いαの値、例えば０．９や０．９９や０．９９９が使用
される。

【００５１】図８は画像圧縮システムにおける背景画像
取り込みシステムの応用例を示している。図８に示すシ
ステムでは、カメラ２１０がビデオ信号をフレームメモ
リ８１０と背景画像取り込みシステムへ、図２〜図６を
参照して上述したように送信する。このシステムは、頻
繁に更新される背景画像を背景メモリ８１４へ提供す
る。背景メモリは背景画像を、減算器８１６と画像圧縮
システム８２０へ提供する。減算器８１６はフレームメ
モリ８１０に保持されている画像から背景画像を差し引
き、その結果を前面画像メモリ８１８へ提供する。前面
画像もまた、画像圧縮システム８２０へ提供される。背
景画像の生成に加えて、背景画像取り込みシステム８１
２は背景画像が著しく変化したときに、それを指示する
信号を画像圧縮システムに提供する。そのような変化が
起きたときを特定するために、背景画像の全体的な特
徴、例えば画像中の全ピクセル値の合計を何フレームか
の間隔でモニターし、連続する値間の差異をある閾値と
比較する。これら差異が閾値を越えたときに、背景画像
取り込みシステムは画像圧縮システムに対し、背景画像
に著しい変化が生じた旨を合図する。

【００５２】本発明の代表的な実施形態で、画像圧縮シ
ステムは、前面画像を何枚か圧縮送信する間に１回、背
景画像を圧縮し送信する。更新された背景画像は圧縮さ
れ、一定の間隔、及び／又は、背景画像取り込みシステ
ム８１２によって画像中に著しい変化があったことが示
されたときに、送信される。圧縮された信号が受信され
ると、背景画像は再構成され保存される。各圧縮された
前面画像が受信されると、現在保存されている背景画像
と合成して、元の画像シーケンスを復活する。

【００５３】図９は、本発明の実施形態を含む画像ノイ
ズ低減システムのブロック図である。図９では、画像デ
ータがビデオカメラ２１０によってノイズ低減画像取り
込みシステム９１０に提供され、ノイズ低減画像取り込
みシステム９１０は、次にノイズ低減された画像をディ
スプレイ装置７１６へ提供する。

【００５４】ノイズ低減画像取り込みシステムは、背景
フレームメモリ２１８がノイズ低減フレームメモリであ
る以外は、図３に示される処理要素と同じ処理要素を使
用している。画像取り込みシステムがヒストグラムの生
成のため、また画像シーケンスからノイズ低減した画像
を作成するために使用するアルゴリズムは、図４及び図
５に示すアルゴリズムを変更したものである。これらの
変更されたアルゴリズムについて、図１０及び図１１を
参照して以下に説明する。

【００５５】ノイズ低減システムのヒストグラム関数に
はごくわずかのフレームしか使用されないため、ＩＩＲ
フィルタの代わりに真のヒストグラムを使用して操作を
実施するのが望ましい。図１０及び図１１に示す工程で
はフレームをグループ処理し、且つ真のヒストグラムを
使用するが、図１２及び図１３に示す工程では画像を連
続処理し、且つＩＩＲフィルタを使用してヒストグラム
を概算する。

【００５６】図９に示すノイズ低減システムは画像シー
ケンス中のゼロ平均ランダムノイズを補正することがで
きる。更に、垂直断裂(vertical tear)と称される、市
販のビデオテープ録画装置に一般に現れる面倒な歪みを
補正することができる。この画像の歪みは、画像中の垂
直のエッジが裂けているように見える。垂直のエッジは
ほとんどの画像シーケンスに存在するが、エッジの短い
部分に沿って水平に置き換えられている画像もわずかに
ある。ノイズ低減システムによって生成されるヒストグ
ラムのモードは、ほぼ一定して垂直となっているエッジ
を取り込み、一時的な裂け目を無視する。ノイズ低減シ
ステムは画像圧縮操作の予備処理としても有用である。
ほとんどの画像圧縮システムで、ノイズの多い画像を圧
縮する方が、比較的ノイズのない画像を圧縮するよりも
効率が悪い。これは、画像中のノイズによって、ピクセ
ルからピクセルへ、またフレームからフレームへ、異な
る画像が表示されるからである。画像中の一時的な変化
を取り除くことによって、図９のノイズ低減システムで
は、空間的、時間的なピクセルの余剰性に依存する圧縮
システムの処理効率が向上される。

【００５７】例示の方法では、ｍ個の画像のグループを
処理して一つの出力画像を作成する。図１０では、ステ
ップ１０１０で画像グループ内の第１の画像を選択する
ことから処理が開始する。次に、ステップ１０１４で第
１の画像が量子化される。ステップ１０１４に引き続き
ステップ１０１６では、図１１を参照しながら以下に説
明するように画像を処理して、ヒストグラムを作成す
る。次にステップ１０１８では、各ピクセル位置におけ
る画像のモードが決定され、その結果ノイズ低減フレー
ムメモリ２１８に格納される。ステップ１０２０では、
現在のｍ個の画像を含むグループ内に、まだ画像がある
かどうかを特定する。まだ画像があればステップ１０２
２が実行されて、グループ内の次の画像が選択され、ま
たステップ１０２３が実行されて、選択された次の画像
をグループ内の前の画像に合わせて整列する。アルゴリ
ズムは各グループのすべての画像を整列するため、カメ
ラの動きはグループ間の境目のみに現れる。

【００５８】ステップ１０２０で、グループ内の最後の
画像が処理されると、ノイズ低減された画像フレーム
が、出力フレームとして提供される。次に、ステップ１
０２６で次の画像グループが選択され、制御がステップ
１０１０に移動する。

【００５９】図１１は、図１０のステップ１０１６で使
用されるヒストグラム処理の例を示している。この工程
の最初のステップであるステップ１１１０は、画像フレ
ームのピクセル位置を初期化する。次に、ステップ１１
１２で特徴値Ｉが初期化される。ステップ１１１６で
は、現在のピクセル位置にあるピクセル値が、現在の特
徴値と比較される。これらの値が等しい場合、ステップ
１１２０で変数ＰＲＥＳＥＮＴが１に設定される。これ
らの値が異なる場合は、ステップ１１１８でＰＲＥＳＥ
ＮＴが０の値を持つように設定される。次にステップ１
１２２で、等式（２）を使用して、現在のピクセル位置
の、現在の特徴値のヒストグラム値が計算される。

【００６０】HIST(x,y,I)=HIST(x,y,I)+PRESENT (2) 上述のように、この等式は真のヒストグラム関数を実行
する。

【００６１】ステップ１１２２の後、ステップ１１２４
で現在のピクセル位置に処理されるべき特徴値がまだあ
るかどうかを特定する。そのような特徴値がまだある場
合、制御はステップ１１１４に移動し、次の特徴値を選
択した後に、制御を上述のステップ１１１６に移す。最
後の特徴値が処理されると、ステップ１１２４は制御を
ステップ１１２６へ移し、画像中にまだ処理が必要なピ
クセル位置があるかどうかを特定する。そのようなピク
セル位置がまだあれば、ステップ１１２６は制御をステ
ップ１１２７へ移し、そこで画像中の次のピクセル位置
を選択した後に、制御を上述のステップ１１１２に移
す。画像中のすべてのピクセル位置が処理されると、ス
テップ１１２６は制御をステップ１１２８に移し、ヒス
トグラム処理が終了する。

【００６２】図１２及び図１３は、ヒストグラムを概算
するためにＩＩＲフィルタを使用して連続操作する、ノ
イズ低減システムのフローチャート図である。このシス
テムは、最初の比較的少数の画像フレームを処理した後
に、入力フレームを受信するのと同じ速度で、出力フレ
ームを生成する。

【００６３】図４及び図５に示した背景特定アルゴリズ
ムと、図１２及び図１３に示すノイズ低減アルゴリズム
の違いの一つは、等式（１）で使用されるαの値であ
る。画像の連続性を保つため、図１２及び図１３に示す
アルゴリズムでは比較的小さなα値、例えば０．６を使
用する。このα値によって、古いフレームにかかる重み
が急速に減少するため、変化のない背景だけでなく、画
像シーケンスの少なくとも変化の遅い移動部分について
も同様に、ヒストグラムによる追跡が可能になる。しか
し、時間フレームがより小さいため、ヒストグラム関数
に使用されるフレームは、より少数である。

【００６４】この選択的なノイズ低減処理は、ステップ
１２１０で第１の画像を選択することから開始する。こ
の画像はステップ１２１４で量子化され、ステップ１２
１６のヒストグラム処理に渡される。ヒストグラム処理
については、図１３を参照しながら以下に説明する。次
にステップ１２１８で、ヒストグラムを有効にするため
に充分な数の画像フレームが処理されたかどうかを特定
する。ステップ１２１８で処理されたフレームがＮ個よ
りも少ない場合、制御は次の画像フレームを選択するた
めにステップ１２２２に移動する。ステップ１２１２で
は、選択された次の画像が前の画像に合わせて整列さ
れ、その後、整列された画像がステップ１２１４で上述
のように量子化される。

【００６５】しかし、ステップ１２１８で処理された画
像がＮ個以上であった場合は、制御はステップ１２２０
へ移動して、ここで各ピクセル位置におけるヒストグラ
ムのモードが決定され、ノイズ低減画像が生成される。
ステップ１２２４で、このノイズ低減画像が表示７１６
（図９に示す）に提供される。ノイズ低減画像が表示さ
れると、図１２に示す工程はステップ１２２２に分岐し
て上述のように次の画像を選択する。

【００６６】図１３は、図１２に示したノイズ低減処理
の、ステップ１２１６に使用されるヒストグラム処理の
例を示したフローチャート図である。この工程の最初の
ステップであるステップ１３１０は、画像フレームのピ
クセル位置を初期化する。次にステップ１３１２で、特
徴値Ｉが初期化される。ステップ１３１６で、現在のピ
クセル位置にあるピクセル値が、現在の特徴値と比較さ
れる。これらの値が等しい場合、ステップ１３２０で変
数ＰＲＥＳＥＮＴが１に設定される。これらの値が異な
る場合は、ステップ１３１８でＰＲＥＳＥＮＴが０の値
を持つように設定される。次にステップ１３２２で等式
（１）を使用して、現在のピクセル位置の、現在の特徴
値のヒストグラム値が計算される。ステップ１３２２の
後、ステップ１３２４で、現在のピクセル位置に処理す
べき特徴値がまだあるかどうかを特定する。そのような
特徴値がまだある場合、制御がステップ１３１４に移動
し、そこで次の特徴値を選択した後に、制御は上述のス
テップ１３１６に移動する。最後の特徴値が処理される
と、ステップ１３２４は制御をステップ１３２６へ移
し、画像中にまだ処理が必要なピクセル位置があるかど
うかを特定する。そのようなピクセル位置がまだあれ
ば、ステップ１３２６は制御をステップ１３２７へ移
し、そこで画像中の次のピクセル位置を選択した後に、
制御を上述のステップ１３１２に移す。画像中のすべて
のピクセル位置が処理されると、ステップ１３２６は制
御をステップ１３２８に移して、ヒストグラム処理が終
了する。

【００６７】図１３に示したノイズ低減処理は、フレー
ムからフレームでの動きが比較的少ない連続画像を操作
する。この方法を、ステップ１２１２における整列パラ
メータを保持しておき、ステップ１２２０とステップ１
２２４の間で、逆の整列（図示せず）を施すことによっ
て、動きのある画像シーケンスを処理するように適合し
てもよい。この実施形態でも、画像シーケンスが著しい
量の動きを示す場合には、等式（１）のαとして比較的
大きい値を使用することが望ましい。しかし、画像の移
動量が、画像の整列処理によって補正され得る程度の比
較的少ない量であれば、比較的大きな値のαを使用して
よい。

【００６８】本発明の実施形態では、画像の各ピクセル
位置にわたり連続したステップが記述され、従って汎用
コンピュータ上で実行可能だが、例えばアレイ処理機構
で構成された、単一命令、複数データ(Single Instruct
ion,Multiple Data;SIMD)コンピュータ（図示せず）の
ような並列プロセッサ上で、ピクセルのグループを並行
処理するよう、アルゴリズムを修正することも考えられ
る。この選択的な実施形態では、ピクセル位置のグルー
プがアレイ内のそれぞれのプロセッサに割り当てられ、
それらのヒストグラム配列が並行して更新される。

【００６９】本発明は上述のように、汎用コンピュー
タ、又は特殊目的コンピュータを制御するコンピュータ
プログラムとして実現される。このプログラムは磁気デ
ィスク、光ディスク、無線周波搬送波又は可聴周波搬送
波などのキャリア上で実行することができる。

【００７０】本発明は、幾つかの実施形態に関して記述
された。しかしながら、上に概要説明したように、以下
の請求の範囲内にある変形が実施可能と考えられる。

【図面の簡単な説明】

【図１】交通監視システムによって得られた画像の図で
ある。

【図２】本発明に係る画像処理システムの第１の実施形
態のブロック図である。

【図３】本発明に係る画像処理システムの第２の実施形
態のブロック図である。

【図４】図３に示す本発明の実施形態における、背景フ
レームを回復する処理の説明に役立つフローチャート図
である。

【図５】図４に示したヒストグラム処理の説明に役立つ
フローチャート図である。

【図６】図５に示したヒストグラム生成中に、予め分か
っている障害物があるかどうかを決定するシステム例の
ブロック図である。

【図７】本発明に係る背景画像取り込みシステムを使用
する、監視システム例のブロック図である。

【図８】本発明に係る背景画像取り込みシステムを使用
する、画像圧縮システムのブロック図である。

【図９】本発明に係るヒストグラムシステムを使用す
る、画像ノイズ低減システムのブロック図である。

【図１０】図９に示す本発明の実施形態と共に使用でき
るノイズ低減システムの第１例のフローチャート図であ
る。

【図１１】図１０に示すノイズ低減システムと共に使用
できるヒストグラム機能例のフローチャート図である。

【図１２】図９に示す本発明の実施形態と共に使用でき
るノイズ低減システムの第２例のフローチャート図であ
る。

【図１３】図１２に示すノイズ低減システムと共に使用
できるヒストグラム機能例のフローチャート図である。

フロントページの続き (72)発明者ラケシュクマールアメリカ合衆国，ニュージャージー州，マンモスジャンクション，リッジロード 966

Claims

【特許請求の範囲】

【請求項１】複数のビデオ画像フレームを備えるビデ
オシーケンス中の一つ以上の画像領域の特徴値を、前記
一つ以上の特徴がビデオシーケンス部分上で物体によっ
て覆い隠される場合に推定する方法であり、シーケンス中の複数の画像フレームにわたって各画像の
ヒストグラムを生成し、各画像領域において、ヒストグラムによって示されるモ
ード値を計算し、画像シーケンスの推定された特徴値の画像を生成するた
めに各画像領域を各画像領域のモード値と交換する方
法。
【請求項２】前記ヒストグラム生成ステップから、特
徴が覆い隠されることが前もって指摘されている複数の
画像領域を除外するステップを更に備える請求項１に記
載の方法。
【請求項３】特徴が覆い隠されることを前もって指摘
するために、複数のビデオ画像フレーム内の対応する領
域において動きを検出するステップを更に備える請求項
２に記載の方法。
【請求項４】前記ヒストグラムを生成するステップ
が、ヒストグラムを生成する複数の画像フレームにわた
って各画像領域を再帰的にフィルタリングするステップ
を備える請求項１に記載の方法。
【請求項５】ヒストグラム生成前に、ビデオシーケン
ス内の画像を整列するステップを更に備える請求項１に
記載の方法。
【請求項６】画像シーケンスが幾つかのフレームＦを
含み、前記ヒストグラムを生成するステップが各画像領
域においてｎフレームごとに各フレームの画像シーケン
スについて統計を収集し、前記統計を使用してルックア
ップテーブルに指標付けし、各ｎ番目の画像フレームに
ついてヒストグラムを生成し、ｎはＦよりも小さい整数
である請求項１に記載の方法。
【請求項７】画像シーケンスが幾つかのフレームＦを
備え、前記ヒストグラムを生成するステップがビデオシ
ーケンス内のｎ番目ごとの画像フレームのみを処理し、
ｎはＦよりも小さい整数である請求項１に記載の方法。
【請求項８】複数のビデオ画像フレームを備えるビデ
オシーケンス中の一つ以上の画像領域の特徴値を、前記
一つ以上の特徴がビデオシーケンスの部分上で物体によ
って覆い隠される場合に推定する装置であり、入力画像のソースと、ヒストグラムメモリと、入力画像を処理して、シーケンス中の複数の画像フレー
ムにわたって各画像領域についてヒストグラムを生成
し、各画像領域についてヒストグラムによって示される
モード値を計算して、画像シーケンスの推定された特徴
値の画像を提供するヒストグラム処理装置を備える装
置。
【請求項９】ヒストグラム処理装置が、再帰的フィル
タを備える請求項８に記載の装置。
【請求項１０】コンピュータに、複数のビデオ画像フ
レームを備えるビデオシーケンス中の一つ以上の画像領
域の特徴値を、前記一つ以上の特徴がビデオシーケンス
の部分上で物体によって覆い隠される場合に推定させる
コンピュータ命令を備えるキャリアであり、前記コンピ
ュータ命令が、シーケンス中の複数の画像フレームにわたって各画像の
ヒストグラムを生成し、各画像領域において、ヒストグラムによって示されるモ
ード値を計算し、画像シーケンスの推定された特徴値の画像を生成するた
めに、各画像領域を各画像領域のモード値と交換するこ
とをコンピュータに実行させるキャリア。