JP2005504457A - 画像整列による動き検出 - Google Patents

Abstract

画像のピクセルは、各ピクセルの近くの画像の階調度に基づいて、静止している又は移動していると分類される。2つの連続した画像の対応したピクセルの値が比較される。値の間の差がピクセル位置の周りの画像階調度よりも小さいか又は画像階調度よりも大きい所与の閾値よりも小さければ、ピクセルは静止していると分類される。ピクセルの近くの画像階調度に基づいて各ピクセルを分類することによって、動き検出分類の感度が、オブジェクトの縁及び画像中のコントラストのある他の領域で低減され、これにより、静止ピクセルを移動ピクセルと誤って分類することによるゴーストアーチファクトの発生が最小化される。

Description

【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特には、連続した画像間の動きの検出に関する。
【背景技術】
【０００２】
動き検出は、一連の画像フレームにおいて特定のオブジェクトをトラッキングするのに一般に用いられる。例えば、セキュリティシステムが、1つ以上のカメラからの画像を処理し、セキュリティ保護された場所への潜在的な侵入者を自主的に発見し、侵入者の移動経路に基づいて適切なアラーム通知を提供するように構成されることができる。同様に、テレビ会議システムが、選択された話者を自動的にトラッキングするように構成されることができ、又は、ホームオートメーションシステムが、居住者をトラッキングして、それに応じて、各居住者の位置に応じて照明及び機器を制御するように構成されることができる。
【０００３】
静止カメラ用に、種々の動き検出技術が利用可能である。静止カメラからの画像はほぼ一定の背景画像を提供し、この画像上で移動するオブジェクトが動的な前景画像を形成する。固定した視界においては、動きに基づいたトラッキングは、比較的直接的なプロセスである。背景画像(2つの連続した画像における等しい値によって識別される)は無視され、個々のオブジェクトを前景画像と関連付けるように前景画像が処理される。オブジェクトサイズ、形状、色等の特性が、潜在的に関心のあるオブジェクトを区別するために用いられることができ、パターンマッチング技術が、カメラからの一連の画像において、フレームからフレームへ同じオブジェクトの動きをトラッキングするために適用されることができる。
【０００４】
オブジェクトトラッキングは、トラッキングシステムが、調整可能な視界を有する1つ以上のカメラを制御することを可能にすることによって更に改良されることができ、これらのカメラは、例えば調整可能なパン、ティルト及び／又はズーム機能を有するカメラ等である、例えば、特定の組の判定基準に従うオブジェクトが画像内で検知されると、カメラの視界内にオブジェクトを保つようにカメラは調整される。マルチカメラシステムにおいて、トラッキングシステムは、前記オブジェクトが取る経路に基づいてトラッキングプロセスをカメラからカメラへ「ハンドオフ」するように構成することができる。例えば、オブジェクトが部屋への扉に接近する場合、その部屋の中のカメラは、その視界がドアを含み、オブジェクトが部屋に入るときに該オブジェクトを検知し、続いて該オブジェクトをトラッキングし続けるように、調整されることができる。
【０００５】
カメラの視界が調整されるにつれて、背景画像は移動するように「見え」、背景オブジェクトの見かけ上の移動から前景オブジェクトの実際の移動を区別することを困難にする。カメラ制御がトラッキングシステムに結合されている場合、画像は、変化する視界によって生じる見かけ上の移動を補償するように前処理されることができ、これにより、前景画像の動きの識別を可能にする。
【０００６】
トラッキングシステムがカメラの視界の変更を知らない場合には、画像処理技術を適用することにより、画像のシーケンス内の各オブジェクトの動きを検知し、カメラの視界の変化によって生じる背景オブジェクトの見かけ上の移動にオブジェクトの一般的な移動を関連付けることができる。次に、この一般的な移動と異なる移動は、前景画像を形成するオブジェクトに関連する。
【０００７】
カメラの視界の変更が画像に与える影響を推定又は計算するのに用いられる技術に関係なく、動き検出は、連続した画像を並べて、次に、並べられた画像間の変化を検出することによって一般的に達成される。整列プロセスの不正確さ又は連続した画像間の不整合性のため、静止した背景オブジェクトが、移動している前景オブジェクトとして誤って解釈されることにより、アーチファクトが生じる。通常、これらのアーチファクトは、2つの並べられた画像間の不整列又は不整合性を原因としてオブジェクトの縁が移動していると伝えられるため、「ゴーストイメージ」としてオブジェクトの周りに見える。これらのゴーストは、所与の閾値よりも小さい画像間の差を無視することによって低減されることができる。閾値が高い場合、ゴーストは実質的に解消されることができるが、高い閾値は、特にオブジェクトがゆっくり移動する場合又は移動しているオブジェクトが背景と類似している場合に、オブジェクトの真の移動を逃す可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の1つの目的は、連続した画像において、移動しているオブジェクトと静止しているオブジェクトとを正確に区別するシステム及び方法を提供することである。本発明の他の目的は、静止オブジェクトを移動しているオブジェクトとして分類することを最小限にするシステム及び方法を提供することである。本発明の他の目的は、動き検出方式において静止オブジェクトの周りのゴーストの生成を防止することである。
【課題を解決するための手段】
【０００９】
これらの及び他の目的は、各ピクセルの近くの画像の階調度に基づいて画像のピクセルを静止している又は移動していると分類することによって達成される。2つの連続した画像の対応したピクセルの値が比較される。値の間の差がピクセル位置の周りの画像階調度よりも小さいか又は画像階調度よりも大きい所与の閾値よりも小さければ、ピクセルは静止していると分類される。ピクセルの近くの画像階調度に基づいて各ピクセルを分類することによって、動き検出分類の感度が、オブジェクトの縁及び画像中のコントラストのある他の領域で低減され、これにより、静止ピクセルを移動ピクセルと誤って分類することによるゴーストアーチファクトの発生が最小化される。
【発明を実施するための最良の形態】
【００１０】
本発明は、添付の図面を参照して例示によってより詳細に説明される。
【００１１】
図面の全体に亘って、同じ参照番号は、類似した又は対応した特徴又は機能を示す。
【００１２】
図1は、本発明による画像トラッキングシステムの流れ図の例を示す。110で、ビデオ入力が画像フレームの形で連続的に受信され、画像処理ループ140〜180を介して連続的に処理される。ある時点で、自動的に又は手動入力に基づいて、トラッキングするターゲットが120において画像フレーム内で選択される。ターゲットが識別された後、該ターゲットは、130で効率的な処理のためにモデル化される。現在の画像は、ブロック180において起こり得たカメラ調整を考慮して、ブロック140で、前の画像と並べられる。画像フレームのうちの前及び過去の画像を並べた後に、150で、フレーム内でのオブジェクトの動きが決定される。通常、トラッキングされているターゲットは、移動しているターゲットであり、独立して移動しているオブジェクトの識別は、バックグラウンドの詳細を無視することによって、ターゲットの位置を決定する効率を改善する。160で、ターゲットに対応する画像の一部又は画像中の移動しているオブジェクトの一部を識別するために、カラーマッチングが用いられる。170で、カラーマッチング及び／又は大きさ、形状、移動速度等の他の基準に基づいて、画像中でターゲットが識別される。統合セキュリティシステムにおいて、一般に、ターゲットのトラッキングは、180において、トラッキングを促進するために1つ以上のカメラを制御することを含む。
【００１３】
当業者に明らかであるように、特定のトラッキングシステムは、図1の例示のシステムで示されるよりも少ない又は多い機能ブロックを含んでもよい。例えば、特定のターゲットに関係なく単に動きを検知するだけのために構成されるシステムは、ターゲット選択及びモデル化ブロック120、130を含む必要はなく、カラーマッチング及びターゲット識別ブロック160、170を含む必要もない。代替的に、誤警報を最小化するために、ターゲットモデリングブロック130において潜在的なターゲットの「一般的な」描写(例えば最小サイズ又は特定の形状)を提供し、ターゲット識別ブロック170においてこのようなターゲットを発見するような、システムが構成されてもよい。同様に、一般の又は特定のモデル化パラメータに基づいて特定のターゲット又はターゲット種類を無視するようなシステムが構成されてもよい。
【００１４】
示されてはいないが、ターゲットトラッキングシステムは、他の動作も遂行するように構成されてもよい。例えばセキュリティアプリケーションで、トラッキングシステムは、例えば、ターゲットがセキュリティゾーンに入ったら可聴警報を稼動させるか又は遠くにある警備機関に警報を送るように構成されてもよい。ホームオートメーションアプリケーションにおいて、トラッキングシステムは、例えば、居住者の移動経路に応じて機器及び照明をオンオフするように構成されてもよい。
【００１５】
好適には、トラッキングシステムは、ハードウエア装置とプログラムされたプロセッサとの組合せとして実施される。図2は、本発明による画像トラッキングシステム200のブロック図の例を示す。1つ以上のカメラ210が、ビデオプロセッサ220に入力を提供する。ビデオプロセッサ220は、システムコントローラ240の管理下で、1つ以上のカメラ210からの画像を処理して、ターゲット識別用に構成されている場合はメモリ250にターゲット特性を記憶する。好適な実施例において、システムコントローラ240は、更に、カメラ210の視野の制御を容易にし、ビデオプロセッサ220の機能を選択する。上記したように、トラッキングシステム200は、ビデオプロセッサ220によって提供されるトラッキング情報に基づいて、カメラ210を自動で制御してもよい。
【００１６】
本発明は、主に図1の動き検出150のタスクに関する。従来は、動きを検知するために、2つの連続した画像の対応したピクセルの値が比較されている。2つのピクセル値の間の差が閾値を上回る場合、該ピクセルは「前景ピクセル」、即ち、静止背景情報と異なる前景情報を含むピクセルとして分類される。上記したように、カメラの視界が変更可能な場合、変更された視界によって生じるあらゆる見かけ上の動きを補償するために、連続した画像は最初に並べられる。カメラの視界が静止している場合、画像は並んでいると仮定される。2001年5月11日出願のMiroslav Trajkovicの同時係属中の米国特許出願第09/854043号「Motion-based tracking with pan-tilt-zoom camera」(代理人整理番号US010240)が、二段階画像整列プロセスを示しており、これは、カメラの視界の小さい変化及び大きい変化によく適しており、これは本願に参照により組み込まれる。この同時係属中の出願において、画像間の粗い整列を決定するために2つの連続した画像の低解像度表示が用いられる。この粗い整列に基づいて、2つの粗く整列された連続画像の高解像度表示が、画像間のより正確な整列を決定するために用いられる。二段階アプローチを用いることにより、より良い整列が達成される。なぜなら、静止背景に対して移動している前景オブジェクトによって導入され得るバイアスが第2段階の整列から実質的に解消されるためである。
【００１７】
図3は、本発明によるピクセル分類プロセスの流れ図の例を示す。ループ310〜360は、この例で、並べられた画像I1及びI2の対の各ピクセルを処理するように構成される。特定のアプリケーションにおいて、選択されたピクセルが処理用に識別されてもよく、ループ310〜360がこれに応じて調整される。例えば、予測動き検知システムでは、処理はターゲットの予想された位置の周りの領域に限られていてもよく、限られたアクセスポイントを有するセキュリティ領域では、処理は最初のうちはドア及び窓の周りの領域に限られていてもよい。
【００１８】
320で、第1の画像のピクセル値と第2の画像のピクセル値との間の差Tの大きさが決定される。この差Tは、330で閾値aと比較される。差Tが閾値aより小さい場合、ピクセルは354で背景ピクセルとして分類される。ブロック320〜330は、ピクセルを背景又は前景として分類するための従来の技術と同じである。しかし、従来のシステムにおいては、差Tが閾値aより大きければピクセルは前景ピクセルとして分類される。差Tの決定は、ピクセル値の成分に依存する。例えば、ピクセル値が輝度値である場合、スカラー減算がこの差を与える。ピクセル値がカラーである場合、カラー距離が差を提供する。ピクセルと関連した値の間の差を決定する技術は、当技術分野において一般的である。
【００１９】
本発明に従えば、差Tが閾値aより大きい場合、ピクセルを前景352又は背景354として分類する前に、差Tは他の試験350を受ける。追加の試験350は、差Tをピクセルpの周りの画像階調度と比較する。即ち、例えばピクセル値が明るさ又はグレースケールレベルに対応する場合、追加の試験350は、2つの画像の各々のピクセルの明るさレベルの変化をピクセルの領域中に含まれる明るさの変化と比較する。2つの画像間の明るさの変化がピクセルの領域の明るさの変化と類似しているか又はこれよりも小さい場合、2つの画像間の明るさの変化は2つの画像間の不整列によって生じた可能性が高い。ピクセルの周りの領域が比較的一定の値を有しており、次の画像が閾値を上回るピクセル値の差を示す場合、何かがその領域に入ってきた可能性が高い。ピクセルの周りの領域が高い明るさ階調度を有する場合、新しい画像におけるピクセル値の変化は、何かがその領域に入ってきたことに対応しているか、又は画像の不整列に対応している可能性があり、後者の場合、前の隣接したピクセル値は、画像間で自身の位置を僅かに移動する。背景ピクセルを前景ピクセルとして誤って分類するのを防止するために、ピクセルは、画像間の値の差が画像不整列による可能性のある変化よりも大きくない限り、前景ピクセルとして分類されない。
【００２０】
図3の流れ図の例において、340で、x軸及びy軸の各々の画像階調度を識別するために、二点微分が用いられる。階調度マップを作製するのに、又は、画像内の空間的変化を識別するのに、他の方式が利用可能である。例のブロック340の位置(x,y)におけるピクセルの画像階調度は、以下によって決定される：
【数１】

上記のこれらのdx及びdy項は、横軸及び縦軸の各々のピクセル値の平均変化に対応する。画像階調度の代わりの指標は、当技術分野において一般的である。例えば、第2の画像値p2(i,j)が上記の式において用いられることができ、又は、階調度が各画像の階調度の平均に基づいて決定されることができ、又は、階調度を推定するのに2つよりも多い点が用いられてもよい。多変量の階調度の指標もまた用いられてよく、これは、水平及び垂直とは別の方向の画像階調度に対応する。
【００２１】
試験の例350は、2つの画像間のピクセル値の変化Tから、「不整列係数」rによって乗算された横軸と縦軸との各々のピクセル値の平均変化の大きさの合計を減じて、画像内の変化(T-(|dx|+|dy|)*r)に対する連続した画像間の変化の指標を提供する。不整列係数rは、発生し得る不整列の程度の推定であり、用いられる特定の整列システム、環境条件等に依存する。ごくわずかな不整列しか予測されない場合、rの値は、1より小さい値に設定され、これにより、連続した画像間のわずかな差(T)に対する感知性を提供する。大きな不整列の可能性が高い場合、rの値は1よりも大きい値に設定され、これにより、不整列による誤った動き検出の可能性を低減する。好適な実施例において、不整列係数は、デフォルト値1を有し、特定の状況に応じてユーザが調整可能である。
【００２２】
画像階調度に対する連続した画像間のピクセル値の変化(T-(|dx|+|dy|)*r)は、閾値レベルaと比較される。相対的な変化が閾値よりも小さい場合、354でピクセルは背景ピクセルとして分類され、そうでない場合、352で該ピクセルは前景ピクセルとして分類される。即ち、本発明によれば、2つの並べられた連続した画像における対応したピクセルの値の変化が、画像内のピクセル値の変化の指標よりもある閾値分大きい場合、該ピクセルは、静止背景画像要素を含むピクセルとは識別可能である前景ピクセルとして分類される。試験350の閾値レベルは、試験330において用いられるのと同じ閾値レベルである必要はなく、正の値に限定されないことに注意されたい。当業者には明らかであるように、不整列係数及び閾値レベルは、背景ピクセルと前景ピクセルとを区別するための他の基準を実行するために様々な形式で組み合わせられてもよい。また、試験350を鑑みて、試験330は明らかに不必要であることに注意されたい。試験330は、画像間にほとんど又は全く変化のないピクセルについて画像階調度340を計算しなければならないことを防止するために好適な実施例に含められる。
【００２３】
画像階調度の指標の決定と同様に、適用されてもよい代わりの試験350がある。例えば、変化Tが、軸の各々(合計ではなく)の最大の階調度と比較されてもよい。同様に、判定基準は、Tと階調度の指標の要素との比較等(各軸の最大階調度よりも20％高い等)の相対的又は標準化された比較であっても良い。これらの及び他の画像間のピクセル値の差を画像中のピクセル値の差と比較するための技術は当業者に明らかである。
【００２４】
前述は、本発明の原理を示すに過ぎない。よって、当業者は、ここで明示的に説明又は示されないが本発明の原理を実現している、請求項の精神及び範囲内にある種々の装置を考案することが可能であることが理解されるであろう。
【図面の簡単な説明】
【００２５】
【図１】本発明による画像処理システムの流れ図の例を示す。
【図２】本発明による画像処理システムのブロック図の例を示す。
【図３】本発明による背景ピクセルと前景ピクセルとを区別するためのプロセスの流れ図の例を示す。

Claims (17)

1. 画像のシーケンスにおける動きを識別するための方法において、
   - 第1の画像のピクセルと第2の画像の対応したピクセルとの間のピクセル値の差を決定するステップと、
   - 前記ピクセルの近くの画像階調度の指標を決定するステップと、
   - 前記ピクセルをピクセル値の前記差及び前記画像階調度の指標に基づいて静止していると分類するステップと、
   を有する方法。
2. 請求項1に記載の方法において、前記ピクセルを、ピクセル値の前記差と規定された閾値レベルとの比較に基づいて静止していると分類するステップを更に含む方法。
3. 請求項1に記載の方法において、前記画像階調度を決定するステップは、
   - 前記ピクセルの左のピクセルと右のピクセルとの間のピクセル値の第1の平均変化を決定するステップと、
   - 前記ピクセルの上のピクセルと下のピクセルとの間のピクセル値の第2の平均変化を決定するステップと、
   を含む、方法。
4. 請求項1に記載の方法において、前記第1の画像と前記第2の画像とを並べるステップを更に含む方法。
5. 請求項1に記載の方法において、ピクセル値の前記差と前記画像階調度の指標との差が規定された閾値レベルよりも大きい場合に前記ピクセルを静止していないと分類するステップを含む方法。
6. 請求項1に記載の方法において、
   前記ピクセルを分類するステップは、更に、前記第1の及び第2の画像間の不整列の推定に対応する不整列係数に基づく、方法。
7. - 第1の画像のピクセルと第2の画像の対応したピクセルとの間のピクセル値の差を決定するステップと、
   - ピクセルの近くの画像階調度の指標を決定するステップと、
   - 前記ピクセルをピクセル値の前記差及び前記画像階調度の指標に基づいて静止データ又は移動データを含むと分類するステップと、
   を実行するように構成されるプロセッサを有する動き検知システム。
8. 請求項7に記載の動き検知システムにおいて、前記プロセッサは更に、ピクセル値の前記差と
   - 規定された閾値レベルと、
   - 前記第1の及び第2の画像間の不整列の程度に対応する不整列係数に依存する閾値レベルと、
   のうちの少なくとも1つとの比較に基づいて、前記ピクセルを静止データ又は移動データを含むと分類するように構成される、システム。
9. 請求項7に記載の動き検知システムにおいて、前記プロセッサは、前記画像階調度を
   - 前記ピクセルの左のピクセルと右のピクセルとの間のピクセル値の第1の平均変化を決定するステップと、
   - 前記ピクセルの上のピクセルと下のピクセルとの間のピクセル値の第2の平均変化を決定するステップと、
   によって決定するように構成される、システム。
10. 請求項7に記載の動き検知システムにおいて、前記プロセッサは、更に、前記第1の画像と第2の画像とを並べるように構成される、システム。
11. 請求項7に記載の動き検知システムにおいて、前記プロセッサは、ピクセル値の前記差と前記画像階調度の指標との差が規定された閾値レベルより大きい場合に前記ピクセルが移動データを含むと分類する、システム。
12. 請求項7に記載の動き検知システムにおいて、前記第1の及び第2の画像を提供するように構成される1つ以上のカメラを更に含むシステム。
13. プロセッサによって実行されると、当該プロセッサに
    - 第1の画像のピクセルと第2の画像の対応したピクセルとの間のピクセル値の差を決定するステップと、
    - ピクセルの近くの画像階調度の指標を決定するステップと、
    - 前記ピクセルをピクセル値の前記差及び前記画像階調度の指標に基づいて静止データ又は移動データを含むと分類するステップと、
    を実行させるコンピュータプログラム。
14. 請求項13に記載のコンピュータプログラムにおいて、前記プロセッサに更に、ピクセル値の前記差と
    - 規定された閾値レベルと、
    - 前記第1の及び第2の画像間の不整列の程度に対応する不整列係数に依存する閾値レベルと、
    のうちの少なくとも1つとの比較に基づいて、前記ピクセルを静止データ又は移動データを含むと分類させる、コンピュータプログラム。
15. 請求項13に記載のコンピュータプログラムにおいて、前記画像階調度は、
    - 前記ピクセルの左のピクセルと右のピクセルとの間のピクセル値の第1の平均変化を決定するステップと、
    - 前記ピクセルの上のピクセルと下のピクセルとの間のピクセル値の第2の平均変化を決定するステップと、
    によって決定される、コンピュータプログラム。
16. 請求項13に記載のコンピュータプログラムにおいて、前記プロセッサに、更に、前記第1の画像と第2の画像とを並べさせる、コンピュータプログラム。
17. 請求項13に記載のコンピュータプログラムにおいて、前記プロセッサに、ピクセル値の前記差と前記画像階調度の指標との差が規定された閾値レベルより大きい場合に前記ピクセルが移動データを含むと分類させる、コンピュータプログラム。

Images