JP2004531823A - カラー分布に基づいたオブジェクトトラッキング - Google Patents

Abstract

ターゲット及び画像を特徴付けるために、カラーピクセルの色相及び彩度をグレーの又はグレーに近いピクセルの輝度と連動して用いる、カラーモデリング及びカラーマッチングのプロセス及びシステムが提供される。ターゲットはターゲット画像の色相及び彩度のヒストグラムによって特徴づけられ、より高い識別が色相に与えられる。グレーの又はグレーに近い画素の色相がノイズに非常に敏感であることを認識して、グレーの又はグレーに近いピクセルは、色相又は彩度ではなく輝度のヒストグラムとして符号化される。ターゲットトラッキングシステムは、一連の画像フレームの各画像フレームにおいて、一致するカラーの色相・彩度及びグレーの輝度のヒストグラムの類似した組の発生を捜す。

Description

【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に、カラー(特にカラーピクセルの色相及び彩度並びにグレーピクセルの輝度)の分布に基づいた、画像中のターゲットオブジェクトのトラッキングに関する。
【背景技術】
【０００２】
一般的に、動きに基づいたトラッキングは、一連の画像フレーム中で特定のオブジェクトをトラッキングするために用いられている。例えば、セキュリティシステムが、1つ以上のカメラからの画像を処理し、セキュリティ保護された場所への潜在的な侵入者を自主的に発見し、侵入者の移動経路に基づいて適切なアラーム通知を提供するように設定されることができる。同様に、テレビ会議システムが、選択された話者を自動的にトラッキングするように構成されることができ、又は、ホームオートメーションシステムが、居住者をトラッキングして、それに応じて、各居住者の位置に応じて照明及び機器を制御するように構成されることができる。
【０００３】
カメラからの一連の画像内の同じオブジェクトの認識に基づいて、種々の、動きに基づいたトラッキング技術が利用可能である。オブジェクトサイズ、形状、色等の特性が、潜在的に関心のあるオブジェクトを区別するために用いられることができ、パターンマッチング技術が、カメラからの一連の画像において、フレームからフレームへ同じオブジェクトの動きをトラッキングするために適用されることができる。画像トラッキングの分野において、「ターゲット」は、画像特性の組によってモデル化され、各画像フレーム又は画像フレームのサブセット内で、特性の類似した組が検索される。
【０００４】
しかし、正確且つ堅牢なターゲットモデリングは、一般に高解像度を必要とし、比較プロセスは、計算的に複雑であり得る。この計算の複雑性により、多くの場合、ターゲットトラッキングは非常に高速なコンピュータ又はオフライン(即ち非リアルタイム)処理に制限されることとなる。同様に、高解像度特性は、一般に、各ターゲット及び各画像フレームの詳細なデータを含むために相当なメモリ資源を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の1つの目的は、計算的に効率的であると共に比較的正確であるターゲットトラッキングシステム及び方法を提供することである。本発明の他の目的は、比較的少ない量のメモリ及び／又は処理資源を用いるターゲットモデリングシステム及び方法を提供することである。
【課題を解決するための手段】
【０００６】
これらの及び他の目的は、ターゲット及び画像を特徴付けるために、カラーピクセルの色相及び彩度をグレーの又はグレーに近い(near-gray)ピクセルの輝度と共に用いるカラーモデリング及びカラーマッチングのプロセス及びシステムを提供することによって達成される。ターゲットは、ターゲット画像における色相及び彩度のヒストグラムによって特徴づけられ、ここで色相にはより大きな区別が与えられる。グレーの又はグレーに近い画素(ピクセル)の色相がノイズに非常に敏感であることを認識して、グレーの又はグレーに近いピクセルは、色相又は彩度ではなく輝度のヒストグラムとして符合化される。ターゲットトラッキングシステムは、一連の画像フレームの各画像フレーム内で、一致するカラーの色相・彩度及びグレーの輝度のヒストグラムの類似した組の発生を捜す。計算及び記憶のタスクを更に簡略化するために、ターゲットは、画像フレームの長方形のセグメントとして規定される。カラーマッチングのタスクの計算の複雑性を低減するために、再帰的技術が使用される。
【発明を実施するための最良の形態】
【０００７】
本発明は、添付の図面を参照して、更に詳細に、例示により説明される。
【０００８】
図面の全体に亘って、同じ参照番号は、類似した又は対応した特徴又は機能を示す。
【０００９】
図1は、本発明による画像トラッキングシステム100の例示の流れ図を示す。110で、ビデオ入力が画像フレームの形で連続的に受信され、画像処理ループ140〜180を介して連続的に処理される。ある時点で、自動的に又は手動入力に基づいて、トラッキングするターゲットが120において画像フレーム内で選択される。ターゲットが識別された後、該ターゲットは、130で効率的な処理のためにモデル化される。現在の画像は、ブロック180において起こり得たカメラ調整を考慮して、ブロック140で、前の画像と並べられる。画像フレームのうちの前及び過去の画像を並べた後に、150で、フレーム内でのオブジェクトの動きが決定される。通常、トラッキングされているターゲットは、移動しているターゲットであり、独立して移動しているオブジェクトの識別は、バックグラウンドの詳細を無視することによって、ターゲットの位置を決定する効率を改善する。160で、ターゲットに対応する画像の一部又は画像中の移動しているオブジェクトの一部を識別するために、カラーマッチングが用いられる。170で、カラーマッチング及び／又は大きさ、形状、移動速度等の他の基準に基づいて、画像中でターゲットが識別される。
【００１０】
統合セキュリティシステムにおいて、一般に、ターゲットのトラッキングは、180において、トラッキングを促進するために1つ以上のカメラを制御することを含む。マルチカメラシステムにおいて、ターゲットトラッキングシステム100は、例えばターゲットがあるカメラの視界から他のカメラの視界へ移動するとき、トラッキングをあるカメラから他のカメラにいつ「引き渡す(hand-off)」か、を決定する。シングル又はマルチカメラシステムにおいて、ターゲットトラッキングシステム100は、カメラの視界を、カメラのパン、ティルト及びズームの制御(もしあれば)を通じて調整するように構成されてもよい。代替的に又は追加的に、ターゲットトラッキングシステム100は、カメラの手動制御又はカメラの選択のために、セキュリティ担当者にターゲットの移動を知らせるように構成されてもよい。
【００１１】
当業者に明らかであるように、特定のトラッキングシステムは、図1の例示システム100で示されるよりも少ない又は多い機能ブロックを含んでもよい。示されてはいないが、ターゲットトラッキングシステム100は、他の動作も遂行するように構成されてもよい。例えばセキュリティアプリケーションで、トラッキングシステム100は、例えば、ターゲットがセキュリティゾーンに入ったら可聴警報を稼動させるか又は遠くにある警備機関に警報を送るように構成されてもよい。ホームオートメーションアプリケーションにおいて、トラッキングシステム100は、例えば、居住者の移動経路に応じて機器及び照明をオンオフするように構成されてもよい。
【００１２】
好適には、トラッキングシステムは、ハードウエア装置と1つ以上のプログラムされたプロセッサとの組合せとして実施される。図2は、本発明による画像トラッキングシステム200の例示のブロック図を示す。1つ以上のカメラ210が、ビデオプロセッサ220に入力を提供する。ビデオプロセッサ220は、システムコントローラ240の管理下で、1つ以上のカメラ210からの画像を処理してメモリ250にターゲット特性を記憶する。好適な実施例において、システムコントローラ240は、更に、カメラ210の視野の制御を容易にし、ビデオプロセッサ220の機能を制御する。上記したように、トラッキングシステム200は、ビデオプロセッサ220によって提供されるトラッキング情報に基づいて、カメラ210を自動で制御してもよい。
【００１３】
本発明は、主にカラーマッチングタスク160を扱い、そして、これに対応するターゲットモデリングタスク130、また、本発明のカラーマッチングプロセスを達成するターゲット識別タスク170を扱う。カラーマッチングプロセスは、視覚的な特性の一部が、明暗、シャドウ及び反射等の環境の変化に幾分か影響されるという所見に基づいたものである。明確にするため、視覚的特性に影響を及ぼす、条件に対する抑制されていない変化を、ここで「ノイズ」と呼ぶ。
【００１４】
通常の環境で経験されるノイズは、一般に、環境条件が変化するときの、又は、オブジェクトがある組の環境条件から他の組の環境条件に移動するときの、オブジェクトの明るさの変化に関することが分かっている。本発明の好適な実施例において、明るさの色度からの分離を提供する表示が用いられ、明るさの変化に対して堅牢であると同時に色情報を保持するような表示が提供される。実験により、HSI(色相、彩度、輝度)カラーモデルが、ビデオイメージングにおいて一般的に用いられるRGB(赤、緑、青)カラーモデルよりも良い明るさと色度との間の分離を与えることが示されている。色相は、観察者によって知覚される支配的な色を表し、彩度は、相対的な純度、又は、色と混ざった白の量を表し、輝度は、色が与える光の量を指す主観的な基準である。例えば、YUV又は特に明るさと色度とを区別するために作製されるモデル等の他のモデルもまた、用いられてもよい。
【００１５】
図3は、本発明による色相及び彩度の合成ヒストグラム並びにグレー輝度特性を作製するための例示の流れ図を示し、これらは、図1中のブロック160及び対応するブロック130において用いられることができる。ここで、ソースはYUV成分又は他の成分を提供してもよいが入力画像はRGBカラー成分を有すると仮定され、HSIカラーモデルが画像を特徴付けるために用いられていると仮定される。310において、RGB画像はHSI画像に変換される。この変換を遂行するための式が下に提供され、他のカラーモデルフォーマットに、また、他のカラーモデルフォーマットから、変換するための式は、当業者に一般に知られている。
【数１】

【００１６】
輝度成分Iは、カラー成分の平均の大きさに対応するとみなすことができて、カラーの変化には実質的に依存せず、明るさの変化には非常に敏感である。色相成分Hは、赤・緑・青成分の間の相対的な差に対応するとみなすことができて、そのため、色の変化には敏感であり明るさの変化にはあまり依存しない。彩度成分Sは、カラー成分の平均大きさに対する最小カラー成分の比に基づくものであり、そのため、明るさの変化にはあまり依存しないが最小カラー成分に基づくため、色相成分よりもカラーの変化に対して幾分か依存度が低い。
【００１７】
しかし、色相成分は、カラー成分間の相対的な差に基づいており、グレーカラーについては未定義(名目上0)である点に注意する。グレーカラーは、赤・緑・青成分が互いに等しいときに生じる。色相成分は、グレーに近い色においても大きく変動する。例えば、RGB値(101、100、100)を有する「グレーに近い色」は、HSI値(0、0.0033、100.333)を有する一方、RGB値(100、101、100)は、HSI値(2.09、0.0033、100.333)を生じる。これらの2つのRGB値は(彩度及び輝度が一定値であることによって証明されたように)実質的に見分けがつかないにも関わらずである。色相及び彩度成分における同様の異常性は、低輝度のカラー測定においても同様に発生する。
【００１８】
実験により、色相及び彩度成分がカラーを区別するために効果的であり、真のカラーを区別するためには色相成分の方が彩度成分よりも堅牢であるが、グレー若しくはグレーに近いカラー又は全体的に低い輝度レベルを有するカラーについては、ノイズに対して非常に敏感であることが確認された。明確にするため、非常に低い輝度レベルを有するカラーは、ノンカラーとしてここで規定される。なぜなら、非常に低い輝度のピクセルのカラーは、黒(又はダークグレイ)からほぼ見分けがつかないため、及び／又は、カメラへの低輝度入力信号の真のカラー成分を決定することは高い雑音指数を有するためである。
【００１９】
本発明に従えば、別個のヒストグラムが、カラー(即ち非グレー)ピクセルをノンカラー(即ちグレー又はグレーに近い又は低輝度)ピクセルから特徴付けるために用いられる。これらの2つのヒストグラムの合成は、ターゲット特徴づけ、及び、続いて起こるこの特徴付けられたターゲットの動きをトラッキングするための画像内のカラーマッチングのために用いられる。図3の320に示されたように、好適には、グレーピクセル又はグレーに近いピクセル(R〜G〜B)が、RGB色空間のR=G=Bラインのトロイド内にある全てのカラーをグレーに近い色と規定することにより、識別される。このトロイドの半径は、各ピクセルをノングレー(カラー)又はグレー(ノンカラー)と規定するための境界を規定し、好適には帰納的に決定される。通常、カラーピクセルからグレーピクセルをフィルタリングするのには、カラー値の最大範囲の10パーセント未満の半径で十分である。
【００２０】
各色相・彩度対の発生を記録するために、330で、各カラーピクセルについてヒストグラムが作製される。色相がカラーをより敏感に識別すると分かったので、色相軸に沿ったヒストグラムの解像度は、彩度軸に沿った解像度よりも細かい。好適な実施例において、色相軸は32の色相値に分割され、彩度軸は4つの彩度値に分割される。これは、ターゲット内に含まれる色相・彩度対の分布を含む合計128個のヒストグラム「ビン(bin)」になる。340でグレーピクセルの輝度レベルのヒストグラムが作製され、わずか16個の異なる輝度レベルで、これをカラーヒストグラム情報と結合することで、グレーオブジェクト中で区別するのに十分である。これらの2つのヒストグラムは、ターゲットを特徴付けるために用いられる合成ヒストグラムを形成する。合成ヒストグラムは、異なった色相・彩度対及び輝度レベルの数の合計に等しい「ビン」の合計数を含む。
【００２１】
本発明に従って、グレーピクセルをフィルタ除去した後にカラー情報のヒストグラムを保持することによって、グレーの又はグレーに近いピクセル又はオブジェクトのカラー識別に一般的に関連した変動なしに、効率的で効果的なカラー識別が達成されることができる。輝度情報のヒストグラムをグレーピクセルのみについて保持することによって、異なった明暗条件の下でのカラーピクセルの輝度基準に一般的に関連した変動なしに、効率的で効果的な識別が達成されることができる。
【００２２】
好適な実施例において、ターゲットの合成ヒストグラムは、ターゲットとほぼ同じ大きさ及び形状の画像の領域に対応する同様に決定されたヒストグラムと比較される。好適には、比較プロセスを簡略化するために、ターゲットは長方形のオブジェクトとして、又は、同様に規定が簡単な領域形状として、識別される。図1のブロック170に対応して、様々なヒストグラム比較技術の全てを、ターゲットに最も密接に対応した画像の領域を決定するために用いることができる。選択されたヒストグラム比較技術は、図1のターゲットモデリングブロック130により図2のターゲット特性メモリ250において記憶されるターゲットの特性を決定する。
【００２３】
本発明の好適な実施例において、カラー(色相・彩度)及びノンカラーの(輝度)頻度カウントを含む合成ヒストグラムが用いられる。ここで、カラー及びノンカラーのヒストグラムは、各画像中の処理される対応する領域を決定するために独立して処理されてもよい。ヒストグラムが独立して処理される場合、異なったヒストグラム比較技術がカラーヒストグラム及びノンカラーのヒストグラムに適用されてもよい。
【００２４】
本発明の好適な実施例において、2001年5月11日出願のMiroslav Trajkovicの同時係属中の米国特許出願第09/854044号「Palette-based histogram matching」(代理人整理番号US010239)が、参照によりここに組み込まれ、ここに記載された高速ヒストグラム技術は、画像中のターゲットのカラー及びノンカラーピクセルの同様の分布を得るために用いられる。ヒストグラムを形成している可能なカラー及びノンカラーの値の全ての代わりに、ターゲット中に最もよく現れる(色相・彩度又は輝度の)N個の値を含むヒストグラムベクトルが、ターゲットを特徴付けるために用いられる。図1のターゲットモデリングブロック130は、図2のメモリ250に、このN要素ベクトル及びこのベクトルの各要素に対応するカラー又は輝度の識別をターゲット特性として記憶する。即ち、上に示された例示のパラメータを用いて、ターゲットヒストグラムは合計128個の可能な色相・彩度対(32個の色相レベルx 4個の彩度レベル)を有する。この例において、ノンカラーピクセルを特徴付けるのに8個の輝度レベルが用いられ、これにより、ターゲット中の色彩(色相・彩度)値又はグレースケール(輝度)レベルの出現の数を数えるための全部で136個の可能なヒストグラムクラス即ち「ビン」が提供されると仮定する。参照の容易のため、以下では、ピクセルがカラーとして又はノンカラーのどちらとして分類されるのかによって、色相・彩度対又は輝度レベルを指すのに、用語「合成値」が用いられる。好適な実施例において、ターゲット中の16個の最も頻繁に発生している合成値は、16要素ベクトルを形成する。これらの合成値の各々の識別及びターゲットの各合成値の出現の数は、メモリ250にターゲット特性として記憶される。ターゲットヒストグラムベクトルを形成している合成値の組はターゲットパレットと呼ばれ、N個の最も頻繁に発生する合成値の各々がパレット値と呼ばれる。
【００２５】
図1のブロック170のカラー比較を遂行するために、画像のターゲットパレット値の発生を識別するために画像が処理される。他の全ての合成値は無視される。画像の各ピクセルに対応するターゲットパレット値の識別を含むパレット画像が形成される。ターゲットパレットに含まれない合成値を含むピクセルは、ゼロ又はヌル値を割り当てられる。画像のターゲットサイズの領域の各非ゼロ入力のカウントは、領域に対応するヒストグラムベクトルを形成する。このように、ターゲットパレットに含まれない全画像ピクセル値を無視することによって、画像中の各ターゲットサイズの領域のためのヒストグラムベクトルを作製するのに必要とする時間は大いに低減される。参照された同時係属中の出願は、ヒストグラム作成プロセスの速度を更に向上させるための再帰的技術も開示する。各領域のターゲットに対する類似性の基準は、
【数２】

と決定される。ここで、hRは領域のヒストグラムベクトル、hTはターゲットのヒストグラムベクトル、そして、nは各ヒストグラムベクトルの寸法の長さ又は数である。上記したカラー及びノンカラーのマッチングに基づいて、ある最小標準化閾値を上回る、最も高い類似性基準を有する領域が、ターゲットを含む領域として規定される。
【００２６】
前述は、本発明の原理のみを示している。よって、当業者は、ここで明示的に説明又は示されないが本発明の原理を実現している、請求項の精神及び範囲内にある種々の装置を考案することが可能であることが理解されるであろう。
【図面の簡単な説明】
【００２７】
【図１】本発明による画像トラッキングシステムの例示の流れ図を示す。
【図２】本発明による画像トラッキングシステムの例示のブロック図を示す。
【図３】本発明による、カラーの色相及び彩度並びにグレーの輝度特性の合成ヒストグラムを作製するための例示の流れ図を示す。

Claims (15)

1. 画像を特徴付けるためのビデオ処理システムにおいて、
   前記画像のピクセルをカラーピクセルの第1の組及びノンカラーピクセルの第2の組に分割し、
   - カラーピクセルの前記第1の組の色彩成分のヒストグラムと、
   - ノンカラーピクセルの前記第2の組の明るさ成分のヒストグラムと、
   のうちの少なくとも1つを作製するように構成された特徴付け装置を有するシステム。
2. 請求項1に記載のビデオ処理システムにおいて、前記特徴付け装置は、更に、色彩成分の前記ヒストグラム及び明るさ成分の前記ヒストグラムを含む合成ヒストグラムを作製するように構成される、システム。
3. 請求項2に記載のビデオ処理システムにおいて、前記合成ヒストグラムがターゲットヒストグラムに対応し、当該ビデオ処理システムは、1つ以上の他の合成ヒストグラムを前記ターゲットヒストグラムと比較するように構成されるカラーマッチング装置を更に含む、システム。
4. 請求項3に記載のビデオ処理システムにおいて、
   - 前記ターゲットヒストグラムに対応するターゲットヒストグラムベクトルを作製するために、限られた数の異なった色彩成分値及び明るさ成分値が用いられ、
   - 前記カラーマッチング装置は、前記ターゲットヒストグラムに対応する前記限られた数の異なった色彩成分値及び明るさ成分値に基づいて、前記他の合成ヒストグラムに対応する1つ以上の他のヒストグラムベクトルを作製するように構成される、
   システム。
5. 請求項1に記載のビデオ処理システムにおいて、
   - 前記色彩成分は、色相・彩度・輝度カラーモデルの色相成分と彩度成分とのうちの少なくとも1つを含むことと、
   - 前記明るさ成分は、前記色相・彩度・輝度カラーモデルの輝度成分を含むことと、
   のうちの少なくとも一方を満たすシステム。
6. 請求項1に記載のビデオ処理システムにおいて、
   - 色彩成分の前記ヒストグラムがターゲットヒストグラムに対応し、
   - 当該ビデオ処理システムは、色彩成分の1つ以上の他のヒストグラムを前記ターゲットヒストグラムと比較するように構成されるカラーマッチング装置を更に含む、
   システム。
7. 請求項6に記載のビデオ処理システムにおいて、
   - 前記ターゲットヒストグラムに対応するターゲットヒストグラムベクトルを作製するために、限られた数の異なった色彩成分値が用いられ、
   - 前記カラーマッチング装置は、前記限られた数の異なった色彩成分値に基づいて、前記他のヒストグラムに対応する1つ以上の他のヒストグラムベクトルを作製するように構成される、
   システム。
8. 請求項1に記載のビデオ処理システムにおいて、ノンカラーピクセルの前記第2の組は、規定された色空間内のグレー値のラインから特定の距離以内にあるカラー値を有するピクセルとして規定される、システム。
9. 請求項1に記載のビデオ処理システムにおいて、各ピクセル値の赤・緑・青表示を前記ピクセル値の色相・彩度・輝度表示に変換するように構成されるカラーモデラを更に含むシステム。
10. 請求項1に記載のビデオ処理システムにおいて、色彩成分の前記ヒストグラムに基づいて1つ以上の画像のターゲットをトラッキングするように構成されるターゲットトラッカを更に含むシステム。
11. 画像を特徴付ける方法において、
    - 前記画像を有するピクセルをカラーピクセルの第1の組及びノンカラーピクセルの第2の組に分割するステップと、
    - * カラーピクセルの前記第1の組を有する色彩成分のヒストグラムと、
    * ノンカラーピクセルの前記第2の組の明るさ成分のヒストグラムと、
    のうちの少なくとも1つを作製するステップと、
    を有する方法。
12. 請求項11に記載の方法において、
    - 前記色彩成分は、各カラーピクセルの色相・彩度・輝度カラーモデルの色相成分及び彩度成分の少なくとも1つに対応することと、
    - 前記明るさ成分は、前記色相・彩度・輝度カラーモデルの輝度成分を含むことと、
    のうちの少なくとも1つを満たす方法。
13. 請求項11に記載の方法において、
    - 色彩成分の前記ヒストグラムがターゲットヒストグラムに対応し、
    - 当該方法は、色彩成分の1つ以上の他のヒストグラムを前記ターゲットヒストグラムと比較するステップを更に含む、
    方法。
14. 請求項11に記載の方法において、ノンカラーピクセルの前記第2の組は、規定された色空間内のグレー値のラインから特定の距離以内にあるカラー値を有するピクセルとして規定される、方法。
15. 請求項11に記載の方法において、各ピクセル値の赤・緑・青表示を前記ピクセル値の色相・彩度・輝度表示に変換するステップを更に含む方法。

Images