JP2015216635A - 環境における物体を追跡する方法及びシステム - Google Patents

Abstract

【課題】変化する外観、遮蔽、カメラ及び物体の動き、照明の変動、並びに背景散乱等の環境における物体を追跡する方法及びシステムを提供する。【解決手段】方法及びシステムが、第１のフレームレートを有する可視光カメラ１１０を用いて環境の第１の画像シーケンスを取得するとともに、第２のフレームレートを有する熱赤外線センサ１２０を用いて第２の画像シーケンスを取得することによって、環境における物体を追跡する。第２のフレームレートは、第１のフレームレートよりも大幅に低い。物体は、第１の画像シーケンスにおいて追跡されて、トラックが取得される。第２の画像シーケンスにおける温暖領域が検出されて、検出物が取得される。これらのトラック及び検出物は、空間的及び時間的に位置合わせされ、位置合わせ後にこれらのトラック及び検出物が一致するか否かを判断するために検証される。【選択図】図１Ａ

Description

本発明の分野は、包括的には、コンピュータービジョンに関し、より詳細には、画像シーケンスにおいて人物をオンライン及びリアルタイムで追跡することに関する。

人物追跡は、コンピュータービジョンにおける基本的な問題のうちの１つである。ＲＧＢ（赤緑青）カメラとも呼ばれる可視光ビデオカメラを用いて人物及び他の物体を追跡することに関して広範な研究が行われてきた。多くの進展にもかかわらず、人物追跡は、変化する外観、遮蔽、カメラ及び物体の動き、照明の変動、並びに背景散乱等の要因に起因して大部分が未解決の問題のままである。外観の曖昧さに対処するために、スパース表現（sparse representation）、テンプレートの選択及び更新、部分空間ベースの追跡、並びに特徴記述子等の技法に基づく様々な方法が存在する。

外観の曖昧さに対する根本的に異なる手法は、複数の方式（modalities：モダリティ）のセンシングを用いることに基づいている。複数方式（multimodal：マルチモーダル）の人物追跡のための１つの選択肢は、熱赤外線（ＩＲ）カメラをＲＧＢカメラと組み合わせて用いることである。しかしながら、熱撮像の普及（広範囲に及ぶ採用）は、熱赤外線カメラの法外に高いコストによって妨げられてきた。本明細書において、「赤外線」という用語及びその省略形「ＩＲ」は、専ら熱赤外線信号のみを指すのに用いられ、近赤外線（ＮＩＲ）信号を指すのには用いられない。「ＲＧＢカメラ」という用語は、電磁スペクトルの可視域において動作するビデオカメラを指すのに用いられる。「ＲＧＢカメラ」という用語は、カラーカメラだけでなく、モノクロカメラ又はグレイスケールカメラも包含するのに用いられる。

種々の方式にわたる情報融合は、様々なレベルで行うことができる。例えば、低レベルの融合手法は、特徴量が求められる前に、ＲＧＢ情報及びＩＲ情報をピクセルレベルで組み合わせることができる。しかしながら、ＲＧＢカメラ及びＩＲセンサの空間解像度及び時間解像度の間に大きな相違がある場合、低レベルの情報を融合することが妨げられる。高レベルの融合手法では、２つの方式における完全に独立した追跡を適用した後に大局的な決定に達する場合がある。

次に、３つのタイプのセットアップ、すなわち、ＲＧＢカメラ単独（ＲＧＢカメラのみの追跡）、ＩＲセンサ単独、又はＩＲセンサ及びＲＧＢカメラの双方の組み合わせ（ＲＧＢ＋ＩＲ）を用いた追跡の従来技術の手法を説明する。

ＲＧＢカメラのみの追跡
ここでは、ＲＧＢカメラのみの追跡の３つの基本的な手法を説明する。視覚的追跡として知られている第１の手法では、追跡される単一の物体が、ビデオシーケンスの最初の画像において手動でマーキングされる。次に、後続のビデオ画像とともに、最初の画像におけるその物体及び背景の外観を用いて、そのシーケンスにわたって、その物体が追跡される。しかしながら、視覚的追跡方法は、トラック（tracks：軌跡）の自動的な初期化を含まず、このことは、多くの実世界の用途にとって問題である。さらに、視覚的追跡方法は、通常、一時に１つの物体しか追跡せず、長いシーケンスにおいては対象物体からいつの間にか離れる傾向がある。

ＲＧＢカメラのみの追跡の第２の手法である「検出による追跡」手法は、複数人物追跡のためのより完全な解決策を提供する。検出による追跡方法は、画像において人物を検出し、次いで、外観及び他のキューを用いてこれらの検出物（detections）をトラックに組み合わせる人物検出器に依拠している。そのような方法は、多くの場合、比較的低速の（リアルタイムでない）人物検出器を用い、オフラインプロセスでトラックを組み合わせる。

ＲＧＢカメラのみの追跡のための代替的なパラダイム（paradigm）は、検出及び追跡を、オンライン手順と、より密接に統合するものである。この第３のパラダイムの例には、「検出及び追跡」手法が含まれる。この手法は、背景モデルを用いて追跡候補の物体を検出し、検出及び追跡をフィードバックループにおいて連結する。

ＩＲのみの追跡
熱ＩＲ撮像は、温度差によって人物を背景から区別する際に利点を提供する。広く採用されている最も単純な手法は、強度閾値処理及び形状解析を用いて、人物を検出及び追跡する。勾配方向ヒストグラム（ＨｏＧ：Histograms of oriented Gradients）等のＲＧＢ画像において従来用いられていた特徴量及び他の不変の特徴量は、人物検出用のＩＲ画像に適合されている。赤外線による背景モデル化をグルーピング解析と組み合わせて長期占有解析を行うことができる。

ＲＧＢ＋ＩＲを用いた追跡
従来技術の手法は、ＩＲストリーム及びＲＧＢストリームからの情報が組み合わされるレベルが異なる。非特許文献１は、ＲＧＢ情報及びＩＲ情報を低レベルにおいて組み合わせるシステムを記載している。彼らのシステムは、ＲＧＢカメラ及び熱ＩＲカメラからの入力を用いて組み合わされた背景モデルを構築し、歩行者を追跡する。

これとは対照的に、非特許文献２のシステムは、ＲＧＢ情報及びＩＲ情報を中間レベルにおいてマージする。彼らのシステムは、都市部の設定における永続的な物体の検出に熱画像及び可視画像を用いる。熱領域における統計的背景差分が用いられて、初期対象領域（ＲＯＩ：Regions-of-Interest）が特定される。色情報及び強度情報が、これらのエリア内で用いられて、可視領域における対応する対象領域が取得される。各領域内において、入力及び背景勾配情報が組み合わされて、輪郭顕著性マップ（contour saliency map）が形成される。

更に別の手法において、非特許文献３は、まず、ブロッブ（blobs）をＩＲカメラの出力及びＲＧＢカメラの出力において独立に追跡し、次いで、それらの情報を高レベルにおいてマージして、組み合わされたトラッカーを取得する。

ＲＧＢカメラ及びＩＲカメラを用いて追跡するこれらの従来技術の手法のそれぞれにおいて、ＩＲカメラは、ＲＧＢカメラとほぼ同じ高速フレームレートを有する。

特許文献１は、動きセンサを用いて、ライトをＯＮ及びＯＦＦにする。しかしながら、その方法は、人物の動きを室内の他の動きと区別することもできなければ、室内の人物の数を求めることもできない。

特許文献２は、ファン（fan）に取り付けられた可視光カメラを用いて人物を検出し、それに応じて、ファンをＯＮ及びＯＦＦにする。

特許文献３は、赤外線カメラを用いて室内の人物を検出し、それに応じて、空調システムを制御する。

米国特許第４，６３６，７７４号 米国特許第８，６３４，９６１号 米国特許第５，３３１，８２５号

Leykin及びHammoud、「Pedestrian tracking by fusion of thermal-visible surveillance videos」、Machine Vision and Applications、２００８年 Davis他、「Fusion-Based Background-Subtraction using Contour Saliency」、CVPR Workshop、２００５年 Zhao他、「Human Segmentation by Fusing Visible-light and Thermal Imagery」、ICCV Workshop、２００９年

本発明の実施の形態は、主として、機器、例えば暖房換気空調（ＨＶＡＣ）システムの制御を改善する目的で、室内環境における人物を検出して追跡する方法を提供する。本方法は、低フレームレートの赤外線（ＩＲ）センサ及び相対的に高いフレームレートの可視光（ＲＧＢ）ビデオカメラによって取得された画像を用いる。赤外線センサのフレームレートは、可視光カメラのフレームレートよりもはるかに低く（例えば、１８００倍又は３桁低く）することができ、例えば、３０フレーム毎秒に対して約１フレーム毎分とすることができる。

可視光画像は、背景モデルを用いて物体、例えば人物を追跡するのに用いられる。赤外線画像は、温暖領域を検出するのに用いられる。例えば、室内環境の標準的な周囲温度は、通常、摂氏２０度〜摂氏２５度の範囲にある。したがって、温暖領域は、摂氏２５度等の閾値の値よりも高い温度を有する。

物体のトラック及び温暖領域の検出物は、時空間的に位置合わせされる。この位置合わせによって、トラック及び検出物の一致を検証することが可能になる。これによって、誤検知（false positive：偽陽性）のトラックをなくすことが可能になり、静的なトラックの境界が改善され、幾つかの状況では、新たなトラックが生成され、検知漏れ（false negative：偽陰性）をなくすことができるようにモデルが更新される。

本実施の形態は、ＲＧＢカメラと同じ場所に配置されたスキャン型の低コストで低解像度の熱赤外線（ＩＲ）センサを用いた人物追跡フレームワークを記述している。このＩＲセンサは、低い時間的解像度及び空間的解像度のために、動く人物を追跡することができず、人物以外の温暖領域を検出する傾向がある。したがって、このＩＲセンサのみを用いたＩＲのみの追跡（IR-only tracking）は問題がある。

しかしながら、このＩＲセンサのこの限られた能力にもかかわらず、このＩＲセンサは、リアルタイムのＲＧＢカメラベースのトラッカーの誤りを訂正するのに効果的に用いることができる。カメラ及びＩＲセンサからの信号は、これらの２つの方式間のピクセルごとの幾何学的対応関係を求めることによって空間的に位置合わせされる。これらの信号は、スキャン型ＩＲセンサの時間的ダイナミクスをモデル化することによって時間的に位置合わせされる。この空間的及び時間的な位置合わせによって、基本的な推論の賢明な適用に基づく、追跡に対する複数方式の改良が可能になる。

このＲＧＢ＋ＩＲの組み合わせシステムは、誤検知の排除と、追跡される物体のセグメンテーションの改良と、カメラのみのトラッカーによって見逃された人物の新たなトラックを開始することによる検知漏れの訂正とによって、ＲＧＢカメラのみの追跡（RGB camera-only tracking）を改良する。ＲＧＢ情報及び熱情報は、ＲＧＢカメラベースのトラックのレベルにおいて組み合わされるので、本方法は、特定のカメラベースのトラッカーに限定されない。本方法は、ＲＧＢカメラの入力のみを用いる任意のトラッカーの結果を改善することができる。

本実施の形態は、非常に低コストの温度センサであっても、低コストのＲＧＢビデオカメラとともに用いられると、人物追跡を大幅に改良することができるという認識に基づいている。１つの実施の形態では、温度センサは、垂直ラインに配列された３２個の熱ＩＲ受信機のアレイを備える。このアレイは、モーターによって９４個の離散的なステップで前後に部分的に回転されて、１分の継続時間にわたって１４０度の（広い）視野のＩＲ画像を作成する。したがって、本発明のセンサは、１フレーム毎分（０．０１６６ｆｐｓ）のレートで３２×９４ピクセルの赤外線画像を作成する。

高価なＩＲカメラを用いると、熱ＩＲ画像のみを用いて追跡を行うことができる。しかしながら、本実施の形態は、低解像度で且つ極めて低いフレームレートのためにＩＲ情報のみを用いた追跡の可能性が妨げられている非常に低コストの熱赤外線センサを用いて何を行うことができるのかを検討している。

本システムは、ＲＧＢカメラを用いたリアルタイムの追跡をＩＲセンサからの情報と組み合わせて、双方の方式の利点を活用するとともにそれらの不利な点を最小にしている。ＲＧＢトラッカーは、背景のモデル化をテンプレート追跡と組み合わせる。ＲＧＢトラッカーは、動く人物を検出することに優れている。ＩＲセンサは、その極めて低いフレームレートに起因して、複数の人物が部屋を動き回っているときにそれらの人物を検出又は追跡するのに役立たず、また、ＩＲセンサは、その低い空間解像度に起因して、静止した人物を他の静止した暖かい物体と容易に区別することができない。しかしながら、ＩＲセンサは、静止した人物を常に熱源として示す点で極めて信頼性が高い。

熱ＩＲセンサからの低頻度の情報をＲＧＢトラッカーからの高レベルのトラックと賢明な方法で組み合わせることによって、本システムは、ＲＧＢカメラのみのトラッカーを多くの状況において改良し、様々な誤検知及び検知漏れをなくし、真の検出物の領域境界を改善する。

本実施の形態の焦点は、室内シーンにおいて人物を追跡することにある。室内シーンには、人物に加えて、コンピューター、モニター及びＴＶスクリーン、ホットドリンク、並びにルームヒーター等の多くの暖かい無生物の物体が存在する可能性がある。ＩＲセンサの低い空間的、時間的、及び熱的な解像度、並びに衣服に起因した人物の温度プロファイルの変動を考えると、ＩＲ画像における単純な背景差分を用いて人物のロケーションを求めることはできない。

本発明の実施形態による人物を追跡する方法の流れ図である。 熱ＩＲ画像、対応する可視光（ＲＧＢ）画像、ＩＲ画像における温暖領域のバウンディングボックス、及びＲＧＢ画像における対応する領域を示す図である。 本発明の実施形態による、（ａ）モーターによって回転された垂直ラインに配列された熱ＩＲ受信機のアレイを備える温度センサの概略図、および、（ｂ）２つの時間インスタンスにおいて取得されたＲＧＢ画像である。 本発明の実施形態に従って用いられる較正手順の概略図である。 本発明の実施形態による、ＲＧＢ画像とＩＲ画像との間の重複部分の量を求めるための手順の流れ図である。

図１Ａは、本発明の実施形態による、環境１０２において人物１０１を検出及び追跡する方法及びシステムを示している。この環境の第１の画像シーケンス１１１は、第１のフレームレートを有する可視光（ＲＧＢ）カメラ１１０によって取得される。この環境の第２の画像シーケンス１２１は、第２のフレームレートを有する赤外線（ＩＲ）センサ１２０によって取得される。第２のフレームレートは、第１のフレームレートよりも大幅に低い。幾つかの実施形態では、ＩＲセンサからの画像の解像度は、ＲＧＢカメラからの画像の解像度よりもはるかに低い。１つの実施形態では、温度センサは、垂直ラインに配列された３２個の熱ＩＲ受信機のアレイを備える。このアレイは、モーターによって９４個の離散的なステップで前後に部分的に回転されて（２００）、１分の継続時間にわたって１４０度の視野のＩＲ画像を作成する（図２（ａ）参照）。これらのＲＧＢカメラ及びＩＲセンサは、実質的に同じ場所に配置されている。

物体、例えば人物は、背景モデル（Ｍ）１１３を用いて第１の画像シーケンスにおいて追跡され（１１２）、（人物）トラック１１４が取得される。温暖領域が第２の画像シーケンスにおいて検出され（１２２）、（熱）検出物１２４が取得される。これらのトラック及び検出物は、時空間的に位置合わせされて、位置合わせされたトラック及び検出物が取得される（１３１）。

次に、位置合わせされたトラック及び検出物が一致するか否かが検証される（１４０）。検証されたトラックのバウンディングボックスは、対応する検出バウンディングボックスに等しくなるように更新される（１５０）。検証されていないトラックは削除される（１６０）。この結果、新たな現在のトラック１７０のセットが得られる。次に、背景モデルが、現在のトラックの外部にあるあらゆるピクセルについて更新される（１８０）。これによって、新たな背景モデル１１３が得られる。

この方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力／出力インターフェースに接続されたプロセッサにおいて実行することができる。

トラックは、環境内の機器、例えば、暖房換気空調（ＨＶＡＣ）システム１０５を制御するのに用いることができる。

利点として、これらの実施形態によるシステムは、安価なビデオカメラ及び安価な低フレームレート赤外線センサを用いるが、それでも、正確な結果が取得される。赤外線カメラのフレームレートは、可視光カメラのフレームレートよりも大幅に低い。赤外線センサは、一時に１つの垂直スキャンラインを取得する。このスキャンラインは、対応する時間においてカメラによって取得された画像内のピクセルの少数の列に対応する。

位置合わせは、非線形マッピング及び線形ホモグラフィーマッピングの組み合わせを用いる。これらのマッピングは、以下で説明するワンタイム較正フェーズ中に取得することができる。時間の対応関係が、ビデオカメラ及び温度センサのタイプスタンプと、各センサの速度及び解像度の知識とを用いて求められる。

２つのセンサ間の空間及び時間の対応関係が得られると、人物のトラックのロケーション及び時間と重複するロケーション及び時間における熱画像内の温暖領域を調べることによって、ビデオカメラからの人物のトラックを検証することができる。ビデオカメラからのトラックと温度センサからの温暖領域との間に十分な重複部分が得られると、トラックのサイズ及び位置が、バウンディングボックスを用いて、温度センサからの温暖領域の周囲にぴったりと適合するように調整される。これによって、トラックがシーン内の追跡される人物の周囲にぴったりと適合するように精度が改善される。

図１Ｂは、熱画像１６１及び対応する可視光画像１６２を示している。熱画像１６１内の４つの温暖領域１７１〜１７４は、可視光画像１６２に示されるように、ラップトップコンピューター、人物、パーソナルコンピューターボックス、及びホットドリンクカップにそれぞれ対応する。これらの温暖領域は、或る閾値、例えば摂氏２５度よりも高い温度を有する。

時空間的位置合わせ
ＲＧＢ＋ＩＲ追跡における従来技術の研究は、比較的高価なＩＲカメラが、ＲＧＢカメラのフレームレートに匹敵するか又は同一となるフレームレートを有するセットアップを用いている。したがって、この分野における従来技術の研究は、空間的位置合わせのみを考慮し、おそらく、ＲＧＢフレームと、対応するＩＲフレームとの、単純な照合以外の時間的位置合わせを考慮していない。

図２（ａ）及び図２（ｂ）に示すような本発明におけるセットアップでは、非常に低コストのＩＲセンサは、ＲＧＢカメラよりも約１８００倍低速である。したがって、カメラ及びＩＲセンサからの信号（画像）の時間的位置合わせが必要とされる。さらに、本発明におけるＩＲセンサは、左右に非常に低速でスキャンを行い、カメラが複数の画像を取得するのと同じ時間量でＩＲ画像の単一の列を取得する。その結果、本発明の時間的位置合わせは、図２（ａ）に示すような各ＩＲ画像の１つ１つの列を、図２（ｂ）に示すような複数のＲＧＢ画像の対応する列と実際に位置合わせする。

例えば、１分間に、ＩＲセンサは、左から右にわたって全て通過して、ＩＲ画像の９４個の列を収集する。これらの列のうちの２つ（ｔ＝０及びｔ＝８０）が強調表示されている。ｔ＝０において取得された対応するＲＧＢ画像（２０１）及びｔ＝８０において取得された対応するＲＧＢ画像（２０２）が図示されている。時間ｔ＝０において取得されたＩＲ情報（ＩＲ画像の左端の列）は、上部のＲＧＢ画像の強調表示された垂直のストライプに対応する。時間ｔ＝８０において取得されたＩＲ情報は、下部のＲＧＢ画像の強調表示された垂直のストライプに対応する。

空間的位置合わせ
ＲＧＢカメラ及びＩＲセンサによって取得された画像は、空間的に位置合わせされる。ＲＧＢ＋ＩＲ追跡に関するこれまでの研究のほとんどにおいて、ＲＧＢカメラ及びＩＲカメラの出力は、線形カメラモデルによって良好に近似され、そのため、空間的位置合わせは、それらの２つの画像間のホモグラフィー（３×３線形射影変換）を用いて行うことができる。

本発明のセットアップでは、ＲＧＢカメラ及びＩＲセンサの双方が、大きな径方向歪を有する広角のセンサである。このため、単純なホモグラフィーは、カメラ及びセンサからの画像を見当合わせするのに十分でない。奥行きの不一致に起因した位置合わせ問題を最小にするために、ＲＧＢカメラ１１０及びＩＲセンサ１２０は、ほぼ同じ位置に配置される。すなわち、これらの２つのセンサは、互いに可能な限り物理的に接近して配置される（図２（ａ）参照）。

図３に示すように、ＲＧＢカメラからの画像３０１及びＩＲセンサからの画像３０２に用いられる較正基板は、５×３の白熱灯のグリッドを備える。それらの白熱灯は、ＯＮであるとき加熱するので、本発明の低コストで低解像度の温度センサにも容易に可視である。白熱灯の中心は、白熱灯の既知の空間的配列によって制約された高強度（明るい又は暖かい）領域を見つけるための手順によってＲＧＢ画像及びＩＲ画像の双方において自動的に見つけられる。

較正基板の画像内の１５個の対応する点を用いて、まず、ＲＧＢカメラ及びＩＲセンサが個々に較正され、それらの径方向歪パラメーター及び接線方向歪パラメーターが推定される。これによって、生のＲＧＢ画像又はＩＲ画像のピクセルを対応する無歪の画像におけるピクセルにマッピングする非線形マッピングｄ_ｒｇｂ及びｄ_ｉｒが得られる。

次に、これらの画像は、推定された歪パラメーターを用いて湾曲されて、無歪のＩＲ画像３０４及びＲＧＢ画像３０３が作成される。ここで、各無歪の画像は、線形カメラモデルに従う。次に、無歪のＲＧＢ画像と無歪のＩＲ画像との間の１５個の対応関係が用いられて、ホモグラフィー行列Ｈが突き止められる。ＲＧＢカメラ及びＩＲセンサは、ほぼ同じ位置に配置されているので、Ｈは、無限のホモグラフィーを表し、これらのホモグラフィーは、均等スケーリングを有する直接線形変換（ＤＬＴ：Direct Linear Transformation）を用いて求められる。

ＩＲ画像からＲＧＢ画像への順方向マッピングは、以下の式で示されるＦとして表される。

ここで、ｘ_ｒｇｂは、ＩＲ画像におけるピクセルロケーションｘ_ｉｒに対応する、ＲＧＢ画像におけるピクセルのロケーションである。

時間的位置合わせ
おそらく、これまでの研究では、異なる方式に用いられるセンサは、通常、同様のフレームレートを有することから、ＩＲ撮像方式及びＲＧＢ撮像方式からのデータの時間的位置合わせに関する研究は、非常に限られたものである。１つの方法は、ジェネレータロッキング（generator locking）を用いて、２つのカメラフレームのクロックを同期させることを可能にする。しかしながら、そのようなハードウェア手法は、本発明のＩＲセンサのフレームレートが非常に低いので、本発明のシステムに適用することができない。本発明の赤外線センサは、左から右に移動する離散的なステップでシーンをスキャンして、１つの１４０度の視野画像を得て、これに続いて、右から左にスキャンして第２の１４０度の視野画像を得る単一列の３２個のＩＲセンサを用いる。

センサに対する本発明のインターフェースは、ＩＲ画像の各列が検知されると、この各列を送信するのではなく、１分間の長さのスキャン全体（フルＩＲ画像）の終了まで待機することを要する。この終了時点において、ＩＲ画像全体が送信される。均一な速度プロファイルを有するＩＲカメラの動的な動きがモデル化され、ＩＲ画像及びＲＧＢ画像のタイムスタンプが、上記で説明した空間的位置合わせとともに用いられて、各ＩＲ画像の各列が、対応するＲＧＢ画像の対応する垂直のストライプにマッピングされる。本発明の方法は、ＩＲ画像の各列を、検知後に別々に送信するＩＲセンサとともに用いこともできることが理解される。

ＲＧＢカメラとＩＲセンサとの間の正確な時空間の対応関係が、本発明者らの手法には必要である。例えば、或る人物がシーン内に歩いて入ってきて、着座するものと仮定する。この人物は、ＲＧＢトラッカーによって静的なトラックとして表される。次のＩＲ画像が届くと、システムは、そのＩＲ画像内の対応する領域を用いてあらゆる静的なＲＧＢトラックを検証する。静的なＲＧＢトラックは、ＩＲにおける温暖領域に対応する場合には実際に静止した人物であり、そうでない場合には誤検知である。ＩＲ画像が届いたとき、本発明のシステムは、ＩＲセンサが静的なトラックのロケーションを、そのトラックがそのロケーションに到着した後にスキャンした場合にのみ、この検証を実行すべきである。このタイプの推論は、精密な時空間の対応関係を必要とする。

ＲＧＢトラッカー
本発明者らのシステムは、ＲＧＢカメラベースのトラッカーからの高レベルの情報をＩＲストリームからの中間レベルの情報（領域）と統合する。ＲＧＢトラッカーからの情報は、高レベル（トラックレベル）で統合されるので、用いられる特定のＲＧＢトラッカーの詳細はそれほど重要ではない。本発明のＲＧＢ＋ＩＲ融合方法は、用いられる特定のＲＧＢトラッカーに限定されるものではない。本方法は、様々なリアルタイムのオンラインＲＧＢトラッカーとともに機能することができる。したがって、用いられる特定のＲＧＢトラッカーの網羅的な説明についてはここでは行わない。

しかしながら、本発明のＲＧＢトラッカーの基本的な理解を与えるために、ここで本発明のＲＧＢトラッカーを手短に説明することにする。本発明のＲＧＢトラッカーは、室内の生活空間の長いビデオシーケンスに対する使用を目的としたスタンドアローン型のリアルタイム追跡システムに由来している。そのような環境は、追跡及び人物検出のための標準的なデータセットに存在しない特定の課題（challenges）を提起する。これらの課題には、長椅子に着座している人物又は横になっている人物等の通常でない姿勢にある人物、長い時間期間の間静止している人物、例えば、ＴＶを鑑賞している人物又は眠っている人物、通常でない視点、例えば、部屋の後方の高所にある広角カメラから視認される人物、並びに不十分な照明及び／又は素早く変化する照明が含まれる。

そのようなビデオシーケンスは、多くの従来のトラッカー及び人物検出器を機能しなくさせる。生活環境において取得された長いビデオシーケンスに対する実験では、本発明のＲＧＢトラッカーが、多くの従来技術の追跡システムよりも性能が優れていることが判明している。

ピクセル単位のガウス背景モデルを用いて、ＲＧＢ画像における前景物体が検出される。検出された前景物体は、テンプレートトラッカーを用いて追跡される。この背景モデルは、あらゆる新たな画像を用いて更新されるが、人物のトラック内にないピクセルについてのみ更新される。前景の検出物は、重複部分の量に基づいてテンプレートトラックに関連付けられる。存在するトラックと重複しないいずれの前景検出物も新たな検出物として扱われる。一組の視覚的キューを用いて、追跡したい前景物体である人物が、追跡したくない、部屋に持ち込まれた新たな物体、移動された家具等の他の前景物体と区別される。主な視覚的キューは動きである。物体が、（動いていない物体又はファン若しくははためいているカーテン等の所定の場所で動く物体とは対照的に）当初、部屋を動き回っている場合、その物体は人物であると仮定される。

人物として分類される全ての前景物体は、色ヒストグラム等の関連付けられたアイデンティティ記述子（identity descriptor）を有する。以前のアイデンティティ記述子と一致するものは、別の視覚的キューである。新たに検出された前景物体が動いていない場合、その前景物体は、人物として分類されて追跡され続けるためには、記憶されたアイデンティティ記述子と一致しなければならない。この視覚的キューは、或る人物が、歩いて部屋に入ってきて、動きを止め、前方を通過する別の人物によって遮られて、その後、この遮りが解除される間、静止したままである場合を取り扱う。この人物が、前方を通過する人物による遮りを解除された直後、この静止した人物は、背景モデルと一致しないので、前景として新たに検出される。このトラックは、部屋を動き回っていないので、人物として分類されるためには、記憶されたアイデンティティ記述子と一致することが必要となる。これとは対照的に、記憶されたアイデンティティ記述子と一致しない新たに検出された静的な前景物体は、人物以外のもの（non-people）として分類されて、追跡されない。

これらは、本発明のトラッカーが用いる主な視覚的キューであるが、あまり重要でない他の幾つかのものがある。これらの視覚的キューを用いると、本発明のＲＧＢトラッカーは、室内環境における人物を確実に追跡することができる。さらに、これらのキューを用いることは、本発明者らのシステムを従来の人物検出器よりも正確にするとともに、はるかに計算効率を良くするのに役立つ。

ＲＧＢ追跡の改善のためのＩＲの組み込み
本発明のＲＧＢトラッカーは、ほとんどの場合に良好に機能するが、人物以外の物体を追跡する場合（誤検知）及びトラック用のバウンディングボックスが人物の周囲にぴったりと適合しない場合がある。また、幾つかの場合には、本発明のトラッカーは、人物を追跡しない場合があり、これは、「検知漏れ」として知られている。これらの機能不良モードのそれぞれについて、低コストのＩＲセンサからの情報を用いて、その問題を訂正することができる。

１つの実施形態では、ＩＲカメラは、３２×９４ピクセルの解像度を有し、毎分１つの画像を生成する。ＲＧＢカメラは、４８０×６４０の解像度を有し、例えば、１０フレーム毎秒で動作する。新たな各ＩＲ画像が（例えば、毎分１回）届くと、そのＩＲ情報は、追跡に組み込まれる。他のフレームレート及び他の解像度も用いることができることが理解されるべきである。ただし、ＩＲセンサのフレームレート（例えば、１フレーム毎分）は、ＲＧＢカメラのフレームレート（例えば、数フレーム毎秒（several frames per second）（３フレーム以上、例えば、３０フレーム毎秒））よりも、はるかに低いことに留意すべきである。

一般に、本発明のシステムは、ＲＧＢカメラを用いてリアルタイムで追跡を行う。新たなＩＲ画像が（例えば、毎分１回）利用可能になると、このＩＲ画像において検出された温暖領域を用いて、静的なトラックの境界が検証されて改善され、幾つかの状況では、新たなトラックが生成される。ＩＲセンサは、そのような低フレームレートを有するので、静的なトラックにしか適用することができない。ＩＲ画像は、動く物体のトラックを検証又は改善するのに用いることはできない。なぜならば、動く物体は、比較的低速のＩＲセンサによっては取得されないか、又はＩＲ画像では深刻な時間的エイリアシング（aliasing）を生み出すからである。

ｔｒは特定のトラックを表すものとし、以下の式は、画像ｉにおけるトラックｔｒ用のバウンディングボックスを表すものとする。

ここで（ｘ，ｙ）、ｗ、及びｈは、それぞれバウンディングボックスの中心、幅、及び高さを表す。ＲＧＢカメラからの最後のｐ個の画像にわたるトラックｔｒの動きを以下の式として定義する。

ここで、||・||_１は、Ｌ_１ノルムを表し、ｆは、ＲＧＢカメラからの現在のフレーム（画像）のインデックスである。（本発明の実験では、ｐを、ＲＧＢカメラのフレームレートとＩＲセンサのフレームレートとの比の２分の１に設定した。）動きが閾値よりも小さいどのトラックも、静的なトラックとして分類される。

人物以外のトラック（Non-Person Track）の排除
背景モデルベースの追跡方法は、場合によっては、車輪を転がして入ってきてから停止した無人のオフィスチェア等の人物以外の物体の動きに由来する誤検知を有することがある。これまで動いていた物体が静止すると、その物体の静止したトラックが、センサから届く次のＩＲ画像を用いて検証される。次のＩＲ画像が届くと、ＲＧＢ＋ＩＲシステムは、そのトラックを人物以外の物体（誤検知）として排除する。なぜならば、対応する温暖なＩＲ領域が存在しないからである。

図４に示すように、新たなＩＲ画像４０１が熱ＩＲセンサから取得されるごとに、ＲＧＢビデオストリーム４０２に現在存在するあらゆる静的なトラック４１２が、このＩＲ画像を用いて、温暖領域４１１がＩＲ画像内の対応するロケーションにおいて検出されるか否かを調べることによって検証される。ＩＲ画像において温暖領域を見つけるために、ＩＲ画像のピクセルが閾値処理され、閾値を超えるピクセルの接続された領域が見つけられる。

各温暖領域について、ＩＲ画像における最小包囲バウンディングボックス

が見つけられる。これは、空間的マッピングＦによって、ＲＧＢ画像における対応するバウンディングボックス

にマッピングされる。

が矩形のバウンディングボックスとなることを確保するために、空間的マッピングＦによってＩＲバウンディングボックスを変換した後、

は、変換されたＩＲバウンディングボックスの外接する矩形バウンディングボックスに等しくなるように設定される。

どのＩＲ領域（もし存在する場合）が各静的なトラック４１２に関連付けられるのかを見つけるために、ＩＲ画像におけるどの領域ｊについて、ＲＧＢ画像における対応するバウンディングボックス

が、トラックのバウンディングボックスｂｂ_ｔｒと最大の重複比ｏｖを有するのかが判断される（４２０）。下側閾値及び上側閾値を用いた重複部分の量に応じて、ＲＧＢトラックを排除することもでき（４２１）、あるいは、ＲＧＢトラックを検証することもでき（４２２）、あるいは、ＲＧＢトラックを検証してそのバウンディングボックスを改良することもできる（４２３）。

各トラックｔｒについて、現在のＩＲ画像におけるｎ個のＩＲ領域のセットからの対応するＩＲ領域ｊ^＊は、以下の式によって与えられる。

ここで、ｏｖは、以下の式によって与えられる、バウンディングボックスの重複比である。

最良の領域ｊ^＊が、

を有する場合、トラックｔｒは排除される（４２１）。ここで、τ_１は、第１の閾値を表す（例えば、τ_１＝０．１）。

より良好なバウンディングボックス
ＩＲ情報は、背景からの追跡される人物のより良好なセグメンテーションを取得するのに用いることもできる。ＲＧＢトラッカーは、背景差分を用いるので、局所的な背景と非常に類似した色を有する幾つかの前景領域、照明の変化、及び動きぶれ等の問題に起因して、不正確なバウンディングボックスを有する可能性がある。不正確なトラックバウンディングボックスを改善する（４２３）ために、重複比

が第２の閾値τ_２（例えば、τ_２＝０．３）よりも大きい場合には、ＲＧＢトラッカーからのバウンディングボックスｂｂ_ｔｒは、対応するＩＲ領域の変換されたバウンディングボックス

に取り替えられる。

新たなトラックの追加
ＩＲ情報は、新たなトラックを生成するのに用いることもできる。これは、２人以上の人物が、それらの人物の前景領域が重複又は接触するようにともに入ってくる室内状況において特に必要である。本発明のＲＧＢトラッカーにおけるトラックの境界は背景差分から得られるので、シーンに入ってくるときに互いに遮り合う人物の群は、単一のバウンディングボックスとして追跡される。そのような状況は、室内環境において一般に発生する可能性がある。

例えば、２人の人物が、ともに入ってきて長椅子に着座し、その後、それらの人物の一方は立ち去るが、他方の人物は長椅子に静止したままである。ＲＧＢトラッカーは、残っている前景物体が実際に人物であると推論することができない。なぜならば、その物体は、置き忘れた物体である場合があるからである。例えば、ＲＧＢトラッカーは、この状況を、単一の人物がスーツケースを運び込み、着座し、その後、立ち去ったが、彼のスーツケースをシーン内に残したままにしている状況と区別することができない。残っている人物は動いておらず、その人物は個別に追跡されてきたわけではないので、その人物のアイデンティティ記述子を突き止める機会はない。

そのような場合の特徴は、トラックが２つ（以上）の部分に分離し、それらの部分のうちの１つが静的であり、記憶されたどのアイデンティティ記述子とも一致しないということである。これらの場合、本発明のＲＧＢ＋ＩＲシステムは、その静的な部分のロケーションにフラグを付け、そのバウンディングボックスを記憶する。次のＩＲ画像が届くと、システムは、記憶されたバウンディングボックスと交差する（重複する）ＩＲ領域が存在するか否かを調べる。存在する場合、システムは、それが人物に違いないと結論付け、そのロケーションにおいて新たなトラックを開始する。これは、起こりそうもないシナリオのように見えるかもしれないが、実際には、生活環境においてかなり一般的に起こることである。

Claims (22)

1. 環境における物体を追跡する方法であって、
   第１のフレームレートを有するカメラを用いて前記環境の第１の画像シーケンスを取得することであって、前記カメラは可視光カメラであることと、
   第２のフレームレートを有するセンサを用いて前記環境の第２の画像シーケンスを取得することであって、前記センサは熱赤外線（ＩＲ）センサであり、前記第２のフレームレートは、前記第１のフレームレートよりも低いことと、
   前記第１の画像シーケンスにおける物体を追跡してトラックを取得することと、
   前記第２の画像シーケンスにおける温暖領域を検出して検出物を取得することと、
   前記トラック及び前記検出物を空間的及び時間的に位置合わせすることと、
   前記位置合わせの後に、前記トラック及び前記検出物が一致するか否かを検証することと
   を含む、環境における物体を追跡する方法。
2. 前記センサは、垂直ラインに配列された熱受信機のアレイを備え、前記方法は、
   前記アレイを離散的なステップで回転させることであって、前記第２の画像シーケンス用のＩＲ画像を作成すること、
   を更に含む、請求項１に記載の方法。
3. 前記カメラ及び前記センサは、実質的に同じ場所に配置されている、請求項１に記載の方法。
4. 前記トラック及び前記検出物に従って制御対象の機器を制御すること、
   を更に含む、請求項１に記載の方法。
5. 前記機器は、暖房換気空調（ＨＶＡＣ）システムである、請求項４に記載の方法。
6. 前記物体の前記追跡は、背景モデル及びテンプレートトラッカーを用いる、請求項１に記載の方法。
7. 検出物と一致しないトラックを削除すること、
   を更に含む、請求項１に記載の方法。
8. トラックが検出物と一致する場合、前記トラックのバウンディングボックスが前記検出物のバウンディングボックスと等しくなるように、前記トラックのバウンディングボックスを更新すること、
   を更に含む、請求項７に記載の方法。
9. 前記第１のフレームレートは数フレーム毎秒であり、前記第２のフレームレートは１フレーム毎分である、請求項１に記載の方法。
10. 位置合わせすることは、非線形マッピング及び線形ホモグラフィーマッピングの組み合わせを用いる、請求項１に記載の方法。
11. 人物として分類される前景物体は、関連付けられたアイデンティティ記述子を有する、請求項１に記載の方法。
12. 前記アイデンティティ記述子のそれぞれは、色ヒストグラムである、請求項１１に記載の方法。
13. 前記アイデンティティ記述子のうちのいずれとも一致しない新たに検出された静的な前景物体は、人物以外のものとして分類され、追跡されない、請求項１１に記載の方法。
14. 特定のトラックをｔｒによって表し、画像ｉにおけるバウンディングボックスｂｂ_ｔｒを
    

    

    によって表し、最後のｐ個の画像にわたるトラックｔｒの動きを
    

    

    として表すこと、
    を更に含み、ここで、（ｘ，ｙ）、ｗ、及びｈは、それぞれ、前記バウンディングボックスの中心、幅、及び高さを表し、Ｔは転置演算子であり、||・||_１は、Ｌ_１ノルムを表し、ｆは、前記第１のシーケンスにおける現在の画像のインデックスであり、ｐは、前記動きが計算される前記第１のシーケンスにおける画像の数であり、前記動きが閾値よりも小さな全てのトラックは、静的なトラックとして分類される、請求項１に記載の方法。
15. 前記温暖領域は、所定の閾値よりも大きい値を有する複数のピクセルの接続された領域を含む、請求項１に記載の方法。
16. 前記検証することは、前記トラックのバウンディングボックスと前記検出物のバウンディングボックスとの重複比を求めることを含む、請求項１に記載の方法。
17. 前記重複比に従って前記トラックは排除されるか又は検証される、請求項１６に記載の方法。
18. 前記ＩＲ画像は、広視野を有する、請求項１に記載の方法。
19. 前記第２のシーケンスにおける画像の解像度は、前記第１のシーケンスにおける画像の解像度よりも低い、請求項１に記載の方法。
20. トラックが２つ以上の部分にいつ分離するのかを判断することであって、前記部分のうちの１つは、静的な部分であり、前記アイデンティティ記述子のうちのいずれにも一致しないことと、
    前記静的な部分のバウンディングボックスを記憶することと、
    前記検出物のうちのいずれかが前記バウンディングボックスと一致する場合に、前記バウンディングボックスのロケーションにおける新たなトラックを初期化することと、
    を更に含む、請求項１１に記載の方法。
21. 前記ｐは、前記第１のフレームレートと前記第２のフレームレートとの比の２分の１である、請求項１４に記載の方法。
22. 環境における物体を追跡するためのシステムであって、
    第１のフレームレートを有し、前記環境の第１の画像シーケンスを取得するように構成されたカメラであって、該カメラは可視光カメラである、カメラと、
    第２のフレームレートを有し、前記環境の第２の画像シーケンスを取得するように構成されたセンサであって、該センサは熱赤外線（ＩＲ）センサであり、前記第２のフレームレートは、前記第１のフレームレートよりも低い、センサと、
    前記第１の画像シーケンスにおける物体を追跡してトラックを取得し、前記第２の画像シーケンスにおける温暖領域を検出して検出物を取得し、前記トラック及び前記検出物を空間的及び時間的に位置合わせし、前記位置合わせの後に前記トラック及び前記検出物が一致するか否かを検証するように構成されたプロセッサと、
    を備える、環境における物体を追跡するためのシステム。

Images