JP2009093644A - コンピュータによって実施されるシーン内を移動している物体の３ｄ位置を追跡する方法 - Google Patents

Abstract

【課題】コンピュータによって実施される方法は、シーン内を移動している物体の３Ｄ位置を追跡する。
【解決手段】画像シーケンスがシーンから複数のカメラから成るセットによって取得され、それによって、各時点に画像のセットがシーンから取得され、ここで各画像は複数のピクセルを含む。画像の各セットは、複数のピクセルを含む合成開口画像に統合され、ターゲットウィンドウの複数の位置と複数の深度とに対応する画像の各セット内のピクセルは、外観モデルとマッチングされ、複数の位置及び複数の深度のスコアが求められる。最大スコアを有する特定の位置及び特定の深度が移動している物体の３Ｄ位置として選択される。
【選択図】図１

Description

本発明は、包括的には或るシーンから取得されたビデオの画像シーケンス内の物体を追跡することに関し、より詳細には、線形アレイカメラによって物体を追跡することに関する。

ビデオの画像シーケンス内の物体を追跡することは、多くのコンピュータビジョン用途において実施されている。追跡によって、各画像内の、対象の物体の外観にマッチする領域が位置特定される。物体の追跡は、単一のカメラによって実施されることが最も多い。しかしながら、１つのカメラを使用することの１つの基本的な限界は、遮蔽に対処すること、及び深度を正確に求めることである。単一カメラ方法によって、遮蔽をピクセルごとに検出することもできるし、物体の位置を予測することもできる。

遮蔽の問題は、いくつかの異なる方法で対処することができる。単一カメラ追跡によって追跡する場合、この問題に暗黙的に又は明示的に対処することができる。暗黙的な方法は、カルマンフィルタリング又は粒子フィルタリングのようなフィルタリング法を使用して、遮蔽されている物体の位置を予測する。明示的な方法は、多くの場合、ビデオ層のような発生モデルを使用するか、又は遮蔽のための追加の隠れプロセスをダイナミックベイジアンネットワークに組み込んで画像を解釈すると共に、遮蔽を明示的にモデル化する。

複数のカメラによって、対応問題及び割当問題が導入されるのと引き換えに遮蔽問題を解決することができる。すなわち、ほとんどの従来のマルチカメラシステムは、シーンを、３Ｄ空間内の、経時的に追跡される「ブロブ」の集合として表現する。これには、複数の画像にわたって対応するブロブを探すことが必要とされ、すなわちこれが対応問題である。また、２Ｄブロブを、システムによって保持されている現在の３Ｄブロブに割り当てることが必要とされ、すなわちこれが割当問題である。

しかしながら、マルチカメラシステムを幾何学的に複雑な屋外のシーン内に配置することは困難である場合がある。複数のカメラによって追跡システムの視野を広げると共に、３Ｄ位置の三角測量を可能にすることができる。しかしながら、重大な遮蔽の存在が依然として課題である。

物体追跡にステレオカメラを使用することもできる。その場合、深度が通常、画像内のもう１つのチャネルとして使用され、追跡はＲ、Ｇ、Ｂの色及び深度を含む４チャネル画像に対して実施される。

しかしながら、従来のステレオ方法では、遮蔽領域内で有用で信頼性のある深度推定値を取得することが困難であると分かることがあった。Ｖａｉｓｈ他著「Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｏｃｃｌｕｄｅｄ ｓｕｒｆａｃｅｓ ｕｓｉｎｇ ｓｙｎｔｈｅｔｉｃ ａｐｅｒｔｕｒｅｓ：Ｓｔｅｒｅｏ，ｆｏｃｕｓ ａｎｄ ｒｏｂｕｓｔ ｍｅａｓｕｒｅｓ」（ＣＶＰＲ ０６，ｐａｇｅｓ ２３３１−２３３８，２００６）を参照されたい。当該文献では、１２８個のカメラから成るアレイを使用しているが、これはスタジオ設置にしか適していない。その結果は、遮蔽の量が増えるに従ってステレオ再構成性能が低下し、概して遮蔽が５０％を超えると不満足な結果に終わったことを示した。遮蔽が５０％を超えるシーン内で物体を追跡することが望まれている。

本発明は、画像シーケンスにおいて３Ｄで、密な遮蔽の中を移動している物体の３Ｄ位置を追跡する方法を提供する。３Ｄ位置とは、２Ｄ（ｘ，ｙ）位置及び深度ｄである。画像シーケンスは、線形アレイに配列された複数のカメラから成るセットによって取得される。複数のカメラから成るセットは、相対的に非常に大きな合成開口を提供する。したがって、本発明は、遮蔽物と物体とが異なる深度にある場合に、カメラアレイの基線にわたって導入される視差を利用することができる。この視差によって、物体の異なる複数の部分が、異なるカメラによって取得される画像内で遮蔽され、また遮蔽されない。複数のカメラにわたる画像データを統合することによって、本方法は、特定のカメラが物体のごくわずかな部分しか観察しない場合であっても、その物体を追跡することができる。

本方法は、シーンのいかなる明示的なモデル化又は再構成を実施することなく機能する。本方法は、いずれか１つのカメラの視野において物体の７０％を上回る部分が遮蔽される場合に、物体を首尾よく追跡することができる。

実施の形態１．
図１に示されるように、本発明の実施の形態１は、線形アレイとして配列されたカメラ１０２のセットによってシーン１０３から取得される画像シーケンス（ビデオ）１０１において、移動している物体１０４の３Ｄ位置を追跡する方法を提供する。本明細書において定義される場合、３Ｄ位置は２Ｄ（ｘ，ｙ）位置及び深度ｄから成る。

複数のカメラから成るセットは同期されている。各カメラが１つのシーケンスを取得し、それによって、Ｎ個のカメラが存在する場合、任意の時点においてＮ個の画像から成るセットが存在する。シーンは、重大な遮蔽１０５を含む場合がある。実際に、この遮蔽は、シーンの７０％程度を覆い隠している場合がある。

この実施の形態１では、８個のカメラから成る線形アレイを使用する。センサのサイズは、６４０×４８０ピクセルである。カメラは、外部ハードウェアトリガを有し、最大で毎秒３０フレームでの同期されたビデオ捕捉を提供することができる。カメラの外因的なパラメータ及び内因的なパラメータが補正される。これらのカメラの射影の中心は、１つの平面上に存在する。すべてのカメラ平面を修正する平面射影変換が従来どおりに決定される。色補正も実施することができる。一定強度の光パネルを画像化すると共に、各カメラのピクセルごとの乗数を求めて画像平面にわたる減衰を修正することによって、ケラレ補正を実施することもできる。

図１は、本発明の線形合成開口方法１００を示す。本方法は、最初に複数の画像１０１を統合し、次いで、マッチングして物体１０４を位置特定する。

初期２Ｄ追跡ウィンドウは、最初の画像内で追跡される物体の２Ｄ（ｘ，ｙ）位置を指定する。これは、手動で、又は或る従来の物体検出方法によって行うことができる。物体の初期深度ｄは、従来の平面掃引手法を使用して求められる。２Ｄ（ｘ，ｙ）位置及び深度ｄは、組み合わさって物体の３Ｄ位置を示す。

この初期３Ｄ位置から開始して、物体は、後続の画像において固有追跡手法を使用して追跡される。本方法は、トレーニングされて物体の外観をモデル化する線形部分空間とのマッチングを実施する。外観モデルは、固有空間の形態にある。このモデルは、画像の各セットが処理されている間にオンラインで学習することができる。

カメラ１０２のセットは、共通の可動範囲、すなわちシーン１０３の画像を取得する。画像１０１を取得すると、物体の複数の異なる部分がさまざまな画像内で遮蔽される。これによって、合成開口写真術を使用することが可能になる。合成開口写真術では、画像が所与の１つの平面内に整列されて、次いで統合されて、相対的に大きな開口を有するカメラを近似する。最大開口サイズは、カメラ１０２の線形アレイの基線の長さＬに等しい。したがって、単一の従来のカメラによって取得される画像よりもはるかに大きな開口サイズに対応する画像を構築することが可能である。

開口サイズが大きいため、これらの合成によって構築された開口の画像１１５は、被写界深度が非常に浅く、カメラが物体に合焦するときに遮蔽物が大きく「ぼやけて」いる。利点として、本発明の方法は、各画像が物体の非常に小さな部分しか含まない場合であっても物体を追跡することができる。

シーン１０３自体はモデル化されないため、本方法は、複雑で動的なシーン、たとえば屋外のシーン、及び移動しているカメラで機能することができる。従来の合成開口は、遮蔽物を「透視する」のに使用されていたが、移動している物体を追跡するのには使用されていなかった。

合成開口追跡
図１に示すように、本方法１００は、複数の合成開口画像をマッチングすることによって機能する。これらの画像のうちの１つが物体の深度で合焦されると、異なる深度にあり得る遮蔽物が大きく焦点から外れる、すなわち「ぼやける」。この深度差が重大である場合、カメラ１０２の線形アレイの所与の基線Ｌにとって、遮蔽物は透明であるように見える。

物体は、前の画像から得られる深度（ｄ）付近に中心を有する深度範囲に関して、合成開口画像１１５を求めることによって追跡される。次いで、前の画像における物体の２Ｄ位置付近に中心を有するウィンドウの合成開口画像間でマッチングを実施し、最良にマッチする物体の３Ｄ位置、すなわち、最大スコアを有する特定の２Ｄ位置及び特定の深度を選択する。

具体的には、Ｎ個のカメラ１０２から成る線形アレイが、画像シーケンス１０１を取得する。或る時点に、Ｎ個の同期された画像の集合｛Ｉ^ｉ｝^Ｎ _ｉ＝１１０１が存在する。

ゆがみ関数ｆ（Ｉ^ｉ，Ｐ_ｉ，ｄ）が集合内の各画像Ｉ^ｉを特定の深度ｄに整列させ、ここで各カメラの射影行列がＰ_ｉである。深度整列された画像は、次式（１）で表される。

ゆがめられ、深度整列された画像は統合されて、次式（２）で表される合成開口画像１１５が求められる。

本発明の実施の形態１は、固有空間を使用して物体の外観をモデル化する。線形変換の所与の固有値に対応する固有空間は、その固有値を有するすべての固有ベクトルのベクトル空間である。

したがって、固有空間ｕチルダに関して、追跡ウィンドウに対応するピクセルがいかに良好に固有空間にマッチするかに従って、画像位置（ｘ，ｙ）に中心を有する固定サイズの追跡ウィンドウのスカラースコアを返すマッチング関数

を定義する。マッチング関数は以下でより詳細に説明する。

複数の２Ｄウィンドウ位置（ｘ，ｙ）及び複数の深度（ｄ）の有限探索範囲

が与えられ、ここで、ｍｉｎ及びｍａｘは探索範囲の限度を示している。

目的は、次式（３）で表される３Ｄ空間深度探索範囲における最大スコアを求めることである。

最大（ｍ）スコアは、移動している物体の追跡される位置（ｘ_ｍ，ｙ_ｍ，ｄ_ｍ）に対応する。

図１は、最初の方法のステップをより詳細に示している。画像Ｉ_ｊのシーケンス（ビデオ）１０１がカメラ１０２の線形アレイ、たとえば８個のカメラによって取得される。一般的に中心に位置するカメラの最初の画像ｊ＝０に対して初期設定（１０５）が実施される。初期設定によって、シーケンス内の画像の最初のセットの２Ｄウィンドウが指定される。これは、ユーザによって、又は或る既知の物体認識手法を使用して行うことができる。次いで、視差を使用して初期深度を自動的に求めることができる。視差は、Ｎ個の画像から成るセットにおける差の測度である。視差を使用して物体の初期深度、及び、固有空間の初期基底画像である初期合成開口画像１１５を求めることができる。遮蔽フラグが非遮蔽に設定される。

次いで、ｊ＝１〜ｋの画像１０１の次の各セットに関して、画像の前のセットの深度付近に中心を有する深度範囲の合成開口画像１１５を求める（１１０）。これらの画像１１５のそれぞれに関して、２Ｄ追跡ウィンドウの固有空間に対するマッチスコア１２５を求める（１２０）。最大マッチスコアを有するウィンドウとなる物体の新たな位置（ｘ，ｙ，ｄｅｐｔｈ）１３５を設定する（１３０）。深度のいかなる変化も考慮するために、２Ｄウィンドウ及び基底画像１４５をスケーリングする（１４０）。スケーリングされたウィンドウを各カメラに射影して（１５０）、現在の画像の対象物のＮ個の画像を得ると共に、これらの画像にわたる分散１５５を求める。分散が所定の閾値よりも低い場合、物体は遮蔽されておらず、物体の合成開口画像を有する固有空間が更新される（１６０）。いずれの場合においても、画像の次のセットを処理することによって進行する。

マッチング
物体追跡において、目的は、固有空間ｕチルダの形態にある外観モデルまでの距離を最小化する、画像内の３Ｄ位置を求めることである。マッチング関数

は、固有空間からの距離に従ってマッチスコア１２５を求める。このスコアは画像データ（ピクセル）を固有空間に射影することによって求められる。具体的には、追跡ウィンドウに対応するピクセルは、ベクトル形態のｘ及び固有ベクトル

であり、

が最小化されることが望ましい。

アウトライア（ｏｕｔｌｉｅｒ）、すなわち、推測される遮蔽は、既知のフーバー反復再重み付け最小二乗（ＩＲＬＳ）プロセスを使用して、「ミニマックス」のロバストなノルムを最小化することによって軽く重み付けされる（ｄｏｗｎ−ｗｅｉｇｈｔｅｄ）。対角重み行列ｗが恒等行列に初期設定される。

が最小化されることが望ましい。

残差ベクトルは、ｒ＝ｕλ−ｘである。重み付けされた最小二乗問題を解くことを１回反復した後、新たな各反復の前に重み行列が次式（５）のように更新される。

ここで、Θは経験的に、範囲［０，１］内の画像データに関しては０．０５に、またゼロ平均単位分散正規化画像データに関しては０．５に設定される。正規化は、以下で説明される。このプロセスが終了すると、結果求められた重みの和がマッチスコア１２５となる。

インライア（ｉｎｌｉｅｒ）が１の重みを受け、且つアウトライアが軽く重み付けされる場合、重みの和はインライアの数の品質尺度となる。ＩＲＬＳは、非常に時間がかかり得るが、２値重み付けを使用すると（すなわち、ｒ_ｉ＜Θの場合はｗ_ｉｉ＝１、それ以外の場合は０）、プロセスを加速することができることが分かった。非線形合成開口追跡に関して、遮蔽を２値として表現することは理に適った近似である。したがって、２値重みを速度最適化として非線形方法に使用する。さらに、低精度−高精度（ｃｏａｒｓｅ−ｆｉｎｅ）戦略を使用してマッチングプロセスの速度を向上させる。

遮蔽されたシーンにおけるオンライン学習
増分主成分分析（ＰＣＡ）を使用して追跡される位置から物体の画像データを加えることによって画像が処理されている間に、物体の固有空間モデルが更新される。１６個の最も重大な固有ベクトルが基底として使用される。オンライン学習プロセスにおけるドリフトを制限するために、最初の画像からのテンプレートが記憶される。各更新後に、最初の画像からのテンプレートの直交成分が更新された基底によって求められ、当該基底は、その後この直交成分を追加の基底ベクトルとして含む。これによって、最初の画像からのテンプレートが常に基底内にあることが確実になる。

遮蔽されたピクセルがアウトライアであり、したがってＩＲＬＳ中に軽く重み付けされていることを確実にするために、物体と遮蔽物とは、外観が異なっていなければならず、固有空間外観モデルは、物体の外観のみを捕捉すべきである。したがってオンライン学習を実施するときに、固有空間は遮蔽がない場合にのみ更新される。最初の画像は、物体が遮蔽されていない場合に初期トレーニング画像とすることができる。

物体が遮蔽されているか否かを判断するために、特定の画像対最初の画像の、ピクセルごとの分散を、すべての画像にわたって求めることができる。最初の画像の深度及び２Ｄ位置は、Ｎ個の画像のすべてにわたって物体に対して初期設定されるため、すべての画像にわたるピクセルごとの分散は相対的に低い。後続の画像において、分散は、ピクセルが遮蔽に起因して、又は不正確な深度での追跡に起因して良好に整列されない場合に高くなり得る。

分散がγを下回る任意のピクセルを、良好に整列されていると共に遮蔽がないと考える。γ＝５００を使用する。分散データは、およそ［０，２５５］^２である。遮蔽のないピクセルの数が最初の画像に関して記憶される。任意の後続の画像に関してこの数が再計算され、この数が、最初の画像における遮蔽されていないピクセルの数の百分率閾値τ、たとえば９５％を下回る場合、物体を「遮蔽されている」と考え、それに従って遮蔽フラグを設定する。

具体的には、深度ｄに関するピクセルごとの分散は、次式（６）で表される。

ここで、Ｉ^ｉ _ｄ及びＩ_ｄは、式（１）及び式（２）によって与えられる。遮蔽フラグは画像ｋの追跡後に、次式（７）のように更新される。

ここで、Δ_ｋは現在の画像の追跡ウィンドウであり、Δ_１は追跡ウィンドウであり、Ｖ^１ _ｄは分散である。

固有空間外観モデルがトレーニングされ、マッチングがＲＧＢピクセル値に対して実施される。合成開口追跡は、ゼロ平均単位分散正規化画像パッチに対して動作する。これは、ぼやけた遮蔽物に起因して生じ得るコントラスト損失を補正する。ぼやけた黒色の遮蔽物が合成開口画像内にある場合を考える。合成開口画像を求めている間に、任意のピクセルが１つの画像においてでも遮蔽されていれば、これは黒色によって平均化される。この「遮蔽物ヘイズ（ｏｃｃｌｕｄｅｒ ｈａｚｅ）」によって、コントラスト損失が生じる。正規化空間内で操作することによって、これが無効化される。

本発明を好ましい実施形態の例として説明してきたが、さまざまな他の適応及び変更を、本発明の精神及び範囲内で行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るこのようなすべての変形及び変更を包含することである。

本発明の実施の形態１に係る線形合成開口追跡方法を示すブロック図である。

Claims (18)

1. コンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法であって、
   複数のカメラから成るセットの各カメラによって、或るシーンの時系列の画像を取得するステップであって、各時点で前記シーンの画像のセットが取得され、各前記画像は複数のピクセルを含む、取得するステップと、
   前記各時点の画像の各セットを、前記複数のピクセルを含む合成開口画像に統合するステップと、
   ターゲットウィンドウの複数の位置と複数の深度とに対応する画像の各セット内の前記複数のピクセルを、前記複数の位置及び前記複数の深度のスコアを求めるために、外観モデルとマッチングするステップと、
   最大スコアを有する特定の位置及び特定の深度を、前記移動している物体の３Ｄ位置として選択するステップと、
   を含む、コンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
2. 前記複数のカメラから成るセットが相対的に大きな合成開口を有するように、前記複数のカメラから成るセットを線形アレイに配列するステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
3. 前記複数のカメラから成るセットを同期させるステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
4. 前記シーンは、前記シーンの５０％を上回る部分を覆い隠す遮蔽を含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
5. 前記複数のカメラから成るセットによって取得された画像の最初のセットからの２Ｄ位置、深度、及び前記外観モデルを初期設定するステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
6. 前記外観モデルは、固有空間の形態にある、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
7. 画像のセットごとに前記外観モデルを更新するステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
8. 前記開口のサイズは、前記複数のカメラから成るセットの基線の長さに等しい、請求項２に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
9. 前記複数の位置及び前記複数の深度は、探索範囲
   

   

   を形成し、ここでｍｉｎ及びｍａｘは前記探索範囲の限度を示している、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
10. 前記特定の位置及び前記特定の深度の前記最大スコア（ｘ_ｍ，ｙ_ｍ，ｄ_ｍ）は、
    

    

    であり、ここで、Ｉ^ｉ _ｄは前記Ｎ個の画像の統合されたセットであり、Ｔはマッチング関数であり、ｕチルダは前記外観モデルに対応する固有空間である、請求項９に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
11. 前記特定の位置及び前記特定の深度の前記最大スコア（ｘ_ｍ，ｙ_ｍ，ｄ_ｍ）は、
    

    

    であり、ここで、Ｉ^ｉ _ｄは前記Ｎ個の画像の統合されたセットであり、Ｔはマッチング関数であり、ｕチルダは前記外観モデルに対応する固有空間である、請求項９に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
12. 前記マッチング関数は、
    

    

    を最小化し、ここで前記追跡ウィンドウに対応する前記複数のピクセルがベクトル形態のｘである、請求項１０に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
13. 前記マッチング関数は、
    

    

    を最小化し、ここで前記追跡ウィンドウに対応する前記複数のピクセルがベクトル形態のｘである、請求項１１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
14. 前記複数のカメラから成るセットが相対的に大きな合成開口を有するように、前記複数のカメラから成るセットを格子状に配列するステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
15. 前記複数のカメラから成るセットが相対的に大きな合成開口を有するように、前記複数のカメラから成るセットを交差パターンに配列するステップをさらに含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
16. 前記シーンは、関与媒質を含む、請求項１に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
17. 前記関与媒質は、雪片を含む、請求項１６に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。
18. 前記関与媒質は、遮蔽物を形成し、前記画像のセットのぼやけを除くために、前記遮蔽物を除去するステップをさらに含む、請求項１６に記載のコンピュータによって実施されるシーン内を移動している物体の３Ｄ位置を追跡する方法。

Images