JP2009008662A - センサ及びビデオ三角測量を共同使用する物体の検出 - Google Patents

Abstract

【課題】標的を検出・追跡する方法及び装置が提供される。
【解決手段】１以上のプラットホームに据え付けられた少なくとも２台のカメラ（１０、１２、１４）によって、視界（１６）から画像が捉えられる。これらの画像は分析され、標的位置をフレームからフレームに追跡するのに利用できる画像で標識を確認する。画像は、少なくとも１つのセンサから標的又はプラットホームの位置に関する情報を融合して（１つにまとめて）、標的を検出・追跡する。プラットホームの位置に対する標的位置が表示されるか、あるいは標的に対するプラットホームの位置が表示される。
【選択図】図１

Description

[0001]本発明は概ね宇宙又は地球上の物体の検出に関し、より詳細には、ランデブー（ドッキング）又は標的回避のための物体の検出及び追跡に関する。

[0002]標的物体の正確な検出及び追跡は、ランデブー（ドッキング）や衝突を防止する標的回避等の極めて重要な操作に不可欠である。スペース・シャトルのドッキング、航空機の回避、又は微光又は悪条件下での道路案内において、標的の検出及び追跡は、車輌もしくは他のプラットホーム（platform;乗物）の損害又は人命の喪失を回避する上で不可欠であろう。

[0003]従って、移動するプラットホームの位置に対する標的の位置を検出及び追跡できることが望ましい。その上、回避すべき標的に対するプラットホームの位置を検出及び追跡できることが望ましい。更に、添付の図面及び前記背景技術と併せて、以下の発明の詳細な説明及び添付の特許請求の範囲から、本発明のその他の望ましい特長及び特徴が明らかになるであろう。

[0004]標的を検出及び追跡する装置が提供される。この装置は、１以上の移動するプラットホームに据え付けられた少なくとも２台のカメラを備えている。カメラからの画像は、少なくとも１つの他のセンサから標的及び／又はプラットホームの位置に関する情報が融合される（１つにまとめられる）。融合された情報は、標的の位置を三角測量（triangulate）して、移動するプラットホームに対する標的の位置又は標的の場所（location）に対するプラットホームの位置を追跡するための処理からなる。

[0005]標的を検出及び追跡する方法が提供される。この方法は、１以上のプラットホームに据え付けられた少なくとも２台のカメラで視界の画像を捉え、画像で標識（landmarks）を確認することを含む。画像は１つにまとめられて標的を検出及び追跡する。カメラから測定された標的位置は、少なくとも１つのセンサから標的及び／又はプラットホームに関する情報と比較され、その際、プラットホームの位置に対する標的の場所が表示されるか、あるいは標的に対するプラットホームの位置が表示される。

[0006]以下に、同様の要素には同一の番号を付して、添付の図面と共に本発明を説明する。[0011]以下の発明の詳細な説明は、本来単なる例示にすぎず、本発明を限定したり本発明の適用及び使用を制限しようとするものではない。更に、前記背景技術又は以下の発明の詳細な説明に提示されたいかなる理論にも、何ら束縛されるものではない。

[0012]図１は、本発明の基本的な前提の理解に役立つ説明図である。少なくとも２台のカメラ(１０，１２，１４)が、移動するプラットホーム（図示せず）に据え付けられている。プラットホームは、スペース・シャトル、航空機、陸上車輌、又は水上もしくは水中船舶のいずれであってもよい。複数のカメラは、異なった角度で画像が捉えられるように、視界（ＦＯＶ）１６に対して異なった方向に設置される。このようにして、視界１６の画像が撮られると、カメラ１(１０)が画像１８を捉え、カメラ２(１２)が画像２０を捉え、カメラＫ(１４)が画像２２を捉える。各カメラは、統合されるかあるいは慣性センサ２４が外部に補充されている。慣性センサ２４は、全地球測位センサ（ＧＰＳ）、ジャイロ・システムであってもよく、あるいは、テンプレート又は検出・追跡される物体のデータベースを含む合成視覚システム（ＳＶＳ）からの情報であってもよい。しかし、典型的な本実施の形態では、ＧＰＳ又はＳＶＳ特異（慣性）センサの型式のものが用いられるが、当然のことながら、本発明は絶対及び相対位置や姿勢情報を提供するセンサ型式のものに使用が限定されるものではなく、加速、速度、姿勢及び航空情報を提供するセンサを本発明において使用することもできる。

[0013]カメラと共同作業を行う慣性センサは、システムの初期較正に、また、カメラで捉えられた画像から取り出される情報によりカメラ位置についての情報を融合する（１つにまとめる）するために、使用される。その最も基本的なレベルでは、本発明により用いられる融合技術は標的位置の二重チェックを含むが、それはさておき、融合作業は、標的に関する慣性情報が先験的に知られているとき、いかに正確に標的を検出したか又は追跡しているかに関する信頼又は性能指数を提供する。

[0014]慣性センサに異常が発生した場合、あるいはＧＰＳ信号が一時的に失われた（一般に、当業者は“ＧＰＳの喪失”という）場合、情報の履歴にカルマン(Kalman)フィルタが利用可能であるならば、次のプラットホーム位置を画像に予測するために、カルマン・フィルタ２６を利用することができる。当業者であれば周知であるが、以前の数値履歴が分かっているならば、カルマン・フィルタは将来の数値を予測する（本発明の場合、プラットホームの次の位置）技術的手法である。

[0015]本発明の好ましい一実施の形態によれば、本システムは、移動するプラットホームの位置に対する標的の位置を知ることが絶対不可欠なランデブー（ドッキング）操作に有用である。本発明の別の好ましい実施の形態においては、回避すべき標的の位置に対する移動するプラットホームの位置を知ることが絶対不可欠である。本発明により両方の解決策が提供される。

[0016]図２は、移動するプラットホーム（この例では、スペース・シャトル）上のカメラ１０の透視平面方位を示す。スペース・シャトルの平面（シャトル面３０）空間の方位を測定するために、カメラ１０（カメラ面３２）及びその他のカメラで別々の画像が三角測量される。視界３４の視覚三角測量は、本発明によれば次の透視平面の手法により解決される。

[0017]映像平面ベクトルｘ_ｃ３６を（カメラによって）観測された標的座標ｘ_０３８（シャトル平面の法線）の関数として作図すると、
ｘ_ｃ＝ Ｒ_β Ｔ_α Ｒ_θ ｘ_ｏ を生じる。ここで、βは傾斜角であり、θはｘ軸の傾斜ベクトルであり、αは仰角（時には、スラント角という）である。カメラの透視位置が慣性センサの初期較正により既知であるならば、得られる共通の座標に各カメラの観測ベクトルを位置付けると、ｘ_ｃ１ ＝ λ_１Ｒ_βＴ_αＲ_θｘ_ｏ１ である。ここで、λは、プラットホームからの標的の変位又は変動を説明する画像により標識（即ち、要点）のスケーリング・パラメータを定義する。同様に、ｘ_ｃ２及びｘ_ｃ３を算出することができる。

[0019]傾斜角の方位マトリックスの双方がそれぞれ次のように定義され得る。

[0020]遷移マトリックスを下記式で定式化することができる。

[0021]次の式を解くため、式ｘ_ｃ１，ｘ_ｃ２及びｘ_ｃ３を離散カルマン・フィルタ・フレームワークに再定式化することができる。

モデルの線形化後に、Ｈ（k）＝（δｈ）／（δｘ）及びＦ（k）＝（δｆ）／（δｘ）と定義すると、標的測定の更新の問いとして、次の式が得られる。

時間更新式として、次の式が得られる。

[0024] これらの式については、標的の移動の追跡、更に表示・更新されたならば、移動するプラットホーム位置に対する標的の移動（ドッキング）又は標的に対するプラットホームの位置（回避）の追跡を支援するために、カルマン・フィルタの手法により、ある更新された（将来の）時間における標的の更新された（将来の）場所を予測することができる。

[0025]ところで図３を参照すると、本発明のシステムのブロック図が示されている。カルマン・フィルタの前記式を解いたならば、カルマン・フィルタ６０が標的予測情報を提供して、カメラ１０，１２，１４からの情景収集画像を処理することができる。物体構造の存在に基づいて透視方向を求める前記式が定式化される。この情報は尺度不変特性技術（ＳＩＦＴ：scale invariant features technology）４０，４２，４４により処理される。この技術は、標的場所の追跡をフレームからフレームに用いることができる、画像内の標識（すなわち地物）に対して画素レベルでカメラ画像を検索するものである。リコールは、カメラが統合されるかあるいは慣性センサ（例えば、ＧＰＳ，ジャイロ又はＳＶＳ）及び上記情報と共同して作動しており、標的を検出・追跡するためにビデオ三角測量処理４６を行いながら、融合される（１つにまとめられる）。その際、移動するプラットホームの場所に対する標的の位置（ドッキング）が更新（表示）４８されるか、あるいは、標的に対する移動するプラットホームの場所（回避）を示すために更新が表示される。

[0026]各反復で、プラットホーム位置を所与として、即ち、各カメラでの慣性の読出しが基準座標の定義に用いられるならば、その情景における生の地物によりあるいはビデオ三角測量４６に送る物理的構造のない構造光（structured lighting）により、標的構造の確認にＳＩＦＴブロック４０，４２，４４が用いられる。透視方向により、移動するプラットホームに対して標的位置が更新される。標的の相対位置がカルマン・フィルタ６０により予測される；また、移動するプラットホーム位置が、複数の慣性センサ６４から直接入力により更新６２される；センサ拒絶（例えば、ＧＰＳ拒絶）の場合、予測されるプラットホームの動きが別のカルマン・フィルタ２６により得られ、次の予測されるプラットホーム位置を見積る。更新されたプラットホーム位置及び各カメラに対する新たな慣性の読出しが分かると、障害物を回避するために標的位置を見積る前記処理を繰り返す（ループする）。

[0027]ドッキングの適用には、標的位置の見積りを開始する逆の処理が利用される。標的位置は、データベースから読み出されるか、あるいはカルマン・フィルタ三角測量法により見積ることができる。ビデオ三角測量法４６は、前述のように、カメラ１０，１２，１４で捉えられた画像を処理するＳＩＦＴブロック４０，４２，４４の透視方向を再構成することができる。その際、プラットホーム位置を見積ることができ、慣性センサが利用可能である場合には、予め次の見積り位置が更新される。センサを利用できない場合は、カルマン・フィルタ２６がカルマン・フィルタ三角測量６０に予測情報を提供して、予め標的位置の見積りを予測することができる。新たな（上記繰返しのための）標的位置の見積りにより、標的に対する次のプラットホーム位置を見積る処理を繰り返す。慣性感知が拒絶されるか又は利用できるかどうか、また、標的が構造化された地物を有するか否かを問わず、全ての場合に、標的（回避）又はプラットホーム（ドッキング）の見積を行うアプリケーションで反復（ルーピニグ）が利用される。

[0028]当業者ならば分かるであろうが、視覚ベースの標的の収集及び本発明によって提供されるような追跡システムは、カメラが視界を“見る”（目に見えるようにする）ことが可能であることを必要とする。微（又は無）光条件下では、何某かの追加の映像の補助が必要である。従って、本発明では、視界を（連続的に又は画像捕捉時期と同期して）照らす構造光の使用が検討される。構造光については、照明光源によって各カメラの視界に模様が投影されて、干渉帯を作り出す（モアレ(moire)効果）。干渉縞は、反射面までの距離を変化させることによってもたらさる２つの模様間の相対的な動きに高感度である。モアレ現象は、飛行進路の標的（又は追跡するのが望ましい限られた構造を有する標的の表面）の検出に非常に有効である。

[0029]ところで図４Ａを参照すると、本発明の構造光の説明図が示されている。照明光源（図示せず）が光模様５０を視界５２に投影する。カメラは、図４Ｂに示す干渉縞５４を検出することにより、画像を直ちに効果的に捉えることができる。

[0030]以上の発明の詳細な説明に少なくとも１つの典型的な実施の形態を提示してきたが、当然のことながら膨大な数の変更が存在する。同様に当然のことながら、１つ又は複数の典型的な実施の形態は、単なる例にすぎず、本発明の範囲、適用可能性又は構成を決して限定しようとするものではない。むしろ、以上の詳細な説明は、本発明の典型的な実施の形態を実施する簡便な道筋を当業者に提供するであろう。典型的な実施の形態に記載された要素の機能及び配置について、添付の特許請求の範囲に示された本発明の範囲から逸脱することなく、種々の変化がなされ得ることが理解されるであろう。

本発明の一実施の形態におけるビデオ三角測量の説明図である。 本発明の透視平面方向を示す図１のカメラのうちの１つの説明図である。 本発明の一実施の形態におけるブロック図である。 本発明の一実施の形態における構造光の説明図である。

Claims (3)

1. １以上のプラットホームに据え付けられた少なくとも２台のカメラ(１０，１２，１４)で、視界(１６)の画像を捉える工程と、
   画像内の標識を確認する工程(４０，４２，４４)と、
   画像を１つにまとめて標的を検出する工程(４６)と、
   少なくとも１つのセンサから標的に関する情報を比較する工程と、
   プラットホームの位置に対する標的の場所を表示する工程(４８)と、を含む、標的を検出及び追跡する方法。
2. 視界の次の画像を捉える前に、標的の次の位置を予測する工程(６０)を含む、請求項１に記載の方法。
3. 画像(５０)を捉える前に、構造光の供給源で視界を照らす工程を含む、請求項１に記載の方法。

Images