JP2008527542A - ナビゲーション及びインスペクションシステム - Google Patents

Abstract

地理的空間内における状況の変化を、移動中の車両から検出する方法である。そのような地理的空間の画像を、ＧＰＳ座標と共に、ＧＰＳ座標と関連させて記憶する。同じ地理的空間を、移動する車両により経路のＧＰＳ座標にアクセスしながら通過する。記憶された画像のＧＰＳデータを通過した地理的空間のＧＰＳデータと同調させることによって記憶された画像を再生し、記憶された画像と通過する地理的空間とを同時に閲覧可能にする。移動中の車両内で移動する観察者は、記憶された画像と通過する空間の画像とを比較して、状況の変化を確認することができる。

Description

技術分野
ビデオは通常時間単位で、例えば１秒当たり３０フレームで記録される。カメラ位置のＧＰＳ又は移動距離に応じて、記録及び／又は使用すべきフレームを選択することにより、新規のデータベースが作成される。このビデオ又は連続的な画像のデータベースは、時間よりむしろ空間に関連する地理的参照画像を含んでいる。取得すべきフレームを特定するために、時間でなくフレーム間の間隔を選択することにより、著しく小さなデータベースが得られ、検索が簡易化される。これによってデータベースのサイズが著しく小さくなり、これは即ちデータ圧縮技術である。特定のフレーム又はデータの検索は、全地球測位衛星、慣性システム又は他の電気機械センサによって決定できる地理的な位置により、更に容易になる。従来、前方を向くビデオビューは、移動した距離又は相対的な地理的位置によって記録されなかった。それらは、距離でなく時間によって分けられていた。本発明は、車両のナビゲーション又は近接する物体のインスペクションのより正確な形態に特に使用されるナビゲーション及びインスペクションシステムに関する。このシステムは、道路のインスペクションを迅速に実施して、例えば、道路の舗装、トンネル又は橋路に新たな亀裂又は穴、或いは植生又は土地の移動による道端の浸食を見つけようと目を配ろうとするときに用いることができる。更に、送電線、建物の前壁面、駐車中の車等の、近接する物体の変化を認識することができる。別の用途には、現在の位置及び向きの昼間の画像を提供する夜間運転支援、車両に対して、過去に確認した経路を正確にナビゲートするナビゲーションの精度向上、並びに現在の画像の過去に得られたデータ又は画像による補強、例えば昼間に記録された物体と夜間の画像との融合が含まれる。本発明を使用して、過去に取得された既知のＧＰＳ座標により、データベース中で最も良く適合するフレームを選択することによって、現在のＧＰＳ位置を特定することもできる。

背景技術
従来、道路を含む地形は、主に、地図に描く地域の上空を飛ぶ航空機による俯瞰図に基づいて地形図に描画されていた。しかしながら、航空カメラのプラットフォームの揺れ、カメラ角度の限界、及びある地域の航空地図を平面ベースの運転者の眺めに変換するときのレンズの歪みを考慮すると、従来の地図描画技術が複雑であることは明白である。移動する経路に沿ったフレームを検索可能なデータベースに統合するために必要なモザイク技術により、複雑さは増している。更に、運転者が、地図描画された画像間の変化を特定するためには、現在ナビゲートされている経路に対し、分割スクリーン又は地図描画された経路の他の何らかの平行トラッキング表示を提供することにより、現在の状況と、未来の動作又はインスペクションの基礎となる標準として機能する状況との間での迅速な比較を可能にすることが、認知上最も有用であると判断されている。
ハードウェアは、現在の画像と地理的に参照されるデータベース画像とを、同時又はほぼ同時に表示する必要がある。

よって、本発明の課題は、運転者に対し、地上の変化又は近接する構造の変化を認識するため、或いは近接する物体又はそれらの相対位置の特定の変化を認識するために十分な情報を提供する簡易な手段を提供することである。
本発明の別の課題は、丘の向こう側又は曲がり角の先に何があるのかをデータベースにより把握することによって、運転者に対し、近づきつつある道路状況を警告する手段を提供することである。

本発明の別の課題は、道路のインスペクション又は他の路側状況の情報を、そのような状況及び危険を強調し且つそれを運転者に適時に提示するフォーマットに統合することにより、効果的な是正の動作を行う機会を運転者に提供することである。
さらなる課題は、ＧＰＳ位置及び向きを有する昼間ビューを提供することである。

さらなる課題は、スクリーン上に、車両の周辺と共に、過去のビューに基づく車両背後ビューを表示させて運転者に提示することにより、車輪と危険との現在の関係を目視可能にし、且つそのような関係を車両の現在位置に対してほぼ正確に示すことである。
さらなる課題は、時間でなく距離間隔によって画像を記録することにより、フレームの数及びデータベースのサイズを減少させる手段を提供することである。このことは、通常、全てのフレームを連続的に１秒間に３０フレームで記録し、３０フレーム全てにＧＰＳ位置をタグ付けすることによって行われていた。本発明は、３０フレーム全てを使用して実施することができるが、好ましい実施形態は、カメラが特定の距離を移動した後に１つのフレームを記録することにより、必要な帯域幅及び記憶容量を減少させる。

さらなる課題は、深さマップ又はワイヤフレームから得られた、レーザ・レーダ、レーダ、ソナー、磁気、多波長、音響、コンピュータレンダリングによる他の形態のデータ、又は画像、或いは音等の、地理的位置により直接得られる他の形態のデータを利用することである。これらのデータ源の選択肢は混合することができ、例えば熱的データを昼間ビデオと、磁気データをビデオと、多波長データをレンダリングされた画像と組み合わせることができる。
さらなる課題は、過去に取得された既知のＧＰＳ座標を有するデータベースの中から最も良く適合するフレームを選択することにより、現在のＧＰＳ位置を認識することである。

以上の課題及び更なる課題は、後述の開示により更に明瞭に示される。

発明の概要
本発明は、移動中の車両から、地理的空間内の状況の変化を検出する方法に関する。本方法は、地理的空間の画像を、この地理的空間に関連するＧＰＳ／地理座標に関連させて捕捉及び記憶することを含む。前記移動する車両は、ＧＰＳ又は他の地理座標にアクセスしながら地理的空間を通過する。記憶された画像の地理座標データを前記通過する地理的空間と同調させることにより、この記憶された画像にアクセスして当該画像を再生することができ、よって表示される前記記憶された画像は、通過する地理的空間と同じ地理的空間のものである（つまり、カメラの現在及び過去の位置が、同じ地理座標及び向き＋／−許容誤差内にある）。記憶された画像及び通過する地理的空間の画像の両方が観察者に提示されることにより、観察者は、記憶された画像と通過する地理的空間の画像とを直接比較することができる。理想的には、記憶された画像は、通過する地理的空間の提示にも使用できるビデオカメラを利用することによって生成される。別態様では、他の画像捕捉装置、例えば、赤外線カメラ、ソナー又はセンサを使用することができ、また、スクリーン上にグラフィック形式で提示することができる磁気又は音響データのようなデータを使用することができる。最も直接的な比較を提示するため、移動中の車両からの通過画像を提示するカメラは、同様の視界を有する記憶画像の捕捉に使用されたカメラとほぼ同じ位置及び向きに配置しなければならない。視界は、光学的に又は電子的倍率変更によって、より良好に適合させることができる。画像間の相対位置合わせを向上させるために、画像安定化技術を使用することもできる。両方の画像をスクリーン上に提示することができ、例えば通過画像が上部に、記憶された画像が下部に提示される分割スクリーンに提示することができる。連続的提示、交互の提示、重ね合せ又はキーイング及びマット技術のような別の表示も利用することができる。ＧＰＳ座標によって、同じ地形の画像が観察者に対して同時に提示され、よって観察者は道路におけるいかなる状況の変化も迅速且つ直感的に認識することができる。更に、記憶画像及び通過画像を昼間に撮影及び捕捉し、昼光ビューでの有意義な比較を行うことができるが、本発明を使用することにより、視界が比較的良い昼間に撮影された記憶画像を比較し、その画像を、夜間に又は悪天候下で撮影されたリアルタイムの画像と共に適切な分割スクリーンで再生することによって、夜間の運転を支援することもできる。現在のＧＰＳ位置によって選択された記録されている昼光下の単一ビューの表示は、現在の状況で見ることのできない価値ある情報を提示する。現在の状況と過去の状況とを同時に表示することは必要でない。悪天候下において又はＧＰＳに障害物がある場合、現在のＧＰＳが失われることがある。現在の画像をデータベース画像と比較することによって、現在のＧＰＳ位置を、データベース中の特定のフレームに最も良く適合する画像によって選択することができる。

運転者は、自車両の車輪と、谷、崖又は他の危険との関係を直接的に見ることができないので、偶発的な横転が起こり得る。車両の背後のいくらかの距離である、ＧＰＳに基づくオフセットを利用することにより、ナビゲーションビューを運転者に提示することができる。車輪を含む車両の凡その輪郭を、収集された画像に重ねることができる。車両の背後のカメラから得られる道路及び車両のビューを含むビューを表示することができる。これは、現在の位置からほぼ２０フィート離れているＧＰＳ位置を使用して、現在の位置と最もよく関連するビデオフレームを決定することによって達成される。
ドット（足跡）を、ディスプレイ上のカルテシアン座標系上の適切な位置に置くことにより、記憶されたデータを表示する地図を生成することができる。次いで、各フレームの俯瞰図上の足跡マークを複合し、運転したエリアの正確な地図を提供することができる。これらの地図は、システム内にインポートできる標準的な参照地図の上に重ねることができる。これにより、選択されたあらゆる特定の速度で経路のビューを提示するために使用できるグラフィックインターフェースが提供される。

夜間における変化の検出は、可視又は赤外線波長帯の補助照明を利用することによって強化される。夜間、カメラより低い位置に配置された補助照明を使用することによって、細長いシャドーが誇張されて、陰の効果が強化されることにより、変化が強調される。このような補助照明は、一定又はパルス状とすることができ、特定の距離を移動後にフレームのＧＰＳ捕捉と同調させる。この照明は、可視領域及び／又は非可視領域のものとすることができる。

発明の詳細な説明
過去において、画像を記録し、これをＧＰＳ又は地理座標データと関連させて、時間ではなく位置に基づく再生を行う方法が教示されている。例えば、米国特許第６７４１７９０号明細書を参照することができ、この特許文献の開示内容は参照により本願に組み込まれる。この米国特許には、３つのモード、即ち記録モード、インデックスモード及び再生モードで構築可能及び操作可能なハードウェア及びソフトウェアを含むシステムが教示されている。記録モードに使用されるハードウェアは、ＧＰＳ受信器及びビデオ記録装置に接続されており、よってビデオ記録装置を使用して画像が記録される記録媒体と同じ記録媒体にＧＰＳデータが記録される。その結果、特定の画像と関連する特定の地理的位置を、ＧＰＳデータによって直接参照することができる。画像を記録した後、ハードウェアデバイスは、適切にインストールされたソフトウェアを有するコンピュータに接続され、このソフトウェアにより、記録された画像が再生される際、記録媒体からＧＰＳデータがコンピュータに伝送される。このようなインデックス付けのステップの間に、コンピュータは、記録媒体上に記録されたＧＰＳ参照位置を全て示す地図を描画する。各地図の位置は、画像がＧＰＳデータと共に記録された位置を表す。インデックスモードが完了すると、前記米国特許第６７４１７９０号明細書に開示のシステムを使用して、地図上に選択された位置と関連させて、上述のように記録された画像を再生することができる。再生モードと呼ばれるこのステップの間に、コンピュータにより生成されたインデックスマップ上にマーカーを選択することができ、システムは、ビデオ記録装置に、当該選択された位置において記録された画像を再生させる。米国特許第６７４１７９０号明細書はまた、記録された画像を、ＣＤＲＯＭ又はハードディスクといった他の何らかの媒体に転送して、コンピュータに、選択された位置において記録された画像を再生させることを教示している。しかしながら、出願人の知る限り、この技術を本明細書に示す目的に採用した例は無い。例えば、本発明の好ましい実施形態では、メモリ中のフレーム数を減少させるために写真を記録する時点を決定するため、及び再生中に呼び出す画像を決定するために、ＧＰＳを使用することができる。全てのフレームを記録することができるが、意図的に設定された距離だけ離間させたフレームだけを記録することが最良である。よって、カメラフレーム率は、カメラの速度に依存する。これは、ＧＰＳをトリガとするカメラの使用により、移動速度が上昇すると記録画像が１秒間に３０フレームを超えるカメラに必要な周波数を増大させ得る。

更に、米国特許第６８９５１２６号明細書は、所定の場所の複合画像を生成することにより当該場所のパノラマビューを提供する合成画像を生成するシステム及び方法を教示している。この米国特許第６８９５１２６号明細書には、道に沿って移動するビデオカメラを利用し、この道に沿って物体の画像を記録することが開示されている。ＧＰＳ受信器及び慣性ナビゲーションシステムは、画像を記録する際にカメラの位置を提供する。画像には、ＧＰＳ受信器及び慣性ナビゲーションシステムによって提供された位置データによりインデックス付けされる。米国特許第６８９５１２６号の発明の一態様によれば、画像記録装置は、経路に沿って移動し、経路に沿って物体の画像を記録する。上述のように、ＧＰＳ受信器及び／又は慣性ナビゲーションシステムは、画像を取得した時の画像記録装置の位置情報を提供する。画像及び位置情報はコンピュータに提供されて、各画像に位置情報が関連付けられる。このように、従来技術では、後で再生するために、記録された画像データにＧＰＳ座標を関連付けることが既知である。この米国特許第６８９５１２６号明細書の開示内容を、参照により本発明に組み込む。

本発明の第１の実施形態は、人の介入を利用する検出システムに関し、本システムでは、過去に移動したときに捕捉した画像に沿って道路等の地形のビデオを表示することによって、シーンの変化を検出する。画像取得の間、本システムは、ライブビデオ供給から画像を捕捉し、その画像に、特定のビューポイントの位置及び向きを含む追加的な情報で「メタタグ」を付ける。重要な「メタタグ」情報には、例えば、移動方向及びＧＰＳ座標及び／又は高度が含まれる。このような「メタタグ」を、以前に撮影したビデオ画像の特定のフレームと関連付ける。再生中、システムは、ＧＰＳデータ獲得によって現在の位置及び向きを利用し、ほぼ同じ位置及び向きから過去に捕捉された画像を呼び出す。理想的には、２つの画像を上下に並べて１つのスクリーンに表示させる。夜間運転等の一部の用途では、保存されたビューのみを表示する。ＧＰＳデータの獲得によって、車両の現在位置に最も近い「保存ビュー」を決定する座標が提供される。これは、様々な「最も良く適合するフレーム」ソフトウェアを使用して行うこともできる。続いてこのシステムはデータベースから対応するビューを選択し、運転者、例えば兵士が、車両内でリアルタイムに観察するビューとほぼ同一のビューを生成する。データベースのビューは、カメラの視界、速度、道路の中央からの距離の差異、及び参照データを取得した道路上の位置からのＸ及びＹ方向の差異を補償することができる。このような補正は、カメラのプラットフォームに取り付けた物理的なセンサ、例えば傾斜計及び加速計により、又は一連の画像から誘導される計算に基づいて、決定することができる。情報は、簡単な比較のための強化（支援）フォーマットで観察者に提示され、よって運転者は道路の危険に関してリアルタイムで判断を下すことができる。

好ましい実施形態として、水平方向の幅を増大させることにより画像を意図的に変形させて、垂直方向の相対運動を最小化することができるか、又は独特の水平方向のアスペクト比を使用して、前後の写真間の垂直方向の距離差を低減することにより、観察者の目の動きを最小化することができる。これは、例えば、画像をクロッピングして、水平線より上のエリアを減少させることによって行うことができる。この機能を実施するために、本発明の一形態を構成するシステム１０を示す図１を参照されたい。具体的には、システム１０はコンピュータ１１を備えており、このコンピュータ１１には、要素１２及び１３から情報が提供される。要素１２は、画像源生成器、例えば視覚カメラ又はサーマルカメラであって、ＧＰＳ装置１３と共に使用されてカメラ１２から生成されたフレームに「メタタグ」を付け、保存のためにコンピュータ１１に適用される。このように確立された参照によって作成された画像は、画像エリア１６の分割スクリーン１４の下側に現れる。これについては図２を参照して後述する。フィールド１６に投影された画像が再生される経路と同じ経路を移動するとき、カメラ１２が再び画像を生成し、このように生成された画像にはＧＰＳ装置１３により座標が付され、且つＧＰＳ装置１３によって「メタタグ」が付されてコンピュータ１１に再度導入され、このコンピュータ１１は、表示部１４の上部フレーム１５にリアルタイム画像を生成する。保存された画像及び現在の画像は、いずれもＧＰＳ座標で「メタタグ」付けされているので、現在走行中である経路に関連付けられる特定のシーンの再生は、直接比較を行うために同調される。

本発明の有用性は、図２を参照することにより理解することができる。上述のように、分割表示スクリーン１４は、道路１７及びその周辺の地形を表示する。表示部１４の下半分１６に表示された画像は、過去の日時に撮影された道路の画像である。上部スクリーン部分１５に表示された道路１７及びその周辺の地形は、道路の同様の部分を示し、各ビューは水平方向に拡大されていて、水平方向に提示される物体、例えば路肩１８の外側に位置する物体１９の視覚的な認識が強化されている。生成された画像は、理想的には望遠レンズで撮影されており、よって倒れた木又は地震等によって形成された障害物等の、道路に加えられた潜在的な危険となる新たな物体１９がある場合で、運転者が当該物体１９の性質を調査したいと思う場合に、運転者には行動を起こすために適切な時間が提供される。
横方向又はフレーム１６に生成された画像、つまり道路及び周辺の地形の過去の描画を示す画像は、過去の車両の走行等の多数のソースから得ることができる。このような情報は、遠隔表示によってアクセス可能なセントラルサーバに電子的に送信することができる。

含まれる主なハードウェアコンポーネントは、ラップトップＰＣ、サーバ又はＤＶＤ焼付けシステム、小型ＧＰＳ受信器及びビデオカメラ、或いは２以上の次元のデータを提供する他のセンサである。主なソフトウェアコンポーネントは、ビデオ／データの同時捕捉及び再生、ＵＳＢ及び／又はシリアルポート上のセンサからの位置及び向きに関する情報の捕捉、異なるデータセットを関連付けるための「メタタグ」の利用、別の地理的空間情報と共有又は組み合わせ可能なフォーマットでのデータ保存、保存された画像に注記を付けて、特徴、例えば経路に沿った潜在的に危険なエリアを見つける技術、データと相互作用するインターフェース、及び後から同じ経路を移動する他者とデータを共有する手段を含む。
考慮される高度な機能は、ＧＰＳ信号が制限される場合にビューポイントの運動を追跡又は予測する能力を含む。これは、慣性センサ又は既知のＧＰＳ位置を有する一連のフレームから選択される最も近いフレームを認識する技術によって行うことができる。

他の特定の重要な用途には、訓練及び発送又はルートプランニングが含まれる。運転シミュレータは、現在のアニメーション様画像から実際のビデオに改善することができる。
赤外線センサ及び熱センサ、並びに磁気マップ又はレーザ・レーダのような別のソースによる夜間操作も利用することができる。

簡単なトレーニング装置は、ＤＶＤプレーヤで再生される記録された経路のＤＶＤである。
ビデオ捕捉と再生を同時に行うことに関しては、スクリーンの２つの部分に上／下に並べて、ライブのビデオを、過去に捕捉した画像と共に表示することにより、変化検出のための比較が簡単になる。ランダムにアクセス可能なデータベースを生成するために（ＭＰＥＧビデオストリームとは対照的に）ＪＰＥＧ保存アーキテクチャを使用することができる。静止画像の捕捉は、移動距離及び方向を含むパラメータに基づく。

ＵＳＢ及び／又はシリアルポート上のセンサから位置及び向きの情報を捕捉することに関しては、ビデオ、ＧＰＳ及び方位センサが、ＵＳＢ又はシリアルポート及び／又はビデオフレーム取込み器を介して、システムにインターフェースする。例えば、Panasonic（登録商標）Toughbook（登録商標）ＰＣがソフトウェアをホストし、前記ポート上のセンサから情報を引き出し、取り出す。
「メタタグ」を使用して、異なるデータセットを関連付ける。「メタタグ」は、実行される明確な関係を必要とせずに、異なるデータセットを関連付ける手段である。このシステムは「メタタグ」を利用して、ビューポイントの位置及び向きを含む特徴を、それに対応する画像と関連させる。時刻及び異常な出来事にも「メタタグ」を付けることができる。方位の情報を「メタタグ」に含めることも本発明の一部であり、これにより、北又は南に進む移動方向によって、適切な画像を決定することができる。他に、データは、高度及び異常な出来事の注記とすることができる。予め決められたコマンドをデータ中に埋め込み、注記された地理参照される「メタタグ」マーカーの近くにのみ表示することもできる。

データは、他の地理的空間情報と共有又は組み合わせ可能なフォーマットで保存される。本システムは、地形図作成業界で常套的に使用される、例えば高度、道の名前、川のワイヤフレーム又はシェープファイル、例えばＥＳＲＩから入手可能なもの等の特徴の階層を有する他の地理的空間生成物と共に使用できるフォーマットで保存する。
本発明は、後から同じ経路を移動する他者とデータを共有する方法を提供する。クライアントサーバモデル（データファイル管理サーバ）を使用して、データを保存して顧客間で共有することができる。データは、クライアントとサーバとの間で、ネットワーク又はＤＶＤ又は別のデータ媒体を使用して伝送することができる。捕捉ラップトップは、サーバ又は他のユーザに直接分配するためのＤＶＤを発行することができるＤＶＤ記録システムを有する。このシステムの設計及び接続形態は、所定の地域社会で利用可能なネットワーク設備及び帯域幅の種類によって決まる。サーバは、得られた車両経路の俯瞰図によるビューを有する。経路上の任意の点をマウスクリックして、車両からの特定のビューを見ることができる。

一実施例として、ＰＣ又はラップトップコンピュータを使用することができる。１００メートル離れた地点から見た小さな物体の９度の視界、或いは湾曲した道路又は都会環境の広い視界を有する画像を含むウェブ画像及びビデオソースを使用することができる。規格に適合しない画像を記憶する能力は極めて過小評価されていると思われる。単一の分割スクリーン上で画像を上下に重ねて提示することにより、観察者は、不規則性を直ちに認識することができ、多くの場合、画像間で異なるカメラ位置、視界、コントラスト、陰影及び色差を無視してそのような差異の関連性を決定することができる。様々な速度でフレームを交換する、重ね合せる、特徴のつや消し処理を行う、又は画像を融合するといった別の技術を使用することもできる。
周辺地形を含め、過去に記録された道路のビューを投影し、移動中の車両のフロントガラスに投影された同じ領域のリアルタイムのビューと比較することもできる。これは、夜間運転に有用となり得る。しかしながら、好ましい実施形態は、分割スクリーンを設けることにより、過去に記録されたビデオを、路側に沿って移動する車両から取得されるライブビデオと比較するものである。１つのシーンを、コンピュータシステム内で「メタタグ」付けされたＧＰＳ座標の使用によって同調された別のシーンの上に提供することによって、運転者は、「以前と今」のビデオ間の差異を簡単に検出することができる。現在の実施形態は、過去に記録された参照ビューをデータベースから取り出すための市販されている既製のＧＰＳ技術に基づいているが、この参照ビューは、現在の「ライブ」の車載カメラビューとほぼ同じである。繰り返すが、理想的には、両方のビデオビューを１つのディスプレイに同時に提示して視覚的な比較を行う。このような技術は、地上に新たな物体が現れた「変化」を検出する操作者の自然の能力を著しく増大及び強化させる方法で２つのビューを提示する。半自動式の変化検出ソフトウェアを利用して、ビュー間の不一致を強調することもできる。このようなソフトウェアは市販されている。別の形態では、前後の写真を素早く交互に提示することにより、写真の変化した部分が点滅するように見えるようなアニメ―ションを生成する。

ソフトウェアアプリケーションを考慮した場合、単一のフレームを地形参照データフレームとして利用することができるが、それは俯瞰図ビューとして使用されることに留意されたい。いくつかの市販のソフトウェアパッケージはビデオベースであるが、一般にＭＰＥＧ圧縮プロトコルを使用しており、最初のフレームのみが地理参照することができ、過度のデコーディング無しで容易に選択可能である。ＭＰＥＧ圧縮は、更に、追加的な処理帯域を必要とし、やはりキーフレームを利用する。キーフレームの使用は、２点内で特定のフレームにアクセスするのに大きな問題をもたらし、大きなデータベース管理ツールが必要となる。ＪＰＥＧ圧縮は、キーフレーム参照、並びに複雑なデータアクセス及びデータ管理ツールを必要としないので、実行可能性が大きいことが分かった。
画像の生成にビデオカメラ又はサーマルカメラを使用するものとして本発明を説明した。昼光ビデオカラーカメラを用いて取得したもの及び白黒サーマルセンサによる現在の夜間画像等の、過去及び現在の状況のデータセットを様々に組合せることができる。サーマルカメラを使用する場合、本発明を夜間に利用して、必要な画像を認知し、昼間画像から画像の差異を提示することにより本発明を実施することができる。画像は、ワイヤフレーム及び／又はテクスチャマップから、コンピュータにより生成されていてよい。本発明の実施に、磁気的プロファイル、多波長画像、レーダ、ソナー又はレーザ・レーダを使用することもできる。本発明を実施する上で重要なのは、地理的に参照される個々のラスターベースの画像を生成することであるので、道路様ビデオ、サーマルＨＤ、又は微光ＮＴＳＣビデオを、有用なビデオソースとして使用することもできる。

一実施形態として、特定の経路の地図描画から生成されたデータを、他の地理的空間情報と共有するか又は組合せることが可能なフォーマットに保存することも考えられる。データベースへのアクセスを容易にするために、オラクル（登録商標）のソフトウェア又はＥＳＲＩ等のデータベースのために地理的空間が拡張されている。情報交換のためのフォーマットは、オンライン上のwww.opengis.orgで利用可能な機構によって開発されている。国際標準ＩＳＯ１９１３６である、Geographic Information-Geography Markup Language(GML)は、情報を保存し、他の地理空間的参照データセットと組合せ及び／又は関連させるための指示を含む。人口や密度等の、空間領域のカバレージ機能を有する特徴のサブタイプが存在し、観察は、観察の時間及び可能な別の一般的価値が付された写真又は測定のようなものであると考えられる。本発明は、データ保存用のテンプレートとして観察特徴を利用することを目的とする。参照として付された捕捉時間及びＧＰＳ位置カメラの向きと共に参照され保存される、注意書き等の注記を形成することもできる。オープンＧＩＳの仕様が地理的情報の描写を含むので、地図型のインターフェースを利用して、観察点を表示する適切な地図上に記号を用いることにより、他者が、本発明の実施において生成された情報インターフェースを取り込んで表示することが可能になる。

本発明を実施する上での好ましい実施形態は、車両から取得されたアーカイブのビデオ同士を比較し、それを、実質的に同じ向きで撮影されたリアルタイムの、つまり移動中の車両から撮影されたビデオと比較することを考慮する。この場合、別のビデオソース、例えば前方航空写真又は俯瞰写真を使用することもできる。傾斜変換及びクロッピングを使用して、前方を向く航空写真を、地上ベースの車両から撮影されたビューと同種のものに形成する。このように、航空画像を使用する場合、地上ベースの画像捕捉には不要な加工を併用して行わなくてはならない。例えば、航空カメラのプラットフォームの自己ベクトル、例えばピッチ、横揺れ及び振れを考慮しなくてはならない。別の実施形態では、車両のビューを俯瞰ビューに見えるよう変換することができ、これを、俯瞰航空ビデオを使用するワークステーションの自動変化検出システムに使用することができる。これは、一連のフレームに対するラインスキャニング法を使用して行うことができる。別の画像操作技術では、傾斜計及びデジタルコンパスのようなカメラセンサ上で、特定のフレームに情報をタグ付けし、この情報を使用してモーフィングパラメータを計算することにより、過去及び現在の画像を更に密接に関係させて登録する。

前述のように、本発明を実施する上で様々なハードウェアを選択することができる。例えば、必要な画像を提供するために簡単で低価格のウェブカメラを使用することができる。従来のカメラ、例えば画像安定化機能を備えたパームコーダー（palmcorder）を効果的に使用することができる。サーマル画像も使用できる。微光暗視カメラ及び微光ビデオカメラも使用することができ、更には、磁気画像、レーダ、ソナーによって生成される画像、及び深度地図から得られる画像も追加的に利用することができる。アナログビデオ信号を利用する場合（ＮＴＳＣ）、オンボードＪＰＥＧ圧縮を備えたフレームグラバーカードが望ましい。これは、全てパーソナルコンピュータ内で実施できる。別の実施形態では、入力源に、ビデオからＵＳＢへ、又はアナログからデジタルへのコンバータを使用することができる。ＧＰＳ座標及び時間を含む地理参照に、Garmin（登録商標）ＧＰＳ装置を使用することができるか、又は慣性ＧＰＳシステムを使用することができる。

必要に応じて、ビデオ又は付加されたオーディオアーカイブに潜在的な危険の様々なインジケータを供給する本発明の一態様も考慮される。例えば、音声コマンド、磁気署名、環境音響、車両速度、気候条件、照明及び他の環境上の因子を、シーンの記憶される描写に組み込むことができる。近づきつつある出来事、チェックポイント又は決定ポイントの画面表示上の警告は、ＧＰＳ位置決定をトリガとすることができる。更に、車両は、ＤＶＤ及びサーバラップトップデータリンク並びにファイル管理サーバを使用して互いに通信し合うことができる。
本発明に使用されるソフトウェアには特定の明確な要件がある。ライブカメラ及びセンサ入力を処理しながら、出力を分割スクリーンに表示できなくてはならない。必須でないが、記録と再生を同時に行うことができると、システムは最近のデータを自動的に提示できる。ソフトウェアは、現在の車両の位置のＧＰＳ入力を受信することができると同時に、ビューの参照データベースから、最も近いＧＰＳ座標で特定される１つのビューを選択できなくてはならない。必須でないが、同じＧＰＳ座標を使用して、与えられたビューのＸ及びＹ座標をシフトすると同時に、路側の変化を、平面的な２Ｄ入力信号に基づいて、好ましくは立体的な３Ｄで表示することができる。記録された画像と現在の画像との間の登録を、現在のカメラの自己運動と、画像補間或いは、傾斜計、加速計又はデジタルコンパス等のオンボードセンサから得られる自己運動とを考慮する公知の技術を使用して改善することができる。このオンボードセンサの情報は、得られた各画像に埋め込まれているメタデータフィールドの一部とすることができる。この最後の特徴は、深層的な検査にとって望ましい。繰り返すが、上述のように、好ましい実施形態では、ソフトウェアは、既存の半自動式の変化検出ソフトウェアを利用して、スクリーン上で疑わしい危険を強調することもできる。ソフトウェアコードは、最も近くに保存されたビデオフレームの適切なデータベースから選択されるオンボードＧＰＳ装置をリアルタイムで利用する。オンボードカメラが２つの画像を同時に表示する場合、最も近いＧＰＳビューは、データベースから選択される。理想的には、画像は水平方向に拡大されており（又は垂直方向に縮小されており）、よって道路位置又はオンボードセンサに基づいて必要なＸ、Ｙ調節を行いながら、オンボードカメラからの画像を将来の参照のために保存装置に記録することができる。登録を改善するためにモーフィングソフトウェアを使用することもできる。本発明において、ビデオが捕捉されて「メタタグ」データセットの一部として保存された時間及び高度を追跡することも考慮される。ＸＭＬスキームは、このような情報のインターフェースとなる。

上述のように、リアルタイム変化検出ソフトウェアを本発明に使用することができる。Standard Geo Referenced Data（ARC Info／GIS）情報は、インポート及びエクスポートすることができる。更に、変化検出ソフトウェアを、システムに実装することができる。このようなソフトウェアの使用により、誤検出の排除を補助することができ、これにより、本発明は、初心者の運転者にとってさらに有用なものとなる。画像は、ＨＭＤ、下向きディスプレイ、ＬＣＤ、投影及びラップトップスクリーンにより運転者に提示できる。
田舎及び郊外のエリアを地図描画し、ＧＰＳ座標を「メタタグ」して適切なライブラリーに保存することができる。地震などの自然災害が起こり、路面及び周辺の地形が実質的に変わり、危険が生じた場合、本発明の使用により、このような変化を簡単に視覚化することができる。
更に、船舶からのカメラを使用して、正確に進路をナビゲートし、危険を回避することができる。慣れない地形に飛行機を着陸させるか又は入港させるため、及びブイ等の視覚的物体に対して正確に旋回させるためにも、船舶のカメラを使用できる。送電線、道路標示及び路上の白線、路側の植生、トンネル及び地形の動き等の物体を比較することもできる。

本発明は、夜間のナビゲーションの補助として、又は経路に沿った装置の配達を記録するために使用することもできる。例えば、特定の曲がり角、埠頭への接近及び埠頭での配達された品物の画像を含む配送経路は、運転者を訓練し、運転者の行動を監視及び記録し、配達の証明とするのに特に有益であり得る。過去に記録された完全な位置と現在の位置とを比較することにより、車両の正確な位置決めを行うことができる。例えば、熟練したナビゲータによって以前に記録された岸辺の木、埠頭、ブイの位置とマッチングさせることにより、方向転換して流路に入る時点を正確に決定することができる。同じ原理を、狭い船積み埠頭に入ろうとする大型トラックが使用することができる。

本発明を実施するための必須構成要素の概略的ブロック図である。 本発明を実施する場合に運転者にデータを提示するための、典型的な分割画面提示を示す。

Claims (24)

1. 地理的空間内における状況の変化を、移動中の車両又は静止している車両から検出する方法であって、地理的空間の画像又はセンサデータを、前記地理的空間に関連するＧＰＳ座標又は他の方法により取得された座標と関連させて捕捉及び記憶すること、そのような座標にアクセスしながら移動中の車両により前記地理的空間を通過すること、前記記憶された画像上の地理座標データを前記地理的空間の通過と同調させることによって、前記記憶された画像が、前記通過する地理的空間と同じビューとなるように、前記記憶された画像を再生すること、並びに、通過する地理的空間を記憶された画像と比較できるように観察者に提示することを含む方法。
2. 前記画像がビデオ画像である、請求項１に記載の方法。
3. 前記記憶された画像は、前記移動中の車両又は移動するカメラ／センサプラットフォームに配置されたカメラで捕捉する、請求項１に記載の方法。
4. 前記通過する地理的空間の画像は、移動中の車両において、前記記憶された画像の捕捉に使用されたカメラ位置と実質的に同じ位置に配置されたカメラの出力を表示させることによって観察される、請求項３に記載の方法。
5. 前記記憶された画像と、通過する地理的空間を表示する画像とを、１つ以上の表示スクリーンに同時に供給する、請求項１に記載の方法。
6. 単一の表示スクリーンが、水平方向に延びる境界線によって分離された分割画面を有する、請求項５に記載の方法。
7. 前記表示スクリーンの上半分又は上部に、通過する地理的空間の画像を供給し、前記表示スクリーンの下半分に記憶された画像の画像を提供する、請求項６に記載の方法。
8. 前記記憶された画像は、前記地理的空間を通過する時刻のものを取り出す、請求項１に記載の方法。
9. 前記記憶された画像は、昼間の時間中のような実質的に異なる時刻のものを取り出し、前記通過する地理的空間の通過は、夜間又は他の時刻に行う、請求項１に記載の方法。
10. 前記通過する地理的空間を通過する際に、赤外線カメラ、暗視カメラ、或いはソナー、レーザ・レーダ又はレーダ等の他のラスターベースのセンサを使用する、請求項９に記載の方法。
11. 前記通過する地理的空間を通過する際に、ラインスキャンセンサ、或いは磁力計、音響センサ又は他の地理参照データを生成するセンサ等の他のセンサを使用する、請求項１に記載の方法。
12. 前記通過する地理的空間を通過する際に、３６０度全視界カメラを使用する、請求項１に記載の方法。
13. 前記通過する地理的空間を通過する際に、複数のセンサ又はセンサの組合せを使用する、請求項１に記載の方法。
14. 前記記憶された画像を、ＤＶＤ又は他の記録媒体上に記憶する、請求項１に記載の方法。
15. 画像又は他のデータに、ＧＰＳ位置、ビュー方向、高度又は時刻を表すメタデータでタグ付けする、請求項１に記載の方法。
16. 画像又は他のデータに、慣性センサ、傾斜計、加速計、デジタルコンパスから得られる地理的位置、ビュー方向及び時刻を表すメタデータでタグ付けする、請求項１に記載の方法。
17. 前記記憶された画像と、通過する地理的空間との差異を、表示スクリーン上で強調する、請求項５に記載の方法。
18. 前記記憶された画像と、通過する地理的空間との差異を、現在の画像と過去の画像を素早く交互に表示することによって、表示スクリーン上で強調する、請求項５に記載の方法。
19. 移動中の車両又はセンサプラットフォームの移動距離に応じて画像を選択的に記録することにより、前記移動中の車両又はセンサプラットフォームからカメラベースの画像を捕捉するシステムのデータベース要件及び帯域幅要件を減らす方法。
20. 移動中の車両又はセンサプラットフォームからカメラベースの画像を捕捉するシステムのデータベースの要件及び帯域幅の要件を減らす方法であって、前記移動中の車両又はセンサプラットフォームの移動距離に応じて画像を生成するＧＰＳをトリガとするカメラを使用することを含む方法。
21. 運転者に対し、前記車両後方の１つの位置から見たナビゲーションビューを含む地理的空間内のナビゲーションビューを提供する方法であって、車両の背後の地理的空間の画像を、前記地理的空間に関連するＧＰＳ座標又は他の方法により得られる地理座標と共に記憶すること、及び通過する地理的空間と同じ地理的空間の、前記記憶された画像を再生することを含む方法。
22. 地理的空間内において車両の現在位置を決定する方法であって、地理的空間の画像又はセンサデータを、前記地理的空間に関連するＧＰＳ座標又は他の方法により得られる地理座標と同調させて記憶すること、及びこのように記憶したＧＰＳ座標又は他の方法により得られる地理座標を、前記車両の同じ位置での地理的空間の座標と比較することを含む方法。
23. 一連のフレームをＧＰＳ座標によって記憶し、前記フレームの中で最も近いものを、比較時点の車両の位置のＧＰＳ座標と比較する、請求項２２に記載の方法。
24. 選択された地理的空間を移動中の車両のナビゲーションを補助する方法であって、前記地理的空間の画像又はセンサデータのデータベースを、前記地理的空間に関連するＧＰＳ座標又は他の方法により得られる地理座標と関連させて構築すること、このような座標にアクセスしながら前記移動中の車両で地理的空間を通過すること、及び前記地理的空間を通過しながら、記憶された画像に地理座標データを同調させることによって前記記憶された画像を再生して、通過する地理的空間と同じ地理的空間の、前記記憶された画像を表示することを含む方法。

Images