JP2020057407A - 移動体用の改良型環境表示を生成するためのシステムおよび方法 - Google Patents

Abstract

【課題】 進行中の移動体のための撮像システムにより、既存のデータをセンサーデータと集約することで、リアルタイムに周囲環境の映像を提供できる。【解決手段】 この既存のデータを、一個以上の3Dセンサーからのデータとカメラからの2D情報と組み合わせることで、風景モデルを作成して表示用に構築する。当該システムは、3Dセンサーからのデータを受け付け、そのデータを3Dデータ構造体に変換し、既存の風景データと3Dデータ構造体および2Dセンサーからの2D映像データとを融合して結合風景モデルを作成し、その結合風景モデルを表示用に構築する。当該システムはまた、第一のセンサーおよび第二のセンサーから得られるデータの特徴を重み付けすることで、第一のセンサーから得られる一種以上の特徴および第二のセンサーから得られる別の特徴を選択できる。なお既存の風景データをセンサーデータに融合させる際には、そのように選択した第一のセンサーから得られる特徴および第二のセンサーから得られる特徴を用いる。【選択図】 図１

Description

［関連出願へのクロスリファレンス］
本願は米国特許法第119条(e)に則り、米国特許仮出願第62/075,724号（2014年11月05日出願、その全容はこの参照により本開示に含まれる）の利益を請求する。

［研究開発に対する連邦政府援助］
該当無し。

本開示は、風景撮像システムおよび視覚システムに関し、より具体的には風景撮像システムおよび視覚システムにおける複数種のデータ源を融合（フュージョン）することに関する。

本明細書における「風景」（scene）という語には、地勢（一般的な地面や水面の地理）と、人造・天然の障害物および造作との双方が包摂される。なお、その人造・天然の障害物および造作は、固定されたものでも可動のものでもよく（例えば建物、樹木、車輌、岩／礫などである）、これらをまとめて「非地勢的造作」（non-terrain features）または「障害物」（obstacles）と称することがある。

航空機他の移動体用にコンピュータが生成する表示は、既に軍事・民生用途で当たり前のものとなっており、移動体の操縦者が周囲環境をより認識しやすくする上で有益な情報を提供できるようになっている。そうした表示としては、全球測位システム（GPS）データ、二次元（2D）撮像センサーデータ（ビデオカメラやIRカメラなど）、三次元（3D）撮像センサーデータ（3Dレーダーによる映像モデルなど）といったものが挙げられる。こうした拡張視覚（展望）システムは移動体の制御においてきわめて重要な役割を果たしており、例えば航空機の特に操縦者の肉眼観測を妨げるおそれのある悪条件下（薄明り、霧、砂塵など）での離陸時・近接時・着陸時の制御において重要と言える。

周囲環境の二次元合成映像や三次元合成映像を提供できる表示法もあり、撮像技術は当該技術分野で知られており広汎に用いられてもいる。特定の用途に適した撮像技術もある。例えばレーダー撮像法は、航法、監視、偵察、ひいては標的の追跡と識別にも汎く使われている技術である。従来のレーダー撮像法は、二次元走査（距離と方位角）によって実現されている。平面からのすべての帰還信号を推定することにより、各分解能セル（方位角ビーム幅やステップ距離分解能（step by range resolution length）や距離ステップ）からの反射信号の強度に基づいた映像を作成でき、このようにして距離／方位角座標を平坦なX, Y Cartesianフレームに変換できるわけである。こうして得られる映像は平面図であって、レーダー反響程度（radar return level）に関連づけられた基礎分解能セルの各々にて画像強度、グレイスケール濃淡、色、またはそれらの組み合わせを付したものである。見下ろし式の眺望から作成されるこうした映像は、さまざまな用途で使えるものではあるのだが、別の眺望（パイロットの眺望など）からの視点が要るときには困ったことになる。従来のレーダー撮像システムでは、基礎分解能セルの位置を定める三次元座標の全てを提供していない（つまり仰角測定は行われていない）。このためデータ（映像）を別の眺望へと変換できなくなっている。すなわち従来のシステムでは、映像中で物体を、パイロットの眺望から視えるような正しい高さでは表現できていない。

さて当該技術分野の現時点での水準においては、レーダー映像作成システムが、垂直方向の情報を得るためにデータベースを使っている。こうしたシステムでは、レーダーセンサー位置を精確な航法システムによって定めた上で、上述したように作成される二次元映像を絶対座標で登録することにより、高さデータをデータベースから使用できるようにしているわけである。しかしこの手法には根本的に下記二点の問題がある。すなわちまず第一に、データベースに保存されていない垂直方向の大きさを持つ物体の検出ができないこと。例えば、データベースの最新の更新の後に、上方に伸びた塔建築のような物体の検出はできないわけである。そして第二に、要求される分解能を満たせない用途があること。例えばヘリコプターを塵雲中や霧中で着陸させようとする場合、パイロットが確実に状況認識できるためには分解能に1フィート（30cm）のオーダーが求められるのである。

こうした問題をいくらか修正できる援けとなるような他の技術、例えばレーザーレーダー（一般的には「lidar（ライダー）」、「LiDAR」、「LIDAR」と呼ぶ）といったものもある。レーザーレーダー（これのことを「ladar」や「LADAR」と呼んでいる文献もあり、これらの文献は本開示の範囲に含まれる）はレーザーを使って目標までの距離を測ることができるが、自ずから欠点を有するものでもある。例えばlidar撮像法では一般に、砂塵嵐を「見通す」ことはできない。砂塵嵐中ではレーザー光を塵粒子が散乱または反射させてしまうので、風景への距離がおかしくなってしまう。さらにパイロット他の移動体操縦者にとって、異なる分解能を有する複数の情報源からのデータを瞬時にまとめて評価し、反応をするには無理がある。危険な状況下ではそうした反応が必要になってくる場合もあるというのにである。

このため当該技術分野においては、種々の情報源の持つ強みをリアルタイムに集約して、周囲環境を移動体操縦者が即座に理解し反応を返せるようなより良い撮像法を提供できる改良型システムおよび／または方法が希求されている。

一態様において本開示は、動作中の移動体（特には航空機を指すが、一般的には水陸用の移動体も指す）において使用するためのリアルタイム撮像システムに関し、当該リアルタイム撮像システムは、既存の（先験的な）データベースのデータを、リアルタイムのセンサーデータと集約することで、周囲環境の合成映像をリアルタイム的につくりだせる。例えば或る態様では、一個以上のデータベースから得られる風景データを、一個以上の3Dセンサー（レーダーおよび／もしくはlidarなど）から得られる3D点群データならびに一個以上のカメラ他のセンサーから得られる2D情報と組み合わせることによって風景モデルを作成して、この風景モデルを視覚表示への入力となる映像信号として構成することで、その視覚表示において進行中の移動体の周囲の一種以上の方向に在る環境（例えば移動体の前方、下方、ひいては周囲などの環境）を仮想的に見せることができる。

或る態様では、風景の映像を取得する一個以上の2Dセンサーもしくは3Dセンサーに基づいて、風景の合成映像を構築するための機械実施方法が提供される。当該機械実施方法には、既存の風景データを読み込むステップと、一個以上の環境センサーから3D点群データの形態であるセンサーデータを受け付けるステップと、一個以上の環境センサーから得られたセンサーデータを多分解能3Dデータ構造体に変換するステップと、既存の風景データをセンサーデータと融合することで、多分解能3Dデータ構造体を含んだ結合風景モデルを作成するステップと、結合風景モデルをディスプレイへの入力のための映像信号として構築するステップとが含まれる。さらなる態様では当該方法が環境センサーとして、（一種以上の）レーダーセンサー、lidarセンサー、および／またはカメラ（もしくはソナーなどの他のセンサー）を使用できる。別の態様では当該方法がさらに、少なくとも第一の環境センサーおよび第二の環境センサーから得られるセンサーデータの有する特徴を重み付けすることで、第一の環境センサーから得られる一種以上の特徴および第二の環境センサーから得られる一種以上の別の特徴を選択するステップを含み、ここで既存の風景データをセンサーデータに融合させる際には、そのように選択した第一のセンサーから得られる一種以上の特徴および第二のセンサーから得られる一種以上の別の特徴を用いる。

別の態様においては、方法を実施するための命令を格納している非一過性の機械可読記憶媒体が提供される。当該命令には、機械により実行可能なコードが含まれており、当該機械に下記の工程を行わせることができる。すなわち、既存の風景データをデータベースから読み込む工程と、3D点群の形態であるセンサーデータを一個以上の環境センサーから受け付ける工程と、一個以上の環境センサーからのセンサーデータを多分解能3Dデータ構造体へと変換する工程と、既存の風景データをセンサーデータと融合させることで、多分解能3Dデータ構造体を含んだ結合風景モデルを作成する工程と、結合風景モデルをディスプレイへの入力のための映像信号として構築する工程とを当該機械に行わせることができる。

別の態様では、以下を含むシステムも提供される。すなわち当該システムは、標高データを有する既存の風景データを含んだ第一のデータ源と、3D点群の形態であるリアルタイムデータを提供する一個以上の環境センサーと、命令を格納している機械実行可能コードを含む機械可読媒体を含有するメモリーと、当該メモリーに結合したプロセッサモジュールとを含む。このプロセッサモジュールは、機械実行可能コードを実行することにより、下記の工程を行うように構成されている。すなわち、一個以上の環境センサーから得られるセンサーデータを多分解能3Dデータ構造体へと変換する工程と、既存の風景データをセンサーリアルタイムデータに融合することで、多分解能3Dデータ構造体を含んだ結合風景モデルを作成する工程と、ディスプレイへの入力のための映像信号として結合風景モデルを構築する工程とを行うように構成される。

この概要を提げたのは、本開示の特質を手早く理解できるようにするためである。本開示をより十全に理解するには、下記の本開示に係る実施形態の詳細な説明を添付の図面と併せて参照されたい。

本開示の一態様に従う、環境表示を作成するための例示的なシステムを描いたブロック図である。 図1のシステムの実施形態において使用可能な、データ取得モジュールおよび処理モジュールの一般的なアーキテクチャを描いたブロック図である。 図1の例示的なシステムにおいて使用可能な、センサー融合ロジックの一例を描いた機能フローチャートである。 図3のセンサー融合ロジックにおいて使用可能な、検査・融合モジュールの一例を描いた機能フローチャートである。 本開示の第一の態様に係る、「処理と分類」の機能を描いたブロック図である。 本開示の別の態様に係る、3Dモーション処理・分類の機能を描いたブロック図である。 本開示のさらなる態様に係る、3Dステレオ処理・分類の機能を描いたブロック図である。 本開示のなおも別の態様に係る、2Dビデオ処理・分類の機能を描いたブロック図である。 本開示の一態様により作成されるような多分解能の風景グリッドの図である。 本開示の一態様に従い、複数種の情報源から得られる風景データを結合して、環境の映像を作成するための方法を示すフローチャートである。

下記の詳細な説明では、本実施形態を図面を参照しつつ記載していく。ここで記載するいずれの実施形態も、ソフトウェア、ファームウェア、ハードウェア（固定論理回路など）、手動処理、またはこれらの組み合わせによって実施可能である。本明細書において「論理／ロジック」「モジュール」「部品／コンポーネント」「システム／系」「機能」という語は、一般的にはソフトウェア、ファームウェア、ハードウェア、またはこれらの要素の組み合わせのことを示す。例えばソフトウェア実装の場合、「ロジック」「モジュール」「コンポーネント」「システム」「機能」という語は、一個以上のハードウェア処理装置（CPUもしくはCPUsなど）において実行された際に、特定のタスクを行うプログラムコードのことを示している。そうしたプログラムコードは、一個以上の非一過性コンピュータ可読記憶装置に格納できる。

より一般的には、ロジック、モジュール、コンポーネント、システム、および機能が別箇のユニットとして分けて示されているというのは、ソフトウェア、ファームウェア、および／もしくはハードウェアの実際の物理的な分類と配置を反映していることもあるし、あるいは、単独のソフトウェアプログラム、ファームウェアプログラム、および／もしくはハードウェアユニットによって行われる種々のタスクの概念的な配置に対応していることもある。示したロジック、モジュール、コンポーネント、システム、および機能を、（処理装置により実施されるものなどとして）単独箇所に置くこともできるし、あるいは複数箇所に分散して置くようにしてもよい。

「機械可読媒体」（machine-readable media）およびこれに類する語は、任意の形態の情報を保持するためのあらゆる種類の非一過性記憶媒体のことを指し、種々の記憶装置（磁気記憶装置、光学記憶装置、静的記憶装置など）を含むものである。

ここに開示される実施形態群は、コンピュータプロセス（方法、工程）、演算システム、または製造品（コンピュータプログラム製品やコンピュータ可読媒体など）として実施可能である。そうしたコンピュータプログラム製品は、コンピュータ装置などの機構によって読み取り可能な非一過性のコンピュータ記憶媒体であってもよく、コンピュータプロセスを実行するための命令を有するコンピュータプログラムを符号化しているものであってよい。

図1は、本実施形態と共に用いるように構成されたシステム 100 を示すブロック図である。図1の構成の全体または一部は、移動体中で実施可能であり、例えば航空機、ヘリコプター、自動車、トラック、戦車、潜水艦などの中で実施可能である。システム 100 には、演算システム 102 が含まれてよい。演算システム 102 には、一個以上のプロセッサ 104 が含まれてよく、そうしたプロセッサのことを中央演算処理装置（CPU）とも言う。（一個以上の）プロセッサ 104 は、一種以上のプログラマブルな汎用または特定用途向けのマイクロプロセッサ、デジタル信号プロセッサ（DSP）、プログラマブルコントローラ、特定用途向け集積回路（ASIC）、プログラマブルロジックデバイス（PLD）など、またはこれらのハードウェア装置の組み合わせであってもよいし、あるいはそれらを含むものであってもよい。例えばプロセッサ 104 が、ディスプレイに図形をレンダリング（構築）するための特定用途向けグラフィック処理装置（GPU）を含んでいてもよい。

各プロセッサ 104 は、コンピュータ実行可能工程を実行し、かつ内部接続もしくはコンピュータバス 108 と連動する。そうしたコンピュータバス 108 としては例えば、システムバス、PCI（Peripheral Component Interconnect）バスもしくはPCI-Express（PCIe）バス、HyperTransportもしくはISA（industry standard architecture）バス、SCSIバス、USB（universal serial bus）、IEEE（Institute of Electrical and Electronics Engineers）1394バス（Firewireとも言う)、および／または任意の他の相互接続型が挙げられる。示している例示的実施形態においてコンピュータバス 108 は、各プロセッサ 104 を、メモリー（好ましくは不揮発性メモリーコンポーネント 106a および揮発性メモリーコンポーネント 106b を含む）、ネットワークインターフェイス 110 、ディスプレイインターフェイス 114 、および一種以上のセンサーインターフェイス 116 へと接続する。或る態様では、バス 108 が他の装置 118 （他の入出力装置・インターフェイスなどを含んでよく、例えばキーボードインターフェイス、ポインティグデバイスインターフェイスなど）への接続を提供してもよい。なお他の装置 118 についての詳細は、ここに開示する実施形態群とあまり関係はない。

上述した演算システム 102 には記憶装置（ストレージ） 112 が含まれる。記憶装置 112 としては例えば、ハードディスクドライブ（HDD）、ソリッドステートドライブ（SSD）、ハイブリッドドライブ（SSHDとも称する）、CD-ROM、不揮発性メモリー装置（フラッシュやメモリスティック）、および／または任意の他の記憶装置が挙げられる。記憶装置 112 は、オペレーティングシステムのプログラムファイルや、アプリケーションのプログラムファイルその他のファイル類を格納できる。これらのファイル類には、インストール用プログラムを使って記憶装置 112 に保存されるものもある。例えばプロセッサ 104 が、インストール用プログラムの有するコンピュータ実行可能の工程を実行することで、プロセッサ 104 がアプリケーションプログラムを適式に実行できるようにすることが可能である。また後述する態様に応じて、記憶装置 112 は、先験的（a priori）2D風景データ 120a （衛星画像など）および／もしくは先験的3D風景データ 120b を格納できる。先験的風景データ 120a, 120b には、数値風景標高データに関する一種以上のデータベースを含んでよく、例えばDTED、ALIRT、BuckEye、HALOE、および／もしくはその他といったものが挙げられる。こうした風景データは、数値座標（GPS座標、緯度経度座標など）に標高をマッピングした3Dデータを含んでいることが好ましい。一般的にはこうしたデータは、一定間隔のグリッド上に標高データを載せたかたちで表現されることが多い。先験的データ 120a, 120b は、従前に収集したセンサーデータを記憶装置 112 内の一種以上のデータベース中でコンパイルしたものであってもよいし、ならびに／または、システム 100 を用いる移動体の航行、運行、もしくは任務の完了後に記憶装置 112 内の一種以上のデータベースに対して不揮発性メモリー 106a から送られたデータであってもよい。なお不揮発性メモリー 106a からは、別の移動体（不図示）の有する不揮発性メモリーへもデータを送るようにすることも可能である。

またメモリー 106a, 106b が、コンピュータバス 108 と連動することで、プロセッサ 104 がメモリーストレージへアクセスできるようにしている。メモリー 106a, 106b にはランダムアクセスメモリー（RAM）である主メモリーを含んでいてもよい。記憶装置 112 に格納されたコンピュータ実行可能工程を実行する際には、プロセッサ 104 が、メモリー 106a, 106b に当該工程を保存して実行するようにしてもよい。メモリー 106a, 106b 中に保存できるプログラムモジュールの例としては、風景モデル、特には地勢モデル 132 および障害物モデル 140 が挙げられる。上述したように、モデル 132, 140 には記憶装置 112 に保存されるコンピュータ実行可能命令を含んでいてもよく、それらの命令の全てもしくは一部を、メモリー 106a, 106b 中に読み込んで一個以上のプロセッサ 104 による実行に供するようにしてもよい。或る態様では地勢モデル 132 および障害物モデル 140 が、先験的風景データ 120 などのデータ源を使用することで、風景の仮想モデルを作成することもできる（詳しくは後述する）。また或る態様では障害物モデル 140 が、センサー 122, 124, 126 からの入力を受け付け、そのデータを解析することで、データの有する種々の特徴が地勢であることを示しているのか、あるいは地勢では無い障害物であることを示しているのかを、判断するようにしてもよい（詳しくは後述する）。また読み取り専用メモリー（ROM、不図示）を用いて、不変命令シーケンスを保存するようにしてもよく、例えばキーボード（不図示）の動作のための起動時命令シーケンスやBIOSシーケンスなどを保存しておいてもよい。

或る態様では揮発性メモリー 106b を、「局地的（local extent）」データ、すなわち移動体に関して定められた範囲内（視地平に至るまでの領域など）についてのデータを保存するように構成するのが好ましい。またその一方で不揮発性メモリー 106a を、「全域（full extent）」データ、すなわち上記の定められた範囲を越えた領域についてのデータを、メモリーの所定構成限界まで保存するように構成するのが好ましい。或る態様では、揮発性メモリー 106b から得られるデータを使って、大半の（好ましくは全ての）処理を行うのが良い。また移動体が進むにつれて、不揮発性メモリー 106a からデータを取得して揮発性メモリー 106b に保存し、必要に応じて処理するのが好ましい。記憶装置 112 は不揮発性メモリー 106a からの更新を承け、上述したように任務完了後にオフラインメモリー（不図示）へデータを転送するようにもできる。また不揮発性メモリー 106a が、例えば継続任務の途中で、別の移動体へと（例えば無線で）データを転送するようにもできる。

或る態様における演算システム 102 は、有線もしくは無線のネットワークと接続するためのネットワークインターフェイス 110 を含むことができる。そうしたネットワークとしては例えば、携帯電話通信網、衛星通信網、イーサネット網などが挙げられる。ネットワークインターフェイス 110 は、公共ネットワーク（インターネットなど）の接続にも専用ネットワークへの接続にも使用できる。そうした接続により、本明細書に開示した撮像システムで使用するためのデータのダウンロード、ソフトウェア更新のためのダウンロード、および／または他の処理系との通信を行うことができる。しかしながらネットワークインターフェイスは必須というわけではなく、本開示の態様に依っては完全に省略してもよい場合もあることに留意されたい。

また演算システム 102 には、一個以上のセンサーインターフェイス 116 を含めてもよい。センサーインターフェイス 116 により、活動中の環境センサー（レーダー122 、lidar 124 、および／もしくは一種以上の他のセンサー 126 など）からの2Dもしくは3Dのリアルタイム入力を受け付けることができる。別のセンサー 126 としては例えば、電磁気スペクトラムのうちの可視光領域や種々の赤外（IR）領域で動作可能なカメラ（スチルカメラやビデオカメラ）が挙げられる。潜水艦に関する実施形態においては、他のセンサー 126 にソナーセンサーが含まれていてもよい。なお本開示では三種の活動中環境センサー 122, 124, 126 を記載しているが、三種よりも多くのさまざまな活動中環境センサーを用いてもよいし、三種よりも少ない環境センサーを使ってもよい態様もあることを理解されたい。

プロセッサ 104 は、風景モデル 132 や障害物モデル 140 などのプログラムをメモリーから実行することで、映像データ（先験的風景データ 120a, 120b 、レーダー 122 のデータ、lidar 124 のデータ、および／もしくは他のセンサー 126 のデータを含む）を処理し、処理した映像データを結合して、移動体に概ね関する環境のモデルを作成する。この移動体としては例えば、ヘリコプター他の飛行機、陸上機、水上機などが挙げられる。一般的にはこのようにしてモデル化された環境によって、周囲環境に関し、いずれかのデータ源自体が提供できるものよりもさらに正確な映像を得ることができる。その後にプロセッサ 104 が、周囲環境のデジタル合成映像を構築し、ディスプレイインターフェイス 114 を介して、ディスプレイ 128 上に周囲環境の一部を表示して操縦者へ提示できる。なお種々の態様ではディスプレイ 128 が、一種以上の汎用コンピュータスクリーンを含んでいてもよく、例えばLCDスクリーン、ヘッドアップディスプレイ（HUD）、ヘッドマウントディスプレイ（HMD）、VR（仮想現実）ディスプレイなどを含んでいてもよい。

センサーインターフェイス 116 は、態様に依っては、一種以上の航法センサー 134 からのリアルタイムの航法データを受信できるのが好ましい。そうした航法センサー 134 としては例えば、GPS（全球測位システム）受信機および／もしくはINS（慣性航法装置）センサーが挙げられる。航法データは、センサーインターフェイス 116 およびコンピュータバス 108 を介してプロセッサ 104 へと入力される。

さて図2では、モジュールデータフローの見本を示してある。図2に示すデータフローは、図1に示すようなシステムや、本明細書に示すタスクを遂行する上で適切なハードウェアとソフトウェアを有するような他のコンピュータシステムにおいて機能できる。まず始めに、先験的風景データ 120 についての一種以上のデータ源と、活動中である一個以上のリアルタイムセンサー（非限定的な例としては3Dレーダー 122 、3D lidar 124 、2Dビデオカメラ 126 がある）と用いて、所定の位置にて動作環境の拡張仮想視覚を与える。通常はこの位置というのは本システムが機能している移動体の位置になるわけであるが、本明細書の教示するところに応じて、これを分散環境に対して採用することもできるし、あるいは遠隔位置のモデルに適用することも可能である。

一般的には各データ源からのデータ（先験的データや活動中の環境センサーからのデータ）は、複数個の処理・分類モジュール 230a〜230e のうちの関連するいずれかを介して処理されることになる。処理・分類モジュール 230a〜230e の各々は、関連するデータ源から受信したデータ組に対して作業を行い、そのデータ組を規格化し、態様に依っては受信したデータ組内の要素を分類することもできる（詳しくは後述する）。処理・分類モジュール 230a〜230e は、2Dデータの処理、3Dデータの処理、またはその双方の処理ができるように構成可能である。示した実施形態においては、3Dセンサー（レーダーセンサー 122 やlidarセンサー 124 など）からの出力データを、3D点群データの組または構造体として処理・分類モジュール 230a へと提供し、3D風景データ構造体を得るようにできる。またカメラ 126 などの2Dセンサーから、2Dビデオ映像を少なくとも一個の2D処理・分類モジュール 230b に与えて、2Dビデオ映像を得るようにしても好ましい。或る実施形態では、3Dモーション処理・分類モジュール 230c によるstructure from motion（SFM）法を用いるか、および／または3Dステレオ処理・分類モジュール 230d によるstructure from stereo（SFS）法を用いることで、2Dビデオ映像を3D点群へ変換し、3D風景データ構造体を得るようにもできる。また2Dおよび3Dの先験的データ 120 を、2D/3D先験的処理・分類モジュール 230e へと入力して、2D風景データ構造体および3D風景データ構造体を得ることができる。

好ましくは、処理・分類モジュール 230a〜230e のうちの一個以上を、上述した航法センサー 134 からの航法データ（GPSデータおよび／もしくはINSデータ）を受信できるように構成するのがよい。種々の態様においては、処理・分類モジュール 230a〜230e の各々が、個別のデータ組に対して機能できる単独のモジュールであるか、同一もしくは類似のモジュールが有する個別のインスタンスであるか、個別のデータ型に対して機能する分散モジュールであるか、あるいはこれらの組み合わせであるかなどとしてよい。或る態様では例えば、特定のデータ型専門の処理・分類モジュールの個別のインスタンスに割り当てられた個別のプロセッサ 104 において、各データ型についての作業を行うようにできる。また処理・分類モジュール 230a〜230e のうちの一個以上が、風景のうちのモデル化すべき有効な領域を定義する援けとなってもよい。なお一般的には、こうした領域とは本明細書に開示したシステムと方法を実施する移動体の周囲の領域のことを言う。一例として航空機システムの場合、航空機の在る位置の周りの大体正方形の領域を、風景の有効な領域として定義できる。この正方形は、一辺の長さが約67kmであり、視地平と一致するかそれよりも大きい。有効領域の形状と大きさは態様に依って変わり、移動体の航行速度・方角も有効領域の決定に影響しうる。さらにセンサー範囲も有効領域に影響しうる。活動中の環境センサー 122, 124, 126 に関連づけられた処理・分類モジュール 230a〜230e のうちの一個以上は、センサーデータ組を有効領域に関連づけることができるが、或る態様においては単純にセンサーデータ組をその有効範囲だけに限定するようにしてもよい。

その後、処理・分類モジュール 230a〜230e から得られる風景データ構造体およびビデオ映像を、風景融合モジュール 232 によって結合し、リアルタイム結合風景モデル 234 を作成できる。このリアルタイム結合風景モデル 234 は例えばランダムアクセスメモリー（RAM）へ保存可能である。また風景融合モジュール 232 を、活動中（リアルタイム）の2D環境センサーおよび3D環境センサーのうちの任意の個数の組み合わせからの処理済みデータ組を、先験的データと航法データと同様に受け付けるように構成してもよい。その後に結合風景モデル 234 を映像構築モジュール 236 によって処理することで、視覚ディスプレイ 128 のための映像を作成できる。或る態様では、2D処理・分類モジュール 230b からの2Dビデオ映像データを、視覚ディスプレイ 128 へと出力する前に、ビデオ融合モジュール 240 において映像構築モジュール 236 からの出力と結合することもできる。上述したようにディスプレイ 128 には、コンピュータスクリーン、ヘッドアップディスプレイ（HUD）、ヘッドマウントディスプレイ（HMD）、VR（仮想現実）ディスプレイなどを含んでいてもよい。

図2に示した例示的な実施形態では、融合モジュール 232 からの入力によって結合風景モジュール 234 が更新されるか改変される度に、更新／改変版の結合風景モデル 234 を反映したデータを、リアルタイムに融合モジュール 232 へとフィードバックすることで、風景モデル 234 が活動中の環境センサーからのデータ構造体と確実にリアルタイムに融合できるようにしてもよい。こうすることで、風景モデル 234 を継続的に更新して、活動中のセンサー 122, 124, 126 が現在何を検出しているかに能く合致させるようにできる。また結合風景モデル 234 からの2Dデータ構造体と3Dデータ構造体を、先験的データ 120 に含まれる先験的風景モデルデータベース 234' へと入力するようにしてもかまわない。さらには、上述した図1の航法センサー 134 からの航法データを、処理・分類モジュール 230a〜230e のうちの一個以上（好ましくは全て）に対して入力し、併せて上述したように風景融合モジュール 232 にも直接入力するようにしてもよい。

上述したように先験的風景データ 120 には、HALOEデータ、BuckEyeデータ、ALIRTデータ、従前に標本抽出（サンプリング）もしくは収集した環境センサーデータ、および／またはDTED（Digital Terrain Elevation Data; 数値地勢標高データ）のうちの一種以上を含んでよい。例えばALIRTは高々度lidar動作実践データベースであり、HALOEは空輸lidar撮像調査試験データベースである。またDTEDは、National Geospatial-Intelligence Agency（NGA、米国国家地球空間情報局）から入手可能な数値標高モデルであり、高度約900メートル、90メートル、30メートルなどの種々の標高におけるデータや、さらに大粒度のデータといったものが得られる。同様にBuckEyeデータとは、US Army Corps of Engineers（米国陸軍工兵隊）が創成した、さまざまな地点における高分解能かつ高精度な標高データである。ここで風景モデルデータのための数々のデータ組の例を挙げてきたが、先験的風景データ 120 にとって特定のデータ源は必ず要るというわけではないし、そうしたデータ組の例のうちの一種以上は使ってもよいし、あるいは別の同様のデータ組を含めてもよいしもしくは差し替えて使ってもよい。一般的には先験的風景データ源 120 は、軍事的なものその他の政府による地球空間的データ組、および／または民生用の地球空間的データ組であって、地理的座標のための標高データを提供でき、さまざまな地点において3Dモデルを作成するために使用できるものである。上述したように先験的風景データ源 120 には、地勢データ（地表標高データなど）と、概ね固定されている構造物（建物、電線、電波塔他の塔、橋梁、樹木、岩／礫など）や移動可能ではあるが静止している物体に関する障害物データとの双方を含んでいるのが好ましい。上述したように、先験的データには、衛星画像などの2Dデータを含めることもできる。

或る態様では、さまざまな先験的風景データ源 120 が、データ組のそれぞれについて種々の粒度を有していてもよいし、および／またはデータ組全体に亘って種々の粒度を有していてもよい。また、人造物を含めるかどうかや、データを収集した期間などといった要素によって、さらに変わってくることもある。このため、二種以上の先験的風景データ源 120 を併せて用いることが好ましい。先験的処理・分類モジュール 230e を介してこのような併合（マージ）を行うことができ、或る態様においては先験的処理・分類モジュール 230e はデータ源を規格化して結合することもできる。規格化作業には、データ組中から適切な地理領域を選択する工程、データを標本抽出することで粒度を一定に保つ（もしくは複数種の粒度にする）工程、データ組のうちの一種以上をシフトして整列させる工程などが含まれていてもよい。或る態様においては先験的風景データ組 120 を、多分解能3Dデータ構造体中に組み入れることもできる。そうした多分解能3Dデータ構造体としては例えば、多分解能グリッドをサポートできる四分木もしくは八分木のデータベース構造体がある。多分解能グリッドには例えば、約100メートル（110ヤード）から約15cm（6インチ）の範囲の粒度を含めることができる。先験的風景データ源 120 を例えば、処理・分類モジュール 230e で処理して四分木もしくは八分木のデータベース形式にすることも可能である。別の態様では、先験的風景データ源 120 が唯一種のみの分解能を有するようにして、標高データの等間隔グリッドとして捉えることもできる。

或る態様では先験的処理・分類モジュール 230e がさらに先験的データを処理することで、地形（geological formations）では無い構造物の位置取りと識別を行うこともできる。例えば異なるデータ源同士を比較することで、建物、道路、橋梁、塔その他の構造物を識別する手掛かりが得られる。一例として一方の風景データ源 120 が厳密な地勢標高データを有し、他方の風景データ源 120 は人造の構造物を含むというようにしてもよい。このような二種のデータ源を比較することで、建物その他の人造構造物の識別ができるわけである。

同様にセンサーデータも、処理・分類モジュール 230a, 230b, 230c, 230d のうちの一種以上によって処理可能である。図2の実施形態では、（一個以上の）レーダーセンサー 122 、lidarセンサー 124 、およびカメラ（もしくは他のセンサー） 126 から、データを処理・分類モジュール 230a, 230b, 230c, 230d へと与えるようになっている。或る態様では上述したように、レーダーデータ 122 およびlidarデータ 124 を3D点群データとして提供するが、これは先験的風景データ 120 と同様、通常は等間隔グリッドにはあてはめないものである。或る態様では先験的風景データ 120 をおおむね、通常の(x, y, z) 3D Cartesian座標系として提供し、その一方でレーダーセンサーとlidarセンサーからのセンサーデータをおおむね、通常の(r, θ, φ) 極座標系として、特定点から放射方向に伸びるデータとしているとも言えるだろう。さらに、より近いセンサーデータは一般に、より離れたデータよりも頻繁にサンプリングされている。このような異種のデータを組み合わせるにあたっては、それらのセンサーに関連づけられた処理・分類モジュール 230a〜230d （特にはレーダーデータを受信する処理・分類モジュール 230a とlidarデータを受信する処理・分類モジュール 230b ）が、点群データを、多分解能でネストされた正規化グリッド（四分木構造体や八分木構造体など）へと変換可能である。

なお示している実施形態では、センサーに関連づけられた四個の処理・分類モジュール 230a〜230d を描いてあるが、用いる活動中の環境センサーの個数と種類に依って、当該モジュールの個数は四個より少なくても多くてもよいことは理解されたい。同様に、システムについて所望する性能と特有の構成に応じて、先験的データと関連づけられた複数個の処理・分類モジュール 230e を使用してもよい。

くわえて或る態様では、レーダーデータ 122 、lidarデータ 124 、および他の（カメラやソナーなどの）データ 126 を分類工程に通すことで、移動可能な障害物および／もしくは移動中の障害物（車輌、通行人、動物、仮設構造物など）の位置取りと識別を行うこともできる。こうした障害物としては、先験的風景データ 120 中には見当たらない、概して移動可能な物体および構造物を含めてもよい。例えば移動中もしくは停止中の車輌は、可動性があるために通常は先験的風景データ 120 に含まれていないものではあるが、本システムを使用している移動体の操縦者にとっては避けたい障害物となりうる。そこでこうした車輌も、レーダー 122 、lidar 124 、およびカメラ 126 によって識別できるわけである。或る態様では、図1の障害物モデル 140 が、処理・分類モジュール 230a〜230e のうちのいずれかに含まれるかまたはそれと協働することで、障害物識別タスクを行うようにできる。

図3は、本開示の或る態様に従う、図2に示した風景融合モジュール 232 においてセンサーデータと先験的データを結合するために使用できる例示的アーキテクチャを描いたものである。この例示的実施形態では、風景融合モジュール 232 が、一連のn個の検証・融合サブモジュール 310₁〜310_n を有している。そして各々の検証・融合サブモジュールが、処理・分類モジュール（上述した処理・分類モジュール 230a〜230e など）から一種類の風景データもしくはビデオ映像データを受信して検証を行う（この検証・融合サブモジュール 310₁〜310_n のロジックについては後述する）。なおここでの説明では、「検証（validate）」という語は、（一種以上の）センサー信号中にて地勢に関連したデータおよび障害物に関連したデータが在ることを確認し（併せて任意に、地勢に関連した先験的データおよび障害物に関連した先験的データも確認してもよい）、大気中や環境中の遮蔽を排除し、かつ外部からの妨害などの「ノイズ」（干渉）をも排除しつつ、移動体が実際に目の当たりにしている風景を表現する工程のこととして定義する。上述したように図2のシステムで用いるセンサーの個数は、特定の任務で求められるところに応じて変わってくるわけであるが、そこで図3のロジックを使ってそのセンサーの個数を調節することも可能である。つまり、検証・融合サブモジュールを必要に応じて（別の種類のデータのために）再構成したり、追加したり、または削除したりできるということである。

検証・融合サブモジュール 310₁〜310_n はカスケード構成されており、連続して並んでいるサブモジュールの各々が、その前に在る全てのモジュールにより検証されたデータを受信し、かつ自身が関連するセンサーもしくは先験的データベースから新たなデータも受信する。各サブモジュールは、新たに受信したデータの検証を行い、従前に検証されたデータと融合もしくは結合してから、カスケードで次に控えるサブモジュールに渡している。こうしたロジックによって、新たなセンサーからのデータ（もしくは先験的データ）をサブモジュールが受け付けるたびに、その新たなデータも従前に検証したデータに対して確実に検証されるようにできる。新たなデータが有効であった場合には、そのサブモジュールからの結合データ出力を、利用できる最高品質のデータとして検証してから、次に控えるサブモジュールへ渡すようにできる。

多くの実施形態においては風景融合モジュール 232 が、レーダーセンサー 122 からデータを受信するよう構成された第一の検証・融合サブモジュール 310₁ を有していてよい。これは、物理の原理から考えればレーダーデータは有効であるとみなせるのが普通だからである。もうすこし具体的に言うと、レーダーは大気中の遮蔽（砂塵、雪、煙、靄、霧など）の大半を「見通す」ことができるが、豪雨に対しては信頼がおけない（「有効」でない）こともある。いずれにしてもレーダーデータの有効性は、既知の手法・試験により数学的に確かめられるものであって、例えばセンサーの故障や風景が映っていないなどの場合において確かめることができる。有効であるとの推定がされているので、レーダーデータを使って、風景融合モジュール 232 におけるデータ検証全般を行うこともできるわけである。

最終的には、最後段の検証・融合サブモジュール 310_n が、結合（融合）しかつ検証されたセンサーデータと先験的データを出力して、風景モデル 234 を更新する。また更新した風景モデルデータを、最後段の検証・融合サブモジュール 310_n へとフィードバックすることで、更新した風景データ全体の検証を確実なものとすることがより好ましい。

図4は、一個の検証・融合サブモジュール 310_m が有するロジック例を示す図である。なおこの検証・融合サブモジュール 310_m は、検証・融合サブモジュール 310₁〜310_n のうちのいずれであってもよい。サブモジュール 310_m には、機能ブロックとしてデータ融合ブロック 312 およびデータ検証決定ブロック 314 が含まれる。データ融合ブロック 312 は、前に在るサブモジュール 310_m-1 からの結合・検証済データを、第一の入力信号 320 として受信する（なおサブモジュール 310_m が最初段のサブモジュール 310₁ であるときには、融合ブロック 312 は第一の入力として、有効と推定されるレーダーデータ 122 を受信することになる）。第一の入力信号 320 の有するデータは、物理の原理からか、または有効性を示すための数学的プロセスの結果として、有効であることがわかっている（もしくはそう推定されている）。例えば本システムが、遭遇している状況に対してlidar反射波の範囲が適切であるかどうか（例えば移動体が霧や砂塵にとりまかれているときには数メートル、晴天状況下では数百メートル、など）を、数学的に検証できると考えられる。第一の入力信号 320 が有するデータは、（従前のセンサーの計測野などにおける）x-y-zグリッド上の各点について、地勢に関連するものであるかまたは障害物に関連するものであるかを分類済であって、当該グリッドの各点において有効であるとみなす。

風景信号 321 は、センサー、先験的データベース、もしくは風景モデル 234 から得られた地勢データおよび／または障害物データを伴っているものであり、決定ブロック 314 が受信するものである。この風景信号 321 のデータの検証を二点間基準でやりたい場合には、決定ブロック 314 において、風景信号 321 のデータを第一の入力信号 320 が有する融合され検証されたデータと比較することで、検証を行うことができる。この比較は、一種以上の物理パラメータの定量的比較に基づいて行うことができ、そうした物理パラメータとしては、2D強度、空間分解能、予め推定しておいた位置からの標準偏差などが挙げられる。例えば、風景中の同種の二個の物体の間の距離が、信号 320 と信号 321 によってそれぞれ示されているとすると、その距離を互いに比較してもよいし、あるいは所定の距離と比較してもよい。またその距離が風景信号 321 によって示されていて、求められる比較基準に合致していた場合には、対応するデータを有効とみなす。或る実施形態では、風景信号データの検証を複数種の比較基準もしくは試験に基づいて行う場合に、重み付け係数 W を使うことで、各試験もしくは基準に対して適切な重みを与えるようにできる。他の実施形態では、重み付け係数 W を使って、求められる比較基準を調整してもよい。あるいは別の手法として、第一の入力信号 320 との二点間比較は行わずに、風景信号 321 を全体的に物理基準を使って検証するようにしてもよい。例えば風景信号 321 が、所定の空間分解能と強度の基準（と任意に重み付け係数）に合致するかどうかを判断可能である。

風景信号 321 のデータのうちのいずれかが無効であると判断された場合、その無効なデータは風景モデルからは棄却されることになるが、他の判断（状況認識など）を行う際には使ってもよい。風景信号 321 の持つ有効であると判断されたデータのうちのいずれかを、第二の入力信号 322 によってデータ融合ブロック 312 へと提供して、第一の入力信号 320 によって提供された従前に融合・検証されたデータと、既知の統計的仮説試験法により融合または結合できる。例えば或る態様では融合ブロック 312 が、二点間基準で、入力信号 320 と入力信号 322 のどちらがより高い分解能、強度、および／もしくは精度のデータを持っているかを判断して、そのデータを融合・検証済出力信号 323 のために使用できる。つまり、融合ブロック 312 の出力信号 323 、すなわちサブモジュール 310_m のそれが、風景信号 321 からの検証済データを加えることによって（第一の入力信号 320 の有すデータに較べて）さらに改善されたデータを有する信号となるわけである。その後に出力信号 323 の有する検証済データは、次に控える検証・融合サブモジュール 310_m+1 への入力となる。なおサブモジュール 310_m がカスケード中最後段のサブモジュールであった場合（図3参照）には、出力信号 323 の有する検証済データは風景モデル 234 へと渡される。

さて説明のために、候補となる融合アーキテクチャを考える。ここではレーダーセンサーおよびlidarセンサーが、個別に当該融合アーキテクチャへ入力を与えるものとする。当該アーキテクチャでは、レーダー信号はいつでも有効であると考える。これはレーダーは遮蔽を透かして風景を撮像可能であるためである（信号が減衰してしまう豪雨は除く）。したがってレーダー信号をlidarデータの検証に使うことができる。lidarデータが有効と検証されると、lidarデータをレーダー信号と融合して、より高度な情報コンテンツ信号を作成でき、これをこの融合サブモジュールからの出力とすることができる。その後にこの検証済信号をさらなる処理に掛けることができ、別の融合サブモジュールに検証源として渡すか、あるいは風景の有効な表現として風景モデル 234 へインストールすることになる。

センサーから得られたデータのいずれかが無効であると表明された場合（風景では無くて障害物である証拠であると思われる場合など）には、その無効データは棄却されることにはなるが、他の判断（状況認識など）を行う際には使ってもよい。つまり、信号が有するデータの一部が棄却されたとしても、融合サブモジュール 310_m は依然として活動中であって、有効なデータは改変されずに当該融合サブモジュール 310_m を通って融合工程の次の段階（サブモジュール）へと渡されることになるのである。

各センサー、各先験的データ組、および風景モデルは、図3に示したような融合サブモジュール 310 のカスケードを使うか、あるいは特定の任務に適する何らかの変形例を使うことで、有効性を継続的に監視している。したがって当該カスケードの最後段のサブモジュール 310_n にまで届いた情報は、最終的には風景モデル 234 中に保存され、この検証済データがその風景について利用可能な最高品質を呈するということになる。

具体例として、レーダーデータが有効と推定されるのだがlidarデータよりも低分解能であり、その一方lidarデータはレーダーデータよりも高分解能（高品質）であると推定されるのだが常に有効というわけではない、という場合を考えてみよう。本融合システムを搭載した移動体が、進行中に突然激しい遮蔽（砂塵や霧など）に出くわしたと仮定する。その遮蔽に遭遇する前から、lidarは風景についての有効な高分解能データを収集してきており、このデータは風景モデル 234 中に保存されている。さてそうこうして移動体がその激しい遮蔽の中に入ると、lidarは遮蔽を通して風景を撮像できなくなってしまう。だがレーダーはこの遮蔽を透かして風景を撮像できる。また移動体の動線上に動く物体が入ったことで風景が急に変化した場合、lidarデータはその動く物体に因る風景変化を追って撮像できないと考えられる。するとこの時点で、遮蔽に遭遇する前にlidarが収集していた風景モデルはもはや不正確になってしまう。しかしレーダーの方は風景を有効に撮像しつづけられ、その動く物体を検出し撮像することができる。このため、動く物体の位置におけるレーダーデータを使うことで、風景モデルを更新できる。こうして風景モデルに、その動く物体についての情報を含めることができたわけである。たとえ風景モデル中に保存されていたlidarデータの分解能よりもレーダーデータの分解能が低かったとしても、上記のように進めることができる。レーダーデータのように低分解能であるが検証済のデータによって高品質のlidarデータを置換するというのは、そのレーダーデータのほうがより時宜に叶っている上にしかも新しい情報を含んでいるが故である。くわえてさらに、この新たなレーダー情報により、動く物体の在る領域について以前に収集したlidarデータは無効化されている。

第二の具体例では、移動体の運行中に突然激しい遮蔽に遭遇した場合を考える。この遮蔽に遭う前に、lidarによって風景の有効な高分解能データが収集されていて、そのデータは風景モデル中に保存されていたとする。さて移動体が遮蔽の中に入ると、lidarは「視界」を奪われる。この時点でもレーダーは風景の撮像を続けている。だが風景には何の変化もないという場合を考えてみよう。この場合には、レーダーデータが風景モデルを検証できる。風景モデルには遮蔽に遭う前の高品質なlidarデータが保存されているので、風景モデルは変化しない。この高品質の風景モデルがレーダーデータに対しても有効であるので、風景モデルが（lidarに較べて）低分解能なレーダーによって改変されることは無いのである。

まとめると本風景モデルには、最高の分解能を有する有効なセンサーデータが利用可能な状態で常に入っているということになる。

図5は、本開示の態様に従う、図2の3D処理・分類モジュール 230a の例の動作を示したブロック図である。3Dレーダー 122 、3D lidar 124 、および／もしくは別の3Dセンサー（不図示）により提供される風景の3D点群（大気中の遮蔽も含んでいる可能性がある）の形式として、センサーデータが入力 I_a に含まれている。入力 I_a の有する3D点群センサーデータはまず、機能ブロックまたは工程 500 にて品質検証に掛けられて、そのデータが、遮蔽・妨害にでは無く風景に沿っているものであるかどうか、あるいは故障したセンサーに応じたものであるかどうかを判断する。機能ブロックまたは工程 500 の出力は、風景を時宜に叶って有効に反映しかつ遮蔽・妨害を含まないデータ信号である。

つづいて品質検証ブロックまたは工程 500 からの出力が有するデータを、（分類ブロックまたは工程 510 で）地勢のものであるかまたは非地勢のものかで分類する。また航法安定化ブロックまたは工程 520 にてデータを検索することで、道標であろうと思われる物体を示す情報を探し出して、センサーデータを動き（モーション、motion）に対して安定化させるために使うことができる。航法安定化ブロックまたは工程 520 では、従来技術に係るKalmanフィルタリング法を使って航行状態を推定することが好ましい。航法安定化ブロックまたは工程 520 は、分類ブロックまたは工程 510 の前に行ってもよいし、後に行ってもよく、あるいは同時に行うことも可能である。航法安定化ブロックまたは工程 520 の出力は、図2の3D処理・分類モジュール 230a への入力となる。

分類ブロックまたは工程 510 の後に、地勢データは内挿ブロックまたは工程 530 にて使われる。この内挿ブロックまたは工程 530 においては、地勢データ中の空白（遮蔽、妨害、歪み、外れ反射などに因る）を、内挿アルゴリズムその他の地形と物理センサーについての制約を利用できるといったような方法で埋めることで、自然な見た目の風景を作成できる。そうした内挿アルゴリズムとしては（当該技術分野で公知の）双一次補間アルゴリズムなどがある。分類ブロックまたは工程 510 から得られた非地勢データは、第二の（非地勢）分類ブロックまたは工程 540 へと送り、さらに物体の種類（樹木、建物、塔など）で分類するのが好ましい。地勢内挿ブロックまたは工程 530 および非地勢分類ブロックまたは工程 540 からの出力は、図2の風景融合モジュール 232 へと与えられる。

図6は、本開示の態様に従う、図2の3Dモーション処理・分類モジュール 230c の例の動作を示すブロック図である。入力 I_c には、ビデオカメラ 126 からの2D映像のビデオストリームが含まれる。なおこのビデオカメラ 126 は、上述したように電磁気スペクトラムの可視光領域またはIR領域で動作可能である。入力 I_c が向かうのは品質検証ブロックまたは工程 600 であり、そこで2D映像の品質が、風景に沿ったものであってかつ遮蔽・妨害や故障したカメラに応じたものでは無いかどうかを判断することになる。品質検証ブロック 600 からの出力は、風景を時宜に叶いかつ有効に表現した（うえに遮蔽・妨害を排除した）データである。この品質検証ブロック 600 からの出力が向かうのは、適切な先験的データベース 120 および3D structure-from-motionブロックまたは工程 605 である。structure-from-motionブロックまたは工程 605 では、検証ブロックまたは工程 600 からの現在検証済の2D映像データを、先験的データベース 120 から従前にキャプチャしておいた2D映像データと結合するにあたり、従来技術に係るstructure-from-motionアルゴリズムを用いて2D映像を3D点群へと変換している。Y. Ma et al., "An Invitation to 3-D Vision: From Images to Geometric Models," Springer-Verlag New York, Inc. (2004), ISBN-10: 0-387-00893-4などを参照されたい。つづいてstructure-from-motionブロックまたは工程 605 から出力される3D点群の形式のデータを、（分類ブロックまたは工程 610 にて）地勢か非地勢かに分類する。また3D点群データに対して航法安定化ブロックまたは工程 620 で検索を行い、道標と考えられる物体を示す情報を探して、センサーデータを動きに対して安定化させるために使用できる。航法安定化ブロックまたは工程 620 では、従来技術に係るKalmanフィルタリング法を使って航行状態を推定することが好ましい。航法安定化ブロックまたは工程 620 は、分類ブロックまたは工程 610 の前に行ってもよいし、後に行ってもよく、あるいは同時に行うことも可能である。航法安定化ブロックまたは工程 620 の出力は、図2の3Dモーション処理・分類モジュール 230c への入力となる。

分類ブロックまたは工程 610 の後に、地勢データを内挿ブロックまたは工程 630 に送り、地勢データ中の空白（遮蔽、妨害、歪み、外れ反射などに因る）を、当該技術分野で公知の内挿アルゴリズム（双一次補間アルゴリズムなど）を用いて埋める。分類ブロックまたは工程 610 から得られた非地勢データは、第二の（非地勢）分類ブロックまたは工程 640 へと送り、さらに物体の種類（樹木、建物、塔など）で分類するのが好ましい。地勢内挿ブロックまたは工程 630 および非地勢分類ブロックまたは工程 640 からの出力は、図2の風景融合モジュール 232 へと与えられる。

図7は、本開示の態様に従う、図2の例示的な3Dステレオ処理・分類モジュール 230d の動作を示したブロック図である。入力 I_d1 および入力 I_d2 には、第一のビデオカメラ 126 および第二のビデオカメラ 126 からの2D映像のビデオストリームが含まれる。なおこのビデオカメラ 126 は、上述したように電磁気スペクトラムの可視光領域またはIR領域で動作可能である。この二台のカメラ 126 は、立体視（ステレオスコープ）のビデオ映像が得られるように移動体上の別々の箇所に搭載するのが好ましい。入力 I_d1 および入力 I_d2 が向かうのはそれぞれ、第一の品質検証ブロックまたは工程 701 および第二の品質検証ブロックまたは工程 702 であり、その各々で2D映像入力の品質を検証し、風景に沿ったものであってかつ遮蔽・妨害や故障したカメラに応じたものでは無いかどうかを判断する。品質検証ブロック 701, 702 からの出力は、風景を時宜に叶いかつ有効に表現した（うえに遮蔽・妨害を排除した）データである。この品質検証ブロック 701, 702 からの出力が向かうのは、3D structure-from-stereoブロックまたは工程 705 である。structure-from-stereoブロックまたは工程 705 は、従来技術に係るstructure-from-stereoアルゴリズムを用いて2D映像を3D点群へと変換している。

つづいてstructure-from-stereoブロックまたは工程 705 からの出力が有する3D点群データを、（分類ブロックまたは工程 710 にて）地勢か非地勢かに分類する。また3D点群データに対して航法安定化ブロックまたは工程 720 で検索を行い、道標と考えられる物体を示す情報を探して、センサーデータを動きに対して安定化させるために使用できる。航法安定化ブロックまたは工程 720 では、従来技術に係るKalmanフィルタリング法を使って航行状態を推定することが好ましい。航法安定化ブロックまたは工程 720 は、分類ブロックまたは工程 710 の前に行ってもよいし、後に行ってもよく、あるいは同時に行うことも可能である。航法安定化ブロックまたは工程 720 の出力は、図2の3Dステレオモーション処理・分類モジュール 230d への入力となる。分類ブロックまたは工程 710 の後に、地勢データを内挿ブロックまたは工程 730 に送り、地勢データ中の空白（遮蔽、妨害、歪み、外れ反射などに因る）を、当該技術分野で公知の内挿アルゴリズム（双一次補間アルゴリズムなど）を用いて埋める。分類ブロックまたは工程 710 から得られた非地勢データは、第二の（非地勢）分類ブロックまたは工程 740 へと送り、さらに物体の種類（樹木、建造物、塔など）で分類するのが好ましい。地勢内挿ブロックまたは工程 730 および非地勢分類ブロックまたは工程 740 からの出力は、図2の風景融合モジュール 232 へと与えられる。

図8は、本開示の態様に従う、図2の2Dビデオ処理・分類モジュール 230b の例の動作を示すブロック図である。入力 I_b には、ビデオカメラ 126 からの2D映像のビデオストリームが含まれる。なおこのビデオカメラ 126 は、上述したように電磁気スペクトラムの可視光領域またはIR領域で動作可能である。入力 I_b が向かうのは品質検証ブロックまたは工程 800 であり、そこで2D映像の品質が、風景に沿ったものであってかつ遮蔽・妨害や故障したカメラに応じたものでは無いかどうかを判断することになる。品質検証ブロックまたは工程 800 からの出力は、風景を時宜に叶いかつ有効に表現した（うえに遮蔽・妨害を排除した）データであって、復元・拡張ブロックまたは工程 805 へと送られることになる。復元・拡張ブロックまたは工程 805 は、映像のエラーを、当該技術分野で公知であるWienerフィルターなどを使って数学的に復元・修正する。そうしたエラーとしては、光学レンズにおける形状歪み誤差などがある。また復元・拡張ブロックまたは工程 805 は、既知の技術（鮮鋭化など）を使って映像信号を拡張し、コントラストを改善できる。

こうして復元・拡張されたビデオ映像信号は、分類ブロックまたは工程 810 および航法安定化ブロックまたは工程 820 へと送られる。分類ブロックまたは工程 810 を置くことが好ましいのは、長波長赤外（LWIR）センサーからの熱映像として2Dビデオ映像信号を受信する場合である。このような場合に分類ブロックまたは工程 810 は、LWIRセンサーから得られた熱映像を、「熱い」物体（すなわち熱映像中で高温として表示されるもの）を含んだ風景コンテンツと、「冷たい」物体（すなわち熱映像中で低温として表示されるもの）を含んだ風景コンテンツとに分類する。航法安定化ブロックまたは工程 820 では、ビデオ映像を検索して、道標と考えられる物体を示す情報を探して、センサーデータを動きに対して安定化させるために使用できる。航法安定化ブロックまたは工程 820 では、従来技術に係るKalmanフィルタリング法を使って航行状態を推定することが好ましい。航法安定化ブロックまたは工程 820 は、分類ブロックまたは工程 810 の前に行ってもよいし、後に行ってもよく、あるいは同時に行うことも可能である。航法安定化ブロックまたは工程 820 の出力は、図2の2D処理・分類モジュール 230b への入力となる。分類ブロックまたは工程 810 からの出力は、図2の風景融合モジュール 232 へ与えられる。

上述の図5〜8でそれぞれ示す航法安定化ブロックまたは工程 520, 620, 720, 820 は、単一の機能ブロックまたは工程として構成してもよいしあるいは単一の機能ブロックまたは工程の中に組み込んでもよい。あるいはまた、これらを別箇の機能ブロックまたは工程としつつ、その各々が別の入力を関連する処理・分類モジュールへそれぞれ与えるようにしてもよい。

図2にからめて上述したように、或る態様では風景融合モジュール 232 を使って、先験的風景データ 120 を、レーダー 122 、lidar 124 、および他のセンサー 126 からのセンサーデータと結合できる。こうすることが通常好ましいのは、上述したように先験的風景データ 120 が古くなっていることがある（新しい建物が立っていたり、建物が取り壊されていたり、橋梁ができていたりするなど）という理由や、または単純に、静止していない物体（車輌、通行人、仮設障害物、瓦礫など）を考慮できないという理由からである。風景融合モジュール 232 は通常、結合風景モデル 234 を四分木データ構造体や八分木データ構造体の形式で出力するが、その他のデータ形式を用いてもよい。結合風景モデル 234 のデータを、映像構築モジュール 236 に供給して風景を表す仮想映像を構築できる。或る態様では、この仮想映像を移動体の操縦者の視点からのものとすることで、操縦者が移動体の外に視るか視た筈のものとほぼ相関させることができる。前述したように、一台以上のカメラ 126 （ステレオ複眼視ビデオや単眼視ビデオなど）を環境センサーとして使ってもよい。このような場合には映像構築モジュール 236 が構築する仮想映像を、ビデオ融合モジュール 240 にてカメラ 126 からのデータと組み合わせることで、ディスプレイ 128 への出力として使用可能である。なおカメラ 126 には、電磁気スペクトラムのうちの可視光領域、近赤外（NIR）領域、および中赤外（MWIR）領域で撮像するカメラを含んでよく、またマルチスペクトルカメラやハイパースペクトルカメラを含んでいてもよいことを理解されたい。

或る態様では、結合風景モデル 234 を以前の収集データ 234' として先験的風景データ 120 へと任意にフィードバックし、将来に同じ地点で使用するようにすることも可能である。こうした場合に以前の収集データ 234' へ送られるデータからは、識別された障害物を除去することにより、静止していない物体は既に移動しているであろう将来の風景データ使用の際に、静止していない物体が入り込むことを減らすかもしくは無くすようにできる。また、結合風景モデル 234 を、風景融合モジュール 232 へフィードバックして更新の用に供することもできる。

既存の結合風景モデル 234 を融合モジュール 232 に与えると、処理を簡略化できる。これは、結合風景モデル 234 のうちの重要な部分を変化させずに、処理効率を上げられるからである。結合風景モデル 234 を更新する際に、先験的風景データ 120 のうちの比較的小さな部分をシステムに読み込むようにしてよく、例えば風景モデル地平の部分のみや、移動体が近づいている先の風景の部分のみや、それらの組み合わせなどを読み込むようにしてもよく、例えば、分解能を上げる（四分木や八分木のモデルではタイルを「分割」するとも称する）ために、演算をタイルレベルで行いつつ、タイルを分割して複数の小さなタイルを作成することで、所与の領域において高い分解能を得ることができるのである。同様に或る態様では、結合風景モデル 234 の一部を下げる（分解能を落とす）こともでき、例えば風景のうちの移動体が通り過ぎていく部分について分解能を落とすことができる。なお四分木や八分木のモデルにおいてはこのような工程のことをタイルの「刈込」とも呼び、例えば二個以上のタイルを結合して広い領域に亘る演算量を減らし、低い分解能となるような工程である。またタイルの分割と刈込を、四分木もしくは八分木のデータ構造体の中のレベルを偏向することで行うことも可能である。

図9には、本明細書に記載したシステムを採用している移動体 370 に関する、結合風景モデル 234 の一例を示した。或る態様では結合風景モデル 234 が、移動体 370 に近い箇所では高い分解能のデータ（タイル分割の結果として密なグリッドパターンの小さいタイルとして示してある）を、また移動体 370 から遠い箇所では低い分解能のデータ（タイル刈込の結果として疎なグリッドパターンの大きいタイルとして示してある）を、含むか用いている。さらには、移動体 370 の瞬間的な位置、向き、および方角を、航法センサー 134 からのデータによって得ることもできる。またこの情報を、移動体近傍のタイルパターンに反映させてもよい。例えば図9に示しているように、移動体の一方の端においては比較的小さい密間隔のタイルによって大きな領域を与えつつ、移動体の他端においてはそれよりも小さな領域を与えるようにすることで、小さいタイルが大きな領域を占めている方角へと、移動体が進行している旨を表現できるわけである。

図10は、既存の（先験的な）風景データとセンサーデータとを結合するためのプロセスを描いたものである。まず始めにブロック B350 にて、既存の環境データをデータベース（先験的データ源 120 のうちの一種以上など）から読み込む。ブロック B352 では、一種以上の環境監視センサー（レーダー、lidar、カメラ、ソナーなど）からデータを受け付ける。ブロック B354 では、データ源を処理・分類することで、例えばデータ組のうちの重要な部分を識別して、共有の座標空間に置いたりすることができる。データ源の処理をすることで、障害物の表示をすることができ、操縦者に障害物を強調して見せたり、または処理中の変化のために別のやりかたで確認したりすることも可能である。ブロック B356 では任意に、複数個のセンサーからのセンサーデータを比較して、各データ組の一部に対してその重要性に応じた重み付けを施し、データ全体を結合するにあたって影響を及ぼすことができる。例えば、特定のセンサー（品質が高い、情報が高度である、または分解能／精度が高いセンサーなど）のことを、その他のセンサー（品質が低い、情報が低度である、または分解能／精度が低いセンサーなど）よりも重要であるとして重み付けし、ただし選択したセンサーデータの信頼性が欠けるような特定の条件があることを確認した場合はその限りではないように構成可能である。具体的には上述したように、砂塵や塵雲などの遮蔽・妨害に対しては、レーダーデータの方が一般に信頼でき、その一方でlidarデータは高い空間分解能を有するものの遮蔽・妨害によって塞がれてしまう場合がある。このため、lidarデータは風景コンテンツを判断する上で信頼性がレーダーデータに比べて落ちる場合がある。センサーの動作条件や、周囲環境における天候その他の要素に応じて、或る一種のセンサーに対して他のセンサーよりも重み付けを施すこともある。或る態様では、所定の閾値よりも高い重み付けを与えるようにして、或るセンサーから得られたデータチャンクを使ってもよい。別の態様では、或るセンサーのデータの全体を、別のセンサーからのデータに対する処理・結合のために選択してもよい。なおも別の態様では、二個のセンサーの間に特定の重み付けを行うことで、双方のセンサーからのデータを、全般的にかもしくはデータのうちの或るチャンクを、結合して使用するべき旨を示すようにしてもよい。

ブロック B358 では、先験的風景データ 120 を、一個以上の環境センサー 122, 124, 126 からのデータと融合する処理を行うことで、結合風景モデル 234 の作成／更新を行う。この融合は、図2に示し上記で説明した風景融合モジュールで行う態様が大半である。先験的データとセンサーデータを融合するにあたっては、類似する風景データ点を、種々のデータ源に亘って可能な限り近接してマッチさせるべきである。したがって或る態様では、或るデータ源からのデータ構造体を、別のデータ源からのデータと正確に組み合わせるために、引き伸ばし（stretch）、歪曲（skew）その他の修正を加える必要が生じる場合もある。地勢物と非地勢物を識別することで、データ源のより正確な併合の援けとなる。例えば地勢データ点を使ってデータ組の整列を行うこともできるし、また他のデータ源との不整合が考えられる場合でも非地勢物についてはそれを無視するようにもできる。

上述したように、データ源群を結合風景モデル 234 へと結合するにあたっては、四分木もしくは八分木のデータ構造体を作成または更新する処理が含まれていてもよい。図9に話を戻すと、四分木もしくは八分木のデータ構造体において、移動体 370 の近傍と前方のセグメントに対し、この工程で分割を施すことで、より細かい粒度での処理が可能となる態様があってもよい。またその一方、移動体 370 から離隔したセグメントおよび／もしくは移動体 370 の後方のセグメントについては併合（刈込）を施して、粗い粒度での処理を行うようにできる。或る態様ではさらに、処理効率を高めるために、そのような処理を行っている際の移動体 370 の動作に関する入力が、結合風景モデル 234 へのデータの融合に影響するようにしてもよい。例えば移動体 370 が前向きに進んでいるときに、移動体 370 の前方の粒度の細かい風景モデルを更新する作業を、移動体の後方に対するそれよりも優先させるように処理してもよい。また移動体の速度や針路などの他の要素も、結合風景モデル 234 の作成または更新に影響を及ぼすようにしてもよい。

ブロック B360 では、更新された結合風景モデル 234 を用いて、当該結合風景モデルのうちの少なくとも一部の特徴の構築処理を継続することで、図2のディスプレイ 128 上に描画を行って移動体の操縦者に供する。この処理によって上述したように環境の仮想映像または合成映像が作成されることになり、悪条件下でも移動体の操縦者を誘導する援けとなる。或る態様では、ディスプレイ上の映像が、仮想風景モデルとカメラデータ（IRカメラデータなど）を併合したものであってもよい。さらに或る態様では、図2の映像構築モジュール 236 が、識別した物体に関するデータを使って、ディスプレイ上の物体を別の色で表示するかまたは何らかの手法で強調するようにして構築することで、移動体の操縦者がその物体を容易に識別できるようにすることも可能である。こうした風景の更新と構築の工程は、リアルタイムにできるかぎり近く行い、その構築された映像だけに基づいても操縦者が移動体 370 を正確に運転できるようにするのが好ましい。なお操縦者は、風景の有する特徴も視ることができるし、あるいは補助として別のセンサーを使ってもかまわない。

本明細書に記載したプロセスは、図面に示したフローチャートが描く動作の順序として管理される。しかしながら、これらのプロセスに関連する動作のうちの少なくともいくらかについては、全体として同様の技法となっているかぎりでは、順番を変えてもよいし、同時に行ってもよいし、追加してもよいし、あるいは置換してもよい旨を理解されたい。

ソフトウェアおよび／もしくはファームウェアによりプログラムされたか構成されたプログラマブル回路によって、上述した技術を実施可能である。あるいは、専用の「配線された」回路によってか、またはそれらの形態の組み合わせによって、全体的に上述した技術を実施することもできる。そのような専用回路を使用する場合には、例えば一種以上の特定用途向け集積回路（ASIC）、プログラマブルロジックデバイス（PLD）、フィールドプログラマブルゲートアレイ（FPGA）の形態としてよい。

上述した技術を実施するためのソフトウェアまたはファームウェアは、機械可読記憶媒体に保存でき、かつ一個以上の汎用もしくは専用のプログラマブルマイクロプロセッサによって実行可能である。なお本明細書において「機械可読媒体」とは、機械によってアクセス可能な形態である情報を格納できる任意の機構を含むものである。またその機械としては、例えばコンピュータ、ネットワークデバイス、携帯電話、PDA（パーソナルデジタルアシスタント）、製造用工具、一個以上のプロセッサを具えた任意の装置などが挙げられる。機械アクセス可能な媒体としては例えば、記録可能／記録不能媒体（読み出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）といったものが含まれる。本明細書において「ロジック」とは例えば、プログラマブルな回路と接続する専用の配線回路、ソフトウェア、および／もしくはファームウェア、またはそれらの組み合わせを含んでよい。

本開示は、現在のところ何が好ましい態様であると捉えられているかに関して提供しているものではあるが、本開示は上述したところに限定されるものでは無い旨を理解されたい。むしろ本開示は、付随する請求項の思想と範囲の裡に種々の変形例や均等物をも包摂することを企図している。代替的・付加的な実施形態群も、本開示の範疇に在ると理解できるだろう。例えば端的に述べたとおり、本開示の種々の態様を、同じ目的のための他のセンサーと共に機能させることもできるし、あるいは厖大な種類の別の用途のための独立したセンサー集合体と共に機能させることもできる。そうした別の用途としては例えば、潜水艦もしくは水中曳航ソナーシステムによる海底測量、ならびにその他の水中観測センサーおよび／もしくは既存のデータ源といったものがある。

Claims (32)

1. 地勢および障害物を含んだ風景の合成表示を構築するための、機械が実施する方法であって、
   (a) 既存の風景データを読み込むステップと、
   (b) 一個以上の環境センサーからセンサーデータを受け付けるステップと、
   (c) 前記センサーデータを3Dデータ群に変換するステップと、
   (d) 前記既存の風景データを、変換された前記センサーデータと融合することで、
   多分解能3Dデータ構造体を含んだ結合風景モデルを作成するステップと、
   (e) 前記結合風景モデルを映像信号として構成するステップと、
   (f) 前記映像信号に応じて風景の映像を表示するステップと
   を含む、方法。
2. 複数個の環境センサーからセンサーデータが受け付けられ、前記複数個の環境センサーのうちの一個以上が、3D点群データを提供するセンサーであることを特徴とする、請求項1に記載の方法。
3. 前記複数個の環境センサーのうちの一個以上が、3D点群データの由来となる2Dセンサーであることを特徴とする、請求項2に記載の方法。
4. 前記一個以上の環境センサーが、レーダーセンサー、lidarセンサー、ソナーセンサー、およびビデオカメラのうちの一種以上からなる群から選択される、請求項1に記載の方法。
5. 前記センサーデータが、第一の環境センサーおよび第二の環境センサーからのセンサーデータを含み、
   さらに
   (g) 前記第一の環境センサーおよび前記第二の環境センサーからのセンサーデータの有する特徴群の重み付けを行うことで、前記第一の環境センサーからのセンサーデータの有する特徴および前記第二の環境センサーからのセンサーデータの有する特徴を選択するステップ
   を含み、
   ここで前記既存の風景データを前記センサーデータと融合するステップが、前記第一の環境センサーからのセンサーデータの有する選択された特徴および前記第二の環境センサーからのセンサーデータの有する選択された特徴を用いる
   ことを特徴とする、請求項2に記載の方法。
6. 前記結合風景モデルを映像信号として構成するステップが、
   前記結合風景モデルを一個以上のカメラからの映像と併合するステップ
   を含む
   ことを特徴とする、請求項1に記載の方法。
7. 前記一個以上のカメラが、可視分光カメラ、ステレオカメラ、赤外カメラ、および分光撮像カメラのうちの一種以上からなる群から選択される、請求項6に記載の方法。
8. 前記既存の風景データをセンサーデータと融合するステップが、
   前記センサーデータの生成点により近い距離において、前記生成点からより遠い距離においてよりも、高い分解能を与える
   ことを特徴とする、請求項1に記載の方法。
9. 地勢および障害物を含んだ風景の表示を構築するための方法を実施するための命令を格納している、非一過性の機械可読保存媒体であって、前記命令は機械実行可能コードを含み、前記機械実行可能コードは機械によって実行された際に前記機械に下記の
   (a) 既存の風景データをデータベースから読み込むこと、
   (b) 一個以上の環境センサーからセンサーデータを3D点群データの形式として受け付けること、
   (c) 前記一個以上の環境センサーからの前記センサーデータを、多分解能3Dデータ構造体に変換すること、
   (d) 前記既存の風景データを前記センサーデータと融合することで、多分解能3Dデータ構造体を含んだ結合風景モデルを作成すること、
   (e) 前記結合風景モデルを構築して2D映像と融合させること
   を行わせるものである
   ことを特徴とする、機械可読保存媒体。
10. 前記一個以上の環境センサーが、レーダーセンサーおよびlidarセンサーのうちの一種以上からなる群から選択されることを特徴とする、請求項9に記載の機械可読保存媒体。
11. 前記センサーデータが、第一の環境センサーおよび第二の環境センサーからのセンサーデータを含み、
    前記機械実行可能コードは機械によって実行された際に前記機械にさらに下記の
    前記第一の環境センサーおよび前記第二の環境センサーからのセンサーデータの特徴を重み付けすることで、前記第一の環境センサーからのセンサーデータの特徴および前記第二の環境センサーからのセンサーデータの特徴を選択することと、
    前記第一の環境センサーからのセンサーデータの選択された特徴および前記第二の環境センサーからのセンサーデータの選択された特徴を用いて、前記既存の風景データを前記センサーデータと融合することと
    を行わせるものである
    ことを特徴とする、請求項10に記載の機械可読保存媒体。
12. 前記機械実行可能コードが機械によって実行された際に前記機械にさらに、
    前記結合風景モデルを一個以上のカメラからの映像と併合させること
    を行わせるものである
    ことを特徴とする、請求項9に記載の機械可読保存媒体。
13. 前記一個以上のカメラが、可視分光カメラ、ステレオカメラ、赤外カメラ、および分光撮像カメラのうちの一種以上からなる群から選択される、請求項12に記載の機械可読保存媒体。
14. 前記既存の風景データを前記センサーデータと融合することにより、前記センサーデータの生成点により近い距離において、前記生成点からより遠い距離においてよりも、高い分解能を与えることを特徴とする、請求項9に記載の機械可読保存媒体。
15. 地勢および障害物を含んだ風景の合成表示を構築するためのシステムであって、
    地勢データおよび障害物データを含んだ既存の風景データを有する、データ源と、
    3D点群の形態でリアルタイムセンサーデータを提供する、環境センサーと、
    実行されることで、前記既存の風景データおよび前記リアルタイムセンサーデータに基づき、地勢および障害物を含んだ風景の合成表示を構築する機械実行可能命令の組を格納したメモリーと、
    前記メモリーに動作可能に結合したプロセッサと
    を含み、
    前記プロセッサが、前記機械実行可能命令を実行することで、下記の
    (a) 一個以上の環境センサーから得られる前記リアルタイムセンサーデータを、多分解能3Dデータ構造体に変換する工程と、
    (b) 前記既存の風景データを前記リアルタイムセンサーデータに融合することで、多分解能3Dデータ構造体を含む結合風景モデルを作成する工程と、
    (c) 前記結合風景モデルを構築して2Dビデオ映像と融合することで、前記風景の前記合成表示を表す映像信号を提供する工程と
    を行うように構成される
    ことを特徴とする、システム。
16. 前記環境センサーが、レーダーセンサーおよびlidarセンサーのうちの一種以上からなる群から選択されることを特徴とする、請求項15に記載のシステム。
17. さらに
    リアルタイムセンサーデータを提供する、第二の環境センサー
    を含み、
    前記機械実行可能命令の組が、
    第一の環境センサーからのセンサーデータが有する一種以上の特徴を、前記第二の環境センサーからのセンサーデータで置換する命令
    を含む
    ことを特徴とする、請求項15に記載のシステム。
18. 前記第一の環境センサーからのセンサーデータが有する一種以上の特徴を置換する命令の実行を行うかを、前記第一の環境センサーからのセンサーデータの品質を、前記第二の環境センサーからのセンサーデータの対応する品質と比較することに基づき、少なくとも部分的に判断することを特徴とする、請求項17に記載のシステム。
19. さらに
    カメラ
    を含み、
    前記プロセッサが、前記結合風景モデルを前記カメラからの映像と併合することによって、前記結合風景モデルをディスプレイ上に構築するように構成される
    ことを特徴とする、請求項15に記載のシステム。
20. 前記カメラが、可視分光カメラ、ステレオカメラ、赤外カメラ、および分光撮像カメラのうちの一種以上からなる群から選択される、請求項19に記載のシステム。
21. 進行中の移動体において使用され、前記移動体の近傍の環境の合成映像をリアルタイムに提供するための撮像システムであって、
    地勢データおよび障害物データを含んだ既存の風景データを有する、第一のデータ源と、
    地勢データおよび障害物データを含んだ3D点群データを提供する、第二のデータ源と、
    地勢データおよび障害物データを含んだ2D映像データを提供する、第三のデータ源と、
    前記既存の風景データと前記3D点群データと前記2D映像データとを受信して結合することにより、前記3D点群データおよび前記2D映像データによってリアルタイムに更新された前記既存の風景データを含んだ結合風景モデルを作成するように構成された、風景融合モジュールと、
    前記結合風景モデルを受信して処理することで、前記結合風景モデルを表す映像信号を作成するように構成された、映像構築モジュールと、
    前記映像信号に応じて前記移動体の近傍の環境の仮想視覚を表示するように構成された、視覚表示装置と
    を含むことを特徴とする、システム。
22. 前記第一のデータ源が、前記既存の風景データを包含するデータベースと、前記既存の風景データを先験的風景データ構造体として得るように構成された第一の処理・分類モジュールとを含み、
    前記第二のデータ源が、リアルタイム3D環境センサーと、前記3D点群データを3D風景データ構造体として得るように構成された第二の処理・分類モジュールとを含み、
    前記第三のデータ源が、カメラと、前記2D映像データをビデオ映像データ構造体として得るように構成された第三の処理・分類モジュールとを含み、
    前記風景融合モジュールが、前記先験的風景データ構造体と前記3D風景データ構造体と前記ビデオ映像データ構造体とを受信して結合するように構成される
    ことを特徴とする、請求項21に記載のシステム。
23. 前記先験的風景データ構造体が、2D先験的風景データ構造体および3D先験的風景データ構造体を含み、
    前記ビデオ映像構造体が、2D風景データ構造体および3D風景データ構造体のうちの少なくとも一方を含む
    ことを特徴とする、請求項22に記載のシステム。
24. 前記先験的風景データ構造体、前記3D風景データ構造体、および前記ビデオ映像データ構造体のうちの少なくともひとつが、航法データを含むことを特徴とする、請求項22に記載のシステム。
25. 前記リアルタイム3D環境センサーが、レーダーセンサーおよびlidarセンサーのうちの一種以上からなる群から選択されることを特徴とする、請求項22に記載のシステム。
26. 前記第二のデータ源が、その各々がリアルタイムセンサーデータを3D点群データとして提供する第一のリアルタイム3D環境センサーおよび第二のリアルタイム3D環境センサーを含み、
    前記第二の処理・分類モジュールが、前記第一のリアルタイム3D環境センサーおよび第二のリアルタイム3D環境センサーからの3D点群データをそれぞれ、第一の3D風景データ構造体および第二の3D風景データ構造体として得るように構成される
    ことを特徴とする、請求項22に記載のシステム。
27. 前記風景融合モジュールが、前記第一の3D風景データ構造体の有する少なくとも一種以上の特徴を、前記第二の3D風景データ構造体の有する対応する特徴で置換するように構成されることを特徴とする、請求項26に記載のシステム。
28. 前記風景融合モジュールが、前記第一の3D風景データ構造体の品質を、前記第二の3D風景データ構造体の対応する品質と比較するように構成される、請求項27に記載のシステム。
29. 前記第一のデータ源が、前記結合風景モデルによって更新可能に構成されている、請求項21に記載のシステム。
30. 前記風景融合モジュールが、
    (a) 前記第一のデータ源、前記第二のデータ源、および前記第三のデータ源のうちのひとつから、第一の風景データ点群を受信すること、
    (b) 前記第一のデータ源、前記第二のデータ源、および前記第三のデータ源のうちの別のひとつから、第二の風景データ点群を受信すること、
    (c) 前記第二の風景データ点群の有するデータ点を、前記第一の風景データ点群の有するデータ点に対して検証することで、更新版風景データ点群を作成すること、ならびに
    (d) 前記更新版風景データ点群から、前記結合風景モデルを作成すること
    を行うように構成されることを特徴とする、請求項21に記載のシステム。
31. 前記第一の風景データ点群が、その各々が所定の有効基準を満たしていると判断されているデータ点の組であり、
    前記風景融合モジュールが、前記第二の風景データ点群の有するデータ点の各々が前記所定の有効基準を満たしているかどうかを判断することで、前記第二の風景データ点群の有するデータ点の検証を行うように構成される
    ことを特徴とする、請求項31に記載のシステム。
32. 前記風景融合モジュールがさらに、前記第二の風景データ点群のうち前記所定の有効基準を満たしていると判断されているデータ点のみを使うことで、前記更新版風景データ点群を作成するように構成される、請求項31に記載のシステム。