JP2021508095A - カラー・ポイント・クラウド生成のための方法およびシステム - Google Patents

Abstract

本開示の実施形態は、カラー・ポイント・クラウドを生成するための方法およびシステムを提供する。本方法は、車両が軌道に沿って移動する際に、車両に関連付けられた複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信することを含み得る。本方法は、ポイント・クラウドを、各々が車両の軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割することを含み得る。本方法はまた、開始ポイントおよび終了ポイントに基づいて、ポイント・クラウドの各セグメントを、複数の画像のうちの１つまたは複数と関連付けることを含み得る。本方法は、ポイント・クラウドのセグメントと車両との間の異なる距離における較正パラメータに基づいて、ポイント・クラウドの各セグメントと複数の画像のうちの１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成することを更に含み得る。【選択図】図７

Description

本開示は、ポイント・クラウド生成のための方法およびシステムに関し、より詳細には、光検出および測距（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、ＬｉＤＡＲ）、カメラおよびナビゲーション・センサーを用いたカラー・ポイント・クラウドの生成のための方法およびシステムに関する。

自律走行技術は、正確なマップに大きく依拠する。例えば、ナビゲーション・マップの正確性は、位置決め、周囲環境認識、意思決定および制御等の自律走行車両の機能にとって必須である。車両が走り回る際に車両上の様々なセンサーおよび検出器によって取得されるデータを集約することによって高精細度マップを得ることができる。例えば、高精細度マップのための一般的なデータ取得システムは、通例、車両が走行している道路および周囲の物体の特徴を捕捉するための、ＬｉＤＡＲ、全地球測位システム（ＧＰＳ）受信機、慣性計測装置（ＩＭＵ）センサーおよび１つまたは複数のカメラ等の複数の統合センサーを装備した車両である。捕捉されるデータは、例えば、車線の中心線または境界線の座標、建築物、別の車両、ランドマーク、歩行者または標識等の物体の座標および画像を含むことができる。

ＬｉＤＡＲは、周囲の物体の３次元（３−Ｄ）情報、および周囲の物体からの反射信号の強度情報を迅速に得ることで知られている。しかしながら、ＬｉＤＡＲは、周囲の物体のテクスチャ情報を捕捉することができず、このため、レーザー・ポイント・クラウド・データを単独で処理および解釈することが難しくなる。一方で、カメラは豊富なテクスチャ情報を有する画像を捕捉することができるにもかかわらず、これらを周囲の物体の３−Ｄ情報を得るために直接用いることはできない。このため、いくつかの既知のシステムは、同じ物体のポイント・クラウドおよび画像を集約することによってカラー・ポイント・クラウドを生成するために、ＬｉＤＡＲおよびカメラを統合する。これは、視覚化、物体認識および分類、３−Ｄモデリング等において用いることができる。

既知のシステムにおいて、パノラマ・カメラが、その３６０°の視野（ＦＯＶ）に起因して、カラー・ポイント・クラウドを作成するために広く用いられてきた。しかしながら、パノラマ・カメラは高価であり、したがって目的に対しコスト効率が良くない。対照的に、単眼カメラは低コストであり、画像の処理が容易であるが、単眼カメラのＦＯＶはパノラマ・カメラと比較してはるかに小さい。例えば、ＬｉＤＡＲのＦＯＶは非常に大きく、通例３６０°であるため、ＬｉＤＡＲによって捕捉される各レーザー・ポイント・クラウドは、単眼カメラによって撮られる複数の画像に対応することができる。この差異は、カラー・ポイント・クラウドを作成する際のポイント・クラウドおよび画像の集約の正確性および効率に影響を及ぼす可能性がある。

本開示の実施形態は、カラー・ポイント・クラウド生成のための改善された方法およびシステムによって上記の問題に対処する。

本開示の実施形態は、カラー・ポイント・クラウドを生成するための方法を提供する。本方法は、車両が軌道に沿って移動する際に、車両に関連付けられた複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信することを含むことができる。本方法は、プロセッサによって、ポイント・クラウドを、各々が車両の軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割することを含むことができる。本方法はまた、プロセッサによって、開始ポイントおよび終了ポイントに基づいて、ポイント・クラウドの各セグメントを、複数の画像のうちの１つまたは複数と関連付けることを含むことができる。本方法は、プロセッサによって、ポイント・クラウドのセグメントと車両との間の異なる距離における較正パラメータに基づいて、ポイント・クラウドの各セグメントと複数の画像のうちの１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成することを更に含むことができる。

本開示の実施形態はまた、カラー・ポイント・クラウドを生成するためのシステムを提供する。本システムは、車両が軌道に沿って移動する際に、車両に装備された複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信するように構成された通信インターフェースを備えることができる。本システムは、ポイント・クラウドおよび複数の画像を記憶するように構成されたストレージを更に備えることができる。本システムはまた、ポイント・クラウドを、各々が車両の軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割するように構成されたプロセッサを備えることができる。プロセッサはまた、開始ポイントおよび終了ポイントに基づいて、ポイント・クラウドの各セグメントを、複数の画像のうちの１つまたは複数と関連付けるように構成することができる。プロセッサは、ポイント・クラウドのセグメントと車両との間の異なる距離における較正パラメータに基づいて、ポイント・クラウドの各セグメントと複数の画像のうちの１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成するように更に構成することができる。

本開示の実施形態は、１つまたは複数のプロセッサによって実行されると、この１つまたは複数のプロセッサに、動作を行わせる命令を記憶した非一時的コンピュータ可読媒体を更に提供する。動作は、車両が軌道に沿って移動する際に、車両に関連付けられた複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信することを含むことができる。動作は、ポイント・クラウドを、各々が車両の軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割することを含むことができる。動作はまた、開始ポイントおよび終了ポイントに基づいて、ポイント・クラウドの各セグメントを、複数の画像のうちの１つまたは複数と関連付けることを含むことができる。動作は、ポイント・クラウドのセグメントと車両との間の異なる距離における較正パラメータに基づいて、ポイント・クラウドの各セグメントと複数の画像のうちの１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成することを更に含むことができる。

上記の包括的な説明および以下の詳細な説明の双方が例示的で説明的なものにすぎず、特許請求される本発明を限定するものではないことが理解されよう。

本開示の実施形態による、センサーを有する例示的な車両の概略図を示す。 本開示の実施形態による、カラー・ポイント・クラウド生成のための例示的なコントローラのブロック図を示す。 本開示の実施形態による、例示的なポイント・クラウド・セグメント、および車両軌道上のその関連付けられた開始ポイントおよび終了ポイントを示す。 本開示の実施形態による、ポイント・クラウド・セグメントおよび画像シーケンスのマッチングの例示的なプロセスを示す。 本開示の実施形態による、センサー較正の例示的なプロセスを示す。 本開示の実施形態による、例示的な生成されたカラー・ポイント・クラウドを示す。 本開示の実施形態による、カラー・ポイント・クラウドを生成するための例示的な方法のフローチャートを示す。 本開示の実施形態による、較正パラメータを決定するための例示的な方法のフローチャートを示す。 本開示の実施形態による、ポイント・クラウド・セグメントおよび複数の画像を集約するための例示的な方法のフローチャートを示す。

ここで、例示的な実施形態が詳細に参照される。例示的な実施形態の例は添付の図面に示されている。可能な限り、同じ参照符号が図面全体にわたって同じまたは類似のパーツを指すのに用いられる。

図１は、本開示の実施形態による、複数のセンサー１４０、１５０および１６０を有する例示的な車両１００の概略図を示す。いくつかの実施形態によれば、車両１００は、高精細マップまたは３次元（３−Ｄ）都市モデリングを構築するためのデータを取得するために構成された調査車両とすることができる。車両１００は、電気自動車、燃料電池車両、ハイブリッド車両、または従来の内燃機関車両であり得ることが予期される。車両１００は、本体１１０および少なくとも１つの車輪１２０を有することができる。本体１１０は、スポーツカー、クーペ、セダン、ピックアップ・トラック、ステーション・ワゴン、多目的スポーツカー（ＳＵＶ）、ミニバンまたはコンバージョン・バン等の任意のボディー・スタイルとすることができる。いくつかの実施形態では、図１に示されるように、車両１００は、一対の前輪および一対の後輪を含むことができる。しかしながら、車両１００は、より少ない車輪、または車両１００が動き回ることを可能にする等価な構造を有する場合があることが予期される。車両１００は、全輪駆動（ＡＷＤ）、前輪駆動（ＦＷＲ）または後輪駆動（ＲＷＤ）となるように構成することができる。いくつかの実施形態では、車両１００は、車両に乗っている運転者によって操作され、遠隔制御され、かつ／または自律走行するように構成することができる。

図１に示されているように、車両１００は、取付構造１３０を介して本体１１０に取り付けられたセンサー１４０および１６０を装備することができる。取付構造１３０は、車両１００の本体１１０に設置されるかまたは他の形で付けられた電気機械デバイスとすることができる。いくつかの実施形態では、取付構造１３０は、ねじ、接着剤または別の取付機構を用いることができる。車両１００は、任意の適切な取付機構を用いて本体１１０の内側または外側にセンサー１５０を更に装備することができる。各センサー１４０、１５０または１６０を車両１００上にどのように装備することができるかは、図１に示される例に限定されず、所望の検知性能を達成するために、センサー１４０〜１６０および／または車両１００のタイプに応じて変更されてもよいことが予期される。

いくつかの実施形態によれば、センサー１４０〜１６０は、車両１００が軌道に沿って移動する際にデータを捕捉するように構成することができる。例えば、センサー１４０は、周囲を走査し、ポイント・クラウドを取得するように構成されたＬｉＤＡＲスキャナ／レーダとすることができる。ＬｉＤＡＲは、ターゲットをパルス・レーザー光で照明し、センサーを用いて反射パルスを測定することによってターゲットへの距離を測定する。次に、レーザー戻り時間および波長における差異を用いて、ターゲットのデジタル３−Ｄ表現を作成することができる。ＬｉＤＡＲ走査に用いられる光は、紫外光、可視光、または近赤外光とすることができる。狭レーザー・ビームは、非常に高い解像度で物理的特徴をマッピングすることができるため、ＬｉＤＡＲスキャナは、高精細マップ調査に特に適している。いくつかの実施形態では、ＬｉＤＡＲスキャナは、ポイント・クラウドを捕捉することができる。車両１００が軌道に沿って移動する際、センサー１４０は、データを継続的に捕捉することができる。一定の時間範囲で捕捉されるシーン・データの各組は、データ・フレームとして知られる。

図１に示されているように、車両１００は、ＧＰＳ受信機および１つまたは複数のＩＭＵセンサー等の、ナビゲーション・ユニットにおいて用いられるセンサーを含むことができる、センサー１５０を更に装備することができる。ＧＰＳは、ジオロケーションおよび時間情報をＧＰＳ受信機に提供するグローバル・ナビゲーション衛星システムである。ＩＭＵは、加速器およびジャイロスコープ等の様々な慣性センサーを用いて、場合によっては磁力計も用いて、車両の比力（ｓｐｅｃｉｆｉｃ ｆｏｒｃｅ）、角速度、および場合によっては車両の周囲の磁場を測定し提供する電子デバイスである。ＧＰＳ受信機およびＩＭＵセンサーを組み合わせることによって、センサー１５０は、各タイム・スタンプにおける車両１００の位置および方向（例えば、オイラー角）を含む走行する際の車両１００のリアルタイム姿勢情報を提供することができる。

本開示によれば、車両１００は、１つまたは複数のカメラ等の、デジタル画像を捕捉するように構成されたセンサー１６０を更に装備することができる。いくつかの実施形態では、センサー１６０は、３６０°ＦＯＶを有するパノラマ・カメラまたは３６０°未満のＦＯＶを有する単眼カメラを含むことができる。車両１００が軌道に沿って移動する際に、シーン（例えば、車両１００の周囲の物体を含む）に関するデジタル画像をセンサー１６０によって取得することができる。各画像は、ピクセルによって表される、捕捉されたシーン内の物体のテクスチャ情報を含むことができる。各ピクセルは、画像内のカラー情報および座標に関連付けられたデジタル画像の最小の単一の構成要素とすることができる。例えば、カラー情報は、ＲＧＢカラー・モデル、ＣＭＹＫカラー・モデル、ＹＣｂＣｒカラー・モデル、ＹＵＶカラー・モデル、または任意の他の適切なカラー・モデルによって表すことができる。各ピクセルの座標は、画像内のピクセルのアレイの行および列によって表すことができる。いくつかの実施形態では、センサー１６０は、車両１００における異なるロケーションにかつ／または異なる角度で取り付けられた複数の単眼カメラを含むことができ、このため、様々な視点位置および／または視野角を有することができる。結果として、画像は、正面図画像、側面図画像、上面図画像および底面図画像を含むことができる。

本開示によれば、車両１００は、センサー１４０〜１６０によって効率的かつ効果的な方式で収集された様々なタイプのデータに基づいてカラー・ポイント・クラウドを生成するために、車両１００の本体１１０の内部にローカル・コントローラ１７０を含むことができるか、またはリモート・コントローラ（図１には示されていない）と通信することができる。いくつかの実施形態では、処理速度を上げるために、ポイント・クラウドは複数のセグメントに分割することができ、複数のセグメントの各々は別個に（例えば並列に）対応する画像と集約することができる。センサー１６０からの画像を、１つまたは複数の単眼カメラによって、同じシーンの様々な視点で捕捉し、共にマージして、ＬｉＤＡＲスキャナ等の３６０°ＦＯＶを有するセンサー１４０によって捕捉されたシーンの３−Ｄポイント・クラウドとマッチングすることができる。いくつかの実施形態では、カラー・ポイント・クラウドの正確性を改善するために、ポイント・クラウドおよび対応する画像を集約する際に、距離と較正パラメータ（例えば、回転行列および並進ベクトル）との間の相関を考慮に入れることができる。まず、ポイントとセンサーとの間の異なる距離に対応する一連の較正パラメータを決定することができ、後に、対応する距離を有するポイントを処理するのに適した較正パラメータを選択することができる。

いくつかの実施形態では、集約レイテンシを更に低減するために、全ての画像が対応するポイント・クラウド・セグメントと集約される必要はない。例えば、ポイント・クラウド・セグメントは、ｍ個ごとのマッチング画像と集約することができ、ここで、ｍは、軌道に沿った車両１００の移動速度、画像サンプリング・レート等の様々な要因に基づいて決定することができる。別の例では、シーンの正面図画像は、まず、ポイント・クラウド・セグメントと集約することができ、正面図によってカバーすることができない任意のポイントが存在する場合、他の視点を有する画像を集約に用いることができる。更に別の例では、ポイントが車両１００から離れているほど、ポイントが画像にマッチングされるときの誤差が大きくなる場合があり、車両１００から離れすぎているポイントをポイント・クラウドから除去するためのしきい値として有効距離を予め決定することができる。

例えば、図２は、本開示の実施形態による、ポイント・クラウドを生成するための例示的なコントローラ２００のブロック図を示す。本開示によれば、コントローラ２００は、シーンのカラー・ポイント・クラウドを生成するために様々なタイプのデータを用いることができる。様々なタイプのデータは、車両１００が軌道に沿って動く際に、シーンに対して車両１００に装備されたセンサー１４０〜１６０によって捕捉することができる。データは、センサー１４０（例えば、ＬｉＤＡＲスキャナ）によって捕捉されたポイント・クラウド２０１、センサー１５０（例えば、ＧＰＳ受信機および／または１つもしくは複数のＩＭＵセンサー）によって取得された車両１００の軌道情報２０３、およびセンサー１６０（例えば、１つまたは複数の単眼カメラ）によって捕捉された複数の画像２０５を含むことができる。いくつかの実施形態では、ポイント・クラウド２０１は、ＧＰＳ受信機およびＩＭＵセンサーからのリアルタイム姿勢情報（例えば、位置および方向）に基づいて、局所座標系におけるＬｉＤＡＲスキャナからのネイティブ・データを、グローバル座標系（例えば、経度／緯度座標）に変換することによって得ることができる。

いくつかの実施形態では、図２に示されるように、コントローラ２００は、通信インターフェース２０２、プロセッサ２０４、メモリ２０６およびストレージ２０８を含むことができる。いくつかの実施形態では、コントローラ２００は、集積回路（ＩＣ）チップ（特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）として実装される）等の、単一のデバイスにおける異なる複数のモジュールを有してもよく、または専用機能を有する別個の複数のデバイスを有してもよい。いくつかの実施形態では、コントローラ２００の１つまたは複数の構成要素は、車両１００の内部に配置されてもよく（例えば、図１のローカル・コントローラ１７０）、または代替的に、モバイル・デバイス内、クラウド内、または別のリモート・ロケーションにあってもよい。コントローラ２００の構成要素は、集積デバイスであってもよく、または異なるロケーションに分散されるが、ネットワーク（図示せず）を通じて互いに通信してもよい。例えば、プロセッサ２０４は、車両１００に内蔵のプロセッサ、モバイル・デバイス内部のプロセッサ、もしくはクラウド・プロセッサ、またはそれらの任意の組み合わせとすることができる。

通信インターフェース２０２は、センサー１４０〜１６０等の構成要素との間で通信ケーブル、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、電波等のワイヤレス・ネットワーク、全国規模のセルラ・ネットワークおよび／もしくはローカル・ワイヤレス・ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ）または他の通信方法を介してデータを送信および受信することができる。いくつかの実施形態では、通信インターフェース２０２は、総合サービス・デジタル・ネットワーク（ＩＳＤＮ）カード、ケーブル・モデム、衛星モデム、またはデータ通信接続を提供するモデムとすることができる。別の例として、通信インターフェース２０２は、互換性のあるＬＡＮにデータ通信接続を提供するローカル・エリア・ネットワーク（ＬＡＮ）カードとすることができる。無線リンクは、通信インターフェース２０２によって実施することもできる。そのような実施において、通信インターフェース２０２は、ネットワークを介して様々なタイプの情報を表すデジタル・データ・ストリームを搬送する電気、電磁または光信号を送信および受信することができる。

いくつかの実施形態によれば、通信インターフェース２０２は、ポイント・クラウド２０１、軌道情報２０３および画像２０５を含む、センサー１４０〜１６０によって捕捉されたデータを受信し、受信したデータを、記憶するためにストレージ２０８へ、または処理するためにプロセッサ２０４へ提供することができる。通信インターフェース２０２はまた、プロセッサ２０４によって生成されたカラー・ポイント・クラウドを受信し、カラー・ポイント・クラウドを、車両１００内の任意のローカル構成要素に、またはネットワークを介して任意のリモート・デバイスに提供することもできる。

プロセッサ２０４は、任意の適切なタイプの汎用もしくは専用マイクロプロセッサ、デジタル信号プロセッサまたはマイクロコントローラを含むことができる。プロセッサ２０４は、カラー・ポイント・クラウドの生成に専用の別個のプロセッサ・モジュールとして構成されてもよい。代替的に、プロセッサ２０４は、カラー・ポイント・クラウド生成に無関係の他の機能を実行するための共有プロセッサ・モジュールとして構成されてもよい。

図２に示されるように、プロセッサ２０４は、ポイント・クラウド・セグメンテーション・ユニット２１０、ポイント・クラウド／画像マッチング・ユニット２１２、センサー較正ユニット２１４、ポイント・クラウド／画像集約ユニット２１６等の複数のモジュールを含むことができる。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、他の構成要素と共に用いるように、またはプログラムの一部を実行するように設計されたプロセッサ２０４のハードウェア・ユニット（例えば、集積回路の一部）とすることができる。プログラムは、コンピュータ可読媒体上に記憶することができ、プロセッサ２０４によって実行されると、１つまたは複数の機能を実行することができる。図２は、全て１つのプロセッサ２０４内にあるユニット２１０〜２１６を示しているが、これらのユニットは、互いの近くまたは遠隔に配置された複数のプロセッサ間で分散させることができることが予期される。

ポイント・クラウド・セグメンテーション・ユニット２１０は、計算複雑度を低減し、処理速度を増大させるために、軌道情報２０３に基づいて、ポイント・クラウド２０１を複数のポイント・クラウド・セグメントに分割するように構成することができる。各ポイント・クラウド・セグメントは、車両１００の軌道上の開始ポイントおよび終了ポイントに関連付けることができる。軌道情報２０３は、ＧＰＳ受信機および１つまたは複数のＩＭＵセンサー等のセンサー１５０によって取得することができ、車両１００が軌道に沿って移動する際の車両１００のリアルタイム姿勢情報を含むことができる。例えば、リアルタイム姿勢情報は、各タイム・スタンプにおける車両１００の位置および方向を含むことができる。

いくつかの実施形態では、各ポイント・クラウド・セグメントは、開始ポイントと終了ポイントとの間の軌道のセグメントに関連付けることができる。軌道の各セグメントは、車両１００の同じ所定の移動距離に対応することができる。例えば、移動距離ｄを予め決定し、ポイント・クラウド・セグメンテーション・ユニット２１０において設定することができる。車両１００の出発時点がｔ_０であると仮定すると、車両１００の軌道に従って、ポイント・クラウド・セグメンテーション・ユニット２１０は、車両１００の移動距離が時点ｔ_１にｄに到達するまでを記録することができる。車両１００が時間間隔ｔ_０〜ｔ_１内で走行した軌道のセグメントに対応するポイント・クラウド２０１のセグメントは、移動距離ｄに関連付けられるように設定される。ポイント・クラウド・セグメンテーション・ユニット２１０はまた、軌道上の（時点ｔ_０における）開始ポイントおよび（時点ｔ_１における）終了ポイントを記録し、開始ポイントおよび終了ポイントをポイント・クラウド・セグメントに関連付けることができる。このようにして、ポイント・クラウド・セグメンテーション・ユニット２１０は、ポイント・クラウド２０１をｎ個のセグメントに分割することができ、その各々が所定の移動距離ｄに関連付けられる。例えば、図３は、本開示の実施形態による、例示的なポイント・クラウド・セグメント、ならびに車両軌道上のその関連付けられた開始ポイントおよび終了ポイントを示す。図３に示すように、ポイント・クラウド・セグメントは、車両１００の軌道における開始ポイント３０２および終了ポイント３０４に関連付けられ、開始ポイント３０２および終了ポイント３０４間の移動距離は予め決定された値ｄである。

図２に戻ると、ポイント・クラウド／画像マッチング・ユニット２１２は、ポイント・クラウド・セグメントに関連付けられた開始ポイントおよび終了ポイントに基づいて各ポイント・クラウド・セグメントを画像２０５のうちの１つまたは複数の画像と関連付けるように構成することができる。ポイント・クラウド・セグメントごとに、各々がポイント・クラウド・セグメントにおける少なくともいくつかのポイントをカバーする２つ以上の対応する画像（すなわち、画像シーケンス）が存在し得る。ポイント・クラウド／画像マッチング・ユニット２１２は、基準ポイントとしてポイント・クラウド・セグメントに関連付けられた開始ポイントおよび終了ポイントを用いて、各ポイント・クラウド・セグメントを対応する画像シーケンスとマッチングすることができる。画像２０５を撮影するために使用される単眼カメラのＦＯＶは、ポイント・クラウド２０１を捕捉するために用いられるＬｉＤＡＲスキャナのＦＯＶよりも小さい場合があるため、マッチング画像シーケンスの位置は、ポイント・クラウド・セグメントの開始ポイントおよび終了ポイントの前にある場合がある。

いくつかの実施形態では、ポイント・クラウド／画像マッチング・ユニット２１２は、ポイント・クラウド・セグメントに関連付けられた開始ポイントＰ_ｓおよび第１のしきい値ｄ_１に基づいて、画像２０５のうちの第１の画像ｉｍａｇｅ_ｓを決定することができる。第１の画像ｉｍａｇｅ_ｓが捕捉される車両１００の軌道上の開始ポイントＰ_ｓと第１のベース・ポイントＢＰ_ｓ（センサー１６０が第１の画像ｉｍａｇｅ_ｓを捕捉した位置）との間の第１の距離は、第１のしきい値ｄ_１に等しくすることができる。ポイント・クラウド／画像マッチング・ユニット２１２は、ポイント・クラウド・セグメントに関連付けられた終了ポイントＰ_ｅおよび第２のしきい値ｄ_２に基づいて、画像２０５のうちの第２の画像ｉｍａｇｅ_ｅを決定することもできる。第２の画像ｉｍａｇｅ_ｅが捕捉される車両１００の軌道上の終了ポイントＰ_ｅと第２のベース・ポイントＢＰ_ｅ（センサー１６０が第２の画像ｉｍａｇｅ_ｓを捕捉した位置）との間の第２の距離は、第２のしきい値ｄ_２に等しくすることができる。次に、ポイント・クラウド／画像マッチング・ユニット２１２は、車両１００の軌道上の第１のベース・ポイントＢＰ_ｓと第２のベース・ポイントＢＰ_ｅとの間で捕捉された画像として、マッチング画像シーケンス｛ｉｍａｇｅ_ｓ，…，ｉｍａｇｅ_ｅ｝を決定することができる。第１のベース・ポイントＢＰ_ｓは、軌道上の開始ポイントＰ_ｓの前にある場合があり、第２のベース・ポイントＢＰ_ｅは、軌道上の終了ポイントＰ_ｅの前にある場合がある。

例えば、図４は、本開示の実施形態による、ポイント・クラウド・セグメントおよび画像シーケンスのマッチングの例示的なプロセスを示す。第１のしきい値ｄ_１および第２のしきい値ｄ_２は、単眼カメラのＦＯＶ、画像の寸法および解像度、ポイント・クラウド・セグメントの寸法および解像度等のような任意の適切な要因に基づいて予め決定することができる。いくつかの実施形態では、第１のしきい値ｄ_１および第２のしきい値ｄ_２は異なることができる。例えば、図４に示されるように、第１のしきい値ｄ_１は第２のしきい値ｄ_２よりも大きくすることができる。マッチング画像シーケンス｛ｉｍａｇｅ_ｓ，…，ｉｍａｇｅ_ｅ｝は、第１の画像ｉｍａｇｅ_ｓで開始し、第２の画像ｉｍａｇｅ_ｅで終了する。第１の画像ｉｍａｇｅ_ｓについて、第１のベース・ポイントＢＰ_ｓとポイント・クラウド・セグメントの開始ポイントＰ_ｓとの間の距離は、第１のしきい値ｄ_１と同じである。同様に、第２の画像ｉｍａｇｅ_ｅについて、第２のベース・ポイントＢＰ_ｅとポイント・クラウド・セグメントの終了ポイントＰ_ｅとの間の距離は、第２のしきい値ｄ_２と同じである。マッチング画像シーケンスは、必ずしも、ポイント・クラウド・セグメントの少なくともいくつかの点をカバーすることができる画像２０５内の全ての画像を含むわけではないことが予期される。図４に示されるように、マッチング画像シーケンス｛ｉｍａｇｅ_ｓ，…，ｉｍａｇｅ_ｅ｝はすでにカラー・ポイント・クラウドを生成するための十分なテクスチャ情報を提供することができるため、第１のしきい値ｄ_１および第２のしきい値ｄ_２を設定することによって、第１の画像ｉｍａｇｅ_ｓの前にあるかまたは第２の画像ｉｍａｇｅ_ｅの後にあるいくつかの画像は、マッチング画像シーケンス｛ｉｍａｇｅ_ｓ，…，ｉｍａｇｅ_ｅ｝に含めないことができる。

図２に戻ると、センサー較正ユニット２１４は、ポイント・クラウド・セグメントと車両１００との間の異なる距離における較正パラメータに基づいて、各ポイント・クラウド・セグメントに関連付けられた１つまたは複数の較正パラメータを決定するように構成することができる。統合されたＬｉＤＡＲスキャナおよびカメラの較正を含むセンサー較正は、ポイント・クラウドと画像との間の投影関係を得るのに必要である。センサー較正の正確性は、ターゲット（例えば、捕捉されたシーン内の車両１００の周囲の物体）とセンサー（例えば、車両１００に装備されたセンサー１４０〜１６０）との間の距離による影響を受ける場合がある。この距離が小さいほど、較正はより正確なものとなる。したがって、センサー較正ユニット２１４は、ポイント・クラウド・セグメント（シーン内の周囲物体の３−Ｄ情報を表す）と車両１００（センサー１４０〜１６０が装備されている）との間の距離に基づいて較正パラメータのいくつかの組を決定することによってセンサー較正の正確性を高めることができる。センサー較正ユニット２１４は、ポイント・クラウド・セグメントから特徴点を選択し、それらの座標に基づいてマッチング画像内の対応するピクセルを特定することができる。センサー較正ユニット２１４は、特徴点の３−Ｄ対２−Ｄの変換関係に基づいて、回転行列および並進ベクトル等の、ポイント・クラウド・セグメントおよびマッチング画像の１つまたは複数の較正パラメータを計算することができる。較正の正確性を高めるために、センサー較正ユニット２１４は、ポイント・クラウド・セグメントと車両１００との間の様々な距離に基づいて異なる較正パラメータを提供することができる。

いくつかの実施形態では、センサー較正ユニット２１４は、ポイントと車両との間の（有効距離Ｄ以内の）異なる距離に基づいて、ポイント・クラウド２０１をグループに分け、上記で説明したように、ポイント・クラウド・グループ内の特徴点の少なくとも３つの対および対応するマッチング画像に基づいて、ポイント・クラウド２０１のグループごとに較正パラメータを決定するように構成することができる。ポイント・クラウドは、１つまたは複数のポイント・クラウド・グループを含むことができる。センサー較正ユニット２１４は、対応するポイント・クラウド・グループ内の各ポイント・クラウド・セグメントに較正パラメータを割り当てるように更に構成することができる。図５は、本開示の実施形態による、センサー較正の例示的なプロセスを示す。車両に対するＬｉＤＡＲスキャナの測定範囲（有効距離Ｄ）に基づいて、ポイント・クラウド２０１は、異なる測定距離を有するｎ個のグループに分けることができる。ｎ個のグループの各々について、マッチング画像を用いたセンサー較正のために特徴点の少なくとも３つの対を選択し、較正パラメータのｎ個の組｛ｐａｒａｍ_１，…，ｐａｒａｍ_ｎ｝を得ることができる。較正パラメータの各組を用いて、一定の距離において、カメラおよびＬｉＤＡＲスキャナの対応する対を較正することができる。

図２に戻ると、ポイント・クラウド／画像集約ユニット２１６は、ポイント・クラウド・セグメントと車両１００との間のそれぞれの距離に基づいて各ポイント・クラウド・セグメントおよびマッチング画像を集約して、カラー・ポイント・クラウドを生成するように構成することができる。ポイント・クラウド／画像集約ユニット２１６は、ポイント・クラウド・セグメントが属するポイント・クラウド・グループに基づいて、ポイント・クラウド・セグメントごとに適切な較正パラメータを特定することができる。すなわち、異なるポイント・クラウド・セグメントを、それらの測定距離に応じて異なる較正パラメータを用いてマッチング画像と集約することができる。ポイント・クラウド・セグメント内のポイントがマッチング画像に投影されるとき、ポイントと車両１００との間の距離が離れているほど、誤差が大きくなる場合がある。このため、いくつかの実施形態では、有効距離Ｄは、Ｄ内のポイントのみが画像内の対応するピクセルによってカラーリングされることを可能にするように予め決定することができる。ポイント・クラウド／画像集約ユニット２１６は、画像内の対応するピクセルを、例えば、較正パラメータを用いてそれらの座標に基づいて、有効距離Ｄ内にある各ポイントとマッチングするように構成することができる。ポイント・クラウド／画像集約ユニット２１６は、各ピクセルに関連付けられたカラー情報（例えば、ＲＧＢカラー・モデルにおけるＲＧＢ値）を対応するポイントに割り当てて、ポイント・クラウドをカラーリングするように更に構成することができる。

いくつかの実施形態では、計算複雑度を低減し、処理速度を上げるために、ポイント・クラウド／画像集約ユニット２１６は、マッチング画像からｍ個ごとの画像を選択し、ポイント・クラウド・セグメントを、全てのマッチング画像ではなく、選択された画像と集約するように構成することができる。マッチング画像を選択するための値ｍは、車両１００の移動速度および／または画像２０５のサンプリング・レート等の様々な要因に基づいて決定することができる。上記で説明したように、有効距離Ｄ内の各ポイントについて、選択された画像における対応するピクセルは、ポイント・クラウド／画像集約ユニット２１６によって、ポイント・クラウド・セグメントに固有の較正パラメータに基づいて特定することができる。次に、ポイント・クラウド／画像集約ユニット２１６は、特定されたピクセルのカラー情報を（有効距離Ｄ内の）各ポイントに割り当てて、カラー・ポイント・クラウド・セグメントを生成することができる。

いくつかの実施形態では、マッチング画像が、複数の単眼カメラによって捕捉された、正面図、側面図、上面図または底面図等の様々な視点を有する画像を含むとき、ポイント・クラウド／画像集約ユニット２１６は、ポイント・クラウド・セグメントを、まず正面図画像と集約するように更に構成することができる。正面図画像がポイント・クラウド・セグメント内の全てのポイントをカバーすることができない場合、ポイント・クラウド／画像集約ユニット２１６は、他の視点（例えば、側面図、上面図または底面図画像）を有する他のマッチング画像を用いて、ポイント・クラウド・セグメント内の全ての残りのポイントをカラーリングすることができる。ポイント・クラウド／画像集約ユニット２１６は、上記で全てのポイント・クラウド・セグメントについて説明されたのと同じ集約プロセスを行って、カラー・ポイント・クラウドを生成することができる。このため、カラー・ポイント・クラウドは、ポイントごとに３−Ｄ情報およびテクスチャ情報の双方を含むことができる。例えば、図６は、本開示の実施形態による、例示的な生成されたカラー・ポイント・クラウドを示す。画像６１０は、道路、および植物等の周囲の物体を含むシーンのカラー・ポイント・クラウドを示す。画像６２０は、画像６１０におけるカラー・ポイント・クラウドの拡張部分を示す。３−Ｄ情報およびテクスチャ情報（例えば、カラー）の双方を、画像６１０および６２０における捕捉されたシーンのカラー・ポイント・クラウドから得ることができる。

図２に戻って参照すると、メモリ２０６およびストレージ２０８は、プロセッサ２０４が操作する必要がある場合がある任意のタイプの情報を記憶するように提供された任意の適切なタイプのマスストレージを含むことができる。メモリ２０６およびストレージ２０８は、揮発性もしくは不揮発性、磁気、半導体、テープ、光、リムーバブル、非リムーバブル、または、限定ではないが、ＲＯＭ、フラッシュ・メモリ、ダイナミックＲＡＭおよびスタティックＲＡＭを含む、他のタイプのストレージ・デバイスもしくは有形（すなわち、非一時的）コンピュータ可読媒体とすることができる。メモリ２０６および／またはストレージ２０８は、プロセッサ２０４によって、本明細書に開示されるカラー・ポイント・クラウド生成機能を行うために実行することができる１つまたは複数のコンピュータ・プログラムを記憶するように構成することができる。例えば、メモリ２０６および／またはストレージ２０８は、車両１００が軌道に沿って移動しているときに様々なタイプのデータを捕捉するようにセンサー１４０〜１６０を制御し、捕捉されたデータを処理してカラー・ポイント・クラウドを生成するためにプロセッサ２０４によって実行することができるプログラムを記憶するように構成することができる。

メモリ２０６および／またはストレージ２０８は、プロセッサ２０４によって使用される情報およびデータを記憶するように更に構成することができる。例えば、メモリ２０６および／またはストレージ２０８は、センサー１４０〜１６０によって捕捉された様々なタイプのデータおよび生成されたカラー・ポイント・クラウドを記憶するように構成することができる。様々なタイプのデータは、各データのフレームが処理された後、永久的に記憶されてもよく、周期的に削除されてもよく、または即座に無視されてもよい。

図７は、本開示の実施形態による、カラー・ポイント・クラウドを生成するための例示的な方法７００のフローチャートを示す。例えば、方法７００は、中でも、コントローラ２００およびセンサー１４０〜１６０を含む車両１００のカラー・ポイント・クラウド生成システムによって実施することができる。しかしながら、方法７００は、その例示的な実施形態に限定されない。方法７００は、以下で説明されるようなステップＳ７０２〜Ｓ７１０を含むことができる。ステップのうちのいくつかは、本明細書において提供される開示を行うために任意選択である場合があることが理解されよう。更に、ステップのうちのいくつかは、同時に行うか、または図７に示すのと異なる順序で行うことができる。

ステップＳ７０２において、車両１００が軌道に沿って移動する際に、シーンに関するポイント・クラウドおよび複数の画像を、車両１００に関連付けられたセンサー１４０〜１６０によって捕捉することができる。例えば、車両１００に装備されたＬｉＤＡＲスキャナは、シーンの３−Ｄ情報を表すポイント・クラウドを捕捉することができ、車両１００に装備された１つまたは複数の単眼カメラは、シーンのテクスチャ情報を表す画像を捕捉することができる。いくつかの実施形態では、車両１００に装備されたＧＰＳ受信機および１つまたは複数のＩＭＵセンサーは、時間、位置および方向を含む車両１００の軌道情報を取得することができる。

ステップＳ７０４において、ポイント・クラウドは、プロセッサ２０４によって、軌道情報に基づいて複数のポイント・クラウド・セグメントに分割することができ、それによって、ポイント・クラウド・セグメントは、車両１００の軌道上の開始ポイントおよび終了ポイントに関連付けられる。各ポイント・クラウド・セグメントは、開始ポイントおよび終了ポイントに対応する軌道上の車両１００の同じ予め決定された移動距離に関連付けることができる。

ステップＳ７０６において、ポイント・クラウド・セグメントは、プロセッサ２０４によって、車両１００の軌道上の開始ポイントおよび終了ポイントに基づいて、画像のうちの１つまたは複数に関連付けることができる。いくつかの実施形態では、第１の画像は、ポイント・クラウド・セグメントおよび第１のしきい値に関連付けられた開始ポイントに基づいて決定することができる。第１のしきい値は、開始ポイントと、第１の画像がセンサー１６０によって捕捉された第１のベース・ポイントとの間の第１の距離として設定される。第２の画像は、ポイント・クラウド・セグメントおよび第２のしきい値に関連付けられた終了ポイントに基づいて決定することができる。第２のしきい値は、終了ポイントと、第２の画像がセンサー１６０によって捕捉された第２のベース・ポイントとの間の第２の距離として設定される。第１のベース・ポイントは、軌道上で開始ポイントの前にある場合があり、第２のベース・ポイントは、軌道上で終了ポイントの前にある場合がある。第１のしきい値および第２のしきい値は、単眼カメラのＦＯＶ、画像の寸法および解像度、ポイント・クラウド・セグメントの寸法および解像度等のような等の任意の適切な要因に基づいて予め決定することができる。画像のうちの１つまたは複数は、車両１００の軌道上の第１のベース・ポイントと第２のベース・ポイントとの間で捕捉された画像を含むことができる。

ステップＳ７０８において、プロセッサ２０４によって、ポイント・クラウド・セグメントと車両１００との間の異なる距離における較正パラメータに基づいて、ポイント・クラウド・セグメントの１つまたは複数の較正パラメータを決定することができる。較正パラメータは、例えば、ポイント・クラウド内の特徴点を関連画像内の対応するピクセルに変換するための回転行列および並進ベクトルを含む。例えば、図８は、本開示の実施形態による、較正パラメータを決定するための例示的な方法８００のフローチャートを示す。ステップＳ８０２において、ポイント・クラウドは、複数のグループに分けることができる。各ポイント・クラウド・グループは、１つまたは複数のポイント・クラウド・セグメントを含むことができ、ポイント・クラウド・グループと車両１００との間の距離に関連付けることができる。ステップＳ８０４において、各ポイント・クラウド・グループ内のポイントおよび画像内のそれぞれのピクセルは、例えば、ポイントおよびピクセルの座標に基づいて特定することができる。ステップＳ８０６において、対応するポイントおよびピクセルに基づいて、ポイント・クラウド・グループごとの１つまたは複数の較正パラメータを決定することができる。いくつかの実施形態では、ＬｉＤＡＲスキャナの測定距離を、ポイント・クラウドを複数のグループに分けるための基礎として用いることができ、各ポイント・クラウド・グループにおける特徴点および関連画像における対応するピクセルを、ポイント・クラウド・グループに固有の較正パラメータ（例えば、回転行列および並進ベクトル）を計算するために用いることができる。

図７に戻ると、ステップＳ７１０において、各ポイント・クラウド・セグメントを、プロセッサ２０４によって、それぞれの較正パラメータに基づいて、関連する１つまたは複数の画像と集約し、カラー・ポイント・クラウドを生成することができる。図８に関して上記で説明したように、較正パラメータは、ポイント・クラウド・セグメントと車両１００との間の距離に基づいて決定することができる。例えば、図９は、本開示の実施形態による、ポイント・クラウド・セグメントおよび複数の画像を集約するための例示的な方法９００のフローチャートを示す。ステップＳ９０２において、関連する画像のうちのいくつかを選択することができる。いくつかの実施形態では、関連する画像からｍ個の画像を選択することができ、ここで、ｍは、軌道に沿った車両１００の移動速度、および／または画像のサンプリング・レートに基づいて決定することができる。ステップＳ９０４において、選択された画像の各々について、較正パラメータに基づいて、画像内のピクセルを、ポイント・クラウド・セグメント内の各ポイントにマッチングすることができる。いくつかの実施形態では、ポイントは、車両１００から予め決定された有効距離内にあることができる。いくつかの実施形態では、選択された画像が正面図画像を含む場合、この正面図画像は、他の視点の画像よりも、高い優先度で処理されることができる。ステップＳ９０６において、各ピクセルに関連付けられたカラー情報を、ポイント・クラウド・セグメント内のそれぞれのポイントに割り当て、ポイント・クラウド・セグメントをカラーリングすることができる。ＲＧＢモデルが用いられるいくつかの実施形態において、カラー情報は、ＲＧＢカラー・モデルに従ってピクセルのＲＧＢ値を含むことができる。

本開示の別の態様は、実行されると、１つまたは複数のプロセッサに、上記で論考した方法を実行させる命令を記憶する非一時的コンピュータ可読媒体を対象とする。コンピュータ可読媒体は、揮発性もしくは不揮発性、磁気、半導体、テープ、光、リムーバブル、非リムーバブル、または他のタイプのコンピュータ可読媒体もしくはコンピュータ可読ストレージ・デバイスを含むことができる。例えば、コンピュータ可読媒体は、開示されるように、コンピュータ命令が記憶されたストレージ・デバイスまたはメモリ・モジュールとすることができる。いくつかの実施形態では、コンピュータ可読媒体は、コンピュータ命令が記憶されたディスクまたはフラッシュ・ドライブとすることができる。

当業者には、開示されたシステムおよび関連する方法に対し様々な変更および変形を行うことができることが明らかであろう。開示されるシステムおよび関連する方法の明細書および実施を検討した当業者には他の実施形態が明らかであろう。

明細書および実施例は、例示のみとしてみなされることが意図され、真の範囲は、以下の特許請求の範囲およびそれらの均等物によって示される。

Claims (20)

1. カラー・ポイント・クラウドを生成するための方法であって、
   車両が軌道に沿って移動する際に、前記車両に関連付けられた複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信するステップと、
   プロセッサによって、前記ポイント・クラウドを、各々が前記車両の前記軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割するステップと、
   前記プロセッサによって、前記開始ポイントおよび前記終了ポイントに基づいて、前記ポイント・クラウドの各セグメントを、前記複数の画像のうちの１つまたは複数と関連付けるステップと、
   前記プロセッサによって、前記ポイント・クラウドの前記セグメントと前記車両との間の異なる距離における較正パラメータに基づいて、前記ポイント・クラウドの各セグメントと前記複数の画像のうちの前記１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成するステップと、
   を含む、方法。
2. 前記ポイント・クラウドの各セグメントは、前記開始ポイントと前記終了ポイントとの間の前記軌道上の前記車両の同じ移動距離に関連付けられる、請求項１に記載の方法。
3. 前記ポイント・クラウドを分割するステップは、前記軌道上の前記車両の時間、位置および方向に基づく、請求項１に記載の方法。
4. 前記ポイント・クラウドの前記セグメントを前記複数の画像のうちの前記１つまたは複数と関連付けるステップは、
   前記開始ポイントおよび第１のしきい値に基づいて、前記複数の画像のうちの第１の画像を決定するステップであって、前記開始ポイントと、前記第１の画像が捕捉される第１のベース・ポイントとの間の第１の距離は前記第１のしきい値に等しい、ステップと、
   前記終了ポイントおよび第２のしきい値に基づいて、前記複数の画像のうちの第２の画像を決定するステップであって、前記終了ポイントと、前記第２の画像が捕捉される第２のベース・ポイントとの間の第２の距離は前記第２のしきい値に等しい、ステップと、
   を含み、
   前記複数の画像のうちの前記１つまたは複数は、前記軌道上の前記第１のベース・ポイントと前記第２のベース・ポイントとの間で捕捉された画像を含む、請求項１に記載の方法。
5. 前記第１のベース・ポイントは、前記軌道上で前記開始ポイントの前にあり、前記第２のベース・ポイントは、前記軌道上で前記終了ポイントの前にある、請求項４に記載の方法。
6. 前記ポイント・クラウドの各セグメントと前記車両との間の前記距離に基づいて、前記ポイント・クラウドの前記セグメントに関連付けられた較正パラメータの複数の組を決定するステップと、
   前記較正パラメータに基づいて、前記ポイント・クラウドの前記セグメントと、前記複数の画像のうちの前記１つまたは複数とを集約するステップと、
   を更に含む、請求項１に記載の方法。
7. 前記ポイント・クラウドの前記セグメントに関連付けられた較正パラメータの複数の組を決定するステップは、
   前記ポイント・クラウドを複数のグループに分けるステップであって、前記ポイント・クラウドの各グループは、前記ポイント・クラウドの前記それぞれのグループと前記車両との間の距離に関連付けられている、ステップと、
   前記ポイント・クラウドの前記グループ内のポイントに基づいて前記ポイント・クラウドのグループごとに較正パラメータを決定するステップと、
   前記ポイント・クラウドの前記セグメントに、前記ポイント・クラウドの前記セグメントが属する前記ポイント・クラウドの前記グループのための前記較正パラメータを割り当てるステップと、
   を含む、請求項６に記載の方法。
8. 前記ポイント・クラウドの前記セグメントと前記複数の画像のうちの前記１つまたは複数とを集約するステップは、
   前記複数の画像のうちの前記１つまたは複数のうちのいくつかを選択するステップと、
   前記選択された画像ごとに、前記較正パラメータに基づいて、前記画像内の複数のピクセルを、前記ポイント・クラウドの前記セグメント内の各ポイントにマッチングするステップと、
   前記複数のピクセルの各々に関連付けられたカラー情報を、前記ポイント・クラウドの前記セグメント内の前記それぞれのポイントに割り当てるステップと、
   を含む、請求項６に記載の方法。
9. 前記複数の画像のうちの前記１つまたは複数は、前記シーンの正面図画像を含む、請求項１に記載の方法。
10. カラー・ポイント・クラウドを生成するためのシステムであって、
    車両が軌道に沿って移動する際に、前記車両に装備された複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信するように構成された通信インターフェースと、
    前記ポイント・クラウドおよび前記複数の画像を記憶するように構成されたストレージと、
    プロセッサであって、
    前記ポイント・クラウドを、各々が前記車両の前記軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割するように構成され、
    前記開始ポイントおよび前記終了ポイントに基づいて、前記ポイント・クラウドの各セグメントを、前記複数の画像のうちの１つまたは複数と関連付けるように構成され、
    前記ポイント・クラウドの前記セグメントと前記車両との間の異なる距離における較正パラメータに基づいて、前記ポイント・クラウドの各セグメントと前記複数の画像のうちの前記１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成するように構成された、プロセッサと、
    を備える、システム。
11. 前記ポイント・クラウドの各セグメントは、前記開始ポイントと前記終了ポイントとの間の前記軌道上の前記車両の同じ移動距離に関連付けられる、請求項１０に記載のシステム。
12. 前記ポイント・クラウドを分割することは、前記軌道上の前記車両の時間、位置および方向に基づく、請求項１０に記載のシステム。
13. 前記ポイント・クラウドの前記セグメントを前記複数の画像のうちの前記１つまたは複数と関連付けるために、前記プロセッサは、
    前記開始ポイントおよび第１のしきい値に基づいて、前記複数の画像のうちの第１の画像を決定するように構成され、前記開始ポイントと、前記第１の画像が捕捉される第１のベース・ポイントとの間の第１の距離は前記第１のしきい値に等しく、
    前記終了ポイントおよび第２のしきい値に基づいて、前記複数の画像のうちの第２の画像を決定するように構成され、前記終了ポイントと、前記第２の画像が捕捉される第２のベース・ポイントとの間の第２の距離は前記第２のしきい値に等しく、
    前記複数の画像のうちの前記１つまたは複数は、前記軌道上の前記第１のベース・ポイントと前記第２のベース・ポイントとの間で捕捉された画像を含む、請求項１０に記載のシステム。
14. 前記第１のベース・ポイントは、前記軌道上で前記開始ポイントの前にあり、前記第２のベース・ポイントは、前記軌道上で前記終了ポイントの前にある、請求項１３に記載のシステム。
15. 前記プロセッサは、
    前記ポイント・クラウドの各セグメントと前記車両との間の前記距離に基づいて、前記ポイント・クラウドの前記セグメントに関連付けられた較正パラメータの複数の組を決定するように更に構成され、
    前記較正パラメータに基づいて、前記ポイント・クラウドの前記セグメントと、前記複数の画像のうちの前記１つまたは複数とを集約するように更に構成される、請求項１０に記載のシステム。
16. 前記ポイント・クラウドの前記セグメントに関連付けられた前記較正パラメータの前記複数の組を決定するために、前記プロセッサは、
    前記ポイント・クラウドを複数のグループに分けるように構成され、前記ポイント・クラウドの各グループは、前記ポイント・クラウドの前記それぞれのグループと前記車両との間の距離に関連付けられており、
    前記ポイント・クラウドの前記グループ内のポイントに基づいて前記ポイント・クラウドのグループごとに較正パラメータを決定するように構成され、
    前記ポイント・クラウドの前記セグメントに、前記ポイント・クラウドの前記セグメントが属する前記ポイント・クラウドの前記グループのための前記較正パラメータを割り当てるように構成される、請求項１５に記載のシステム。
17. 前記ポイント・クラウドの前記セグメントと前記複数の画像のうちの前記１つまたは複数とを集約するために、前記プロセッサは、
    前記複数の画像のうちの前記１つまたは複数のうちのいくつかを選択するように構成され、
    前記選択された画像ごとに、前記較正パラメータに基づいて、前記画像内の複数のピクセルを、前記ポイント・クラウドの前記セグメント内の各ポイントにマッチングするように構成され、
    前記複数のピクセルの各々に関連付けられたカラー情報を、前記ポイント・クラウドの前記セグメント内の前記それぞれのポイントに割り当てるように構成される、請求項１５に記載のシステム。
18. 前記複数の画像のうちの前記１つまたは複数は、前記シーンの正面図画像を含む、請求項１０に記載のシステム。
19. 前記複数のセンサーは、光検出および測距（ＬｉＤＡＲ）レーザー・スキャナおよび１つまたは複数の単眼カメラを含む、請求項１０に記載のシステム。
20. １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
    車両が軌道に沿って移動する際に、前記車両に関連付けられた複数のセンサーによって捕捉されるシーンに関するポイント・クラウドおよび複数の画像を受信することと、
    前記ポイント・クラウドを、各々が前記車両の前記軌道上の開始ポイントおよび終了ポイントに関連付けられた複数のセグメントに分割することと、
    前記開始ポイントおよび前記終了ポイントに基づいて、前記ポイント・クラウドの各セグメントを、前記複数の画像のうちの１つまたは複数と関連付けることと、
    前記ポイント・クラウドの前記セグメントと前記車両との間の異なる距離における較正パラメータに基づいて、前記ポイント・クラウドの各セグメントと前記複数の画像のうちの前記１つまたは複数とを集約することによってカラー・ポイント・クラウドを生成することと、
    を含む動作を行わせる命令を記憶した非一時的コンピュータ可読媒体。