JP2015212942A - レーザー点クラウドを用いる物体検出のための方法及びシステム - Google Patents

Abstract

【課題】レーザー点クラウドを用いる物体検出のための方法及びシステムを提供する。【解決手段】コンピュータ・デバイスはセンサーから車両の環境を示すレーザー・データを受信して、そのレーザー・データに基づいて環境における物体のそれぞれの位置を示すピクセルを含む二次元（２Ｄ）距離画像を生成する。コンピュータ・デバイスは、２Ｄ距離画像を修正して、レーザー・データが欠如している環境における物体の部分をマップする所定のピクセルへ値を与える。これは所定のピクセルの傍らに位置した近隣ピクセルの平均値に基づいて所定のピクセルへ値を与えることに関係する。更に、コンピュータ・デバイスは、修正された２Ｄ距離画像に基づいて環境の物体の表面に対応するピクセルのセットの法線ベクトルを決定し、この法線ベクトルを用いて、物体認識情報を車両のシステムへ与える。【選択図】図３

Description

発明の詳細な説明

関連出願への相互参照
この出願は２０１４年４月２５日に出願の米国特許出願第１４／２６２,６５１号の優先権を主張しており、その全体が参照によりここに組み込まれている。
背景

ここに別段の指示がない限り、この背景の節に説明された資料はこの出願における特許請求の範囲に対する先行技術ではなく、かつ、この節への包含によって先行技術になると認められるものではない。

車両は、センサーにより与えられた情報を用いて移動の経路をナビゲートされることがある。車両のコンピュータ・デバイスは、車両センサーから受信された情報を処理して障害物との衝突を回避して、適切なナビゲーションを確実にすることがある。そのような車両には、周囲環境における物体を検出するために、通常は様々な種類のセンサーが装備されている。例えば、自律型車両は、レーザー、ソナー、ＲＡＤＡＲ、カメラ、及び車両の周囲環境からデータを走査して記録する他のデバイスを含むことがある。これらのデバイスの一つ以上からのセンサー・データは、複数の物体を検出し、それらのそれぞれの特性（位置、形状、機首方位、速度など）を検出するのに用いられることがある。この検出及び識別は、自律型車両の安全な操作に役立つ。
概要

本出願は、レーザー点クラウドを用いる物体検出のための方法及びシステムに関する実施形態を開示する。

一例を挙げれば、本出願は方法を説明する。この方法は、コンピュータ・デバイスにおいて、車両の環境を示すレーザー・データを受信することを含み、そのレーザー・データは環境における一つ以上の物体に関連した複数のデータ点を含む。この方法は、複数のセンサー・データ点に基づいて、車両に関連する環境における一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元距離画像を生成することも含み得る。更に、この方法は、生成された二次元距離画像を修正し、レーザー・データが欠如している環境における一つ以上の物体の一つ以上の部分にマップされる複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与えることを含むことがある。或る場合には、生成された二次元距離画像を修正し、一つ以上の所定のピクセルにそれぞれの値を与えるように修正することは、二次元距離画像における複数のピクセルの一つ以上の所定のピクセルの近位に位置する複数のピクセルのそれぞれの近隣ピクセルに基づいている。この方法は、複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを決定し、それは修正された二次元距離画像に基づいて得られる車両の環境における一つ以上の物体のそれぞれの表面に対応しており、及び、ピクセルの一つ以上のセットの複数の法線ベクトルに基づいて車両の環境における一つ以上の物体を示す物体認識情報を車両の一つ以上のシステムへ与えることを含むことがある。

他の例においては、本願は非一時的なコンピュータ可読媒体を説明し、これは、それに記憶された実行可能な指令を有し、この指令はコンピュータ・デバイスにより実行されるときに、コンピュータ・デバイスに機能を実行させる。その機能は、車両の環境を示すレーザー・データを受信することを含むことがあり、そのレーザー・データは環境における一つ以上の物体に関連した複数のデータ点を含む。この機能は、複数のセンサー・データ点に基づいて、二次元距離画像を生成することも含むことがあり、その二次元距離画像は、車両に関する環境における一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む。更に、この機能は、生成された二次元距離画像を修正して、レーザー・データが欠如している環境における一つ以上の物体の一つ以上の部分にマップする複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与えることを含むことがある。或る場合には、生成された二次元距離画像を修正して、一つ以上の所定のピクセルにそれぞれの値を与えることは、二次元距離画像内の複数のピクセルの一つ以上の所定のピクセルに近接して位置した複数のピクセルのそれぞれの近隣ピクセルに基づいている。この機能は、修正された二次元距離画像に基づいて、車両の環境における一つ以上の物体のそれぞれの表面に対応する複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを判定し、ピクセルの一つ以上のセットの法線ベクトルに基づく車両の一つ以上のシステムに対する車両の環境における一つ以上の物体を示す物体認識情報を与えることを含むことがある。

更に他の例においては、本願はシステムを説明する。このシステムは、少なくとも一つのプロセッサを含むことがある。このシステムは、記憶された実行可能な指令を有するメモリも含むことがあり、その指令は、少なくとも一つのプロセッサによる実行と同時に、システムに機能を実行させ、その機能は、車両の環境を示すレーザー・データを受信することを含み、そのレーザー・データは環境における一つ以上の物体に関連した複数のデータ点を含む。この機能は、複数のセンサー・データ点に基づいて、二次元距離画像を生成することも含み、その二次元距離画像は車両に対して環境における一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む。更に、この機能は、生成された二次元距離画像を修正し、レーザー・データが欠如している環境における一つ以上の物体の一つ以上の部分にマップする複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与えることを含むことがある。或る場合には、生成された二次元距離画像を修正して一つ以上の所定のピクセルにそれぞれの値を与えることは、二次元距離画像内で複数のピクセルの一つ以上の所定のピクセルに近接して位置した複数のピクセルのそれぞれの近隣ピクセルに基づく。この機能は、修正された二次元距離画像に基づいて、車両の環境における一つ以上の対象のそれぞれの表面に対応する複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを判定し、ピクセルの一つ以上のセットの複数の法線ベクトルに基づいて車両の一つ以上のシステムに対する車両の環境における一つ以上の物体を示す物体認識情報を与えることを含むことがある。

他の例においては、システムが与えられて、これは、非構造化及び構造化レーザー点クラウドのための実時間生成のための手段を含む。このシステムは、車両の環境を示すレーザー・データを受信するための手段も含むことがあり、そのレーザー・データは環境における一つ以上の物体に関連した複数のデータ点を含む。このシステムは、複数のセンサー・データ点に基づいて車両に対する環境における一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元画像を生成するための手段も含むことがある。更に、このシステムは、生成された二次元距離を修正して、レーザー・データが欠如している環境における一つ以上の物体の一つ以上の部分にマップする複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与えるための手段を含むことがある。或る場合には、このシステムは、生成された二次元距離画像を修正して、二次元距離画像内の複数のピクセルの一つ以上の所定のピクセルに近接して位置した複数のピクセルのそれぞれの近隣ピクセルに基づいて、一つ以上の所定のピクセルへそれぞれの値を与えるための手段を含むことがある。このシステムは、修正された二次元距離画像に基づいて車両の環境における一つ以上の物体のそれぞれの表面に対応する複数のピクセルにおける一つ以上のセットの複数の法線ベクトルを判定する手段と、ピクセルの一つ以上のセットの複数の法線ベクトルに基づいて車両の一つ以上のシステムに対する車両の環境における一つ以上の物体を示す物体識別情報を与えるための手段とを含むことがある。

上述の概要は単なる例示であって、如何なる方式であれ限定を意図したものではない。上述した例示的態様、実施形態、及び特徴に加えて、更なる態様、実施形態、及び特徴は、図面及び以下の詳細な説明を参照することによって明らかになる。

図１は例示的実施形態による例示的車両の単純化されたブロック図である。

図２は例示的実施形態による例示的車両を図解する。

図３はレーザー点クラウドを用いる物体検出のための例示的方法のフローチャートである。

図４は二次元距離画像の一部におけるピクセルを図解する例示的図である。

図５Ａ前方視野から例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された仮想二次元距離画像の部分を図解する。

図５Ｂは側面視野から例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の更なる部分を図解する。

図５Ｃは後部視野から例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の部分を図解する。

図５Ｄは他の後部視野から例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の部分を図解する。

図６はピクセルのセットのベクトル法線計算を図解する例示的図である。

図７は、コンピュータ・デバイスでコンピュータ処理を実行するためにコンピュータ・プログラムを含む例示的コンピュータ・プログラム製品の概念的の部分図を図解する概略図である。詳細な説明

以下の詳細な説明は、添付図面を参照して開示されたシステム及び方法の様々な特徴及び機能を説明する。図においては、文脈が指示しない限り、類似した符号は類似した構成要素を特定する。ここに説明した例示的システム及び方法実施形態は、限定を意味するものではない。開示されたシステム及び方法の特定の態様は、多種多様な異なる構成に配置及び組み合わせることができ、その全てがここに予期されていることは容易に理解されるであろう。

車両、例えば自律型車両若しくは運転者が不要な車両は、誘導及び制御を与えることを運転者に要求することなく、移動の経路をナビゲートすることがある。安全な自律型ナビゲーションを可能にするために、車両は、車両に関連したセンサーから得られた車両を囲んでいる局所的環境についてのデータを利用することがある。自律型車両は一つ又は複数のコンピュータ・デバイスを含むことがあり、これは、車両が操作されるにつれて、センサーから受信された近傍の環境に関する情報を受信して処理するように構成されている。この情報を処理することは、コンピュータ・デバイスが車両のシステムへ情報及び／又は指令を与えることを可能にすることがあり、環境変化を通じて車両が移動するにつれて、安全なナビゲーション計画を実行する。

一つの例示的実施形態においては、車両の一つ又は複数のコンピュータ・デバイスにおける環境を示すレーザー・データを受信しながら、ナビゲートされることがある。例えば、車両は、センサー・データ（例えば環境における一つ以上の物体に関連したデータ点からなるレーザー・データ）を捕捉するように構成されたＬＩＤＡＲモジュールを含むことがある。同様に、車両は、物体検出のために用いられることがあるセンサー・データを与えるように構成された他の形式のセンサー、例えばデプス・カメラも含むことがある。コンピュータ・デバイスは、例えば構造化された３次元（３Ｄ）点クラウド及び／又は非構造化３Ｄ点クラウドにおける環境を示すデータ点を受信することがある。或る場合には、このコンピュータ・デバイスは、格子状点クラウド内のデータ点を受信することがある。レーザー・データは、車両に対する環境における物体の位置を示す情報を包含するデータ点を含むことがある。他の例においては、このレーザー・データは、車両の環境に関する他の情報を含むことがある。

操作の間、コンピュータ・デバイスは、レーザー・データ点を用いて環境における物体の位置を示すピクセルを含む二次元（２Ｄ）距離画像を生成することがある。一例として、コンピュータ・デバイスは、車両の周りに位置する又は仮想レンダリングにおける車両の周りに仮想的に位置する概念的２Ｄ円筒面にレーザー・データ点を投影し、ピクセルをレーザー・データ点内のデータに対応させるようにすることがある。結果的に生成された２Ｄ距離画像は、環境における情報を示す値を有するピクセルを含むことがあり、レーザー・データ点からの値を有さないことがある或るピクセルを含むこともある。値が欠落しているピクセルは、コンピュータ・デバイスが物体の部分を示すレーザー・データを受信しなかった物体の部分に対応することがある。或る例示的実施形態においては、コンピュータ・デバイスは、全ての点クラウドの受信を完了する前に２Ｄ距離画像の部分の生成を始めることがある。例えば、コンピュータ・デバイスは、点がＬＩＤＡＲモジュールから受信されるにつれて、２Ｄ距離画像の部分を発展させることがある。

更にまた、車両のコンピュータ・デバイスは、２Ｄ距離画像を修正して、値を伴わないピクセルから生じるギャップを満たすことがある。例えば、コンピュータ・デバイスは、２Ｄ距離画像における一つ以上のギャップに近接して位置したそれぞれの近隣ピクセルを用いて、当初は値を有さないことがあるギャップのピクセルへ割り当てる平均値を測定することがある。コンピュータ・デバイスは修正された２Ｄ距離画像を用いて、車両の環境における一つ以上の物体のそれぞれの表面に対応することがあるピクセルの複数のセットの一つ又は複数の法線ベクトルを決定することがある。

或る例においては、コンピュータ・デバイスは、表面法線及び面分割処理を用いて、獲得したセンサー・データ（例えば、環境における表面を有するピクセルの関連セット）における面を分類することがあり、これは車両を物体認識及び障害物回避のために支援することがある。コンピュータ・デバイスは、車両がナビゲートされるにつれて、環境内の物体の仮想マッピングを発展させることがある。更に、コンピュータ・デバイスはピクセルの複数のセットの法線ベクトル並びに面分割を用いて、車両のシステムに対する環境に関する物体認識情報を与えることがあり、これを車両システムが操作の間に用いて適切なナビゲーション計画を決定することがある。

本開示の目的内の例示的システムについて、ここで更に詳細に説明する。一般に、例示的システムは自動車内に実装されることがあるか又は自動車の形態を採ることがある。しかしながら、例示的システムは、他の車両、例えば乗用車、トラック、オートバイ、バス、ボート、航空機、ヘリコプター、芝刈り機、レクリエーション車両、遊園地車両、農機具、建設機器、路面電車、ゴルフ・カート、列車、及びトロリー内に実装されることもあれば、これらの形態を採ることもある。他の車両が同様に可能である。

ここで図面を参照すると、図１は例示的実施形態による例示的車両１００の単純化されたブロック図である。この車両１００に結合された又は含まれた構成要素は、推進システム１０２、センサー・システム１０４、制御システム１０６、周辺機器１０８、電源１１０、コンピュータ・デバイス１１１、及びユーザ・インタフェース１１２を含むことがある。コンピュータ・デバイス１１１は、プロセッサ１１３及びメモリ１１４を含むことがある。このコンピュータ・デバイス１１１はコントローラであるか、車両１００のコントローラの一部であることがある。メモリ１１４はプロセッサ１１３により実行可能な指令１１５を含むことがあり、地図データ１１６を記憶することもある。車両１００の構成要素は、相互に及び／又はそれぞれのシステムに結合した他の構成要素に相互接続した方式で作動するように構成されることがある。例えば、電源１１０は電力を車両１００の全ての構成要素へ供給することがある。コンピュータ・デバイス１１１は、推進システム１０２、センサー・システム１０４、制御システム１０６、及び周辺機器１０８から情報を受信して、それらを制御するように構成されることがある。このコンピュータ・デバイス１１１は、ユーザ・インタフェース１１２に画像の表示を生成して、かつ、ユーザ・インタフェース１１２入力を受信するように構成されることがある。

他の例においては、車両１００は、より多いか、より少ないか、又は異なるシステムを含むことがあり、各々のシステムは、より多いか、より少ないか、又は異なる構成要素を含むことがある。更に、図示されたシステム及び構成要素は、多くの方式で結合又は分割されることがある。

推進システム１０２は、車両１００のための駆動された運動を与えるように構成されることがある。図示のように、推進システム１０２は、エンジン／モーター１１８、エネルギー源１２０、変速機１２２、及び車輪／タイヤ１２４を含む。

エンジン／モーター１１８は、内燃機関、電気モーター、蒸気機関、及びスターリング・エンジンなどの任意の組み合わせとされることもあれば、これらを含むこともある。他のモーター及びエンジンが同様に可能である。或る例においては、推進システム１０２は、エンジン及び／又はモーターの複数の種類を含むことができる。例えば、ガス電気ハイブリッドカーは、ガソリン・エンジン及び電気モーターを含むことができる。他の例が可能である。

エネルギー源１２０は、エンジン／モーター１１８に完全に又は部分的に動力を与えるエネルギー源で或る場合がある。即ち、エンジン／モーター１１８は、エネルギー源１２０を機械的エネルギーへ変換するように構成されることがある。エネルギー源１２０の例は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガス型燃料、エタノール、太陽電池パネル、バッテリー、及び他の電力源を含む。エネルギー源１２０は、燃料タンク、バッテリー、キャパシタ、及び／又はフライホイールの任意の組合せを追加的に又は代替的に含むことができる。或る例においては、エネルギー源１２０は同様にエネルギーを車両１００の他のシステムのために与えることがある。

変速機１２２は、エンジン／モーター１１８から車輪／タイヤ１２４へ機械的動力を伝動するように構成されることがある。このためには、変速機１２２はギアボックス、クラッチ、差動装置、駆動シャフト及び／又は他の要素を含むことがある。変速機１２２が駆動シャフトを含む例においては、駆動シャフトは、車輪／タイヤ１２４に結合するように構成された一つ以上の車軸を含むことができる。

車両１００の車輪／タイヤ１２４は、一輪車、自転車／オートバイ、三輪車又は乗用車／トラック四輪形態を含む様々な形態に構成することができる。他の車輪／タイヤ形態が同様に可能であり、例えば六輪以上の車輪を含むものである。車両１００の車輪／タイヤ１２４は、他の車輪／タイヤ１２４に関して差動的に回転するように構成されることがある。或る例においては、車輪／タイヤ１２４は、変速機１２２に固定的に取り付けられた少なくとも一つの車輪と、走行面に接触することができる車輪の縁に結合された少なくとも一つのタイヤとを含むことがある。車輪／タイヤ１２４は、金属とゴムとの任意の組み合わせ、又は他の材料の組合せを含むことがある。

推進システム１０２は、図示されたもの以外の構成要素を追加的に又は代替的に含むことがある。

センサー・システム１０４は、車両１００が位置する環境に関する情報を検知するように構成された多くのセンサーを含むことがある。図示のように、センサー・システムのセンサーは全地球位置測定システム（ＧＰＳ）モジュール１２６、慣性測定ユニット（ＩＭＵ）１２８、電波探知及び測距（ＲＡＤＡＲ）ユニット１３０、レーザー測距器及び／又は光検知及び測距（ＬＩＤＡＲ）ユニット１３２、カメラ１３４、及びセンサーの位置及び／又は方位を修正するように構成されたアクチュエータ１３６を含む。センサー・システム１０４は、例えば、車両１００の内部のシステムを監視するセンサー（例えば、Ｏ_２検出モニタ、燃料計、エンジン油温度など）を含めて、付加的なセンサーを同様に含むことがある。他のセンサーが同様に可能である。

ＧＰＳモジュール１２６は、車両１００の地理的な位置を推定するように構成された任意のセンサーで或る場合がある。このためには、ＧＰＳモジュール１２６は、衛星型測位データに基づいて地球に関する車両１００の位置を推定するように構成された送受信機を含むことがある。一例においては、コンピュータ・デバイス１１１は、ＧＰＳモジュール１２６を地図データ１１６との組み合わせで用いて、車両１００が移動し得る道路における車線境界の位置を推定するように構成されることがある。ＧＰＳモジュール１２６は同様に他の形態を採ることがある。

ＩＭＵ１２８は、慣性加速に基づいて車両１００の位置及び方位変更を検知するように構成されたセンサーの任意の組合せで或る場合がある。或る例においては、センサーの組合せは、例えば、加速度計及びジャイロスコープを含むことがある。センサーの他の組合せが同様に可能である。

ＲＡＤＡＲユニット１３０は、物体の特性、例えば物体の範囲、高度、方向又は速度を判定するために電波を用いるように構成されることがある物体検出システムとして見做されることがある。このＲＡＤＡＲユニット１３０は、波の経路における何らかの物体から反射し得る電波又はマイクロ波のパルスを送信するように構成されることがある。この物体は波のエネルギーの一部を受信機（例えば、皿又はアンテナ）へ返すことがあり、その受信機は同様にＲＡＤＡＲユニット１３０の一部で或る場合がある。このＲＡＤＡＲユニット１３０は、受信信号（物体から反射される）のデジタル信号処理を実行するように構成されることもあり、物体を識別するように構成されることがある。

ＲＡＤＡＲに類似した他のシステムが、電磁スペクトルの他の部分で用いられてきた。一つの例はＬＩＤＡＲ（光検出及び測距）であり、これは電波よりもむしろレーザーからの可視光を用いるように構成されることがある。

ＬＩＤＡＲユニット１３２は、光を用いて車両１００が位置する環境における物体を検知若しくは検出するように構成されたセンサーを含むことがある。通常、ＬＩＤＡＲは、光学的遠隔探査技術であり、これは光で対象を照明することにより、対象までの距離又は対象の他の特性を測定することができる。一例として、ＬＩＤＡＲユニット１３２は、レーザー・パルスを発するように構成されたレーザー源及び／又はレーザー・スキャナと、そのレーザー・パルスの反射を受信するように構成された検出器とを含むことがある。例えば、ＬＩＤＡＲユニット１３２は、回転ミラーにより反射されたレーザー測距器を含むことがあり、そのレーザーは、デジタル化されている光景の周りを一次元又は二次元で、指定された角度間隔で距離寸法を集めて走査する。例においては、ＬＩＤＡＲユニット１３２は、光（例えば、レーザー）源、スキャナ及び光学機器、光検出器及び受信器電子部品、並びに位置決め及びナビゲーション・システムのような構成要素を含むことがある。

一例において、ＬＩＤＡＲユニット１３２は、物体を画像化するために紫外線（ＵＶ）、可視光、又は赤外線光を用いるように構成されることがあり、非金属物体を含む広範囲に亘る対象で用いることができる。一例を挙げれば、狭いレーザービームは、高解像度で物体の物理的特徴をマップするのに用いることができる。

幾つかの例においては、約１０マイクロメートル（赤外線）から約２５０ｎｍ（ＵＶ））の範囲の波長を用いることができた。一般的に、光は後方散乱を介して反射される。異なる種類の散乱が異なるＬＩＤＡＲアプリケーションのために用いられ、これは例えばレイリー散乱、ミー散乱及びラマン散乱、並びに蛍光である。異なる種類の後方散乱に基づいて、それに応じて、ＬＩＤＡＲは、例としてレイリーＬＩＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ及びＮａ／Ｆｅ／Ｋ蛍光ＬＩＤＡＲと称することができる。例えば、波長の適宜な組合せは、反射された信号の強度の波長依存的な変化を探すことによって、物体の遠隔マッピングを可能とすることができる。

３次元（３Ｄ）画像ングは、走査と非走査とのＬＩＤＡＲシステムの両方を用いて達成することができる。「３Ｄゲート型ビューイング・レーザー・レーダー」は非走査レーザー測距システムの一例であり、これはパルス状レーザー及び速いゲート型カメラを作動させる。画像ングＬＩＤＡＲは高速検出器の配列及び変調感知検出器配列を用いて実行することもでき、これはＣＭＯＳ（相補型金属−酸化物-半導体）及びハイブリッドＣＭＯＳ／ＣＣＤ（電荷結合素子）製作技術を用いて単独のチップに典型的に構築される。これらのデバイスにおいては、各々のピクセルが高速で復調又はゲート制御によって局所的に処理されることがあり、配列はカメラからの画像を提示するように処理することができる。この技術を使用して、幾千ものピクセルを同時に獲得して、ＬＩＤＡＲユニット１３２によって検出される物体又は光景を表す３Ｄ点クラウドを形成することがある。

点クラウドは、３Ｄ座標系における頂点のセットを含むことがある。これらの頂点は例えばＸ，Ｙ，及びＺ座標により規定されることがあり、物体の外面を表すことがある。ＬＩＤＡＲユニット１３２は物体の表面における多数の点を測定することによって点クラウドを形成するように構成されることがあり、データ・ファイルとして点クラウドを出力することがある。ＬＩＤＡＲユニット１３２による物体の３Ｄ走査処理の結果として、点クラウドは物体を特定して視覚化するために用いることができる。

一例を挙げれば、点クラウドは直接に描画して物体を視覚化することができる。他の例においては、点クラウドは、表面の再構築と称されることがある処理により、多角形又は三角形メッシュ・モデルへ変換されることがある。点クラウドを３Ｄ面へ変換することの例示的技術は、ドロネー三角測量、アルファ形、及びボール・ピボッティングを含むことがある。これらの技術は、点クラウドの既存の頂点上に三角形のネットワークを構築することを含む。他の例示的技術は、点クラウドを容積測定距離フィールドへ変換して、マーチング立方体アルゴリズムによって規定される潜在的な表面を再構築することを含むことがある。

カメラ１３４は、車両１００が位置する環境の画像を撮るように構成された任意のカメラ（例えば、スチルカメラ、ビデオ・カメラなど）とされることがある。このためには、カメラは可視光を検出するように構成されることがあるか、又はスペクトル（例えば赤外線又は紫外線光）の他の部分から光を検出するように構成されることがある。他の種類のカメラが同様に可能である。このカメラ１３４は二次元検出器とされることがあるか、３次元空間レンジを有していることがある。或る例においては、カメラ１３４は、例えば、カメラ１３４から環境における幾つかの点までの距離を示す二次元距離画像を生成ように構成された距離検出器とされることがある。このためには、カメラ１３４は、一つ以上の距離検出技術を用いることがある。例えば、カメラ１３４は、車両１００が予め定められた光パターン（例えば格子又はチェッカーボード・パターン）で環境の物体を照明し、カメラ１３４を用いて物体からの予め定められた光パターンの反射を検出する構造光技術を用いるように構成されることがある。反射光パターンにおける歪みに基づいて、車両１００は物体における点までの距離を測定するように構成されることがある。予め定められた光パターンは、赤外線光、又は他の波長の光からなることがある。

アクチュエータ１３６は、例えば、センサーの位置及び／又は方位を修正するように構成されることがある。

センサー・システム１０４は、図示されたもの以外の構成要素を追加的に又は代替的に含むことがある。

制御システム１０６は、車両１００及びその構成要素の操作を制御するように構成されることがある。このためには、制御システム１０６は、ステアリング・ユニット１３８、スロットル１４０、ブレーキ・ユニット１４２、センサー融合アルゴリズム１４４、コンピュータ視覚システム１４６、ナビゲーション又は経路付けシステム１４８、及び障害物回避システム１５０を含むことがある。

ステアリング・ユニット１３８は、車両１００の機首又は方向を調節するように構成された機構の任意の組合せとされることがある。

スロットル１４０は、エンジン／モーター１１８の運行速度及び加速、ひいては、車両１００の速度及び加速を制御するように構成された機構の任意の組合とされることがある。

ブレーキ・ユニット１４２は、車両１００を減速するように構成された機構の任意の組合せとされることがある。例えば、ブレーキ・ユニット１４２は、車輪／タイヤ１２４を遅くするために摩擦を用いることがある。他の例として、ブレーキ・ユニット１４２は、再生式で、車輪／タイヤ１２４の運動エネルギーを電流へ変換するように構成されることがある。ブレーキ・ユニット１４２は、同様に他の形態を採ることがある。

センサー融合アルゴリズム１４４は、例えば、コンピュータ・デバイス１１１により実行可能アルゴリズム（又はアルゴリズムを記憶しているコンピュータ・プログラム製品）を含むことがある。このセンサー融合アルゴリズム１４４は、センサー・システム１０４からのデータを入力として受理するように構成されることがある。このデータは、例えば、センサー・システム１０４のセンサーにおいて感知された情報を表すデータを含むことがある。このセンサー融合アルゴリズム１４４は、例えば、カルマン・フィルター、ベイジアン・ネットワーク、又は他のアルゴリズムを含むことがある。このセンサー融合アルゴリズム１４４は更に、例えば、車両１００が位置する環境における個々の物体及び／又は特徴の評価、特定の状況の評価、及び／又は特定の状況に基づく可能な衝撃の評価を含めて、センサー・システム１０４からのデータに基づいて様々な評価を与えるように構成されることがある。他の評価が同様に可能である。

コンピュータ視覚システム１４６は、例えば、車線情報、交通信号及び障害物を含めて、車両１００が位置する環境における物体及び／又は特徴を特定するために、カメラ１３４により撮られた画像を処理して分析するように構成された任意のシステムとされることもある。このためには、このコンピュータ視覚システム１４６は、物体認識アルゴリズム、運動からの構造（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ：ＳＦＭ）アルゴリズム、ビデオ追跡、又は他のコンピュータ視覚技術を用いることがある。或る例においては、このコンピュータ視覚システム１４６は、環境、追跡物体、物体の推定速度などをマップするように更に構成されることがある。

ナビゲーション及び経路付けシステム１４８は、車両１００についての走行経路を判定するように構成された任意のシステムとされることもある。このナビゲーション及び経路付けシステム１４８は、車両１００が操作中に走行経路を動的に更新するように更に構成されることがある。或る例においては、このナビゲーション及び経路付けシステム１４８は、センサー融合アルゴリズム１４４、ＧＰＳモジュール１２６、及び一つ以上の予め定められた地図からのデータを取り込んで、車両１００の走行経路を判定するように構成されることがある。

障害物回避システム１５０は、車両１００が位置している環境における障害物を特定し、評価し、及び回避し、又はさもなければ通り抜けるように構成された任意のシステムとされることがある。

制御システム１０６は、追加的に又は代替的に、図示されたもの以外の構成要素を含むことがある。

周辺機器１０８は、車両１００を外部センサー、他の車両、及び／又はユーザーと相互に作用させるように構成されることがある。このためには、周辺機器１０８は、例えば、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、及び／又はスピーカー１５８を含むことがある。

その無線通信システム１５２は、一つ以上の他の車両、又は他の実体へ、直接に又は通信ネットワークを介しての何れかで無線で結合するように構成された任意のシステムとされることがある。このためには、この無線通信システム１５２は、他の車両、センサー、又は他の実体と直接に又はエア・インターフェース上の何れかで通信するためのアンテナ及びチップセットを含むことがある。このチップセット又は無線通信システム１５２は一般に無線通信の一つ以上の他の形式（例えばプロトコル）例えば、他の可能性の中でもとりわけブルートゥース、ＩＥＥＥ ８０２．１１（任意のＩＥＥＥ ８０２．１１改訂版を含む）に説明された通信プロトコル、セルラー技術（例えばＧＳＭ、ＣＤＭＡ、ＵＭＴＳ、ＥＶ―ＤＯ、ＷｉＭＡＸ、又はＬＴＥ）、Ｚｉｇｂｅｅ、専用短距離通信（ＤＳＲＣ）、及び無線周波数識別（ＲＦＩＤ）通信により通信するように配置されることがある。この無線通信システム１５２は同様に他の形態を採ることがある。

タッチスクリーン１５４は、ユーザーによりコマンドを車両１００へ入力するのに用いられることがある。このためには、他の可能性の中でもとりわけ、容量感知、抵抗感知、又は表面弾性波処理を介してユーザーの指の位置と動作との少なくとも一方を感知するように構成されることがある。このタッチスクリーン１５４は、タッチスクリーン表面に対して平行若しくは平坦な方向、タッチスクリーン表面に対して垂直な方向、又はそれらの両方において、指の動きを感知できることがあり、また、タッチスクリーン表面に加えられる圧力のレベルを感知できることもある。このタッチスクリーン１５４は、一つ以上の半透明又は透明な絶縁層と一つ以上の半透明又は透明な導電層から形成されることがある。このタッチスクリーン１５４は同様に他の形態を採ることがある。

マイクロフォン１５６は、車両１００のユーザーからオーディオ（例えば、音声コマンド又はオーディオ入力）を受け取るように構成されることがある。同様に、スピーカー１５８は車両１００のユーザーへオーディオを出力するように構成されることがある。

周辺機器１０８は図示されたもの以外の構成要素を追加的又は代替的に含むことがある。

電源１１０は、車両１００の構成要素の一部若しくは全部へ動力を供給するように構成されることがある。このためには、電源１１０は、例えば、充電式のリチウムイオン又は鉛酸蓄電池を含むことがある。或る例においては、バッテリーの一つ以上の列は、電力を与えるように構成することができる。他の電源素材及び構成が同様に可能である。或る例においては、電源１１０とエネルギー源１２０とは、或る完全な電気自動車の場合のように、一緒に実装されることがある。

コンピュータ・デバイス１１１に含まれるプロセッサ１１３は、一つ以上の汎用プロセッサ及び／又は一つ以上の特殊用途プロセッサ（例えば、画像プロセッサ、デジタル信号プロセッサなど）からなることがある。プロセッサ１１３が複数のプロセッサを含む限りにおいては、そのようなプロセッサは個別に又は組合せで作動させることができる。コンピュータ・デバイス１１１は、例えば、ユーザ・インタフェース１１２を通じて受信された入力に基づいて車両１００の機能を制御するように構成されることがある。

メモリ１１４は、次に、一つ以上の揮発性及び／又は一つ以上の不揮発性記憶構成要素、例えば光学的、磁気及び／又は有機記憶装置からなることがあり、このメモリ１１４は全部又は一部においてプロセッサ１１３に統合されることがある。ここに説明した機能又は方法の何れも含めて、様々な車両機能を実行するために、このメモリ１１４はプロセッサ１１３により実行可能な指令１１５（例えば、プログラム論理）を含むことがある。

車両１００の構成要素は、それらの各々のシステムの範囲内で及び／又はそれらの外外側で他の構成要素に相互接続した方式で作動するように構成することができる。このためには、車両１００の構成要素及びシステムは、システムバス、ネットワーク、及び／又は他の接続機構（図示せず）によって一緒に通信的にリンクされることがある。

更に、構成要素及びシステムの各々は車両１００に統合されて図示されているが、或る例においては、一つ以上の構成要素又はシステムは、取り外し可能に車両１００に搭載されることがあるか、さもなければ有線又は無線接続を用いて車両１００に（機械的に又は電気的に）接続されることがある。

車両１００は、図示されたものに加えて又はそれらに代えて、一つ以上の要素を含むことがある。例えば、この車両１００は一つ以上の更なるインターフェース及び／又は電源を含むことがある。他の更なる構成要素が同様に可能である。これらの例においては、メモリ１１４は、プロセッサ１１３により実行可能な指令を更に含むことがあり、更なる構成要素を制御及び／又はそれらと通信することがある。

図２は実施形態により例示的車両２００を図解する。特に、図２は車両２００の右側面図、正面図、後面面、及び上面図を示す。車両２００は図２においては乗用車として図示されているが、他の例が可能である。例えば、他の例の中ではとりわけ、車両２００はトラック、バン、半トレーラー・トラック、オートバイ、ゴルフ・カート、オフロード車又は農耕用車両を表すことができる。図示のように、この車両２００は、第1のセンサー・ユニット２０２、第２のセンサー・ユニット２０４、第３のセンサー・ユニット２０６、無線通信システム２０８、及びカメラ２１０を含む。

第１、第２、及び第３のセンサー・ユニット２０２−２０６の各々は、汎地球測位システム・センサー、慣性測定ユニット、ＲＡＤＡＲユニット、ＬＩＤＡＲユニット、カメラ、車線検出センサー、及び音響センサーの任意の組合せを含むことがある。他の種類のセンサーが同様に可能である。

第１、第２、及び第３のセンサー・ユニット２０２は車両２００における特定の場所に搭載されて図示されているが、或る例においてはおいて、このセンサー・ユニット２０２は、車両２００の内側又は外側の何れかで、車両２００の何処か他の場所に搭載されることがある。更に、三つのみのセンサー・ユニットが図示されているが、或る例においては、より多いか少ないセンサー・ユニットが車両２００に含まれることがある。

或る例においては、第１、第２、及び第３のセンサー・ユニット２０２−２０６の一つ以上は、センサーを可動に装着し得る一つ以上の可動マウントを含むことがある。この可動マウントは、例えば、回転プラットホームを含むことがある。回転プラットホームに装着されたセンサーは回転することができるので、このセンサーは車両２００の周りの各々の方向から情報を獲得し得る。代替的に又は追加的に、可動マウントは、傾斜プラットホームを含むことがある。この傾斜プラットホームに装着されたセンサーは角度及び／又は方位角の特定の範囲内で傾斜できるので、様々な角度からの情報を獲得し得る。可動マウントは同様に他の形態を採ることがある。

更に、或る例においてはおいて、第１、第２、及び第３センサー・ユニット２０２−２０６の一つ以上は、センサー及び／又は可動マウントを動かすことによってセンサー・ユニットにおけるセンサーの位置及び／又は方位を調節するように構成された一つ以上のアクチュエータを含むことがある。例示的アクチュエータは、モーター、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、及び圧電アクチュエータを含む。他のアクチュエータが同様に可能である。

無線通信システム２０８は、直接に、又は、図１の中の無線通信システム１５２に関して上述した通信ネットワークを介して、一つ以上の他の車両、センサー、又は他の実体へ無線で接続するように構成された任意のシステムとされることがある。無線通信システム２０８は車両２００の屋根に位置するように図示されているが、他の例においては、無線通信システム２０８は、完全に又は部分的に何処か他の場所に位置することができる。

カメラ２１０は、車両２００が位置する環境の画像を撮るように構成された任意のカメラ（例えば、スチルカメラ、ビデオ・カメラなど）とされることがある。このためには、このカメラ２１０は図１におけるカメラ１３４に関して上述した形態の何れかを採ることがある。このカメラ２１０は車両２００のフロントガラスの内側に装着して図示されているが、他の例においては、このカメラ２１０は、車両２００の内側又は外側の何れかで、車両２００の何処か他の場所に装着されることがある。

車両２００は、図示されたものに加えて又はそれらに代えて、一つ以上の他の構成要素を含むことがある。更なる構成要素は、電気的又は機械的機能を含むことがある。

車両２００の制御システムは、複数の可能な制御計画のうちからの一つの制御計画に従って車両２００を制御するように構成されることがある。この制御システムは、車両２００に（車両２００上に又は車両２００から離れて）結合したセンサーから情報を受信して、情報に基づいて制御計画（及び関連した駆動挙動）を修正して、この修正された制御計画に従って車両２００を制御するように構成されることがある。この制御システムは、センサーから受信された情報を監視して、走行条件を連続的に評価するように更に構成されることがあり、走行条件の変化に基づいて制御計画及び駆動挙動を修正するように構成されることがある。

図３は、レーザー点クラウドを用いる物体検出のための例示手方法３００のフローチャートである。この方法３００は、一つ以上のブロック３０２−３１０により例示されるように、一つ以上の操作、機能、又は行為を含むことがある。複数のブロックは連続した順序で例示されているが、これらのブロックは或る例においては、並行に、及び／又はここに説明されたものとは異なる順序で実行されることがある。また、様々なブロックは、より少ないブロックへ組み合わされ、更なるブロックへ分割され、及び／又は望ましい実施に基づいて除去されることがある。

更に、ここに開示された方法３００並びに他の処理及び方法については、フローチャートは本実施形態の一つの可能な実施の機能及び操作を示す。これに関連して、各々のブロックはプログラム・コードのモジュール、区画、又は一部を表すことがあり、これは処理における特定の論理的機能又はステップを実施するためにプロセッサにより実行可能な一つ以上の指令を含む。このプログラム・コードは、コンピュータ可読媒体又はメモリの任意の種類、例えば、ディスク又はハード・ドライブを含む記憶デバイスなどに記憶されることがある。このコンピュータ可読媒体は、非一時的なコンピュータ可読媒体を含むことがあり、これは例えば、レジスターメモリ、プロセッサ・キャッシュ及びランダム・アクセス・メモリ（ＲＡＭ）のように短期間に亘ってデータを記憶するコンピュータ可読媒体である。このコンピュータ・デバイス可読媒体は、非一時的媒体又はメモリ、例えば二次的又は持続的長期間ストレージも含むことがあり、これは例えば、読み出し専用メモリ（ＲＯＭ）、光学的又は磁気ディスク、コンパクト−ディスク読み出し専用メモリ（ＣＤ―ＲＯＭ）などである。このコンピュータ可読媒体は、任意の他の揮発性又は不揮発性記憶システムであることもある。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、実体的な記憶デバイス、又は他の製造物と考えられることがある。

非一時的なコンピュータ可読媒体は複数のデータ記憶要素に分散させることもでき、それらは互いから離隔して位置することができる。記憶された指令の一部又は全てを実行するコンピュータ・デバイス又はシステムは、車両、例えば図２に図解された例示的車両２００とすることができる。或いは、記憶された指令の一部又は全てを実行するコンピュータ・デバイス又はシステムは、他のコンピュータ・デバイス又はシステム、例えばサーバーとすることができる。

更に、ここに開示された方法３００並びに他の処理及び方法のためには、図３における各々のブロックは、処理における特定の論理的機能を実行するために配線された回路を表すことがある。

例示方法、例えば図３の方法３００は、車両とそのサブシステムによって全部又は一部を実行されることがある。従って、例示的方法は、ここでは車両により実施される例として説明することができる。この車両は、例えば、自律型か、部分的に自律型か、又はユーザーによって完全に制御されることがある。しかしながら、例示的方法は車両の他のコンピュータ・デバイスにより又は車両とは個別に全部又は一部を実施されることがあることを理解されたい。例えば、例示的方法は全部又は一部をサーバー・システムにより実施されることがあり、それは車両に関連したものなどのデバイスからデータを受信する。或る例示的実施例においては、この方法はロボット・デバイス又は他の種類のコンピュータ・デバイスにより同様に実行されることがある。例示的方法を実施できるコンピュータ・デバイスの他の例又は複数のコンピュータ・デバイスの組合せが可能である。

ブロック３０２において、この方法３００は、コンピュータ・デバイスにおいて、車両の環境を示すレーザー・データを受信することを含むことがある。例示的車両又はロボット・デバイスは、周囲の環境についての測量を捉えるように構成された一つ又は複数のセンサーにより与えられた情報を用いて機能することがある。特に、操作車両又はロボット・デバイスのコンピュータ・デバイスは、様々なセンサーからのセンサー・データを受信して、制御計画の決定及び実行のためを含む操作の間に使用するためにデータを処理することがある。

図１-２に示すように、例示的車両は、車両の近傍の物体に対応するレーザー・データを捉えるように近傍の環境の掃引を実行するように構成されたＬＩＤＡＲモジュールを含む様々なセンサーを含むことがある。そのＬＩＤＡＲモジュールは、車両のコンピュータ・デバイスに環境に関する情報をレーザー・データ点の形態で捕捉して与えることがあり、それは点クラウドの形態でコンピュータ・デバイスに到達することがある。ＬＩＤＡＲモジュールの種類に依存して、コンピュータ・デバイスは、例えば、構造化又は非構造化点クラウド内に構成された多くのレーザー・データ点を受信することがある。例えば、コンピュータ・デバイスは構造化点クラウドにおけるレーザー・データを受信することがあり、各々のデータ点又は複数のデータ点の複数のセットは局所的環境における物体に基づいて配置される。非構造化点クラウドは、データ点の如何なる特定の配列を伴うことなく無作為に受信されたデータ点を含むことがある。

更にまた、点クラウドの範囲内のレーザー・データ点は、格子状フォーマットを含む構造を有することがあるか、格子状のフォーマットが欠如している点クラウドでコンピュータ・デバイスに到達することがある。

他の例示的実施形態において、車両のコンピュータ・デバイスは、他のセンサーからデータ、例えばＲＧＢ−デプス・カメラからの画像を受信することがある。コンピュータ・デバイスは、ＬＩＤＡＲを用いて与えられるデータ点に加えて、他のセンサーからデータを受信することがある。コンピュータ・デバイスは、複数のセンサー、例えばＬＩＤＡＲ及びカメラから受信された情報を結合させることがある。

ブロック３０４において、この方法３００は、複数のレーザー・データ点に基づいて、車両に関する環境における一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元距離画像を生成することを含むことがある。車両のコンピュータ・デバイスがＬＩＤＡＲ及び／又は他のセンサーからデータを受信するにつれて、コンピュータ・デバイスは受信データに基づいて２Ｄ距離画像を生成することがある。このコンピュータ・デバイスは、２Ｄ距離画像を発現させる野に先立ってセンサーから全ての３Ｄ点クラウドを完全に受信することを待機することがあるか、３Ｄ点クラウドを完全に受信するのに先立って２Ｄ距離画像の決定を進めることがある。例えば、このコンピュータ・デバイスは、レーザー・データがセンサーから受信されるにつれて、２Ｄ距離画像の部分を発現させることがある。このコンピュータ・デバイスは、到来するレーザー・データ（これは例えば距離画像のピクセル内の物体と車両との間の距離を示すことがある）に基づいて二次元距離画像を生成することがある。

一つの例示的実施形態において、車両のコンピュータ・デバイスは、非構造化３Ｄ点クラウドでＬＩＤＡＲからレーザー・データを受信することがある。コンピュータ・デバイスは、データ点を車両を囲んでいる概念上の円筒形２Ｄ面へ投影することによって、データ点を構築することがある。特に、コンピュータ・デバイスは、環境並びに３Ｄレーザー・データ点における物体に対するセンサーの既知の位置を用いて、それらの点を車両の環境を反映する概念上の円筒形２Ｄ面に適宜な順序で投影することがある。その結果、コンピュータ・デバイスは、初期３Ｄレーザー・データ点の範囲内でデータを反映している距離画像を形成している各々のピクセルの値を有するレーザー・データ点を用いて３６０度のパノラマとして存在する画像を発現させることがある。或る場合には、２Ｄ距離画像は一つ又は複数のギャップを含むことがあり、それは、割り当てられた値を伴わないピクセルからなることがある。更にまた、コンピュータ・デバイスは、レーザー・データ、例えば１８０度画像又は他のフォーマットを用いて他の画像を発現させることがある。例示的実施例においては、コンピュータ・デバイスは複数の２Ｄ距離画像を発現させることがあるか、又は、センサーから受信されたデータを示す３Ｄフォーマット構造を決定することがある。

概念上の円筒形２Ｄ面へレーザー・データを構成することは、コンピュータ・デバイスにレーザー・データを２Ｄ距離画像（これは車両の環境を正確に反映し得る）の範囲内のピクセルへ位置させることを可能にすることがある。異なるピクセルは、車両に対する物体の位置に関する情報を含む環境に関する情報を与えることがある。パノラマにおける各々のピクセルの値は、センサー・データで受信された初期点に対応することがある。２Ｄ距離画像内の幾つかのピクセルには値が割り当てられないことがあり、それは２Ｄ距離画像全体にギャップを生じさせることがある。他の例示的実施例においては、コンピュータ・デバイスは分析のためにセンサー・データを他の構成にフォーマット化することがある。

他の例においては、コンピュータ・デバイスは、構造化フォーマット、例えば構造化３Ｄ点クラウドで、レーザー・データを受信することがある。コンピュータ・デバイスは、このレーザー・データを利用して、このデータを２Ｄ概念上画像へ投影することがあり、これは２Ｄフォーマットでレーザー・データ点に包含された情報を反映することがある。例えば、２Ｄ距離画像は、他の物体及び車両に対する環境における物体の位置を示す情報を含むことがある。

或る場合には、コンピュータ・デバイスは二次元画像における一つ又は複数の勾配を判定して、統合画像を用いて２Ｄ距離画像の一つ又は複数の勾配を平滑化することがある。例えば、コンピュータ・デバイスは事前計算の依存性のために縮小アルゴリズムを用いることがある。コンピュータ・デバイスは、格子の長方形のサブセット、例えば２Ｄ距離画像内の幾つかのピクセルで値の合計を迅速かつ効率的に生成することがある。

コンピュータ・デバイスは、複数のセンサーから得られた及び／又は連続的走査で受信されたセンサー・データを用いて、分析のために２Ｄ距離画像を生成することがある。例えば、車両のコンピュータ・デバイスは、ＬＩＤＡＲユニットから局所的環境における同じ領域を示すレーザー・データの複数のセットを受信することがある。コンピュータ・デバイスは、レーザー・データの複数の走査及び複数のセットを用いて２Ｄ距離画像を発現させることがある。レーザー・データの複数のセットは、例えば、最初の走査において誤って受信された領域を確認又は修正することがある。

ブロック３０６において、この方法３００は、生成された二次元距離画像を修正して、レーザー・データが欠如している環境における一つ以上の物体の一つ以上の部分をマップする複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与えることを含むことがある。既に示したように、コンピュータ・デバイスは、一つ又は複数のセンサーにより与えられたデータ点を用いて２Ｄ距離画像を生成することがある。２Ｄ距離画像の発現は、データ点のデータを含んでいる値によるピクセルと、値（例えば、画像におけるギャップ）を含まないことがある幾つかのピクセルとからなる２Ｄ距離画像をもたらすことがある。２Ｄ距離画像内の値を失っているそれぞれのピクセルについて、コンピュータ・デバイスは、近隣ピクセルを利用可能な状況にある空きピクセルに近接若しくは隣に位置した近傍の近隣ピクセルを用いて、それらの位置及び／又は値を近似させることがある。

２Ｄ画像内で値が欠如しているピクセルに値を割り当てるために、コンピュータ・デバイスは一つ又は複数の処理を実行することがある。例えば、コンピュータ・デバイスは２Ｄ距離画像を修正して、２Ｄ距離画像における空きピクセル値を包含するギャップに近位に位置するそれぞれの近隣ピクセルの平均値に基づいてギャップを充填することがある。或る例においては、コンピュータ・デバイスは、対をなす近隣ピクセルを用いて、値を伴わないギャップにおけるピクセルの値を決定することがある。例えば、コンピュータ・デバイスは、値を伴わない空きピクセルよりも上方のピクセルと下方のピクセルとの平均値を用いて、この空きピクセルについての値を決定することがある。同様に、コンピュータ・デバイスは、ギャップにおける空きピクセルの左右のピクセルを用いて、ギャップにおける空きピクセルへ割り当てる平均値を決定することがある。他の例においては、コンピュータ・デバイスは、他の組み合わせで更なるピクセルを用いて、２Ｄ距離画像におけるギャップ内の空きピクセルについての値を決定することがある。

ブロック３０８において、この方法３００は、修正された二次元距離画像に基づいて、環境における一つ以上の物体のそれぞれの表面に対応する複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを決定することを含むことがある。コンピュータ・デバイスは物体認識目的のために環境における同じ表面に対応するピクセルの法線ベクトルを計算することがあり、これは車両を自律型ナビゲーションで支援することがある。

物体認識を改善して安全なナビゲーションを確実にするために、コンピュータ・デバイスは、２Ｄ距離画像が発現されて処理されるにつれて、実時間で２Ｄ距離画像において描写されたものとしての表面の法線ベクトルを決定することがある。そのように、コンピュータ・デバイスは、比較的に少ないＣＰＵサイクルで効率的に点クラウドに受信されたレーザー・データの範囲内で法線ベクトルを決定するように構成されることがあり、決定された法線を最小の待ち時間で車両の様々なシステムへ与えることがある。

一つの例示的実施形態においては、コンピュータ・デバイスは、画像を横切って下降する勾配を計算して、統合された画像を用いて勾配を平滑化することにより、ピクセルのセットの法線ベクトルを決定することがある。その結果、コンピュータ・デバイスは、勾配の規格化された外積を計算して、ピクセルのセットで示されるように、様々な表面の法線ベクトルを導くことがある。例えば、コンピュータ・デバイスは、ピクセルの一つのセットの中心において局所面に正接する二つのベクトルを計算することがある。この二つの接ベクトルから、コンピュータ・デバイスは外積を用いて法線ベクトルを計算することがある。例えば、コンピュータ・デバイスは、左と右との近隣ピクセルの間で、及び、上方と下方との近隣ピクセルの間で、面法線を計算することがある。

或る場合には、コンピュータ・デバイスは、ピクセルの特定の近隣内の平均ベクトルを計算することによって、接ベクトルを平滑化することがある。例えば、コンピュータ・デバイスは、統合された画像を用いてピクセルのセット内の勾配又は接ベクトルを平滑化することがあり、これは接ベクトルの二つのマップ（即ち、一方は水平方向であり、一方は垂直方向である）を形成することに関係することがある。次いで、コンピュータ・デバイスは、２Ｄ距離画像内の対応するピクセルの間の、又は、点クラウドの対応する３Ｄ点内のマップについてのベクトルを計算することがある。コンピュータ・デバイスは、統合画像を計算して平均接ベクトルを計算し、面法線を計算することがある。

或る例においては、コンピュータ・デバイスは、同じ点クラウドからのセンサー・データの受信を完了するに先立って、２Ｄ距離画像におけるピクセルにより描写されたものとして、異なる表面の法線ベクトルを決定することがある。コンピュータ・デバイスは、例えば、センサー・データをセンサーから受信されてそのままで直ちに処理を始めるように構成されることがある。他の例においては、コンピュータ・デバイスは、データを処理して表面の法線ベクトルを決定するのに先立って、センサーから環境の領域の全ての点クラウドを受信することを待つことがある。

例示的実施例として、車両のコンピュータ・デバイスは、局所的な幾何学的な特徴、例えば点形態の面法線又は曲率を用いて、車両の環境を示す情報を判定することがある。このコンピュータ・デバイスは、面を点の局所的近隣、例えば近隣の点へ適合させることによって、一つの点（例えば、ピクセル）又は複数の点のセット（例えば、ピクセルのセット）に対する法線ベクトルを決定することがある。或る場合には、コンピュータ・デバイスは、最も近い近隣処理を用いるか、又はピクセルから半径距離内のピクセルを選択することにより、ピクセルの面法線を計算するために用いる２Ｄ距離画像の近隣ピクセルを決定することがある。コンピュータ・デバイスが、面法線を決定するピクセルの特定のセットに着目したとき、コンピュータ・デバイスは、例えば、ピクセルのセットの共分散行列の固有ベクトルを解析することによって、局所的面法線を推定することがある。

面法線を決定するのに用いられるピクセルのセットの寸法は、例内で変動することがある。例えば、コンピュータ・デバイスは、大き過ぎるピクセルのセットを選択することを控えることがあり、これは、多数のピクセルは、環境構造を正確な面法線の決定のためにはあまりに平滑化しすぎて現わす場合があるためである。コンピュータ・デバイスが、面法線のために解析する一つのセット内のピクセルの少な過ぎるピクセルしか選択しない場合には、推定された法線は受信されたセンサー・データにおけるノイズにより影響を受けることがある。このコンピュータ・デバイスは、面法線を推定するために着目された特定のピクセルを通じて、局所面に対するピクセルのセット内のピクセルの距離を計算することによって、負の影響を補正することがある。コンピュータ・デバイスは、共分散計算においてピクセルのセットにおけるピクセルに重みを付ける繰り延べに、この距離を用いることがある。その結果、コンピュータ・デバイスは局所面構造をより良物体認識情報を近似させ、表面の隅及び縁をより正確に描くことがある。

他の例示的実施形態においては、車両のコンピュータ・デバイスは、固定ピクセル近傍を用いて面法線情報を抽出することがある。例えば、コンピュータ・デバイスは、固定ピクセル近傍を用いて、表面の或る最大範囲の外側の予め計算された近傍を更に引くことがある。このように、コンピュータ・デバイスは、計算的に費用がかかる近傍検索を伴うこと無くピクセルの面法線を決定することがある。

或る例示的実施例においては、このコンピュータ・デバイスは、局所的画像座標フレームにおける面法線を計算することがあるか、又は、両方のデカルト座標をピクセル情報並びに局所的法線に基づいて車両の基準座標フレームへ変換することがある。このコンピュータ・デバイスは、例えば、面法線を処理するために、局所的面法線の球面座標も用いることがある。コンピュータ・デバイスは面分割を更に実行することがあり、これは、車両の環境における表面を決定するために類似した面法線を有する面を集めることに関係することがある。

ブロック３１０において、この方法３００は、ピクセルの一つ以上のセットの複数の法線ベクトルに基づいて、環境における一つ以上の物体を示す物体認識情報を車両の一つ以上のシステムへ与えることを含むことがある。例えば、車両のシステムは、物体認識及び／又は物体回避のために、法線ベクトルを含む情報を用いることがある。

一つの例示的実施例では、車両のコンピュータ・デバイスは、物体認識情報を車両の制御システムへ与えることがある。この制御システムは、受信した情報に基づいて、ステアリング、スロットル、ブレーキ、ナビゲーション／経路付けシステム、又は障害物体回避システムを調節することがある。例えば、この制御システムは、コンピュータ・デバイスにより与えられた情報に基づいて車両の経路を調節することがある。

他の例示的実施例においては、ロボット・デバイスのコンピュータ・デバイスは、物体認識情報を用いて、部屋内の又は障害物回避のために特定の物体を認識することがある。例えば、コンピュータ・デバイスは、ベクトル法線並びに面法線を用いる区画を用いて、環境における物体を認識及び衝突を回避することがある。

一つの例示的実施形態においては、車両のコンピュータ・デバイスは、ＬＩＤＡＲから構造化点クラウドを受信することがある。このコンピュータ・デバイスは、同様に他のセンサーから更なるセンサー・データを受信することがある。センサー・データが到着すると、コンピュータ・デバイスはデータ点を徐々に投影して、２Ｄ距離画像を確立することがある。このコンピュータ・デバイスが２Ｄ距離画像内の長方形パッチを満たすためにＬＩＤＡＲ又は他のセンサーから充分なデータ点を蓄積するとき、このコンピュータ・デバイスはちょうどその長方形パッチのための法線を計算するように処理することがある。そのように、コンピュータ・デバイスは、到来するデータ点を処理して、一般に３Ｄ点クラウドの完全な受信のためのバッファリング又は待機を伴うことなく、環境における表面についての法線ベクトルを決定することがある。これは計算待ち時間を低減し、並びにコンピュータ・デバイスに到来センサー・データをより迅速に処理することを可能にさせる。

他の例示的実施形態においては、車両のコンピュータ・デバイスは、特定のフォーマット又は順序でＬＩＤＡＲからレーザー・データ点を受信することがある。例えば、コンピュータ・デバイスは環境に対する左右からレーザー・データ点を受信することがあり、レーザー・データ点を真直な垂直線の代わりにギザギザの線として受信することもある。このコンピュータ・デバイスはギザギザの線に基づいてフォーマットを予測するように構成されることがあり、線のギザギザの程度によって決定される一定の量だけて最新のデータより遅れることによって、決定された２Ｄ距離画像から上から下への垂直パッチを用いることがある。

或る例示的実施形態においては、車両のコンピュータ・デバイスは、ＬＩＤＡＲ及び／又は他のセンサーからレーザー・データ点を受信することがあり、充分なデータ点が２Ｄ距離画像のより大きな長方形を発現すために受信されるまでデータの処理を待機することがある。そのように、コンピュータ・デバイスは、車両の環境内の表面に対応する２Ｄ距離画像における表面の法線ベクトル情報を抽出するためにアルゴリズムが実行されるとき、コンピュータ・デバイスは並列性の利点を採ることがある。他の例においては、コンピュータ・デバイスは、ＬＩＤＡＲにより与えられた同じ３Ｄ点クラウド内の全てのレーザー・データ点の受信を完了するのに先立って、２Ｄ距離画像の長方形内のレーザー・データ点を処理することがある。

更に他の例示的実施形態においては、車両のコンピュータ・デバイスは、環境における障害を検出するために面区画及び球面座標のみならず、計算された面法線を用いことがある。このコンピュータ・デバイスは、点をこの点が属している決定された面へ投影することにより、レーザー・データにおけるノイズと、誤差とを補償することがある。更に、コンピュータ・デバイスは、他の処理を用いて、検出された面において、局所的表面を修正することがある。このコンピュータ・デバイスは、獲得したレーザー・データにおける面を分割して分類することがある。

更なる例示的実施形態において、車両のコンピュータ・デバイスは、センサー・データを受信して、点クラウド（構造化又は非構造化）を投影して、距離画像を形成することがある。このコンピュータ・デバイスは、完全な点クラウドを受信するに先立って、点クラウドの点を投影することがある。その結果、コンピュータ・デバイスは２Ｄ距離画像から秩序付けられた３Ｄ点画像を構築することがある。次いで、このコンピュータ・デバイスは、３Ｄ点画像を交差して下降する勾配を計算して、この勾配の統合画像を更に計算することがある。更に、このコンピュータ・デバイスは統合画像から平滑化された勾配を再構築することがあり、統合画像から平滑化された勾配をまた再構築することがある。或る場合には、コンピュータ・デバイスは、平滑化された勾配の外積を計算することがあり、この外積を規格化して反転して、面法線を導くことがある。

図４は、二次元距離画像の一部におけるピクセルを図解する例示的図である。この２Ｄ距離画像４００の一部は、正方形に配列された九つのピクセル４０２-４０８を示すが、他の例ではより多いか少ないピクセルを含むことがある。車両のコンピュータ・デバイスは、ナビゲーションの間、ピクセル４０２−４０８を含む２Ｄ距離画像を発現させて、これを用いて車両の周囲の環境の物体認識情報を抽出することがあり、これはピクセルのセットに基づいて環境における特定の表面の法線ベクトルを決定することを含むことがある。

例示的図において、中心ピクセル４０２は、環境を示す受信したレーザー・データを用いて車両のコンピュータ・デバイスにより測定された２Ｄ距離画像内の可能なギャップを示す空きピクセルを表し得る。上述のように、車両のコンピュータ・デバイスは、レーザー・データを用いて、センサーにより捕捉されたような環境を示すデータ（例えば点クラウド・フォーマットで受信されたレーザー・データ）に基づくピクセルからなる２Ｄ距離画像を投影して決定することがある。コンピュータ・デバイスにより発現された２Ｄ距離画像は一つ又は複数のギャップを含むことがあり、これは点クラウドにおいて受信されたデータ点には対応せず、従って値を有さないことがあるピクセルを包囲することがある。

或る例示的実施形態においては、２Ｄ距離画像におけるギャップ（例えば図４に示される中心ピクセル４０２）を充填するために、コンピュータ・デバイスは、中心ピクセル４０２に近位に位置する近隣ピクセルの値を用いて、中心ピクセル４０２へ与える値を決定することがある。この操作により、コンピュータ・デバイスは２Ｄ距離画像内のギャップを充填することがあり、このように、車両の環境における表面に対応し得るピクセルのセットの法線ベクトルを決定することに用いられるより完全な２Ｄ距離画像を生成することがある。

一つの例として、車両のコンピュータ・デバイスは、中心ピクセル４０２の左右側に位置した近隣ピクセル４０４を用いて中心ピクセル４０２についての値を決定することがある。例えば、コンピュータ・デバイスは、中心ピクセル４０２の左右に位置した近隣ピクセル４０４の平均値を計算して、この平均値を中心ピクセル４０２に割り当てることがある。或る場合には、コンピュータ・デバイスは、中心ピクセル４０２の側方における更なるピクセルを用いて、同様に中心ピクセル４０２についての平均を計算することがある。

同様に、他の例においては、コンピュータ・デバイスは、中心ピクセル４０２の上方及び下方に位置した近隣ピクセル４０６を用いて、２Ｄ画像内のギャップを充填するために、中心ピクセル４０２へ割り当てるのが可能な値を決定することがある。コンピュータ・デバイスは、より多いか少ないピクセルを用いて、空きピクセル（例えば中心ピクセル４０２）についての値を同様に決定することがある。

他の例示的実施形態においては、コンピュータ・デバイスは全ての隅ピクセル（例えばピクセル４０８）を用いて値を決定することがある。同様に、コンピュータ・デバイスは、中心ピクセル４０２の近傍の全てのピクセル４０４-４０８を用いて、中心ピクセル４０２に割り当てる平均値を計算することがある。他の例においては、コンピュータ・デバイスはピクセルの他の組合せを用いて中心ピクセル４０２についての値を決定することがあり、これはより多いか少ないピクセルを含むことがある。

図５Ａ−５Ｄは、生成された点クラウドを用いてナビゲートされる例示的車両の概念的説明の異なる図を示す。既に示したように、車両は、車両の周囲の環境について測量を抽出するセンサー（例えばＬＩＤＡＲ）を用いてナビゲートされることがある。図５Ａ-５Ｄに示すように、車両のコンピュータ・デバイスは、到来する情報を処理して障害物を回避して安全なナビゲーションを確実にすることがある。或る例においては、車両のコンピュータ・デバイスは、データ点がセンサーから受信されるにつれて、２Ｄ距離画像の部分を発現させることがある。同様に、コンピュータ・デバイスは、データ点を投影して、図５Ａ―５Ｄに図解された３６０度パノラマの部分のような車両の環境に対応する仮想２Ｄ画像の全３６０度のパノラマを発現させることがある。

図５Ａは、前方視からの例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された仮想二次元距離画像の部分を図解する。例示的車両５０２がナビゲートされると、車両５０２のセンサーは環境を示すデータを捕捉して、車両のコンピュータ・デバイスへ与えることがある。既に述べたように、センサーからのデータ（例えばＬＩＤＡＲを用いるレーザー・データ）が受信されると、コンピュータ・デバイスはデータを投影して、局所的環境における物体及び他の表面に対応するデータに基づくピクセルを含む概念的２Ｄ距離画像５０４を決定することがある。このコンピュータ・デバイスは、例えば、点クラウドの一部を受信すると、２Ｄ距離画像５０４の部分の発現を始めることがある。

他の例においては、コンピュータ・デバイスは、２Ｄ距離画像５０４を決定するのに先立って、ＬＩＤＡＲを用いて受信された全ての点クラウドを待つことがある。車両がナビゲートを続けるにつれて、コンピュータ・デバイスはセンサーから新たなデータ（例えばデータの新たな点クラウド）の受信を続けることがあり、これはコンピュータ・デバイスが用いて、その２Ｄ距離画像５０４を更新するか、又は処理及び物体検出のために変化する環境に対応する新たな２Ｄ画像を生成することがある。更にまた、コンピュータ・デバイスは、２Ｄ距離画像５０４又はこの２Ｄ距離画像の部分を用いて、環境における同じ表面に対応するピクセルのセットの面法線を計算することがあり、これはコンピュータ・デバイスに分割と共に用いて、障害物回避及びナビゲーションのために用いられ得る環境の仮想距離を再現することがある。２Ｄ距離画像は、例えば、２Ｄ仮想距離フォーマットにおける車両の環境を反映するピクセルを含むことがある。

図５Ｂは側面視からの例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の更なる部分を図解する。車両５０２のコンピュータ・デバイスは、車両が移動の経路をナビゲートされるにつれて、到来するセンサーに基づいて、その２Ｄ距離画像５０４を連続的に更新するか、新たな２Ｄ距離画像を発現させることがある。図５Ｂに図解される例示的説明は、図５Ａに示される例示的説明の他の観点を表すか、又は、異なる時間（例えば図５Ａに示される時間の前又は後）における例示的車両を図解し得る。

図５Ｃは後方視からの例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の部分を図解する。図５Ａ−５Ｂと同様に、図５Ｃにおける例示的図解は２Ｄ距離画像の一部を示し、これは例示的車両５０２が、物体認識目的のためのみならず、周囲環境における一つ又は複数の表面の法線ベクトルを計算するために用いることがある。

図５Ｄは他の後方視からの例示的車両を示すと共に、センサー・データを用いて例示的車両のコンピュータ・デバイスにより生成された二次元距離画像の部分を図解する。図５Ｃに示された図解と同様に、図５Ｄは車両５０２の後方からの視点からの例示的車両５０２を示すと共に、車両の周りに位置した概念的２Ｄ距離画像５０４の部分も含む。この例示的説明は、図５Ｃに示される２Ｄ距離画像の部分に対する２Ｄ距離画像５０４の区画における変化を示す。

図６は、ピクセルのセットの法線ベクトル計算を図解する例図である。この例図は、ピクセルのセット６０２を示し、これは車両のコンピュータ・デバイスによるレーザー・データから決定された２Ｄ距離画像の一部を表し得る六つのピクセルからなる。この例図は６ピクセルを含むピクセルのセット６０２を示しているが、他の例はより多いか少ないピクセルを含むことがある。この例図においては、ピクセルのセット６０２は車両の局所的環境における表面を表すことがある。例えば、ピクセルのセット６０２は、物体、例えば車両、標識、境界線、又は表面の他の種類の表面を表すことがある。コンピュータ・デバイスは、様々な処理、例えばコンピュータ・デバイスが用いるように構成された予め規定された数に基づくピクセルの近傍を選択することを用いて、ピクセルのセット６０２を決定することがある。このコンピュータ・デバイスは、同様にピクセルのセットについて面法線を抽出するために何れのピクセルとどれくらいのピクセルを用いるかを決定する他の方法若しくは処理を用いることがある。

車両のコンピュータ・デバイスは、セットに関連した面法線６０８を計算するために接ベクトル６０４-６０６を決定することによって、ピクセルのセット６０２を処理することがある。例図に示すように、コンピュータ・デバイスは、直角を形成するように接続する水平ベクトル６０４と垂直ベクトル６０６とを決定することがある。このコンピュータ・デバイスは、他の例において面法線を計算するために他のベクトルを決定することがある。

接ベクトル６０４-６０６を決定すると、車両のコンピュータ・デバイスは表面法線ベクトル６０８を計算することがあり、これは接ベクトル６０４-６０６の外積を用いて計算し得る。ピクセルのセット６０２の面法線を決定する他の例も同様に存在し得る。そのように、コンピュータ・デバイスは物体検出のためにピクセルのセット６０２及び法線ベクトル６０８を用いることがある。コンピュータ・デバイスは、ピクセルのセット６０２に関連した法線ベクトル並びにピクセルの他のセットの表面法線及び／又は他のデータを車両のシステムへナビゲーションの間に用いるように与えることがある。更に、コンピュータ・デバイスは分割も用いてピクセルのセットを組み合わせて、面法線及び受信されたセンサー・データ内の他の情報に基づいて環境をマップすることがある。

図７は、ここに提示された少なくとも幾つかの実施形態のように配置されたコンピュータ・デバイスにおいてコンピュータ処理を実行するためのコンピュータ・プログラムを含む例示的コンピュータ・プログラム製品の概念的部分図を図解する概略図である。

一つの実施形態においては、この例示的コンピュータ・プログラム製品７００は、信号伝搬媒体７０２を用いるように与えられている。この信号伝搬媒体７０２は一つ以上のプログラミング指令７０４を含むことがあり、これは、一つ以上のプロセッサにより実行されるときに、図１−３及び図４Ａ−４Ｄに関して上述した機能又は部分的機能を与えることがある。或る例においては、信号伝搬媒体７０２は、コンピュータ可読媒体７０６を包含することがあり、これは例えばハード・ディスク・ドライブ、コンパクト・ディスク（ＣＤ）、ディジタル・ビデオ・ディスク（ＤＶＤ）、デジタル・テープ、メモリなどであるが、これらに限定されるものではない。或る実施例においては、信号伝搬媒体７０２は、コンピュータ記録可能媒体７０８を包含することがあり、これは例えばメモリ、読込み／書込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどであるが、これらに限定されるものではない。或る実施例においては、信号伝搬媒体７０２は、通信媒体７１０を包含することがあり、これは例えばデジタル及び／又はアナログ通信媒体（例えば、光ファイバー・ケーブル、導波管、有線通信リンク、無線通信リンクなど）であるが、これに限定されるものではない。このように、例えば、信号伝搬媒体７０２は、通信媒体７１０の無線形態によって伝達されることがある。

この一つ以上のプログラミング指令７０４は、例えば、コンピュータ実行可能及び／又は論理実装指令とされることがある。或る例においては、コンピュータ・デバイス（例えば図1のプロセッサ１１２）は、コンピュータ可読媒体７０６、コンピュータ記録可能媒体７０８、及び／又は通信媒体７１０のうちの一つ以上によりプロセッサへ伝達されるプログラミング指令７０４に応じて様々な操作、機能、又は行為を与えるように構成されることがある。

非一時的なコンピュータ可読媒体は複数のデータ記憶要素の間に分配することもでき、それは相互に離隔して位置することができる。記憶された指令の一部若しくは全部を実行するコンピュータ・デバイスは、図１に図解されたデバイス１００のようなデバイスとすることができる。これに代えて、記憶された指令の一部若しくは全部を実行するコンピュータ・デバイスは、サーバーのような他のコンピュータ・デバイスとすることができる。

ここに説明された構成は例示目的のためだけであることを理解されたい。そのように、当業者は、他の構成及び他の要素（例えば機械、インターフェース、機能、順序、及び機能のグループ化）を代わりに使用することができると共に、或る要素は所望の結果によっては完全に省略されることがあることを理解するであろう。更に、説明された幾多の要素は、適宜な組み合わせにより及び場所において、個別に又は分散された構成要素として或いは他の構成要素に関連して実施されることがある機能的実体である。

様々な態様及び実施形態がここに開示されたが、他の態様及び実施形態は当業者にとっては明らかであろう。ここに開示された様々な態様及び実施形態は例示目的のためであって、限定を意図するものではなく、真の範囲は、以下の特許請求の範囲により、そのような特許請求の範囲に権利が与えられる均等物の全範囲と共に示される。ここに用いられた用語は特定の実施形態を説明する目的のためであって、限定を意図するものではないことも理解されたい。

幾多の修正例、変形例、変更例の詳細を説明された例になすことができるので、先の説明及び添付図面に示された全ての事項は例示として解釈すべきことが意図されており、限定的な趣旨ではない。

Claims (20)

1. コンピュータ・デバイスにおいて、車両の環境を示すレーザー・データを受信し、そのレーザー・データは前記環境における一つ以上の物体に関連した複数のデータ点を含み、
   前記複数のデータ点に基づいて、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元距離画像を生成し、
   前記生成された二次元距離画像を修正して、レーザー・データが欠如している前記環境における前記一つ以上の物体の一つ以上の部分をマップする前記複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与え、前記生成された二次元距離画像を修正して一つ以上の所定のピクセルにそれぞれの値を与えることは、前記二次元距離画像における前記複数のピクセルの前記一つ以上の所定のピクセルに対して近位に位置した前記複数のピクセルのそれぞれの近隣ピクセルに基づいており、
   前記修正された二次元距離画像に基づいて、前記環境における前記一つ以上の物体のそれぞれの表面に対応する前記複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを決定し、及び、
   前記ピクセルの一つ以上のセットの前記複数の法線ベクトルに基づいて、前記環境における前記一つ以上の物体を示す物体認識情報を、前記車両の一つ以上のシステムへ与えることを含む方法。
2. 請求項１の方法において、レーザー・データが欠如している前記環境における前記一つ以上の物体の前記一つ以上の部分をマップする前記複数のピクセルの前記一つ以上の所定のピクセルは、前記レーザー・データにおけるノイズを示す方法。
3. 請求項１の方法において、前記コンピュータ・デバイスにおいて前記車両の前記環境を示すレーザー・データを受信することは、
   前記環境における前記一つ以上の物体に関連した前記複数のデータ点を構造化データ点クラウドで受信することからなる方法。
4. 請求項１の方法において、前記コンピュータ・デバイスにおいて前記車両の前記環境を示すレーザー・データを受信することは、
   前記環境における前記一つ以上の物体に関連した前記複数のデータ点を非構造化データ点クラウドで受信することからなる方法。
5. 請求項１の方法において、前記コンピュータ・デバイスにおいて前記車両の前記環境を示すレーザー・データを受信することは、
   前記環境における前記一つ以上の物体に関連した前記複数のデータ点を格子状点クラウド以外の点クラウド・フォーマットで受信することからなる方法。
6. 請求項１の方法において、前記複数のデータ点に基づいて、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す前記複数のピクセルを含む前記二次元距離画像を生成することは、
   点クラウドの前記複数のデータ点の第１の部分を受信すると、前記二次元距離画像の少なくとも初期部分を生成することを含む方法。
7. 請求項１の方法において、前記生成された二次元距離画像を修正して前記一つ以上の所定のピクセルにそれぞれの値を与えることは、前記二次元距離画像における前記複数のピクセルの前記一つ以上の所定のピクセルの近位に位置した前記複数のピクセルの前記それぞれの近隣ピクセルの平均値に更に基づく方法。
8. 請求項７の方法において、前記生成された二次元距離画像を修正して前記一つ以上の所定のピクセルにそれぞれの値を与えることが前記二次元距離画像における前記複数のピクセルの前記一つ以上の所定のピクセルの近位に位置した前記複数のピクセルの前記それぞれの近隣ピクセルの前記平均値に更に基づくことは、
   前記それぞれのピクセルの上下に位置したそれぞれの近隣ピクセル又は前記それぞれのピクセルの左右に位置した前記それぞれの近隣ピクセルを用いて、前記平均値を推定することを更に含む方法。
9. 請求項１の方法において、前記修正された二次元距離画像に基づいて、前記環境における前記一つ以上の物体のそれぞれの表面に対応する前記複数のピクセルにおけるピクセルの一つ以上のセットの前記複数の法線ベクトルを決定することは、
   前記修正された二次元距離画像における一つ以上の勾配を推定し、
   統合画像処理を用いて、前記修正された二次元距離画像における前記一つ以上の勾配を平滑化し、前記統合画像処理は、前記一つ以上の勾配におけるピクセルのそれぞれの合計に基づいて平均接ベクトルの一つ以上のセットを決定することからなり、
   前記平均接ベクトルの一つ以上のセットを用いて、前記一つ以上の平滑化された勾配の外積を決定し、
   前記一つ以上の平滑化された勾配の前記一つ以上の外積に基づいて、前記ピクセルの一つ以上のセットの前記複数の法線ベクトルを決定することを含む方法。
10. 請求項１の方法において、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す前記複数のピクセルを含む前記二次元距離画像を生成することは、
    前記複数のデータ点を前記車両を包囲する概念的円筒形二次元表面へ投影して前記二次元距離画像を生成し、前記複数のデータ点を前記概念的円筒形二次元表面へ投影することは、前記二次元表面におけるピクセルを前記複数のデータ点に関連したデータに基づいて位置させることを含む方法。
11. 請求項１の方法において、前記生成された二次元距離画像は、前記車両の前記環境を示す仮想３６０度パノラマである方法。
12. 請求項１の方法において、前記二次元距離画像における前記一つ以上の空きピクセル以外の前記複数のピクセルは、前記環境における前記一つ以上の物体に関連した前記複数のデータ点に対応する方法。
13. システムであって、
    少なくとも一つのプロセッサ、及び、
    記憶された指令を有するメモリとを備え、その指令は前記少なくとも一つのプロセッサにより実行されるときに、前記システムに機能を実行させ、その機能は、
    車両の環境を示すレーザー・データを受信し、そのレーザー・データは前記環境における一つ以上の物体に関連した複数のデータ点を含み、
    前記複数のデータ点に基づいて、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元距離画像を生成し、
    前記生成された二次元距離画像を修正して、レーザー・データが欠如した前記環境における前記一つ以上の物体の一つ以上の部分をマップする前記複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与え、前記生成された二次元距離画像を修正して前記一つ以上の所定のピクセルにそれぞれの値を与えることは、前記二次元距離画像における前記複数のピクセルのそれぞれの近隣ピクセルに基づいており、
    前記修正された二次元距離画像に基づいて、前記環境における前記一つ以上の物体のそれぞれの表面に対応する前記複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを決定し、及び、
    前記ピクセルの一つ以上のセットの前記複数の法線ベクトルに基づいて、前記環境における前記一つ以上の物体を示す物体認識情報を前記車両の一つ以上のシステムへ与えることを含むシステム。
14. 請求項１３のシステムにおいて、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む前記二次元距離画像を生成することは、前記車両のデプス・カメラ・システムにより与えられたデータに更に基づくシステム。
15. 請求項１３のシステムにおいて、前記環境における前記一つ以上の物体のそれぞれの表面に対応する前記複数のピクセルにおけるピクセルの一つ以上のセットの前記複数の法線ベクトルを決定する機能は、
    固定ピクセル近傍処理を用いて前記ピクセルの一つ以上のセットを決定することを含み、その固定ピクセル近傍処理は、
    前記環境における前記一つ以上の物体のそれぞれの表面に対応する中心ピクセルを決定し、及び、
    前記中心ピクセルに対する前記複数のピクセルにおける所定のピクセルのそれぞれの距離に基づいて、前記ピクセルの一つ以上のセットのピクセルのそれぞれのセットについての前記中心ピクセルを含む予め規定された数のピクセルを選択することを含むシステム。
16. 請求項１３のシステムにおいて、前記レーザー・データは前記車両のＬＩＤＡＲモジュールにより与えられるシステム。
17. 請求項１３のシステムにおいて、
    前記ピクセルの一つ以上のセットの前記複数の法線ベクトルに基づいて、面分割処理を実行して前記ピクセルの一つ以上のセットを接続し、及び、
    前記面分割処理の実行に基づいて、前記環境を示す仮想描写を前記車両の前記一つ以上のシステムへ与えることを更に含むシステム。
18. 記憶された指令を有する非一時的コンピュータ可読媒体であり、その指令はコンピュータ・デバイスにより実行されるときに、前記コンピュータ・デバイスに機能を実行させ、その機能は、
    車両の環境を示すレーザー・データを受信し、そのレーザー・データは前記環境における一つ以上の物体に関連した複数のデータ点を含み、
    前記複数のデータ点に基づいて、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す複数のピクセルを含む二次元距離画像を生成し、
    前記生成された二次元距離画像を修正して、レーザー・データが欠如した前記環境における前記一つ以上の物体の一つ以上の部分をマップする前記複数のピクセルの一つ以上の所定のピクセルにそれぞれの値を与え、前記生成された二次元距離画像を修正して前記一つ以上の所定のピクセルにそれぞれの値を与えることは、前記二次元距離画像における前記複数のピクセルのそれぞれの近隣ピクセルに基づいており、
    前記修正された二次元距離画像に基づいて、前記環境における前記一つ以上の物体のそれぞれの表面に対応する前記複数のピクセルにおけるピクセルの一つ以上のセットの複数の法線ベクトルを決定し、及び、
    前記ピクセルの一つ以上のセットの前記複数の法線ベクトルに基づいて、前記環境における前記一つ以上の物体を示す物体認識情報を前記車両の一つ以上のシステムへ与えることを含む非一時的コンピュータ可読媒体。
19. 請求項１８の非一時的コンピュータ可読媒体において、前記車両に対する前記環境における前記一つ以上の物体のそれぞれの位置を示す前記複数のピクセルを含む二次元距離画像を生成する機能は、
    前記複数のデータ点の一つ以上のサブセットを受信すると、前記二次元距離画像のそれぞれの部分を生成し、前記複数のデータ点の前記一つ以上のサブセットは点クラウドに対応することを含む非一時的コンピュータ可読媒体。
20. 請求項１８の非一時的コンピュータ可読媒体において、
    前記ピクセルの一つ以上のセットの前記複数の法線ベクトルに基づいて、面分割処理を実行して前記環境の仮想マップにおける前記ピクセルの一つ以上のセットを接続し、及び、
    前記環境の前記仮想マップに基づいて、前記車両を制御する制御計画を決定することを更に含む非一時的コンピュータ可読媒体。

Images