JP2019109219A - ダイクロイックミラーを使用する、自律走行車のための３ｄ−ｌｉｄａｒシステム - Google Patents

Abstract

【課題】自律走行車のための三次元光検出及び測距装置の提供。【解決手段】ターゲット４０７に関連する物理的な範囲を検知するように光束を発射する光源４０１。ターゲット４０７から反射された光束の少なくとも一部を受光する光検出器４０３とカメラ４０９。ターゲット４０７と光検出器４０３の間に位置し、ターゲット４０７から反射された光束を光検出器４０３に案内して第１の画像を生成し、ターゲット４０７から反射された可視光を第１のカメラ４０９に案内して第２の画像を生成するように配置されるダイクロイックミラー４０５。光検出器４０３とカメラ４０９に接続し、第１の画像と第２の画像を組み合わせて、三次元画像を生成する画像処理ロジック４１０。【選択図】図３

Description

本発明は、概ねに自律走行車を操作することに関し、さらに具体的に、本発明は、自律走行車を操作するための光検出及び測距（ＬＩＤＡＲ）装置に関する。

自動運転モード（例えば、無人）で運転されている車両は、運転関連の職務から乗員、特に運転手を解放することができる。自動運転モードで運転する時に、車両は、車載センサを使用してさまざまな場所にナビゲートすることができ、これによって、最低限の人間とのやり取りの場合に、或いは、乗客が一切いない場合に、車両を走行させることができる。

ＬＩＤＡＲ技術は、軍事、地理学、海洋学で広く使用され、過去１０年間に自律型車両で広く使用されてきた。他の理由を考えずに、自律車でのＬＩＤＡＲ応用は、高いコストで妨げられている。ＬＩＤＡＲ装置は、対象までの距離を推定することができ、また、シーンを走査し通して、物体の反射面を表す点群を収集する。点群の各点は、レーザパルスを発射し、対象から反射され戻ってきたパルスが検出されること（もしあれば）、及び発射されたパルスと受信された反射パルスとの間の時間遅延に基づいて対象までの距離を確定することにより確定する。１つまたは複数のレーザがシーン内で迅速かつ繰り返しスキャンして、シーン内の反射対象までの距離に関する連続的なリアルタイム情報を提供することができる。

電動式回転スピナー（ｍｏｔｏｒｉｚｅｄ ｒｏｔａｔｉｎｇ ｓｐｉｎｎｅｒ）を有する従来の機械式ＬＩＤＡＲ装置は、３６０度の水平視野を有するが、カメラはより小さい水平視野を有する。ＬＩＤＡＲ装置をカメラの視野と同期させるには、さらなる計算能力が必要である。また、ＬＩＤＡＲの回転速度が時々ずれると、画像の同期が不一致になってしまう可能性がある。

本発明の１つの態様によると、ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、第１のカメラと、前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するようにさらに配置されている、ダイクロイックミラーと、前記光検出器と前記第１のカメラに接続し、前記第１の画像と前記第２の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成する画像処理ロジックと、を含む、自律走行車のための三次元光検出及び測距装置を提供する。

本発明のもう１つの態様によると、ターゲットに関連する物理的な範囲を検知するように光源により光束を発射するステップと、前記ターゲットと光検出器の間に位置するダイクロイックミラーにより、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するステップと、前記ダイクロイックミラーにより、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するステップと、前記第１の画像と前記第２の画像に基づいて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成するステップと、含む、自律走行車の三次元光検出及び測距装置を操作するための機械実施方法を提供する。

本発明のもう１つの態様によると、自律走行車であって、ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、第１のカメラと、前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するようにさらに配置されているダイクロイックミラーと、を含む光検出及び測距装置と、前記光検出器と前記第１のカメラに接続し、前記第１の画像と前記第２の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成する画像処理ロジックと、前記光検出及び測距装置と前記画像処理ロジックに接続して、前記自律走行車周辺の走行環境を感知し、また、前記走行環境をナビゲートし通過するように前記自律走行車を制御する感知及び計画システムと、を含む自律走行車を提供する。

本願の実施形態は、図面の各図において限定的ではなく例示的な形態で示され、図面における同じ図面符号は類似する素子を示す。

図１は、１つの実施形態に係るネットワークシステムを示すブロック図である。 図２は、１つの実施形態に係る自律走行車の一例を示すブロック図である。 図３は、１つの実施形態に係る自律走行車とともに使用されるＬＩＤＡＲシステムの一例を示す図である。 図４は、もう１つの実施形態に係る自律走行車とともに使用されるＬＩＤＡＲシステムの一例を示す図である。 図５は、１つの実施形態に係るＬＩＤＡＲ画像とカメラ画像のための直接マッピングを示す図である。 図６は、１つの実施形態に係るＬＩＤＡＲ画像とカメラ画像のための間接マッピングを示す図である。 図７は、１つの実施形態に係るＬＩＤＡＲシステムを操作する過程を示すフロー図である。 図８は、１つの実施形態によるデータ処理システムを示すブロック図である。

本発明の様々な実施形態および態様を、以下に説明する詳細を参照して説明する。図面は、前記様々な実施形態を示す。以下の説明および図面は、本発明を説明するものであり、本発明を限定するものと解釈すべきではない。複数の具体的な詳細が、本発明の様々な実施形態の包括的な理解を提供するために記載される。しかし、ある場合に、本発明の実施形態の簡潔な議論を提供するために、周知または従来の詳細は記載されていない。

本明細書における「１つの実施形態」または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれ得ることを意味する。フレーズ「１つの実施形態において」が本明細書の様々な箇所での現れは、必ずしも同じ実施形態を指すものではない。

いくつかの実施形態によると、三次元（３Ｄ）ＬＩＤＡＲシステムは、ターゲットに関連する物理的な範囲を検知するように光束を発射する光源（例えば、レーザ）を含む。前記システムは、第１のカメラと光検出器（例えば、フラッシュＬＩＤＡＲユニット）を含む。前記光検出器は、ターゲットから反射された光束の少なくとも一部を受光する。前記システムは、ターゲットと光検出器の間に位置するダイクロイックミラーを含む。前記ダイクロイックミラーは、ターゲットから反射された光束を光検出器に案内して第１の画像を生成するように配置され、ターゲットから反射された可視光を第１のカメラに案内して第２の画像を生成するように配置されている。可視光は、人間に見え、通常のカメラで捕捉できる光であるが、ＬＩＤＡＲセンサによって収集された光束は、通常、人間に見えず、カメラで捕捉することもできない。前記システムは、画像処理ロジックを含む。前記画像処理ロジックは、光検出器と第１のカメラに接続し、第１の画像と第２の画像を組み合わせて、画像同期を行わなくて三次元画像を生成する。第１の画像は、ＬＩＤＡＲセンサとターゲットとの間の距離を表す距離情報（例えば、垂直次元）を含むことができる。第２の画像は、ターゲットに関連する色情報（例えば、二次元の水平次元）を含むことができる。第１画像と第２の画像とを組み合わせることにより、組み合わせた画像は距離と色の両方の情報を含み、これらが前記ターゲットを三次元で一緒に記述する。

１つの実施形態において、３Ｄ画像は、第１の画像における１つ又は複数の画素を第２の画像における１つ又は複数の画素に直接的にマッピングして生成されるものであり、第１の画像の画素密度カウントは、第２の画像の画素密度カウントと異なる。もう１つの実施形態において、三次元画像は、第２の画像に意味分割アルゴリズムを応用し、第２の画像で感知された対象を分類することと、感知された対象に基づいて、第１の画像の１つ又は複数の画素を第２の画像の１つ又は複数の画素に間接にマッピングすることと、により生成される。

１つの実施形態において、システムは、ターゲットとダイクロイックミラーの間に位置し、光検出器で感知された視野を拡大または縮小するズームレンズをさらに含む。１つの実施形態において、３Ｄ-ＬＩＤＡＲシステムは、ターゲットとダイクロイックミラーの間に位置し、第１の画像の画素密度カウントを増大する走査部をさらに含む。１つの実施形態において、３Ｄ-ＬＩＤＡＲシステムは、ステレオカメラペアを形成するように第１のカメラに対して位置決めし、第２の画像との視差を感知するための第３画像を生成する第２のカメラをさらに含む。もう１つの実施形態において、前記視差は、第２の画像と第３画像にステレオ分割アルゴリズムを応用することによって感知される。

図１は、本発明の１つの実施形態に係る自律走行車ネットワーク配置を示すブロック図である。図１を参考し、ネットワーク配置１００は、ネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、複数の自律走行車をネットワーク１０２によって互いに接続し、及び／又はサーバ１０３〜１０４に接続することができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネットのような広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のある点（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。

自律走行車とは、運転者からの入力が非常に少ない又はない場合に案内されて環境を通過する自律走行モードに設置される車両である。自律走行車は、車両が走行している環境にかかる情報を検出するように配置される１つまたは複数のセンサを含むセンサシステムを備える。車両及びその関連しているコントローラが、検出された情報を用いて案内して環境を通過する。自律走行車１０１が手動モード、完全自律走行モードまたは部分自律走行モードで運転されることができる。

一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、センサシステム１１５とを含むが、これらに限定されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又はコマンド（例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等）を使用して制御されることができる。

構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における多重化された電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境（状況）にも用いられる。

図２を参照すると、１つの実施形態において、センサシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、光検出及び測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳユニットシステム２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を検知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を検知するシステムを示すことができる。いくつかの実施形態において、対象を検知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は走行方向を検知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自律走行車の位置する環境における対象を検知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ光源、レーザスキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。

センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリング（転向）センサ、スロットルセンサ、ブレーキ（制動）センサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音を取得するように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を検知するように配置されてもよい。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。

１つの実施形態において、車両制御システム１１１は、ステアリング（転向）ユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）、ブレーキ（制動）ユニット２０３を含むが、これに限定されない。ステアリングユニット２０１は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキ（制動）ユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。図２に示される構成要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施されてもよいことに留意されたい。

図１を再び参照すると、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つ以上の装置に直接的に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えば、ＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）等を使用して装置（例えば、乗客の移動装置、車両１０１内の表示装置、スピーカー）に直接的に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロホン、及びスピーカー等を含む。

自律走行車１０１の一部又は全ての機能は、特に自律走行モードで走行する場合、感知及び計画システム１１０により制御されたり管理されたりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）、及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして、計画及び制御情報に基づいて車両１０１を走行させる。代替的に、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。

例えば、乗客であるユーザは、例えばユーザインターフェースによって行程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は、行程に関連するデータを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及び経路情報を取得することができ、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつ、ＭＰＯＩサーバは、マップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることができる。

自律走行車１０１が経路に沿って走行する期間に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。なお、サーバ１０３〜１０４は、第三者のエンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、指定された目的地に安全で効果的に到達するように、最適な経路を計画し、かつ計画された経路により、例えば車両制御システム１１１を介して車両１０１を走行させることができる。

サーバ１０３は、データ分析システムでもよく、さまざまな顧客のためにデータ分析サービスを実行する。１つの実施形態において、データ分析システム１０３は、データコレクタ１２１と機械学習エンジン１２２を含む。データコレクタ１２１は、様々な車両（自律走行車或いは、人間の運転手によって運転される従来の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行された運転コマンド（例えば、スロットル、ブレーキ、ステアリングコマンド）、及び車両センサによって異なる時点で収集された車両の応答（例えば、速度、加速、減速、方向）に関する情報を含む。運転統計データ１２３は、例えば、ルート（出発地と目的地の位置を含む）、ＭＰＯＩ、道路状況、天気状況などの、異なる時点における走行環境を記述する情報をさらに含むことができる。

運転統計データ１２３に基づいて、機械学習エンジン１２２は、さまざまな目的のために、ルール、アルゴリズム、および／または予測モデル１２４のセットを実行または訓練する。アルゴリズム／モデル１２４は、特定の車両または特定のタイプの車両のために特別に設計または配置することができる。その後、アルゴリズム／モデル１２４は、関連するＡＤＶにロードし、ＡＤＶをリアルタイムで運転することができる。アルゴリズム／モデル１２４は、経路を計画し確定すること、及び、様々な運転シーンまたは状況の下でＡＤＶを制御するために使用することができる。例えば、アルゴリズム／モデル１２４は、カメラユニットによって感知されたＲＧＢ（赤、緑、および青）画像についての対象を検出する意味分割アルゴリズムを含む。アルゴリズム／モデル１２４は、光検出器とカメラで生成した画像を組合せる、及び、同期させるアルゴリズムをさらに含むことができる。

図３は、１つの実施形態に係る自律走行車とともに使用されるＬＩＤＡＲシステムの一例を示す図である。ＬＩＤＡＲ装置４００は、図２のＬＩＤＡＲユニット２１５および／またはカメラ２１１の一部として実施することができる。ＬＩＤＡＲ装置４００は、対象を検知し自律走行車の目標環境の画像を採集するように、ＬＩＤＡＲユニットとカメラとを含む。図３を参考し、１つの実施形態において、ＬＩＤＡＲ装置４００は、光源４０１（例えば、レーザ）と、ＬＩＤＡＲセンサ４０３（例えば、光検出器）と、ダイクロイックフィルタ４０５（例えば、ダイクロイックミラー）と、選択可能なアパーチャ４０６と、カメラ４０９及び画像処理ロジック４１０を含む。光源４０１は、レーザビームを生成し、アパーチャ４０６を通してターゲット４０７まで到達するようにレーザビームを案内する。

ダイクロイックフィルタ、薄膜フィルタ、または干渉フィルタは、他の色を反射しながら小さな範囲の色の光を選択的に通過させる非常に精密なカラーフィルタである。これと比べると、ダイクロイックミラーとダイクロイック反射器は、それらを介して通過させる光の色ではなく、それらに反射された光の色によって特徴付けられる傾向がある。ダイクロイックフィルタは、白色光源からの光をフィルタリングして、人間が高飽和（強い）色として感知する光を生成する。ダイクロイック反射器は、通常に、光源の後ろで使用され、可視光を前方に反射するとともに、固定装置の後ろで目に見えない赤外線（放射熱）が消えるようにすることによって、実際により冷たい（より低い温度）光束を生成する。この構成は、所定の光がその前方強度を著しく増大させる一方で、固定装置の背面部分によって発生した熱を逃がすことを可能にする。

再び図３を参照すると、ダイクロイックフィルタ４０５は、ターゲット４０７から反射された光束をＬＩＤＡＲセンサ４０３に案内して（通過させて）第１の画像を生成する。さらに、ダイクロイックフィルタ４０５は、可視光をカメラ４０９に案内して（または反射する）第２の画像を生成する。反射された光束と可視光の両方がアパーチャ４０６を通過するので、カメラ４０９はＬＩＤＡＲセンサ４０３と同じ視野を共有する。よって、第１の画像および第２の画像の視野は、最小の画像同期し、または画像同期を必要としない。１つの実施形態において、ＬＩＤＡＲセンサ４０３およびカメラ４０９は、互いに対して固定位置に取り付けられる。よって、ＬＩＤＡＲセンサ４０３およびカメラ４０９によって採集された画像は、（例えば、既知のまたは固定の関係で）自動的に同期される。

もう１つの実施形態において、画像処理ロジック４１０は、ＬＩＤＡＲセンサ４０３とカメラ４０９に接続し、カメラおよびＬＩＤＡＲセンサの同期された出力（例えば、第１の画像および第２の画像）に基づいて３Ｄ画像を生成する。なお、ダイクロイックフィルタ（またはダイクロイックミラー）が、波長を関数とする光を透過および反射することによって、光をスペクトル的に分離することができる。例えば、約８００ナノメータ（ｎｍ）のカットオフ波長を有するダイクロイックミラー４０５は、約８５０ｎｍより高い周波数帯域を有する光を通過させ（例えば、光源４０１によって生成された９０５ｎｍのレーザビームが当該ダイクロイックミラーを通過する）、約７５０ｎｍ未満の周波数帯域を有する光を反射する（例えば、約４００ｎｍ〜７００ｎｍの波長を有する可視光を反射する）ように設計することができる。

１つの実施形態において、光源４０１とＬＩＤＡＲセンサ４０３は、集積ユニットでもよく、例えば、フラッシュＬＩＤＡＲユニットである。もう１つの実施形態において、画像処理ロジック４１０は、ＬＩＤＡＲ装置４００の外部にある。例えば、図２のセンサシステム１１５は、カメラ４０９とＬＩＤＡＲセンサ４０３の出力に基づいて３Ｄ画像を生成する画像処理ロジック４１０を含むことができる。或いは、画像処理ロジック４１０は、感知及び計画システム１１０のソフトウェアモジュール及び／又はハードウェアモジュールとして実施してもよい。１つの実施形態において、選択的に、ＬＩＤＡＲ装置４００は、ダイクロイックフィルタ４０５とターゲット４０７の間に位置し、ＬＩＤＡＲセンサの視野を拡大または縮小するズームレンズを含む。もう１つの実施形態において、１つ又は複数ダイクロイックフィルタ或ダイクロイックミラーは、１つ又は複数の光束（例えば、９０５ｎｍの光束と１５５０ｎｍの光束等）を１つ又は複数ＬＩＤＡＲセンサに案内することに使用してもよい。例えば、第１のダイクロイックフィルタは、第１の波長を有する第１の光束を第１のＬＩＤＡＲセンサに案内することができ、第２のダイクロイックフィルタは、第２の波長を有する第２の光束を第２のＬＩＤＡＲセンサに案内することができる。異なる波長のレーザまたは光束は、水および大気ダスト粒子に対して異なる感度係数を有する。よって、複数のセンサの設置は、ＬＩＤＡＲ装置４００の信頼性を向上させることができる。

もう１つの実施形態において、選択的に、ダイクロイックフィルタ４０５とターゲット４０７の間に、ＬＩＤＡＲ装置の視野を調節するための走査部を加えてもよい。走査部は、ＬＩＤＡＲセンサ４０３にデータをインターリーブで検知させることができ、ＬＩＤＡＲ装置の解像度（固有の制限）を増大することができる。例えば、８×３２画素の出力解像度を有するフラッシュＬＩＤＡＲユニットは、解像度或いは画素計数を１６×３２画素に増大するようにデータをインターリーブすることができる。１つの実施形態において、ダイクロイックフィルタの代わりにカスタムされたフィルタを採用することによって、ＬＩＤＡＲセンサ４０３和カメラ４０９の位置を調整又は交換することができる。当該フィルタは、例えば、赤外線または近赤外光（例えば、約９０５ｎｍ）を反射し、可視スペクトルにおける可視光を通過させるフィルタである。

１つの実施形態において、ＬＩＤＡＲ装置４００は、約４５〜６０度の視野を有するＬＩＤＡＲ装置（例えば、フラッシュＬＩＤＡＲ）を含む。３６０度の水平視野の場合に、ＡＤＶ（図１のＡＤＶ１０１など）は、ＡＤＶの外部を回って複数の（例えば、６つ以上の）ＬＩＤＡＲ装置を配置することができる。１つの実施形態において、ＬＩＤＡＲ装置４００は、反射された光束を走査して検知するための、微電子と機械システム（ＭＥＭＳ）による走査ＬＩＤＡＲ（例えば、ＭＥＭＳミラーを有するＬＩＤＡＲ）を含む。

図４は、もう１つの実施形態に係る自律走行車とともに使用されるＬＩＤＡＲシステムの一例を示す図である。図４を参考し、ＬＩＤＡＲ装置５００は、図３のＬＩＤＡＲ装置４００と類似している。ＬＩＤＡＲ装置５００は、ダイクロイックフィルタ５０５を含む。前記ダイクロイックフィルタ５０５は、約９０５ｎｍの光を反射し可視光を通過させるように設計することによって、ＬＩＤＡＲセンサ４０３とカメラ４０９の位置を交換することができる。なお、ＬＩＤＡＲ装置５００は、アパーチャ５０１とカメラ５０３を含む。カメラ５０３は、アパーチャ５０１を通過する可視光から第３の画像を取得し、カメラ４０９およびカメラ５０３がベースライン距離だけ離れたステレオペアを形成することができるようにする。カメラ４０９とカメラ５０３は、例えばベースライン距離だけ離れている。視差情報（例えば、ステレオ画像間の何れの不一致）に基づいて、カメラ４０９とカメラ５０３により採集されたステレオ画像にステレオ対象分割アルゴリズムを応用して、ステレオ深さ画像（例えば、ＬＩＤＡＲセンサで生成した画像と似ている１Ｄ距離深さ画像）を確定することができる。ステレオ深さ画像は、ＬＩＤＡＲセンサ４０３によって検出された距離深さ画像を補充することができる。１つの実施形態において、各画素又はそれに対応する画素に対して、画像処理ロジック４１０は、ステレオ画像、ステレオ深さ画像、及びＬＩＤＡＲ深さ画像に最低値関数を応用することができる。もう１つの実施形態において、各画素又はそれに対応する画素に対して、画像処理ロジックは、ステレオ画像、ステレオ深さ画像、及びＬＩＤＡＲ深さ画像に平均関数を応用することができる。

図５は、１つの実施形態に係るＬＩＤＡＲ画像とカメラ画像のための直接マッピングを示す図である。ＬＩＤＡＲ画像は、通常、カメラで採集される画像の解像度より低い解像度を有する。例えば、ＬＩＤＡＲ画像は８×１６画素の画素計数を有することができ、カメラで採集されるＲＧＢ画像は１９２０×１０８０画素を有することができる。ＬＩＤＡＲ画像の各画素は、ターゲットとＬＩＤＡＲセンサとの間の距離深さを示すデータを含む。ＲＧＢ画像の各画素は、ターゲットのＲＧＢ値を表すデータを含む。１つの実施形態において、図３の画像処理ロジック４１０は、ＬＩＤＡＲ画像をＲＧＢ画像にマッピングして、３Ｄ画像を生成する。前記３Ｄ画像は、例えば、深さ情報を備える第３の次元を有するＲＧＢ二次元画像である。例えば、生成された３Ｄ画像は、４つのチャネル（例えば、Ｒ、Ｇ、Ｂ、および深さ）を含むことができる。図５を参照すると、説明の便宜上、画像６０１は３×３画素のＬＩＤＡＲ画像であり、ＲＧＢ画像６０３は９×９画素である。説明の便宜上、対象６１０を画像６０１乃至画像６０３に施す。この例において、画像６０１は、深さＤ２の画素６０５を１つ有し、残りの画素は、深さＤ１を有する。Ｄ１画像深さおよびＤ２画像深さは、背景およびＬＩＤＡＲセンサ検知対象６１０をそれぞれ表すことができる。１つの実施形態において、ＬＩＤＡＲ画像はより低い解像度を有するため、画像６０１の画素のそれぞれが画像６０３の１つ以上の画素に直接マッピングされる。この例に示すように、深さＤ２の画素６０５は、画像６０３の３×３画素６０７上にマッピングされる。画像６０１の残りの画素は深度Ｄ１を有し、画像６０３上の対応する画素にマッピングされる。即ち、９つの画素６０７のそれぞれは、画素６０５と同じ深さを有することになる。直接マッピング技術を使用すると、計算負荷の需要は最小であるが、感知された深さ情報はピクセル化になる可能性がある。即ち、対象６１０の深さマッピング情報は、対象６１０上の輪郭で正確ではない。

図６は、１つの実施形態に係るＬＩＤＡＲ画像とカメラ画像のための間接マッピングを示す図である。１つの実施形態において、画像処理ロジック４１０は、意味分割アルゴリズムを使用して、ＬＩＤＡＲ画像６０１をＲＧＢ画像７０３にマッピングする。説明の便宜上、３×３画素の画像６０１を９×９画素の画素計数（画素カウント）を有する画像７０３にマッピングする。ここで、画像７０３には、まず、例えば深さ学習アルゴリズムの意味分割アルゴリズム（図１のアルゴリズム／モデル１２４の一部として）が応用されて、ＲＧＢ画像７０３で感知された対象を検出する。この例において、画像処理ロジックは、画像７０３に基づいて、対象６１０を検出する。画像処理ロジックは、検出された情報（例えば、対象６１０）に基づいて、画像６０１を画像７０３にマッピングする。直接マッピングの代わりに、深さＤ２で対象６１０の輪郭を追跡する。よって、意味分割によって生成された３Ｄ画像で感知された深さ情報を使用することによって、マッピング精度を増大した。

いくつかの実施形態において、ＬＩＤＡＲ画像は、ステレオカメラの設置（例えば、それぞれ相対的に位置決めされた二つのカメラ）によって生成されたステレオＲＧＢ画像にマッピングされる。このシーンにおいて、画像処理ロジック（画像処理ロジック４１０など）は、まず、ステレオＲＧＢ画像にステレオ分割アルゴリズム（図１のアルゴリズム／モデル１２４の一部）を応用して、ステレオ深さ画像（例えば、ＬＩＤＡＲ画像と似ている１Ｄ距離深さ画像）を生成することができる。１Ｄ距離深さ画像は、ＲＧＢ画像と合併して、ＲＧＢ−深さ画像を形成することができる。ＲＧＢ−深さ画像は、四つのチャネル（例えば、三つの原色（Ｒ、ＧおよびＢ）チャネル、及びステレオ分割アルゴリズムで生成する、距離深さを有する第４のチャネル）を含むことができる。

ここで、ステレオ深さ情報（例えば、距離深さチャネル）は、ＬＩＤＡＲ画像の解像度（例えば、図６の画像６０１の例示画像における９個画素計数など）より高い解像度（例えば、図６の画像７０３の例示画像における８１個画素計数など）を有するが、ＬＩＤＡＲ画像は、通常、高い精度を有する。１つの実施形態において、画素のそれぞれ又はその対応する画素に対して、画像処理ロジックは、ステレオ深さ画像とＬＩＤＡＲ深さ画像の最低値関数に基づいて、画像チャネルを生成することができる。もう１つの実施形態において、画素のそれぞれ又はその対応する画素に対して、画像処理ロジックは、ステレオ深さ画像とＬＩＤＡＲ深さ画像の平均関数に基づいて、画像チャネルを生成することができる。ＲＧＢ画像が２Ｄ色情報を含み、ＬＩＤＡＲ画像が距離情報又は深さ情報のみを含むため、ＲＧＢ情報と距離情報を組み合わせることによって、３Ｄ-ＬＩＤＡＲ画像を生成する。

図７は、１つの実施形態に係るＬＩＤＡＲシステムを操作する過程を示すフロー図である。過程８００は、処理ロジックで実行されることができる。前記処理ロジックは、ハードウェア、ソフトウェア、或いはその組合せを含むことができる。例えば、過程８００は、図３と図４に示す３Ｄ-ＬＩＤＡＲ装置で実行されることができる。図７を参考して、操作８０１において、光源は、ターゲットに関連する物理的な範囲を検知するように光束を生成し発射する。操作８０２において、ターゲットと光検出器の間に位置するダイクロイックミラーは、ターゲットから反射された光束を光検出器に案内して第１の画像を生成する。操作８０３において、ダイクロイックミラーは、ターゲットから反射された可視光を第１のカメラに案内して第２の画像を生成する。操作８０４において、処理ロジックは、第１の画像と第２の画像に基づいて、３Ｄ画像を生成する。

１つの実施形態において、３Ｄ画像は、第１の画像の１つ又は複数の画素を第２の画像の１つ又は複数の画素に直接的にマッピングして生成されるものであり、第１の画像の画素密度カウントは、第２の画像の画素密度カウントと異なる。１つの実施形態において、３Ｄ画像は、第２の画像に意味分割アルゴリズムを応用し、第２の画像で感知された対象を分類することと、感知された対象に基づいて、第１の画像の１つ又は複数の画素を第２の画像の１つ又は複数の画素に間接にマッピングすることと、により生成される。

１つの実施形態において、ターゲットとダイクロイックミラーの間に位置するズームレンズは、光検出器で感知された視野を拡大または縮小する。１つの実施形態において、ターゲットとダイクロイックミラーの間に位置する走査部は、第１の画像の画素密度カウントを増大する。１つの実施形態において、第１のカメラと第２のカメラでステレオカメラペアを形成し、処理ロジックは、第２の画像と第２のカメラで生成する第３画像との視差を感知する。もう１つの実施形態において、第２の画像と第３画像にステレオ分割アルゴリズムを応用することによって視差を感知する。

再び図１を参考し、１つの実施形態によると、感知及び計画システム１１０は、位置決めモジュールと、感知モジュールと、予測モジュールと、決定モジュールと、計画モジュールと、路線モジュール及び制御モジュール（示されていない）を含むが、これらに制限されない。位置決めモジュールは、自律走行車の現在位置（例えば、ＧＰＳユニット２１２を利用する）を確定し、ユーザの行程や路線に関する何れのデータを管理する。位置決めモジュール（地図と路線モジュールとも呼ばれる）は、ユーザの行程や路線に関する何れのデータを管理する。ユーザは、例えば、ユーザインターフェースを介して、行程の開始位置と目的地を指定することができる。位置決めモジュールは、自律走行車の他の部品（地図やルート情報など）と通信し、行程に関するデータを取得する。例えば、位置決めモジュール３０１は、位置サーバと、地図及びＰＯＩ（ＭＰＯＩ）サーバから位置及び路線情報を取得することができる。位置サーバが位置サービスを提供し、かつＭＰＯＩサーバが地図サービスと特定な位置のＰＯＩとを提供することにより、地図及びルート情報の一部としてキャッシュされてもよい。自律走行車が路線に沿って移動する場合に、位置決めモジュールは、交通情報システムやサーバからリアルタイム交通情報をさらに取得することができる。

センサシステム１１５により提供されたセンサデータ、及び位置決めモジュールにより得られた位置決め情報に基づいて、感知モジュールは、周辺環境に対する感知を確定する。感知情報は、普通の運転者が自分で運転している車両周辺から感知したもの（状況）を示すことができる。感知は、例えば対象形式で現される車線配置（例えば、ストレート又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建築物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲り標識）などを含んでもよい。

感知モジュールは、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含んでもよく、自律走行車環境における対象及び／又は特徴を認識するように、１つ以上のカメラによりキャプチャされた画像を処理及び分析することに用いられる。前記対象は、交通信号、車道の境界線、他の車両、歩行者及び／又は障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図をマッピングし、対象を追跡し、かつ対象の速度を推定することなどができる。感知モジュールは、その他のセンサ（レーダーユニット及び／又はＬＩＤＡＲユニットなど）により提供されたその他のセンサデータに基づいて対象を検出することもできる。

それぞれの対象に対して、予測モジュールは、対象が前記状況でどのように表現されるかを予測する。予測は、１組の地図／路線情報と交通規則を考慮した場合、当該時間点の走行環境を感知する感知データに基づいて実行される。例えば、対象が反対方向に走行する車両であって現在の走行環境が交差点を含む場合に、予測モジュールは、車両がまっすぐに移動するか、それとも回転するかを予測する。感知データが交差点に交通信号機がないと示す場合に、予測モジュールは、車両が交差点に入る前に完全に停止する必要があると予測する可能性がある。感知データが、車両が現在左カーブだけの車線か、右のカーブだけの車線にあると示す場合に、予測モジュールは、車両がより高い傾向で左回る又は右回ると予測する可能性がある。

それぞれの対象に対して、決定モジュールは、如何に対象を処理する決定をする。例えば、特定な対象（例えば、交差ルートにおける他の車両）及び対象を記述するメタデータ（例えば、速度、方向、ステアリング角）に対して、決定モジュールは、遇う対象に如何に対応する（例えば、追い越し、道譲り、停止、通過）ことを決定する。決定モジュールは、永続的記憶装置に記憶されてもよい１セットのルール（例えば運転／交通ルール）に基づきこのような決定をすることができる。

路線モジュールは、出発点から目的地までの１つまたは複数の路線または経路を提供するように配置される。開始位置から目的地までの与えられた行程に対して、例えば、ユーザから入力された所定の行程に対して、路線モジュールは、路線と地図情報を取得し、開始位置から目的地に到着するまでのすべての可能な路線または経路を確定する。路線モジュールは、各路線のために地形図での参照ラインを生成することができ、開始位置から目的地に到着するまでの路線を確定する。参考ラインとは、他の車両、障害物や交通状況のあらゆる干渉による影響を受けない理想路線や理想経路とのことである。即ち、道路上に他の車両、歩行者または障害物がない場合は、ＡＤＶは正確又はしっかりと参考線に従う。その後、地形図を決定モジュール及び／又は計画モジュールに提供する。他のモジュールによって提供される他のデータ（例えば、位置決めモジュールからの交通状況、感知モジュールから感知された走行環境、及び予測モジュールから予測された交通状況）を考慮し、決定モジュール及び／又は計画モジュールは、すべての可能なルートをチェックし、最適なルートの中の１つを選択して変更する。該時間点の特定の走行環境によって、ＡＤＶを制御するための実際の路線や経路は、路線モジュールから提供された参考ラインに接近する、或いは異なる可能性がある。

感知したそれぞれ対象に対する決定に基づいて、計画モジュールは、路線モジュールによって提供された参考ラインを使用してベースとして自律走行車のために路線又は経路及び運転パラメータ（例えば、距離、速度及び／又はステアリング角）を計画する。すなわち、所定対象に対して、決定モジュールは前記対象に対して如何に対応するかを決定し、計画モジュールは如何に実行するかを確定する。例えば、所定対象に対して、決定モジュールは、前記対象を追い越すことを決定することができ、計画モジュールは、前記対象の左側に追い越すか、右側に追い越すかを確定することができる。計画モジュールは、車両が次の移動周期（例えば、次のルート／経路セグメント）に如何に移動するかを記述する情報を含む計画及び制御データを生成する。例えば、計画及び制御データは車両が毎時間３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線まで変わることを指示することができる。

計画及び制御データに基づいて、制御モジュールは計画及び制御データにより定義されたルート又は経路に基づいて、車両制御システム１１１へ適切な命令又は信号を送信することによって自律走行車を制御及び運転する。前記ルート又は経路に沿って違う時間点で適時に適切な車両設置又は駆動パラメータ（例えば、スロットル、ブレーキ及びステアリング命令）を使用して車両を第１点から第２点まで運転するように、計画及び制御データは十分な情報を含む。

１つの実施形態において、計画段階は、複数の計画周期（指令周期ともいう）において実行され、例えば、各時間間隔が１００ミリ秒（ｍｓ）である周期で実行される。計画周期又は指令周期のそれぞれに対して、計画と制御データに基づいて１つまたは複数の制御コマンドを発信する。１００ｍｓごとに、計画モジュールは、目的地或いはＡＤＶの目的地までに要する時間を含む次の路線区間または経路区間を計画する。選択可能なのは、計画モジュールは、具体的な速度、方向、または回転角度なども規定することができる。１つの実施形態において、計画モジュールは、次の所定時間区間（５秒など）のために路線区間または経路区間を計画する。計画周期のそれぞれに対して、計画モジュールは、前の周期で計画した目標位置に基づいて現在の周期（例えば、次の５秒）の目標位置を計画する。その後、制御モジュールは、現在の周期の計画と制御データに基づいて１つまたは複数の制御コマンドを生成する（例えば、アクセル、ブレーキ、方向制御コマンド）。

なお、決定モジュール及び計画モジュールは、集積モジュールに一体化されてもよい。決定モジュール／計画モジュールは、自律走行車の運転経路を確定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、自律走行車が以下の経路に沿って移動することを実現するための一連の速度及びディレクショナ進行方向を確定することができ、前記経路は、自律走行車を総体的に最終目的位置を向けて通じる車線経路に進ませると同時に、基本的に感知された障害物を避けることができる。目的地はユーザインターフェースシステム１１３により実現されたユーザ入力に基づいて設置できる。ナビゲーションシステムは、自律走行車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車用の走行経路を確定するように、ＧＰＳシステム及び１つ以上の地図からのデータを合併することができる。

決定モジュール／計画モジュールは、自律走行車環境における潜在障害物を、認識・評価・回避又はその他の方式で迂回するために、衝突回避システム又は衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、以下の方式によって自律走行車のナビゲーションにおける変更を実現することができ、車両制御システム１１１の中の１つ以上のサブシステムを動作してターン操縦、ステアリング操縦、ブレーキ操縦等を採る。衝突回避システムは、周辺の交通モード、道路状況等に基づいて障害物を回避可能な操縦を自動的に確定することができる。衝突回避システムは、その他のセンサシステムは、自律走行車がターンして入ろうとする隣接領域における車両、建築障害物等を検出する際にターン操縦を採らないように配置できる。衝突回避システムは、使用可能でありかつ自律走行車の乗員の安全性を最大化させる操縦を自動的に選択することができる。衝突回避システムは、自律走行車の乗員室内で最小の加速度を出現させることが予測された回避操縦を選択することができる。

注意すべき点は、前記図示された構成要素の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせにより実現されることができる。たとえば、これらの構成要素は、本明細書全体に記載されたプロセスまたはステップを実行するために、プロセッサ（図示せず）によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。代案として、これらの構成要素は、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は、１つ以上の特定のコマンドを使用してソフトウェアコンポーネントによってアクセス可能なコマンドセットの一部であり、プロセッサまたはプロセッサコアの特定のハードウェアロジックとして実現することができる。

図８は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、前記プロセス又は方法のいずれか（例えば、図１のデータ処理システム１１０、及びサーバ１０３〜１０４のいずれか）を実行する前記任意のデータ処理システムを示してもよい。システム１５００は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板（例えば、コンピュータシステムのマザーボード又はアドインカード）に適用された他のモジュール、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されることができる。

さらに、なお、システム１５００がコンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセス点（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）のコマンドセットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。

１つの実施形態において、システム１５００は、バス又はインターコネクト１５１０によって接続されたプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑コマンドセット計算（ＣＩＳＣ）マイクロプロセッサ、縮小コマンドセットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長コマンド語（ＶＬＩＷ）マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。

プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサ及び／又はディスプレイ装置をさらに備えてもよい。

プロセッサ１５０１は、一実施形態で与えられた量のシステムメモリを提供するために、多数のメモリ装置を使用して実現することができるメモリ１５０３と通信することができる。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などの１つ以上の揮発性ストレージ（またはメモリ）装置または他のタイプのストレージ装置を含むことができる。メモリ１５０３は、プロセッサ１５０１または任意の他の装置によって実行されるコマンドのシーケンスを含む情報を記憶することができる。たとえば、さまざまなオペレーティングシステム、装置ドライバ、ファームウェア（例えば、入出力の基本システムまたはＢＩＯＳ）、および／またはアプリケーションの実行可能コードおよび／またはデータは、メモリ１５０３にロードされ、プロセッサ１５０１によって実行することができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム（ＲＯＳ）は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のウィンドウズ（登録商標）オペレーティングシステム、ＡｐｐｌｅのＭａｃＯＳ（登録商標）／ｉＯＳ（登録商標）は、Ｇｏｏｇｌｅ（登録商標）のＡｎｄｒｏｉｄ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、または他のリアルタイムまたは組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであることができる。

システム１５００は、Ｉ／Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６及び他の選択可能なＩ／Ｏ装置１５０７を備えてもよい。ネットワークインターフェース装置１５０５は、無線送受信機（無線ドランシーバ）及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。

入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と集積されてもよい）、ポインタ装置（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。

Ｉ／Ｏ装置１５０７は、音声装置を備えてもよい。音声装置は、スピーカー及び／又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩ／Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によってインターコネクト１５１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置又は設計により決められる。

データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）が、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュ装置は、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュ装置は、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。

ストレージ装置１５０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を実現する１つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック１５２８は、例えば、計画モジュール３０４及び／又は制御モジュール３０５のような前記構成要素のいずれかを示してもよい。処理モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００、メモリ１５０３及びプロセッサ１５０１により実行される期間に、メモリ１５０３内及び／又はプロセッサ１５０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ１５０３及びプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。

コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。

なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。

前記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。

ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。

本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。

前記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発性のコンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。

本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。

以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (21)

1. ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、
   前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、
   第１のカメラと、
   前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するようにさらに配置されている、ダイクロイックミラーと、
   前記光検出器と前記第１のカメラに接続し、前記第１の画像と前記第２の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成する画像処理ロジックと、を含む
   ことを特徴とする、自律走行車のための三次元光検出及び測距装置。
2. 前記三次元画像は、前記第１の画像における１つ又は複数の画素を前記第２の画像における１つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第１の画像の画素密度カウント（ｐｉｘｅｌ ｄｅｎｓｉｔｙ ｃｏｕｎｔ）は、前記第２の画像の画素密度カウントと異なる
   ことを特徴とする請求項１に記載の装置。
3. 前記三次元画像は、
   前記第２の画像に意味分割アルゴリズム（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を応用し、前記第２の画像で感知された対象を分類することと、
   感知された対象に基づいて、前記第１の画像の１つ又は複数の画素を前記第２の画像の１つ又は複数の画素に間接にマッピングすることと、により生成される
   ことを特徴とする請求項１に記載の装置。
4. 前記ターゲットと前記ダイクロイックミラーの間に位置し、前記光検出器で感知された視野を拡大または縮小するズームレンズをさらに含む
   ことを特徴とする請求項１に記載の装置。
5. 前記ターゲットと前記ダイクロイックミラーの間に位置し、前記第１の画像の画素密度カウントを増大する走査部をさらに含む
   ことを特徴とする請求項１に記載の装置。
6. ステレオカメラペアを形成するように前記第１のカメラに対して位置決めし、前記第２の画像との視差を感知するための第３画像を生成する第２のカメラをさらに含む
   ことを特徴とする請求項１に記載の装置。
7. 前記視差は、前記第２の画像と前記第３画像にステレオ分割アルゴリズム（ｓｔｅｒｅｏ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を応用することによって感知される
   ことを特徴とする請求項６に記載の装置。
8. ターゲットに関連する物理的な範囲を検知するように光源により光束を発射するステップと、
   前記ターゲットと光検出器の間に位置するダイクロイックミラーにより、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するステップと、
   前記ダイクロイックミラーにより、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するステップと、
   前記第１の画像と前記第２の画像に基づいて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成するステップと、
   含むことを特徴とする自律走行車の三次元光検出及び測距装置を操作するための機械実施方法。
9. 前記三次元画像は、前記第１の画像における１つ又は複数の画素を前記第２の画像における１つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第１の画像の画素密度カウントは、前記第２の画像の画素密度カウントと異なる
   ことを特徴とする請求項８に記載の方法。
10. 前記三次元画像は、
    前記第２の画像に意味分割アルゴリズムを応用し、前記第２の画像で感知された対象を分類することと、
    感知された対象に基づいて、前記第１の画像の１つ又は複数の画素を前記第２の画像の１つ又は複数の画素に間接にマッピングすることと、
    により生成される
    ことを特徴とする請求項８に記載の方法。
11. 前記ターゲットと前記ダイクロイックミラーの間に位置するズームレンズを介して、前記光検出器で感知された視野を拡大または縮小するステップをさらに含む
    ことを特徴とする請求項８に記載の方法。
12. 前記ターゲットと前記ダイクロイックミラーの間に位置する走査部を介して、前記第１の画像の画素密度カウントを増大するステップをさらに含む
    ことを特徴とする請求項８に記載の方法。
13. 前記第１のカメラと第２のカメラによりステレオカメラペアを形成し、前記第２の画像と前記第２のカメラにより生成された第３画像との視差を感知するステップをさらに含む
    ことを特徴とする請求項８に記載の方法。
14. 前記視差は、前記第２の画像と前記第３画像にステレオ分割アルゴリズムを応用することにより感知される
    ことを特徴とする請求項１３に記載の方法。
15. 自律走行車であって、
    ターゲットに関連する物理的な範囲を検知するように光束を発射する光源と、
    前記ターゲットから反射された前記光束の少なくとも一部を受光する光検出器と、
    第１のカメラと、
    前記ターゲットと前記光検出器の間に位置し、前記ターゲットから反射された前記光束を前記光検出器に案内して第１の画像を生成するように配置されているダイクロイックミラーであって、前記ターゲットから反射された可視光を前記第１のカメラに案内して第２の画像を生成するようにさらに配置されているダイクロイックミラーと、を含む光検出及び測距装置と、
    前記光検出器と前記第１のカメラに接続し、前記第１の画像と前記第２の画像を組み合わせて、前記自律走行車周辺の走行環境を感知するための三次元画像を生成する画像処理ロジックと、
    前記光検出及び測距装置と前記画像処理ロジックに接続して、前記自律走行車周辺の走行環境を感知し、また、前記走行環境をナビゲートし通過するように前記自律走行車を制御する感知及び計画システムと、を含む
    ことを特徴とする自律走行車。
16. 前記三次元画像は、前記第１の画像における１つ又は複数の画素を前記第２の画像における１つ又は複数の画素に直接的にマッピングして生成されるものであり、前記第１の画像の画素密度カウントは、前記第２の画像の画素密度カウントと異なる
    ことを特徴とする請求項１５に記載の自律走行車。
17. 前記三次元画像は、
    前記第２の画像に意味分割アルゴリズムを応用し、前記第２の画像で感知された対象を分類することと、
    感知された対象に基づいて、前記第１の画像の１つ又は複数の画素を前記第２の画像の１つ又は複数の画素に間接にマッピングすることと、
    により生成される
    ことを特徴とする請求項１５に記載の自律走行車。
18. 前記光検出及び測距装置は、
    前記ターゲットと前記ダイクロイックミラーの間に位置し、前記光検出器で感知された視野を拡大または縮小するズームレンズをさらに含む
    ことを特徴とする請求項１５に記載の自律走行車。
19. 前記光検出及び測距装置は、
    前記ターゲットと前記ダイクロイックミラーの間に位置し、前記第１の画像の画素密度カウントを増大する走査部をさらに含む
    ことを特徴とする請求項１５に記載の自律走行車。
20. 前記光検出及び測距装置は、
    ステレオカメラペアを形成するように前記第１のカメラに対して位置決めし、前記第２の画像との視差を感知するための第３画像を生成する第２のカメラをさらに含む
    ことを特徴とする請求項１５に記載の自律走行車。
21. 前記視差は、前記第２の画像と前記第３画像にステレオ分割アルゴリズムを応用することによって感知される
    ことを特徴とする請求項２０に記載の自律走行車。