[049] 以下の詳細な説明は添付図面を参照する。可能な限り、図面及び以下の記載では同一の参照番号を用いて同一又は同様の部分を指し示す。本明細書ではいくつかの例示的な実施形態を記載するが、変更、適合、及びその他の実施も可能である。例えば、図面に示されたコンポーネントに対する置換、追加、又は変更を行うことができ、開示される方法に対するステップの置換、並べ替え、除去、又は追加によって本明細書に記載される例示的な方法を変更することができる。従って、以下の詳細な説明は開示される実施形態及び例に限定されない。適正な範囲は添付の特許請求の範囲によって規定される。
用語の定義
[050] 開示される実施形態は光学システムを含み得る。本明細書で用いる場合、「光学システム」という用語は、光の発生、検出、及び/又は操作のために使用される任意のシステムを広く含む。単に一例として、光学システムは、光を発生、検出、及び/又は操作するための1つ以上の光学コンポーネントを含み得る。例えば、光源、レンズ、ミラー、プリズム、ビームスプリッタ、コリメータ、偏光光学系、光学変調器、光学スイッチ、光学増幅器、光学検出器、光学センサ、光ファイバ、半導体光学コンポーネントは、それぞれ必ずしも必須ではないが、光学システムの一部となり得る。1つ以上の光学コンポーネントに加えて、光学システムは、電気的コンポーネント、機械的コンポーネント、化学反応コンポーネント、及び半導体コンポーネントのような、他の非光学コンポーネントも含み得る。非光学コンポーネントは、光学システムの光学コンポーネントと協働することができる。例えば光学システムは、検出された光を分析するための少なくとも1つのプロセッサを含み得る。
[051] 本開示に従って、光学システムはLIDARシステムとすることができる。本明細書で用いる場合、「LIDARシステム」という用語は、反射光に基づいて1対の有形物体(tangible object)間の距離を示すパラメータの値を決定することができる任意のシステムを広く含む。一実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の距離を決定できる。本明細書で用いる場合、「距離を決定する」という用語は、有形物体対の間の距離を示す出力を発生することを広く含む。決定された距離は、1対の有形物体間の物理的寸法を表すことができる。単に一例として、決定された距離は、LIDARシステムとLIDARシステムの視野内の別の有形物体との間の飛行距離線を含み得る。別の実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の相対速度を決定することができる。1対の有形物体間の距離を示す出力の例には、有形物体間の標準的な長さ単位の数(例えばメートル数、インチ数、キロメートル数、ミリメートル数)、任意の長さ単位の数(例えばLIDARシステム長の数)、距離と別の長さとの比(例えばLIDARシステムの視野内で検出された物体の長さに対する比)、時間量(例えば標準的な単位、任意の単位又は比、例えば有形物体間を光が移動するのに要する時間として与えられる)、1つ以上のロケーション(例えば承認された座標系を用いて規定される、既知のロケーションに対して規定される)、及びその他のものが含まれる。
[052] LIDARシステムは、反射光に基づいて1対の有形物体間の距離を決定することができる。一実施形態において、LIDARシステムは、光信号の放出とセンサによるその検出の時点との間の時間期間を示す時間情報を生成するセンサの検出結果を処理することができる。この時間期間は時として光信号の「飛行時間(time of flight)」と称される。一例において、光信号は短いパルスであり、受信の際にその立ち上がり時間及び/又は立ち下がり時間を検出することができる。関連する媒体(通常は空気)中における光の速度に関する既知の情報を用いて、光信号の飛行時間に関する情報を処理することで、放出と検出との間で光信号が移動する距離を提供できる。別の実施形態において、LIDARシステムは、周波数位相シフト(又は多周波数位相シフト)に基づいて距離を決定することができる。具体的には、LIDARシステムは、光信号の(例えば最終的な測度を与えるためいくつかの連立方程式を解くことによって)1つ以上の変調位相シフトを示す情報を処理することができる。例えば、放出された光学信号を1つ以上の一定周波数によって変調できる。放出された信号と検出された反射との間の変調の少なくとも1つの位相シフトは、放出と検出との間で光が移動した距離を示すことができる。変調は、連続波光信号、準連続波光信号、又は別のタイプの放出される光信号に適用され得る。距離を決定するため、LIDARシステムによって追加情報を使用できることに留意するべきである。追加情報は例えば、信号の投影ロケーションと検出ロケーションとの間のロケーション情報(例えば相対位置)(特に、相互に距離が離れている場合)、及びその他のものである。
[053] いくつかの実施形態において、LIDARシステムは、LIDARシステムの環境内の複数の物体を検出するために使用できる。「LIDARシステムの環境内の物体を検出する」という用語は、LIDARシステムに関連付けられた検出器の方へ光を反射した物体を示す情報を発生することを広く含む。2つ以上の物体がLIDARシステムによって検出された場合、異なる物体に関して発生された情報、例えば、自動車が道路を走行している、鳥が木にとまっている、人が自転車に触れる、ライトバン(van)が建物の方へ移動するといった情報は、相互に連絡することができる。LIDARシステムが物体を検出する環境の寸法は、実施に伴って変動し得る。例えばLIDARシステムは、LIDARシステムが搭載されている車両の環境内で、最大で100m(又は200m、300m等)の水平方向距離まで、及び最大で10m(又は25m、50m等)の垂直方向距離まで、複数の物体を検出するために使用できる。別の例においてLIDARシステムは、車両の環境内で、又は既定の水平方向範囲内(例えば25°、50°、100°、180°等)で、及び既定の垂直方向高さ(例えば±10°、±20°、+40°〜20°、±90°、又は0°〜90°)まで、複数の物体を検出するため使用できる。
[054] 本明細書で用いる場合、「物体を検出する」という用語は、物体の存在を決定することを広く指すことができる(例えば、物体はLIDARシステムに対して及び/又は別の基準ロケーションに対して特定の方向に存在し得る、又は、物体は特定の空間体積内に存在し得る)。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体と別のロケーション(例えばLIDARシステムのロケーション、地球上のロケーション、又は別の物体のロケーション)との間の距離を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体を識別すること(例えば自動車、植物、木、道路のような物体の種類を分類すること)、特定の物体(例えばワシントン記念塔)を認識すること、自動車登録番号を判定すること、物体の組成(例えば固体、液体、透明、半透明)を明らかにすること、物体の運動パラメータ(例えば移動中であるか、その速度、移動方向、物体の膨張)を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、ポイントクラウドマップを発生することを指す可能性がある。ポイントクラウドマップの1つ以上のポイントの各々は、物体内のロケーション又は物体面上のロケーションに対応する。一実施形態において、視野のポイントクラウドマップ表現に関するデータ解像度は、視野の0.1°×0.1°又は0.3°×0.3°に関連付けることができる。
[055] 本開示に従って、「物体」という用語は、その少なくとも一部から光を反射することができる有限の組成物を広く含む。例えば物体は、少なくとも部分的に固体である(例えば自動車、木)、少なくとも部分的に液体である(例えば道路の水たまり、雨)、少なくとも部分的に気体である(例えば煙、雲)、多数の別個の粒子から成る(例えば砂あらし、霧、スプレー)、例えば〜1ミリメートル(mm)、〜5mm、〜10mm、〜50mm、〜100mm、〜500mm、〜1メートル(m)、〜5m、〜10m、〜50m、〜100mのような1つ以上の大きさであり得る。また、より小さいか又は大きい物体、及びこれらの例の間の任意の大きさも検出できる。様々な理由から、LIDARシステムは物体の一部のみを検出する場合があることに留意するべきである。例えば、場合によっては、光は物体のいくつかの側面のみから反射される(例えば、LIDARシステムに対向する側面のみが検出される)。他の場合、光は物体の一部のみに投影される(例えば、レーザビームが道路又は建物に投影される)。また他の場合、物体は、LIDARシステムと検出された物体との間の別の物体によって部分的に遮られる。また他の場合、LIDARのセンサは物体の一部から反射された光のみを検出し得る。これは例えば、周囲光又は他の干渉が物体のいくつかの部分の検出を妨害するからである。
[056] 本開示に従って、LIDARシステムは、LIDARシステムの環境をスキャンすることで物体を検出するように構成できる。「LIDARシステムの環境をスキャンする」という用語は、LIDARシステムの視野又は視野の一部を照射することを広く含む。一例において、LIDARシステムの環境をスキャンすることは、光偏向器を移動又は枢動させて、視野の様々な部分へ向かう様々な方向に光を偏向させることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対するセンサの位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対する光源の位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。更に別の例において、LIDARシステムの環境をスキャンすることは、少なくとも1つの光源及び少なくとも1つのセンサが視野に対して固定して(rigidly)移動するようにそれらの位置を変えることによって達成できる(すなわち、少なくとも1つのセンサ及び少なくとも1つの光源の相対的な距離及び向きは維持される)。
[057] 本明細書で用いる場合、「LIDARシステムの視野」という用語は、物体を検出することができるLIDARシステムの観察可能な環境の範囲を広く含み得る。LIDARシステムの視野(FOV)は様々な条件によって影響を受け得ることに留意するべきである。様々な条件は、限定ではないが、LIDARシステムの向き(例えばLIDARシステムの光軸の方向)、環境に対するLIDARシステムの位置(例えば地面、及び隣接地形、及び障害物からの距離)、LIDARシステムの動作パラメータ(例えば放出パワー、計算設定、規定の動作角度)等である。LIDARシステムの視野は、例えば立体角を用いて規定することができる(例えばφ、θ角を用いて規定される。φ及びθは、例えばLIDARシステム及び/又はそのFOVの対称軸に対する垂直面において規定される)。一例において、視野は、特定の範囲内(例えば最大で200m)で規定することができる。
[058] 同様に、「瞬時視野(instantaneous field of view)」という用語は、任意の所与の瞬間にLIDARシステムによって物体を検出することができる観察可能な環境の範囲を広く含み得る。例えばスキャンLIDARシステムでは、瞬時視野はLIDARシステムの全FOVよりも狭く、LIDARシステムのFOVの他の部分における検出を可能とするためLIDARシステムのFOV内で移動させることができる。LIDARシステムのFOV内での瞬時視野の移動は、LIDARシステムへの光ビーム及び/又はLIDARシステムからの光ビームを異なる方向に偏向させるようにLIDARシステムの(又はLIDARシステム外部の)光偏向器を移動させることによって達成できる。一実施形態において、LIDARシステムは、LIDARシステムが動作している環境内のシーン(scene)をスキャンするように構成できる。本明細書で用いる場合、「シーン」という用語は、LIDARシステムの視野内の物体のいくつか又は全てを、LIDARシステムの動作期間中の相対位置で及び現在の状態で広く含み得る。例えばシーンは、地上の要素(例えば土、道路、草、歩道、路面標識)、空、人工物体(例えば車両、建物、標識)、草木、人物、動物、光投影要素(例えば懐中電灯、太陽、他のLIDARシステム)等を含み得る。
[059] 開示される実施形態は、再構築3次元モデルの生成に使用される情報を取得することを含み得る。使用できるタイプの再構築3次元モデルの例には、ポイントクラウドモデル及びポリゴンメッシュ(Polygon Mesh)(例えば三角形メッシュ)が含まれる。「ポイントクラウド」及び「ポイントクラウドモデル」という用語は、当技術分野において周知であり、ある特定の座標系に空間的に位置付けられるデータポイントセットを含むものと解釈するべきである(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。「ポイントクラウドポイント」という用語は、空間(無次元であるか、又は例えば1cm3のような微小セル空間である場合がある)内のポイントを指し、そのロケーションは座標セットを用いたポイントクラウドモデルによって記述できる(例えば(X、Y、Z)、(r、φ、θ))。単に一例として、ポイントクラウドモデルは、そのポイントのいくつか又は全てのための追加情報を記憶することができる(例えば、カメラ画像から生成されたポイントのための色情報)。同様に、他のいずれのタイプの再構築3次元モデルも、その物体のいくつか又は全てのための追加情報を記憶することができる。同様に、「ポリゴンメッシュ」及び「三角形メッシュ」という用語は当技術分野において周知であり、とりわけ、1つ以上の3D物体(多面体等)の形状を画定する頂点(vertex)、稜線(edge)、及び面(face)のセットを含むように解釈するべきである。面は、レンダリングを簡略化できるという理由から、三角形(三角形メッシュ)、四角形、又は他の単純な凸多角形のうち1つ以上を含み得る。また、面は、より一般的な凹多角形、又はくぼみ(hole)を有する多角形を含み得る。ポリゴンメッシュは、頂点−頂点メッシュ、面−頂点メッシュ、ウイングドエッジメッシュ(Winged-edge mesh)、及びレンダーダイナミックメッシュ(Render dynamic mesh)のような様々な技法を用いて表現できる。ポリゴンメッシュの様々な部分(例えば頂点、面、稜線)は、直接的に及び/又は相対的に、ある特定の座標系に空間的に位置付けられる(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。再構築3次元モデルの生成は、任意の標準的な、専用の、及び/又は新規の写真測量技法を用いて実施することができ、それらの多くは当技術分野において既知である。LIDARシステムによって他のタイプの環境モデルも生成できることに留意するべきである。
[060] 開示される実施形態に従って、LIDARシステムは、光を投影するように構成された光源を用いる少なくとも1つの投影ユニットを含み得る。本明細書で用いる場合、「光源」という用語は、光を放出するように構成された任意のデバイスを広く指す。一実施形態において、光源は、固体レーザ、レーザダイオード、高出力レーザのようなレーザ、又は発光ダイオード(LED)ベースの光源のような代替的な光源とすればよい。更に、図面全体を通して示されている光源112は、光パルス、連続波(CW)、準CW等、異なるフォーマットの光を放出することができる。例えば、使用できる光源の1つのタイプは、垂直キャビティ面発光レーザ(VCSEL:vertical-cavity surface-emitting laser)である。使用できる別のタイプの光源は、外部キャビティダイオードレーザ(ECDL:external cavity diode laser)である。いくつかの例では、光源は約650nmから1150nmの間の波長の光を放出するように構成されたレーザダイオードを含み得る。あるいは、光源は、約800nmから約1000nm、約850nmから約950nm、又は約1300nmから約1600nmの波長の光を放出するように構成されたレーザダイオードを含み得る。別段の指示がない限り、数値に関する「約」という用語は、言及された値に対して最大5%の分散として規定される。投影ユニット及び少なくとも1つの光源についての更なる詳細は、図2Aから図2Cを参照して以下で説明する。
[061] 開示される実施形態に従って、LIDARシステムは、視野をスキャンするため光源からの光を偏向させるように構成された少なくとも1つの光偏向器を用いる少なくとも1つのスキャンユニットを含み得る。「光偏向器」という用語は、光を最初の経路から逸脱させるように構成されている任意の機構又はモジュールを広く含み、例えば、ミラー、プリズム、制御可能レンズ、機械的ミラー、機械的スキャンポリゴン(scanning polygon)、アクティブ回折(例えば制御可能LCD)、リスレープリズム(Risley prism)、非機械電子光学ビームステアリング(Vscentにより作製されるもの等)、偏光格子(Boulder Non-Linear Systemsにより提供されるもの等)、光学フェーズドアレイ(OPA:optical phased array)、及びその他のものである。一実施形態において、光偏向器は、少なくとも1つの反射要素(例えばミラー)、少なくとも1つの屈折要素(例えばプリズム、レンズ)等、複数の光学コンポーネントを含み得る。一例において、光偏向器は、光を様々な角度数に(例えば別々の角度数に、又は連続的な角度数範囲に)逸脱させるように、可動性であり得る。光偏向器は、任意選択的に、様々なやり方で制御可能であり得る(例えば、α度に偏向させる、偏向角をΔαだけ変える、光偏向器のコンポーネントをMミリメートル移動させる、偏向角が変わる速度を変化させる)。更に光偏向器は、任意選択的に、単一の面(例えばθ座標)内で偏向の角度を変えるように動作可能であり得る。光偏向器は、任意選択的に、2つの非平行の面(例えばθ及びφ座標)内で偏向の角度を変えるように動作可能であり得る。この代わりに又はこれに加えて、光偏向器は任意選択的に、所定の設定間で(例えば所定のスキャンルートに沿って)又はその他で偏向の角度を変えるように動作可能であり得る。LIDARシステムにおける光偏向器の使用に関して、光偏向器をアウトバウンド方向(送信方向すなわちTXとも称される)で用いて、光源からの光を視野の少なくとも一部へ偏向できることに留意するべきである。しかしながら、光偏向器をインバウンド方向(受信方向すなわちRXとも称される)で用いて、視野の少なくとも一部からの光を1つ以上の光センサへ偏向させることも可能である。スキャンユニット及び少なくとも1つの光偏向器についての更なる詳細は、図3Aから図3Cを参照して以下で説明する。
[062] 開示される実施形態は、視野をスキャンするために光偏向器を枢動することを含み得る。本明細書で用いる場合、「枢動する(pivot)」という用語は、物体(特に固体の物体)を、回転中心を実質的に固定したままに維持しながら、1つ以上の回転軸を中心として回転させることを広く含む。一実施形態において、光偏向器の枢動は、固定軸(例えばシャフト)を中心として光偏向器を回転させることを含み得るが、必ずしもそうとは限らない。例えばいくつかのMEMSミラー実施では、MEMSミラーは、ミラーに接続された複数の曲げ部(bender)の作動によって動くことができ、ミラーは回転に加えてある程度の空間並進を生じ得る。それにもかかわらず、このようなミラーは実質的に固定された軸を中心として回転するように設計できるので、本開示に従って、枢動すると見なされる。他の実施形態において、あるタイプの光偏向器(例えば非機械電子光学ビームステアリング、OPA)は、偏向光の偏向角を変えるために移動コンポーネントも内部移動も必要としない。光偏向器の移動又は枢動に関する検討は、必要な変更を加えて、光偏向器の偏向挙動を変化させるように光偏向器を制御することにも適用できることに留意するべきである。例えば光偏向器を制御することで、少なくとも1つの方向から到達する光ビームの偏向角を変化させることが可能となる。
[063] 開示される実施形態は、光偏向器の単一の瞬時位置に対応する視野の部分に関連した反射を受信することを含み得る。本明細書で用いる場合、「光偏向器の瞬時位置」(「光偏向器の状態」とも称される)という用語は、ある瞬間的な時点に又は短い時間期間にわたって光偏向器の少なくとも1つの制御されたコンポーネントが位置している空間内のロケーション又は位置を広く指す。一実施形態において、光偏向器の瞬時位置は基準系(frame of reference)に対して測定することができる。基準系はLIDARシステム内の少なくとも1つの固定点に関連し得る。又は、例えば基準系はシーン内の少なくとも1つの固定点に関連し得る。いくつかの実施形態において、光偏向器の瞬時位置は、光偏向器(例えばミラー、プリズム)の1つ以上のコンポーネントのある程度の移動を含み得るが、この移動は通常、視野のスキャン中の最大変化度に対して限られた程度のものである。例えばLIDARシステムの視野全体のスキャンは、光の偏向を30°の範囲にわたって変化させることを含み得る。また、少なくとも1つの光偏向器の瞬時位置は、光偏向器の0.05°内の角度シフトを含み得る。他の実施形態において、「光偏向器の瞬時位置」という用語は、LIDARシステムによって生成されるポイントクラウド(又は別のタイプの3Dモデル)の単一ポイントのデータを与えるために処理される光の取得中の光偏向器の位置を指し得る。いくつかの実施形態において、光偏向器の瞬時位置は、LIDAR視野の特定の小領域(sub-region)の照射中に偏向器が短時間停止する固定の位置又は向きに一致し得る。他の場合、光偏向器の瞬時位置は、LIDAR視野の連続的又は半連続的なスキャンの一部として光偏向器が通過する、光偏向器の位置/向きのスキャン範囲に沿った特定の位置/向きと一致し得る。いくつかの実施形態では、LIDAR FOVの1つのスキャンサイクル中に光偏向器が複数の異なる瞬時位置に位置付けられるように光偏向器を移動させることができる。言い換えると、1つのスキャンサイクルが発生する時間期間中、偏向器を一連の異なる瞬時位置/向きに移動させることができ、偏向器は、そのスキャンサイクル中の異なる時点でそれぞれ異なる瞬時位置/向きに到達できる。
[064] 開示される実施形態に従って、LIDARシステムは、視野内の物体からの反射を検出するように構成された少なくとも1つのセンサを用いる少なくとも1つの検知ユニットを含み得る。「センサ」という用語は、電磁波の特性(例えば電力、周波数、位相、パルスタイミング、パルス持続時間)を測定することができ、測定された特性に関する出力を生成するための任意のデバイス、要素、又はシステムを広く含む。いくつかの実施形態において、少なくとも1つのセンサは、複数の検出素子から構築された複数の検出器を含み得る。少なくとも1つのセンサは、1つ以上のタイプの光センサを含み得る。少なくとも1つのセンサは、他の特性(例えば感度、大きさ)が異なる同じタイプの複数のセンサを含み得ることに留意するべきである。他のタイプのセンサを用いてもよい。例えば、ある距離範囲(特に近距離)における検出の向上、センサのダイナミックレンジの向上、センサの時間的応答の向上、及び、様々な環境条件(例えば大気温度、雨等)における検出の向上のような様々な理由から、いくつかのタイプのセンサを組み合わせて使用することも可能である。
[065] 一実施形態において、少なくとも1つのセンサは、一般的なシリコン基板上で検出素子として機能する、アバランシェフォトダイオード(APD:avalanche photodiode)、単一光子アバランシェダイオード(SPAD:single photon avalanche diode)から構築された固体単一光子検知デバイスであるSiPM(Silicon photomultiplier、シリコン光電子増倍管)を含む。一例において、SPAD間の典型的な距離は約10μmから約50μの間であり、各SPADは約20nsから約100nsの間の回復時間を有し得る。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。異なるタイプのセンサ(例えばSPAD、APD、SiPM、PINダイオード、光検出器)からの出力が組み合わされて単一の出力になり、これをLIDARシステムのプロセッサによって処理できることに留意するべきである。検知ユニット及び少なくとも1つのセンサについての更なる詳細は、図4Aから図4Cを参照して以下で説明する。
[066] 開示される実施形態に従って、LIDARシステムは、様々な機能を実行するように構成された少なくとも1つのプロセッサを含むか又は少なくとも1つのプロセッサと通信することができる。少なくとも1つのプロセッサは、1つ又は複数の入力に対して論理動作を実行する電気回路を有する任意の物理デバイスを構成し得る。例えば少なくとも1つのプロセッサは、特定用途向け集積回路(ASIC)、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置(CPU)の全体又は一部、グラフィック処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令の実行もしくは論理動作の実行に適した他の回路を含む、1つ以上の集積回路(IC)を含み得る。少なくとも1つのプロセッサによって実行される命令は、例えば、コントローラに一体化されているか又は埋め込まれたメモリに予めロードするか、又は別個のメモリに記憶することができる。メモリは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、光学ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定メモリ、もしくは揮発性メモリ、又は命令を記憶することができる他の任意の機構を含み得る。いくつかの実施形態において、メモリは、LIDARシステムの環境内の物体に関するデータを表す情報を記憶するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは2つ以上のプロセッサを含み得る。各プロセッサは同様の構成を有するか、又は、それらのプロセッサは相互に電気的に接続されるかもしくは切断された異なる構成とすることができる。例えばプロセッサは、別々の回路とするか、又は単一の回路に一体化することができる。2つ以上のプロセッサを用いる場合、これらのプロセッサは、独立して又は協働して動作するように構成できる。これらのプロセッサは、電気的に、磁気的に、光学的に、音響的に、機械的に、又はそれらの相互作用を可能とする他の手段によって、結合することができる。処理ユニット及び少なくとも1つのプロセッサについての更なる詳細は、図5Aから図5Cを参照して以下で説明する。
システムの概要
[067] 図1Aは、投影ユニット102、スキャンユニット104、検知ユニット106、及び処理ユニット108を含むLIDARシステム100を示す。LIDARシステム100は車両110上に搭載可能である。本開示の実施形態に従って、投影ユニット102は少なくとも1つの光源112を含み、スキャンユニット104は少なくとも1つの光偏向器114を含み、検知ユニット106は少なくとも1つのセンサ116を含み、処理ユニット108は少なくとも1つのプロセッサ118を含み得る。一実施形態において、少なくとも1つのプロセッサ118は、視野120をスキャンするため、少なくとも1つの光源112の動作と少なくとも1つの光偏向器114の移動を連携させるように構成できる。スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。更に、LIDARシステム100は、視野120の方へ投影される光を誘導する及び/又は視野120内の物体から反射された光を受光するための少なくとも1つの任意選択的な光学ウィンドウ124を含み得る。任意選択的な光学ウィンドウ124は、投影光のコリメーション及び反射光の集束のような異なる目的に供することができる。一実施形態において、任意選択的な光学ウィンドウ124は、開口、平坦なウィンドウ、レンズ、又は他の任意のタイプの光学ウィンドウとすればよい。
[068] 本開示に従って、LIDARシステム100は、自律走行又は半自律走行の道路車両(例えば自動車、バス、ライトバン、トラック、及び他の任意の地上車)において使用することができる。LIDARシステム100を備えた自律走行道路車両は、環境をスキャンし、人の入力なしで目的地車両まで運転することができる。同様に、LIDARシステム100は、自律型/半自律型航空機(例えばUAV、ドローン、クワッドコプター、及び他の任意の航空機もしくは飛行デバイス)、又は自律型もしくは半自律型の水上船(例えばボート、船、潜水艦、及び他の任意の船舶)においても使用され得る。LIDARシステム100を備えた自律型航空機及び水上船は、環境をスキャンし、自律的に又は遠隔の人のオペレータを用いて目的地までナビゲートすることができる。一実施形態に従って、車両110(道路車両、航空機、又は水上船)は、車両110が動作している環境の検出及びスキャンに役立てるためLIDARシステム100を使用することができる。
[069] いくつかの実施形態において、LIDARシステム100は、車両110の周りの環境をスキャンするための1つ以上のスキャンユニット104を含み得る。LIDARシステム100は、車両110の任意の部分に取り付けるか又は搭載することができる。検知ユニット106は、車両110の周囲からの反射を受信し、視野120内の物体から反射した光を示す反射信号を処理ユニット108に転送することができる。本開示に従って、スキャンユニット104は、車両110のバンパー、フェンダー、サイドパネル、スポイラ、屋根、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、フード、トランク、又はLIDARシステムの少なくとも一部を収容できる他の任意の適切な部分に搭載するか又は組み込むことができる。場合によっては、LIDARシステム100は車両110の環境の完全な周囲ビューをキャプチャする。このため、LIDARシステム100は360度の水平方向視野を有し得る。一例において、図1Aに示されているように、LIDARシステム100は車両110の屋根に搭載された単一のスキャンユニット104を含み得る。あるいはLIDARシステム100は、それぞれ視野を有する複数のスキャンユニット(例えば2、3、4、又はそれ以上のスキャンユニット104)を含み、これらの視野を合わせると車両110の周りの360度のスキャンによって水平方向視野をカバーすることができる。LIDARシステム100は任意のやり方で配置された任意の数のスキャンユニット104を含み、使用されるユニット数に応じて各ユニットが80°から120°又はそれ未満の視野を有し得ることは、当業者に認められよう。更に、各々が単一のスキャンユニット104を備えた複数のLIDARシステム100を車両110上に搭載することによって、360度の水平方向視野を得ることも可能である。それにもかかわらず、1つ以上のLIDARシステム100が完全な360°の視野を与える必要はないこと、及び、いくつかの状況ではより狭い視野が有用であり得ることに留意するべきである。例えば車両110は、車両の前方に75°の視野を有する第1のLIDARシステム100と、場合によっては後方に同様のFOVを有する(任意選択的に、より小さい検出範囲を有する)第2のLIDARシステム100と、を必要とする可能性がある。また、様々な垂直方向視野角も実施され得ることに留意するべきである。
[070] 図1Bは、開示される実施形態に従った、車両110上に搭載されたLIDARシステム100の単一のスキャンサイクルからの例示的な出力を示す画像である。この例において、スキャンユニット104は車両110の右ヘッドライトアセンブリに組み込まれている。画像における全ての灰色ドットは、検知ユニット106によって検出された反射から決定された車両110の周りの環境内のロケーションに対応する。ロケーションに加えて、各灰色ドットは、例えば強度(例えばそのロケーションからどのくらいの量の光が戻るか)、反射率、他のドットに対する近接、及びその他のもの等、様々なタイプの情報に関連付けることも可能である。一実施形態において、LIDARシステム100は、視野の複数のスキャンサイクルで検出された反射から複数のポイントクラウドデータエントリを生成して、例えば車両110の周りの環境のポイントクラウドモデルの決定を可能とすることができる。
[071] 図1Cは、LIDARシステム100の出力から決定されたポイントクラウドモデルの表現を示す画像である。開示される実施形態に従って、車両110の周りの環境の生成されたポイントクラウドデータエントリを処理することにより、ポイントクラウドモデルから周囲ビュー画像を生成できる。一実施形態において、ポイントクラウドモデルは、ポイントクラウド情報を処理して複数のフィーチャを識別するフィーチャ抽出モジュールに提供することができる。各フィーチャは、ポイントクラウド及び/又は車両110の周りの環境内の物体(例えば自動車、木、人物、及び道路)の様々な様相(aspect)に関するデータを含み得る。フィーチャは、同一の解像度のポイントクラウドモデルを有する(すなわち、任意選択的に同様の大きさの2Dアレイに配置された同数のデータポイントを有する)、又は異なる解像度を有し得る。フィーチャは、任意の種類のデータ構造内に記憶することができる(例えばラスタ、ベクトル、2Dアレイ、1Dアレイ)。更に、車両110の表現、境界線、又は(例えば図1Bに示されているような)画像内の領域もしくは物体を分離する境界ボックス、及び1つ以上の識別された物体を表すアイコンのような仮想フィーチャを、ポイントクラウドモデルの表現の上に重ねて、最終的な周囲ビュー画像を形成できる。例えば、周囲ビュー画像の中央に車両110の記号を重ねることができる。
投影ユニット
[072] 図2Aから図2Dは、LIDARシステム100における投影ユニット102の様々な構成及びその役割を示す。具体的には、図2Aは単一の光源を備えた投影ユニット102を示す図であり、図2Bは共通の光偏向器114に照準を合わせた複数の光源を備えた複数の投影ユニット102を示す図であり、図2Cは一次及び二次光源112を備えた投影ユニット102を示す図であり、図2Dは投影ユニット102のいくつかの構成で使用される非対称偏向器を示す図である。投影ユニット102の図示される構成は多くの変形及び変更を有し得ることは当業者に認められよう。
[073] 図2Aは、投影ユニット102が単一の光源112を含むLIDARシステム100のバイスタティック構成の一例を示す。「バイスタティック構成(bi-static configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が異なる光学チャネルを通るLIDARシステム構成を広く指す。具体的には、アウトバウンド光放出は第1の光学ウィンドウ(図示せず)を通過し、インバウンド光放出は別の光学ウィンドウ(図示せず)を通過することができる。図2Aに示される例において、バイスタティック構成は、スキャンユニット104が2つの光偏向器を含む構成を含んでいる。第1の光偏向器114Aはアウトバウンド光用であり、第2の光偏向器114Bはインバウンド光用のものである(LIDARシステムのインバウンド光は、シーン内の物体から反射した放出光を含み、更に、他のソースから到達する周囲光も含み得る)。そのような構成において、インバウンド経路及びアウトバウンド経路は異なる。
[074] この実施形態において、LIDARシステム100の全てのコンポーネントは、単一の筐体200内に収容するか、又は複数の筐体間に分割することができる。図示のように、投影ユニット102は、光(投影光204)を放出するように構成されたレーザダイオード202A(又は共に結合された1つ以上のレーザダイオード)を含む単一の光源112に関連付けられている。1つの非限定的な例では、光源112によって投影される光は、約800nmから約950nmの間の波長であり、約50mWから約500mWの間の平均パワーを有し、約50Wから約200Wの間のピークパワーを有し、約2nsから約100nsの間のパルス幅を有し得る。更に、光源112は任意選択的に、レーザダイオード202Aによって放出された光の操作のため(例えばコリメーションや集束等のため)に使用される光学アセンブリ202Bに関連付けることができる。他のタイプの光源112も使用可能であり、本開示はレーザダイオードに限定されないことに留意するべきである。更に、光源112は、光パルス、変調周波数、連続波(CW)、準CW、又は使用される特定の光源に対応した他の任意の形態のように、様々なフォーマットで光を放出することができる。投影フォーマット及び他のパラメータは、処理ユニット108からの命令のような異なるファクタに基づいて、時々光源によって変更されることがある。投影光は、視野120に投影光を誘導するためのステアリング要素として機能するアウトバウンド偏向器114Aの方へ投影される。この例において、スキャンユニット104は、視野120内の物体208から反射して戻った光子(反射光206)をセンサ116の方へ誘導する枢動可能帰還偏向器114Bも含む。反射光はセンサ116によって検出され、物体に関する情報(例えば物体212までの距離)が処理ユニット108によって決定される。
[075] この図において、LIDARシステム100はホスト210に接続されている。本開示に従って、「ホスト」という用語は、LIDARシステム100とインタフェースで接続する任意のコンピューティング環境を指し、車両システム(例えば車両110の一部)、試験システム、セキュリティシステム、調査システム、交通制御システム、都会モデリングシステム、又はその周囲を監視する任意のシステムであり得る。そのようなコンピューティング環境は、少なくとも1つのプロセッサを含む、及び/又はクラウドを介してLIDARシステム100に接続され得る。いくつかの実施形態において、ホスト210は、カメラや、ホスト210の様々な特徴(例えば加速度、ハンドルの偏向、車の後退等)を測定するように構成されたセンサのような外部デバイスに対するインタフェースも含み得る。本開示に従って、LIDARシステム100は、ホスト210に関連付けられた静止物体(例えば建物、三脚)、又はホスト210に関連付けられた携帯型システム(例えば携帯型コンピュータ、ムービーカメラ)に固定することができる。本開示に従って、LIDARシステム100をホスト210に接続することで、LIDARシステム100の出力(例えば3Dモデル、反射率画像)をホスト210に提供できる。具体的には、ホスト210はLIDARシステム100を用いて、ホスト210の環境又は他の任意の環境の検出及びスキャンに役立てることができる。更に、ホスト210は、LIDARシステム100の出力を、他の検知システム(例えばカメラ、マイクロフォン、レーダシステム)の出力と一体化するか、同期するか、又は他の方法で共に使用することができる。一例において、LIDARシステム100はセキュリティシステムによって使用され得る。この実施形態については図7を参照して以下で詳細に記載する。
[076] また、LIDARシステム100は、LIDARシステム100内で情報を転送するためサブシステム及びコンポーネントを相互接続するバス212(又は他の通信機構)も含み得る。任意選択的に、バス212(又は別の通信機構)は、LIDARシステム100をホスト210と相互接続するため使用することができる。図2Aの例において、処理ユニット108は、少なくとも部分的にLIDARシステム100の内部フィードバックから受信した情報に基づいて、投影ユニット102、スキャンユニット104、及び検知ユニット106の動作を連携させて規制するための2つのプロセッサ118を含む。言い換えると、処理ユニット108は、LIDARシステム100を閉ループ内で動的に動作させるように構成できる。閉ループシステムは、要素のうち少なくとも1つからのフィードバックを有し、受信したフィードバックに基づいて1つ以上のパラメータを更新することによって特徴付けられる。更に、閉ループシステムは、フィードバックを受信し、少なくとも部分的にそのフィードバックに基づいてそれ自体の動作を更新することができる。動的システム又は要素は、動作中に更新できるものである。
[077] いくつかの実施形態によれば、LIDARシステム100の周りの環境をスキャンすることは、視野120を光パルスで照射することを含み得る。光パルスは、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のもののようなパラメータを有し得る。また、LIDARシステム100の周りの環境をスキャンすることは、反射光の様々な様相を検出し特徴付けることを含み得る。反射光の特徴は、例えば飛行時間(すなわち放出から検出までの時間)、瞬時パワー(例えばパワーシグネチャ(power signature))、帰還パルス全体の平均パワー、及び帰還パルス期間における光子分布/信号を含み得る。光パルスの特徴を対応する反射の特徴と比較することによって、距離を推定し、場合によっては物体212の反射強度のような物理特性も推定することができる。このプロセスを、所定のパターン(例えばラスタ、リサジュー、又は他のパターン)で複数の隣接部分122に繰り返すことによって、視野120の全体的なスキャンを達成できる。以下で更に詳しく検討するように、いくつかの状況においてLIDARシステム100は、各スキャンサイクルにおいて視野120の部分122の一部にのみ光を誘導することができる。これらの部分は相互に隣接している場合があるが、必ずしもそうとは限らない。
[078] 別の実施形態において、LIDARシステム100は、ホスト210(例えば車両コントローラ)と通信を行うためのネットワークインタフェース214を含み得る。LIDARシステム100とホスト210との間の通信は破線の矢印によって表されている。一実施形態においてネットワークインタフェース214は、総合デジタル通信網(ISDN:integrated services digital network)カード、ケーブルモデム、衛星モデム、又は対応するタイプの電話線にデータ通信接続を与えるモデムを含み得る。別の例として、ネットワークインタフェース214は、コンパチブルなローカルエリアネットワーク(LAN)にデータ通信接続を与えるLANカードを含み得る。別の実施形態において、ネットワークインタフェース214は、無線周波数受信器及び送信器及び/又は光学(例えば赤外線)受信器及び送信器に接続されたイーサネットポートを含み得る。ネットワークインタフェース214の具体的な設計及び実施は、LIDARシステム100及びホスト210が動作するように意図された1又は複数の通信ネットワークに依存する。例えば、ネットワークインタフェース214を用いて、3DモデルやLIDARシステム100の動作パラメータのようなLIDARシステム100の出力を外部システムに提供することができる。他の実施形態では、通信ユニットを用いて、例えば外部システムから命令を受信すること、検査された環境に関する情報を受信すること、別のセンサから情報を受信すること等が可能となる。
[079] 図2Bは、複数の投影ユニット102を含むLIDARシステム100のモノスタティック構成の一例を示す。「モノスタティック構成(monostatic configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が少なくとも部分的に共有される光路を通るLIDARシステム構成を広く指す。一例において、アウトバウンド光ビーム及びインバウンド光ビームは、双方の光ビームが通る少なくとも1つの光学アセンブリを共有する。別の例では、アウトバウンド光放射は光学ウィンドウ(図示せず)を通過し、インバウンド光放射は同一の光学ウィンドウを通過し得る。モノスタティック構成は、スキャンユニット104が単一の光偏向器114を含み、これが投影光を視野120の方へ誘導すると共に反射光をセンサ116の方へ誘導する構成を含み得る。図示のように、投影光204及び反射光206は双方とも非対称偏向器216に入射する。「非対称偏向器」という用語は、2つの側を有する任意の光学デバイスであって、一方の側から入射する光ビームを第2の側から入射する光ビームを偏向させるのとは異なる方向に偏向させ得るものを指す。一例において、非対称偏向器は投影光204を偏向させず、反射光206をセンサ116の方へ偏向させる。非対称偏向器の一例は偏光ビームスプリッタを含み得る。別の例において、非対称偏向器216は、光を一方向にのみ通過させることができる光アイソレータを含み得る。本開示に従って、LIDARシステム100のモノスタティック構成は、反射光が光源112に入射するのを防止すると共に全ての反射光をセンサ116の方へ誘導することで検出感度を増大させる非対称偏向器を含み得る。
[080] 図2Bの実施形態において、LIDARシステム100は、共通の光偏向器114に照準を合わせた単一の光源112をそれぞれ備える3つの投影ユニット102を含む。一実施形態において、複数の光源112(2つ以上の光源を含む)は実質的に同じ波長で光を投影することができ、各光源112は概ね、視野の異なるエリア(120A、120B、120Cとして図に示されている)に関連付けられている。これによって、1つの光源112で達成され得るよりも広い視野のスキャンが可能となる。別の実施形態では、複数の光源102は異なる波長で光を投影することができ、全ての光源112を視野120の同じ部分(又は重複部分)に誘導することができる。
[081] 図2Cは、投影ユニット102が一次光源112A及び二次光源112Bを含むLIDARシステム100の例を示す。一次光源112Aは、SNR及び検出範囲を最適化するため、人の目に感知されるよりも長い波長の光を投影することができる。例えば一次光源112Aは、約750nmから1100nmの間の波長の光を投影できる。これに対して二次光源112Bは、人の目に見える波長の光を投影することができる。例えば二次光源112Bは、約400nmから700nmの間の波長の光を投影できる。一実施形態において、二次光源112Bは、一次光源112Aによって投影される光と実質的に同じ光路に沿って光を投影できる。双方の光源は時間同期することができ、同時に又は交互のパターンで光放出を投影できる。交互のパターンは、光源が同時にアクティブにならないことを意味し、相互干渉を軽減することができる。波長範囲及び活性化スケジュールの他の組み合わせも実施され得ることは当業者に認められよう。
[082] いくつかの実施形態に従って、二次光源112BがLIDAR光学出力ポートに近すぎる場合、人にまばたきを行わせることができる。これによって、近赤外スペクトルを利用する典型的なレーザ源では実現できない目に安全な機構を保証し得る。別の実施形態において、二次光源112Bは、POS(point of service:サービス提供時点管理)における較正及び信頼性のため使用することができる。これは、車両110に対して地面から特定の高さの特別なリフレクタ/パターンを用いて行われるヘッドライトの較正と多少類似した方法で行われる。POSのオペレータは、LIDARシステム100から指定距離にある試験パターンボード等の特徴的なターゲット上のスキャンパターンを単に目視検査することで、LIDARの較正を調べることができる。更に、二次光源112Bは、LIDARがエンドユーザのため動作しているという動作信頼性のための手段を提供できる。例えばシステムは、光偏向器114の前に人が手を置いてその動作を試すことができるように構成され得る。
[083] また、二次光源112Bは、一次光源112Aが故障した場合にバックアップシステムとして兼用できる非可視要素も有し得る。この特徴は、高い機能的安全性ランクを有するフェイルセーフデバイスに有用であり得る。二次光源112Bが可視であることを踏まえ、更にコスト及び複雑さの理由から、二次光源112Bは一次光源112Aよりも小さいパワーを伴い得る。従って、もし一次光源112Aが故障した場合、システムの機能性は二次光源112Bの機能及び能力セットに低下することになる。二次光源112Bの能力は一次光源112Aの能力よりも劣る場合があるが、LIDARシステム100のシステムは、車両110が目的地に安全に到着できるように設計され得る。
[084] 図2Dは、LIDARシステム100の一部となり得る非対称偏向器216を示す。図示されている例において、非対称偏向器216は、反射面218(ミラー等)及び一方向偏向器220を含む。必ず当てはまるわけではないが、非対称偏向器216は任意選択的に静電型偏向器(static deflector)とすることができる。非対称偏向器216は、例えば図2B及び図2Cに示すように、少なくとも1つの偏向器114を介した光の送信及び受信に共通の光路を可能とするため、LIDARシステム100のモノスタティック構成において使用できる。しかしながら、ビームスプリッタのような典型的な非対称偏向器は、特に送信路よりもパワー損失に敏感である可能性のある受信路において、エネルギ損失によって特徴付けられる。
[085] 図2Dに示されているように、LIDARシステム100は送信路に位置決めされた非対称偏向器216を含むことができる。非対称偏向器216は、送信光信号と受信光信号とを分離するための一方向偏向器220を含む。任意選択的に、一方向偏向器220は送信光に対して実質的に透明であり、受信光に対して実質的に反射性であり得る。送信光は投影ユニット102によって生成され、一方向偏向器220を通ってスキャンユニット104へ進むことができる。スキャンユニット104は送信光を光アウトレットの方へ偏向させる。受信光は光インレットを通って少なくとも1つの偏向要素114に到達し、偏向要素114は反射信号を光源から離れて検知ユニット106へ向かう別の経路に偏向させる。任意選択的に、非対称偏向器216は、一方向偏向器220と同一の偏光軸で直線偏光される偏光光源112と組み合わせてもよい。特に、アウトバウンド光ビームの断面は反射信号の断面よりも著しく小さい。従って、LIDARシステム100は、放出された偏光ビームを非対称偏向器216の寸法まで集束させるか又は他の方法で操作するための1つ以上の光学コンポーネント(例えばレンズ、コリメータ)を含み得る。一実施形態において、一方向偏向器220は、偏光ビームに対して事実上透明である偏光ビームスプリッタとすることができる。
[086] いくつかの実施形態に従って、LIDARシステム100は、放出光の偏光を変えるための光学系222(例えば4分の1波長位相差板)を更に含み得る。例えば、光学系222は放出光ビームの直線偏光を円偏光に変えることができる。視野から反射してシステム100に戻った光は、偏向器114を通って光学系222に到達し、送信光とは逆回りの円偏光である。次いで光学系222は、受信した反対回りの偏光を、偏光ビームスプリッタ216と同一の軸でない直線偏光に変換する。上記のように、ターゲットまでの距離を伝達するビームの光学分散のため、受信光部分は送信光部分よりも大きい。
[087] 受信光の一部は一方向偏向器220に入射し、一方向偏向器220は、いくらかのパワー損失を伴って光をセンサ106の方へ反射する。しかしながら、受信光の別の部分は、一方向偏向器220を取り囲む反射面218(例えば偏光ビームスプリッタのスリット)に入射する。反射面218は、実質的にパワー損失なしで光を検知ユニット106の方へ反射する。一方向偏向器220は、様々な偏光軸及び方向から構成された光を反射し、これは最終的には検出器に到達する。任意選択的に、検知ユニット106は、レーザ偏光に依存せず、主に特定波長範囲の入射光子量に対する感度が高いセンサ116を含むことができる。
[088] 提案される非対称偏向器216は、貫通孔を備えた単純なミラーに比べてはるかに優れた性能を提供することに留意するべきである。孔を備えたミラーでは、孔に到達した反射光は全て検出器から失われる。しかしながら偏向器216では、一方向偏向器220がその光のかなりの部分(例えば約50%)を各センサ116の方へ偏向させる。LIDARシステムにおいて、遠隔距離からLIDARに到達する光子数は極めて限られるので、光子捕獲率の向上は重要である。
[089] いくつかの実施形態に従って、ビーム分割及びステアリングのためのデバイスが記載される。第1の偏光を有する光源から偏光ビームを放出することができる。放出されたビームは偏光ビームスプリッタアセンブリを通過するように誘導できる。偏光ビームスプリッタアセンブリは、第1の側の一方向スリット及び反対側のミラーを含む。一方向スリットによって、放出された偏光ビームを4分の1波長位相差板の方へ伝達することができる。4分の1波長位相差板は、放出された信号を偏光信号から線形信号へ(又はその逆に)変化させることで、後に反射ビームが一方向スリットを通過できないようにする。
スキャンユニット
[090] 図3Aから図3Dは、LIDARシステム100におけるスキャンユニット104の様々な構成及びその役割を示す。具体的には、図3AはMEMSミラー(例えば方形)を備えたスキャンユニット104を示す図であり、図3BはMEMSミラー(例えば円形)を備えた別のスキャンユニット104を示す図であり、図3CはモノスタティックスキャンLIDARシステムで使用されるリフレクタのアレイを備えたスキャンユニット104を示す図であり、図3DはLIDARシステム100の周りの環境を機械的にスキャンする例示的なLIDARシステム100を示す図である。スキャンユニット104の図示されている構成は単なる例示であり、本開示の範囲内で多くの変形及び変更を有し得ることは、当業者に認められよう。
[091] 図3Aは、単一軸の方形MEMSミラー300を備えた例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。図示のように、スキャンユニット104は1つ以上のアクチュエータ302(具体的には302A及び302B)を含み得る。一実施形態において、アクチュエータ302は、半導体(例えばシリコン)で作製することができ、作動コントローラによって印加された電気信号に応答して寸法を変える圧電層(例えばPZT、チタン酸ジルコン酸塩、窒化アルミニウム)と、半導体層と、ベース層と、を含む。一実施形態において、アクチュエータ302の物理特性は、電流が流れた場合にアクチュエータ302に加わる機械的応力を決定し得る。圧電材料が活性化されると、これがアクチュエータ302に力を加えてアクチュエータ302を曲げる。一実施形態において、ミラー300が特定の角度位置に偏向した場合のアクティブ状態の1つ以上のアクチュエータ302の抵抗率(Ractive)を測定し、休止状態の抵抗率(Rrest)と比較することができる。Ractiveを含むフィードバックが、予想角と比べられる実際のミラー偏向角を決定するための情報を与え、必要に応じてミラー300の偏向を補正することができる。RrestとRactiveとの差を、ループを閉じるように機能し得る角度偏向値へのミラー駆動に相関付けることができる。この実施形態は、実際のミラー位置の動的追跡のために使用され、線形モード及び共振モードの双方のMEMSミラースキームにおいて応答、振幅、偏向効率、及び周波数を最適化することができる。この実施形態については図32から図34を参照して以下で更に詳しく説明する。
[092] スキャン中、接点304Aから接点304Bまで(アクチュエータ302A、ばね306A、ミラー300、ばね306B、及びアクチュエータ302Bを介して)電流が流れ得る(図では破線で表されている)。絶縁ギャップ310のような半導体フレーム308の絶縁ギャップによって、アクチュエータ302A及び302Bは、ばね306及びフレーム308を介して電気的に接続された2つの別個のアイランドとなり得る。電流、又は任意の関連付けられた電気的パラメータ(電圧、電流周波数、容量、比誘電率等)を、関連した位置フィードバックによって監視することができる。コンポーネントのうち1つが損傷する機械的故障の場合、構造を流れる電流が変わり、機能的な較正値から変化する。極端な状況では(例えば、ばねが破損した場合)、故障した要素による電気チェーンの回路遮断のため、電流は完全に中断する。
[093] 図3Bは、二軸円形MEMSミラー300を備えた別の例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。一実施形態において、MEMSミラー300は約1mmから約5mmの間の直径を有し得る。図示のように、スキャンユニット104は、それぞれ異なる長さである可能性がある4つのアクチュエータ302(302A、302B、302C、及び302D)を含み得る。図示する例において、電流(図では破線で表されている)は接点304Aから接点304Dへ流れるが、他の場合、電流は接点304Aから接点304Bへ、接点304Aから接点304Cへ、接点304Bから接点304Cへ、接点304Bから接点304Dへ、又は接点304Cから接点304Dへ流れ得る。いくつかの実施形態に従って、二軸MEMSミラーは、水平方向及び垂直方向に光を偏向させるように構成できる。例えば二軸MEMSミラーの偏向角は、垂直方向に約0°から30°の間であり、水平方向に約0°から50°の間とすることができる。ミラー300の図示されている構成は多くの変形及び変更を有し得ることは当業者に認められよう。一例において、少なくとも偏向器114は、二軸方形ミラー又は単一軸円形ミラーを有することも可能である。円形ミラー及び方形ミラーの例は、単に一例として図3A及び図3Bに示されている。システム仕様に応じて任意の形状を採用できる。一実施形態においては、アクチュエータ302を少なくとも偏向器114の一体的な部分として組み込んで、MEMSミラー300を移動させるためのパワーを直接与えられるようになっている。更に、MEMSミラー300は1つ以上の剛性支持要素によってフレーム308に接続することができる。別の実施形態では、少なくとも偏向器114は静電又は電磁MEMSミラーを含み得る。
[094] 上述のように、モノスタティックスキャンLIDARシステムは、投影光204の放出及び反射光206の受光のために同じ光路の少なくとも一部を利用する。アウトバウンド経路の光ビームはコリメートされて細いビームに集束され得るが、帰還経路の反射は分散のためより大きい光部分に広がる。一実施形態において、スキャンユニット104は帰還経路において大きい反射エリアを有し、反射(すなわち反射光206)をセンサ116へ方向転換する非対称偏向器216を有し得る。一実施形態において、スキャンユニット104は、大きい反射エリアを備えたMEMSミラーを含むことができ、視野及びフレームレート性能に対する影響は無視できる程度である。非対称偏向器216についての更なる詳細は図2Dを参照して以下に与えられる。
[095] いくつかの実施形態において(例えば図3Cに例示されているように)、スキャンユニット104は、小型の光偏向器(例えばミラー)を備えた偏向器アレイ(例えばリフレクタアレイ)を含み得る。一実施形態においては、同期して動作する個別の小型の光偏向器のグループとして光偏向器114を実施することで、光偏向器114は、より大きな偏向角及び高いスキャンレートで実行可能となる。偏向器アレイは事実上、有効エリアに関して大型の光偏向器(例えば大型のミラー)として機能できる。偏向器アレイは、共有ステアリングアセンブリ構成を用いて動作させることができる。この構成によって、センサ116は、光源112によって同時に照射される視野120の実質的に同じ部分からの反射光子を収集できる。「同時に」という用語は、2つの選択された機能が、一致するか又は重なっている時間期間中に発生することを意味する。この場合、一方が他方の持続期間中に開始及び終了するか、又は後のものが他方の完了前に開始する。
[096] 図3Cは、小型のミラーを有するリフレクタアレイ312を備えたスキャンユニット104の一例を示す。この実施形態において、リフレクタアレイ312は少なくとも1つの偏向器114として機能する。リフレクタアレイ312は、(個別に又は一緒に)枢動し、光パルスを視野120の方へ向かわせるように構成された複数のリフレクタユニット314を含み得る。例えばリフレクタアレイ312は、光源112から投影された光のアウトバウンド経路の一部であり得る。具体的には、リフレクタアレイ312は、投影光204を視野120の一部へ誘導することができる。また、リフレクタアレイ312は、視野120の照射部分内に位置する物体の表面から反射した光の帰還経路の一部であり得る。具体的には、リフレクタアレイ312は、反射光206をセンサ116の方へ又は非対称偏向器216の方へ誘導することができる。一例において、リフレクタアレイ312の面積は約75から約150mm2の間であり得る。ここで、各リフレクタユニット314は約10μmの幅を有し、支持構造は100μmよりも小さくすることができる。
[097] いくつかの実施形態によれば、リフレクタアレイ312は、操縦可能(steerable)偏向器の1つ以上のサブグループを含み得る。電気的に操縦可能な偏向器の各サブグループは、リフレクタユニット314のような1つ以上の偏向器ユニットを含み得る。例えば、各操縦可能偏向器ユニット314は、MEMSミラー、反射面アセンブリ、及び電気機械アクチュエータのうち少なくとも1つを含むことができる。一実施形態において、各リフレクタユニット314は、1つ以上の別個の軸の各々に沿って特定の角度に傾斜するように個々のプロセッサ(図示せず)によって個別に制御することができる。あるいは、リフレクタアレイ312は、リフレクタユニット314の少なくとも一部が同時に枢動してほぼ同じ方向を指し示すようにリフレクタユニット314の移動を同期して管理するよう構成された共通コントローラ(例えばプロセッサ118)に関連付けることができる。
[098] 更に、少なくとも1つのプロセッサ118は、アウトバウンド経路用の少なくとも1つのリフレクタユニット314(以降、「伝送用ミラー」と称する)、及び、帰還経路用のリフレクタユニット314のグループ(以降、「受光用ミラー」と称する)を選択することができる。本開示に従って、伝送用ミラーの数を増やすと、反射光子ビームの広がりが増大する可能性がある。更に、受光用ミラーの数を減らすと、受光フィールドが狭くなり、周囲光条件(雲、雨、霧、極端な熱、及び他の環境条件)が補償され、信号対雑音比が改善する可能性がある。また、上記のように、放出光ビームは典型的に反射光部分よりも細いので、偏向アレイの小さい部分によって充分に偏向できる。更に、伝送に使用される偏向アレイの部分(例えば伝送用ミラー)から反射した光がセンサ116に到達するのを阻止し、これによって、システム動作に対するLIDARシステム100の内部反射の効果を低減できる。また、少なくとも1つのプロセッサ118は、例えば熱的効果及び利得効果による機械的障害及びドリフトを克服するように1つ以上のリフレクタユニット314を枢動させることができる。一例において、1つ以上のリフレクタユニット314は、意図されるもの(周波数、レート、速度等)とは異なるように移動する可能性があるが、それらの移動は偏向器を適切に電気的に制御することによって補償され得る。
[099] 図3Dは、LIDARシステム100の環境を機械的にスキャンする例示的なLIDARシステム100を示す。この例において、LIDARシステム100は、LIDARシステム100の軸を中心として筐体200を回転させるためのモータ又は他の機構を含み得る。あるいは、モータ(又は他の機構)は、1つ以上の光源112及び1つ以上のセンサ116が搭載されているLIDARシステム100の剛性構造を機械的に回転させ、これによって環境をスキャンすることができる。上述のように、投影ユニット102は、光放出を投影するように構成された少なくとも1つの光源112を含み得る。投影された光放出はアウトバウンド経路に沿って視野120の方へ進むことができる。具体的には、投影光204が任意選択的な光学ウィンドウ124の方へ進む場合、投影された光放出は偏向器114Aによって反射されて出射アパーチャ314を通ることができる。反射された光放出は、物体208から帰還経路に沿って検知ユニット106の方へ進むことができる。例えば、反射光206が検知ユニット106の方へ進む場合、反射光206は偏向器114Bによって反射される。1つ以上の光源又は1つ以上のセンサを同期して回転させるための回転機構を備えたLIDARシステムは、内部光偏向器を操縦する代わりに(又はそれに加えて)この同期させた回転を用い得ることは、当業者によって認められよう。
[0100] 視野120のスキャンが機械的である実施形態において、投影された光放出は、投影ユニット102をLIDARシステム100の他の部分から分離する壁316の一部である出射アパーチャ314へ誘導できる。いくつかの例において、壁316は、偏向器114Bを形成するため反射性材料で覆われた透明な材料(例えばガラス)で形成することができる。この例において、出射アパーチャ314は、反射性材料で覆われていない壁316の部分に相当し得る。これに加えて又はこの代わりに、出射アパーチャ314は壁316の孔又は切断部を含み得る。反射光206は、偏向器114Bによって反射され、検知ユニット106の入射アパーチャ318の方へ誘導され得る。いくつかの例において、入射アパーチャ318は、特定の波長範囲内の波長を検知ユニット106に入射させると共に他の波長を減衰させるように構成されたフィルタウィンドウを含み得る。視野120からの物体208の反射は、偏向器114Bによって反射されてセンサ116に入射することができる。反射光206のいくつかの特性を投影光204と比較することによって、物体208の少なくとも1つの様相を決定できる。例えば、投影光204が光源112によって放出された時点とセンサ116が反射光206を受光した時点とを比較することによって、物体208とLIDARシステム100との間の距離を決定できる。いくつかの例では、物体208の形状、色、材料のような他の様相も決定され得る。
[0101] いくつかの例において、LIDARシステム100(又は、少なくとも1つの光源112及び少なくとも1つのセンサ116を含むその一部)を、少なくとも1つの軸を中心として回転させて、LIDARシステム100の周囲の3次元マップを決定することができる。例えば、視野120をスキャンするため、矢印320で示されているように実質的な垂直軸を中心としてLIDARシステム100を回転させることができる。図3Dは、矢印320で示されているように軸を中心として時計回りにLIDARシステム100を回転させることを示すが、これに加えて又はこの代わりに、LIDARシステム100を反時計回りに回転させてもよい。いくつかの例において、LIDARシステム100は垂直軸を中心として360度回転させることができる。他の例において、LIDARシステム100は、LIDARシステム100の360度よりも小さいセクタに沿って前後に回転させ得る。例えば、LIDARシステム100を、完全な回転を行うことなく軸を中心として前後に揺れるプラットフォーム上に搭載することができる。
検知ユニット
[0102] 図4Aから図4Eは、LIDARシステム100における検知ユニット106の様々な構成及びその役割を示す。具体的には、図4Aは、検出器アレイを備えた例示的な検知ユニット106を示す図であり、図4Bは、2次元センサを用いたモノスタティックスキャンを示す図であり、図4Cは、2次元センサ116の一例を示す図であり、図4Dは、センサ116に関連付けられたレンズアレイを示す図であり、図4Eは、レンズ構造を示す3つの図を含む。図示されている検知ユニット106の構成は単なる例示であり、本開示の原理と一致する多くの代替的な変形及び変更を有し得ることは、当業者に認められよう。
[0103] 図4Aは、検出器アレイ400を備えた検知ユニット106の一例を示す。この例において、少なくとも1つのセンサ116は検出器アレイ400を含む。LIDARシステム100は、LIDARシステム100から異なる距離に位置する(数メートル又はそれ以上であり得る)視野120内の物体(例えば自転車208A及び雲208B)を検出するように構成されている。物体208は、固体の物体(例えば道路、木、自動車、人物)、流体の物体(例えば霧、水、大気中の粒子)、又は別のタイプの物体(例えばほこり又は照射された粉末状物体)であり得る。光源112から放出された光子が物体208に当たると、光子は反射、屈折、又は吸収される。典型的には、図に示されているように、物体208Aから反射した光子のうち一部分のみが任意選択的な光学ウィンドウ124に入射する。距離の15cmまでの変化によって1nsの移動時間差が生じるので(光子は物体208との間で光の速度で移動するので)、異なる物体に当たった異なる光子の移動時間の時間差は、充分に迅速な応答で光時間センサによって検出可能であり得る。
[0104] センサ116は、視野120から反射して戻ってきた光子パルスの光子を検出するための複数の検出素子402を含む。検出素子は全て、(例えば図示されているような)矩形配列又は他の任意の配列を有し得る検出器アレイ400に含まれ得る。検出素子402は同時に又は部分的に同時に動作することができる。具体的には、各検出素子402はサンプリング期間ごとに(例えば1ナノ秒ごとに)検出情報を提供し得る。一例において、検出器アレイ400は、共通のシリコン基板上の単一光子アバランシェダイオード(SPAD、検出素子402として機能する)のアレイから構築された固体単一光子検知デバイスであるSiPM(シリコン光電子増倍管)とすることができる。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。上述のように、2つ以上のタイプのセンサが実施され得る(例えばSiPM及びAPD)。場合によっては、検知ユニット106は、別個の又は共通のシリコン基板上に、SiPMアレイに一体化された少なくとも1つのAPD及び/又はSiPMに隣接して配置された少なくとも1つのAPD検出器を含む。
[0105] 一実施形態において、検出素子402を複数の領域404にグループ化することができる。これらの領域は、センサ116内の(例えば検出器アレイ400内の)幾何学的ロケーション又は環境であり、様々な形状に形成できる(例えば図示のような矩形、方形、環状等、又は他の任意の形状)。ある領域404の幾何学的エリア内に含まれる個々の検出器の全てがその領域に属するわけではないが、ほとんどの場合、領域間の境界にある程度の重複が望ましい場合を除いて、それらの検出器は、センサ310の他のエリアをカバーする他の領域404には属さない。図4Aに示されているように、これらの領域は非重複領域404であり得るが、重なっている場合もある。全ての領域に、その領域に関連した領域出力回路406を関連付けることができる。領域出力回路406は、対応する検出素子402のグループの領域出力信号を提供できる。例えば、領域出力回路406は加算回路とすればよいが、各検出器の出力を単一出力に組み合わせる他の形態も採用され得る(スカラー、ベクトル、又は他の任意のフォーマットにかかわらず)。任意選択的に、各領域404は単一のSiPMであるが、必ずしもそうとは限らず、1つの領域は、単一のSiPMの小部分、いくつかのSiPMのグループ、又は異なるタイプの検出器の組み合わせとしてもよい。
[0106] 図示されている例において、処理ユニット108は、(例えば車両110内の)ホスト210(の内部又は外部の)分離された筐体200Bに配置され、検知ユニット106は、反射光を分析するための専用プロセッサ408を含み得る。あるいは、反射光206を分析するために処理ユニット108を使用してもよい。LIDARシステム100は、図示されている例とは異なるやり方で複数の筐体に実装できることに留意するべきである。例えば、光偏向器114を、投影ユニット102及び/又は検知モジュール106とは異なる筐体に配置してもよい。一実施形態において、LIDARシステム100は、電気ワイヤ接続、無線接続(例えばRF接続)、光ファイバケーブル、及び上記のものの任意の組み合わせのような異なるやり方で相互に接続された複数の筐体を含むことができる。
[0107] 一実施形態において、反射光206の分析は、異なる領域の個々の検出器の出力に基づいて反射光206の飛行時間を決定することを含み得る。任意選択的に、プロセッサ408は、複数の領域の出力信号に基づいて反射光206の飛行時間を決定するように構成できる。飛行時間に加えて、処理ユニット108は反射光206を分析して帰還パルス全体の平均パワーを決定することができ、帰還パルス期間における光子分布/信号(「パルス形状」)を決定できる。図示されている例において、任意の検出素子402の出力は直接プロセッサ408に送信されず、領域404の他の検出器の信号と組み合わされ(例えば加算され)た後にプロセッサ408に渡すことができる。しかしながら、これは単なる例示であり、センサ116の回路は検出素子402からの情報を他のルートで(領域出力回路406を介することなく)プロセッサ408に送信することも可能である。
[0108] 図4Bは、2次元センサ116を用いてLIDARシステム100の環境をスキャンするように構成されたLIDARシステム100を示す図である。図4Bの例において、センサ116は、4×6の検出器410(「画素」とも称される)の行列である。一実施形態において、画素サイズは約1×1mmとすることができる。センサ116は、2つの非平行な軸(例えば、図示の例に示されているような直交軸)において検出器410の2つ以上のセット(例えば行、列)を有するという意味で2次元である。センサ116内の検出器410の数は、例えば所望の分解能、信号対雑音比(SNR)、所望の検出距離等に応じて、様々な実施において変動し得る。例えば、センサ116は5から5,000までのいずれかの数の画素を有し得る。別の例(図には示していない)では、また、センサ116を1次元行列としてもよい(例えば1×8画素)。
[0109] 各検出器410は複数の検出素子402を含み得る。検出素子402は、例えばアバランシェフォトダイオード(APD)、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)と単一光子アバランシェダイオード(SPAD)の組み合わせ、又は、レーザパルス送信イベントから受信イベントまでの飛行時間及び受信光子の強度の双方を測定する検出素子である。例えば各検出器410は、20から5,000までのいずれかの数のSPADを含み得る。各検出器410内の検出素子402の出力を、加算、平均化、又は他の方法で組み合わせて、一体的な画素出力を与えることができる。
[0110] 図示されている例において、検知ユニット106は、LIDARシステム100の視野120よりも小さい視野を有する2次元センサ116(又は複数の2次元センサ116)を含み得る。この考察において、視野120(いずれの方向にも移動、回転、又は横揺れすることなくLIDARシステム100によってスキャンできる全視野)を「第1のFOV412」と表記し、より小さいセンサ116の視野を「第2のFOV412」(「瞬時FOV」と言い換え可能である)と表記する。第1のFOV412に対する第2のFOV414の対象範囲は、LIDARシステム100の具体的な用途に応じて異なり、例えば0.5%から50%の間とすることができる。一例において、第2のFOV412は垂直方向に細長い0.05°から1°の間とすればよい。LIDARシステム100が2つ以上の2次元センサ116を含む場合であっても、それらのセンサアレイの視野の組み合わせは依然として第1のFOV412よりも小さく、例えば少なくとも5分の1、少なくとも10分の1、少なくとも20分の1、少なくとも50分の1であり得る。
[0111] 第1のFOV412をカバーするため、スキャンユニット106は、異なる時点で環境の異なる部分から到達する光子をセンサ116へ誘導することができる。図示されているモノスタティック構成では、投影光204を視野120の方へ誘導すると共に、少なくとも1つの偏向器114が瞬時位置に配置された場合、スキャンユニット106は反射光206をセンサ116へ誘導することができる。典型的に、第1のFOV412のスキャン中の各時点で、LIDARシステム100によって放出される光ビームは、(角度開口で)第2のFOV414よりも大きい環境の部分をカバーし、スキャンユニット104及びセンサ116によって集光される環境の部分を含む。
[0112] 図4Cは2次元センサ116の一例を示す図である。この実施形態において、センサ116は8×5の検出器410の行列であり、各検出器410は複数の検出素子402を含む。一例において、検出器410Aはセンサ116の第2の行(「R2」と表記されている)及び第3の列(「C3」と表記されている)に位置し、4×3の検出素子402の行列を含む。別の例において、検出器410Bはセンサ116の第4の行(「R4」と表記されている)及び第6の列(「C6」と表記されている)に位置し、3×3の検出素子402の行列を含む。従って、各検出器410内の検出素子402の数は一定であるか又は異なる場合があり、共通アレイ内の異なる検出器410は異なる数の検出素子402を有し得る。各検出器410内の全ての検出素子402の出力を、加算、平均化、又は他の方法で組み合わせて、単一の画素出力値を提供することができる。図4Cの例における検出器410は矩形の行列(直線の行及び直線の列)に配列されているが、例えば円形の配列又はハニカム配列のような他の配列を用いてもよい。
[0113] いくつかの実施形態によれば、各検出器410からの測定によって、光パルス放出イベントから受信イベントまでの飛行時間及び受信光子の強度を決定することが可能となる。受信イベントは、光パルスが物体208から反射された結果であり得る。飛行時間は、反射物体から任意選択的な光学ウィンドウ124までの距離を表すタイムスタンプ値であり得る。飛行時間値は、時間相関単一光子計数(TCSPC:Time Correlated Single Photon Counter)のような光子検出及び計数方法、信号積分及び検定(signal integration and qualification)のようなアナログの光子検出方法(アナログ−デジタル変換又は簡素な比較器による)、又は他の方法によって認識することができる。
[0114] いくつかの実施形態において、また図4Bを参照すると、スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。センサ116の設計によって、視野120の単一部分からの反射光と複数の検出器410との関連付けが可能となる。従って、LIDARシステムのスキャン解像度は、(1スキャンサイクル当たりの)瞬時位置の数にセンサ116内の検出器410の数を乗算することによって表され得る。各検出器410(すなわち各画素)からの情報は、3次元空間においてキャプチャされた視野が構築される基本データ要素を表す。これは例えば、ポイントクラウド表現の基本要素を含み、空間位置及び関連付けられた反射強度値を有する。一実施形態において、複数の検出器410によって検出された視野120の単一部分からの反射は、視野120のその単一部分内に位置する様々な物体から戻ってきた可能性がある。例えば、視野120の単一部分は遠視野で50×50cmよりも大きい場合があり、相互に部分的に重なった2つ、3つ、又はそれ以上の物体を容易に含み得る。
[0115] 図4Dは、ここに開示される主題の例に従ったセンサ116の一部の横断面図である。センサ116の図示されている部分は、4つの検出素子402(例えば4つのSPAD、4つのAPD)を含む検出器アレイ400の一部を含む。検出器アレイ400は、相補型金属酸化膜半導体(CMOS)で実現された光検出器センサとすればよい。検出素子402の各々は、周囲の基板内に位置決めされた検知エリアを有する。必ずしもそうとは限らないが、センサ116は、狭い視野を有するモノスタティックLiDARシステムにおいて使用することができる(例えば、スキャンユニット104が異なる時点で異なる視野部分をスキャンするので)。入射光ビームのための狭い視野は、実施された場合、焦点外の撮像の問題を解消する。図4Dに例示されているように、センサ116は複数のレンズ422(例えばマイクロレンズ)を含むことができ、各レンズ422は入射光を異なる検出素子402の方へ(例えば検出素子402のアクティブエリアの方へ)誘導することができ、これは焦点外の撮像が問題でない場合に使用可能であり得る。センサ116に到達する光のほとんどを検出素子402のアクティブエリアの方へ偏向させ得るので、レンズ422を用いて検出器アレイ400の開口率(optical fill factor)及び感度を増大することができる。
[0116] 図4Dに例示されているような検出器アレイ400は、様々な方法(例えばインプラント)によってシリコン基板内に埋め込まれたいくつかの層を含むことができ、この結果、検知エリア、金属層に対する接点要素、及び絶縁要素(例えばシャロートレンチインプラント(STI)、ガードリング、光学トレンチ等)が得られる。検知エリアは、CMOS検出器における体積測定要素(volumetric element)であり、デバイスに適正な電圧バイアスが印加された場合に、入射する光子の電流への光学的変換を可能とする。APD/SPADの場合、検知エリアは、電界の組み合わせによって、光子吸収により生じた電子を増倍エリアの方へ引っ張り、このエリアで光子誘起電子が増幅されて、増倍された電子のアバランシェ破壊を引き起こす。
[0117] 前側の照射された検出器(例えば図4Dに示されているような)は、半導体(シリコン)の上にある金属層と同じ側に入力光ポートを有する。金属層は、個々の光検出器要素(例えばアノード及びカソード)と、バイアス電圧、クエンチング/バラスト要素、及び共通アレイ内の他の光検出器のような様々な要素との電気的接続を実現する必要がある。光子が検出器の検知エリアに入射する際に通過する光学ポートは、金属層を介した通路で構成されている。この通路を介したいくつかの方向からの光の通過は、1つ以上の金属層(例えば図4Dの最も左側の検出器要素402に図示されている金属層ML6)によって阻止され得ることに留意するべきである。このような阻止は、検出器の全体的な光吸収効率を低下させる。
[0118] 図4Eは、ここに開示される主題の例に従った、それぞれにレンズ422が関連付けられた3つの検出素子402を示す。402(1)、402(2)、及び402(3)と表記された図4Eの3つの検出素子の各々は、センサ116の検出素子402の1つ以上に関連付けて実施され得るレンズ構成を示している。これらのレンズ構成の組み合わせも実施できることに留意するべきである。
[0119] 検出素子402(1)に関して図示されているレンズ構成では、関連付けられたレンズ422の焦点は半導体表面よりも上に位置することができる。任意選択的に、検出素子の様々な金属層内の開口は、関連付けられたレンズ422によって生じる集束光の円錐形と整合した様々な大きさを有し得る。このような構造は、デバイス全体としてアレイ400の信号対雑音比及び分解能を改善することができる。パワーの伝送及び接地シールドのために大きい金属層が重要であり得る。この手法は例えば、入射光ビームが平行光線で構成され、撮像焦点が検出信号に対して何の影響も及ぼさない狭い視野を有するモノスタティックLiDAR設計において有用であり得る。
[0120] 検出素子402(2)に関して図示されているレンズ構成では、スイートスポットを識別することによって、検出素子402による光子検出の効率を改善することができる。具体的には、CMOSで実装される光検出器は、検知体積エリア内に、光子がアバランシェ効果を生じる確率が最も高いスイートスポットを有し得る。従って、検出素子402(2)で例証されるように、レンズ422の焦点を検知体積エリア内部のスイートスポットロケーションに位置決めすることができる。レンズ形状及び焦点からの距離は、レンズから半導体材料内に埋め込まれた検知スイートスポットロケーションまでの経路に沿ってレーザビームが通過する全ての要素の屈折率を考慮に入れることができる。
[0121] 図4Eの右側の検出素子に関して図示されているレンズ構成では、拡散器及び反射要素を用いて、半導体材料における光子吸収の効率を改善することができる。具体的には、近IR波長では、シリコン材料の著しく長い経路を用いて、この経路を進む光子の高い吸収確率を達成する必要がある。典型的なレンズ構成では、光子は検知エリアを横断することがあり、吸収されて検出可能電子にならない可能性がある。光子が電子を生成する確率を改善する長い吸収経路によって、検知エリアの大きさは、典型的な製造プロセスで製造されるCMOSデバイスにとって実用的でない寸法(例えば数十um)になる。図4Eの最も右側の検出器要素は、入射光子を処理するための技法を示している。関連付けられたレンズ422は入射光を拡散器要素424上に集束する。一実施形態において、光センサ116は、検出器のうち少なくともいくつかの外面から離れたギャップ内に位置する拡散器を更に含み得る。例えば拡散器424は、光ビームを横方向へ(例えばできる限り垂直方向に)検知エリア及び反射性光学トレンチ426の方へ向けることができる。拡散器の位置は、焦点、焦点よりも上方、又は焦点よりも下方である。この実施形態において、入射光は、拡散器要素が配置されている特定のロケーション上に集束され得る。任意選択的に、検出器要素422は、光子誘起電子が失われて有効検出効率を低下させ得る非アクティブエリアを光学的に回避するように設計される。反射性光学トレンチ426(又は他の形態の光学的に反射性の構造)は、光子を検知エリア内で往復させ、これによって検出の可能性が増大させる。理想的には、光子が吸収されて電子/ホール対を生成するまで無制限に、光子は、検知エリア及び反射性トレンチから成るキャビティ内でトラップされる。
[0122] 本開示に従って、入射する光子を吸収して高い検出確率に寄与するため、長い経路が生成される。また、検出素子422において、他の検出器に漏れて誤検出イベントを発生する可能性のあるなだれ中の寄生光子のクロストーク効果を低減するため、光学トレンチも実施することができる。いくつかの実施形態によれば、より高い歩留まりの受信信号を利用する、つまり、できるだけ多くの受信信号を受信し、信号の内部劣化で失われる信号が少なくなるように、光検出器アレイを最適化することができる。光検出器アレイは、(a)任意選択的に基板の上方にある金属層を適切に設計することによって、半導体表面よりも上のロケーションに焦点を移動させること、(b)基板の最も応答性の高い/感度の高いエリア(すなわち「スイートスポット」)に焦点を誘導すること、(c)基板よりも上方に拡散器を追加して信号を「スイートスポット」の方へ誘導すること、及び/又は反射性材料をトレンチに追加して、偏向された信号を反射して「スイートスポット」に戻すことによって、改善することができる。
[0123] いくつかのレンズ構成において、レンズ422は、対応する検出素子402の中心の上方に焦点があるように位置決めされ得るが、必ずしもそうとは限らないことに留意するべきである。他のレンズ構成では、対応する検出素子402の中心に対するレンズ422の焦点の位置は、検出アレイ400の中心からの各検出素子402の距離に基づいてシフトされる。これは、中心から遠い検出器要素の方が軸から大きく外れた角度で光を受光する比較的大きい検出アレイ400において有用であり得る。焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、入射角の補正が可能となる。具体的には、焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、検出器の表面に対して同一角度に位置決めされた全ての検出素子で実質的に同じレンズ422を用いながら、入射角の補正が可能となる。
[0124] 検出素子402のアレイにレンズ422のアレイを追加することは、視野の小さい部分のみをカバーする比較的小さいセンサ116を用いる場合に有用であり得る。そのような場合、シーンからの反射信号は実質的に同じ角度から検出器アレイ400に到達するので、全ての光を個々の検出器上に容易に集束できるからである。また、一実施形態においては、空間的な区別性(distinctiveness)を犠牲にして、アレイ400全体の検出確率の増大を促進する(検出器/サブ検出器間の無効エリアで光子が「無駄になる」ことを防止する)ため、LIDARシステム100でレンズ422を使用できることに留意するべきである。この実施形態は、空間的な区別性を優先するCMOS RGBカメラのような従来の実施(すなわち、検出素子Aの方向に伝搬する光をレンズによって検出素子Bの方へ誘導することはできない、つまり、アレイの別の検出素子に「流す(bleed)」ことはできない)とは対照的である。任意選択的に、センサ116は、各々が対応する検出素子402に相関付けられたレンズ422のアレイを含むが、レンズ422のうち少なくとも1つは、第1の検出素子402へ伝搬する光を第2の検出素子402の方へ偏向させる(これによってアレイ全体の検出確率を増大することができる)。
[0125] 具体的には、本開示のいくつかの実施形態に従って、光センサ116は光検出器のアレイ(例えば検出器アレイ400)を含むことができ、各光検出器(例えば検出器410)は、各検出器の外面を光が通過した場合に電流を流すように構成されている。更に、光センサ116は、光検出器のアレイの方へ光を誘導するように構成された少なくとも1つのマイクロレンズを含むことができ、少なくとも1つのマイクロレンズは焦点を有する。光センサ116は更に、少なくとも1つのマイクロレンズと光検出器のアレイとの間に介在すると共に少なくとも1つのマイクロレンズからアレイへ光を通過させるギャップを有する導電性材料の少なくとも1つの層を含むことができ、少なくとも1つの層は、少なくとも1つのマイクロレンズとアレイとの間に空間を維持するような大きさに形成され、ギャップ内で、光検出器のアレイの検出表面から離間したロケーションに焦点(例えば焦点は平面であり得る)を位置付ける。
[0126] 関連する実施形態において、各検出器は複数の単一光子アバランシェダイオード(SPAD)又は複数のアバランシェフォトダイオード(APD)を含み得る。導電性材料は多層金属狭窄部(constriction)とすることができ、導電性材料の少なくとも1つの層はアレイ内の検出器に電気的に接続することができる。一例において、導電性材料の少なくとも1つの層は複数の層を含む。更に、ギャップは、少なくとも1つのマイクロレンズから焦点の方へ収束し、かつ、焦点の領域からアレイの方へ発散するような形状とすることができる。他の実施形態において、光センサ116は、各光検出器に隣接した少なくとも1つのリフレクタを更に含み得る。一実施形態において、レンズアレイに複数のマイクロレンズを配置し、検出器アレイに複数の検出器を配置することができる。別の実施形態において、複数のマイクロレンズは、アレイ内の複数の検出器へ光を投影するように構成された単一のレンズを含み得る。
処理ユニット
[0127] 図5Aから図5Cは、本開示のいくつかの実施形態に従った処理ユニット108の様々な機能を示している。具体的には、図5Aは視野の単一の部分の単一のフレーム時間内の放出パターンを示す図であり、図5Bは視野全体の単一のフレーム時間内の放出スキームを示す図であり、図5Cは単一のスキャンサイクル中に視野の方へ投影された実際の光放出を示す図である。
[0128] 図5Aは、少なくとも1つの光偏向器114の瞬時位置に関連付けられた視野120の単一の部分122の単一のフレーム時間内の放出パターンの4つの例を示す。本開示の実施形態に従って、処理ユニット108は、視野120のスキャンにおいて光束を変動させ得るように、少なくとも1つの光源112及び光偏向器114を制御する(又は、少なくとも1つの光源112及び少なくとも1つの光偏向器114の動作を連携させる)ことができる。他の実施形態に従って、処理ユニット108は少なくとも1つの光源112のみを制御し、光偏向器114は固定の既定パターンで移動又は枢動させることができる。
[0129] 図5Aの図AからDは、視野120の単一の部分122の方へ放出された光のパワーを経時的に示す。図Aにおいて、プロセッサ118は、視野120のスキャン中に初期光放出が視野120の部分122の方へ投影されるように光源112の動作を制御することができる。投影ユニット102がパルス光光源を含む場合、初期光放出は1つ以上の初期パルス(「パイロットパルス」とも称される)を含み得る。処理ユニット108は、初期光放出に関連付けられた反射についてのパイロット情報をセンサ116から受信することができる。一実施形態において、パイロット情報は、1つ以上の検出器(例えば1つ以上のSPAD、1つ以上のAPD、1つ以上のSiPM等)の出力に基づく単一の信号として、又は複数の検出器の出力に基づく複数の信号として表現され得る。一例において、パイロット情報はアナログ及び/又はデジタル情報を含み得る。別の例において、パイロット情報は単一の値及び/又は(例えば異なる時点及び/又はセグメントの異なる部分の)複数の値を含み得る。
[0130] 初期光放出に関連付けられた反射についての情報に基づいて、処理ユニット108は、この後に視野120の部分122の方へ投影される光放出のタイプを決定するように構成できる。視野120の特定部分について決定されたこの後の光放出は、同一のスキャンサイクル中に(すなわち同一のフレーム内で)、又は後続のスキャンサイクルで(すなわち後続のフレーム内で)実施され得る。この実施形態については図23から図25を参照して以下で更に詳しく説明する。
[0131] 図Bにおいて、プロセッサ118は、視野120のスキャン中に異なる強度の光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、1つ以上の異なるタイプの深度マップを生成するように動作可能であり得る。深度マップのタイプは例えば、ポイントクラウドモデル、ポリゴンメッシュ、深度画像(画像の各画素もしくは2Dアレイの深度情報を保持する)、又はシーンの他の任意のタイプの3Dモデルのうちいずれか1つ以上である。深度マップのシーケンスは、異なる深度マップが異なる時点で生成される時系列であり得る。スキャンサイクル(「フレーム」と言い換え可能である)に関連付けられたシーケンスの各深度マップは、対応するその後のフレーム時間の期間内に生成できる。一例において、典型的なフレーム時間は1秒未満持続し得る。いくつかの実施形態において、LIDARシステム100は、固定フレームレート(例えば毎秒10フレーム、毎秒25フレーム、毎秒50フレーム)を有するか、又はフレームレートは動的であり得る。他の実施形態において、シーケンス内の異なるフレームのフレーム時間は同一でない場合がある。例えばLIDARシステム100は、毎秒10フレームのレートを実施し、(平均)100ミリ秒で第1の深度マップ、92ミリ秒で第2のフレーム、142ミリ秒で第3のフレームを生成する等とすることができる。
[0132] 図Cにおいて、プロセッサ118は、視野120のスキャン中に異なる持続時間の光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、各フレームにおいて異なる数のパルスを発生するように動作可能であり得る。パルスの数は0から32の間のパルス(例えば1、5、12、28、又はそれ以上のパルス)で変動する可能性があり、以前の放出から得られた情報に基づき得る。光パルスと光パルスとの間の時間は所望の検出範囲に依存し、500nsから5000nsまでの間とすることができる。一例において、処理ユニット108は、各光パルスに関連付けられた反射についての情報をセンサ116から受信することができる。この情報(又は情報の欠如)に基づいて、処理ユニット108は追加の光パルスが必要であるか否かを判定できる。図AからDにおける処理時間及び放出時間の期間は縮尺どおりでないことに留意するべきである。具体的には、処理時間は放出時間よりも著しく長い場合がある。図Dにおいて、処理ユニット102は連続波光源を含み得る。一実施形態において、初期光放出は光が放出される時間期間を含み、後続の放出は初期放出に連続しているか、又は不連続であり得る。一実施形態において、連続的な放出の強度は経時的に変化し得る。
[0133] 本開示のいくつかの実施形態に従って、放出パターンは、視野120の各部分ごとに決定することができる。言い換えると、プロセッサ118は、視野120の異なる部分の照射の差別化を可能とするように光放出を制御できる。一例において、プロセッサ118は、同一スキャンサイクル(例えば初期放出)からの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。これによってLIDARシステム100は極めて動的となる。別の例において、プロセッサ118は、以前のスキャンサイクルからの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。後続の放出について、以下のうちいずれか1つのような光源パラメータの異なる値を決定することによって、後続の放出のパターンに差が生じ得る。
a.後続の放出の全体的なエネルギ
b.後続の放出のエネルギプロファイル
c.1フレーム当たりの光パルス繰り返し数
d.持続時間、レート、ピーク、平均パワー、及びパルス形状等の光変調特性
e.偏光や波長等、後続の放出の波動特性
[0134] 本開示に従って、後続の放出の差別化を異なる用途に供することができる。一例において、安全性が検討事項である視野120の部分では放出パワーレベルを制限すると共に、視野120の他の部分ではより高いパワーレベルを放出することができる(これによって信号対雑音比及び検出範囲を改善する)。これは目の安全に関連するが、更に、皮膚の安全、光学システムの安全、検知材料の安全、及びそれ以外のものにも関連し得る。別の例では、同一フレーム又は以前のフレームからの検出結果に基づいて、より有益である視野120の部分(例えば関心領域、遠くにあるターゲット、低反射ターゲット等)の方へ、より大きいエネルギを誘導すると共に、視野120の他の部分への照射エネルギを制限することができる。処理ユニット108は、単一のスキャンフレーム時間内で単一の瞬時視野からの検出信号を数回処理できることに留意するべきである。例えば、各パルスの放出後、又はある数のパルスの放出後に、後続の放出を決定できる。
[0135] 図5Bは、視野120の単一のフレーム時間における放出スキームの3つの例を示す。本開示の実施形態に従って、少なくとも1つの処理ユニット108は、取得情報を用いて、動的にLIDARシステム100の動作モードを調整する及び/又はLIDARシステム100の特定のコンポーネントのパラメータ値を決定できる。取得情報は、視野120でキャプチャされたデータの処理から決定するか、又はホスト210から(直接的又は間接的に)受信することができる。処理ユニット108は、取得情報を用いて、視野120の異なる部分をスキャンするためのスキャンスキームを決定できる。取得情報は、現在の光条件、現在の気候条件、ホスト車両の現在の運転環境、ホスト車両の現在のロケーション、ホスト車両の現在の軌道、ホスト車両の周りの道路の現在の地形、又は光反射によって検出できる他の任意の条件もしくは物体を含み得る。いくつかの実施形態において、決定されるスキャンスキームは以下のうち少なくとも1つを含み得る。(a)スキャンサイクルの一部としてアクティブにスキャンされる視野120内の部分の指定、(b)視野120の異なる部分における光放出プロファイルを規定する投影ユニット102の投影プラン、(c)例えば偏向方向、周波数を規定し、リフレクタアレイ内のアイドル要素を指定するスキャンユニット104の偏向プラン、及び(d)検出器の感度又は応答パターンを規定する検知ユニット106の検出プラン。
[0136] 更に処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの関心領域及び視野120内の少なくとも1つの非関心領域の識別を得ることによって、スキャンスキームを決定できる。いくつかの実施形態において処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの高い関心領域及び視野120内の少なくとも1つの低い関心領域の識別を得ることによって、スキャンスキームを決定できる。視野120内の少なくとも1つの関心領域の識別は、例えば、視野120内でキャプチャされたデータの処理から、別のセンサ(例えばカメラ、GPS)のデータに基づいて、ホスト210から(直接的に又は間接的に)受信して、又は上記のもののいずれかの組み合わせによって決定され得る。いくつかの実施形態において、少なくとも1つの関心領域の識別は、監視することが重要である視野120内の部分、エリア、セクション、画素、又は物体の識別を含み得る。関心領域として識別される可能性のあるエリアの例は、横断歩道、移動する物体、人物、付近の車両、又は車両ナビゲーションに役立ち得る他の任意の環境条件もしくは物体を含み得る。非関心領域(又は低関心領域)として識別される可能性のあるエリアの例は、静的な(移動していない)遠くの建物、スカイライン、地平線よりも上のエリア、及び視野内の物体であり得る。視野120内の少なくとも1つの関心領域の識別を取得したら、処理ユニット108は、スキャンスキームを決定するか又は既存のスキャンスキームを変更することができる。(上述したように)光源パラメータを決定又は変更することに加えて、処理ユニット108は、少なくとも1つの関心領域の識別に基づいて検出器リソースを割り当てることができる。一例においては、ノイズを低減するため、処理ユニット108は、関心領域に相当すると予想される検出器410を活性化し、非関心領域に相当すると予想される検出器410を無効にすることができる。別の例において、処理ユニット108は、例えば反射パワーが低い長距離検出に対するセンサ感度を増大するように、検出器感度を変更できる。
[0137] 図5Bの図AからCは、視野120をスキャンするための異なるスキャンスキームの例を示す。視野120内の方形はそれぞれ、少なくとも1つの偏向器114の瞬時位置に関連付けられた異なる部分122を表している。説明文500に、方形の充填パターンによって表される光束レベルが記載されている。図Aは、全ての部分が同じ重要度/優先度を有し、それらにデフォルト光束が割り当てられている第1のスキャンスキームを示す。第1のスキャンスキームは、始動段階で利用するか、又は別のスキャンスキームと周期的に交互に用いて予想外の物体/新しい物体について全視野を監視することができる。一例において、第1のスキャンスキームの光源パラメータは、一定振幅で光パルスを発生するように構成できる。図Bは、視野120の一部に高光束が割り当てられ、視野120の残り部分にデフォルト光束及び低光束が割り当てられている第2のスキャンスキームを示す。最も関心の低い視野120の部分に低光束を割り当てることができる。図Cは、視野120内で小型車両及びバス(シルエットを参照)が識別されている第3のスキャンスキームを示す。このスキャンスキームでは、車両及びバスの輪郭を高いパワーで追跡し、車両及びバスの中央部分に低レベルの光束を割り当てる(又は光束を割り当てない)ことができる。このような光束割り当てによって、光学予算の多くを識別された物体の輪郭に集中させ、重要度の低い中央部には少なくすることができる。
[0138] 図5Cは、単一のスキャンサイクル中に視野120の方へ向かう光の放出を示している。図示の例において、視野120は8×9の行列によって表現され、72のセルの各々は、少なくとも1つの光偏向器114の異なる瞬時位置に関連付けられた別個の部分122に対応する。この例示的なスキャンサイクルにおいて、各部分は、その部分の方へ投影された光パルスの数を表す1つ以上の白いドットを含み、いくつかの部分は、センサ116によって検出されたその部分からの反射光を表す黒いドットを含む。図示されているように、視野120は、視野120の右側のセクタI、視野120の中央のセクタII、及び視野120の左側のセクタIIIという3つの部分に分割されている。この例示的なスキャンサイクルにおいて、セクタIは最初に1部分当たり単一の光パルスが割り当てられ、過去に関心領域として識別されたセクタIIは最初に1部分当たり3つの光パルスが割り当てられ、セクタIIIは最初に1部分当たり2つの光パルスが割り当てられる。図示のように、視野120のスキャンによって4つの物体208が明らかとなっている。すなわち、近視野(例えば5から50メートルの間)における2つの自由形状の物体、中視野(例えば50から150メートルの間)における角の丸い方形の物体、及び、遠視野(例えば150から500メートルの間)における三角形の物体である。図5Cの検討では光束の割り当ての例としてパルス数を使用するが、視野の異なる部分に対する光束の割り当ては他のやり方で実施できることに留意するべきである。例えば、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のものを使用できる。図5Cの単一のスキャンサイクルのような光放出の説明は、LIDARシステム100の様々な機能を例証している。第1の実施形態において、プロセッサ118は、2つの光パルスを用いて第1の距離にある第1の物体(例えば角の丸い方形の物体)を検出し、3つの光パルスを用いて第1の距離よりも遠い第2の距離にある第2の物体(例えば三角形の物体)を検出するように構成されている。この実施形態については図11から図13を参照して以下で詳述する。第2の実施形態において、プロセッサ118は、関心領域が識別されている視野の部分に多くの光を割り当てるように構成されている。具体的には、この例において、セクタIIは関心領域として識別され、従って3つの光パルスが割り当てられたのに対し、視野120の残り部分には2つ以下の光パルスが割り当てられた。この実施形態については図20から図22を参照して以下で詳述する。第3の実施形態において、プロセッサ118は、最初に1部分当たり2つの光パルスが割り当てられたセクタIIIの一部である図5Cの部分B1、B2、及びC1に対し、単一の光パルスだけが投影されるように光源112を制御するよう構成されている。これを行う理由は、処理ユニット108が第1の光パルスに基づいて近視野の物体を検出したからである。この実施形態については図23から図25を参照して以下で詳述する。また、他の検討すべき事項の結果として、最大より少ないパルス量の割り当ても実行できる。例えば、少なくともいくつかの領域において、第1の距離の物体(例えば近視野の物体)が検出されると、視野120のこの部分へ放出する全体的な光量を低減することができる。この実施形態については図14から図16を参照して以下で詳述する。異なる部分に対するパワー割り当てを決定する他の理由については、図29から図31、図53から図55、及び図50から図52を参照して以下で更に検討する。
LIDARシステム100の様々なコンポーネント及びそれらに関連した機能についての更なる詳細及び例は、2016年12月28日に出願された本出願人の米国特許出願第15/391,916号、2016年12月29日に出願された本出願人の米国特許出願第15/393,749号、2016年12月29日に出願された本出願人の米国特許出願第15/393,285号、2016年12月29日に出願された本出願人の米国特許出願第15/393,593号に含まれる。これらは参照により全体が本願に含まれる。
例示的な実施:車両
[0139] 図6Aから図6Cは、車両(例えば車両110)におけるLIDARシステム100の実施を示す。上述した又は以下に記載するLIDARシステム100の態様はいずれも、車両110に組み込んで距離検知車両を提供することができる。具体的には、この例においてLIDARシステム100は、複数のスキャンユニット104と、場合によっては複数の投影ユニット102とを、単一の車両内に一体化している。一実施形態において、車両はそのようなLIDARシステムを利用して、重複ゾーン内及び重複ゾーンを超えた所でのパワー、範囲、及び精度の向上、更に、FOVの感度の高い部分(例えば車両の前方移動方向)における冗長性の向上が可能となる。図6Aに示されているように、車両110は、視野120Aのスキャンを制御するための第1のプロセッサ118Aと、視野120Bのスキャンを制御するための第2のプロセッサ118Bと、これら2つの視野のスキャンの同期を制御するための第3のプロセッサ118Cと、を含み得る。一例において、プロセッサ118Cは車両コントローラとすることができ、第1のプロセッサ118Aと第2のプロセッサ118Bとの間の共有インタフェースを有し得る。共有インタフェースは、時間的及び/又は空間的スペースにおける重複を形成するため、中間処理レベルでのデータ交換及び組み合わせ視野のスキャンの同期を可能とする。一実施形態において、共有インタフェースを用いて交換されるデータは、(a)重なっておりた視野及び/又はその近傍の画素に関連付けられた受信信号の飛行時間、(b)レーザステアリング位置ステータス、(c)視野内の物体の検出ステータスとすることができる。
[0140] 図6Bは、視野120Aと視野120Bとの間の重複領域600を示す。図示する例において、重複領域は、視野120Aからの24の部分122及び視野120Bからの24の部分122とに関連している。重複領域が規定されてプロセッサ118A及び118Bに既知であると仮定すると、各プロセッサは、複数の光源の光を対象とした目の安全の限度に従うため、又は光学予算を維持するといった他の理由から、重複領域600に放出される光の量を制限するように設計できる。更に、プロセッサ118A及び118Bは、スキャンユニット104Aとスキャンユニット104Bとの間のゆるい同期によって、及び/又はレーザ伝送タイミングの制御によって、及び/又は検出回路を有効にするタイミングによって、2つの光源が放出する光の干渉を回避できる。
[0141] 図6Cは、視野120Aと視野120Bとの間の重複領域600をどのように用いて車両110の検出距離を増大させ得るかを示している。本開示に従って、重複ゾーン内に公称光放出を投影する2つ以上の光源112を利用することで、有効検出範囲を増大できる。「検出範囲」という用語は、LIDARシステム100が物体を明瞭に検出できる車両110からのおおよその距離を含み得る。一実施形態において、LIDARシステム100の最大検出範囲は約300メートル、約400メートル、又は約500メートルである。例えば200メートルの検出範囲では、LIDARシステム100は、車両110から200メートル(又はそれ以下)に位置する物体を、物体の反射率が50%未満(例えば20%未満、10%未満、又は5%未満)である場合であっても、時間のうち95%超、99%超、99.5%超で検出し得る。更に、LIDARシステム100は1%未満の誤警報率を有し得る。一実施形態では、時間的及び空間的スペースに共に配置された2つの光源からの投影光を用いて、SNRを改善し、従って重複領域に位置する物体の範囲及び/又はサービス品質を向上させることができる。プロセッサ118Cは、視野120A及び120Bにおける反射光から高レベルの情報を抽出できる。「情報を抽出する」という用語は、当業者に既知の任意の手段によって、キャプチャした画像データ内で、物体、個体、ロケーション、イベント等に関連した情報を識別する任意のプロセスを含み得る。更に、プロセッサ118A及び118Bは、物体(道路の区切り、背景、歩行者、車両等)や運動ベクトルのような高レベル情報を共有することで、各プロセッサがもうすぐ関心領域になりそうな周辺領域に注意を向けることを可能とする。例えば、視野120A内の移動中の物体が間もなく視野120B内に入ることを判定できる。
例示的な実施:調査システム
[0142] 図6Dは、調査システムにおけるLIDARシステム100の実施を示している。上述のように、LIDARシステム100は静止物体650に固定することができ、静止物体650は、より広い視野を得るためLIDARシステム100の筐体を回転させるためのモータ又は他の機構を含み得る。あるいは、調査システムが複数のLIDARユニットを含むことも可能である。図6Dに示す例では、調査システムは単一の回転可能LIDARシステム100を用いて、視野120を表す3Dデータを取得すると共に、この3Dデータを処理して、人物652、車両654、環境の変化、又は他の任意の形態のセキュリティにとって重要なデータを検出することができる。
[0143] 本開示のいくつかの実施形態に従って、3Dデータは、小売業プロセスを監視するため分析することができる。一実施形態において、3Dデータは、物理的なセキュリティを必要とする小売業プロセスで使用できる(例えば、小売施設内への侵入、小売施設の内部又は周囲での破壊行為、保護エリアへの不正アクセス、及び駐車場内の自動車の周囲での不審な行動の検出)。別の実施形態において、3Dデータは、公共の安全のために使用できる(例えば、店舗敷地で滑って転ぶ人、店舗の床に危険な液体をこぼすこと又は通行妨害、店舗の駐車場での襲撃又は誘拐、火災非常口の通行妨害、及び店舗エリア内又は店舗外での混雑の検出)。別の実施形態において、3Dデータはビジネス機密データ収集のために使用できる(例えば、店舗エリアを通る人を追跡して、何人が通過するか、どこで立ち止まるか、どのくらいの間立ち止まるか、彼らの買い物習慣がどのように購買習慣と比較されるかを明らかにする)。
[0144] 本開示の他の実施形態に従って、3Dデータは、交通違反の取り締まりのために分析し使用することができる。具体的には、3Dデータを用いて、法定最高速度又は何らかの他の道路交通法の要件を超えて走行している車両を識別できる。一例では、LIDARシステム100を用いて、信号が赤である時に一時停止線又は指定の停止位置を超えている車両を検出できる。別の例では、LIDARシステム100を用いて、公共交通機関用に確保された車線を走行している車両を識別できる。更に別の例では、LIDARシステム100を用いて、赤信号では特定の方向転換が禁止されている交差点で方向転換している車両を識別できる。
[0145] 様々な開示される実施形態の例について、偏向器のスキャンを制御する制御ユニットに関連付けて上述すると共に以下でも記載するが、開示される実施形態の様々な特徴はそのようなシステムに限定されないことに留意するべきである。LIDAR FOVの様々な部分に光を割り当てるための技法は、視野の異なる部分に異なる量の光を誘導することが望ましいか又は必要であり得る、光に基づく検知システムのタイプ(LIDAR又は他のもの)に適用可能である。場合によっては、そのような光割り当て技法は、本明細書に記載されるように検出機能に良い影響を及ぼすが、他の利点も得られる可能性がある。
[0146] LIDARシステムの画素に対する検出素子の動的割り当て
[0147] LIDARシステム100の性能特性を調整するため、システムの様々な動作パラメータを変動させることができる。一部の例では、LIDARシステム100のFOVにどのように入射光を送出するかに関連した動作パラメータのうち少なくともいくつかを変動させることができる。他の例では、シーンから反射された光をどのように収集、検知、及び/又は分析するかに関連した動作パラメータを変動させることができる。例えばいくつかの実施形態において、センサ116は、複数の単一光子アバランシェダイオード(SPAD)、又は光に対して感度が高い他の任意の適切なタイプの検出素子(例えば、APD又は上述のタイプのいずれかの検出器)のような、複数の検出素子を含み得る。
[0148] センサ116には、様々な画素(例えば、光を収集し分析することができるセンサ116の1つ以上のセグメント)を関連付けることができる。一部の例では、センサ116に存在する単一の光検出素子に単一の画素を関連付けることができる。他の例では、センサ116に存在する複数の光検出素子に単一の画素を関連付けることができる。いくつかの状況では、センサ116に関連付けられた単一の画素が、センサ116に存在する検出素子のほとんど又は全てを含むことが有用であり得る。必ずしもそうとは限らないが、各画素は、その画素に割り当てられた複数の検出素子に基づいて、組み合わせた出力を出力することができる。必ずしもそうとは限らないが、画素は、検出情報(例えばポイントクラウドモデル)を発生させるため少なくとも1つのプロセッサ118によって用いられる最も基本的な情報レベルとすることができ、サブピクセル(sub-pixel)情報は用いられない。しかしながら、任意選択として、いくつかのタイプの処理(例えばセンサパラメータの較正)のためにサブピクセル情報を用いてもよい。
[0149] 画素とこれに関連付けられた検出素子との関係は、固定されている必要はない。いくつかの実施形態において、画素に対する検出素子の割り当ては動的に、例えばLIDARシステム100の動作中の任意の時点で又は他の任意の適切な時点で、変更することができる。画素に対する検出素子のそのような動的割り当ては、例えば特定のFOVのスキャン中、特定のFOV小領域のスキャン中、FOVのスキャンとスキャンとの間、又は他の任意の適切な時点で実行できる。いくつかの場合、LIDARシステム100の少なくとも1つの光源から出射する光(例えばレーザ放出の単一のパルス)と、少なくとも1つのセンサに入射するその光の1つ以上の反射との間の経過時間が、飛行時間(TOF)を構成する。いくつかの場合、少なくとも1つのプロセッサは、飛行時間中に検出素子のサブセットを動的に割り当てるように構成できる。画素割り当ては、反射光がセンサ116に入射し始めた後に開始するか又は引き起こすことができる。いくつかの実施形態では、第1のスキャンサイクルにおいて第1及び第2の画素に検出素子グループを割り当て、その後のスキャンサイクルにおいて第3及び第4の画素にその検出素子グループ(又はそのいずれかの部分)を動的に割り当てることができる。他の実施形態では、LIDARシステム100の少なくとも1つの光源がLIDAR FOVの第1の部分を照射した場合、プロセッサ118は、現スキャンサイクルにおいて第1及び第2の画素に検出素子を動的に割り当てることができる。次いで、少なくとも1つの光源がLIDAR FOVの第2の部分を照射した場合、プロセッサ118は、現スキャンサイクルにおいて第3及び第4の画素に同一の画素か又は異なる検出素子を動的に割り当てることができる。
[0150] 1つ以上の検出素子(例えばSPAD)を含むように動的に画素を規定することにより、画素は、センサ116に存在する利用可能な検出素子を、1つから総数までのうち任意の数だけ有することが可能となる。更に、特定の画素内に含まれる検出素子は任意の適切な配列を有し得る。いくつかの実施形態において、動的に規定された画素は、矩形の形状を有する検出素子グループを含み得る(すなわち、各行及び各列で同じ数の検出素子を有する。例えばn×mのアレイであり、nはmに等しい場合がある)。他の実施形態において、動的に規定された画素は、L字形のグループ化、六角形のグループ化、環状のグループ、非連続的な形状、1つ以上の検出素子が省略された連続的な形状、又は他の任意の適切な配列のような、不規則な配列の検出素子グループを含み得る。
[0151] 以下で更に詳しく検討されるように、1画素当たりの検出素子の割り当ては多種多様なファクタに基づくことができる。画素に対する検出素子の動的割り当てにおいて使用され得るファクタのいくつかの例には、検知された駆動条件(例えば速度、都市部/農村部の環境等)、FOVの特定エリア内で検知された物体、物体の検知された特徴、範囲情報、GPSロケーション情報、ナビゲーション情報、マップ情報、FOV内で決定された関心領域等が含まれる。上記の例に加えて及び/又はそれらの代わりに他のファクタも使用できることに留意するべきである。
[0152] 検出素子グループに対する画素の動的割り当ては、様々な目的のために実行できる。例えば、利用可能な画素数及び各画素に関連付けられた検出素子数を変更すると、LIDARシステム100の潜在的な分解能及び/又はLIDARシステム100のFOVに重なるシーンから反射された光に対するセンサ116の感度に影響を及ぼすことができる。一部の例では、LIDARシステム100は、利用可能な画素数を増やすことによってポイントクラウド解像度を増大することができる。割り当て画素数を増やすと、これに応じて1画素当たりに割り当てられる検出素子数が減る可能性がある。例えば、センサ116又はセンサ116の少なくとも一部の最大分解能は、1画素当たり1つの検出素子を割り当てることに対応し得る。他の例では、最大分解能は、例えば100、200、又は500のSPAD等、1画素当たり検出素子の最小数を割り当てることに対応し得る。
[0153] これに加えて又はこの代わりに、特定の画素に関連付けられた検出素子の数は、反射光に対する画素の感度に影響を及ぼし得る。例えば、N個の検出素子が割り当てられた(例えばN=2,000)特定の画素は、4N個の検出素子が割り当てられた別の画素が与える感度よりも、反射光に対する感度が低い可能性がある。システムは、1画素当たりの検出素子数を増やすことによってセンサ116に関連した感度を増大させ得るが、そのような割り当てでは利用可能な画素の総数が減る可能性がある。一般に、センサの感度と分解能とはバランスをとる関係にある。LIDARシステム100は、1画素当たりの検出素子を増やすことによって1画素当たりのセンサ感度を増大させるか、又は、1画素当たりの検出素子数を減らすことによって画素数を増やしてセンサ分解能を増大させることができる。検出素子割り当ての変化と共に、様々な画素の(及びセンサ116全体の)他の検出パラメータも変化し得ることに留意するべきである。他の検出パラメータは、例えば分解能、ダイナミックレンジ、メモリ要件、データレート、処理要件、雑音に対する感度である。
[0154] FOVの少なくとも一部において、特定の画素に複数の検出素子を割り当てること、又は他の方法によって画素に割り当てられる検出素子の数を増やすことが望ましい多くの状況があり得る(特定の画素に対して、又はFOVのその部分における検出素子の全体的な再分配として)。例えば、いくつかの例では、LIDARシステム100のFOV内に遠くの物体及び/又は小さい物体が出現することがある。LIDARシステム100からの入射光はこれらの物体で反射され得るが、これらの物体からの反射光の量は、より大きい物体又は近くの物体から反射される入射光の量よりも少ない(時として、著しく少ない)可能性がある。この結果、小さい物体及び/又は遠くの物体から反射された光はセンサ116に到達できるものの、センサ116に関連付けられた各画素に1つだけ又は比較的少数の検出素子が割り当てられている場合、小さい物体又は遠くの物体から個々の画素に入射する反射光の量は、LIDARシステム100がそれらの小さい物体又は遠くの物体を正確に検出するため又はそれらの物体に関連した特徴部(feature)を分解するためには不充分な信号対雑音比(SNR)を有することがある。
[0155] より正確な物体検出を可能とする、(例えばSNRの増大によって)検出可能性を高めるための1つの技法は、センサ116に関連付けられた1つ以上の画素に対して追加の検出素子を動的に割り当てることを含み得る。すなわち、利用可能な検出素子をより少数の画素に割り当てることで、検出素子の数が増えるように再割り当てされた画素が物体の検出及び/又は分類の可能性を高めることができる。画素に対する検出素子の再割り当ては、センサ116の光検知エリア全体を対象とする必要はない。いくつかの場合、FOV内の特定のROI(例えばFOV内で小さい物体又は遠くの物体が位置する場所)に重なる検出素子のみを、検出素子の数を増やす画素に再割り当てすることができる。このように、数を増やした検出素子からの出力を集約することで、小さい物体及び/又は遠くの物体を正確に検出する可能性を高めることができる。利用可能画素数を減らすとターゲット物体の詳細部分の分解が困難になり得るが、特定の画素に割り当てられる検出素子数を動的に増やす技法によって、他の場合には検出されなかったはずの物体(特に、低い反射率特性のもの)の検出が可能となる。また、特に遠くの物体では、それらの物体の細かい特徴部を分解するよりもそれらの物体の存在を検出することの方が重要である可能性がある。
[0156] 同様に、FOVの少なくとも一部では、画素に対してより少数の検出素子を割り当てることが望ましい多くの状況があり得る(特定の画素に対して、又はFOVのその部分における検出素子の全体的な再分配として)。例えばいくつかの状況では、特定の物体(例えば大きい物体、LIDARシステム100に近い物体、又は他の高い反射率特性を示す物体)によって、LIDARシステム100からの入射光が充分に反射して、センサ116による検出の可能性(例えば充分なSNR)が得られる。このような場合の動的な画素割り当ては、センサ116に関連付けられた1つ以上の画素について、1画素当たりの検出素子数を減らす画素割り当てを含み得る。このような再割り当てはSNRを低減させ得るが、これと引き換えにFOVの1つ以上の領域に対するシステム分解能が増大する。その結果、特定の物体に関連付けられた詳細部分を、より容易に分解することができる。
[0157] 一例において、LIDARシステム100は、長距離(例えば50m、100m、200m、又はそれ以上)の潜在的なターゲット物体を含むFOVの領域に重なるセンサ116に関連付けられた画素に対して、多くの検出素子を割り当てることができる。このような割り当ては、長距離の物体が正確に検出される可能性を増大させ得る。一方でLIDARシステム100は、より短距離の潜在的なターゲット物体を含むFOVの領域に重なるセンサ116に関連付けられた画素に対して、より少数の検出素子を割り当てることができる。このタイプの割り当ては、至近距離の物体の正確な検出を可能とするだけでなく、例えば物体の外形(envelope)(例えば車両の外縁、ターゲット車両のサイドミラーの位置及び形状、歩行者が向かっている方向等)の正確な検出のような、詳細部分の分解も可能とする。短期的なナビゲーション決定はこれらの詳細部分に左右され得るので、このような詳細部分は、例えばLIDARシステム100が載置されているホスト車両の近くにターゲット物体が位置する場合は特に重要である。
[0158] 以下で詳述されるように、センサ116の様々な検出素子は、画素全体にわたって均等に割り当てることができ(例えば、センサ116に関連付けられた全ての画素が同じ数又は実質的に同じ数の検出素子を含み得る)、又は、異なる画素に異なる数の検出素子が関連付けられるように割り当てることができる(例えば、一部の画素は高い感度と低い解像度機能を提供し、他の画素は高い解像度機能と低い光感度値を提供する)。また、センサ116に関連付けられた画素は、相互に異なる形状及び大きさを有するように規定できる。更に、画素に対する検出素子の割り当ては、LIDARシステム100の動作中の任意の時点で実行することができる。
[0159] 例えば、本開示の実施形態に従ったLIDARシステムにおいて、プロセッサは、視野を照射するための少なくとも1つの光源の活性化を制御し、複数の検出素子を有する少なくとも1つのセンサから、視野内の物体から反射した光を示す反射信号を受信し、複数の検出素子の第1のサブセットを動的に割り当てて第1の画素を構築し、複数の検出素子の第2のサブセットを動的に割り当てて第2の画素を構築することができる。第1の画素及び第2の画素の処理の後、プロセッサは、複数の検出素子の第3のサブセットを動的に割り当てて第3の画素を構築することができ、第3のサブセットは、第1のサブセット及び第2のサブセットのうち少なくとも1つと重なっており、第1のサブセット及び第2のサブセットの各々とは異なる。第1の画素及び第2の画素の処理の後、プロセッサは、複数の検出素子の第4のサブセットを動的に割り当てて第4の画素を構築することができ、第4のサブセットは、第1のサブセット、第2のサブセット、及び第3のサブセットのうち少なくとも1つと重なっており、第1のサブセット、第2のサブセット、及び第3のサブセットの各々とは異なる。
[0160] このようにLIDARシステム100は、画素数を増やし、これによって1画素当たりの検出素子数を減らすことで、ポイントクラウド解像度を選択的に増大させることができる。あるいはLIDARシステム100は、1画素当たりの検出素子数を増やし、これによって画素数を減らすことで、センサの感度を選択的に増大させることができる。
[0161] 図7Aから図7Hは、画素割り当てと検出素子の組み合わせのいくつかの例を示す。例えば、図7Aに示されている6×8行列の各セルは個々の検出素子を表すことができる。具体的には、図7Aは、図7Aに示されている48の検出素子のうち1つである検出素子701を示している。むろん、センサ116は任意の数の検出素子を含むことができ、検出素子の実際の数は数百、数千、又は数百万、又はそれ以上を含み得る。また、図7Aの行列は、センサ116の検出素子の一部(画素に対する割り当てが任意選択的にセンサ116の異なる部分に対して数回反復される部分)を表し得る。プロセッサ(例えば、図1Aに例示されているLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに例示されているLIDARシステムの処理ユニット108の複数のプロセッサ118)は、図7Aの検出素子グループを、図7Bから図7Hに示されている様々な画素グループとして割り当てることができる。図7Aは、1つの利用可能な検出素子当たり1つの画素を含む例示的な画素割り当ても表し得ることに留意するべきである。
[0162] 図7Aの検出素子の画素割り当ての第1の例を示す図7Bでは、6×8行列の全体が画素0に割り当てられている。図7Bに示されている画素割り当ては、単一の画素に割り当てられた図7Aの48の検出素子の全てを含む。このような実施形態では、1画素当たりの光感度を増大させることで、利用可能解像度の低減を達成できる。
[0163] 図7Cは、図7Aの検出素子の画素割り当ての別の例を示す。この例では、図7Aの6×8行列が4つの画素に割り当てられている。各画素は同じ大きさ及び形状を有し、同様の数の検出素子を含む。例えば、画素0、画素1、画素2、及び画素3の各々は、3×4の配列の検出素子を含む。
[0164] 図7Dは、LIDARシステム100によって動的に実行できる画素割り当ての別の例を示す。この例でも、6×8行列の検出素子は4つの画素に割り当てられ、各画素は同様の形状及び同様の数の検出素子を有する。この実施形態では、画素の各々は6×2行列の検出素子を含み、各画素において幅よりも高さが大きいアスペクト比を与える。この実施形態において、画素0、画素1、画素2、及び画素3の各々の幅は2つの検出素子(又はセンサ116の幅の4分の1)を含み、各画素の高さは6個の検出素子又はセンサ116の全高を含む。
[0165] 図7Eは、図7Aの検出素子の画素割り当ての第4の例を示す。この実施形態において、6×8行列の検出素子は、それぞれ6×4の配列の検出素子を含む2つの画素に割り当てられている。同様に、図7Fに示されている割り当てにおいて、図7Aの6×8行列の検出素子は、それぞれ3×8の配列の検出素子を含む2つの画素に割り当てられている。
[0166] 図7Gで表されている画素割り当てにおいて、図7Aの6×8行列の検出素子は4つの画素に割り当てられている。しかしながら、図7Gに示されている画素は大きさが異なる。例えば、画素0及び画素1は双方とも2×8の配列の検出素子を含む。一方、画素2及び画素3は1×8の配列の検出素子を含む。
[0167] 図7Hは、3種類の異なる大きさを有する4つの画素を有する画素割り当てを表している。例えば、画素1及び画素2の各々は4×2の配列の検出素子を含み、画素3及び画素4の各々は1×8の配列の検出素子を含み、画素0は4×4の配列の検出素子を含む。
[0168] 検出素子の様々な割り当てを有する多くの画素構成が可能である。図7Aから図7Hは単に少数の可能な構成を示すに過ぎない。これらの異なる画素構成をLIDARシステム100の動作中にその場で(on the fly)確立できることに留意するのは重要である。例えば、LIDARシステム100のFOVの1回のスキャン中、図7Cに示されているような画素構成にセンサ116を関連付けることができる。FOVの別の回のスキャン中、システムに利用可能な様々なタイプの情報に基づいて(以下で更に検討する)、画素構成を例えば図7Dに示されているものに動的に変更することができる。センサ116に関連付けられたいずれの画素構成も、LIDARシステム100の動作中に、FOVのスキャンとスキャンとの間に又はFOVのスキャン中に、他のいずれかの画素構成に変更することができる。
[0169] 更に、複数の画素に対する検出素子の適切な割り当てを利用できることに留意するべきである。いくつかの場合、1つの画素が含む第1のサブセットの利用可能検出素子の数は、異なる画素に関連付けられた第2のサブセットの検出素子に含まれる検出素子の数よりも多いことがある。他の実施形態では、2つ以上の異なる画素(例えば、3、4、又はそれ以上)に、同じ数の検出素子を割り当てることができる。また、第1のスキャン中又はスキャンの一部の間に特定の画素に割り当てた検出素子を、異なる画素に割り当てるように任意の時点で再割り当てすることも可能である。いくつかの実施形態において、検出素子が再割り当てされる画素は、前に検出素子が割り当てられた1つ以上の画素と完全に又は部分的に重なっておりてもよい。
[0170] つまり、第1の割り当てにおいて、第1の画素を第1のサブセットの検出素子に関連付けると共に、第2の画素を第2のサブセットの検出素子に関連付けることができる。第1のサブセット及び第2のサブセット内の検出素子数は同一であっても異なってもよい。第2の画素割り当ては第3の画素及び第4の画素を含み、第3及び第4の画素は共に、第1の画素割り当ての第1及び/又は第2の画素と同じ数の検出素子を含み得る。第3の画素及び第4の画素は、第1の割り当ての第1及び第2の画素のうち少なくとも1つと重なっており得る。更に、第4の画素が後の割り当ての一部である場合、第4の画素は第3の画素と重なっており得る。
[0171] 割り当てられたいずれの画素も、同様の数の検出素子を有し得る。例えば、第1の画素割り当てにおける第1の画素と、第2の画素割り当てにおける第3の画素とは、これらが異なる形状を有し、重複がないか、又は少なくとも部分的に重なっている場合であっても、同様の数の検出素子を含み得る。一方で、第1及び第3の画素は異なる数の検出素子を有することも可能である(例えば、第1の画素は第3の画素よりも多くの検出素子を有し得る)。いくつかの実施形態において、第3の画素のアスペクト比は第1の画素のアスペクト比よりも大きくすることができる。
[0172] 図7Iは、LIDARシステム100のFOV内のシーンを、センサ116と関連付けて使用できる様々な画素構成と共に表している図700を含む。いくつかの実施形態において、LIDARシステム100はホスト車両(例えば自律走行車又は半自律走行車)に含まれ、そのような実施形態では、LIDARシステム100のFOVは、典型的に1つ以上の道路の走行中に遭遇する物体を含み得る。例えば、図7Iに示されているように車両725を検出することができる。車両725は、ホスト車両と同一の道路であるがホスト車両とは異なる車線及び異なる方向で運転している車両を表し得る。図7Iに示されている例では、車両725はホスト車両に近付いているが、ホスト車両が運転する車線に対して平行な異なる車線を走行している可能性がある。
[0173] 図700に示されているように、LIDARシステム100のFOVは他の物体も含み得る。例えばFOVは、ホスト車両の右側から左側へ走行し、ホスト車両が走行する道路と交差する道路上の車両712及び714を含み得る。FOVは、街灯732、734、及び736のような静止物体も含み得る。FOVは、ホスト車両が走行する道路の表面、歩行者、道路における物体、レーンバリア(lane barrier)、信号機、建物、がれき、及び/又はホスト車両の環境内に存在し得る他の任意のタイプの物体も含み得る。
[0174] 図700は、LIDARシステム100の動作中に、FOVのスキャン中又はFOVのスキャンとスキャンとの間のいずれかの任意の時点に行われる画素割り当てのスナップショットを表し得る。図7Iに表されているように、FOV/センサ116の様々な領域は、様々な数の検出素子が割り当てられた異なる形状の画素が関連付けられている。画素に対する検出素子の異なる割り当ての各々、及び異なる画素形状の各々は、所与の時点でLIDARシステム100に利用可能な情報に基づいて選択できる。例えばいくつかの状況において、近距離の物体に重なるFOV領域は、より遠くの物体に重なるFOV領域に関連付けられた画素よりも多くの画素を関連付けることができ、これらの画素の方がサイズが小さく、少数の検出素子を有する。更に、関心領域として識別された特定の領域(例えば近付いてくる車両725を含む領域)は、より少数の検出素子を有するより多くの画素に関連付けることができる。FOV内で水平方向に移動している物体を含むと判定された領域(例えば車両712及び714を含む領域)は、高さよりも幅が大きいアスペクト比を有する画素を含み得る。また、静止物体(例えば街灯732、734、及び736)を含むと判定又は予想された領域は、それらの領域において経験又は予想された物体の形状に基づいて決定されるアスペクト比(例えば幅よりも高さが大きいアスペクト比)を有する画素を割り当てることができる。
[0175] 更に具体的には、ホスト車両が道路を走行する際、ホスト車両に近い距離範囲に重なるLIDARシステム100のFOV領域から高解像度の情報をキャプチャすることに関心が持たれている。例えば図7Iに示されているように、ホスト車両に近い距離範囲に重なるFOV領域(例えばホスト車両の前方1メートルから50メートルの範囲、又は他の任意の適切な距離範囲)は、FOVの他の領域よりも多くの割り当てた画素に関連付けることができる。図7Iに示されているように、この領域はFOVの他の領域に比べ、単位面積当たりの画素数が多い(割り当てられた検出素子数は少ない可能性がある)画素割り当て720を含み得る。従って画素割り当て720は、FOVの他の領域に比べて高解像度の検出の可能性を与え得る。この結果、車両725を検出できるだけでなく、車両725に複数の画素が重ね合わせられていることで、例えばタイヤ、サイドミラー、屋根、バンパー、車両縁部のような特徴部の位置、奥行き、及び外形等、車両725の細かい特徴部の検出及び分解が可能となる。更に、車両725に重なる画素数が増えるにつれて、車両725の様々な部分のいっそう正確な深度情報を決定できる。いくつかの実施形態において、画素割り当て720の各画素は単一の検出素子を含み得る。他の場合、割り当て720の各画素は複数の検出素子を含み得る。
[0176] いくつかの実施形態において、ホスト車両から遠い距離に関連付けられたか、又は低い関心領域(例えばホスト車両が走行する道路外のエリアに重なる領域)に関連付けられたFOV領域は、高い関心領域(例えば画素割り当て720に関連付けられた領域)に比べ、多くの検出素子が割り当てられた画素に関連付けることができる。例えば、低い関心領域は、画素割り当て720に比べ、画素密度の低い画素割り当て740に関連付けることができる。図7Iに示されている例では、画素割り当て740の各画素は、割り当て720に関連付けられた画素の16倍の面積を含み得る。割り当て720内の各画素が1つの検出素子を有すると仮定した場合、図示されているように、割り当て740の各画素は16の検出素子を含む。割り当て740内の画素は低解像度機能を提供する可能性があるが、反射光に対する感度は高く、これによってホスト車両前方の道路上の遠くの物体を検出することが可能となる。また、LIDARシステムFOVの特定領域に少数の画素を関連付けることで、その領域に関連付けられた検出情報を処理するために必要な計算リソース量を低減することができる。これによって、割り当てのためのコンピューティングリソースを優先度の高い領域に使えるようにする。優先度の高い領域とは、ホスト車両のすぐ前の領域を含む画素割り当て720に重なる領域、又は検出された横断車両を含む画素割り当て710に重なる領域である。
[0177] 画素に対する検出素子の動的割り当ては様々なファクタに依存し得る。一般に、検出感度の向上が望ましいFOVの領域では、1画素当たりにより多くの検出素子を割り当てればよい。一方、検出分解能の向上が望ましいFOVの領域では、1画素当たりにより少ない検出素子を割り当てて、より多くの画素を特定のFOV領域に対応させればよい。また、前述のように、FOVの1エリア当たりの画素の大きさ、形状、及び/又は数は、システムに利用可能な情報に基づいて、LIDARシステム100の動作中にその場で動的に決定できる。例えばいくつかの状況では、動的な画素割り当てはLIDARシステムに対する範囲に依存し得る。LIDARシステムの近くの範囲に重なるFOV領域は、より遠い範囲に重なるFOV領域に比べ、より少数の検出素子を含むより多くの画素を割り当てることができる。
[0178] 更に、画素割り当ては、より一時的な関心領域(例えば、ホスト車両からの範囲に基づいて確立された関心領域ではない)に依存し得る。一例においてシステムは、(割り当て740に従って)「低分解能」モードで動作し、ホスト車両の前方の物体(例えば車両や道路における物体等)を検出することができる。低分解能モードにおける検出の結果、LIDARシステム100は、検出した物体を含む領域を関心領域として定義できる。結果として、LIDAR FOVの現在進行中のスキャン又は1つ以上の以降のスキャンの間に、高分解能モードでその物体に関する情報を得るため、検出した物体に重なるFOV領域に、より多くの画素を割り当てることができる。
[0179] また、画素割り当ては、FOVの特定の領域において検出された物体の形状及び大きさに依存する及び/又は検出されると予想される物体の形状及び大きさに基づくことができる。例えば図7Iの図700に示されているように、街灯732、街灯734、及び街灯736は道路の片側に沿って配置されている。画素割り当て730は、街灯732、734、及び736を含むように割り当てることができる。ホスト車両が走行する道路外の移動していない物体に高分解能検出を関連付ける必要性は低いので、画素割り当て730の画素は画素割り当て720の画素よりも大きくすることができる。また、図7Iで実証されているように、周囲光源に対応するエリアは、そのような光源から到達する過度の光を制限し、検出アレイの小さい部分のみを遮光するため、比較的小さい画素を割り当てる及び/又は大きい画素から減算することができる。
[0180] いくつかの実施形態において、プロセッサは、FOVの特定領域において検出されるか又は予想される物体の大きさ、形状、及び/又は他の任意の特性に基づいて、FOVのこの特定領域に割り当てられる画素の形状を決定することができる。例えば一実施形態では、画素割り当て730の画素は、これに含まれる街灯732、734、及び736の形状に全体的に関連した縦方向に長く横方向に細い画素が得られるアスペクト比を有し得る。このように、例えば画素割り当て730は、画素割り当て730内の各画素に充分な数の検出素子を提供しながら、様々な距離にある街灯間の分離を改善することができる。いくつかの実施形態において、割り当てられた画素は、L字形、概ね円形、環状、又は他の任意の形状とすることができる。割り当てられた画素のそのような形状は、例えばLIDARシステムのFOVの様々な領域内で検出されるか又は予想される物体の構成に依存し得る。
[0181] また、画素割り当ては、LIDARシステム100のFOV内の1つ以上の物体の検出又は予想される動き及び動きの方向、及び/又はLIDARシステム100のコンポーネント(少なくとも1つの偏向器114等)の動き等、他の特性にも依存し得る。例えば図7Iに示されているように、右側から左側へ移動中でありホスト車両の経路を横断する可能性のある車両712及び714に重なるFOV領域に関連付けられた画素割り当て710は、高さよりも幅が大きいアスペクト比を有する画素を割り当てることができる。このような画素形状は例えば、連続的にスキャンしているミラーが移動中の物体から反射光を収集する結果として生じる潜在的なひずみの効果を少なくとも部分的に補償できる。例えば、システムは連続的にスキャンしているミラー(又は別のタイプの偏向器)を含み得るので、検出された物体がLIDARシステム100に対して移動している場合、センサ上の反射画像は少なくとも1つの方向に延びている可能性がある。例えばLIDARシステムに対して右側から左側へ移動している円形の物体は、センサにおいて、より細長い/楕円の形状を有するように見えることがある(特に、各画素の検出のため、ある時間期間にわたって発したいくつかの光パルスが用いられる場合)。そのような効果を少なくとも部分的に打ち消すため、方形の画素でなく矩形(又は他の細長い形状の)画素を含む画素割り当てを行うことができる。
[0182] また、画素割り当ては多数の他のファクタにも依存し得る。いくつかの実施形態において、画素割り当ては、ホスト車両の検知された運転パラメータ(例えば速度、加速度、別の車両からの距離等)、検知された環境(例えば幹線道路又は都市環境)等に依存し得る。画素割り当ては、例えばマップデータ、GPSロケーション情報、ホストナビゲーション命令等を含む、LIDARシステム100に利用可能な他の任意の情報にも依存し得る。また、LIDARシステム100に関連付けられた様々なシステム変更が、特定の画素割り当て又は画素割り当ての変更を引き起こすことがある。そのようなシステム変更は、システムの放出パルス又は光束の変動、ビームスポットサイズの変更、センサ116に入射する反射光の焦点エリアの修正、スキャンスキームの変更、偏向器のスキャン速度等を含み得る。
[0183] 前述のように、画素割り当ては検知された運転パラメータに依存し得る。例えば、ホスト車両の速度が上がるにつれて、車両が特定の時間量でカバーする距離範囲が大きくなる。従って、ホスト車両の前方の広い範囲に及ぶ、より高い分解能の検出機能が必要となり得る。図7Iの状況において、ホスト車両の速度の上昇が検知されると、FOVのスキャン中に又はスキャンとスキャンとの間に画素の再割り当てを引き起こし、結果として画素割り当て720は、ホスト車両からより長い距離の環境領域を含むように拡大され得る。例えばいくつかの実施形態において、画素割り当て720は、速度上昇に基づいて道路の先の方へ拡大することができる。これに対して、ホスト車両の速度低下が検知されると、画素割り当て領域720の大きさは、ホスト車両の近くの距離範囲に重なるFOVの領域のみを含むように縮小し得る。更に、ホスト車両によって方向転換が検知されると、画素割り当ては、ホスト車両が進入していくと予想されるFOV領域内(例えばホスト車両の現在の進行方向の両側)の画素を多く含むようになる。また、ホスト車両の周囲環境に対するFOVの横方向の動きを少なくとも部分的に考慮するため、割り当てられた画素の形状は画素割り当て710のものに似ている可能性がある。
[0184] いくつかの実施形態において、画素割り当ては、検知された環境に基づいて変動し得る。例えばシステムは、幹線道路、農村部、又は都市部の環境に対して異なるモードを有し得る。幹線道路での運転中、一般に物体はホスト車両から遠い距離で発生すると予想できるが、例えば都市環境よりも速度は速い。従って、ホスト車両から中距離〜長距離(例えば20mから100m、又は他の任意の適切な範囲)に重なるFOV領域に、高分解能機能を与える画素割り当てを割り当てることができる。また、極めて長い距離(例えば100m超、200m超等)のFOVの領域に、より少数の画素を用いて検出感度増大を図る画素割り当てを割り当てることができる。一方、都市部の運転は、幹線道路の運転よりも低速であり、ホスト車両の環境内にはるかに高い密度のターゲット物体を含み得る。この結果、ホスト車両の至近距離の範囲(例えば1mから20m)に重なるFOVの領域に、より高い分解能を与える画素割り当てを割り当てることができる。至近距離を超えた範囲では、特に、道路に重なる領域を含めて、画素割り当ては感度を増大させるため割り当てることができる(例えば、ホスト車両の経路内の道路への進入が検出される可能性のある歩行者のような低反射率の物体の検出を容易にするため)。また、農村環境では、ホスト車両の経路内で予想されるターゲット物体はほとんどない。従って画素割り当ては、短距離及び長距離の物体(例えば道路にいる牛)の検出を可能とするため、分解能よりも感度を優先するように行われ得る。
[0185] 前述のように、画素割り当ては、1つ以上の関心領域を確立することができる物体検出に依存し得る。いくつかの実施形態において、センサが受信する反射は、FOV内の特定のロケーション及び範囲内の物体からの反射であることを示し得る。その物体がホスト車両に比較的近い場合、画素再割り当ては、物体に関連付けられた以降の検出の分解能を増大させるため、検出された物体に重なる画素数を増大することを伴い得る。一方、検出された物体がホスト車両から遠くに位置する場合、画素再割り当ては、(例えばSNRを増大させることによって)検出感度を向上させるため、物体に重なる画素数を低減させることを伴い得る。ホスト車両と検出された物体との間の距離が短くなるにつれて、画素再割り当ては、検出された物体を含む領域に重なる画素数を順次増大させることを伴い得る。むろん、検出された物体に関連付けられた画素数の増大の一部は、物体がLIDARシステム100に近付く際に当然起こり得る。そのような当然の効果と共に、システム100は、現在進行中のスキャン中又はスキャンとスキャンとの間に画素をより高い密度に再割り当てすることで、検出された物体に関連付けられた画素密度を、ターゲット物体とホスト車両との距離が近付く結果として当然起こるはずのものよりも高くすることができる。
[0186] いくつかの実施形態において、画素再割り当ては、GPSロケーション情報、マップデータ、又はホスト車両ナビゲーション命令、又は他の任意の情報源に依存し得る。例えば、システムが環境に対するホスト車両の位置及び向きを認識すると、システムは環境内の予想される特徴部又は変更に基づいて画素割り当てを行うことができる。例えば、(ナビゲーション命令、マップデータ、及びロケーション情報に基づいて)ホスト車両が曲がり角に近付いていると判定された場合、システムはこの知識又は予想を用いて、予想された条件に基づいて画素を割り当てることができる。例えばシステムは、FOVの1つ以上の次回のスキャン中に右折が行われるという予想に基づいて、より多くの画素又は特定の形状の画素を割り当てることができる。システムが、自律走行車が交差点に近付いていることを認識した場合、システムは、交差点の特徴部が現れると予想される1又は複数のFOV領域内の画素数を増やすことによって分解能を増大させることができる。これとは逆に、システムが、次の方向転換が農村部の道路の30キロメートル先であると識別した場合、システムは、1画素当たりの検出素子数を増やすことによって検出感度を優先するように画素を割り当てることができる。
[0187] また、画素割り当ては内部診断にも依存し得る。例えばいくつかの場合、プロセッサ118は、少なくとも1つの欠陥があるか又は動作不能の検出素子を認識又は識別することができる。一度識別されたら、プロセッサ118は、欠陥があるか又は動作不能の検出素子を以降の割り当て画素に割り当てることを回避できる。これに加えて又はこの代わりに、プロセッサ118は、1つ以上の欠陥のある検出素子を識別した後、そのような欠陥のある検出素子に関連した利得レベルを低下させることができる。場合によっては、特定の画素に関連付けられた全ての検出素子を利用できるわけではない。例えば、様々な条件(例えば欠陥のある検出素子の識別等)に基づいて、プロセッサ118は、処理中に少なくとも1つの検出素子を実質的に無視することができる。
[0188] 図7J及び図7Kは、本開示のいくつかの実施形態に従った、FOVのスキャン中又はスキャンとスキャンとの間に画素割り当てを変動させる例を示す図である。図7J及び図7Kに示されているように、LIDARシステム100の動作中、現在進行中のFOVのスキャン中又はスキャンとスキャンとの間に、いくつかの特性の中でも特に、割り当てた画素の数、大きさ、形状、アスペクト比、及び/又は向きを変更することができる。そのような1つ以上の特性の任意の組み合わせは異なる画素割り当て間で変更できるが、その場合も1つ以上のそのような特性の別の組み合わせを維持できることに留意するべきである。例えばプロセッサ118は、特定のFOVに対する画素を、図7J及び図7Kの左側に示されている画素割り当てから図の右側に示されている画素割り当てに、及びその逆に再割り当てすることができる。いくつかの実施形態においてプロセッサ118は、3つ以上の異なる構成間で画素割り当てを変更することができる。また、図7Iに示されているように、画素の割り当てはFOV全体にわたって均等である必要はない。
[0189] 図7Lは、決定された関心領域に基づいて画素割り当てを変動させる一例を示す図である。例えばいくつかの場合、図7Lの左側に示されている2つの中央の画素に関連付けられたFOV領域において物体の検出が発生し得る。この結果プロセッサ118は、左側の画素割り当てから、検出された物体を含む関心領域により多くの小さい画素が与えられた右側の画素割り当てに変更することができる。このような画素再割り当てによって、その領域内の物体の以降の検出をより高い分解能で行うことができる。
[0190] また、画素割り当てはシステムのスキャン方向にも依存し得る。例えば図7Mは、本開示のいくつかの実施形態に従った、スキャン方向に応じて画素割り当てを変動させる一例を示す図である。説明の簡略化のため、図7Mの例では個々の検出素子は図示されていないことに留意するべきである。図示されている例において、センサ116の光検知エリアは複数の論理画素780に分割されている。この状況における論理画素とは、そのような論理画素の出力を組み合わせるためにセンサ116上の対応位置にある検出素子の一部しか選択されない場合であっても、それらの出力がその論理画素全体に関連することを意味する。いくつかの例において論理画素は、いくつかの時点で、別の論理画素に対応する位置にある検出素子に関連付けることも可能である。単一の論理画素780をキャプチャしている間に偏向器114が移動した場合(いくつかの例ではこれが起こり得る)、単一の論理画素780をキャプチャしている間の様々な時点でその単一の論理画素に対して異なる検出素子グループを割り当てることができる。例えばプロセッサは、単一の論理画素に対して、異なる光パルスではそれぞれ異なる検出素子グループを割り当て、それら異なるグループの検出出力を組み合わせる(例えば合計する)ことができる。他の例においてプロセッサは、FOVの対応部分の連続照射中に偏向器がスキャンを行っている間、単一の論理画素に対して異なる検出素子グループを割り当てることができる。図示されている例を参照すると、第1の時点で、第1の検出素子グループ(792と表記されている)は論理画素780(1)に割り当てられ、偏向器がいくらか異なる位置(例えば、いくらか異なるスキャンミラー角度)に移動した後である第2の時点で、第2の検出素子グループ(794と表記されている)は論理画素780(1)に割り当てられている。グループ792及び794の出力は、単一の出力に組み合わせることができる(例えば、プロセッサ118によって処理して検出結果を得ることができるスカラー、ベクトル、又は他の任意の形態の出力。)検出素子の3つ以上のサブグループを異なる時点で同一の論理画素に関連付けてもよいことに留意するべきである。また、図7Mの例は単一の軸上での偏向器114の(従って、検出素子グループの選択の)移動を示したが、偏向器の(従って、検出素子グループの選択の)2Dスキャンも実施できることに留意するべきである。
[0191] 図8は、センサ116に関連付けることができる回路800の一例を示す。このような回路800は、LIDARシステム100のFOV内の物体から反射された光を収集するための感光検出素子を含み得る。いくつかの実施形態において、各検出素子は、ダイオード811、812、813、又は814等の感光デバイスを含み得る。各ダイオードに、対応するレジスタ821、822、823、及び824を関連付けることができる。光検知画素は、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)、PINダイオード等を含み得る。回路800は、上述したタイプの画素割り当てにおいて使用できる。例えば、MUX801をダイオード811、812、813、及び814のカソードに接続し、それぞれのダイオードに入射する光の量を示し得る各フォトダイオードを流れる電流をサンプリングするため使用することができる。4つのフォトダイオードのみが図示されているが、任意の数のフォトダイオードを利用できる(例えば数百、数千、数百万、又はそれ以上)。
[0192] 上述のように、センサ116に関連付けられた画素は、1つ以上の検出素子を含むように割り当てることができる。図8に示されている回路に関して、センサ116に関連付けられたある画素はダイオード811のような単一のフォトダイオードを含み、別の画素はダイオード812のような単一のフォトダイオードを含むことができる。図8に示されているような4つのフォトダイオードを4つの別個の画素に含めることができる。あるいは、フォトダイオードのうち2つ以上をグループ化して単一の画素に含めることも可能である。例えばいくつかの実施形態では、図8に示されているフォトダイオードを2つの異なる画素に組み込むことができる。例えば、フォトダイオード811及び812を第1の画素に関連付け、フォトダイオード813及び814を第2の画素に関連付ける。更に、フォトダイオード811、812、813、及び814の全てを、センサ116に関連付けられた単一の画素にまとめて含めてもよい。
[0193] MUX801は、検出素子(例えばダイオード)を1つ以上の異なる画素に割り当てる際に使用できる。例えば、各フォトダイオード811、812、813、及び814に異なる画素が関連付けられている実施形態において、MUX801は、それぞれ個別のフォトダイオード811、812、813、及び814を流れる電流を示す値を出力831、832、833、及び834に与えることができる。一方、フォトダイオード811、812、813、及び814の全てが単一の画素に割り当てられている場合、MUX801は、フォトダイオード811、812、813、及び814の各々を流れる電流値をサンプリングし、集約した出力を出力831、832、833、又は834のいずれかに与えることができる。また、回路800は、異なる画素に関連付けられた異なるサブセットに検出素子を動的に割り当てるための複数のスイッチも含み得る。
[0194] むろん、このような画素に対する検出素子の割り当てをプロセッサ118によって達成することも可能である。例えばプロセッサ118は、(例えば検出素子アレイの時分割多重サンプリングによって)それぞれの検出素子における電流を示す入力を受信できる。プロセッサ118は次いで、一意に規定された各画素に関連付けられた検出素子の出力を集約することによって、画素に対する検出素子の論理グループ化を達成できる。また、システム100は、複数の検出素子から受信された反射信号を復号するように構成された複数の復号器も含み得る。
[0195] 図9Aは、異なる画素に検出素子(例えばSPAD)グループを動的に割り当てるための方法900の例示的なフローチャート図を含む。方法900は、少なくとも1つのプロセッサ(例えば図1Aに示されているLIDARシステム100の処理ユニット108のプロセッサ118、及び/又は図2Aに示されているLIDARシステムの処理ユニット108の複数のプロセッサ118)によって実行することができる。ステップ901において、プロセッサ118は、視野(例えば図1A及び図2Aの視野120)を照射するための少なくとも1つの光源(例えば図1Aの光源112、図2Aの光源112のレーザダイオード202、及び/又は図2Bの複数の光源102)の活性化を制御する。
[0196] ステップ902は更に、複数の検出素子を有する少なくとも1つのセンサから、視野(例えば図1A及び図2Aの視野120)内の物体から反射された光を示す反射信号を受信することを含み得る。ステップ903は、複数の検出素子の第1のサブセットを動的に割り当てて第1の画素を構築することを含む。第1の画素の例は、図7Bから図7Hを参照して上記で検討されている。ステップ904は、複数の検出素子の第2のサブセットを動的に割り当てて第2の画素を構築することを含む。第2の画素の例は、図7Cから図7Hを参照して上記で検討されている。ステップ901及び図902を2回以上反復できること、並びに、ステップ901及び/又は902の繰り返しは以下で検討される方法900の任意のステップとステップとの間に及び/又はこれらのステップのうち1つ以上と同時に実行できることに留意するべきである。
[0197] 第1の画素及び第2の画素の処理後に実行されるステップ905は、複数の検出素子の第3のサブセットを動的に割り当てて第3の画素を構築することを含む。第3のサブセットは、第1のサブセット及び第2のサブセットのうち少なくとも1つと重なっており、第1のサブセット及び第2のサブセットの各々とは異なる。第3の画素の例は、図7C、図7D、図7G、及び図7Hを参照して上記で検討されている。
[0198] 第1の画素及び第2の画素の処理後に実行されるステップ906は、複数の検出素子の第4のサブセットを動的に割り当てて第4の画素を構築することを含む。第4のサブセットは、第1のサブセット、第2のサブセット、及び第3のサブセットののうち少なくとも1つと重なっており、第1のサブセット、第2のサブセット、及び第3のサブセットの各々とは異なる。第4の画素の例は、図7C、図7D、図7G、及び図7Hを参照して上記で検討されている。
[0199] 前述したように、LIDARシステム100は任意の適切なプラットフォームに組み込むことができる。いくつかの実施形態においてLIDARシステム100は、本体と、上述したいずれかのタイプの画素割り当てを実行するように構成された少なくとも1つのプロセッサと、を有する車両(例えば自律走行車又は半自律走行車)に組み込むことができる。また、割り当てた画素のうち1つ以上に関連付けられた信号を用いて、様々なタイプの情報を決定することができる。例えば、少なくとも1つのプロセッサ118は、センサ116に関連付けられた画素(例えば第1及び第2の画素、又はより多くの画素)から収集された信号に基づいて、少なくとも1つの物体に対する距離情報を決定できる。追加の画素によって、検出された物体に関する追加情報を提供することも可能である。例えば、第1及び第2の画素を含む同一の画素割り当て又は異なる画素割り当ての第3又は第4の画素からの信号は、追加の深度情報を提供するか、又は物体に関連付けられた構造的詳細部に関する情報を提供することができる(例えばサイドミラーの存在、ホイール縁部の位置等)。
[0200] いくつかの場合、少なくとも1つのプロセッサ118は、第1の画素及び第2の画素の処理に基づいて、LIDAR FOVの少なくとも一部で物体が不在であることを判定できる(例えば、第1及び第2の画素に含まれる検出素子のいくつかが、物体を確実に識別するには不充分なSNRを有する場合)。しかしながら、少なくとも1つのプロセッサ118は、第3の画素及び第4の画素の処理に基づいて、FOVのその部分に少なくとも1つの物体が存在することを判定できる(例えば、第3及び第4の画素に割り当てられた検出素子のいくつかが、経験される条件下で分解能よりも感度を優先させる場合)。実際、少なくとも1つのプロセッサ118は、第1の画素及び第2の画素の処理に基づいてFOVの少なくとも一部で物体が不在であると判定した後、第3及び第4の画素に検出素子を動的に割り当てることができる。
[0201] 図9Bは、LIDAR撮像の方法910を示すフローチャートである。方法910は、LIDARシステムの1つ以上のプロセッサによって実行できる。前述の図に関して記載された例を参照すると、方法910はLIDARシステム100によって実行できる。前述の図に関して記載された例を参照すると、方法910はLIDARシステム100の1つ以上のプロセッサ116によって実行できる。
[0202] 方法910は、視野部分(FOV部分)を照射するための少なくとも1つの光源の活性化を制御するステップ911を含み得る。方法910は、少なくとも10平方度(例えば2°×2.5°)のFOV部分に対して実行することができる。任意選択として、方法910は、これよりも著しく大きいFOV部分(例えば100平方度、1,000平方度)に対して実行してもよく、更に、LIDARシステムのFOV全体に対して、又はその1つ以上の部分に対してのみ実行してもよいことに留意するべきである。必ずしもそうとは限らないが、FOV部分は連続的なFOV部分であり得る。任意選択として、方法910は10平方度よりも小さいFOV部分に対して実行してもよい。
[0203] 方法910は、複数の検出素子を有する少なくとも1つのセンサから、FOV部分内の物体から反射した光を示す反射信号を受信するステップ912も含む。ステップ911及び912を2回以上反復できること、並びに、ステップ911及び/又は912の繰り返しは以下で検討される方法910の任意のステップとステップとの間に及び/又はこれらのステップのうち1つ以上と同時に実行できることに留意するべきである。
[0204] 方法910のステップ913は、複数の検出素子のための第1のグループ化スキームを動的に適用して、第1の数のグループを含む複数の第1の検出素子グループを提供することを含む。前述の図に関して与えられた例を参照すると、検出素子はLIDARシステム100の1つ以上のセンサ118の検出素子であり得る。検出素子の各グループは、上記で詳しく検討されたように1つの画素を構築することができる。検出素子の各グループは、隣接した検出素子のみ又は他の点で空間的に接続した検出素子を含み得るが、必ずしもそうとは限らないことに留意するべきである。異なる第1のグループは同じ大きさとすることができる及び/又は実質的に検出素子数を含むことができるが、必ずしもそうとは限らない。第1の検出素子グループに対して、様々な画素に関して上記で検討した他のいずれかの変形を適用することも可能である。
[0205] 方法910のステップ914は、少なくとも1つのセンサから複数の第1の出力信号を取得することを含む。第1の出力信号の各々はそれぞれ別の第1の検出素子グループに対応する。出力信号は、アナログ及び/又はデジタルであること、単一の値又は1群の値(例えばベクトル)を含むこと、1つ以上の時点及び/又は1つ以上の時間期間に対応することが可能であることに留意するべきである。
[0206] 方法910のステップ915は、複数の第1の出力信号を処理して、FOV部分において第1のポイント密度を有する第1のポイントクラウドを提供することを含む。この場合、第1のポイントクラウドの各ポイントはそれぞれ別の第1の検出素子グループに対応する。方法910の状況におけるポイントクラウドのポイント密度は、FOVの平方度に対するポイントクラウド数を指す。例えば、第1の検出素子グループの各々が0.2°×0.2°に対応する場合、第1のポイントクラウドは1平方度当たり25ポイントである。ポイントクラウド密度は他の尺度を用いて測定してもよいことに留意するべきである(例えば、軸のうち1つに対する1D密度等)。
[0207] 方法910のステップ916は、複数の検出素子のための第2のグループ化スキームを動的に適用して、第2の数のグループを含む複数の第2の検出素子グループを提供することを含む(第2の数は第1の数よりも大きい)。第1の検出素子グループに対して、様々な画素に関して上記で検討した他のいずれかの変形を適用することも可能である。第2の検出素子グループと第1の検出素子グループとの差に対して、様々な割り当てスキームの画素間の差に関して上記で検討したいずれかの変形を適用することも可能である。
[0208] 方法910のステップ917は、少なくとも1つのセンサから複数の第2の出力信号を取得することを含む。第2の出力信号の各々はそれぞれ別の第2の検出素子グループに対応する。ステップ914に関して上記で検討したいずれかの変形をステップ917に適用可能である。
[0209] 方法910のステップ918は、複数の第2の出力信号を処理して、FOV部分において第2のポイント密度を有する第2のポイントクラウドを提供することを含む。第2のポイント密度は第1のポイント密度の少なくとも2倍の密度である。第2のポイントクラウドの各ポイントはそれぞれ別の第2の検出素子グループに対応する。ステップ914に関して上記で検討したいずれかの変形をステップ918に適用可能である。
[0210] 任意選択として、第1のポイント密度と第2のポイント密度との比は整数でないことに留意するべきである(例えば、最も近い整数から少なくとも0.15離れている。すなわち、N+0.15とN+0.85との間であり、Nは整数である)。更に、第1のポイント密度と第2のポイント密度との比は、これら2つのポイント密度のうち大きい方をこれら2つのポイント密度のうち小さい方で除算したものとして定義される。
[0211] 任意選択として、第1のポイントクラウドの1Dポイント密度と第2のポイントクラウドの1Dポイント密度との比は、整数でない(例えば、最も近い整数から少なくとも0.15離れている。すなわち、N+0.15とN+0.85との間であり、Nは整数である)。更に、これらのポイント密度の比は、これら2つの1Dポイント密度のうち大きい方をこれら2つの1Dポイント密度のうち小さい方で除算したものとして定義される。
[0212] 上述のシステム及び方法に関して検討されたように、異なるグループ/画素への検出素子の割り当ての変更は、FOVの異なるスキャンとスキャンとの間、FOVの単一のスキャン中等に実行できる。
[0213] 方法910は、任意選択として、方法910によって、より具体的にはLIDARシステムのプロセッサによって実行できる。従って、以下のように動作可能であり構成されるLIDARシステムのプロセッサが開示される。
a.少なくとも10平方度である視野(FOV)部分を照射するための少なくとも1つの光源の活性化を制御し、
b.複数の検出素子を有する少なくとも1つのセンサから、FOV部分内の物体から反射した光を示す反射信号を受信し、
c.複数の検出素子のための第1のグループ化スキームを動的に適用して、第1の数のグループを含む複数の第1の検出素子グループを提供し、
d.少なくとも1つのセンサから複数の第1の出力信号を取得し、第1の出力信号の各々はそれぞれ別の第1の検出素子グループに対応し、
e.複数の第1の出力信号を処理して、FOV部分において第1のポイント密度を有する第1のポイントクラウドを提供し(第1のポイントクラウドの各ポイントはそれぞれ別の第1の検出素子グループに対応する)、
f.複数の検出素子のための第2のグループ化スキームを動的に適用して、第2の数のグループを含む複数の第2の検出素子グループを提供し(第2の数は第1の数よりも大きい)、
g.少なくとも1つのセンサから複数の第2の出力信号を取得し、第2の出力信号の各々はそれぞれ別の第2の検出素子グループに対応する、
h.複数の第2の出力信号を処理して、FOV部分において第2のポイント密度を有する第2のポイントクラウドを提供し(第2のポイントクラウドの各ポイントはそれぞれ別の第2の検出素子グループに対応する)、第2のポイント密度は第1のポイント密度の少なくとも2倍の密度である。
[0214] 上記で検討された方法及びシステムの全てに関して、関連するセンサの検出素子の全てが必ずしも画素/グループに対する検出素子の分配スキーム(割り当てスキームとも称される)で割り当てられるわけではないことに留意するべきである。
[0215] LIDARシステムにおける飛行時間中の検出感度の変更
[0216] LIDARシステム(例えばLIDARシステム100)は、1つ以上の光源(例えば光源112)を活性化してLIDARシステムの視野の一部へ光を放出させるように構成された少なくとも1つのプロセッサ(例えばプロセッサ118)を含み得る。LIDARシステムは、LIDARシステムによって放出した光から受光された反射に基づいて、その周囲に関する情報を決定することができる。例えば、1つ以上のセンサ(例えばセンサ116)によって受光及び記録された光反射により、物体、物体表面、物体の部分、路面、又は環境内に存在する他の任意の特徴部に対する距離情報のような情報の決定が可能となる。多くの場合、スキャンLIDARシステムと、特にLIDARシステム100に関して(例えば以下のパラグラフにおいて、並びに図10、図11、及び図12に関して)、光の飛行中の増幅レベルの修正が以下で例示されているが、本発明はそのようなシステムに限定されず、任意のタイプのLIDARシステムに実施され得ることに留意するべきである。具体的には、スキャンLIDARシステムに関して以下で検討される全ての詳細事項及び変形は、必要な変更を加えて、他のタイプのLIDARシステム(例えばフラッシュタイプLIDAR、ステアリングアレイ(staring-array)LIDAR等)にも実施できる。
[0217] 一例においてLIDARシステムは、ホスト車両に搭載することができ、LIDARシステムのFOV内のホスト車両の環境から受信された反射光に基づく反射信号を用いて、ホスト車両とFOV内の物体との距離を決定することができる。しかしながら、動作中に、システムの動作を阻害し得る様々な雑音源が存在する可能性がある。例えばシステムのFOV内で、周囲光源、高反射率エリア、グレア源等が、LIDARシステムのセンサの1つ以上の部分を飽和させて、センサの「ブラインディング(blinding)」を引き起こすことがあり、システムがFOV内の物体を分解したり距離情報を決定したりする能力を制限する恐れがある。
[0218] 考えられるブラインディング源は、街灯、テールランプ、ヘッドライト、高反射性の物体(例えばナンバープレート、標識等)、霧、大雨、濡れた表面、近くの物体等を含み得る。1つ以上のシステムコンポーネントから内部反射した光もブラインディングを引き起こす可能性がある。例えば内部反射は、光源(例えば光源112)から放出された光が1つ以上の内部コンポーネント(例えばステアリング要素、スプリッタ、及び/又はLIDARシステム筐体)によって反射された場合に発生し得る。内部反射した光放出は、視野内の物体からの信号が予想されるよりも前に、極めて速くセンサに到達し得る。このような内部反射によるブラインディングの結果、システムは、(センサの回復時間に依存した距離までの)LIDARシステムのFOV内の物体を適正に検出できなくなる恐れがある。ブラインディング源の低減によって、LIDARシステムの精度を向上させることができる。
[0219] センサのブラインディングは、センサ116の様々な動作パラメータを調節することによって克服できる。例えばいくつかの実施形態において、センサ116は、調節可能な増幅パラメータを有する1つ以上の検出素子を含み得る。増幅パラメータの調節は、各検出素子で個別に行うことや検出素子のグループ単位で行うこと等が可能である。LIDARシステム100の動作中の任意の時点で、センサ116内に存在する1つ以上の検出素子(利用可能検出素子の任意のサブセットを含み、これは最大で利用可能検出素子を全てを含む)の増幅パラメータを、ゼロ(又は特定の検出素子を実質的に動作不能にすることができる任意の他の値)から最大の利用可能増幅レベルまで調整することができる。検出器の増幅パラメータは、例えばセンサ116の1つ以上の検出素子に適用される利得設定によって制御できる。また、検出器の有効増幅パラメータは、受光経路又は処理経路内の任意のコンポーネント(例えばアナログ増幅器、アナログ−デジタル変換器、時間−デジタル変換器、デジタル増幅器等)に関連付けられた利得/増幅レベルを調整することによって影響を受けることがある。いくつかの実施形態では、センサ116と併用される制御可能フィルタ又は制御可能シャッタを用いてセンサブラインディングの効果を低減させることもできる。記載される実施形態において、動的に制御される増幅パラメータは、検出器の利得、増幅器の利得、感度レベル、及び/又は減衰値のうち少なくとも1つを含み得る。また、前述のように、検出器の増幅パラメータの調整は、センサ116及びLIDARシステムの他のコンポーネントを含めて、受光経路又は光処理経路内に存在する任意のコンポーネントに対してこれらのパラメータのいずれか又は全てを変更することを含み得る。
[0220] 検出器の増幅パラメータの制御は、LIDARシステム100の動作中の任意の適切な時点で実行できる。しかしながら、更に具体的には、増幅パラメータは、光源112から放出された光パルス(又はCW信号のような他の光信号)の飛行時間中に選択的に変更することができる。飛行時間中に増幅パラメータを選択的に変更するこの機能は、LIDARシステムの検出能力を様々なやり方で改善することができる。例えば、飛行時間中に増幅パラメータを選択的に変更する能力によって、LIDARシステム100の環境内の物体からの光反射の時間ゲートフィルタリング(time-gated filtering)が可能となり得る。そのような時間ゲートフィルタリングは、周囲光源、高反射性の表面、又は他の雑音源からの雑音寄与分を低減又は排除するために有用であり得る。例えば、LIDARシステム100から特定の距離に雑音発生物体(車両テールライト、ナンバープレート等)が位置していると判定された場合、例えばその雑音発生物体からの光反射がセンサ116で受光されると予想される時間ウィンドウの間、増幅パラメータ値を低減させればよい。この結果、雑音発生物体によって生じるブラインディング効果を軽減することができる。
[0221] 動作中、プロセッサ118は、LIDARシステム100の視野を照射するための光源112の活性化を制御することができる。プロセッサ118は、センサ116から、視野内の物体に関連付けられた反射信号を受信することができる。光源112から出射する光とセンサ116に入射する帰還反射との間の経過時間が、飛行時間を構成する。プロセッサ118は、飛行時間中に、少なくとも1つのセンサに関連付けられた増幅パラメータ(例えば、センサ116の1つ以上の検出素子、又は受光経路もしくは処理経路内の他の任意のコンポーネントに関連付けられた増幅パラメータ)を変更することができる。場合によっては(例えば、センサが空に向けられている、空の空間の方へ向けられている、又は黒い物体の方へ向けられている場合)、放出した光の反射がシーンから受信されないことに留意するべきである。従ってLIDARシステムは、無期限に待機するのではなく所定の時間のみ反射を待てばよい。そのような場合、特定の光放出の伝搬に許された最大待機時間(例えば300メートルの最大検出範囲では2ミリ秒)内で、プロセッサによって増幅レベルの修正を開始することができる。最大待機時間は、時によって、パルスごとに、画素ごとに等で変化し得ることに留意するべきである。更に、LIDARにおいて、(例えば単一の画素の方へ放出された単一のパルスの)単一の光放出からの反射は、異なる距離から反射され、従って異なる時点で到着する可能性があることに留意するべきである。(2以上の飛行時間が存在する場合は)任意の飛行時間の間に増幅設定の修正を行うことができる。
[0222] このような増幅パラメータ値の選択的な変更は、他の潜在的な利点も有することがある。これらには、例えば、長い飛行時間を有する光反射に対する検出感度を増大させる(例えば徐々に増大させる)能力が含まれる。これは、徐々に遠ざかる物体を検出すること、又はそれらの物体に対する距離/深度マップを決定することに役立ち得る。
[0223] 前述のように、飛行時間は、光源112から出射する光放出と、LIDARシステムのFOV内の物体や表面等から反射された光放出による帰還反射がセンサ116に入射する時との間の経過時間に対応することができる。飛行時間は、LIDARシステム100とLIDARシステムのFOV内の物体との間の距離と共に変動し得る。すなわち、この距離が大きくなると飛行時間も長くなる。前述のように、FOVの方へ放出された光の飛行時間中に増幅パラメータを選択的に調整できる。例えば、飛行時間内の特定の時間ウィンドウの間に増幅パラメータを低減又は増大させ、これによって、その特定の時間ウィンドウに対応した距離範囲内の光反射に対する感度を低減又は増大させることができる。更に、飛行時間に対して他のやり方で増幅パラメータを変動させることも可能である。例えばいくつかの実施形態では、(例えば所与のパルスの)放出時からの経過時間の関数として増幅パラメータを増大させることができる。このため、(例えば、しだいに遠ざかる物体からの反射に対応して)飛行時間が長くなると、適用される増幅パラメータも増大させることができる。これに加えて又はこの代わりに、反射パルスが検出器に到達することが予想される時に基づいて、センサの感度増幅を動的に調整できる。関心の高い物体からの反射光が特定の時点に又は特定の時間ウィンドウ内でセンサ116で受光されることが予想された場合、その時点で又はその時間ウィンドウ内で増幅パラメータ値を増大させることができる。これに対して、関心の低い物体(例えば周囲光源又は他の雑音源)からの反射光が特定の時点に又は特定の時間ウィンドウ内でセンサ116で受信されることが予想された場合、その時点で又はその時間ウィンドウ内で増幅パラメータ値を低減させることができる。
[0224] 増幅パラメータ値は、飛行時間中に任意の適切なやり方で変更できる。いくつかの実施形態において、プロセッサ118は、少なくとも300ナノ秒の連続した時間期間にわたって増幅パラメータを徐々に増大させるように構成できる。いくつかの実施形態において、プロセッサ118は、少なくとも200ナノ秒の連続した時間期間にわたって増幅レベルを少なくとも1dB上昇させるように構成できる。いくつかの実施形態において、プロセッサ118は、少なくとも300ナノ秒の連続した時間期間にわたって増幅レベルを少なくとも4dB上昇させるように構成できる。
[0225] 本明細書で記載されているように、飛行時間中のプロセッサによる増幅パラメータの修正は、単一のキャプチャサイクル中にFOV全体が照射されてFOVの対応する画像がセンサ116によってキャプチャされるフラッシュタイプのLIDARシステムにおいても実施できる。本明細書で記載されているように、飛行時間中のプロセッサによる増幅パラメータの修正は、単一のキャプチャ/スキャンサイクル中にFOVがスキャンパターンによって照射され、反射光信号が固定センサによってキャプチャされ、固定センサがFOV全体の画像を変換する、ステアリングアレイタイプのLIDARシステムにおいても実施できる。他の実施形態において、LIDARシステム100は、単一のスキャンサイクル中に可動光偏向器を用いてFOVの小領域を選択的に照射し、(例えばセンサ116を用いて)FOVの様々な小領域の画像を順次キャプチャするスキャンシステムを構成することができる。飛行時間中に増幅パラメータを変更する記載された技法は、フラッシュタイプのLIDARシステム、スキャンLIDARシステム、又は他の任意のLIDARシステム構成と共に使用できる。また、LIDARシステム100の受光経路又は処理経路内の関連コンポーネントに対して、又はセンサ116内の個々の検出素子もしくは検出素子グループに対して増幅パラメータを制御することができるので、単一のスキャンサイクル中に異なる増幅スキームを適用できる。例えば、ある増幅スキームが特定のシステムコンポーネント又は特定の検出素子の経時的な増幅プロファイルを参照する場合、単一のスキャンサイクル中であっても、異なるコンポーネント及び異なる検出素子は全て、相互に異なる増幅スキームに関連付けることができる。
[0226] 更に、スキャンLIDARシステムにおいて、プロセッサ118は、視野をスキャンするため少なくとも1つの光源からの光を偏向させるように少なくとも1つの光偏向器114を制御することができる。このようなシステムにおいて、視野のスキャンパターンは少なくとも2つの異なるスキャン方向を含み得る(例えば図2Aから図2Cに示されているように)。またプロセッサ118は、現在のスキャン方向に基づいて、センサ116の複数の検出素子のうち少なくともいくつかに関連付けられた増幅パラメータを動的に変更できる。
[0227] ここに記載されている実施形態に従って、LIDARシステム100が放出した光の飛行時間中に増幅パラメータを変更するため、様々なトリガを使用できる。いくつかの場合、そのようなトリガは、LIDARシステム100の動作中に受信されるフィードバックを含み得る。例えば、以前のスキャンサイクル(又は、同一スキャンサイクル中に放出された以前のパルス)に関連した反射信号に基づいて、任意のシステムコンポーネント及び/又はセンサ116の1つ以上の検出素子の増幅パラメータの値を決定できる。これに加えて又はこの代わりに、同一スキャンサイクル中に受信された別の画素に関連した反射信号に基づいて、特定の画素内に含まれるセンサ116の1つ以上の検出素子の増幅パラメータの値を決定できる。車両のロケーション情報に基づいて増幅パラメータ値を決定することも可能である。例えばプロセッサは、マップデータと共にホスト車両の決定されたロケーションを用いて、潜在的な周囲光源及びその周囲光源に対する予測範囲を識別できる。これに応じてプロセッサ118は、予測範囲に対応した時間ウィンドウの増幅パラメータ値を変更することができる。
[0228] フィードバックを用いて増幅パラメータ値を動的に制御する1つの例では、LIDARシステムFOV内に放出された光に基づいて、FOV内の1つ以上の物体等に対する距離情報を取得できる。この情報を用いて、1つ以上のコンポーネント又は検出素子のための増幅スキームを生成し適用することができる。例えば、LIDARシステム100から60メートルの距離で車両テールライトが検出された場合(例えば図10の例に示されているように)、検出されたテールライトを含むFOV領域からの反射光を収集する1つ以上の検出素子に関連付けられた増幅パラメータ値を低減させることで、関連する時間ウィンドウ(例えば放出から370ナノ秒から430ナノ秒の間)において、検出されたテールライトの照射によるブラインディングのリスクを低減又は排除できる。特に、1つ以上の検出素子の増幅パラメータ値は無期限に低減させる必要はない。増幅パラメータ値の低減は、テールライトから予想される光反射の飛行時間(すなわち約400nsに対応する飛行時間)を含む飛行時間範囲(例えば狭い範囲)に対してのみ選択的に適用することができる。
[0229] 更に、特定のシステムコンポーネント及び/又は特定の検出素子のための増幅スキームは、任意の適切な増幅プロファイルを示すことができる。例えばいくつかの時間範囲中、特定の増幅スキームは、最小値(例えばゼロ)に設定された増幅値を含み得る。他の時間期間において、増幅値は適切な一定のレベルに維持することができる。また、他の時間期間において、増幅は、例えば時間に対する任意の適切な関数に従って変動し得る(例えば、線形に増大する、線形に低減する、指数的に増大する、指数的に低減する、段階的に増大する、段階的に低減する、周期的に変動する等)。いくつかの実施形態では、飛行時間の第1の部分に第1の増幅値を関連付けることができ、プロセッサ118は、飛行時間の第1の部分に続く飛行時間の第2の部分の間に増幅値を増大させることができる。いくつかの場合、飛行時間の第1の部分の間、増幅値は実質的にゼロに等しくすることができる。更に、飛行時間の第1の部分が開始するのは、少なくとも1つの光源から出射した光が少なくとも1つの光源から少なくとも5メートル(又は、例えば7メートルや16メートル等、他の任意の距離もしくは同等の時間)進行した後とすることができる。また、飛行時間の第2の部分が開始するのは、実質的に飛行時間の第1の部分が終了した時か、又はそれらの間に介在する時間ウィンドウの後とすることができる。
[0230] 前述のように、LIDARシステムの環境に供給された光の飛行時間において、個々の検出素子又は検出素子グループに関連付けられた増幅値を個別に制御することができる。例えばいくつかの実施形態では、異なる検出素子グループを異なる画素に割り当て、各画素及びそれに対応する検出素子グループの増幅パラメータを個別に調整することができる。例えば、LIDARシステムの近傍のFOV内の物体から光を収集する画素では、近傍の物体に関連付けられた飛行時間に対応する時間ウィンドウの間、画素内の検出素子に低い増幅値を割り当てることができる。しかしながら、それらの時間ウィンドウの外側では、画素内の検出素子の増幅値を増大させることができる。プロセッサ118は、検出素子の増幅レベルを制御することに加えて、画素に対する検出素子の割り当ても制御できる。例えばプロセッサ118は、LIDARシステムから第1の距離に位置する第1の物体に関連付けられた第1の画素に対して、LIDARシステムから第1の距離よりも遠い第2の距離に位置する第2の物体に関連付けられた第2の画素よりも少数の検出素子を割り当てるように、センサ116に関連付けられた異なる画素に対して異なる検出素子グループを割り当てることができる。
[0231] 前述のように、場合によっては、内部反射光(例えば極めて短い飛行時間を有する光)を大きく減衰させるか又は検出しないように増幅パラメータ値を設定することができる。しかしながら他の場合には、例えばシステムの較正において内部の妨害(blockage)を検出するため、内部反射光の低増幅検出が有益である。例えば内部反射を用いて、センサ116に関連付けられた異なる画素間の変換係数(translation coefficient)を決定し、その結果に基づいて検出器パラメータ/増幅を変更することができる。例えば、制御できるパラメータのうち1つはタイミングである(例えば、正確な放出タイミングは既知でないので、1つの画素が他の画素に対して遅い場合、遅い画素のタイミングを調整することができる)。
[0232] 飛行時間中のプロセッサ118による増幅レベルの修正は、LIDARシステムの動作パラメータの他の修正と共に実行できることに留意するべきである。例えばプロセッサ118は、異なる画素への検出素子のグループ化の制御や、FOVの異なる部分へ放出される照射レベルの修正等と共に、増幅レベルの修正を制御することができる(光の飛行時間中、又はその他で)。特にプロセッサ118は、FOVのROI内の異なる画素への検出素子のグループ化の制御や、ROIへ放出される照射レベルの修正等と共に、ROIにおける増幅レベルの修正を制御することができる(光の飛行時間中、又はその他で)。このようなLIDARシステムの同時進行の動作パラメータ修正は、相乗効果を達成するため、異なる検討事項(例えば電力要件と検出要件)の間でバランスをとるため、又は他のいずれかの理由のため、プロセッサ118によって実行できる。
[0233] 図10は、記載されている時間依存増幅技法をどのように用いてセンサブラインディングの効果を低減又は排除できるかの一例を示す図である。図示のように、LIDARシステム100はホスト車両(例えば自律走行車又は半自律走行車)に含めることができ、車両1002のフロントバンパーの近傍のような任意の適切な場所に搭載すればよい。図示のように、車両1002は平坦な道路1004上を走行し、別の車両1006の後ろを走っている。LIDARシステム100は、円錐1008内の領域で表されたLIDAR FOVに光パルスを放出することができる。
[0234] 前述のように、受光経路もしくは処理経路内の任意の関連コンポーネントに対して、又はセンサ116に関連付けられた1つ以上の検出素子に対して、増幅スキームを実施することができる。グラフ1010は、1つのそのような増幅スキームの一例を示し、(例えば、FOVの方へ投影された少なくとも1つの光放出の飛行時間内で)経時的に増幅がどのように変動し得るかを示している。
[0235] グラフ1010に示されているように、LIDARシステム100の近くの距離範囲に対応する時間ウィンドウ内では、低い値(例えばグラフ1010のセクション1012に示されているようにゼロ)に増幅を設定することができる。上述のように、短い飛行時間を有する光(例えば、約ゼロから数ナノ秒、数十ナノ秒等の範囲内で検出される反射光)は、システムの環境内の物体からでなくLIDARシステム100の1つ以上のコンポーネントから反射された光によって生じ得る。グラフ1010のセクション1012に示されているように、この時間ウィンドウ内の増幅をゼロ又はゼロ近傍に設定することで、内部反射光の検出によって発生し得る雑音を低減できる。LIDARシステム100から所定の距離(例えば5メートル、10メートル、25メートル、又はそれ以上)では、増幅をゼロから増大させ、付近の物体の深度マップを生成するため適切な増幅レベルにすることができる。それらの物体はセンサ116に極めて近接しているため、センサ116に入射する著しいレベルの反射光を発生させる傾向がある。
[0236] グラフ1010に示されているように、増幅レベルは次いで、セクション1016に到達するまで徐々に上昇し得る。この漸進的な増大は、飛行時間の長い光パルスに対する感度を増大させることができる。飛行時間の長い光パルスは、LIDARシステム100と、この光パルスが反射したFOV内の物体との間の長い距離を移動し、従って、より飛行時間の短い光パルスに比べて減衰されている可能性がある。光源からの距離が長くなるにつれて、これに応じて増幅を増大させることで、光が長い距離を移動することによって失うエネルギ(例えばターゲットからの反射角度や吸収等のため)に対処することができる。
[0237] この例においてLIDARシステム100は、車両1006の点灯したテールライト1014を検出することができる。テールライト1014は周囲光源として望ましくない干渉を生じ得る。テールライト1014によって生じる雑音を低減するため、プロセッサ118は、光がLIDARシステム100からテールライトまで移動して戻ってくるまでの飛行時間の予想範囲に対応する時間ウィンドウ内の増幅レベルを低減させることができる。グラフ1010のセクション1016は、この時間ウィンドウ中の増幅レベルの低減を示す。このような増幅の低減はセンサ116の1つ以上の検出素子に適用することができる。グラフ1010は増幅と時間との間の全体的に線形の相関を示すが、いくつかの実施形態では、この関係は非線形であってもよい。
[0238] 図11は、LIDARシステム100がどのように時間依存増幅を実施して検出器感度を経時的に制御できるかの追加の例を示す。レーザ出力グラフ1102は、t1とt2との間の時間期間にわたって光源からパルスが放出されたことを示す。パルスが放出される時間中、検出器バイアスグラフ1104に示されているように検出器バイアスを低減させることで、パルス放出中の内部反射の検知を回避するように検出器感度を低減させることができる。この例では、第1の例示的な増幅グラフ1106a及び第2の例示的な増幅グラフ1106bにおける感度は、t1からt2まで双方ともゼロである。内部反射はパルス放出後も受信され得るので、内部反射が検出されないことを保証するため、t3まで検出器バイアスを低レベルに保持することができる。
[0239] t3において、初期パルス反射が受信されると、検出器バイアスは増大し得る。前述の通り、反射信号のエネルギに対応するように感度を増大させることができる。t4において検出器に到達する光子は、t6において検出器に到達する光子よりも大きいエネルギを有し得る。これは、飛行時間の短いこれらの光子を検出するために必要な信号増幅が小さいこと又は感度が低いことを意味する。グラフ1106aは、飛行時間の関数として信号増幅の一例を示し、図10を参照して記載されたゲーティングは存在しない。いくつかの実施形態において、検出器バイアス、従って信号増幅は、t6において最大増幅まで増大し得る。
[0240] グラフ1106bは、時間の関数として増幅の別の例を表し、t4とt5との間にゲートが存在する。この例では、例えば視野内に反射面が位置し、放出されたパルスを反射して高い強度で検出器へ戻す可能性がある。ここでは、高い強度の光子が検出器に到達することが予想される場合、t4とt5との間の図示されている時間ウィンドウで増幅をゼロに低減させることができる。
[0241] グラフ1106cは、検出感度を経時的に変動させる別の例を表す。図示のように、増幅が時間の関数として徐々に変化するプロファイルのセクションは存在しない。しかしながら、2つの時間ゲートが、一方は時点t1とt3との間に、他方は時点t4とt5との間に存在する。この例では、例えば視野内に反射面が位置し、放出されたパルスを反射して高い強度で検出器へ戻す可能性がある。ここでは、高い強度の光子が検出器に到達することが予想される場合、時点t1とt3との間及び他方の時点t4とt5との間の時間ウィンドウで増幅をゼロ又は低レベルに(図示のように)低減させることができる。図示のように、これらの時間ウィンドウ中に適用される低レベルの増幅は、利用可能な時間ウィンドウ内で同一の値を有する必要はなく、図示のように異なる値を含み得る。
[0242] 図12は、LIDARシステムのオプション中、検出器又はセンサの感度を動的に制御するための例示的なプロセス1200のフローチャートである。最初に、1つ以上の光源(例えば光源112)から光を放出して視野の少なくとも一部を照射することができる(ステップ1202)。いくつかの実施形態においてシステムは、2つ以上の方向を含むスキャンパターンで視野をスキャンするため光源からの光を偏向させるように1つ以上の光偏向器を制御することができる。この方法は、少なくとも1つのセンサから、視野内の物体に関連付けられた反射信号を受信することも含み得る。少なくとも1つの光源から出射する光と少なくとも1つのセンサに入射する反射との間の経過時間が、飛行時間を構成する(ステップ1204)。放出光の飛行時間中、システムは、1つ以上の検出器もしくはセンサに関連付けられたか、又は1つ以上の検出/受信経路に関連付けられた1つ以上の増幅パラメータを変更することができる(ステップ1206)。前述のように、センサ116は複数の検出素子を含むことができ、増幅パラメータの変更は、少なくとも1つの検出素子に関連付けられた少なくとも1つの増幅パラメータを変更することを含み得る。増幅レベルの変更は、飛行時間の関数として増幅を増大させることを含み得る。また、増幅レベルの変更は、異なる検出素子の増幅レベルを異なるように(並行して及び非並行に)変更すること、並びに、受信経路の異なるコンポーネントの増幅レベルを異なるように(並行して及び非並行に)変更することを含み得る。
[0243] 動作中、プロセッサ118は、少なくとも1つの欠陥のある検出素子の識別を取得し得る。これに応じてプロセッサ118は、少なくとも1つの欠陥のある検出素子の利得がセンサ116の他の検出素子の利得よりも実質的に低くなるように、センサ116の複数の検出素子のサブセットに関連付けられた少なくとも1つの増幅パラメータを動的に変更することができる。
[0244] LIDARシステムにおける検出と検出との間の検出感度の変更
[0245] 前述のように、例えばシステム100のようなLIDARシステムは、例えばプロセッサ118のような少なくとも1つのプロセッサを含み得る。プロセッサは、例えば光源112のような1つ以上の光源を活性化して、視野の一部へ光を放出させることができる。LIDARシステムは、LIDARシステムから放出した光から受光された反射に基づいて、その周囲に関する情報を決定することができる。例えば、センサ116のようなセンサによって受光及び記録された反射により、例えば物体、物体表面、物体の一部、路面、又は環境内に存在する他の任意の特徴部に対する距離情報のような情報の決定が可能となる。
[0246] LIDARは光ベースの技術であるので、LIDARシステムは、外部光源、LIDARシステムの環境内の物体の反射特性等に影響されやすいことがある。例えばLIDARシステムは、周囲光源(街灯、テールライト、ヘッドライト、太陽の光等)からの雑音及び/又は他の干渉に影響されやすい可能性がある。雑音及び他の干渉は、(例えば信号対雑音比に負の影響を与えることによって)検出及び/又は深度マッピングを困難にする恐れがある。更に、LIDARシステムの1つ以上のセンサは、光源及び/又は高反射性の表面(反射性の道路標識、ガラス、水面、ナンバープレート、至近距離の物体等)によってブラインディングされる可能性がある。これらの光源及び/又は高反射性の表面は、高い反射によって又は放出光から、センサに対する大きい光入力を発生させることがあり、双方ともセンサの飽和すなわちセンサブラインディングを引き起こすことがある。
[0247] 信号雑音及び/又はブラインディングの望ましくない影響、並びに他の干渉及び他の制限要因を軽減又は防止するため、プロセッサは、LIDARシステムセンサの1つ以上の動作特性を動的に調整できる。このような調整は、既知の情報又は観察された情報に基づいて行うことができる。例えばいくつかの実施形態において、プロセッサ118は、LIDARシステムホストの環境に関する情報を収集し、この情報を用いてセンサ116のような1つ以上のセンサに関連付けられたパラメータを調整することができる。例えばLIDARシステムは、その環境に光を放出すると共に反射を監視することができる。反射から得られた情報に基づいて、プロセッサは例えばセンサ感度を調整できる。感度調整は、センサの全ての検出素子において均一に行うことができる。あるいは、センサ116内の個々の検出素子又は検出素子グループにおいて様々な異なる感度レベルを適用してもよい。いくつかの実施形態においてプロセッサ118は、LIDARシステムFOVの現在のスキャン中に又はLIDARシステムFOVのスキャンとスキャンとの間に、特定の個々の検出素子又は検出素子グループのセンサ感度を調整することができる。このような調整は、センサ116の様々な領域においてLIDARシステムの環境から受光されて観察された光レベルに基づいて実行できる。また、このような調整は、他の任意の適切なタイプの情報に基づいて実行してもよい(例えば、GPSロケーション情報、ホスト車両ナビゲーション命令、FOV内の既知の関心領域又は決定された関心領域等)。
[0248] いくつかの実施形態において、センサは、例えばPINダイオード、SPAD、APD、他のタイプのフォトダイオード、又は他の光検知デバイス等を含む、離散的な検出素子を含み得る。プロセッサ118は、任意の適切な技法を用いて検出素子の感度を制御できる。いくつかの実施形態において、検出素子の感度は、検出素子に関連付けられた利得レベル(例えば増幅レベル等)を変更することによって調整できる。
[0249] 前述のように、プロセッサ118は、センサの異なる領域では異なるように検出素子感度を調整することができる。LIDARシステムFOVの特定の領域は、高反射性の物体/表面及び/又は外部光源を含むと判定された領域を含むことが既知であるか又は観察されることがある。そのような場合、FOVのこれらの高輝度領域から光を収集するセンサ116のエリアは、センサのこれらのエリア内の個々の検出素子の感度を低減させるように意図された増幅値を指定することができる。これに対して、LIDARシステムFOVの他の領域は、低反射性の物体/表面及び/又は外部光源が実質的に存在しないと判定された領域を含むことが既知であるか又は観察されることがある。これらの場合、FOVのこれらの低輝度領域から光を収集するセンサ116のエリアは、センサのこれらのエリア内の個々の検出素子の感度を増大させるように意図された増幅値を指定することができる。センサの特定エリアの感度を低減させることにより、飽和及び/又はブラインディングの効果を低減又は排除することができる。
[0250] プロセッサ118は、センサ116の特定領域に利用できる光の量を変更するため、又はセンサの特定領域内の検出素子の感度レベルを変化させるため、様々なタイプの制御を利用できる。例えば上記のように、センサ116内の1つ以上の光検出素子に関連付けられた感度は、対応する検出素子に関連付けられた利得レベルを調整することによって増大又は低減させることができる。また、1つ以上の追加のデバイスに関連付けられた増幅/利得レベルを用いて、センサ116又はセンサ116の特定領域の感度を変更することも可能である。例えばいくつかの実施形態において、センサ116の感度を制御するには、受光経路/処理経路に沿った任意のポイントの1つ以上のコンポーネント(例えばアナログ増幅器、アナログ−デジタル変換器(ADC)、時間−デジタル変換器(TDC)、デジタル増幅器等)に関連付けられた1つ以上の増幅パラメータを変更すればよい。
[0251] 別の例では、センサ116又はセンサ116の特定領域に到達できる光の量を制御することによって、センサ116の応答を制御することができる。例えば、1つ以上の制御可能フィルタ又はシャッタを用いて、LIDARシステムの環境からセンサ116又はセンサ116の特定領域に到達できる光の量を制御することができる。
[0252] センサ116又はセンサ116の領域の増幅及び/又は感度に影響を及ぼすパラメータの制御は、LIDARシステム100の動作中の任意の時点で実行することができる。例えばいくつかの実施形態において、そのような制御は、LIDARシステムFOVの現在のスキャン中に開始できる(例えば現在進行中のスキャンの完了前に)。例えば図4Bに示されているように、LIDARシステムFOV412のスキャンは、可動光偏向器114を用いて光放出(例えば1つ以上の光パルス)をFOV412の特定領域へ誘導し、それらの領域からの光反射を収集することを含み得る。例えば、偏向器114の瞬時位置は、第2のFOV414の方へ光を誘導すると共にFOV414からの反射光を収集することを可能とする。図示されているようなFOV414は、完全なFOV412の小領域である。図示のように、センサ116は、完全なFOV412のスキャン中に(例えば偏向器114のそれぞれ異なる瞬時位置で)FOV412の各小領域へ送出された1つ以上の光パルスから受信した反射から画像を生成できる。更に前述したように、FOV412のスキャン中にセンサ116内の1つ以上の検出素子の感度レベルを変更できる。例えば、センサ116の検出素子(例えば検出素子の5×4の配列)の各々は、光パルスがFOV414に送出される時点で一意の増幅値を割り当てることができる。このため、FOV414から収集された光反射は、これらの割り当てた増幅値に従って処理することができる。FOV414から反射した光を収集している間、各検出素子は異なる増幅設定を有し得る。あるいは、FOV414から反射した光を収集している間、検出素子グループ又は利用可能な検出素子の全ては同一の増幅設定を有し得る。FOV412の次の小領域(例えば、図4Bに示されているようにFOV414のすぐ左側)から反射光を収集する前に、センサ116の検出素子のいずれかに関連付けられた1つ以上の増幅設定を変更してもよい。いくつかの実施形態においてプロセッサ118は、LIDAR FOV内の物体へ到達して戻ってくる光の飛行時間内で、増幅及び/又は光感度設定又は本明細書に記載される他の制御パラメータ設定を変更できる。また、プロセッサ118は、LIDAR FOV又はFOVの特定部分に与えられる光パルスと光パルスとの間に、増幅及び/又は光感度設定又は本明細書に記載される他の制御パラメータ設定を変更できる。
[0253] 他の場合、センサ116又はセンサ116の領域の感度に影響を及ぼすパラメータの制御は、LIDARシステムFOVのスキャンとスキャンとの間に開始することができる。例えばFOV412のスキャンを完了した後(例えば、偏向器114の各瞬時位置からの画像を取得していき、様々な小領域から収集された画像がFOV412全体をカバーした後)、プロセッサ118は、センサ116に関連付けられた1つ以上の検出素子の増幅設定を変更できる。このような変更は、FOV412の次のスキャンを開始する前(例えば、図4Bに示されているようにFOV412の右上角に位置する小領域の画像を収集する前)に実行できる。任意選択として、LIDARシステムの少なくとも1つのプロセッサは、各検出素子の増幅設定が実質的に一定である間に収集された検出情報からそれぞれ発生できるポイントクラウド(又はLidarシステムの環境の他の3Dモデル)を出力することができる。例えばこれは、LIDARシステムのセンサがFOVの全体又はその大部分をカバーする大型のステアリングアレイである場合に有用であり得る。任意選択として、LIDARシステムの少なくとも1つのプロセッサは、単一のパルスの飛行時間中、2つのパルスの間、又は2つの画素の間に様々な検出素子の増幅設定をコントローラによって修正しながら収集された検出情報からそれぞれ発生できるポイントクラウド(又はLidarシステムの環境の他の3Dモデル)を出力することができる。例えばこれは、センサが(例えば移動する偏向器によって)FOVをスキャンする比較的小型のセンサである場合に有用であり得る。
[0254] 前述のように、LIDAR FOVスキャンは、LIDAR FOVの様々な小領域から順次反射光を収集する移動光偏向器を含まないことがある。いくつかの実施形態では、LIDARシステムのセンサを用いて単一の動作中にLIDAR FOV全体を撮像することができる。例えばフラッシュタイプのLIDARシステムでは、1つ以上の光パルスをLIDARシステムのFOVに放出できる。このような実施形態において、センサは、放出された1つ以上の光パルスに応答して、実質的にLIDARシステムのFOV全体から反射光を収集できる。前述のセンサは、所望の分解能値を得るために任意の適切な数の検出素子を含み得る(例えば数十、数百、数千、数百万、又はそれ以上)。このような実施形態では、LIDAR FOVのスキャンはLIDAR FOVの単一のスナップショットを含み得る。従って、1つ以上のセンサに関連付けられた検出素子は、第1のスキャン/スナップショットの間に第1のセットの感度レベルを有し得る。LIDAR FOVに後続の光パルスを放出する前(又は、後続の光パルスからの反射に基づいてセンサで反射光を収集する前)、1つ以上のセンサの1つ以上の検出素子に関連付けられた1つ以上の感度値を変更することができる。フラッシュタイプのLIDARと、スキャンを行わないか又は他の点でLIDARシステム100とは異なる他の任意のLIDARシステムを参照すると、LIDARシステム100に関して検討された受光経路(センサ及び関連コンポーネントを含む)の増幅レベル及び/又は感度の修正のいずれの変形も、必要な変更を加えてLIDARシステムの他のタイプ(例えばフラッシュタイプ)にも実施することができ、そのような実施はここで開示される本発明の一部であることに留意するべきである。
[0255] 動作中、LIDARシステムの少なくとも1つのプロセッサ(例えばプロセッサ118)は、視野(例えば図4BのFOV412又は414)の方へ誘導される第1の光放出を放出するように少なくとも1つの光源(例えば光源112)の活性化を制御するよう構成できる。少なくとも1つのプロセッサは、第1の増幅設定を有する1つ以上の検出素子を含む少なくとも1つのセンサから、視野内の1つ以上の物体からの第1の光放出の1つ以上の反射に関連付けられたデータを受信できる。少なくとも1つのプロセッサは、視野の方へ誘導される第2の光放出を放出するように少なくとも1つの光源の活性化を制御できる。LIDARシステムの動作中、少なくとも1つのプロセッサは、少なくとも1つのセンサ(例えば少なくとも1つのセンサ116)の1つ以上の検出素子に関連付けられた増幅設定を、第1の増幅設定とは異なる第2の増幅設定に変更することができる。少なくとも1つのプロセッサは、第2の増幅設定のセンサの1つ以上の検出素子から、視野内の1つ以上の物体からの第2の光放出の1つ以上の反射に関連付けられたデータを受信できる。このデータ(例えば、強度やタイミング等を含む、受信した反射光の様々な特性に関連付けられた電気信号)を用いて、少なくとも1つのプロセッサ(例えばプロセッサ118)は、第1の光放出の1つ以上の反射に関連付けられたデータ及び第2の光放出の1つ以上の反射に関連付けられたデータの分析に基づいて、視野内の物体までの(又は物体の部分もしくは表面までの)距離を決定することができる。いくつかの場合、第2の増幅設定は、第1の光放射の反射に関連付けられた1つ以上の観察された特性に基づいて決定できる。
[0256] いくつかのファクタが、単独で又は組み合わされて、センサ116の1つ以上の領域における検出素子の感度の調整、又はセンサ116の1つ以上の領域において領域に許される光レベルの調整を引き起こすことができる。例えばいくつかの実施形態において、プロセッサ118は、同一スキャンサイクル中(同一の又は異なる瞬時方向)の1つ以上の先行パルスの検出結果、以前のFOVスキャンサイクルからの検出結果、FOV内の関心領域の画定、周囲の照明レベルに関する既存の知識、反射率レベル、雑音レベル等、又は、様々な方向に特定のタイプの物体が存在する可能性に関する知識のようなファクタに基づいて、増幅設定を決定することができる。
[0257] 例えば、観察された検出(例えば、先行する光パルスに基づいてFOVの特定領域から取得された反射)に基づいて、又は所定の情報(例えば、FOVの領域とそれらのFOV領域内の物体や表面等に対する距離との既知の相関又は予想される相関)に基づいて、プロセッサ118は、検出素子の感度を変更する及び/又はセンサ116に到達する光を制御するように1つ以上の制御設定を変更できる。具体例では、FOV内の物体に対する距離が短いと、多数の反射光子がセンサに到達することによるブラインディングを回避するため、検出の低い感度値を優先することができる。しかしながら距離が長くなると、関連する検出素子の増幅を増大させるか、又は、より高い反射光束がセンサに到達できるようにフィルタ等を制御することができる。FOVの様々な部分における物体までの距離は、以前の検出結果、GPS情報、マップ、SLAM情報(SLAMはSimultaneous Localization And Mapping(自己位置推定と地図作成の同時実行)を表す)等に基づいて査定することができる。
[0258] また、LIDARシステムホストの環境内の物体及び/又は表面に関連した、観察されたか又は予想された反射率レベルに基づいて、増幅を調整することも可能である(例えば、上述のように感度又は光伝送を変更することによって)。感度の調整は、観察されたか又は予測された反射率レベルに基づいて実行できる(例えば、低い反射率を有するFOVエリアでは感度を高くし、高い反射率を有するFOVエリアでは感度を低くする)。
[0259] また、観察されるか又は予測される周囲光レベルに基づいて増幅の調整を実行することも可能である(例えば、低い周囲光を有するFOVエリアでは感度を高くし、高レベルの周囲光を有するFOVエリアでは感度を低くする)。高い反射率レベル及び/又は極めて明るい周囲光によって、プロセッサは、1つ以上の検出素子の増幅を低下させるか、場合によっては1つ以上の検出素子の利得をゼロにすることができる。同様に、低い反射率レベル及び/又は薄暗い周囲光が検出されると、プロセッサはセンサの1つ以上の検出素子の増幅を増大させることができる。概して感度レベルは、観察された反射率及び/又は周囲光に対して実質的に反比例して変化し得る。例えばいくつかの実施形態において、LIDARシステムは、システムのFOV内で特定の周囲光源を検出し、検出された周囲光源から光を収集するセンサのエリアではセンサ116の1つ以上の検出素子に関連付けられた増幅レベルを下方に調整することができる。いくつかの例においてプロセッサ118は、FOVの特定領域において車両テールライト又は車両ヘッドライトの存在を決定し、FOVのそれらの領域から光を収集する1つ以上の検出素子の感度を低減させることができる。同様の調整を、検出された街灯、交通信号、建物の照明、又は他の任意の周囲光源に基づいて実行してもよい。
[0260] また、プロセッサ118は、LIDARシステム100のFOV内の関心領域(ROI)の確立に基づいて、センサ116の1つ以上の領域内の検出素子の感度の調整又はセンサ116の1つ以上の領域において領域に許された光レベルの調整を行うことができる。ROIは例えば、FOVの少なくとも1つの他の領域よりも情報収集が重要である物体や表面等が存在するFOVの任意の領域において確立できる。例えばLIDARシステム100は、車両、歩行者、道路上のがれき、道路上の物体、道路縁部の防護壁、交通信号、障害物、又はLIDARシステムホストの環境内における他の任意のタイプの物体を検出できる。次いでプロセッサ118は、そのような物体又は表面が以前に検出されたか又は他の点でROIとして現れることが予想されるFOVエリアを確立できる。結果としてプロセッサ118は、ROIから反射された光を収集するセンサ116内の1つ以上の検出素子に関連付けられた増幅又は感度レベルを増大させることができる。また、ROIは、例えばそれらのエリアにおける検出の重要度(例えば車両の前方と車両の脇道)、他のタイプの車両センサの補償等、他の検討事項に基づいて画定してもよい。
[0261] また、検出器要素の感度(これは例えば「増幅」と言い換え可能に使用できる用語である)を、ロケーション情報に基づいて制御することも可能である。プロセッサ118は、マップデータ、ナビゲーション命令、及び/又はGPSセンサ出力等に基づいて、検出素子の感度を調整できる。例えば、街灯、交通信号、建物等の周囲光源を検出することに加えて、そのような固定光源がFOV内の特定領域で生じることをロケーション情報に基づいて予測できる。従って、そのような光源の検出が確定されない場合であっても検出素子の感度を調整することができる。すなわち、ナビゲーション命令やマップデータ等に基づいて決定される今後の環境に関連付けられた特徴部を予想して、1つ以上の検出素子の感度を変更することができる。
[0262] センサのブラインディングは、反射パルスの予想強度に基づいて検出器の1つ以上の検出素子の増幅パラメータを調節することで克服できる。増幅パラメータは例えば、センサ116の検出素子に関連付けられた増幅や利得等を含み得る。特定の検出素子に、1つの増幅パラメータ又は増幅パラメータのシーケンスを含む増幅設定を割り当てることができる。前述のように、各検出器(例えばセンサ116)は1つ以上の検出素子(例えば検出素子402)を含み、これらの検出素子はセンサ116に関連付けられた1つ以上の画素に割り当てることができる。いくつかの実施形態では、特定の画素に対応する検出素子の増幅パラメータを全て同様に調整できるように、異なる検出素子グループをそれぞれ異なる画素に割り当てることができる。上述のように、検出素子のグループ化は時々プロセッサによって修正することができ、任意選択的に、そのようなグループ化の修正に従って、検出素子(及び/又は関連付けられた受光経路)の増幅レベルを修正することができる。
[0263] ここに開示される検出素子感度を調整する技法は、他の環境においても有用であり得る。例えばプロセッサ118は、センサ116内で1つ以上の欠陥のある検出素子(例えば、隣接する又は周囲の検出素子の信号レベルから著しく逸脱した反射信号を与える検出素子)の存在を検出する場合がある。このような場合、プロセッサ118は、欠陥があると疑われる1つ以上の検出素子に関連付けられた増幅を低減させることによって応答すればよい。
[0264] 前述のように、各検出素子の増幅パラメータは、検出素子に適用される利得を介して制御するか、又は、アナログ増幅器、アナログ−デジタル変換器、デジタル増幅器のような、反射光の受光経路又は処理経路に沿った任意のコンポーネントによって制御することができる。利得は非ゼロである必要はないことに留意するべきである。いくつかの場合、利得を低減した結果、1つ以上の検出素子又は他のコンポーネントにゼロ利得が適用されるので、センサ116の関連する検出素子又はエリアから感知できる信号が得られないことがある。
[0265] 図13は、遭遇した環境の特徴部に基づいてどのようにセンサ感度を調整できるかの一例を示す図である。LIDARシステム100等のLIDARシステムは視野1300を有し、視野1300は、木1310、車両1302、縁石、路面のような様々な物体を含み得る。更に車両1302は、反射性であり点灯している可能性のあるテールライト1304及び高反射性のナンバープレート1306を含み得る。動作中、プロセッサ118は、FOVの異なる特徴部に応じてFOV1300の様々な領域から光を収集する検出素子の感度を調整できる。例えば、一般にLIDARシステムの近くの物体又は表面は遠くの物体等よりも高いレベルの反射光を与え得るので、プロセッサ118は、近距離の物体又は表面を含むFOV領域から光を収集する検出素子の増幅を低下させることができる。プロセッサ118は、より遠くの物体を含むFOV領域から光を収集する検出素子の増幅を徐々に増大させることができる。図13の水平線はこの漸進的な増大を表しており、例えば、FOV内の物体までの距離が長くなる場合又は長くなると予想される場合のいくつかの段階的変化を示す。
[0266] 一度車両1302が検出されたら、プロセッサ118は、例えば領域1308のようなFOV1300の領域をROIとして指定することができる。木1310が検出され得るが、これは静止物体として認識され、道路内に存在しないものであるので、ROIとして指定されない可能性がある。従って、木1310のエリアでFOVから反射した光を収集する検出素子では、感度変化が必要ないことがある。更に、このエリア1310の感度を低減できる場合もある。いくつかの例では、ROIから光を収集する検出素子に関連付けられた増幅値をデフォルトレベルで増大させることができる。一方、ROIから光を収集する検出素子に関連付けられた増幅値を増大させず、デフォルトレベルに維持するか、又はデフォルトレベルに対して低下させる場合もあり得る。そのような例には、例えば、ROI内に存在する1つ以上の物体がLIDARシステムに近いか又は高反射率値を示す場合が含まれる。これらの場合、検出素子の感度を増大させると、影響を受けた検出素子の望ましくないブラインディング又は飽和が生じる恐れがある。ROIを画定し、検出素子の増幅/感度を増大させることが妥当である他の物体には、道路の脇の縁石、道路で検出されたがれき又は障害物、道路又は歩道で検出された歩行者(特に、他の者よりも道路に進入する可能性が高い道路付近の歩行者)、歩道等が含まれ得る。
[0267] 感度調整は、ROI内の小領域に基づいて実行できる。例えば、テールライト1304の検出及びこれらのテールライトから放出された光レベルに基づいて、プロセッサ118は、テールライト1304を含むFOV領域から光を収集する検出素子の増幅値を低減させることができる(又は、フィルタやシャッタ等によって、関連する検出素子に入射する反射光レベルを低下させることができる)。また、ナンバープレート1306を含むFOV領域に対しても同様の処置を適用できる。特定の条件下にあるナンバープレートは、センサ116のブラインディングを引き起こすか又は少なくとも悪影響を及ぼすのに充分な光を反射させ得るからである。
[0268] センサの部分又はセンサ全体に対してプロセッサ118が行う増幅レベルの修正は、LIDARシステムの動作パラメータの他の修正と共に実行できることに留意するべきである。例えばプロセッサは、異なる画素への検出素子のグループ化の制御や、FOVの異なる部分へ放出される照射レベルの修正等と共に、増幅レベルの修正を制御することができる(光の飛行時間中、又はその他で)。特にプロセッサ118は、FOVのROI内の異なる画素への検出素子のグループ化の制御や、ROIへ放出される照射レベルの修正等と共に、ROIにおける増幅レベルの修正を制御することができる(光の飛行時間中、又はその他で)。このようなLIDARシステムの同時進行の動作パラメータ修正は、相乗効果を達成するため、異なる検討事項(例えば電力要件と検出要件)の間でバランスをとるため、又は他のいずれかの理由のため、プロセッサ118によって実行できる。
[0269] 特に図13の例を参照して上述した方法論は、FOV全体をスキャンするためセンサ116が様々な時点でFOV1300の小領域に重なるスキャンLIDARシステムに適用できる。また、これらの記載される方法論は、各放出光パルスを用いて、FOVのより大きい部分又は場合によってはFOV1300全体をセンサ116に撮像させるフラッシュタイプのLIDARシステムにも適用できる。
[0270] 図14は、フラッシュタイプのLIDARシステムに適用できる検出器(例えばフラッシュタイプ又はステアリングシステム)の検出素子1402の例示的な配列を示す。むろん、図14に示されている例に関して検討される同様の原理は、スキャンタイプのLIDARシステム(例えば、FOVの全体的なスキャンを完了させるため、n×mアレイの検出素子が図14のFOVの異なる小領域からの反射光を順次収集する検出器116)にも適用される。主な相違点は、(例えば図4Bに示されている技法におけるように)FOV全体がスキャンされる際、FOV全体の個別に撮像された各小領域を撮像するために、スキャンタイプのシステムの検出素子アレイが利用可能である点である。図14に戻ると、検出器は、例えばFOV1400のようなFOVの異なる領域をカバーするように配列された複数の検出素子1402を有し得る。図の明確さのため、また単なる例示として、6×8の検出素子の行列により、異なる検出素子と異なるFOV領域を例示した。実際には、検出器はより多くの検出素子を有し得る。各検出素子がFOV1400の関連部分からの反射を受光するように、検出素子1402の行列はFOVに対応している。FOVの初期スキャン(例えば、FOVに与えられた入射光の1つ以上のパルスを用いたFOVの初期フラッシュ)において、各検出素子は初期増幅設定を有することができる。初期スキャンサイクルの後、利用可能な検出素子の各々においてセンサ116が受信した反射信号に基づいて、プロセッサ118は、センサ内の検出素子1402の1つ以上に関連付けられた増幅レベルを変更することができる。
[0271] FOVの後続のスキャンにおいて、検出素子1402の1つ以上はそれぞれ、FOVからの受信反射信号に基づいて、以前のスキャンとは異なる増幅レベルを有することができる。例えば、テールライトを含む領域にマッピングされた検出素子(要素(D、4)(D、5)(D、6)及び(D、7)の増幅は、これらの領域から放出された光の以前の検出に応じて低下させることができる。更に、FOV1400の下方から上方へ向かうにつれて(図14の垂直方向)、例えばセンサに到達する入射光の光子数の低下に対応するため、検出素子の増幅を徐々に増大させることができる。
[0272] 図15は、LIDARシステムの視野内の1つ以上の物体までの距離を決定するための例示的なプロセス1500のフローチャートである。最初に、光源(例えば光源112)を活性化して、第1の光放出(例えば光パルス)を視野の方へ放出させることができる(ステップ1502)。いくつかの実施形態において、第1の光放出は1つ以上のパルスとすればよい。いくつかの実施形態において、システムは、2つ以上の方向を含むスキャンパターンで視野をスキャンするため、光源からの光を偏向させるように1つ以上の光偏向器を制御できる。
[0273] 第1の光放出は視野内の物体によって反射され得る。プロセッサ118は、1つ以上のセンサから、視野内の物体からの反射に関連付けられたデータを受信できる(ステップ1504)。次に、光源を活性化して第2の光放出を視野の方へ放出することができる(ステップ1506)。いくつかの実施形態では、第1及び第2の光放出は同一のスキャンサイクル中に放出できる。他の実施形態では、第1及び第2の光放出は別個のスキャンサイクル中に放出できる。いくつかの実施形態において、第2の光放出は1つ以上の光パルスとすればよい。いくつかの実施形態では、第1及び第2の光パルスは視野の異なる部分へ誘導できる。他の実施形態では、第1及び第2の光放出は視野の同一の領域へ誘導できる(場合によっては同一のスキャン内で、LIDARシステムの可動偏向器が実質的に同じ瞬時位置にある間であるが、必ずしもそうとは限らない)。
[0274] いくつかの実施形態において、第2の光放出は第1の光放出よりも多くの光パルスを含むか、又はその逆である。センサの増幅を増大することに加えて、プロセッサは、FOVの特定領域に対するパルスの数を増やすことによってその領域への光を増大できる。あるいは、センサの増幅を増大することに加えて、プロセッサは、FOVの特定領域への光を低減できる(例えば、増幅の増大は照射レベルの低減を部分的に補償できる)。他の実施形態において、第1及び第2の光放出は、変調されている可能性のある連続光放出の異なるセグメントとすることができる。プロセッサは、第1の光放出がある光源パラメータに関連付けられると共に第2の光放出が異なる光源パラメータに関連付けられるように、光源の活性化を制御できる。光源パラメータは、光束、光強度、パワーレベル、光パルス数等を含み得る。
[0275] 第1の反射が受光された後、1つ以上のセンサの増幅設定を変更する(例えば増大させるか又は低減させる)ことができる(ステップ1508)。いくつかの実施形態において、増幅設定は、第1の光放出の反射データに基づいて調整できる。例えば増幅設定は、センサ感度を増大又は低減させるように構成できる。プロセッサは、センサに含まれる検出素子のサブセットの増幅設定を変更できる。いくつかの実施形態では、ステップ1504で受信したデータに基づいて、光源が第2の光放出を放出しないことも可能である。
[0276] 第2の光放出は、視野内の別の物体又は同一の物体によって反射され得る。1つ以上のセンサは、視野内の物体からの第2の光放出の反射に関連付けられたデータを受信できる(ステップ1510)。受信した反射データに基づいて、プロセッサは、LIDARシステムから検出された物体までの距離を決定できる(ステップ1512)。例えば視野内で2つの物体が検出された場合、プロセッサは、第1及び第2の増幅設定を用いて視野の異なる部分から受信したデータを処理することによって、これらの物体までの2つの異なる距離を決定できる。別の例では、視野内で2つの物体が検出され、プロセッサは、第1及び第2の増幅設定を用いて視野の同一部分から受信したデータを処理することによって、これらの物体までの2つの異なる距離を決定できる。例えばプロセッサは、各光放出の飛行時間に基づいて距離を計算することができる。
[0277] 光学予算配分
[0278] 本明細書に記載されるように、LIDARシステムの1つの機能は、環境に光を投影し、次いで環境内の物体からの光反射を収集し分析することによって、LIDARシステムの周囲環境の3次元深度マップを生成することであり得る。一般に、LIDARシステム及びその深度マップの有用性は、収集した光から得られる情報レベル及び生成される深度マップの解像度と共に増大し得る。しかしながら、単にLIDARシステムが環境に放出する光エネルギ量を増大させることによって高解像度の深度マップを生成することは、実際的な制約のために不可能である場合がある。第1に、目の安全は、LIDARが出力できる光エネルギ量を制限し得る最も重要な制約である。目の安全を保証するため、また適用可能な規制に準拠するために、LIDARシステムは、特定の時間期間にわたって特定のエネルギ密度を超えない光投影に限定され得る。更に、目の安全が重要でない場合であっても、LIDARの環境に対する無制限の光放出を禁止する他の実際的な制約が存在し得る。例えばLIDARシステムは、単にLIDAR FOVへの光放出の全体的な増大によって検出分解能を向上させるLIDARシステムの能力を制限する有限光学予算及び/又は計算予算を有し得る。概念上、光学予算及び計算予算は、利用可能な光出力パワー及び計算パワーに関する特定の時間期間にわたったLIDARシステムの最大機能を反映することができる。また、LIDARシステムは、パワー制約、過熱、光源の出力のような技術的制約によっても制約される可能性がある。
[0279] しかしながら、LIDARシステムによって生成される深度マップを、LIDAR FOVの全てのエリアで絶対解像度レベルに限定しなければならないというわけではない。以下で検討するように、また本開示の様々なセクション全体を通して、LIDARシステムの光学予算及び計算予算は、LIDAR FOVの特定のエリアにはLIDAR FOVの他のエリアよりも多くのリソース(例えば、より多くの光学予算及び/又は計算予算)を充てるように配分することができる。この結果、いくつかのエリア(例えば関心領域に対応するエリア)では高い解像度を有し、他のエリア(例えば低関心領域又は非関心領域)では低い解像度を有する深度マップを生成することが可能となり得る。以下の記載、及び本開示の多くのセクションの記載では、光学予算及び/又は計算予算の均等でない配分が望ましい様々な状況、条件、状態等について取り上げる。また、以下の記載及び全体的な記載では、深度マップに含まれる1つ以上の関心エリアで高レベルの情報を提供し得る深度マップを生成する際に役立てるため、どのように利用可能な光学予算及び/又は計算予算を動的に割り当て得るかについての例が与えられる。
[0280] 図16は、LIDARシステム100が利用可能な光学予算及び/又は計算予算を配分する際に利用できる様々な情報ソースと共に、LIDARシステム100のブロック図を与えている。いくつかの実施形態において、LIDARシステム100は、メモリ2902に記憶された光学予算(又は、光学予算の少なくとも1つの様相を示す、又は光学予算を導出もしくは決定することができる任意の情報)にアクセスするよう構成された少なくとも1つのプロセッサ118を含み得る。光学予算は、少なくとも1つの光源112に関連付けられ、少なくとも1つの光源によって所定の時間期間内に放出可能な光量を規定する。メモリ2902は、図16に示されているように、LIDARシステム100の処理ユニット108に関連付けることができる。しかしながら、いくつかの態様においてメモリ2902は、LIDARシステム100が展開されるホスト(例えば車両、車両コンピュータ)に関連付けることができる。例えばいくつかの例では、メモリ2902はホスト車両の電子制御ユニット2904に関連付けられ、データバス2900を介してプロセッサ118によってアクセス可能である。他の実施形態において、メモリ2902は、LIDARシステム100(又はそのホスト)に対して遠隔に位置する1又は複数のシステムに関連付けることができる。例えばいくつかの態様において、メモリ2902は、遠隔サーバ(図示せず)に関連付けられ、例えばクラウド2916(例えばインターネット接続)を介して又は無線送受信器2901を用いてアクセス可能である。
[0281] また、プロセッサ118は、(例えば情報ソース2904、2906、2908、2910、2912、2914、2916、2918、2920のいずれかから、又は他の任意の適切な情報ソースから)LIDARシステムのプラットフォーム条件を示す情報を受信するように構成され得る。LIDARシステムのプラットフォーム条件とは、LIDARシステムの1つ以上の様相、LIDARシステムの周りの環境、LIDARシステムが展開されるホスト等に関する、任意の動作パラメータ、パラメータ値、観察された条件、命令、情報アイテム等のことであり、特定の時間期間において、LIDAR FOV部分の少なくとも1つのグループ又は1つのスキャンサイクルに対してLIDAR FOV部分の別のグループ又は別のスキャンサイクルに与えられるよりも多くの光を割り当てることの妥当性を示し得るものである。
[0282] 受信情報はLIDARシステム100の外部の1つ以上のソースから取得され得るが、LIDARシステムのプラットフォーム条件を示す情報は、システム100の内部のソースから(例えば、光投影器112、偏向器114、検出器116、フィードバック要素等を含むシステムの1つ以上のコンポーネントを介して)取得された情報も含み得る。受信情報に基づいて、プロセッサ118は、例えばスキャンレート、スキャンパターン、スキャン角、空間光分布、及び/又は時間光分布を含む、光源112及び/又は偏向器114に関連した2つ以上の動作パラメータを用いて、LIDARシステム100の視野に光学予算を動的に配分することができる。プロセッサ118は更に、動的に配分した光学予算に従ってLIDARシステム100の視野のスキャンにおいて光束を変動させ得るように光源112及び/又は偏向器114を制御するための信号を出力することができる。
[0283] 光学予算は、特定の時間期間(例えば、LIDARスキャンサイクル単位、ミリ秒や秒又は他の任意の時間期間の指標を単位とする時間測定値)にわたってLIDAR FOVへ放出され得る光量に関する任意のパラメータ、値、又はパラメータもしくは値のセットに関して表現することができる。いくつかの態様において、LIDARシステムの光学予算は、LIDARシステムに含まれる1つ以上の光源の機能に依存し得る。例えばLIDARシステム100の光学予算は、光源112に関連付けられ、光源112によって所定時間期間に放出可能な光量を規定することができる。光量の規定とは、何らかの時間の測度(例えばマイクロ秒、ミリ秒、秒、分等)に対する光量(例えばパワー、光度、光束、強度、光子数、光パルス数、デューティサイクル、パルス幅、パルス振幅、照射持続時間等)を示す任意のパラメータ又はパラメータ関係のことである。
[0284] いくつかの例において、光源112の平均光学予算は約10ミリワットから1,000ミリワットの間であり得る。これに加えて又はこの代わりに、光学予算は、LIDAR FOVの単一のスキャンサイクルにおいて放出可能な光量を指すことがある。例えばLIDARシステム100の光学予算は、1光源当たり1スキャンサイクルで10,000パルスから1光源当たり1スキャンサイクルで50,000パルスの間であり得る(例えば、各々が1つ以上の画素に関連付けられた1,000〜10,000のビームロケーションをカバーするため)。いくつかの態様において、光学予算は、(例えばLIDARシステム100が展開される車両又は他のホストから)光源112によって利用可能なパワーで表現することができる。また、光学予算は、光源112(又はシステム100の任意の利用可能な光源)によって標準的な時間単位(例えばミリ秒、秒、分等)に放出可能な光量によって規定することができる。
[0285] 場合によっては、光学予算は固定のままであり得る。他の場合、メモリ2902に記憶された光学予算は変更及び更新され得る。このような変更は、例えば、LIDARシステムの動作パラメータ及びLIDARシステムによって与えられる検出情報のうち少なくとも1つに基づいて行われ得る。
[0286] 更に、いくつかの態様において光学予算は、単一の光源を有する唯一のLIDARシステムに対応し得る。他の場合、光学予算は、複数の光源を含む単一のLIDARシステムに関連し得る。更に他の場合、光学予算は、各々が単一の光源又は複数の光源を含む、異なるロケーション(例えば車両の周りの異なるロケーション)で展開される複数のLIDARシステムに適用され得る。いずれにせよ、光学予算は、所定の時間期間において配分に利用できる複数の光源(又は全体として複数のLIDARシステム)からの放出可能な光量を規定することができる。プロセッサ118は、単一のLIDARシステム/光源の光学予算を動的に配分することができる。他の場合、プロセッサ118は、複数の光源/LIDARシステムに関連した光学予算を動的に配分することができる。
[0287] 光学予算に加えて、LIDARシステム100(又は複数のLIDARシステムの組み合わせ)は、配分することができる計算予算を有し得る。計算予算とは、概して、特定の時間期間にわたる1又は複数のLIDARシステムの処理機能のことである。処理機能は、(例えばLIDARシステムの様々な様相を制御するため、検出された反射を受光し処理するため、深度マップを生成するため、深度マップを処理するため、物体及び他の高レベルのシーン理解情報を検出するため、並びに、LIDARシステム又はLIDARシステム群に関連した他の任意の機能を実行するために)利用可能なプロセッサの数に依存し得る。処理機能は、利用可能なプロセッサの数に依存するだけでなく他のパラメータにも依存し得る。他のパラメータは例えば、1つ以上のプロセッサの処理機能のうちLIDARシステムの特定の機能(例えば、深度マップの生成、FOVのスキャンの制御、物体の検出、識別、及び/又は分類等)に専用の部分、1つ以上の利用可能なプロセッサの処理速度、(例えばバス2900を介した)データ転送速度、1つ以上の利用可能なプロセッサによって実行できる単位時間当たりの計算数等である。
[0288] 以下の記載は光学予算の配分に関する詳細を含むが、計算予算は、光学予算の配分に関して記載されるものと類似の方法で配分することができる。例えばいくつかの例において、計算予算は、LIDARが何を検出したかを判定するためのポイントクラウドの処理に利用できる計算リソース量に関する。場合によっては、ポイントクラウドに関する処理は著しい計算リソース、限定されたリソースを必要とする。従っていくつかの例では、関連するポイントクラウドを処理するため、特定のエリアが他のエリアよりも関心/重要度が高いと判定することが望ましい場合がある。例えば、車両の前方の領域では、特に前進する自動車にとってこのエリアは最も重要であり得るので、利用可能処理パワーの多くをポイントクラウドの処理及び深度マップの生成に専用とすることができる。一方で、車両の側方から延出する視野で行われる検出は、やはり重要であるものの、場合によっては車両の前方よりも重要性が低い(例えば車両が方向転換や停止等をしない限り)。そのような例では、ホスト車両から130メートル離れた位置にある高反射性物体で反射した反射信号からLIDARによって集団的な検出(grouped detections)が検出された場合であっても、プロセッサ118は、計算予算を節約するため、車両から40mの距離まで(又は130m未満の距離)の関連するポイントクラウドのみを処理することを決定できる(これは例えば、計算の観点から、130mにおける集団的な検出を含むポイントクラウド全体を処理するのはコストが高すぎるからである。これは特に、物体検出の重要度を考えると車両側方のこの例のような計算支出が妥当ではない場合に当てはまる)。
[0289] 計算予算は、例えば1つ以上の集中プロセッサの計算機能のうち1つのLIDARシステムに専用の部分を別のものよりも多くすることで、1つのLIDARシステムに別のものよりも多くの計算機能を与えるように、利用可能なLIDARシステム間で配分され得るだけではない。別の例では、2つ以上のLIDARシステムのプロセッサを統合/ネットワーク化することができ、この統合処理機能を、1つのLIDARシステムからのプロセッサの少なくとも一部を異なるLIDARシステムの計算タスクに専用とするように割り当てることができる。例えば、複数の利用可能LIDARシステムからの処理機能を、ホスト車両の前方の領域、すなわち高分解能の物体検出及び深度マップ形成が望ましい領域に関連した計算タスクに専用とすることができる。
[0290] また、計算予算を特定のLIDAR FOVに関する計算に配分して、FOVの1つの部分に関連した計算タスクがFOVの別の部分に関連した計算タスクよりも多くの計算予算を受け取るようにすることも可能である。どのように計算予算を配分するかのいくつかの例は、例えば、検出/クラスタリング(ポイントクラウドポイントからの物体レベル)、物体の境界ボックスの固定(「境界ボックス」)、物体/物体タイプの分類、物体の追跡(例えばフレーム間)、物体の特徴の決定(例えば大きさ、方向、速度、反射率等)を含む。計算予算は、処理容量を時間に関連付ける用語で表現することができる(例えばGMAC、Gflops、パワー等)。FOVの異なる部分に対する予算配分(特に計算予算であるが、これだけではない)は、2Dだけでなく3DでのFOV分割に関連し得ることに留意するべきである。例えば計算予算の割り当ては、FOVの所与のセクタ(例えば所与の1°×0.5°のセクタ)について、計算予算の70%が70mを超える範囲内の検出を処理するために割り当てられ、計算予算の30%が40mよりも近いLIDARの範囲内の検出を処理するために割り当てられ、40mから70mの間の範囲には計算予算が割り当てられないように行うことができる。
[0291] 光学予算に戻ると、利用可能な光学予算は、特定の時間期間内でLIDAR FOV部分の1つのグループにLIDAR FOV部分の別のグループよりも多くの光を選択的に与えるように配分することができる。この状況において、LIDAR FOV部分のグループとは、特定のLIDAR FOVの1つ以上の部分を指す(例えば、特定のLIDAR FOVの1つ以上の画素、領域、小領域等)か、又は、1つ以上の完全なLIDAR FOVを指すことができる(例えば、光学予算が複数のLIDARシステムにまたがって配分され得る場合)。より多くの光とは、上記で詳細に例示したように、光束の増大、光密度の増大、光子数の増加等を指すことができる。
[0292] 場合によっては、光学予算の配分は、特定のLIDAR FOVに関連したスキャンレート、スキャンパターン、スキャン角、空間光分布(例えばLIDAR FOV部分の1つ以上のグループに1つ以上の他のLIDAR FOV部分よりも多くの光を与える)、及び/又は時間光分布の変化によって達成され得る。時間光分布は、例えばLIDAR FOV部分のグループに適用される光束又は光量を経時的に制御するか又は他の方法で変化させて、第1のスキャンサイクルで投影される全体的な光量を第2の後続のスキャンサイクルで投影される全体的な光量よりも多くすることを含み得る。場合によっては、光学予算の配分は、特定のLIDAR FOV又は特定のLIDAR FOV部分に関連したスキャンレート、スキャンパターン、スキャン角、空間光分布、又は時間光分布のうち2つ以上を変化させることによって達成できる。このような変化は、2つ以上のLIDAR FOV、1つのLIDAR FOV、LIDAR FOVの一部(例えば関心領域)、1つのスキャンサイクル、複数のスキャンサイクル等に対して実行できる。
[0293] 光学予算の動的な配分の少なくとも一部(例えば、フィードバック又はLIDARシステムの少なくとも1つのプラットフォーム条件に関して受信された他の情報に基づいて配分を変更又は更新すること)は、1つ以上のLIDARシステムのスキャンレートを決定することによって実行され得る。例えば少なくとも1つのプロセッサは、LIDAR FOVの近視野部分、視野の遠視野部分、視野の狭角セクタ、及び/又は視野の広角セクタのうち少なくとも1つのスキャンレートを決定するように構成され得る。
[0294] 上記のように光学配分は、少なくとも部分的に、1つ以上のLIDARシステムの少なくとも1つのスキャンサイクルのスキャンパターンを決定することによって達成され得る。スキャンパターンは、以下の状況タイプ、すなわち、幹線道路の運転、オフロードの運転、雨天での運転、雪の中での運転、霧の中での運転、都市エリアでの運転、農村エリアでの運転、トンネル内の運転、既定の施設付近のエリアの運転、左折、右折、車線横断、交差点への接近、及び横断歩道への接近、のうち少なくとも1つの認識に基づいて決定できる。
[0295] 光学予算の配分は、任意の適切なプロセッサによって達成され得る。場合によっては、LIDARシステム100のプロセッサ118は、1つ以上のソースからの情報に基づいて光学予算を配分することができる。この代わりに又はこれに加えて、他のLIDARシステムのプロセッサを用いて光学予算(例えばLIDARシステムのグループに関連した光学予算)を配分することができ、及び/又は、LIDARシステムホスト(例えば車両ECU等)に関連した1つ以上のプロセッサを用いることができる。また、他の任意の利用可能なプロセッサを用いて光学予算を配分することも可能である。
[0296] 注記したように、光学予算配分によって、LIDAR FOV部分の1つのグループに対して他よりも多くの光を与えることができる。適用される光量のこのような変化は、例えば、複数の光源のうち第2の光源への光学予算配分に対する複数の光源のうち第1の光源への光学予算配分率(又はLIDAR検出器間の同様の率)を変えることによって達成できる。また、光学配分は、異なるLIDAR FOV部分に対して又は異なる時点において異なる理由で適用することも可能である。例えば、LIDAR FOVのいくつかの部分で又はスキャンサイクル中のいくつかの時点で、光学配分は、特定のFOV部分又は特定の時間期間における分解能増大、検出品質向上等を対象とすることができる。他の状況において、光学配分は、特定のFOV部分、特定のFOV小領域、又は特定の時間期間における検出範囲の増大を対象とすることができる。一般に、光学/パワー予算を用いて、異なるフレーム又は取得したフレームの異なる部分を取得する際に様々な目標を達成できる。このように、LIDARシステムは、それぞれが異なる理由で有用である様々なROIのために一連の有用な又は高品質のフレームを提供できる。このように、光学予算は、ホストプラットフォーム(例えば車両のナビゲーションシステム)に有用な情報を戻す確率が高いと判定されるやり方で支出することができる。
[0297] 制御に関して、配分を行うか否か及び/又は配分をどのように行うかの決定、並びに光学予算の決定において、任意の適切なパラメータ又は情報要素を用いることができる。いくつかの実施形態では、LIDARシステムのプラットフォーム条件を光学予算配分の基礎として使用できる。上記のように、LIDARシステムのプラットフォーム条件とは、LIDARシステムの1つ以上の様相、LIDARシステムの周りの環境、LIDARシステムが展開されるホスト等に関する、任意の動作パラメータ、パラメータ値、観察された条件、命令、情報アイテム等のことであり、特定の時間期間において、LIDAR FOV部分の少なくとも1つのグループ又は1つのスキャンサイクルに対してLIDAR FOV部分の別のグループ又は別のスキャンサイクルに与えられるよりも多くの光を割り当てることの妥当性を示し得るものである。
[0298] LIDARシステムのそのようなプラットフォーム条件は、様々な方法で、かつ任意の適切な情報ソースを用いて決定することができる。いくつかの例では、LIDARシステムのプラットフォーム条件はLIDARシステムの内部で決定され得る。例えばプロセッサ118は、取得した光反射、反射率シグネチャ、深度マップ等に基づいて、LIDARシステムが展開される環境に関連した1つ以上の特徴を決定できる。他の例では、LIDARシステムのプラットフォーム条件(PCLS)は、LIDARシステム100とは別個の1つ以上のソースから受信した情報に基づいて決定され得る。例えば図16に示されているように、PCLSは、ホスト車両の電子制御ユニット2904の1つ以上、1つ以上の温度センサ2906、GPS受信器2908、車両ナビゲーションシステム2910、レーダユニット2912、1つ以上の他のLIDARシステム2914、インターネットもしくは他のネットワーク接続2916、カメラ2920、又は他の任意の適切なソースからの情報に基づいて決定できる。
[0299] いくつかの例において、PCLSを示す情報は、LIDAR FOVの1つ以上の領域を、他の領域(例えば低関心領域又は非関心領域)よりも大きい割合の光学予算又は計算予算が妥当である関心領域として確立できる。関心領域は、LIDARシステムが展開されている車両の検知された現在の運転モードに基づいて識別することができ、情報ソース2904、2906、2908、2910、2912、2914、2916、2920の任意のもの、又はLIDARシステム100、又はこれらの任意の組み合わせからの1つ以上の出力に基づいて決定できる。一例において、検知された現在の運転モードに基づく関心領域は、ホスト車両が方向転換して進んでいくエリア(ナビゲーションシステム2910、GPS受信器2908等によって伝達される)と重なっておりたLIDAR FOVの1つ以上の部分を含み得る。別の例において、関心領域は、LIDARシステム100が別の車両、歩行者、障害物のような物体を検出したLIDAR FOVの1つ以上の部分に対応し得る。関心領域の他の例、及びどのようにその領域を識別するかの例は、本開示の他のセクションに含まれている。
[0300] 光学配分(又は計算予算)を決定できるPLCSを示す情報は、とりわけ、車両動作パラメータ、環境条件、運転決定、車両のナビゲーション状態、又はパワー管理モードのうち少なくとも1つを含み得る。
[0301] 光学配分(又は計算予算)の基礎となり得る車両動作パラメータ又は車両のナビゲーション状態の例には、(例えばECU2904、GPS2908からの)現在の速度、(例えばGPS2908、ナビゲーションシステム2910からの)現在の車両進行方向、(例えばGPS2908、ECU2904からの)現在の制動又は加速状態、(例えばナビゲーションシステム2908、カメラ2920、GPS2908等からの)ホスト車両が車線横断状況をナビゲートしているか否か、が含まれ得る。また、車両動作パラメータは、LIDARシステム100が展開されている車両プラットフォームに関連したいずれかのコンポーネントの条件もしくは状態、又は、LIDARシステム100自体のいずれかのコンポーネントの条件もしくは状態に関連し得る。そのような条件には、LIDARシステムの少なくとも1つのコンポーネントの温度、FOVの一部が(例えば雨、泥、ごみ等によって)遮られているか否か、レンズに傷があるか否か、偏向器114が特定の瞬時位置に到達するのを妨げられているか否か、ある角度において他の角度よりも多くの内部反射が存在するか否か、が含まれ得る。また、車両のナビゲーション状態は、3次元マップ、部分マップ、2Dマップ、目標物、又はマップ及び目標物の任意の組み合わせ等に対するホスト車両の位置を含み得る。マップは、予め記憶されているか、通信チャネルを介して受信されるか、又は(例えばSLAMによって)生成することができる。
[0302] 環境条件の例は、気候条件(例えばカメラ2920、クラウド2916、ナビゲーションシステム2910からの情報に基づいて判定される雨、雪、霧等)、照射条件(例えばLIDARシステム100からの情報に基づいて判定される(周囲光、光源のタイプ等))、環境の温度(例えば温度センサ2906からの出力に基づく)、及び/又は既定のタイプの施設に対する近接(例えばナビゲーションシステム2910、GPS2908、カメラ2920等からの入力に基づいて判定される学校)のうち少なくとも1つを含み得る。光学予算(又は計算予算)配分の基礎となり得る環境条件の追加の例は、気候条件、(例えばLIDARシステム100及び/又はホスト車両に対する)空間内での検出された物体の位置又は分布、空間内の物体の検出された特徴(例えば形状、反射率、SNRに影響を与える特徴)、物体のタイプ/クラス(例えば歩行者、建物、車両、交通信号の柱)、太陽又は他の光源の相対位置、交通の状態(例えば混雑しているか又は空いている幹線道路)、他のホスト車両システムの状態(例えば運転に関連したセンサ又は他のセンサ。いくつかの例では、LIDARシステム100は故障したカメラ2920を補償することができる)、道路自体の条件(例えばでこぼこ、粗さ、上り/下り、カーブ、反射率)、マップ/GPSに基づくデータ(例えばシーン内の道路のロケーション及び向き、シーン内の建物のロケーション及び向き、(LIDARは建物の遠い側にある物体からの反射を受けると予測されない可能性があるので、建物や他の障害物に対して低関心領域を確立できる)、LIDARシステム100の周囲温度、ホスト車両環境の周囲温度、以前に収集されたFOVフレームからのデータ分析(例えばポイントクラウド、表面の法線、反射率、信頼水準等)を含み得る。一般に、光学/パワー予算は、環境に関する知識に基づいて割り当てることができる。例えば、GPSデータ、マップデータ、以前のフレームの処理されたLIDAR情報、車両の他のセンサからのデータ、又は他の任意のソースによって、FOVの一部において所与の範囲(例えば15m)内に建物の存在が示されることがある。その建物は高関心領域(例えば車両の真正面)に存在する可能性があるが、それにもかかわらずプロセッサは、FOVのこの部分に比較的低いパワーを割り当て、LIDAR FOVの他の部分に余分なエネルギを割り当てることで、建物の後ろに(例えば15mを超えた範囲に)隠れているのでFOVのその方向に割り当て得る光量にかかわらず到達できないFOVの部分に対して予算を無駄に使うのを避けることが可能となる。
[0303] 光学配分(又は計算予算)の基礎となり得る運転決定の例は、農村部関連の指示、都市部関連の指示、LIDARシステムを含む車両の現在の速度、次の運転手順、条件付き運転手順(その実行が安全であることを示す追加の環境情報が存在する場合のみ完了できる手順)、運転ナビゲーションイベント、マニュアル運転指示、及び自動運転指示のうち少なくとも1つを含み得る。そのような情報は、例えばLIDARシステム100又は2914、ナビゲーションシステム2910、ECU2904、GPS2908、それらのソースの任意の組み合わせ、又はPCLSの指標の他の潜在的なソースによって提供される出力に基づいて取得できる。
[0304] 光学配分(又は計算予算)の基礎となり得るパワー管理モードの例は、通常パワー動作モード及び節電モードの指示のうち少なくとも1つを含み得る。そのような情報は、例えばECU2904から取得することができ、ホスト車両から入手可能なパワー量を反映し得る。パワー管理モードの他の指標は、LIDARシステム100の1つ以上のコンポーネントの検知された条件(例えば、いずれかのコンポーネントが過熱しているか又は過熱の危険があるか)に基づくものであり得る。
[0305] いくつかの例は更に、光学予算又は計算予算配分の基礎となり得るPCLSの収集について示すことができる。例えば動作中に、プロセッサ118は、車両の現在の運転環境を示す入力を受信できる。例えばプロセッサ118は、農村部関連の指示及び都市部関連の指示のうち少なくとも1つを含む入力を受信できる。別の例として、プロセッサ118は、少なくとも1つの農村部関連の指示、都市部関連の指示、光条件に関連した情報、気候条件に関連した情報、及び車両速度に関連した情報のうち少なくとも1つを含む入力を受信できる。
[0306] いくつかの実施形態において、プロセッサ118は、プロセッサ118自体によって実行した決定からの入力を受信できる。このような例においてプロセッサ118は、視野の以前の(及び/又は現在の)1つ以上のスキャンからの情報に基づいて現在の運転環境を決定できる。例えばプロセッサは、多数の車両及び/又は車両に極めて近接した建物の存在に基づいて、現在の運転環境が都市部であると判定できる。別の例としてプロセッサは、多数の木及び/又は広々とした土地の存在に基づいて、現在の運転環境が農村部であると判定できる。プロセッサ118は、この代わりに又はこれと同時に、車両の速度に基づいて及び/又はマップ情報(これは記憶するか又は受信することができ、更新された交通情報を含み得る)に基づいて、現在の運転環境を決定できる。例えばプロセッサ118は、車両の高速が維持されていることに基づいて及び/又は車両のロケーションが既知の州間幹線道路(interstate)又は幹線道路と一致していることに基づいて、現在の運転環境が州間幹線道路又は幹線道路であると判定できる。別の例として、プロセッサ118は、低速が維持されながら車両が頻繁に停止することに基づいて及び/又は既知の交通情報に基づいて、現在の運転環境が交通渋滞であると判定できる。
[0307] この代わりに又はこれと同時に、プロセッサ118は、ホスト車両の処理ユニット(例えばECU2904)から入力を受信できる。中央コンピュータは、プロセッサ118に関する上述した技法を用いて現在の運転環境を決定できる。同様にプロセッサ118は、これに加えて又はこの代わりに、遠隔システムから入力を受信することができる。例えばプロセッサ118は、気候サーバ又は他の更新された気候情報のソースから気候の指示を受信できる。同様にプロセッサ118は、交通サーバ又は他の更新された交通情報のソースから交通の指示を受信できる。
[0308] いくつかの実施形態において、プロセッサ118は、図16に示されているような、GPS、車両ナビゲーションシステム、車両コントローラ、レーダ、LIDAR、及びカメラのうち少なくとも1つから、現在の運転環境を示す入力を受信できる。例えば上述のように、プロセッサ118は、GPS及び/又は車両ナビゲーションシステムによって決定された車両ロケーションをマップ及び/又は交通情報と組み合わせて用いて、現在の運転環境を導出できる。そのような例においてプロセッサ118は、車両のGPSロケーションをマップと合わせることで車両が州間幹線道路に位置すると判定し、又は、車両のGPSロケーションを交通情報と合わせることで車両が交通渋滞の中にあると判定することができる。同様にプロセッサ118は、車両コントローラからの速度や進行方向等を用いて、上述のように現在の運転環境を導出できる。これに加えて又はこの代わりにプロセッサ118は、レーダ、LIDAR、及び/又はカメラからの情報を用いて、現在の運転環境を導出できる。例えばプロセッサ118は、レーダ、LIDAR、及び/又はカメラを用いて、野原、木、建物、中央分離帯のような1つ以上の物体を識別し、この識別した物体を用いて現在の運転環境を導出できる。
[0309] 光学予算又は計算予算を割り当てると共に、配分した予算を適用するプランを立てたら、プロセッサ118(又は他の処理デバイス)はこのプランを実施することができる。例えばプロセッサ118は、動的に配分した光学予算に従ってLIDAR FOVのスキャンにおいて光束を変動させ得るように、少なくとも1つの光源112及び/又は光偏向器114又はLIDAR FOVへの光束に(空間的又は時間的な)影響を与える他の任意のコンポーネントを制御するための信号を出力できる。いくつかの例では、配分した光学予算の適用によって、1つ以上のLIDAR FOVの特定の部分(例えばROI)に多くの光束を割り当てることができ、これは、他のエリア(例えば低関心領域又は非関心領域)への光束を低減することを必要とし得る。割り当てた光学予算を実施するプランを実行するため、プロセッサ118は、FOVをスキャンするため少なくとも1つの光偏向器114を制御するように構成され、スキャンサイクル中、少なくとも1つの光偏向器114は複数の異なる瞬時位置に配置され得る。更にプロセッサ118は、少なくとも1つの光偏向器が特定の瞬時位置に配置された場合、光ビームの一部が少なくとも1つの光偏向器によって少なくとも1つの光源から視野内の物体へ偏向されると共に物体からの光ビームの一部の反射が少なくとも1つの光偏向器によって少なくとも1つのセンサ116へ偏向されるように、少なくとも1つの光偏向器114と少なくとも1つの光源112を連携させる(例えばそれらの動作を同期させる)ことができる。いくつかの例では、LIDARシステム100は、少なくとも1つの光偏向器114に照準を合わせた複数の光源を含むことができ、プロセッサ118は、少なくとも1つの光偏向器114が特定の瞬時位置に配置された場合に複数の光源からの光がLIDAR FOVの複数の別個の領域へ投影されるように、少なくとも1つの光偏向器114を制御するように構成できる。一般にプロセッサ118は、動的に配分した光学予算に従って少なくとも1つの光源112及び少なくとも1つの光偏向器114を連携させることができる。配分した光学予算を適用することで、高関心領域には単位時間当たり多くの光を適用し、低関心領域には単位時間当たり少ない光を適用できる。更に、LIDAR FOVの1つ以上の部分における物体の検出に基づいて、プロセッサ118は、特定の部分(例えば関心領域であるか低関心領域であるかにかかわらず)へ投影される光の蓄積エネルギ密度が最大許容可能露光量を超えることを防止できる。
[0310] 図17Aは、開示される実施形態に従って、配分した予算に基づいてLIDARシステムを制御するための方法3000の一例を与えるフローチャートを示している。例えばステップ3002において、プロセッサ118(又は他の利用可能な処理デバイス)は、LIDARシステムの1つ以上のプラットフォーム条件(PCLS)を示す情報を受信できる。上述のように、これらのPCLSは、均等でない光配分が望ましい場合があるLIDARシステム100又はこれが展開されているプラットフォームホストに関連した任意の条件を含み得る。ステップ3004において、プロセッサ118は、光学予算又は計算予算の規定を部分的に支援し得るシステム制約を決定できる(例えば、利用可能な光源の光出力機能、利用可能なCPUの処理機能等)。ステップ3002及び3004で取得した情報に基づいて、プロセッサ118はステップ3006において、配分光学予算及び/又は配分計算予算を決定できる。ステップ3008において、プロセッサ118は、配分した予算を1つ以上のLIDARシステムの動作に適用するためのスキャンプランを作成できる。ステップ3010において、プロセッサ118は、例えば配分した予算に基づいて光源112及び偏向器114の動作を制御することによって、ビームスポットごとの光投影(例えば偏向器114の特定の瞬時位置からの光投影)を制御できる。例えば、低関心領域に適用されるよりも多くの単位時間当たりの光束を関心領域に提供することができる。ステップ3012において、プロセッサは、例えば検出器116の出力に基づいて反射光を検出し処理することができる。ステップ3014において、プロセッサ118は、特定のビームスポットについて配分した光学予算の既定の適用が完了したか否かを判定できる。完了した場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。完了していない場合、ステップ3016においてプロセッサ118は、更なるビームスポット投影が許容されるか否か判定できる(例えば、更なる投影が目の安全の規制に準拠するか否か、特定のビームスポットの最大許容可能光束量を超えるか否か等)。更なる投影が許容されない場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。更なる投影が許容される場合、次いでステップ3018においてプロセッサ118は、この特定のビームスポットにおける更なる投影が必要であるか否か(例えば、この特定のビームスポットに関連した以前の投影又は以前に照射された画素に基づいて、充分なデータ又は検出がすでに得られているか否か)を判定できる。追加の投影が必要ない場合、プロセスは、別のビームスポットにおける光投影の制御を続けるためステップ3010に戻ることができる。任意選択的に、プロセッサ118は、現在のビームスポットに割り当てられたパワーの残った未使用分を同一スキャンサイクルにおいて少なくとも1つの他のビームスポットに再分配することを決定できる。追加の投影が許容される場合、ステップ3020において、プロセッサ118は特定のビームスポットにおける追加の光投影を行うことができ、その後、反射光の検出及び処理のためにステップ3012に戻る。
[0311] 図17Bは、ここに開示される実施形態に従ってLIDARシステムを制御するための例示的な方法3050のフローチャート図を示している。ステップ3062は、メモリに記憶されている光学予算にアクセスすることを含み得る。光学予算は、少なくとも1つの光源に関連付けられ、少なくとも1つの光源によって所定時間期間内に放出可能な光量を規定する。ステップ3064は、環境条件、運転決定、及びパワー管理モードのうち少なくとも1つを含む車両動作パラメータに関する情報を受信することを含み得る。受信した情報に基づいて、ステップ3066は、スキャンレート、スキャンパターン、スキャン角、空間光分布、及び時間光分布のうち少なくとも2つに基づき、LIDARシステムの視野に対して光学予算を動的に配分することを含み得る。ステップ3068は、動的に配分した光学予算に従って、視野のスキャンにおいて光束を変動させ得るように少なくとも1つの光源を制御するための信号を出力することを含み得る。
[0312] いくつかの実施形態において、空間光分布に基づく光学予算の動的な配分は、単一のスキャンサイクル中に視野の第2の部分よりも多くの光を視野の第1の部分へ投影することを含み得る。その後のスキャンサイクルにおいて、空間光分布に基づく光学予算の動的な配分は、このスキャンサイクル中に視野の第1の部分よりも多くの光を視野の第2の部分へ投影することを含み得る。この方法は更に、関心領域としての第1の領域の識別、及び非関心領域(又は低関心領域)としての第2の領域の識別を取得することを含み得る。また、この方法は、第2の部分における物体の存在を決定し、第2の部分における光の蓄積エネルギ密度が最大許容可能露光量を超えるのを防ぐことも含み得る。
[0313] 配分した光学予算をLIDARシステムの動作中どのように適用し得るかを示す別の例において、プロセッサ118は、車両に設置された特定のLIDARシステムに対して、同一車両の別のLIDARシステムの故障を示すPCLSに基づいて、より多くの光学予算(例えばより多くの光束/FOV)を配分するように構成できる。このような配分は、故障したLIDARシステムを少なくとも部分的に補償することができる。例えば、機能しているLIDARシステムに対する配分は、正常動作中に通常はパルスが全く送信されない(又はほとんどパルスが送信されない)LIDAR FOVの部分にパルスを放出することを含み得る。また、このような配分は、例えばより広いFOVをスキャンするため偏向器パラメータを変更することも含み得る。
[0314] この例を更に説明するため、図18は、車両内の異なるロケーションに位置決めされた7つのLIDARシステムが設置されている車両の概略図を示す。それぞれのLIDARデバイスは、視野、範囲、分解能、精度等の点で異なるパラメータを示し得る。設置されたLIDARシステムは、これらのシステム間の通信アクセス、また場合によっては図16に示されているような他のコンポーネント間の通信アクセスも提供するバス(例えばCANバス)によって接続され得る。動作中、様々なLIDARデバイスは、機能交換ブート処理段階の一部として又はオンデマンドステータス要求によって、相互に動作パラメータを同報通信することができる。この情報交換によって、LIDARシステム#7のような別のLIDARシステムのプロセッサは、LIDARシステム#2が故障したことを(例えば受信したエラーメッセージ、健康状態指標等に基づいて)認識できる。場合によっては、バス上の故障デバイスは報告を行うことができない(例えば電力供給を失っている)。その場合、報告を行わないシステムはもはや共有バスに接続されておらず、故障していると想定される。
[0315] 1つ以上の他のLIDARシステムは、故障したLIDARデバイスを少なくとも部分的に補償するためのアクションを実行できる。例えば図18に示されているように、LIDARシステム#2の故障によって車両センサシステムに盲点が生じ得る。HW又はFWの監視層(バスに接続されたメインコントローラ又は指定されたマスタLiDARデバイス)は、LiDAR#2が機能していないことを検出し、カバレージ損失を補償するためにシステム内の別のLiDARを指定する。この特定の例では、LiDAR#7の拡張機能を考慮に入れると、これがカバレージ損失を補償するための最良の選択肢であることがわかった。LiDAR#7は、LIDAR#2の視野をカバーするため、バックアップモードで動作すると共に視野を拡大するように指定される。LiDAR#7のスキャン範囲の拡大は、その機能のいくつか、全範囲の縮小、分解能、又はフレームレートを犠牲にして実行され得る。低下した性能パラメータセットで更新されたセンサ状態を、車両メインコントローラのレベルでシステム全体に通知し、車両挙動を補償することができる。車両を80Km/hに制限する細いスペアタイヤと同様、車両は最高速度に制限され得る。故障したセンサの補償を行うのは、人の介入なしで修理場所まで安全に到達できるようにするために、最低限の自律レベルを維持するための自律走行車が必要であるためである。
[0316] 任意選択として、計算リソースは、2つ以上のタイプの複数のセンサ(例えばLIDAR、カメラ、超音波センサ、レーダ)によって共有できること、又は異なるタイプのセンサから到達する検出情報の処理に割り当てできることに留意するべきである。これは例えば、自律走行車のような車両内の異なるセンサからの情報を統合するホストコンピュータによって実施できる。計算予算を配分するための上記で開示された方法及びプロセス(例えば方法3000)は、拡張することができ、異なるタイプのセンサによって収集された情報の処理間で計算予算を配分することができる。任意選択的に、これを更に拡張して、異なるタイプの複数のセンサの各々のFOV部分間で様々に計算予算を割り当て、かつ、車両又は車両に設置された任意のシステムのプラットフォーム条件のような様々なパラメータに基づいて異なるタイプの検出データ間で計算リソースをシフトさせることも可能である。そのようなパラメータは例えば、車両動作パラメータ、環境条件、運転決定、車両のナビゲーション状態、又はパワー管理モード、1つ以上の検出システム(LIDAR、レーダ等)のシステムパラメータのうち1つ以上の任意の組み合わせを含み得る。第1のタイプの第1のセンサの処理に対する計算予算の配分は、別のタイプの別のセンサの処理に基づくことができる。
[0317] 例えば、カメラがROIの1つにおいてぶら下がった物体を検出した場合、配分プロセッサは、FOVのそれからの検出情報を処理するため、FOVの他の部分からのLIDAR検出情報の処理を犠牲にして、LIDAR計算予算をより多く配分することができる。別の例において、配分プロセッサは、FOVのいくつかの部分(むろん、2Dだけでなく3Dでも規定され得る)が主として第1のタイプのセンサからの検出情報を用いて分析され、FOVの他の部分が主として第2のタイプのセンサからの検出情報を用いて分析されるように、検出結果及び/又はプラットフォームパラメータに基づいて計算予算を配分することができる。更に高度な割り当てスキームにおいて、ホスト(又は別のプロセッサ)は、例えば以前に開示されたパラメータのいずれか1つに基づいて、また前述の検討事項のいずれか1つに従って、必要な変更を加えて、異なるタイプのセンサ間のパワー割り当てをシフトすることも可能である。
[0318] 本開示全体を通して検討されるLIDARシステムの方法、プロセス、及び技法の多くは、方法3000と共に(及び予算配分の全体的な検討と共に)考慮された場合、開示される方法、プロセス、及び技法のいずれか2つ以上を組み合わせた、より広範な予算配分スキームの一部となり得ることに留意するべきである。そのような方法、プロセス、及び技法は、開示される予算割り当てスキームの様々な場所に適合し得る。例えば、これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に対する予算の割り当て率を決定する際に使用できる。これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に対する予算の割り当ての制限率を決定する際に使用できる。これらの方法、プロセス、及び技法のいくつかは、FOVの異なる部分に割り当てた予算を利用するために使用できる等である。
[0319] いくつかの実施形態によれば、LIDARシステム100は以下を含み得る。
a.検査光子のパルスを生成するための、投影ユニット102(又はその一部)のような光子放出器アセンブリ(PTX)。パルスは少なくとも1つのパルスパラメータによって特徴付けられる。
b.物体から反射して戻った反射光子を受光するための光子受光及び検出アセンブリ(PRX)。PRXは、反射光子を検出するため、及び検出したシーン信号を(例えばプロセッサ118によって)生成するための検出器(例えば検出器116)を含む。光子受光及び検出アセンブリは、検知ユニット106(又はその一部)及び処理ユニット108(又はその一部)を含み得る。
c.PTX及びPRXの双方と機能的に関連付けられて、検査光子のパルスを検査されるシーンセグメントの方向へ誘導すると共に反射光子をPRXへ戻すための、スキャンユニット104(又はその一部)のような光子ステアリングアセンブリ(PSY)。
d.処理ユニット108(又はその一部、少なくとも1つのプロセッサ118等)によって実装されて、(a)PTX、PRX、及びPSYを制御し、(b)検出器から検出シーン信号を受信し、(c)少なくとも部分的に検出シーン信号に基づいて少なくとも1つのパルスパラメータを更新するための、閉ループコントローラ(本明細書では以下で「コントローラ」とも称する)。
[0320] いくつかの実施形態によれば、少なくとも1つのパルスパラメータは、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、及び/又は偏光から選択され得る。
[0321] いくつかの実施形態によれば、コントローラは、検出シーン信号を受信すると共にスキャン/動作プランを生成するための状況査定ユニットを含み得る。動作プランは、決定された予算割り当ての一部又は全てを含み、また、追加の動作決定(例えばスキャンパターン)も含み得る。状況査定ユニットは、光子ステアリングアセンブリからの光子ステアリングアセンブリフィードバックを受信できる。状況査定ユニットは、メモリに記憶された情報を受信できる。任意選択として、この情報は、レーザパワー予算(又は他の任意の形態の光学予算)、電気動作特性、及び/又は較正データから選択され得る。状況査定ユニットは、光子ステアリングアセンブリフィードバックを用いてスキャン/動作プランを生成できる。光学予算(例えばレーザパワー予算)は、目の安全の規制、熱的予算、経時的なレーザ劣化、及びその他のもの等の制約から導出することができる。
[0322] いくつかの実施形態によれば、動作プランは、(a)リアルタイムの検出シーン信号、(b)フレーム内レベルシーン信号、及び(c)2つ以上のフレームにわたって蓄積され分析されるフレーム間レベルシーン信号に基づいて、生成され得る。
[0323] いくつかの実施形態によれば、検出器は、1つ以上の検出器パラメータを有する動的検出器とすることができ、閉ループコントローラは、動作プランに基づいて検出器パラメータを更新できる。検出器パラメータは、スキャン方向、フレームレート、サンプリングレート、周囲光効果、機械的な静的及び動的障害、寄生光を低減するための動的ゲーティング、動的感度、動的バイアス、及び/又は熱的効果から選択され得る。PSYは1つ以上のステアリングパラメータを有し、閉ループコントローラは動作プランに基づいてステアリングを更新できる。ステアリングパラメータは、スキャン方法、パワー変調、単一軸又は複数軸の方法、同期コンポーネントから選択され得る。任意選択として状況査定ユニットは、ホストデバイスからホストフィードバックを受信し、このホストフィードバックを用いて動作プランを生成するか又は動作プランに寄与する(contribute to)ことができる。
[0324] いくつかの実施形態によれば、プロセッサ118は、状況査定論理(SAL)等の状況査定論理又は回路を含み得る。SALは、検出器116からの検出シーン信号、及び、スキャンユニット104の内部又は外部の追加ブロック/要素からの情報を受信することができる。
[0325] いくつかの実施形態によれば、シーン信号は、光子ステアリングアセンブリフィードバック、PTXフィードバック、PRXフィードバック、及びホストフィードバック等の追加フィードバック信号、並びにメモリ2902に記憶された情報を用いて又は用いずに、スキャンユニット104のための動作プラン信号等のスキャン/動作プランを決定するローカル及びグローバル費用関数の加重平均において、査定し計算することができる(例えば、どのレーザパラメータ予算で、どの検出器パラメータ予算で、FOV内のどの画素をスキャンするか)。従ってプロセッサ118は、システムフィードバックを受信し、このフィードバックに基づいてシステムの動作を更新する閉ループ動的コントローラとすることができる。スキャン動作プランは、例えば、配分した光学予算又は計算予算を実施するために作成できる。
[0326] いくつかの実施形態によれば、シーンセグメントとも称されるシーンの1つ以上のセグメントをスキャンするためのスキャンユニット104を提供できる。デバイスは、1つ以上の光子放出器アセンブリ(PTX)、1つ以上の光子受信及び検出アセンブリ(PRX)、光子ステアリングアセンブリ(PSY)、及び、PTX、PRX、及びPSYの動作を同期するように適合された状況認識プロセッサを含むことで、デバイスがスキャンフレーム中にシーンの1つ以上のシーンセグメント又は領域のアクティブなスキャンを動的に実行できるようにする。アクティブなスキャンは、1つ以上の光子検査パルスをシーンセグメントの方へ、かつシーンセグメント中に伝送することと、シーンセグメント内に存在するシーン要素に検査パルスが衝突した場合、検査パルスが衝突したシーン要素上のポイントの距離と(相対)3次元座標を推定するため、パルスが要素に衝突してその反射が戻ってくるまでの往復の飛行時間を測定することと、を含み得る。検査パルスセットを用いて要素上のポイントセットの座標を収集することにより、3次元ポイントクラウドを生成し、シーン要素の検出、登録、場合によっては識別を行うため使用することができる。
[0327] プロセッサ118は、状況認識コントローラとすることができ、1つ以上の検出された及び/又は他の方法で既知であるシーン関連状況パラメータに基づいて、PTX、PRX、及び/又はPSYの動作モード及び動作パラメータを動的に調整できる。いくつかの実施形態によれば、プロセッサ118は、1つ以上のシーンセグメント内に存在するシーン要素のような状況パラメータの理解に基づいて、シーンの1つ以上のセグメントをスキャン/カバーすることが意図されたスキャンフレームの一部として、シーンの部分をスキャンするためのスキャンプランのような動作プランを生成及び/又は調整することで、配分した光学予算又は計算予算を実施できる。スキャンプランの生成において考慮され得る他の状況パラメータは、実施形態に従ったデバイスを有するホストプラットフォームのロケーション及び/又は軌道を含むことができる。スキャンプランの生成において考慮され得る他の状況パラメータは、実施形態に従ったデバイスを有するホストプラットフォームの周囲の、道路勾配、傾斜(pitch)、及び曲率のような地形を含むことができる。
[0328] スキャンプランは、(a)スキャンフレームの一部としてアクティブにスキャンするシーン内のシーンセグメントの指定、(b)シーンセグメントの少なくとも1つのスキャンに使用される検査パルスセットのパルス分布パターン及び/又は個々のパルス特性を規定できる検査パルス設定スキーム(PSS)、(c)検出器の感度又は応答パターンを規定できる検出スキーム、(d)ステアリング方向、周波数を規定する、ステアリングアレイ内のアイドル要素を指定する、及びその他を実行できるステアリングスキーム、を含み得る。言い換えると、スキャンプランは、シーン分析及び配分した光学予算及び/又は計算予算に基づいてスキャンフレームがアクティブにスキャンされるように、PTX制御信号、ステアリングパラメータ制御、PRX制御、及び/又は検出器制御パラメータに少なくとも部分的に影響を与える/これらを決定することができる。
[0329] 以下の検討は、決定された光学予算及び/又は計算予算に基づいてLIDAR FOVの1つ以上のスキャンを制御する追加の例を与える。例えば、現在検出されているか又は推測される運転環境に基づいて、プロセッサ118は、少なくとも1つの光源の制御と少なくとも1つの光偏向器の制御を連携させて、視野のスキャンにおいて空間的に適用される光学予算量を変動させることにより、瞬時検出距離を動的に調整することができる。例えばプロセッサ118は、投影される光の量を増大させる及び/又は光の空間分布を縮小させて、FOVの特定の領域(関心領域)における瞬時検出距離を拡大することができる。別の例として、プロセッサ118は、投影される光の量を低減させる及び/又は光の空間分布を拡大させて、FOVの他の領域(低関心領域)における瞬時検出距離を縮小することができる。
[0330] 上述した光学予算の概念及び技法は、本明細書に記載された他の任意の実施形態と共に使用できることに留意するべきである。例えば本開示は、LIDARシステムにおける検出間の検出感度を変動させ、LIDARシステムによって放出される光の飛行時間中に検出感度を変動させ、LIDARシステムにおいて画素に検出素子を動的に割り当てるための技法についても検討している。光学予算割り当て技法は、これらの他のLIDARシステムの任意のものと共に使用することも可能である。更に、開示されているLIDARシステム制御のいずれも、他の任意のLIDARシステム制御と共に使用することができる。例えばLIDARシステムの検出間の検出感度を変動させるための技法は、LIDARシステムによって放出される光の飛行時間中に検出感度を変動させるための記載された技法、及びLIDARシステムにおいて画素に検出素子を動的に割り当てるための記載された技法と共に使用してもよい。同様に、LIDARシステムによって放出される光の飛行時間中に検出感度を変動させるための技法は、LIDARシステムにおいて画素に検出素子を動的に割り当てるための記載された技法と共に使用してもよい。
[0331] 前述の記載は例示の目的で提示されている。これは網羅的でなく、開示される厳密な形態又は実施形態に限定されない。本明細書の検討及び開示される実施形態の実施から、当業者には変更及び適合が明らかであろう。更に、開示される実施形態の態様はメモリに記憶されているものとして記載されるが、これらの態様は、例えばハードディスク又はCD ROM、又は他の形態のRAM又はROM、USBメディア、DVD、ブルーレイ、又は他の光学ドライブ媒体のような二次記憶デバイス等、他の形態のコンピュータ読み取り可能媒体にも記憶できることは当業者には認められよう。
[0332] 記載された説明及び開示された方法に基づくコンピュータプログラムは、経験豊かな開発者のスキル内である。様々なプログラム又はプログラムモジュールを、当業者に既知の技法のいずれかを用いて生成するか、又は、既存のソフトウェアに関連付けて設計することができる。例えばプログラムセクション又はプログラムモジュールは、.Netフレームワーク、.Netコンパクトフレームワーク(及びVisual BasicやC等の関連言語)、Java、C++、Objective-C、HTML、HTML/AJAXの組み合わせ、XML、又はJavaアプレットを含むHTMLにおいて又はこれらによって、設計することができる。
[0333] 更に、例示的な実施形態を本明細書に記載したが、均等の要素(equivalent elements)、変更、省略、(例えば様々な実施形態にわたる態様の)組み合わせ、適合、及び/又は変形を有する任意の及び全ての実施形態の範囲は、本開示に基づいて当業者によって認められよう。特許請求の範囲における限定は、特許請求の範囲で使用される言語に基づいて広義に解釈され、本明細書において又は本出願の審査中に記載される例に限定されない。これらの例は非排他的に(non-exclusive)解釈されるものとする。更に、開示される方法のステップは、ステップの順序を変えること及び/又はステップを挿入又は削除することを含めて、任意に変更され得る。従って、本明細書及び例は単に例示と見なされ、真の範囲及び精神は以下の特許請求の範囲及び均等物(equivalents)の全範囲によって示されることが意図される。