JP2021518553A - センサー較正 - Google Patents

センサー較正 Download PDF

Info

Publication number
JP2021518553A
JP2021518553A JP2020550860A JP2020550860A JP2021518553A JP 2021518553 A JP2021518553 A JP 2021518553A JP 2020550860 A JP2020550860 A JP 2020550860A JP 2020550860 A JP2020550860 A JP 2020550860A JP 2021518553 A JP2021518553 A JP 2021518553A
Authority
JP
Japan
Prior art keywords
sensor
data
entropy
calibration
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020550860A
Other languages
English (en)
Other versions
JP7308855B2 (ja
JPWO2019182909A5 (ja
Inventor
ブラエス パトリック
ブラエス パトリック
ミラー ダニエル
ミラー ダニエル
Original Assignee
ズークス インコーポレイテッド
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド, ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2021518553A publication Critical patent/JP2021518553A/ja
Publication of JPWO2019182909A5 publication Critical patent/JPWO2019182909A5/ja
Application granted granted Critical
Publication of JP7308855B2 publication Critical patent/JP7308855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G01S7/403—Antenna boresight in azimuth, i.e. in the horizontal plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Navigation (AREA)

Abstract

本開示は、自律走行車のセンサーを較正することを対象としている。第１のセンサーデータおよび第２のセンサーデータは、環境を表現する１つまたは複数のセンサーによってキャプチャーすることが可能である。第１のセンサーデータおよび第２のセンサーデータは、複数の組み合わせにおいてグリッドに関連付けられることが可能であり、複数の投影されたデータを生成する。グリッドのセルを占める投影されたデータのデータポイントの数を合計することで、空間ヒストグラムを判断することが可能である。誤差の量（エントロピー値など）は、投影されたデータ毎に判断することができ、最小のエントロピー値に対応する投影されたデータを１つまたは複数のセンサーの較正された構成を表現するものとして選択することが可能である。最小のエントロピー値に関連付けられる較正データは、判断されることができ、１つまたは複数のセンサーをそれぞれ較正することに用いられることが可能である。

Description

本発明は、装置のセンサー較正に関する。
本特許出願は、２０１８年３月２１日に提出された米国実用特許出願番号第１５／９２７，２９１号の優先権を主張する。出願番号第１５／９２７，２９１号は、参照により本明細書に完全に組み込まれる。
多くの車両は、ナビゲーション、ガイダンス、および障害物回避などのさまざまな機能のセンサーデータを利用する。車両の効果的な動作のために、それぞれのさまざまな機能が必要となる場合がある。そのため、車両コンピューティングシステムに正確な入力を提供するために、センサーを較正させることが重要である。現在の較正技術は、時間、および計算コストが高い場合があり、最適なソリューションに収束しないことがある。さらに、現在の多くの較正技術は、オフラインプロセスに限定されており、センサーが較正、またはアライメントから外れている場合、車両を使用しないようにする必要がある。さらに、現在の方法は、較正のために人間のオペレータを必要とし、プロセスをマニュアル化し、遅く、且つ潜在的に不正確なものにさせる。
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の最左端の桁は、最初に現れる参照番号の図面を特定する。異なる図面における同一の参照番号の使用は、類似、または同等のコンポーネント、または機能を示す。
本開示の実施形態によって、自律走行車上のセンサーを較正するための例示的なプロセスの図式フロー図を描写する。 本開示の実施形態によって、自律走行車上のセンサーを較正するための探索アルゴリズムの組み合わせを用いる例示的なプロセスの図式フロー図を描写する。 車両に取り付けられた複合的なセンサーアセンブリを有する例示的な車両の側面図を描写する。 車両に取り付けられた複合的なセンサーアセンブリを有する例示的な車両の上面図を描写する。 本明細書で説明される実施形態を実装するための例示的なシステムのブロック図を描写する。 本開示の実施形態によって、センサーデータをグリッドに投影させ、エントロピー値などの誤差を最小化させることによって、１つまたは複数のセンサーを較正する例示的なプロセスを描写する。 本開示の実施形態によって、少なくとも部分的に、較正されたセンサーデータに基づいて自律走行車を制御する例示的なプロセスを描写する。
本開示は、自律走行車用のセンサーを較正することを対象としている。ある例示において、自律走行車は、複合的なセンサー（同一、または異なる態様）を含むことができ、これらは、重なる視野を表現することが可能である。第１のセンサーは、環境の第１のデータをキャプチャーすることができ、第２のセンサーは、環境の第２のデータをキャプチャーすることが可能である。第１のセンサーおよび第２のセンサーが（互いに対して、車両および／または内部に対して）正しく較正された場合に、第１のセンサーおよび第２のセンサーからのセンサーデータは、環境のアライメントされた表現（例えば、「鮮明」な表現）を生成するよう組み合わされることが可能である。しかしながら、センサーが正しく較正されなかった場合に、組み合わされたセンサーデータは、環境の不正確な描写（例えば、「不鮮明な」表現）を表現する場合がある。このような不鮮明さは、例えば、センサーの相対的な位置および／または向きが正確ではないときに生じる場合がある。一例において、本明細書で説明される較正技術を用いることで、自律走行車に取り付けられたレーダーセンサーを較正することが可能である。ある例示において、較正技術は、第１のセンサーによってキャプチャーされた第１のセンサーデータを受信することと、第２のセンサーによってキャプチャーされた第２のセンサーを受信することと、第１のセンサーデータおよび第２のセンサーデータを２次元グリッドなどのグリッドに投影することとを含むことが可能である。第１のセンサーデータおよび第２のセンサーデータは、複合的な組み合わせでグリッドに投影され、複数の投射像を生成することが可能である。誤差の量（エントロピー値など）は、それぞれの投射像に対して判断することができ、最小のエントロピー値に対応する投射像を、較正された構成を表現するものとして選択することが可能である。最小のエントロピー値に関連付けられた較正データを判断し、第１のセンサーおよび第２のセンサーをそれぞれ較正することに用いることができる。
ある例示において、複数の投射像は、組み合わせ探索アルゴリズムを用いて生成することが可能である。つまり、ある例示において、複数の投射像は、１つまたは複数のセンサーの較正特性（例えば、較正角度）の徹底的な組み合わせを表現することが可能である。上述のように、センサーデータは、２次元グリッドなどのグリッドに投影することが可能である。グリッドのセルへと投影されたセンサーデータを合計することで、それぞれのセルに関連付けられたセンサーデータポイントの数をカウントすることが可能である。ある例示において、センサーデータをグリッドに投影すると、２次元空間ヒストグラムなどのヒストグラムを生成することが可能である。ある例示において、ヒストグラムを、正規化することによって、確率分布を生成することが可能である。確率分布は、シャノンエントロピー、またはレーニエントロピーなど、投射像に関連付けられたエントロピー値を判断することに用いられることが可能である。最小の低いエントロピー値に対応する投射像を選択することができ、１つまたは複数のセンサーを較正する較正データを判断するために用いることが可能である。ある例示において、組み合わせ探索アルゴリズムの代替で、最急降下アルゴリズムを用いることができ、これは、ある例示において、最適な投射像、および対応する較正データを判断するために用いることが可能である。
ある例示において、較正技術は、１つまたは複数の較正特性を判断することに用いることが可能であり、較正角度を判断することに限定されない。例えば、較正技術を、１つまたは複数のセンサーの１つまたは複数の内因性および／または外因性の特徴を判断することに用いることが可能である。例えば、第１のセンサーおよび第２のセンサーを、互いに対しておよび／または車両に対して較正することが可能である。ある例示において、第１のセンサーを、経時的に受信したセンサーデータを用いて、それ自体に対して較正することが可能である。ある例示において、任意の数の外因性の特徴（例えば、ｘの位置、ｙの位置、ｚの位置、ロール、ピッチ、およびヨーなどの６つの自由度）に対して較正を実行することが可能である一方で、ある例示において、単一の外因性の特徴（例えば、ヨー）に対して較正を実行することが可能である。内因性の特徴の例示は、レンズの歪み、伝送媒体などを含むが、これらに限定されない。さらなる較正の特徴は、（例えば、１つまたは複数のセンサーから受信したデータの）時間遅延、温度、圧縮などを含む場合があるが、これらに限定されない。
本明細書で説明される較正技術は、フレームワークを提供することによって、自律走行車のセンサーの最適な較正を判断し、コンピューティングデバイスの機能を改善することが可能である。ある例示において、組み合わせ探索アルゴリズムを潜在的な較正ソリューションを通じて徹底的に探索することに用いることができ、最適なソリューションでの収束を促進することが可能である。例えば、このような組み合わせ探索アルゴリズムを利用することは、最適なソリューションに対応しない場合がある（誤差を最小化した場合の）極小値での収束を回避することが可能である。本明細書で説明される較正技術を介して、１つまたは複数のセンサーを較正することによって、１つまたは複数のセンサーは、環境についての高度な正確性、および精度で環境を表現するデータを生成することが可能である。例えば、光検出および測距（ＬＩＤＡＲ）センサー、レーダーセンサー、ソナーセンサーなど、この方法で較正されたセンサーは、セグメンテーション、分類、ルートプラニングなどのより正確なデータを提供することができ、最終的には運転している間のより高い安全性へとつなげることが可能である。さらに、センサーの改善された較正は、例えば、セグメンテーション、分類などの開始点として、より正確なデータを提供することによって、知覚システムにおける処理を改善することができる。コンピューティングデバイスの機能に対するこれら、および他の改善は、本明細書で説明される。
本明細書で説明される較正技術は、また、従来の較正技術に対する改善を表す。例えば、過去において、較正技術は、キャプチャーしたデータを手動によって、あるデータのセットを別のデータのセットにアライメントして調整することを有していた。この手動のアライメントは、時間がかかる場合があり、次善の較正となる場合がある。他の従来の較正技術は、較正動作において用いられる周知の位置によって再帰反射ターゲットを含む領域を越えることを含んでいる。さらにまた、従来の較正技術は、車両をターンテーブル上に取り付けることと、車両のセンサーによってキャプチャーされたデータを監視しながら車両を物理的に回転させることとを含んでいる。これらの従来の較正技術は、柔軟性が制限されていることから悩まされ、追加および／または特殊な較正機器を必要とすることが多く、および／またはセンサーの次善の較正という結果となる。したがって、本明細書で説明される技術は、従来の較正技術に対する重要な改善を表す。
本明細書で説明される方法、装置、およびシステムは、複数の方法で実装することが可能である。例示的な実装は、以下の図面を参照することで以下に提供される。自律走行車の状況で説明されているが、本明細書で説明される技術は、使用前および／または使用している間に、センサーの較正を必要とするさまざまなシステムに適用することが可能であり、自律走行車に限定されない。別の例示において、方法、装置、およびシステムは、航空、または航海の状況において、利用することができる。さらに、本明細書で説明される技術は、実データ（例えば、センサーを用いてキャプチャーされた）、模擬データ（例えば、シミュレーターによって生成された）、またはその２つの任意の組合せで用いることができる。
図１は、本開示の実施形態によって、自律走行車上に配置されたセンサーを較正する例示的なプロセスの図式フロー図を描写する。
動作１０２でプロセスは、環境のデータをキャプチャーすることを含むことが可能である。ある例示において、動作１０２は、自律走行車上に配置された１つまたは複数のレーダーセンサーからレーダーデータをキャプチャーすることを含むことが可能である。当然のことながら、プロセス１００は、レーダーデータ、またはレーダーセンサーに限定されることなく、任意のタイプ、およびセンサーの数を本明細書で説明される較正技術と共に用いることが可能である。例示１０４は、環境における第１のポイント１０８および第２のポイント１１０のデータをキャプチャーする車両１０６を図示する。ある例示において、動作１０２でキャプチャーされたデータは、車両１０６の位置および／または速度に対するオブジェクトの位置および／または速度を含むことが可能である。
詳細図１１２は、車両１０６上の１つまたは複数のセンサーの物理的な向きを図示している。例えば、車両１０６は、車両１０６上に配置された第１のセンサー１１４（例えば、第１のレーダーセンサー）、と第２のセンサー１１６（例えば、第２のレーダーセンサー）とを含む。ある例示において、第１のセンサー１１４は、車両１０６に対して角度θ1１１８で取り付けられることができると同時に、第２のセンサー１１６は、車両１０６に対して角度θ2１２０で取り付けられることができる。図示されるように、第１のセンサー１１４は、環境におけるポイント１０８と、ポイント１１０とに関連付けられる第１のデータをキャプチャーすることが可能であると同時に、第２のセンサー１１６は、また、ポイント１０８と、ポイント１１０とに関連付けられる第２のデータをキャプチャーすることが可能である。
動作１２２で、プロセスは、１つまたは複数の較正角度に基づいて、データの一部をタスク空間（例えば、データを投影するための基準空間）に投影することを含むことができ、つまり、センサーから取得されたデータをセンサーの外因性の仮定に基づいて環境へと投影することが可能である。ある例示において、動作１２２は、ゼロ以外の速度に対応するデータを除去することを含むことが可能であることによって、動作１２２で投影されるデータの一部は、静止オブジェクトに対応するデータを表現する。ある例示において、動作１２２は、速度の閾値を超えない速度の値に関連付けられるデータを選択することを含むことが可能である。ある例示において、動作１２２は、関心のある領域を選択することを含むことができ、つまり、動作１２２は、本明細書で説明される較正動作で使用されるためのセンサーデータの一部を選択することを含むことが可能である。ある例示において、動作１２２は、移動距離、関心のある領域（例えば、回転の数、回転の半径、速度、開始および停止など）の間に実行される特定の操作などに対応するデータを選択することを含むことが可能である。
例示１２４は、１つまたは複数の初期較正角度（例えば、予想角度）に基づいてデータの投射像を図示する。詳細１２６に図示されるように、較正角度に基づいて予想される向きは、角度θ3１２８、および角度θ4１３０によって表現される。ある例示において、第１のセンサー１１４の較正角度１２８は、角度１１８（例えば、角度θ1１１８は、角度θ3１２８に事実上対応する）によって図示される第１のセンサー１１４の物理的向きに対応することができる。このような場合において、第１のセンサー１１４によってキャプチャーされ、動作１２２で投影されたデータは、環境の状態を正確に反映することができる。したがって、例示１２４における第１のセンサー１１４は、ポイント１０８、およびポイント１１０の位置を正確に示すセンサーデータを図示する。
しかしながら、詳細１２６に図示されるように、第２のセンサー１１６の較正角度１３０は、角度１２０（例えば、角度θ2１２０は、角度θ4１３０とは異なる場合がある）によって図示される第２のセンサー１１６の物理的向き（例えば、実際の向き）に対応していなくてよい。このような場合において、第２のセンサー１１６によってキャプチャーされ、動作１２２で投影されたデータは、環境の状態を正確に表現しない場合がある。図示されるように、第２のセンサー１１６によってキャプチャーされたデータは、データポイント１３２およびデータポイント１３４に対応するものとして不正確に解釈される場合がある。
理解することが可能であるように、ある例示において、動作１２２は、較正動作を省略することができ、誤って較正されたセンサー、または不正確に較正されたセンサーによって引き起こされる問題を図示するものとして理解されることが可能である。
動作１３６で、プロセスは、データの一部をグリッドに投影することを含むことができ、エントロピー値を最小化することが可能である。ある例示において、動作１３６は、組み合わせ探索アルゴリズムを用いて、センサー較正の組み合わせにわたる徹底的、または略徹底的な探索を表現する複数の投射像を生成し、最小のエントロピー値（それによって、最適な較正を表現する）を表現する投射像に到達することを含むことが可能である。ある例示において、データの一部をグリッドに投影し、エントロピー値を最小化することは、特定の投射像に関連付けられるエントロピー値（または誤差／コスト）を判断し、エントロピー値を基準エントロピー値と比較する反復プロセスを参照することが可能である。ある例示において、絶対最小のエントロピー値を判断することができ、ある例示において、最小のエントロピー値を利用される精度のレベル（例えば、本明細書で説明されるように、投影グリッドのサイズ、テストする較正角度のステップサイズなど）に基づいて判断することが可能である。
例示１３８、例示１４０、および例示１４２は、グリッド１４４に投影されたキャプチャーされたデータの投射像のさまざまな例示を図示する。ある例示において、グリッド１４４は、複数のセル１４６、セル１４８、セル１５０、およびセル１５２を含むことが可能である。
例示１３８は、詳細１２６で上述した初期（予想）較正角度に基づいて、第１のセンサーおよび第２のセンサーによってキャプチャーされたセンサーデータの投射像を表現する。つまり、例示１３８は、向き１５４（０，０）として表現されるセンサーデータのベースライン、または基準投射像を表現する。
例示１４０は、調整された向き１５６（０，−１）に基づいて、第１のセンサーおよび第２のセンサーによってキャプチャーされたセンサーデータの投射像を表現する。ある例示において、向き１５６は、第１のセンサーによってキャプチャーされたデータが変更されなかった（例えば、向き１５６で「０」と表現される）ことによって投射像を表現すると同時に、第２のセンサーによってキャプチャーされたデータは、反時計回りに１単位回転した（例えば、向き１５６で「−１」と表現される）。ある例示において、データを回転させる量は、調整可能もしくは選択可能なパラメーターとすることができ、または精度設定に基づくことが可能である。例えば、ある例示において、較正動作は、あらゆるレベルの「細かい」較正を実行した後で、「粗い」較正を実行し、最適なソリューションに到達することが可能である。
ある例示において、向き１５６は、センサーの向きが反時計回りに２０度回転した第２のセンサー１１６によってキャプチャーされたデータを表現する。
ある例示において、向き１５８（０，１）は、時計回りに２０度回転した（例えば、ヨー方向に）第２のセンサー１１６によってキャプチャーされたデータを表現する。簡略化するためにすべての可能となる組み合わせが図１に図示されているわけではない。しかしながら、組み合わせ探索アルゴリズムのさらなる詳細は、図２に関連して以下で説明される。以下で詳細に説明されるように、説明する目的のために図１に描写されているが、このような投射像は、１つの次元（ここでの「ヨー」）に限定されなくてよく、任意の数のセンサー間の任意の数の次元（例えば、ｘ、ｙ、ｚ、ロール、ピッチ、ヨーなど）を含むことが可能であることが理解される。
例示１３８を参照すると、第１のセンサーおよび第２のセンサーデータによってキャプチャーされたセンサーデータのうちの少なくとも一部は、向き１５４に少なくとも部分的に基づいてグリッド１４４に投影されることが可能である。図示されるように、第２のセンサー１１６によってキャプチャーされた２つのポイントのデータは、セル１５０へと投影される。さらに、第１のセンサー１１４によってキャプチャーされたデータの第１のポイントは、セル１４６へと投影されると同時に、第１のセンサー１１６によってキャプチャーされたデータの第２のポイントは、セル１５２へと投影される。
データの一部がグリッドに投影された後で、エントロピー値は、複数の投射像のそれぞれの投射像に対して判断することが可能である。例えば、動作１３６は、それぞれのセルを占める複数の測定値を集計することを含むことができ、そこから、それぞれの投射像のヒストグラム（例えば、二次元空間ヒストグラム）を判断することが可能である。ある例示において、ヒストグラムは、少なくとも部分的に、投射像の向きに基づいて、正規化され、センサーデータが特定のセルへと投影された確率を表現する確率分布を生成することができる。エントロピー値は、確率分布に基づいて判断することが可能である。
理解することが可能であるように、エントロピー値は、複数の投射像のそれぞれの投射像に対して判断することができ、関連付けられることが可能である。したがって、組み合わせ探索アルゴリズムは、複数の投射像を判断することができ、エントロピー値をそれぞれの投射像に対して判断することが可能であることで、最小のエントロピー値に関連付けられる投射像を選択することによって、最適なソルーションを判断することが可能である。
ある例示において、動作１３６は、シャノンエントロピーを判断することを含むことが可能である。ある例示において、シャノンエントロピーは、以下の式によって判断することが可能である。
Figure 2021518553
ここで、Ｐijは、データの個々のデータポイントが空間座標（ｉ，ｊ）で観測された確率を表現する。
ある例示において、動作１３６は、レーニエントロピー、ハートレーエントロピー、衝突エントロピー、最小のエントロピーなどを判断することを含むことが可能である。
ある例示において、例示１４２は、例示１３８、例示１４０、および例示１４２に図示される３つの投射像の最小のエントロピー値を表現し、そのため、例示１４２は、最少のセル数における最大のポイント量を表現する。例えば、例示１３８、および例示１４０は、３つのセル（例えば、１４６、１５０、および１５２）における４つのポイント（例えば、１０８、１１０、１３２、および１３４）を表現すると同時に、例示１４２は、２つのセル（例えば、１４６および１５２）における４つのポイント（例えば、１０８、１１０、１３２、および１３４）を表現する。動作１３６は、それぞれのグリッドセルの領域を減少させること（例えば、セル数を増加させること）と同様に、ステップサイズを低減（例えば、２０度から１０度に）させることを繰り返し、センサーの推定位置および／または向きに対してより細かい、より細かな修正を生成することができる。
動作１６０で、プロセスは、少なくとも部分的に、エントロピー値に基づいて１つまたは複数の更新された較正角度を生成することを含むことが可能である。例えば、動作１６０は、動作１３６で判断された（例えば、例示１４２に対応する）最小のエントロピー値を判断することを含むことが可能である。ある例示において、動作１６０は、例えば、センサーの較正角度を表現するセンサーの向き１５８を判断することを含むことができ、第１のセンサーおよび第２のセンサーを最適に較正することが可能である。上述したように、向き１５８（０，１）は、第１のセンサーに関連付けられる初期較正角度（例えば、（０，１）の「０」）を表現し、第２のセンサーに関連付けられる更新された較正角度（例えば、（０，１）の「１」）を表現する。ある例示において、動作１６０は、組み合わせ探索アルゴリズムの精度を特定することを含むことが可能であり、この場合において、時計回りに２０度の回転を表現する。
詳細１６２において、更新された較正角度に基づいて第１のセンサーおよび第２のセンサーの予想される向きが図示されている。例えば、第１のセンサー１１４は、更新された較正角度θ5１６４に関連付けられ、第２のセンサー１１６は、更新された較正角度θ6１６６に関連付けられている。したがって、更新された較正データ（例えば、更新された較正角度１６４、および更新された較正角度１６６）は、それぞれ第１のセンサー１１４および第２のセンサー１１６によって、キャプチャーされた任意のデータと共に送信することが可能であり、および／またはメモリの中に格納でき、第１のセンサー１１４と第２のセンサー１１６との間でデータをアライメントする任意のコンポーネントによってアクセスすることが可能である。
図２は、本開示の実施形態によって、自律走行車上のセンサーを較正する探索アルゴリズムの組み合わせを用いる例示的なプロセス２００の図式フロー図を描写する。
動作２０２で、動作は、推定センサーの姿勢（例えば、位置、および向き）に基づいて、センサーデータの一部をグリッドに投影することを含むことが可能である。ある例示において、動作２０２は、動作２０２において投影されたデータから非ゼロ速度に関連付けられるデータを除去することを含むことが可能である。つまり、ある例示において、較正動作は、静止オブジェクトを表現するデータを用いて実行することが可能である。
例示２０４は、第１のセンサー１１４および第２のセンサー１１６によって、キャプチャーされたセンサーデータを向き１５４に基づいて、グリッド１４４に投影する車両１０６を図示する。図示されるように、第２のセンサーによってキャプチャーされたデータポイント１３２およびデータポイント１３４は、グリッド１４４のセル１５０へと投影される。第１のセンサーによってキャプチャーされたデータポイント１０８は、グリッド１４４のセル１４６へと投影され、第２のセンサーによってキャプチャーされたデータポイント１１０は、グリッド１４４のセル１５２へと投影される。
理解することが可能であるように、動作２０２において投影されるデータは、車両１０６によってキャプチャーされたデータの単一の例示、または「スナップショット」に限定されることはない。その代わりに、投影されるデータは、任意の期間、または距離にわたって車両１０６によってキャプチャーされたデータを表現することが可能であり、車線変更、左折、および右折などのいずれもが車両１０６の任意の操作を表現することができる。ある例示において、動作２０２において投影されるデータは、車両１０６によってキャプチャーされることができ、その後のプロセスのために車両１０６のログファイルの中に格納されることが可能である。このような例示において、車両についてのローカリゼーション情報（例えば、位置および／または向き）は、例えば、ＳＬＡＭシステムなどによって判断および／または提供することができる。理解されることとなるように、ローカリゼーションシステムがより正確であるほど、本明細書で説明される技術によって実行することが可能となる較正の品質がより良いものとなる。さらに、このような複合的なセンサーは、実際には、経時的にデータを取得した単一のセンサー（例えば、それぞれの「センサー」は、異なる時間で同一の物理センサーを表現する場合がある）を表現する場合がある。このような例示において、また、較正は、車両自体に対して単一のセンサーの位置および／または向きを判断するであろう。
ある例示において、グリッド１４４は、任意のサイズの個別のセルを表現することが可能である。ある実装において、セル１４６は、１０センチメートル×１０センチメートルの位数の領域を表現することが可能である。ある例示において、グリッド１４４は、任意のサイズ、または形状のセルを含むことが可能であり、本明細書で説明される特定の例示に限定されることはない。グリッド１４４の全領域は、数十センチメートルから数千メートル、またはそれより広い範囲であってよい。
上述したように、例示２０４は、較正角度（例えば、向き１５４によって示される）に基づいてデータの投射像を表現する。ある例示において、コンベンション（０，０）は、例示２０４におけるデータの投射像がベースラインの較正角度（例えば、以前、または初期の較正データに対応することができる）を用いて実行することを示している。繰り返しとなるが、角度としてのみ（例えば、ヨー）の説明の目的のために描写され、このような較正は、ｘの位置、ｙの位置、またはｚの位置、ヨー、ピッチロールなどのうちのいずれか１つまたは複数にわたってよい。
動作２０６で、プロセスは、組み合わせ探索のための精度を選択することを含むことが可能である。例えば、ある例示において、プロセス２００は、「粗い」、「中間」、および「細かい」などの異なる精度で組み合わせ探索を実行することが可能であり、１つまたは複数のセンサーの較正を連続的に改良する。ある例示において、単精度は、調整可能（または選択可能）なパラメーターとなることが可能である。ある例示において、精度は、あるユーザ定義の閾値（例えば、動作２２０を超えないよう定義される閾値）を満たし、および／または超えるまで、連続的に（例えば、線形に、指数関数的に）改良することができる。例示の目的であり、限定されることなく、最初の精度は、２０度の位数であってよいが、任意の値を用いてよい。２０度を「粗い」精度の例示として用いることで、１０度および１度の精度を「中間」および「細かい」精度に対してそれぞれ用いることができるが、任意の値を用いてよい。
動作２０８で、プロセスは、少なくとも部分的に、選択精度に基づいて組み合わせ探索を実行することを含むことが可能である。例示の目的であり、限定されることなく、例示２１０は、２つのセンサーを較正するための組み合わせ探索を表現する例示的なシーケンスを図示する。ある例示において、組み合わせ探索アルゴリズムは、センサーの向きのすべての組み合わせを徹底的、または略徹底的に探索し、それぞれの向きのグリッドにデータを投影し、それぞれの投射像のエントロピー値（または他の誤差値）を判断することが可能である。ある例示において、例示２１０は、１つまたは複数の次元における変換の組み合わせのセットを含む、第１のセンサーおよび第２のセンサーの複数の姿勢を表現する。
例示２１０において、第１のエントリ２１２は、向き１５４に対応する。つまり、組み合わせ探索アルゴリズムの第１のエントリ２１２は、以前、初期、または最新の較正情報に基づいて、第１のセンサーデータおよび第２のセンサーデータをグリッドに投影することを含むことが可能である。ある例示において、（０，０）の第１のエントリ２１２は、センサーの中立の向き（例えば、９０度の角度１１８、および９０度の角度１２０）に対応することが可能である。
例示２１０において、第２のエントリ２１４は、向き（−１，０）に対応する。探索精度が２０度の例示において、第１のエントリ２１２は、中立の向き（例えば、車両１０６に対して、９０度の第１のセンサーおよび第２のセンサー）に対応し、第２のエントリ２１４に対応する投射像の第１のセンサーの角度は、７０度に対応することが可能である一方で、第２のセンサーの向きは、９０度の角度に対応することが可能である。理解されることが可能であるように、動作２０８は、例示２１０のそれぞれのエントリの投射像を判断することを含むことが可能である。さらに、動作２０８は、複数の投射像のそれぞれの投射像のエントロピー値を判断することを含むことが可能である。
例示２１０に図示されるように、組み合わせ探索アルゴリズムは、任意の数のセンサーの向きを含むことが可能である。例示２１６は、「−２」に対応しているセンサーＡの向きを図示し、これは、上述の例示に続き、第２のエントリ２１４に対応している投射像の第１のセンサーの角度は、５０度（例えば、９０度マイナス２＊２０度）に対応することが可能である。例示２１８は、任意の数のステップ（例えば、Ｎ、およびＭ）が、投射像を判断するために用いられること可能であることを図示する。
３つまたはそれより多くのセンサーが同時に較正された場合、組み合わせ探索アルゴリズムは、任意の数の追加のセンサーおよび／または寸法に対応するよう拡張することが可能である。つまり、本明細書で説明される較正技術は、１つのセンサー、２つのセンサー、または３つのセンサーを較正することに限定されることはなく、センサーの任意の数および／またはタイプ、および任意の数の寸法（位置および／または向き）に用いることができる。
動作２２０で、プロセスは、組み合わせ探索において判断された誤差値および／または探索の精度が閾値より低いかを判断することを含むことが可能である。例えば、組み合わせ探索は、複数の投射像のうちのそれぞれの投射像のエントロピー値を判断することができる。ある例示において、動作２２０は、（例えば、選択精度に基づいて）最良の較正を表現する最小のエントロピー値を判断することを含むことが可能である。誤差が閾値より低くない場合（例えば、最小のエントロピーおよび／または誤差の変化（動作２２０における「いいえ」として表現される以前の反復と比較して）、プロセスは、動作２０６に戻ることができ、ここで、更新された精度を選択することが可能である。例えば、プロセスの第１のパスは、第１の精度（例えば、「粗い」精度）で探索することが可能である一方で、連続するパスは、より細かい精度で探索することが可能である。ある例示において、基準の向き（例えば、（０，０））を更新し、投射像の最小のエントロピーに対応する位置および／または向きを反映することが可能である。
ある例示において、センサーに関連付けられる角度の大きさを参照して精度を変更することに加えて、またはそれを変更する代わりに、精度は、グリッドのサイズを参照することが可能である。例えば、グリッドのサイズは、最適な較正を判断するために連続するパスにわたって減少させることが可能である。
誤差が閾値より低い場合（例えば、動作２２０における「はい」）、プロセスは、動作２２２に継続することが可能であり、これは、１つまたは複数の較正角度を生成することを含むことができる。つまり、動作１２２は、少なくとも部分的に、動作２２０において判断された最小のエントロピー値に基づいて、投射像に対応する１つまたは複数の較正角度を判断することを含むことが可能である。例えば、データが対応する最小のエントロピーの中で投影される角度は、車両に対してセンサーの向きを表現することが可能である。したがって、較正角度は、センサーによってキャプチャーされたデータをアライメントすることに用いることができ、環境のアライメントされた表現を生成することが可能である。
図３Ａは、車両に取り付けられた複合的なセンサーアセンブリを有する例示的な車両３０２の側面図３００を描写する。ある例示において、センサーアセンブリは、１つまたは複数のＬＩＤＡＲセンサー、レーダーセンサー、画像センサー、ソナーセンサーなどを含むことができるが、これらに限定されることはない。さらなる例示は、本明細書（例えば、図４に関連する）で説明されている。
側面図３００に図示されるように、車両３０２は、任意の組み合わせ、または構成で任意の数のセンサーを含むことができる。例えば、車両３０２は、少なくともセンサー３０４、センサー３０６、およびセンサー３０８を含む。ある例示において、センサー３０４は、θ1として図示される垂直視野を有するレーダーセンサーを含むことができる。センサー３０６は、車両の屋根に取り付けられたＬＩＤＡＲセンサーを含むことができ、センサー３０６は、θ2として図示される垂直視野を有する。ある例示において、センサー３０８は、車両３０２に取り付けられることができ、センサー３０８は、垂直視野θ3を有する。ある例示において、センサー３０８は、レーダーセンサー、ＬＩＤＡＲセンサー、画像センサー、ソナーセンサーなどを表現する。当然のことながら、センサーの任意の数および／またはタイプは、車両３０２に取り付けるか、または設置することが可能である。
図３Ｂは、車両３０２に取り付けられた複合的なセンサーアセンブリを有する例示的な車両３０２の上面図３１０を描写する。例えば、センサー３０４、センサー３０６、およびセンサー３０８は、図３Ｂで図示され、同様に、追加のセンサー３１２、センサー３１４、センサー３１６、およびセンサー３１８も図示される。本開示の文脈において理解することができるように、車両３０２は、センサーの任意の数、および任意のタイプを含むことができる。図３Ｂに図示されるように、センサー３０４は、水平視野θ5を含むことができ、センサー３０６は、水平視野θ6を含むことができ、センサー３０８は、水平視野θ7を含むことができ、センサー３１０は、水平視野θ8を含むことができる。本開示の文脈において理解することができるように、取り付け位置、および視野は、外因性の特徴、および内因性の特徴にそれぞれ対応することができ、これは、本明細書で説明されるように較正することができる。さらに、本開示の文脈において理解することができるように、センサー３０４、センサー３１２、センサー３１４などのいくつかは、重複する視野（例えば、「共可視性」）を有する場合がある。
図４は、本明細書で説明される技術を実装するための例示的なシステム４００のブロック図を描写する。少なくとも１つの例示において、システム４００は、車両４０２を含むことができ、これは、図１および図３を参照し、上述で説明された車両１０６、または車両３０２と同一の車両であることが可能である。
車両４０２は、車両コンピューティングデバイス４０４と、１つまたは複数のセンサーシステム４０６と、１つまたは複数のエミッタ４０８と、１つまたは複数の通信接続４１０と、少なくとも１つの直接接続４１２と、１つまたは複数の駆動モジュール４１４とを含むことができる。
車両コンピューティングデバイス４０４は、１つまたは複数のプロセッサ４１６と、１つまたは複数のプロセッサ４１６と通信可能に結合されたメモリ４１８とを含むことが可能である。図示された例示において、車両４０２は、自律走行車であるが、車両４０２は、任意の他のタイプの車両であることが可能である。図示の例示において、車両コンピューティングデバイス４０４のメモリ４１８は、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、プラニングコンポーネント４２４、１つまたは複数のシステムコントローラ４２６、および較正コンポーネント４２８を格納する。さらに、較正コンポーネント４２８は、定常データコンポーネント４３０と、較正データコンポーネント４３２と、投影コンポーネント４３４と、エントロピーコンポーネント４３６とを含むことが可能である。図４において描写されてはいるが、例示の目的でメモリ４１８において存在するように、較正コンポーネント４２８は、追加的に、または代替的に、車両４０２にアクセス可能である（例えば、遠隔に格納される）ことができると考えられる。
少なくとも１つの例示において、ローカリゼーションコンポーネント４２０は、センサーシステム４０６からデータを受信する機能を含むことができ、車両４０２の位置を判断することが可能である。例えば、ローカリゼーションコンポーネント４２０は、環境の３次元のマップを含み、要求することができ、および／または受信することができ、マップ内の自律走行車の位置を継続的に判断することが可能である。ある例示において、ローカリゼーションコンポーネント４２０は、ＳＬＡＭ（同時ローカリゼーション、およびマッピング）、またはＣＬＡＭＳ（同時に較正、ローカリゼーション、およびマッピング）を利用することが可能であり、画像データ、ＬＩＤＡＲデータ、レーダーデータ、ソナーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダーデータなどを受信し、自律走行車の位置を正確に判断する。ある例示において、本明細書で説明されるように、ローカリゼーションコンポーネント４２０は、車両４０２のさまざまなコンポーネントにデータを提供することが可能であり、候補軌道を生成するため、または較正動作に相互に関係をもたせるために自律車両の初期位置を判断することができる。
ある例示において、知覚コンポーネント４２２は、オブジェクトの検出、セグメンテーションおよび／または分類を実行する機能を含むことが可能である。ある例示において、知覚コンポーネント４２２は、車両４０２に近接するエンティティの存在および／またはエンティティのタイプ（例えば、自動車、歩行者、サイクリスト、動物、不明など）としてエンティティの存在を示す処理済みセンサーデータを提供することが可能である。追加および／または代替の例示において、知覚コンポーネント４２２は、検出されたエンティティおよび／またはエンティティが位置する環境に関連付けられる１つまたは複数の特徴を示す処理済みセンサーデータを提供することが可能である。ある例示において、エンティティに関連付けられる特徴は、ｘの位置（グローバルな位置）、ｙの位置（グローバルな位置）、ｚの位置（グローバルな位置）、向き、エンティティのタイプ（例えば、分類）、エンティティの速度、エンティティの範囲（例えば、サイズ）などを含むことが可能であるが、これらに限定されることはない。環境に関連付けられる特徴は、環境における別のエンティティの存在、環境における別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の指示などを含むことができるが、これらに限定されることない。
少なくとも１つの例示において、車両コンピューティングデバイス４０４は、１つまたは複数のシステムコントローラ４２６を含むことができ、これは、車両４０２のステアリング、推進、制動、安全性、エミッタ、通信、および他のシステムを制御するよう構成することが可能である。これらのシステムコントローラ４２６は、車両４０２の駆動モジュール４１４および／または他のコンポーネントの対応するシステムと通信および／または制御することが可能である。
一般に、プラニングコンポーネント４２４は、車両４０２が環境を通過するために進む経路を判断することが可能である。例えば、プラニングコンポーネント４２４は、さまざまなルートおよび軌道、ならびにさまざまな詳細レベルを判断することが可能である。例えば、プラニングコンポーネント４２４は、第１の位置（例えば、現在の位置）から第２の位置（例えば、目標の位置）に走行するルートを判断することが可能である。本説明の目的のために、ルートは、２つの位置の間を走行するための通過点のシーケンスとすることが可能である。非限定的な例示として、通過点は、道路、交差点、全地球測位システム（ＧＰＳ）の座標などを含む。さらに、プラニングコンポーネント４２４は、第１の位置から第２の位置へのルートのうちの少なくとも一部に沿って自律走行車を誘導するための命令を生成することが可能である。少なくとも１つの例示において、プラニングコンポーネント４２４は、自律走行車を通過点のシーケンスにおける第１の通過点から通過点のシーケンスにおける第２の通過点までどのように誘導するかを判断することが可能である。ある例示において、命令は、軌道、または軌道の一部であることが可能である。ある例示において、後退ホライズン技術によって、多様な軌道を実質的に同時に（例えば、技術的な許容範囲内で）生成することが可能である。
一般に、較正コンポーネント４２８は、車両４０２に関連して動作する１つまたは複数のセンサーを較正する機能を含むことが可能である。例えば、較正コンポーネント４２８は、誤って較正されたセンサーを検出でき、較正ルーチンをスケジューリングでき、較正データを１つまたは複数のセンサーによって生成されるデータを利用する車両４０２の１つまたは複数の他のコンポーネントに送信することが可能である。
静止データコンポーネント４３０は、センサーシステム４０６の１つまたは複数のセンサーによって、キャプチャーされたセンサーデータを受信する機能を含むことが可能であり、静止オブジェクトを表現するデータを特定する。つまり、ある例示において、１つまたは複数のレーダーセンサーを較正する場合などに、センサーデータは、環境におけるオブジェクトの相対速度を示すことができる。したがって、静止データコンポーネント４３０は、車両４０２の速度に関連付けられるデータを（例えば、ホイールエンコーダー、ＧＰＳセンサーなどから）受信することが可能であり、センサーデータにおいて表現されるオブジェクトのデータに対する車両４０２の速度を判断することができる。ある例示において、定常データコンポーネント４３０は、ある速度を超えると、データを破棄（または較正の目的のために、省略、または無視）することができる速度を設定する閾値を含むことが可能である。ある例示において、閾値は、ゼロ速度であり、また、ある例示において、閾値は、非ゼロ値である（例えば、データは、閾値より低い速度に関連付けられる）ことが可能である。
ある例示において、静止データコンポーネント４３０は、建物、柱、木などの環境における静止オブジェクトを特定するマップ、または他のソースからデータを受信することが可能である。ある例示において、静止データコンポーネント４３０は、センサーデータを１つまたは複数の静止オブジェクトに関連付けて（マップデータに基づいて）、静止オブジェクトがセンサーデータにおける速度値を有するものとして表現されるかを判断することが可能である。このような場合において、較正コンポーネント４２８は、センサーが誤って較正されている場合があると判断することができ、較正が実行されるべきであるという指示を生成することが可能である。
較正データコンポーネント４３２は、車両４０２の１つまたは複数のセンサーに関連付けられる較正データを格納する機能を含むことが可能である。ある例示において、較正データコンポーネント４３２は、図１に対して上述で説明された角度１１８、角度１２０、角度１２８、角度１３０、角度１６４、および角度１６６などのセンサーに関連付けられる１つまたは複数の較正角度（または一般に、較正の特徴）を格納することが可能である。ある例示において、較正データは、較正角度、取り付け位置、高さ、方向、ヨー、傾斜、パン、タイミング情報、レンズの歪みパラメーター、伝送媒体パラメーターなどを含むが、これらに限定されないセンサーの取り付け角度および／または位置および／または１つまたは複数のセンサーに関連付けられる任意の外因性および／または内因性の情報を格納することが可能である。さらに、較正データコンポーネント４３２は、最新の較正から経過した時間など、実行された較正動作のいくつかまたはすべてのログを格納することが可能である。
投影コンポーネント４３４は、センサーデータをグリッドに投影する機能を含むことが可能であり、センサーシステム４０６の１つまたは複数のセンサーを較正する。ある例示において、投影コンポーネント４３４は、組み合わせ探索アルゴリズムを利用することが可能であり、センサーデータを複数の投射像として投影することができ、または最適なセンサー較正を徹底的、または略徹底的に探索することができる。ある例示において、投影コンポーネント４３４は、グリッドのサイズを選択することが可能である。上述したように、グリッドのサイズのある例示は、１０センチメートル×１０センチメートルであるが、任意の寸法を用いることができる。ある例示において、グリッドのサイズは、較正プロセスを通じて固定させることが可能であるが、一方で、ある例示において、グリッドのサイズは、変更（例えば、拡大、または縮小）することが可能であり、最適な較正ソリューションに収束する。
グリッドを判断した後で、投影コンポーネント４３４は、センサーデータをグリッドに投影することが可能である。ある例示において、投影コンポーネント４３４は、グリッドのそれぞれのセルにおいて表現されるデータポイントの数のカウントを表現するヒストグラム（例えば、２次元空間ヒストグラム）を生成することが可能である。ある例示において、投影コンポーネント４３４は、ヒストグラムを正規化することが可能であり、それぞれのセルにおけるデータポイントの確率分布を判断する。
エントロピーコンポーネント４３６は、投影コンポーネント４３４によって生成される確率分布を受け取る機能を含むことが可能であり、複数の投射像のうちのそれぞれの投射像のエントロピー値を判断する。例えば、エントロピー成分４３６は、シャノンエントロピー、レーニエントロピー、ハートレーエントロピー、衝突エントロピー、最小のエントロピーなどを判断することが可能である。
ある例示において、投影コンポーネント４３４および／またはエントロピーコンポーネント４３６は、動作を並行して実行することが可能である。例えば、個々の投射像（および／またはエントロピーの計算）は、ＧＰＵなどのプロセッサを用いて並行して判断することが可能であり、本明細書で説明される較正動作の処理時間を低減する。
ある例示において、組み合わせ探索アルゴリズムの代替として、較正コンポーネント４２８は、最急降下アルゴリズムを利用することができ、１つまたは複数の投射像に関連付けられるコストを評価して最適な較正を判断することが可能である。
ある例示において、本明細書で説明されるコンポーネントのうちのいくつかまたはすべての態様は、任意のモデル、アルゴリズムおよび／または機械学習アルゴリズムを含むことができる。例えば、ある例示において、メモリ４１８（および以下で説明されるメモリ４４４）の中のコンポーネントは、ニューラルネットワークとして実装することができる。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データを連続して接続された層を通じて出力を生成する生物学的に着想を得たアルゴリズムである。ニューラルネットワークにおけるそれぞれの層は、別のニューラルネットワークを含む場合があり、または（畳み込みかどうかに関係なく）任意の数の層を含む場合がある。本開示の文脈において理解されるように、ニューラルネットワークは、機械学習を利用することができ、これは、学習したパラメーターに基づいて出力が生成されるこのようなアルゴリズムの広範囲のクラスを参照することができる。
ニューラルネットワークの文脈において説明されているが、任意のタイプの機械学習は、本開示と一致させて用いることができる。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、ローカル的推定スキャッタープロットの平滑化（ＬＯＥＳＳ）、例示に基づいたアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾力ネット、最小角度回帰（ＬＡＲＳ）、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、iterative dichotomiser 3（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、Average one-dependence estimators（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋメジアン、期待値の最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、誤差逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（深層ボルツマンマシン（ＤＢＭ）、深層ビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層オートエンコーダー）、次元縮小アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、積層ジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダム森）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができるが、これらに限定されない。
さらなるアーキテクチャの例示は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
少なくとも１つの例示において、センサーシステム４０６は、ＬＩＤＡＲセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、位置センサー（例えば、ＧＰＳ、コンパスなど）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）などを含むことが可能である。センサーシステム４０６は、センサーのこれらのそれぞれ、または他のタイプの複数の例示を含むことが可能である。例えば、ＬＩＤＡＲセンサー（および／またはレーダーセンサー）は、車両４０２の角、前部、後部、側面および／または上部に配置された個々のＬＩＤＡＲセンサー（またはレーダーセンサー）を含むことが可能である。別の例示として、カメラセンサーは、車両４０２の外部および／または内部のさまざまな位置に配置された複合的なカメラを含むことが可能である。センサーシステム４０６は、車両コンピューティングデバイス４０４に入力を提供することが可能である。追加的および／または代替的に、リアルタイムに近い時間などにおいて、センサーシステム４０６は、所定の期間が経過した後で、センサーデータを１つまたは複数のネットワーク４３８を介して、特定の周波数で１つまたは複数のコンピューティングデバイスに送信することが可能である。
また、車両４０２は、上述のように、光および／または音を発する１つまたは複数のエミッタ４０８を含むことが可能である。この例示におけるエミッタ４０８は、車両４０２の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。例示の目的であり、限定ではなく、内部エミッタは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含むことが可能である。また、この例示におけるエミッタ４０８は、外部エミッタを含む。例示の目的であり、限定ではなく、この例示における外部エミッタは、車両の動作の走行方向、または他のインジケータ（例えば、インジケータライト、記号、ライトアレイなど）の信号を送る光、および音波ビームステアリング技術を含む１つまたは複数の歩行者と、または他の近くの車両と音声による通信をするために、１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。
また、車両４０２は、車両４０２と１つもしく複数の他のローカルまたは遠隔のコンピューティングデバイスとの間の通信を可能とする１つまたは複数の通信接続４１０を含むことが可能である。例えば、通信接続４１０は、車両４０２および／または駆動モジュール４１４上の他のローカルコンピューティングデバイスとの通信を容易にすることが可能である。また、通信接続４１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能とすることができる。また、通信接続４１０は、車両４０２が遠隔操作のコンピューティングデバイスと、または他の遠隔サービスと通信することを可能とする。
通信接続４１０は、車両コンピューティングデバイス４０４を別のコンピューティングデバイス、またはネットワーク４３８などのネットワークに接続する物理的および／または論理インターフェースを含むことが可能である。例えば、通信接続４１０は、ＩＥＥＥ８０２．１１規格によって定義される周波数であり、ブルートゥースなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ．ＬＴＥ、５Ｇなど）などを介するＷｉ−Ｆｉに基づいた通信、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能とする任意の適切な有線、または無線通信プロトコルを可能とすることができる。
少なくとも１つの例示において、車両４０２は、１つまたは複数の駆動モジュール４１４を含むことが可能である。ある例示において、車両４０２は、単一の駆動モジュール４１４を有することが可能である。少なくとも１つの例示において、車両４０２が複数の駆動モジュール４１４を有する場合、個々の駆動モジュール４１４を車両４０２の両端（例えば、前部、および後部など）に配置することが可能である。少なくとも１つの例示において、駆動モジュール４１４は、１つまたは複数のセンサーシステムを含むことが可能であり、駆動モジュール４１４および／または車両４０２の周辺の状態を検出する。例示の目的であり、限定ではなく、センサーシステム４０６は、駆動モジュールのホイールの回転を感知する１つまたは複数のホイールエンコーダー（例えば、ロータリーエンコーダー）、駆動モジュールの向きおよび加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたはその他の画像センサー、駆動モジュールの周辺におけるオブジェクトを音声的に検出する超音波センサー、ＬＩＤＡＲセンサー、レーダーセンサーなどを含むことが可能である。ホイールエンコーダーなどの一部のセンサーは、駆動モジュール４１４に特有のものとすることが可能である。ある場合において、駆動モジュール４１４上のセンサーシステムは、車両４０２の対応するシステム（例えば、センサーシステム４０６）と重複、または補完することが可能である。
駆動モジュール４１４は、高電圧バッテリー、車両４０２を推進するモーター、バッテリーからの直流電流を他の車両システムによって利用される交流電流へと変換するインバーター、ステアリングモーター、およびステアリングラック（電動であってよい）を含むステアリングシステム、油圧、または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し、且つ制御を維持するために制動力の分散をするスタビリティー制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周辺を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネントなど）を含む多くの車両システムを含むことが可能である。さらに、駆動モジュール４１４は、センサーシステムからデータを受信して前処理をすることができ、さまざまな車両システムの動作を制御する駆動モジュールコントローラを含むことが可能である。ある例示において、駆動モジュールコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことが可能である。メモリは、１つまたは複数のモジュールを格納することが可能であり、駆動モジュール４１４のさまざまな機能を実行する。さらには、駆動モジュール４１４は、また、それぞれの駆動モジュールと１つまたは複数の他のローカルと、または遠隔のコンピューティングデバイスとによって、通信を可能とする１つまたは複数の通信接続を含む。
車両４０２のプロセッサ４１６は、データを処理して本明細書で説明されるような動作を実行する命令を実行することが可能となる任意の適切なプロセッサであってよい。例示の目的であり、限定ではなく、プロセッサ４１６は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または電子データを処理してその電子データをレジスタおよび／またはメモリに格納することができる他の電子データへと変換する任意の他のデバイス、またはデバイスの一部を含むことが可能である。ある例示において、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスは、また、それらが符号化された命令を実装するよう構成される限り、プロセッサとみなすことが可能である。
メモリ４１８は、非一時的なコンピュータ可読媒体の例示である。メモリ４１８は、オペレーティングシステム、および１つまたは複数のソフトウェアアプリケーションを格納することが可能である。メモリ４１８は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラムおよび／またはデータを格納することが可能であり、本明細書で説明される方法、およびさまざまなシステムに起因する機能を実施する。さまざまな実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納することが可能であるその他の任意のタイプのメモリなど、適切なメモリ技術を用いて実装することが可能である。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的なコンポーネントを含むことが可能であり、それらが添付図面において図示されるものは、単に本明細書での説明に関連する例示にすぎない。
図４は、分散システムとして図示される一方で、代替の例示において、車両４０２のコンポーネントは、ネットワーク４３８を介してアクセス可能な遠隔のコンピューティングデバイスに関連付けることが可能である。
例えば、車両４０２は、ネットワーク４３８を介して、センサーデータを１つまたは複数のコンピューティングデバイス４４０に送信することが可能である。ある例示において、車両４０２は、生センサーデータをコンピューティングデバイス４４０に送信することが可能である。他の例示において、車両４０２は、処理済みセンサーデータおよび／またはセンサーデータの表現をコンピューティングデバイス４４０に送信することが可能である。ある例示において、車両４０２は、リアルタイムに近い時間などにおいて、所定の期間が経過した後で、センサーデータを特定の周波数でコンピューティングデバイス４４０に送信することが可能である。ある例示において、車両４０２は、センサーデータ（生、または処理済み）を１つまたは複数のログファイルとして、コンピューティングデバイス４４０に送信することが可能である。
コンピューティングデバイス４４０は、センサーデータ（生、または処理済み）を受信することができ、データに対して較正動作を実行することが可能である。少なくとも１つの例示において、コンピューティングデバイス４４０は、１つまたは複数のプロセッサ４４２、および１つまたは複数のプロセッサ４４２と通信可能に結合されたメモリ４４４を含むことが可能である。図示される例示において、コンピューティングデバイス４４０のメモリ４４４は、較正コンポーネント４４６を格納し、これは、較正コンポーネント４２８の文脈において、上述されたものと同様の動作を実行する機能を含むことが可能である。ある例示において、プロセッサ４４２およびメモリ４４４は、プロセッサ４１６およびメモリ４１８に対して、上述されたものと同様の機能および／または構造を含むことが可能である。
図１、図２、図３、図４、図５、および図６は、本開示の実施形態によって例示的なプロセスを図示する。これらのプロセスは、論理フローグラフとして図示され、このそれぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装することが可能である動作のシーケンスを表現する。ソフトウェアの文脈において、動作は、１つまたは複数のプロセッサによって実行された場合に、列挙された動作を実行する１つまたは複数のコンピュータ可読記憶媒体に格納されるコンピュータ実行可能命令を表現する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象的なデータタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、制限として解釈されることを意図するものではなく、任意の数の説明された動作は、任意の順序で、および／または並行して組み合わせることが可能であり、プロセスを実装する。
図５は、本明細書で説明されるように、エントロピー値などの誤差を最小化するセンサーデータをグリッドに投影することによって、１つまたは複数のセンサーを較正する例示的なプロセス５００を描写する。例えば、プロセス５００の一部またはすべては、図４における１つまたは複数のコンポーネントによって実行することが可能である。例えば、プロセス５００の一部またはすべては、較正コンポーネント４２８および／または較正コンポーネント４４６によって実行することが可能である。
動作５０２で、プロセスは、車両上に配置された１つまたは複数のセンサーによってキャプチャーされた第１のセンサーデータおよび第２のセンサーデータを受信することを含むことが可能である。単一のセンサーの文脈において、第１のセンサーデータおよび第２のセンサーデータは、センサーが環境を通じて移動したときに取得されるデータを表現することが可能である。ある例示において、このようなデータは、同じ環境を通じて車両の複合的なパスを表現する場合がある。例えば、第１のセンサーデータは、環境において１回目にキャプチャーされたデータを表現することができ、第２のセンサーデータは、環境において２回目にキャプチャーされたデータを表現することが可能である。
複数のセンサーの文脈において、動作５０２は、第１のセンサーおよび第２のセンサーから少なくとも第１のセンサーデータおよび第２のセンサーデータを受信することを含むことが可能である。ある例示において、第１のセンサーデータは、第２のセンサーデータ（例えば、技術的許容範囲内および／または本明細書で説明される較正技術に影響を及ぼさない時間内で）と実質的に同時にキャプチャーされることが可能である。ある例示において、第１のセンサーデータの少なくとも一部は、第２のセンサーデータの少なくとも一部と同一の環境を表現することが可能である。ある例示において、動作５０２は、例えば、車両の姿勢（例えば、位置および／または向き）についての情報を提供することができるローカリゼーション情報を受信することを含むことが可能である。ある例示において、ローカリゼーション情報は、ＣＬＡＭＳ（較正、ローカリゼーション、およびマッピングを同時に）システムによって提供することができる。さらには、速度（線形および／または角度）、加速度（線形および／または角度）などは、また、１つまたは複数のシステムおよび／またはセンサーによって提供される。
動作５０４で、プロセスは、第１のセンサーデータおよび第２のセンサーデータをグリッド（例えば、２次元、または３次元グリッド）に投影することによって、複数の投射像を生成することを含むことが可能である。ある例示において、動作５０４は、組み合わせ探索アルゴリズムを選択することを含むことが可能であり、センサーデータの可能な投射像の徹底的、または略徹底的なセットを生成する。例えば、動作５０４は、（例えば、例示２１０において図示されるように）組み合わせ探索テーブルによって、第１のデータおよび第２のデータを投影することを含むことが可能である。ある例示において、複数の投射像は、互いに対しておよび／または車両に対して、１つまたは複数のセンサーの異なる位置および／または向き（例えば、姿勢）を表現することが可能である。
ある例示において、動作５０４は、複数の投射像のそれぞれの投射像のセンサーデータの投射像を表現する、二次元空間ヒストグラムなどのヒストグラムを判断することを含むことが可能である。ある例示において、ヒストグラムは、少なくとも部分的に、グリッドのそれぞれのセルへと投影された複数のデータポイントを表現することが可能である。ある例示において、動作５０４は、ヒストグラムを正規化することを含むことが可能であり、投射像にわたって確率分布を判断する。
動作５０６で、プロセスは、複数の投射像のそれぞれの投射像の誤差（例えば、エントロピー値）を判断することを含むことが可能である。ある例示において、動作５０６は、複数の投射像の個々の投射像に関連付けられるそれぞれの確率分布のエントロピー値を判断することを含むことが可能である。ある例示において、動作５０６は、シャノンエントロピー、レーニエントロピー、ハートレーエントロピー、衝突エントロピー、最小のエントロピーなどを判断することを含むことが可能である。ある例示において、動作５０６は、それぞれの投射像に関連付けられる誤差を判断する最急降下アルゴリズムを利用することを含むことが可能である。
動作５０８で、プロセスは、誤差（例えば、最小のエントロピー）および／または誤差の変化（以前の反復、または基準値と比較して）が閾値より低いかを判断することを含むことが可能である。ある例示において、動作５０８は、動作５０６において判断される複数のエントロピー値のうちの最小のエントロピー値を判断することを含むことが可能である（これは、ある場合において、１つまたは複数のセンサー、または探索アルゴリズムおよび／または探索精度に基づいて最良適合の最適な較正を表現することが可能である）。ある例示において、閾値は、センサーのタイプ、センサーの数、環境の状態、周囲温度、デバイス温度などに基づいて選択することが可能である。ある例示において、閾値は、以前の較正動作によって判断されたエントロピー値に部分的に基づくことが可能である。
誤差（または誤差の変化）が閾値より低くない場合（例えば、動作５０８における「いいえ」）、プロセスは、探索精度を更新することを含むことができる動作５１０を継続することが可能である。
ある例示において、動作５１０は、探索精度を更新すること（例えば、２０度、１５度、５度、１度などの角度での組み合わせ探索アルゴリズムを評価すること）および／またはグリッドのサイズ（例えば、１０ｃｍ×１０ｃｍ、５ｃｍ×５ｃｍ、１ｃｍ×１ｃｍなどの寸法を有するセル）に基づくことを含むことが可能である。さらなる例示は、上述のように、図２に対して詳細に説明されている。当然のことながら、任意の値を用いることが可能であり、記載されている例示は、限定を意図したものではない。
動作５１０において、探索精度が更新された後で、プロセスは、動作５０４に戻ることが可能であり、センサーデータをグリッドに投影して複数の投射像を生成する。
誤差が閾値より低い場合（例えば、動作５０８において「はい」）、プロセスは、動作５１２に進む。
動作５１２で、プロセスは、複数の投射像のうちの最小の誤差（例えば、最小のエントロピー値）を表現する投射像を選択することを含むことが可能である。
動作５１４で、プロセスは、少なくとも部分的に投射像に基づいて、１つまたは複数のセンサーに関連付けられる較正データを判断することを含むことが可能である。例えば、図１に関連して上述したように、例示１４２は、複数の投射像の最小のエントロピー値を表現することができる。例示１４２は、最適な較正をもたらした基準の向きからの調整を表現する向き１５８に関連付けられている。ある例示において、動作５１４は、例えば、最適な較正データを判断する基準の角度からの調整角度を加算、または減算することによって、１つまたは複数の較正角度（または一般に、較正特徴）を判断することを含むことが可能である。
動作５１６で、プロセスは、少なくとも部分的に、較正データに基づいて１つまたは複数のセンサーを較正することを含むことが可能である。例えば、動作５１６は、較正データを１つまたは複数のローカリゼーションシステム（例えば、ローカリゼーションコンポーネント４２０）、知覚システム（例えば、知覚コンポーネント４２２）などに送信することを含むことが可能である。ある例示において、較正データは、車両の１つまたは複数のシステムによって用いられることが可能であり、アライメントをすることができるか、そうでなければ、１つまたは複数のセンサーによってキャプチャーされたデータを調整することによって、データが環境を正確な方法で表現することができる。
図６は、本明細書で説明されるように、少なくとも部分的に、較正されたセンサーデータに基づいて、自律走行車を制御する例示的なプロセス６００を描写している。例えば、プロセス６００の一部またはすべては、図４における１つまたは複数のコンポーネントによって実行することが可能である。例えば、プロセス６００の一部またはすべては、ローカリゼーションコンポーネント４２０、知覚コンポーネント４２２、プラニングコンポーネント４２４および／または１つまたは複数のシステムコントローラ４２６によって実行することが可能である。
動作６０２で、プロセスは、更新された較正データを受信することを含むことが可能である。ある例示において、較正データは、本明細書で説明される較正技術を用いて判断することが可能である。
動作６０４で、プロセスは、少なくとも部分的に、更新された較正データに基づいて軌道を生成することを含むことが可能である。例えば、動作６０４において生成された軌道は、較正データを用いて較正された１つまたは複数のセンサーから受信したセンサーデータに、少なくとも部分的に基づくことができる。ある例示において、軌道は、環境における自律走行車の外部にあるオブジェクト、またはエージェントの存在に基づいている場合がある。
動作６０６で、プロセスは、軌道を進む自律走行車を制御することを含むことが可能である。ある例示において、動作６０６において生成された命令は、自律走行車に搭載されたコントローラに中継されることが可能であり、自律走行車に軌道を駆動するよう制御する。自律走行車の文脈で説明されているが、プロセス６００、ならびに本明細書で説明される技術およびシステムは、マシンビジョンを利用するさまざまなシステムに適用することが可能である。
例示的な条項
Ａ：システムは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数のコンピュータ可読媒体とを備え、命令は、システムに、自律走行車上に配置された第１のレーダーセンサーによってキャプチャーされた第１のセンサーデータを受信することと、自律走行車上に配置された第２のレーダーセンサーによってキャプチャーされた第２のセンサーデータを受信することと、少なくとも部分的に、第１のレーダーセンサーおよび第２のレーダーセンサーの複数の向きに基づいて、第１のセンサーデータの第１の部分および第２のセンサーデータの第２の部分を複数の投影されたデータとして２次元グリッドで投影することと、少なくとも部分的に、複数の投影されたデータに基づいて、エントロピーを判断することと、少なくとも部分的に、エントロピーに基づいて、第１のセンサーに関連付けられる第１の較正角度を判断することと、少なくとも部分的に、エントロピーに基づいて、第２のセンサーに関連付けられる第２の較正角度を判断することと、少なくとも部分的に、第１の較正角度に基づいて、較正された第１のレーダーセンサーとして第１のレーダーセンサーを較正することと、少なくとも部分的に、第２の較正角度に基づいて、較正された第２のレーダーセンサーとして第２のレーダーセンサーを較正することと、少なくとも部分的に、較正された第１のレーダーセンサーおよび較正された第２のレーダーセンサーに基づいて、自律走行車を制御する軌道を生成することと、自律走行車に軌道を進むよう制御することとを含む動作を実行させる。
Ｂ：段落Ａのシステムは、エントロピーを判断することは、少なくとも部分的に、複数の投影されたデータのサブセットに基づいて、複数の第１のエントロピー値を判断することと、複数の第１のエントロピー値の第１のエントロピー値が閾値を満たすか、または超えると判断することと、探索精度を低減することと、少なくとも部分的に、探索精度ならびに、第１のレーダーセンサーおよび第２のレーダーセンサーの複数の第２の向きに基づいて、第１のセンサーデータの第１の部分および第２のセンサーデータの第２の部分を第２の複数の投影されたデータとして２次元グリッドと関連付けることと、少なくとも部分的に、第２の複数の投影されたデータのサブセットに基づいて、複数の第２のエントロピー値を判断することと、複数の第２のエントロピー値の第２のエントロピー値をエントロピーとして判断することとを備える。
Ｃ：段落Ａ、または段落Ｂのシステムの複数の向きは、時計回りの回転、反時計回りの回転、および中立の回転のそれぞれにおいて、第１のレーダーセンサーおよび第２のレーダーセンサーの向きの組み合わせのセットを含む。
Ｄ：段落Ａ〜段落Ｃのいずれかのシステムの命令は、１つまたは複数のプロセッサによって実行された場合に、システムに、複数の投影されたデータに基づいて複数の確率分布を判断することを含む動作をさらに実行させ、エントロピーの判断は、少なくとも部分的に、複数の確率分布に基づいている。
Ｅ：段落Ａ〜段落Ｄのいずれかのシステムの命令は、１つまたは複数のプロセッサによって実行された場合に、システムに、第１のセンサーデータの第１の部分が第１の定常データを表現することを判断することと、第２のセンサーデータの第２の部分が第２の定常データを表現することを判断することとを含む動作をさらに実行させる。
Ｆ：方法は、第１のセンサーによってキャプチャーされた第１のセンサーデータを受信するステップと、第２のセンサーによってキャプチャーされた第２のセンサーデータを受信するステップと、少なくとも部分的に、第１のセンサーおよび第２のセンサーの複数の姿勢に基づいて、第１のセンサーデータおよび第２のセンサーデータを複数の投影されたデータとしてグリッドに関連付けるステップと、少なくとも部分的に、複数の投影されたデータに基づいてエントロピーを判断するステップと、少なくとも部分的に、エントロピーに基づいて、第１のセンサーに関連付けられる第１の較正データを判断するステップと、少なくとも部分的に、エントロピーに基づいて、第２のセンサーに関連付けられる第２の較正データを判断するステップと、少なくとも部分的に、第１の較正データに基づいて第１のセンサーを較正するステップと、少なくとも部分的に、第２の較正データに基づいて、第２のセンサーを較正するステップとを備える。
Ｇ：段落Ｆの方法の複数の姿勢は、１つまたは複数の次元にわたる姿勢の変換の組み合わせのセットを含む。
Ｈ：段落Ｇの方法のグリッドは、２次元グリッドであり、姿勢の変換の組み合わせのセットは、ヨー回転を含み、第１のセンサーは、第１の視野を有する第１のレーダーセンサーであり、第２のセンサーは、第２の視野を有する第２のレーダーセンサーであり、第１の視野は、少なくとも部分的に、第２の視野と重複する。
Ｉ：段落Ｆから段落Ｈのうちのいずれかの方法の複数の投影されたデータは、少なくとも部分的に、第１の探索精度に基づく第１の複数の投影されたデータであり、エントロピーは、第１のエントロピー値であり、当該方法は、さらに、第１のエントロピー値が閾値のエントロピー値を満たすか、または超えるかを判断するステップと、第２のグリッドに関連付けられる第２の探索精度を選択するステップと、少なくとも部分的に、第２の探索精度ならびに、第１のセンサーおよび第２のセンサーの複数の第２の姿勢に基づいて、第１のセンサーデータおよび第２のセンサーデータを第２の複数の投影されたデータとして第２のグリッドに関連付けるステップと、エントロピーとして、第２の複数の投影されたデータに関連付けられる第２のエントロピー値を判断するステップとを含む。
Ｊ：段落Ｉの方法の第１の探索精度の第１のセルのサイズは、第２の探索精度の第２のセルのサイズと異なり、さらに、第１の複数の姿勢は、第２の複数の姿勢と異なる。
Ｋ：段落Ｆ〜段落Ｊのうちのいずれかの方法のエントロピーを判断するステップは、複数の投影されたデータのサブセットのシャノンエントロピーを判断するステップを含む。
Ｌ：段落Ｆ〜段落Ｋのうちのいずれかの方法の複数の投影されたデータは、実質的に同時に判断される。
Ｍ：段落Ｆ〜段落Ｌのうちのいずれかの方法は、さらに、少なくとも部分的に、第１の較正データに基づいて第１のセンサーによってキャプチャーされた第１の較正されたセンサーデータを受信するステップと、少なくとも部分的に、第２の較正データに基づいて、第２のセンサーによってキャプチャーされた第２の較正されたセンサーデータを受信するステップと、少なくとも部分的に、第１の較正されたセンサーデータおよび第２の較正されたセンサーデータに基づいて、自律走行車の進む軌道を生成するステップと、自律走行車に軌道を進めさせるステップとを備える。
Ｎ：段落Ｆ〜段落Ｍのうちのいずれかの方法の第１のセンサーおよび第２のセンサーは、単一の物理センサーに対応し、さらに、第１のセンサーデータは、１回目に単一の物理センサーから取得されたデータを含み、第２のセンサーデータは、２回目に単一の物理センサーから取得されたデータを含む。
Ｏ：段落Ｆ〜段落Ｎのうちのいずれかの方法の少なくとも第１のセンサーデータの一部および第２のセンサーデータの一部が環境の同一の部分に対応する。
Ｐ：非一時的なコンピュータ可読媒体は、命令が実行された場合に、１つまたは複数のプロセッサに、第１のセンサーによってキャプチャーされた第１のセンサーデータを受信することと、第２のセンサーによってキャプチャーされた第２のセンサーデータを受信することと、少なくとも部分的に、第１のセンサーおよび第２のセンサーの複数の姿勢に基づいて、第１のセンサーデータおよび第２のセンサーデータを複数の投影されたデータとしてグリッドに関連付けることと、少なくとも部分的に、複数の投影されたデータに基づいてエントロピーを判断することと、少なくとも部分的に、エントロピーに基づいて、第１のセンサーに関連付けられる第１の較正データを判断することと、少なくとも部分的に、エントロピーに基づいて、第２のセンサーに関連付けられる第２の較正データを判断することと、少なくとも部分的に、第１の較正データに基づいて第１のセンサーを較正することと、少なくとも部分的に、第２の較正データに基づいて、第２のセンサーを較正することとを含む動作を実行させる命令を格納する。
Ｑ：段落Ｐの非一時的なコンピュータ可読媒体の複数の姿勢は、少なくとも１次元における姿勢の変換の組み合わせのセットを含む。
Ｒ：段落ＰまたはＱの非一時的なコンピュータ可読媒体のグリッドは、複数のセルを含み、動作は、さらに、エントロピーが閾値を満たすか、または超えると判断することと、少なくとも探索精度に基づいて、第２の複数の姿勢を判断することと、少なくとも部分的に、第２の複数の姿勢に基づいて、第１のセンサーデータおよび第２のセンサーデータを第２の複数の投影されたデータとしてグリッドに関連付けることと、第２の複数の投影されたデータに関連付けられる複数の第２のエントロピー値を判断することと、エントロピーとして、複数の第２のエントロピー値の第２のエントロピー値を判断することとを含む。
Ｓ：段落Ｐ〜段落Ｒのうちのいずれかの非一時的なコンピュータ可読媒体の動作は、さらに、少なくとも部分的に、第１の較正データに基づいて第１のセンサーによってキャプチャーされた第１の較正されたセンサーデータを受信することと、少なくとも部分的に、第２の較正データに基づいて、第２のセンサーによってキャプチャーされた第２の較正されたセンサーデータを受信することと、少なくとも部分的に、第１の較正されたセンサーデータおよび第２の較正されたセンサーデータに基づいて、自律走行車の進む軌道を生成することと、自律走行車に軌道を進めさせることとを含む。
Ｔ：段落Ｐ〜段落Ｓのうちのいずれかの非一時的なコンピュータ可読媒体のエントロピーを判断することは、複数の投影されたデータのうちの少なくとも一部に関連付けられるシャノンエントロピーを判断することを含む。
上述の例示的な条項は、ある具体的な実装に対して説明されている一方で、本書類の文脈において、本例示的な条項の内容は、また、方法、デバイス、システムおよび／またはコンピュータ可読媒体を介して実装することが可能であることを理解されたい。
結論
本明細書で説明される技術の１つまたは複数の例示が説明されている一方で、さまざまな変更、追加、置換、およびそれらの均等物が本明細書で説明される技術の範囲内に含まれる。
例示の説明において、本明細書の一部を形成する添付の図面を参照し、これは例示として請求される主題の具体的な例示を図示する。他の例示を用いることができ、構造的変更などの変更、または代替を行うことが可能であることを理解されたい。このような例示、変更または代替は、意図される請求された主題に対する範囲から必ずしも逸脱するものではない。本明細書におけるステップは、特定の順序で提示することができる一方で、ある場合においては、順序を変更することが可能であることによって、説明されるシステム、および方法の機能を変更することなく、特定の入力が異なる時間、または異なる順序で提供される。また、開示された手順は、異なる順序で実行することができる。さらに、本明細書におけるさまざまな計算は、開示された順序で実行される必要はなく、計算の代替順序を用いる他の例示は、容易に実装することができる。並べ替えに加えて、計算は、また、サブ計算へと分解され、同一の結果を得ることができる。

Claims (15)

  1. １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数のコンピュータ可読媒体とを備えるシステムであって、
    前記命令は、前記システムに、
    第１のレーダーセンサーによってキャプチャーされた第１のセンサーデータを受信することと、
    第２のレーダーセンサーによってキャプチャーされた第２のセンサーデータを受信することと、
    少なくとも部分的に、前記第１のレーダーセンサーおよび前記第２のレーダーセンサーの複数の向きに基づいて、前記第１のセンサーデータの第１の部分および前記第２のセンサーデータの第２の部分を複数の投影されたデータとして２次元グリッドで投影することと、
    少なくとも部分的に、前記複数の投影されたデータに基づいて、エントロピーを判断することと、
    少なくとも部分的に、前記エントロピーに基づいて、前記第１のセンサーに関連付けられる第１の較正角度を判断することと、
    少なくとも部分的に、前記エントロピーに基づいて、前記第２のセンサーに関連付けられる第２の較正角度を判断することと、
    少なくとも部分的に、前記第１の較正角度に基づいて、較正された第１のレーダーセンサーとして前記第１のレーダーセンサーを較正することと、
    少なくとも部分的に、前記第２の較正角度に基づいて、較正された第２のレーダーセンサーとして前記第２のレーダーセンサーを較正することとを含む動作を実行させる、
    システム。
  2. 前記エントロピーを判断することは、
    少なくとも部分的に、前記複数の投影されたデータのサブセットに基づいて、複数の第１のエントロピー値を判断することと、
    前記複数の第１のエントロピー値の第１のエントロピー値が閾値を満たすか、または超えると判断することと、
    探索精度を低減することと、
    少なくとも部分的に、前記探索精度ならびに、前記第１のレーダーセンサーおよび前記第２のレーダーセンサーの複数の第２の向きに基づいて、前記第１のセンサーデータの前記第１の部分および前記第２のセンサーデータの前記第２の部分を第２の複数の投影されたデータとして前記２次元グリッドと関連付けることと、
    少なくとも部分的に、前記第２の複数の投影されたデータのサブセットに基づいて、複数の第２のエントロピー値を判断することと、
    前記複数の第２のエントロピー値の第２のエントロピー値を前記エントロピーとして判断することとを含む、
    請求項１に記載のシステム。
  3. 前記複数の向きは、時計回りの回転、反時計回りの回転、および中立の回転のそれぞれにおける前記第１のレーダーセンサーおよび前記第２のレーダーセンサーの向きの組み合わせのセットを含む、
    請求項１または２に記載のシステム。
  4. 前記動作は、さらに、前記複数の投影されたデータに基づいて、複数の確率分布を判断することを含み、
    前記エントロピーを判断することは、少なくとも部分的に、前記複数の確率分布に基づく、
    請求項１または２に記載のシステム。
  5. 前記動作は、さらに、
    第１の定常データを表現する前記第１のセンサーデータの前記第１の部分を判断することと、
    第２の定常データを表現する前記第２のセンサーデータの前記第２の部分を判断することと、
    少なくとも部分的に、前記較正された第１のレーダーセンサーおよび前記較正された第２のレーダーセンサーに基づいて、自律走行車を制御する軌道を生成することと、
    前記自律走行車に前記軌道を進むよう制御することとを含む、
    請求項１または２に記載のシステム。
  6. 第１のセンサーによってキャプチャーされた第１のセンサーデータを受信するステップと、
    第２のセンサーによってキャプチャーされた第２のセンサーデータを受信するステップと、
    少なくとも部分的に、前記第１のセンサーおよび前記第２のセンサーの複数の姿勢に基づいて、前記第１のセンサーデータおよび前記第２のセンサーデータを複数の投影されたデータとしてグリッドに関連付けるステップと、
    少なくとも部分的に、前記複数の投影されたデータに基づいてエントロピーを判断するステップと、
    少なくとも部分的に、前記エントロピーに基づいて前記第１のセンサーに関連付けられる第１の較正データを判断するステップと、
    少なくとも部分的に、前記エントロピーに基づいて前記第２のセンサーに関連付けられる第２の較正データを判断するステップと、
    少なくとも部分的に、前記第１の較正データに基づいて前記第１のセンサーを較正するステップと、
    少なくとも部分的に、前記第２の較正データに基づいて前記第２のセンサーを較正するステップとを備える、
    方法。
  7. 前記複数の姿勢は、１つまたは複数の次元にわたる姿勢の変化の組み合わせのセットを含む、
    請求項６に記載の方法。
  8. 前記グリッドは、２次元グリッドであり、
    前記姿勢の変化の組み合わせのセットは、ヨー回転を含み、
    前記第１のセンサーは、第１の視野を有する第１のレーダーセンサーであり、
    前記第２のセンサーは、第２の視野を有する第２のレーダーセンサーであり、
    前記第１の視野は、少なくとも部分的に前記第２の視野と重複する、
    請求項７に記載の方法。
  9. 前記エントロピーを判断するステップは、前記複数の投影されたデータのサブセットのシャノンエントロピーを判断するステップを含む、
    請求項６ないし８のうちのいずれか一項に記載の方法。
  10. 前記第１のセンサーおよび前記第２のセンサーは、
    自律走行車上にあり、前記方法は、さらに、
    少なくとも部分的に、前記第１の較正データに基づいて前記第１のセンサーによってキャプチャーされた第１の較正されたセンサーデータを受信するステップと、
    少なくとも部分的に、前記第２の較正データに基づいて前記第２のセンサーによってキャプチャーされた第２の較正されたセンサーデータを受信するステップと、
    少なくとも部分的に、前記第１の較正されたセンサーデータおよび前記第２の較正されたセンサーデータに基づいて、前記自律走行車の進む軌道を生成するステップと、
    前記自律走行車に前記軌道を進めさせるステップとを備える、
    請求項６ないし８のうちのいずれか一項に記載の方法。
  11. 前記第１のセンサーおよび前記第２のセンサーは、単一の物理センサーに対応し、
    さらに、前記第１のセンサーデータは、１回目に前記単一の物理センサーから取得されたデータを含み、前記第２のセンサーデータは、２回目に前記単一の物理センサーから取得されたデータを含む、
    請求項６ないし８のうちのいずれか一項に記載の方法。
  12. 少なくとも前記第１のセンサーデータの一部および前記第２のセンサーデータの一部が環境の同一の部分に対応する、
    請求項６ないし８のいずれか一項に記載の方法。
  13. 前記複数の投影されたデータは、第１の複数の投影されたデータであり、前記方法は、さらに、
    前記エントロピーが閾値を満たすか、または超えるかを判断するステップと、
    探索精度を変更するステップと、
    少なくとも前記探索精度に基づいて、第２の複数の姿勢を判断するステップと、
    少なくとも部分的に、前記第２の複数の姿勢に基づいて、前記第１のセンサーデータおよび前記第２のセンサーデータを第２の複数の投影されたデータとして前記グリッドに関連付けるステップと、
    前記第２の複数の投影されたデータに関連付けられる複数の第２のエントロピー値を判断するステップと、
    前記エントロピーとして、前記複数の第２のエントロピー値の第２のエントロピー値を判断するステップとを備える、
    請求項６ないし８のいずれか一項に記載の方法。
  14. 前記第１の複数の投影されたデータは、第１の探索精度および第１のセルのサイズに関連付けられ、前記第２の複数の投影されたデータは、第２の探索精度および前記第１のセルのサイズとは異なる第２のセルのサイズに関連付けられ、そして前記第１の複数の姿勢は、前記第２の複数の姿勢とは異なる、
    請求項１３に記載の方法。
  15. コンピュータ上で実行された場合に、請求項６ないし８のいずれか一項に記載の方法を実装する、
    コード化された命令を含むコンピュータプログラム製品。
JP2020550860A 2018-03-21 2019-03-15 センサー較正 Active JP7308855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/927,291 2018-03-21
US15/927,291 US10830871B2 (en) 2018-03-21 2018-03-21 Sensor calibration
PCT/US2019/022561 WO2019182909A1 (en) 2018-03-21 2019-03-15 Sensor calibration

Publications (3)

Publication Number Publication Date
JP2021518553A true JP2021518553A (ja) 2021-08-02
JPWO2019182909A5 JPWO2019182909A5 (ja) 2022-03-17
JP7308855B2 JP7308855B2 (ja) 2023-07-14

Family

ID=65952213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020550860A Active JP7308855B2 (ja) 2018-03-21 2019-03-15 センサー較正

Country Status (5)

Country Link
US (2) US10830871B2 (ja)
EP (1) EP3769108A1 (ja)
JP (1) JP7308855B2 (ja)
CN (1) CN111936825B (ja)
WO (1) WO2019182909A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210112A1 (de) * 2017-06-16 2018-12-20 Robert Bosch Gmbh Verfahren und System zur Durchführung einer Kalibrierung eines Sensors
US10830871B2 (en) 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration
DE102018205322A1 (de) * 2018-04-10 2019-10-10 Audi Ag Verfahren und Steuervorrichtung zum Erkennen einer Fehlfunktion zumindest eines Umfeldsensors eines Kraftfahrzeugs
US11885906B2 (en) 2018-06-28 2024-01-30 Plato Systems, Inc. Multimodal sensing, fusion for machine perception
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
US11391825B2 (en) * 2019-07-02 2022-07-19 Waymo Llc Sensor calibration parameter sensitivity analysis
US11393127B2 (en) * 2019-09-13 2022-07-19 Toyota Research Institute, Inc. 2D to 3D line-based registration with unknown associations
CN110967040B (zh) * 2019-12-17 2021-11-23 北京经纬恒润科技股份有限公司 一种传感器水平偏差角度的识别方法及系统
US11402468B2 (en) 2019-12-30 2022-08-02 Woven Planet North America, Inc. Systems and methods for blind online calibration of radar systems on a vehicle
US11360197B2 (en) * 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
DE102020202679A1 (de) * 2020-03-03 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration
CN112255621B (zh) * 2020-10-09 2022-08-30 中国第一汽车股份有限公司 一种车辆传感器的标定方法、装置、电子设备及存储介质
CN115248428B (zh) * 2021-04-28 2023-12-22 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
EP4116873A1 (en) * 2021-07-09 2023-01-11 Aptiv Technologies Limited Occupancy grid calibration
CN113837385B (zh) * 2021-09-06 2024-02-09 东软睿驰汽车技术（沈阳）有限公司 一种数据处理方法、装置、设备、介质及产品
US20230182754A1 (en) * 2021-12-13 2023-06-15 Gm Cruise Holdings Llc Determining an anomalous event from a scenario and an action of interest
CN114323104A (zh) * 2021-12-23 2022-04-12 沈阳环境科学研究院 一种车辆环境检测传感器在线校准系统
US20240098245A1 (en) * 2022-05-09 2024-03-21 Zoox, Inc. Sensor calibration validation
CN114881168B (zh) * 2022-05-25 2023-04-07 北京市生态环境监测中心 光离子化检测仪校准方法、系统、电子设备以及存储介质
US20240010223A1 (en) * 2022-07-07 2024-01-11 Gm Cruise Holdings Llc Multiple sensor calibration in autonomous vehicles performed in an undefined environment
US20240070915A1 (en) * 2022-08-23 2024-02-29 Motional Ad Llc Maintaining intrinsic calibration of cameras with in-body image stabilization systems
CN116576905B (zh) * 2023-07-13 2023-09-29 深圳天溯计量检测股份有限公司 一种温湿度传感器的批量自动校准装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210485A (ja) * 2008-03-05 2009-09-17 Honda Motor Co Ltd 車両用走行安全装置
US7966301B2 (en) * 2003-05-09 2011-06-21 Planeteye Company Ulc System and method for employing a grid index for location and precision encoding
CN102221688A (zh) * 2011-03-24 2011-10-19 中国船舶重工集团公司第七○九研究所 一种雷达系统误差估计方法
JP2014153211A (ja) * 2013-02-08 2014-08-25 Furukawa Electric Co Ltd:The 周辺監視システム及び周辺監視システムの軸ずれ検知方法
CN105738915A (zh) * 2016-01-07 2016-07-06 福州华鹰重工机械有限公司 三维雷达测量方法及装置
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN106960468A (zh) * 2017-04-12 2017-07-18 武汉理工大学 一种三维激光扫描点云精度评价方法
WO2017149813A1 (ja) * 2016-02-29 2017-09-08 株式会社日立製作所 センサキャリブレーションシステム
US20170261594A1 (en) * 2014-12-18 2017-09-14 Innerspace Technology Inc. System for sensing interior spaces to auto-generate a navigational map
US20170269201A1 (en) * 2016-03-16 2017-09-21 Denso It Laboratory, Inc. Surrounding Environment Estimation Device and Surrounding Environment Estimating Method
JP2017198555A (ja) * 2016-04-27 2017-11-02 富士通株式会社 情報処理装置、キャリブレーション方法、およびキャリブレーションプログラム
US20170371329A1 (en) * 2014-12-19 2017-12-28 United Technologies Corporation Multi-modal sensor data fusion for perception systems
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
US20180172813A1 (en) * 2016-12-15 2018-06-21 Texas Instruments Incorporated Maximum Measurable Velocity in Frequency Modulated Continuous Wave (FMCW) Radar
US20180299533A1 (en) * 2017-04-17 2018-10-18 Magna Electronics Inc. Calibration system for vehicle radar system
US20190056491A1 (en) * 2017-08-18 2019-02-21 GM Global Technology Operations LLC Widely spaced radar nodes with unambiguous beam pattern

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
GB201116961D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
EP3180636B1 (en) * 2014-08-15 2019-05-22 Robert Bosch GmbH Method and system for determining misalignment of a radar sensor unit
WO2016118499A1 (en) * 2015-01-19 2016-07-28 The Regents Of The University Of Michigan Visual localization within lidar maps
CN105678076B (zh) * 2016-01-07 2018-06-22 福州华鹰重工机械有限公司 点云测量数据质量评估优化的方法及装置
US10830871B2 (en) 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7966301B2 (en) * 2003-05-09 2011-06-21 Planeteye Company Ulc System and method for employing a grid index for location and precision encoding
JP2009210485A (ja) * 2008-03-05 2009-09-17 Honda Motor Co Ltd 車両用走行安全装置
CN102221688A (zh) * 2011-03-24 2011-10-19 中国船舶重工集团公司第七○九研究所 一种雷达系统误差估计方法
JP2014153211A (ja) * 2013-02-08 2014-08-25 Furukawa Electric Co Ltd:The 周辺監視システム及び周辺監視システムの軸ずれ検知方法
US20170261594A1 (en) * 2014-12-18 2017-09-14 Innerspace Technology Inc. System for sensing interior spaces to auto-generate a navigational map
US20170371329A1 (en) * 2014-12-19 2017-12-28 United Technologies Corporation Multi-modal sensor data fusion for perception systems
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN105738915A (zh) * 2016-01-07 2016-07-06 福州华鹰重工机械有限公司 三维雷达测量方法及装置
WO2017149813A1 (ja) * 2016-02-29 2017-09-08 株式会社日立製作所 センサキャリブレーションシステム
US20170269201A1 (en) * 2016-03-16 2017-09-21 Denso It Laboratory, Inc. Surrounding Environment Estimation Device and Surrounding Environment Estimating Method
JP2017198555A (ja) * 2016-04-27 2017-11-02 富士通株式会社 情報処理装置、キャリブレーション方法、およびキャリブレーションプログラム
US20180089843A1 (en) * 2016-09-26 2018-03-29 Digitalglobe, Inc. Techniques for image co-registration
US20180172813A1 (en) * 2016-12-15 2018-06-21 Texas Instruments Incorporated Maximum Measurable Velocity in Frequency Modulated Continuous Wave (FMCW) Radar
CN106960468A (zh) * 2017-04-12 2017-07-18 武汉理工大学 一种三维激光扫描点云精度评价方法
US20180299533A1 (en) * 2017-04-17 2018-10-18 Magna Electronics Inc. Calibration system for vehicle radar system
US20190056491A1 (en) * 2017-08-18 2019-02-21 GM Global Technology Operations LLC Widely spaced radar nodes with unambiguous beam pattern

Also Published As

Publication number Publication date
JP7308855B2 (ja) 2023-07-14
US10830871B2 (en) 2020-11-10
WO2019182909A1 (en) 2019-09-26
CN111936825A (zh) 2020-11-13
EP3769108A1 (en) 2021-01-27
CN111936825B (zh) 2023-09-08
US20210055380A1 (en) 2021-02-25
US11656329B2 (en) 2023-05-23
US20190293756A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP7308855B2 (ja) センサー較正
US11748909B2 (en) Image-based depth data and localization
US10937178B1 (en) Image-based depth data and bounding boxes
US10916035B1 (en) Camera calibration using dense depth maps
US11898873B2 (en) Calibrating multiple inertial measurement units
US11010907B1 (en) Bounding box selection
US12101572B2 (en) Image scan line timestamping
US10936902B1 (en) Training bounding box selection
US11555903B1 (en) Sensor calibration using dense depth maps
US10984543B1 (en) Image-based depth data and relative depth data
US11460568B2 (en) Estimating in-plane velocity from an arbitrary radar return
US20200282929A1 (en) Sensor validation using semantic segmentation information
US11623494B1 (en) Sensor calibration and verification using induced motion
JP7427614B2 (ja) センサ較正
US11604465B2 (en) Correction of sensor data alignment and environment mapping
US11543263B1 (en) Map distortion determination
US11537819B1 (en) Learned state covariances
JP7422747B2 (ja) 画像スキャンラインのタイムスタンプ
US11897486B1 (en) Sensor consensus monitor
US12123720B1 (en) Data estimation in asynchronous systems
US20240098245A1 (en) Sensor calibration validation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230704

R150 Certificate of patent or registration of utility model

Ref document number: 7308855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150