JP2022008790A - マルチセンサキャリブレーションシステム - Google Patents

Abstract

【課題】マルチセンサキャリブレーションシステムの提供。
【解決手段】車両上でマルチセンサキャリブレーションを実施するための技術が説明される。方法は、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、各センサデータアイテムから、レーンマーカの場所情報を抽出することと、各センサデータアイテムからのレーンマーカの場所情報とレーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて少なくとも２つのセンサの外部パラメータを計算することとを含む。
【選択図】なし

Description

（関連出願への相互参照）
本願は、２０２０年６月２８日に出願された中国特許出願第２０２０１０５９８４２５．２号への米国特許法§１１９（ａ）およびパリ条約の下の優先権の利益を主張する。前述の特許出願の内容全体が、参照によって本明細書中に援用される。

（技術分野）
本文献は、所定のマーカおよび／または耐久性マーカによって車両内に位置するセンサのためのマルチセンサキャリブレーションを実施するための技術を説明する。

車両は、いくつかの目的のために、車両に取り付けられたカメラを含み得る。例えば、カメラは、安全性の目的のため、運転支援のため、または自律運転を促進するために車両の屋根に取り付けられ得る。車両上に載置されたカメラは、車両の周囲の１つ以上の領域の画像を取得することができる。これらの画像は、道路に関する情報または車両の周囲の物体に関する情報を取得するために処理されることができる。例えば、カメラによって取得された画像は、自律車両の周囲の物体の距離を決定するために分析されることができ、それによって、自律車両は、物体の周りで安全に操作されることができる。

車両上または車両内に位置している複数のセンサをキャリブレーションするための例示的マルチセンサキャリブレーション技術が説明される。ある例示的実施形態では、自律運転動作の方法は、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、各センサデータアイテムから、レーンマーカの場所情報を抽出することと、各センサデータアイテムからのレーンマーカの場所情報と、レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、少なくとも２つのセンサの外部パラメータを計算することとを含む。

いくつかの実施形態では、少なくとも２つのセンサの各々からセンサデータアイテムを取得し、および各センサデータアイテムからレーンマーカの場所情報を抽出することは、車両上に位置しているカメラから、レーンマーカを備える画像を受信することと、画像から、レーンマーカの角のピクセル場所を決定することと、車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、レーンマーカを備える道路の領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを含む。

いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報は、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットをＬｉＤＡＲセンサの座標系に射影し、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを取得することとによって決定される。

いくつかの実施形態では、少なくとも２つのセンサの外部パラメータは、レーンマーカの角ごとに、第１の損失関数を計算することであって、第１の損失関数は、レーンマーカの角のピクセル場所と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、レーンマーカの角ごとに、第２の損失関数を計算することであって、第２の損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、第１の損失関数に基づいてカメラについての外部パラメータを推定し、第２の損失関数に基づいてＬｉＤＡＲセンサについての外部パラメータを推定することとによって計算される。

いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、ＬｉＤＡＲセンサから受信されたＰＣＤを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、以前に取得されたＰＣＤマップからサブマップを抽出することと、サブマップへの変換された点群の登録を実施し、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、登録は、変換された点群をサブマップに相関させる、ことと、ＬｉＤＡＲセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを計算することとによって、ＬｉＤＡＲセンサの座標系に射影される。

いくつかの実施形態では、ＰＣＤは、ＩＭＵ－ＧＮＳＳセンサによって提供される測定値と以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータとに基づいて、点群マップ基準に相関させられ、以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータは、ＬｉＤＡＲの位置および向きとＩＭＵ－ＧＮＳＳセンサの位置および向きとの間の空間的関係を記述している。いくつかの実施形態では、サブマップは、ＰＣＤが受信されたときの車両の場所の所定の距離内の点の３Ｄ世界座標を備える。

ある例示的実施形態は、車両上または車両内の複数のセンサのキャリブレーションのためのシステムを開示し、システムは、プロセッサを備え、プロセッサは、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、各センサデータアイテムから、レーンマーカの場所情報を抽出することと、各センサデータアイテムからのレーンマーカの場所情報とレーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、少なくとも２つのセンサの外部パラメータを計算することとを行うように構成されている。

いくつかの実施形態では、プロセッサは、車両上に位置しているカメラから、レーンマーカを備える画像を受信することと、画像から、レーンマーカの角の場所を決定することと、車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、レーンマーカを備える領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを行うように構成されていることによって、少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムからレーンマーカの場所情報を抽出するように構成され、少なくとも２つのセンサは、カメラとＬｉＤＡＲセンサとを備える。

いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報が、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを含む、ことと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとＬｉＤＡＲセンサの座標系とを使用することによって、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを取得することとを行うように構成されているプロセッサによって決定される。いくつかの実施形態では、カメラの外部パラメータは、レーンマーカの角について、損失関数を計算することであって、損失関数は、レーンマーカの角の場所と第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、損失関数に基づいて、カメラについての外部パラメータを推定することとを行うように構成されているプロセッサによって計算される。

いくつかの実施形態では、ＬｉＤＡＲセンサの外部パラメータは、レーンマーカの角について、損失関数を計算することであって、損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、損失関数に基づいて、ＬｉＤＡＲセンサについての外部パラメータを推定することとを行うように構成されているプロセッサによって計算される。いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、ＬｉＤＡＲセンサから受信されたＰＣＤを使用して、点群マップ基準の１つ以上の点を用いて、変換された点群を取得することであって、ことと、サブマップへの変換された点群の登録を実施し、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、サブマップは、以前のＰＣＤマップから取得される、ことと、ＬｉＤＡＲセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを計算することとを行うように構成されているプロセッサによって、ＬｉＤＡＲセンサの座標系と使用される。ＰＣＤは、点群マップ基準に相関させられる。

ある例示的実施形態は、非一過性のコンピュータ読み取り可能なストレージ媒体を開示し、非一過性のコンピュータ読み取り可能なストレージ媒体は、そこにコードを記憶しており、コードは、プロセッサによって実行されると、プロセッサに方法を実装させ、方法は、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、各センサデータアイテムから、レーンマーカの場所情報を抽出することと、各センサデータアイテムからのレーンマーカの場所情報と、レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、少なくとも２つのセンサの外部パラメータを計算することとを含む。

いくつかの実施形態では、少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムからレーンマーカの場所情報を抽出することは、車両上に位置している第１のセンサから、レーンマーカを備える第１のセンサデータを受信することと、第１のセンサデータから、レーンマーカの角の場所を決定することと、車両上に位置している第２のセンサから、レーンマーカを備える道路の領域の第２のセンサデータを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを含む。

いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報は、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを第２のセンサの座標系に射影し、第２のセンサデータ内のレーンマーカの角の３Ｄ世界座標のセットを取得することとによって決定される。いくつかの実施形態では、少なくとも２つのセンサの外部パラメータは、レーンマーカの少なくとも２つの角の各々について、第１の損失関数を計算することであって、第１の損失関数は、レーンマーカの角の場所と第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、レーンマーカの少なくとも２つの角の各々について、第２の損失関数を計算することであって、第２の損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、第１の損失関数に基づいて、第１のセンサについての外部パラメータを推定し、第２の損失関数に基づいて第２のセンサについての外部パラメータを推定することとによって計算される。

いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、第２のセンサから受信された第２のセンサデータを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、以前に取得されたマップからサブマップを抽出することと、変換された点群をサブマップに相関させることによって、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することと、第２のセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、第２のセンサデータ内のレーンマーカの角の３Ｄ世界座標のセットを計算することとによって、第２のセンサの座標系に射影される。いくつかの実施形態では、サブマップは、第２のセンサデータが受信されたときの車両の場所の所定の距離内の点の３Ｄ世界座標を備える。

別の例示的側面において、上で説明される方法は、プロセッサ実行可能なコードの形態で具現化され、コードは、非一過性のコンピュータ読み取り可能なストレージ媒体内に記憶されている。非一過性のコンピュータ読み取り可能なストレージが、コードを含み、コードは、プロセッサによって実行されると、実施形態において説明される方法をプロセッサに実装させる。

さらに別の例示的実施形態において、上で説明される方法を実施するように構成され、または動作可能であるデバイスが開示される。

上の側面および他の側面ならびにそれらの実装が、図面、説明、および請求項においてより詳細に説明される。
（項目１）
自律運転動作の方法であって、前記方法は、
車両上に位置する少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
各センサデータアイテムからの前記レーンマーカの前記場所情報と、前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
を含む、方法。
（項目２）
前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することは、
前記車両上に位置しているカメラから、前記レーンマーカを備える画像を受信することと、
前記画像から、前記レーンマーカの角のピクセル場所を決定することと、
前記車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、前記レーンマーカを備える前記道路の領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、
前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
を含む、上記項目に記載の方法。
（項目３）
前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報は、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを前記ＬｉＤＡＲセンサの座標系に射影し、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
によって決定される、上記項目のいずれかに記載の方法。
（項目４）
前記少なくとも２つのセンサの前記外部パラメータは、
前記レーンマーカの角ごとに、第１の損失関数を計算することであって、前記第１の損失関数は、レーンマーカの角のピクセル場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記レーンマーカの角ごとに、第２の損失関数を計算することであって、前記第２の損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記第１の損失関数に基づいて前記カメラについての前記外部パラメータを推定し、前記第２の損失関数に基づいて前記ＬｉＤＡＲセンサについての前記外部パラメータを推定することと
によって計算される、上記項目のいずれかに記載の方法。
（項目５）
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
前記ＬｉＤＡＲセンサから受信された前記ＰＣＤを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、
以前に取得されたＰＣＤマップからサブマップを抽出することと、
前記サブマップへの前記変換された点群の登録を実施し、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、前記登録は、前記変換された点群を前記サブマップに相関させる、ことと、
前記ＬｉＤＡＲセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
によって、前記ＬｉＤＡＲセンサの前記座標系に射影される、上記項目のいずれかに記載の方法。
（項目６）
前記ＰＣＤは、前記ＩＭＵ－ＧＮＳＳセンサによって提供される測定値と、以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータとに基づいて、前記点群マップ基準に相関させられ、
前記以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータは、前記ＬｉＤＡＲの位置および向きと前記ＩＭＵ－ＧＮＳＳセンサの位置および向きとの間の空間的関係を記述している、上記項目のいずれかに記載の方法。
（項目７）
前記サブマップは、前記ＰＣＤが受信されたときの前記車両の前記場所の所定の距離内の点の３Ｄ世界座標を備える、上記項目のいずれかに記載の方法。
（項目８）
車両上または前記車両内の複数のセンサのキャリブレーションのためのシステムであって、前記システムは、プロセッサを備え、前記プロセッサは、
前記車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
各センサデータアイテムからの前記レーンマーカの前記場所情報と前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
を行うように構成されている、システム。
（項目９）
前記プロセッサは、
前記車両上に位置しているカメラから、前記レーンマーカを備える画像を受信することと、
前記画像から、前記レーンマーカの角の場所を決定することと、
前記車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、前記レーンマーカを備える領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、
前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
を行うように構成されていることによって、前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することを行うように構成され、
前記少なくとも２つのセンサは、前記カメラと前記ＬｉＤＡＲセンサとを備える、上記項目のいずれかに記載のシステム。
（項目１０）
前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報が、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを含む、ことと、
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットと前記ＬｉＤＡＲセンサの座標系とを使用することによって、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
を行うように構成されている前記プロセッサによって決定される、上記項目のいずれかに記載のシステム。
（項目１１）
前記カメラの前記外部パラメータは、
前記レーンマーカの角について、損失関数を計算することであって、前記損失関数は、レーンマーカの前記角の場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記損失関数に基づいて、前記カメラについての前記外部パラメータを推定することと
を行うように構成されている前記プロセッサによって計算される、上記項目のいずれかに記載のシステム。
（項目１２）
前記ＬｉＤＡＲセンサの前記外部パラメータは、
前記レーンマーカの角について、損失関数を計算することであって、前記損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記損失関数に基づいて、前記ＬｉＤＡＲセンサについての前記外部パラメータを推定することと
を行うように構成されている前記プロセッサによって計算される、上記項目のいずれかに記載のシステム。
（項目１３）
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
前記ＬｉＤＡＲセンサから受信された前記ＰＣＤを使用して、点群マップ基準の１つ以上の点を用いて、変換された点群を取得することと、
サブマップへの前記変換された点群の登録を実施し、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、前記サブマップは、以前のＰＣＤマップから取得される、ことと、
前記ＬｉＤＡＲセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
を行うように構成されている前記プロセッサによって、前記ＬｉＤＡＲセンサの前記座標系とともに使用される、上記項目のいずれかに記載のシステム。
（項目１４）
前記ＰＣＤは、前記点群マップ基準に相関させられる、上記項目のいずれかに記載のシステム。
（項目１５）
非一過性コンピュータ可読ストレージ媒体であって、前記非一過性コンピュータ可読ストレージ媒体は、そこに記憶されたコードを有し、前記コードは、プロセッサによって実行されると、プロセッサに方法を実装させ、前記方法は、
車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
各センサデータアイテムからの前記レーンマーカの前記場所情報と、前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
を含む、非一過性コンピュータ可読ストレージ媒体。
（項目１６）
前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することは、
前記車両上に位置している第１のセンサから、前記レーンマーカを備える第１のセンサデータを受信することと、
前記第１のセンサデータから、前記レーンマーカの角の場所を決定することと、
前記車両上に位置している第２のセンサから、前記レーンマーカを備える前記道路の領域の第２のセンサデータを受信することと、
前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
を含む、上記項目のいずれかに記載の非一過性コンピュータ可読ストレージ媒体。
（項目１７）
前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報は、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを前記第２のセンサの座標系に射影し、前記第２のセンサデータ内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
によって決定される、上記項目のいずれかに記載の非一過性コンピュータ可読ストレージ媒体。
（項目１８）
前記少なくとも２つのセンサの前記外部パラメータは、
前記レーンマーカの少なくとも２つの角の各々について、第１の損失関数を計算することであって、前記第１の損失関数は、レーンマーカの角の場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記レーンマーカの少なくとも２つの角の各々について、第２の損失関数を計算することであって、前記第２の損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
前記第１の損失関数に基づいて、前記第１のセンサについての前記外部パラメータを推定し、前記第２の損失関数に基づいて、前記第２のセンサについての前記外部パラメータを推定することと
によって計算される、上記項目のいずれかに記載の非一過性コンピュータ可読ストレージ媒体。
（項目１９）
前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
前記第２のセンサから受信された第２のセンサデータを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、
以前に取得されたマップからサブマップを抽出することと、
前記変換された点群を前記サブマップに相関させることによって、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することと、
前記第２のセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記第２のセンサデータ内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
によって、前記第２のセンサの前記座標系に射影される、上記項目のいずれかに記載の非一過性コンピュータ可読ストレージ媒体。
（項目２０）
前記サブマップは、前記第２のセンサデータが受信されたときの前記車両の前記場所の所定の距離内の点の３Ｄ世界座標を備える、上記項目のいずれかに記載の非一過性コンピュータ可読ストレージ媒体。
（摘要）
車両上でマルチセンサキャリブレーションを実施するための技術が説明される。方法は、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、各センサデータアイテムから、レーンマーカの場所情報を抽出することと、各センサデータアイテムからのレーンマーカの場所情報とレーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて少なくとも２つのセンサの外部パラメータを計算することとを含む。

図１Ａは、車両上のカメラを用いて静的キャリブレーション動作を実施するための関連キャリブレーションシステムを示す。

図１Ｂは、関連ペア構成キャリブレーション技術を示す。

図１Ｃは、車両内に位置し、ある例示的技術を使用してキャリブレーションされるセンサの機能ブロック図を示す。

図２は、ある例示的マルチセンサキャリブレーションシステムを示す。

図３は、ある例示的マルチセンサキャリブレーション技術のための信号処理および姿勢推定動作の概略を示す。

図４は、カメラから取得された画像の例を示し、画像は、道路の両側上の複数のレーンブロックを含む。

図５は、カメラフロントエンドモジュールによって実施される動作のある例示的フロー図を示す。

図６は、車両がキャリブレーション道路区分に向かって走行しているときにカメラから取得された複数の画像における追跡されたレーンブロックおよび追跡されていないレーンブロックを識別するための例示的フロントエンド信号処理を示す。

図７は、ＬｉＤＡＲフロントエンドモジュールによって実施される動作のある例示的フローチャートを示す。

図８は、マルチセンサキャリブレーション制約条件を示す。

図９は、マルチセンサキャリブレーションを実施するある例示的フロー図を示す。

図１０は、マルチセンサキャリブレーション技術を実施するために車両内に位置しているコンピュータのある例示的ブロック図を示す。

自律車両は、カメラおよび光検出および測距（ＬｉＤＡＲ）センサを含み、カメラおよびＬｉＤＡＲセンサは、自律車両の周囲の１つ以上の領域のセンサデータアイテム（例えば、カメラからの画像、およびＬｉＤＡＲセンサからの点群マップ）を取得するように自律車両上に載置されている。これらのセンサデータアイテムは、道路もしくは自律車両の周囲の物体に関する距離または他の情報を取得するために、自律車両に搭載されたコンピュータによって分析されることができる。しかしながら、自律車両上のカメラおよびＬｉＤＡＲセンサは、自律車両に搭載されたコンピュータが精密にまたは正確に物体を検出してその距離を決定することができるようにキャリブレーションされる必要がある。関連キャリブレーションシステムにおいて、よく訓練された技術者が、データ収集のためにキャリブレーションボードを設定し、データでキャリブレーションを実行する。プロセス全体は、非常に時間が掛かり、動作させることが簡単ではないこともある。

自律運転のために、自律車両センサは、一緒に、冗長性を伴って３６０度の視野をカバーし、安全性を確保すべきである。異なる位置に特定の向きで車両上に載置されている複数のＬｉＤＡＲおよびカメラが存在する。加えて、関連キャリブレーション技術は、自律車両内の慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサに依拠しており、ＩＭＵ－ＧＮＳＳセンサは、製造者によって提供される精密、正確かつ動作容易なキャリブレーションを動作させることによって、自律車両本体フレームに位置合わせされる。ＩＭＵ－ＧＮＳＳはせいぜい移動中にしか機能しないので、自律車両は、キャリブレーションのプロセスを通して移動し続ける。キャリブレーションプロセスは、車体上に位置している所定の基準座標または基準センサ（例えば、ＩＭＵ）に対する特定のセンサの相対的な並進および向きを推定する。関連キャリブレーションシステムにおいて、専門的なよく訓練されたチームが、そのような緻密なタスクを実施するために要求される。

図１Ａは、車両上のカメラを用いて静的キャリブレーション動作を実施するための関連キャリブレーションシステム１００を示している。関連キャリブレーションシステム１００において、車両１０６は、まず、標的キャリブレーションボード１０２が位置している場所へ運転される。標的キャリブレーションボード１０２は、黒および白の正方形の所定のパターンを有する。さらに、標的キャリブレーションボード１０２は、車両１０６から固定距離に位置し、それによって、カメラ１０４およびＬｉＤＡＲセンサ１０８から標的キャリブレーションボード１０２への距離が固定されている。カメラ１０４は、標的キャリブレーションボード１０２の数枚の写真を撮影することができ、ＬｉＤＡＲセンサ１０８は、標的キャリブレーションボード１０２を含む車両１０６の前方の領域を走査することができる。車両１０６に搭載されたコンピュータが、空間的幾何学的関係を使用して、標的キャリブレーションボード１０２とカメラ１０４との間の距離、および標的キャリブレーションボード１０２とＬｉＤＡＲセンサ１０８との間の距離を計算することができる。そのようなプロセスは、カメラおよびＬｉＤＡＲの各ペアについて繰り返し実施される必要があり、ＩＭＵを用いて複数のセンサのペアをキャリブレーションするために使用されることはできない。

しかしながら、図１Ａにおいて説明される関連キャリブレーションシステム１００のような関連キャリブレーションシステムは、車両の場所からの１つ以上の距離において適切に設定される（例えば、適切な位置、および適切な向き）必要がある１つ以上の標的キャリブレーションボードを有する必要がある。そのようなシステムは、設定しづらいことがあり、必要である場所に標的キャリブレーションボード（単数または複数）が位置しないまたは位置付けられない（例えば、角度付けられない）場合、不正確なキャリブレーションにつながりさえし得る。第２に、図１Ａは、説明の容易さのために１つのカメラ１０４および１つのＬｉＤＡＲセンサ１０８を有する関連キャリブレーションシステムを示しているが、関連キャリブレーションシステムは、図１Ｂに示されるようなペア構成の態様でキャリブレーションされる複数のカメラおよびＬｉＤＡＲセンサを含む。関連キャリブレーションペア構成キャリブレーションにおいて、カメラ１１０Ａは、カメラ１１０Ａ－１１０Ｂによる画像捕捉を使用して別のカメラ１１０Ｂを用いてキャリブレーションされ、ＬｉＤＡＲ１１２Ａは、カメラ１１０Ａによって捕捉された画像およびＬｉＤＡＲ１１２Ａによって捕捉された点群データを使用してカメラ１１０Ａを用いてキャリブレーションされ、以下同様である。実際には、カメラおよびＬｉＤＡＲの両方における標的キャリブレーションボード角検出の正確性は、完全ではなく、各キャリブレーションについて小さな誤差が存在し、その結果、それは、３つのセンサ間の循環的一貫性に対する数学的正確性を有しない。

図１Ｃは、車両内に位置し、例示的技術を使用してキャリブレーションされるセンサの機能ブロック図を示している。関連キャリブレーション技術は、第１のカメラ１５０および第１のＬＩＤＡＲセンサ１５２が、標的キャリブレーションボードを含む領域の第１のカメラ１５０および第１のＬｉＤＡＲセンサ１５２によって取得された第１の測定値のセットを使用して一緒にキャリブレーションされることができることと、第１のカメラ１５０および第２のカメラ１５４が、標的キャリブレーションボードを含む領域のカメラ１５０、１５４によって取得された第２の測定値のセットを使用してキャリブレーションされることができることと、第１のＬｉＤＡＲセンサ１５２および第２のＬｉＤＡＲセンサ１５６が、標的キャリブレーションボードを含む領域のＬｉＤＡＲセンサ１５２、１５６によって取得された第３の測定値のセットを使用してキャリブレーションされることができることと、第１のカメラセンサ１５０および慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサ１５８が、標的キャリブレーションボードを含む領域の第１のカメラセンサ１５０およびＩＭＵ－ＧＮＳＳセンサ１５８によって取得された第４の測定値のセットを使用してキャリブレーションされることができることとを含むことができる。第１、第２、第３、および第４の測定値のセットは、キャリブレーションセッション中の別個の時点で取得される。したがって、そのようなペア構成キャリブレーション技術は、演算集約的であるのみならず、時間もかかり得る。本書において説明される技術は、上で議論する問題および他の問題を解決するために、いくつかの実施形態によって使用され得る。

キャリブレーションセッション中に複数のセンサから取得された同時の測定値を使用して複数のセンサをキャリブレーションすることができる例示的マルチセンサキャリブレーション技術が、説明される。取得された測定値は、カメラおよびＬｉＤＡＲセンサ等の複数のタイプのセンサをキャリブレーションするために使用されることができる。

図２は、道路２０８上の車両２０２を含む例示的マルチセンサキャリブレーションシステム２００を示しており、車両２０２は、複数のカメラおよび複数のＬｉＤＡＲセンサを含む。図２では、説明の容易さのために、単一のカメラ２０４および単一のＬｉＤＡＲセンサ２０６が示されている。しかしながら、複数のカメラおよび複数のＬｉＤＡＲセンサが、キャリブレーション道路区分２１２のセンサデータアイテムを取得するように、車両２０２上に位置するまたは位置付けられることができ、車両２０２は、キャリブレーション道路区分２１２に向かって運転されることができる。本明細書において説明されるカメラ２０４およびＬＩＤＡＲセンサ２０６についてのキャリブレーション技術は、車両２０２上に位置しておりかつキャリブレーション道路区分２１２のセンサデータアイテムを取得することができる他のセンサ（例えば、他のカメラ、および他のＬｉＤＡＲセンサ）に適用されることができる。車両２０２は、自律車両であり得る。

道路２０８は、キャリブレーション道路区分２１２を含み、キャリブレーション道路区分２１２は、道路２０８の両側に貼付されることができるレーンマーカを有する。レーンマーカは、道路２０８の第１の側に位置している第１のレーンブロックのセット２１０ａと、道路２０８の第１の側の反対にある第２の側に位置している第２のレーンブロックのセット２１０ｂとを含む。各レーンブロックのセットにおいて、１つのレーンブロックは、道路上に破線のセットを形成するように、別のレーンブロックから所定の距離だけ分離されることができる。レーンブロック２１０ａ、２１０ｂは、長方形の形状を有することができ、白色を有することができる。図２に示されるように、第１のレーンブロックのセット２１０ａおよび第２のレーンブロックのセット２１０ｂは、車両２０２内に位置しているコンピュータがいくつかの実施形態において説明されるマルチセンサキャリブレーション技術を実施することを可能にするように、互いに平行であることができ、１００メートル、１５０メートル、または２００メートルの長さにわたって延在することができる。

道路２０８は、（図２に示されるように）真っ直ぐであることができ、車両２０２上に位置しているセンサがキャリブレーション道路区分２１２のセンサデータアイテムを容易に取得できるように平らな頂部表面を有することができる。いくつかの実施形態では、キャリブレーション道路区分２１２を有する道路２０８は、車両２０２が駐車される施設の外またはその中に私道として構築されることができ、それによって、車両２０２が電源を入れられて目的地へ運転するとき、車両２０２上の複数のセンサが、私道上でキャリブレーションされることができる。いくつかの他の実施形態では、道路２０８は、破線がない停止標識または信号機を有する領域をキャリブレーション道路区分２１２が除外する公道であることができる。道路２０８は、車両２０２がおよそ一定の速さでキャリブレーション道路区分２１２を横断して運転され、車両２０２上に位置するセンサが安定した速度でキャリブレーション道路区分２１２のセンサデータアイテムを取得することを可能にし得るように、選択されるまたは構築されることができる。

車両２０２内に位置するのは、高解像度（ＨＤ）マップを記憶しているコンピュータ（図１０に「ＨＤマップデータベース１０１５」として示される）である。ＨＤマップデータベースは、各レーンブロックの各角２１２ａ－２１２ｄの３次元（３Ｄ）世界座標を含む。ＨＤマップデータベースは、各レーンブロックの各レーン角の固有の識別子、レーンブロックごとの固有の識別子、および、地球基準において表されるキャリブレーション道路区分２１２のＬｉＤＡＲ点群マップも含む。

図３は、例示的マルチセンサキャリブレーション技術３００のための信号処理および姿勢推定動作の概略を示す。車両は、センサ（例えば、カメラ、およびＬｉＤＡＲセンサ）を含み、センサは、各々、（図２で説明されるように）車両がキャリブレーション道路区分に向かって運転され、または、キャリブレーション道路区分に隣接し、キャリブレーション道路区分に面することができるとき、キャリブレーション道路区分のセンサ測定値３０２を取得することができる。例示的マルチセンサキャリブレーション技術３００は、フロントエンド信号処理３０６においてセンサ測定値に関する信号処理を実施し、バックエンド最適化３０８において姿勢推定を実施することができる。いくつかの例示的実施形態においてさらに説明されるように、車両内に位置するコンピュータは、フロントエンド信号処理３０６とバックエンド最適化３０８とを実施し、ＨＤマップデータベース３０４内のレーンブロックに関する情報に基づいて、センサ測定値３０２ごとのキャリブレーション結果３１０を取得することができる。フロントエンド信号処理３０６と関連付けられた動作は、カメラから取得された画像およびＬｉＤＡＲセンサから取得された点群からレーンブロックの角を抽出し、抽出された角を、ＨＤマップデータベース３０４から取得されたそれらの角の３Ｄ世界座標と関連付ける。そのようなレーンブロックの角の関連付けが与えられると、バックエンド最適化３０８と関連付けられた動作が、複数のセンサ（例えば、カメラ、ＬｉＤＡＲセンサ、およびＩＭＵ－ＧＮＳＳ）についての外部パラメータを推定するために実施されることができる。

以下の種々のセクションのための例示的見出しは、開示される主題の理解を促進するために使用され、請求される主題の範囲をいかようにも限定しない。よって、１つの例示的セクションの１つ以上の特徴は、別の例示的セクションの１つ以上の特徴と組み合わせられることができる。

Ｉ（ａ）カメラから取得された画像のためのフロントエンド信号処理

図４は、カメラから取得された画像の例を示し、画像は、道路の両側上の複数のレーンブロックを含む。車両内に位置しているコンピュータ内に含まれるカメラフロントエンドモジュール（図１０に「１０２０」として示される）は、画像内で、２つの分割されたレーン４０２ａ、４０２ｂと、複数のレーンブロック４０４ａ～４０４ｂと、レーンブロックごとの複数のレーン角４０６ａ～４０６ｄとを検出することができる。ある例示的実装では、深層ニューラルネットワークが、２つの分割されたレーン４０２ａ、４０２ｂと、複数のレーンブロック４０４ａ～４０４ｂと、レーンブロックごとの複数のレーン角４０６ａ～４０６ｄとを検出するために使用されることができる。

図５は、カメラフロントエンドモジュールによって実施される動作の例示的フローダイアグラムを示す。動作５０２において、カメラフロントエンドモジュールは、次の画像がカメラから取得されたかどうかを決定する。カメラフロントエンドモジュールが、動作５０２において次の画像が取得されたことを決定する場合、カメラフロントエンドモジュールは、動作５０４～５１０を実施する。そして、カメラフロントエンドモジュールが、次の画像が取得されていないことを決定する場合、カメラフロントエンドモジュールは、動作５１２～５１６を実施する。

動作５０４において、カメラフロントエンドモジュールは、カメラによって捕捉された次の画像を取得する。動作５０６において、カメラフロントエンドモジュールは、レーンブロックを検出し、ブロックの角を抽出する。動作５０８において、カメラフロントエンドモジュールは、以前の画像フレームが存在する場合、そのような以前の画像フレームからレーンブロックを追跡する。動作５１０において、カメラフロントエンドモジュールは、新たに現れたレーンブロックごとに固有の識別子を割り当てる。動作５１０の後、カメラフロントエンドモジュールは、動作５０２を再び実施する。

動作５１２において、カメラフロントエンドモジュールは、ＨＤマップから、角の点によって表されるレーンブロックを取ってくるまたは取得する。動作５１４において、カメラフロントエンドモジュールは、マップ－画像登録によって、１つの画像フレームから検出されたブロックと、ＨＤマップから取得されたレーンブロックを関連付ける。動作５１６において、カメラフロントエンドモジュールは、トポロジカルオーダーによって、マップレーンブロックと、画像フレームからの全ての現れたレーンブロックを関連付けることができる。

ある例示的実装では、カメラフロントエンドモジュールは、画像内で検出されたレーンブロックを、分割されたレーンごとに下から上に順序付けることができる。カメラフロントエンドモジュールは、画像平面におけるレーンブロックの検出されたピクセル位置に従って、分割されたレーンごとに下から上にレーンブロックを順序付けることができる。カメラフロントエンドモジュールは、ＨＤマップデータベースから取得された情報に基づいて、画像の最も下に位置している１つ以上のレーンブロックへの１つ以上の固有のレーンブロック識別子を決定するまたは割り当てることができる。カメラフロントエンドモジュールは、画像平面内のピクセル場所に従って、画像内の他のレーンブロック（例えば、画像の最も下に位置する１つ以上のレーンブロックの上にある）についての固有のレーンブロック識別子を推測することもできる。

いくつかの実施形態では、少なくとも、カメラ－ＩＭＵ－ＧＮＳＳの正確な外部パラメータは、マルチセンサキャリブレーション技術を実施する前に既知ではないことがあるので、カメラフロントエンドモジュールが、全ての画像からの検出されたレーンブロックとＨＤマップデータベースからの検出されたレーンブロックのレーンブロック識別子とを関連付けることは、演算集約的でありかつ困難であり得る。１つの画像から検出されたレーンブロックのセットを、ＨＤマップからのそれらの対応するレーンブロックと関連付けることが、演算的により実行可能かつより容易であり得る。そのような実施形態では、カメラによって取得された第１の画像内に位置する１つ以上のレーンブロックのセットのために、手動での関連付けが形成され得る。例えば、キャリブレーションを実施する運転者または人は、車両内に位置するコンピュータを使用して、ＨＤマップデータベースからの１つ以上のレーンブロック識別子と、１つ以上のレーンブロックの第１のセットを手動で関連付けることができる。

いくつかの実施形態では、カメラフロントエンドモジュールは、例えば、点の特徴を有するＲＡＮＳＡＣフレームワークによって連続するフレーム間のホモグラフィを推定することによって、カメラから取得された以前の画像において、カメラから取得された画像から識別された１つ以上のレーンブロックの存在を決定することができる。カメラフロントエンドモジュールがホモグラフィ動作を実施した後、カメラフロントエンドモジュールは、以前の画像フレームを現在の画像フレームに掛ける（ｗｒａｐ）ことができる。カメラフロントエンドモジュールが、現在の画像フレームからのレーンブロックと以前の画像フレームからの別のレーンブロックとの間のＩｏＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ―ｏｖｅｒ―ｕｎｉｏｎ）が高い（例えば、８０％より高い）ことを決定した場合、以前の画像フレームと現在の画像フレームとにおける２つのレーンブロックは、同一であるとみなされることができる。

いくつかの実施形態では、２つ以上の画像フレーム間で追跡されることに成功したレーンブロックについては、カメラフロントエンドモジュールは、追跡されることに成功したレーンブロックのためのレーンブロック識別子を割り当てることができる。そのような実施形態において、レーンブロック識別子は、以前のフレーム内のレーンブロックに割り当てられた識別子と同一である。いくつかの他の実施形態では、以前の画像フレーム内に存在していない現在の画像フレーム内の追跡されていないレーンブロックまたは新たなレーンブロックについては、カメラフロントエンドモジュールは、追跡されたレーンブロックのレーンブロック識別子に従って、追跡されていないレーンブロックのためのレーンブロック識別子を割り当てることができる。

図６は、車両が（図２で説明されるような）キャリブレーション道路区分に向かって走行しているときにカメラから取得される複数の画像内の追跡されたレーンブロックおよび追跡されていないレーンブロックを識別するための例示的フロントエンド信号処理を示している。図６は、車両上に位置しているカメラから取得された４つの画像６０２ａ～６０２ｄを示している。図６に示されるように、各画像は、破線において割り当てられた複数のレーンブロックを含むことができる。カメラフロントエンドモジュールは、画像平面内のレーンブロックを検出し、それにアルファベット「ａ」を割り当てて索引付けすることができる。カメラフロントエンドモジュールは、数字を使用してＨＤマップデータベース６０４内のレーンブロックを索引付けすることができる。したがって、ある例示的実装では、カメラフロントエンドモジュールは、ＩＭＵ－ＧＮＳＳセンサから取得されることができる車両の場所（例えば、緯度、経度、および／または標高）および体勢（例えば、ピッチ、ヨー、および／またはロール）に基づいて、画像からのレーンブロック「ａ」をＨＤマップデータベース６０４内のレーンブロック「１」と関連付けることができる。

複数の画像６０２ａ～６０２ｄについて、カメラフロントエンドモジュールは、画像６０２ａ～６０２ｄ内のレーンブロックとＨＤマップデータベース６０４内のレーンブロックとの間の関連付けのリストを生成することができる。例えば、カメラフロントエンドモジュールは、シンボル＜ａ，１＞を使用して、画像６０２ａ、６０２ｂとＨＤマップデータベース６０４との間のマッチングされたレーンブロックのペアを表すことができる。時刻ｔにおいて、カメラフロントエンドモジュールは、＜ａ，１＞を生成することができ、時刻ｔ＋１において、カメラフロントエンドモジュールは、画像６０２ｂ内のレーンブロック「ａ」が画像６０２ａ内のレーンブロック「ａ」と同一であることを追跡または決定することができる。したがって、画像６０２ｂについて、時刻ｔ＋１において、レーンブロック「ｂ」がレーンブロック「ａ」の上側隣にあり、かつ、レーンブロック「２」がＨＤマップデータベース６０４内でレーンブロック「１」の上側隣にあるので、カメラフロントエンドモジュールは、レーンブロック「ｂ」のためのシンボルを＜ｂ，２＞として生成することができる。時刻ｔ＋２において、カメラフロントエンドモジュールは、レーンブロック「ａ」および「ｂ」が画像６０２ｃ内で追跡されていることを決定することができ、レーンブロック「ｃ」がレーンブロック「ｂ」の上側隣にあり、かつ、レーンブロック「３」もＨＤマップデータベース６０４内でレーンブロック「２」の上側隣にあるので、カメラフロントエンドモジュールは、ブロック「ｃ」のためのシンボルを＜ｃ，３＞として生成することができ、以下同様である。

カメラフロントエンドモジュールは、カメラから取得された画像内でカメラフロントエンドモジュールによって検出された各レーンブロックのためのレーン角識別子を割り当てることができる。図６において、カメラフロントエンドモジュールが、画像６０２ａ内で識別されたレーンブロックを＜ａ，１＞と決定する場合、レーンブロック「ａ」の４つの角は、ＨＤマップデータベース６０４内のレーンブロック「１」の角識別子と同一であるように、識別子を割り当てられることができる。

Ｉ．フロントエンド信号処理

Ｉ．（ｂ）ＬｉＤＡＲセンサから取得されたセンサデータアイテムのためのフロントエンド信号処理

ＬｉＤＡＲセンサによって取得された点群測定値からレーン角を抽出することは、現在使用されている３２－ラインまたは６４－ラインＬｉＤＡＲセンサについての点群のスパース性に起因して困難であり得る。この問題を克服するために、複数のフレームの点群が、密な点群を取得するために取得されることができる。しかしながら、密な点群を蓄積するためには、フレームごとの正確なＬｉＤＡＲ姿勢が、既知であるはずである。ＬｉＤＡＲ姿勢は、ＩＭＵ＋ＧＮＳＳセンサ測定値およびＬｉＤＡＲ－ＩＭＵ外部パラメータから導出されることができる。しかしながら、マルチセンサキャリブレーションを完了させるために、密な点群が蓄積される必要があるが、密な点群を蓄積するために、キャリブレーション技術は、正確なＬｉＤＡＲ－ＩＭＵ外部パラメータを必要とし、正確なＬｉＤＡＲ－ＩＭＵ外部パラメータは、密な点群を取得することによって解かれる必要があるパラメータである。

図７は、（図１０に「１０２５」として示される）ＬｉＤＡＲフロントエンドモジュールによって実施される動作の例示的フローチャートを示す。動作７０２において、ＬｉＤＡＲフロントエンドモジュールは、車両がキャリブレーション道路区分に向かって運転されてまたはキャリブレーション道路区分に隣接してキャリブレーション道路区分に面することができるときに、ＬｉＤＡＲセンサによって実施される測定から取得されたフレームの点群データ（ＰＣＤ）を取得する。例として、車両上に位置しているＬｉＤＡＲセンサは、複数のフレームにおけるセンサ測定値において取得することができ、各フレームは、（図２で説明されるような）キャリブレーション道路区分の少なくとも一部のＰＣＤを含む。

動作７０４において、ＬｉＤＡＲフロントエンドモジュールは、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅ Ｐｏｉｎｔ）および／またはＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）等の十分発達した技術を使用して、動作７０２において取得された単一の点群を点群マップ基準に登録することによって、変換された単一の走査点群を取得する。点群マップ基準は、以前に取得された点群マップ基準であり得、以前に取得された点群マップは、キャリブレーション道路区分を含む道路を含む空間領域内において以前に取得された種々の点の３Ｄ世界座標を含み、３Ｄ世界座標は、ＬｉＤＡＲによって取得されることができる。点群マップ基準は、点群マップ基準の３Ｄ世界座標がＨＤマップデータベースからＬｉＤＡＲフロントエンドモジュールによって取得されることができるように、ＨＤマップデータベース内に記憶され得る。少なくとも、ＬｉＤＡＲセンサおよびＩＭＵ＋ＧＮＳＳセンサは、車両の異なる領域内に位置し得、かつ、（動作７０６でさらに説明される）以前に取得された点群マップ基準は、車両上のＩＭＵ＋ＧＮＳＳセンサの場所または視点からのキャリブレーション道路区分を含む道路の３Ｄ点群情報を記述しているので、取得された単一の走査点群は、１つ以上の点群マップ基準点に変換される。

動作７０２において取得された単一の走査点群は、ＧＮＳＳ＋ＩＭＵセンサによって提供される測定情報（例えば、車両の緯度、経度、標高、進行方向、ピッチ角度、および／またはヨー角度）および以前に記憶されたまたは粗いＬｉＤＡＲからＩＭＵへの外部パラメータ

に基づいて、１つ以上の点群マップ基準点に変換されることができる。以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータは、車両上または車両内に位置しているＬｉＤＡＲセンサおよびＩＭＵ－ＧＮＳＳセンサの空間的関係（例えば、角度または位置）を記述することができるか、または、ＬｉＤＡＲセンサおよびＩＭＵ－ＧＮＳＳセンサの位置または向き間の関係を記述することができる。点群マップ基準の１つ以上の点の位置は、車両上のＩＭＵ－ＧＮＳＳセンサの位置を参照して記述されるが、ＰＣＤは、ＬｉＤＡＲセンサを参照して種々の点の位置を記述する。ＩＭＵ－ＧＮＳＳセンサおよびＬｉＤＡＲセンサは、車両上の異なる場所に位置し、異なる向きを有し得る。したがって、１つ以上の点群マップ基準点へのＰＣＤの変換は、以前に取得された密な点群マップ基準にＰＣＤを相関させるために実施される。

いくつかの実施形態では、ＰＣＤフレームは、単一の走査点群を参照し、変換されたＰＣＤは、変換された単一の走査点群を参照し、点群マップおよび点群サブマップは、通常ＬｉＤＡＲデータから生成される３Ｄ点群マップを参照する。

抽出動作７０６において、ＬｉＤＡＲフロントエンドモジュールは、キャリブレーション道路区分を含む道路の密な点群を含む以前に取得された点群マップからサブマップを抽出することができ、ＬｉＤＡＲフロントエンドモジュールは、ＧＮＳＳ＋ＩＭＵセンサから取得されることができる車両の場所に基づいて、サブマップを抽出する。以前に取得された点群マップは、キャリブレーション道路区分を備える道路の以前に取得された種々の点の３Ｄ世界座標を含み、３Ｄ世界座標は、ＬｉＤＡＲによって取得されることができる。以前に取得された点群マップは、ＨＤマップデータベース内に記憶され得、それによって、以前に取得された点群マップの３Ｄ世界座標は、ＨＤマップデータベースからＬｉＤＡＲフロントエンドモジュールによって取得され得る。したがって、ＬｉＤＡＲデータから生成された以前に取得された点群マップは、車両の前方約１５０～２００メートルの領域内の点群情報を提供することができる。サブマップは、単一の走査点群が動作７０２において取得されるときに、車両の場所の所定の距離内（例えば、車両の場所の前方５０メートル内）の領域を識別するように抽出されることができる。少なくとも、サブマップを抽出することは、完全な点群マップのうちの一部を有する変換された点群マップを登録することによって演算量を低減させるので、サブマップを抽出することは、有益な技術的解決策である。サブマップは、動作７０４から取得された変換された単一の走査点群を登録するために、ＬｉＤＡＲフロントエンドモジュールによって使用される。

動作７０８において、変換された単一の走査点群は、フィッティング動作を実施するために、３Ｄ点群サブマップに登録され、フィッティング動作において、変換された単一の走査点群からの情報が３Ｄ点群サブマップにフィッティングされるまたは３Ｄ点群サブマップに相関させられる。登録方法は、ＮＤＴ（ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｔｒａｎｓｆｏｒｍ）および／またはＩＣＰ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ ）を含み得る。ＬｉＤＡＲフロントエンドモジュールは、動作７０８において登録を実施することによって提供される変換マトリクスを、Ｔ_{ｒｅｆｉｎｅ}として示すことができる。Ｔ_{ｒｅｆｉｎｅ}パラメータは、動作７０４における所定のＬｉｄａｒ－Ｉｍｕ外部パラメータと比較するために使用される。

動作７１０において、ＬｉＤＡＲフロントエンドモジュールは、ＬｉＤＡＲセンサによって取得された単一の走査点群と３Ｄ点群マップの一部との間の変換を、式（１）における変換マトリクス（単数または複数）

について解くことによって、計算する。動作７０２～７０８は、一連の変換を構築し、ＬｉＤＡＲフロントエンドモジュールは、それらの動作において説明する変換の構成を計算することができる。ＬｉＤＡＲフロントエンドモジュールは、ｐ_ｍａｐを、マップ基準内の点の座標として示し、ｐ_{ｌｉｄａｒ}をＬｉＤＡＲ基準内の点の座標として示すことができる。

ここで、

は、ＬｉＤＡＲフレーム（またはＬｉＤＡＲの並進または向き）とＩＭＵ＋ＧＮＳＳフレーム（ＩＭＵ＋ＧＮＳＳセンサの原点／基準点）との間の変換であり、その変換は、以前に記憶されたまたは粗いＬｉＤＡＲからＩＭＵへの外部パラメータによって取得される。

は、ＩＭＵ－ＧＮＳＳ基準と点群マップ基準（例えば、ＥＮＵ（すなわち、ｅａｓｔ－ｎｏｒｔｈ－ｕｐ）基準）の１つ以上の点との間の変換である。

動作７１２において、ＬｉＤＡＲフロントエンドモジュールは、各レーンブロックのレーン角の３Ｄ世界座標を計算する。ＬｉＤＡＲフロントエンドモジュールは、各レーン角の３Ｄ世界座標をＨＤマップデータベースから取得することができる。ＬｉＤＡＲフロントエンドモジュールは、レーン角ごとに式（２）を解き、ＬｉＤＡＲフレームにおける各レーン角の３Ｄ世界座標を取得することができる。式（２）において、ＨＤマップデータベースから取得されるＨＤマップデータベースレーン角座標は、ｐ_ｍａｐ内に含まれることができる。

上で説明される技術に基づいて、３Ｄ世界座標およびＬｉＤＡＲ基準内のレーン角識別子が、点群マップ基準内のレーン角を変換することによって取得されることができる。

ＩＩ．バックエンド最適化における姿勢推定

（図３で説明されるような）バックエンド最適化動作は、全てのセンサの一貫性のある正確なキャリブレーションを可能にするために、（図１０に「１０３０」として示される）バックエンドキャリブレーションモジュールによって実施されることができる。バックエンドキャリブレーションモジュールは、同時に複数のセンサをキャリブレーションして外部パラメータを最適化するための動作を実施することができる。図８は、マルチセンサキャリブレーション制約条件Ｔ１＝（Ｔ２ｏＴ３）を示し、ここで、シンボル「ｏ」は、Ｔ２とＴ３とを加算するいくつかの演算子を表しており、Ｔ１、Ｔ２およびＴ３は、別のセンサの外部パラメータに対する１つのセンサの外部パラメータを記述している。例えば、図８に示されるように、カメラとＬｉＤＡＲとの間の外部パラメータ（Ｔ１）は、ＩＭＵ－ＧＮＳＳからＬｉＤＡＲへの外部パラメータ（Ｔ２）に加算されたカメラからＩＭＵ－ＧＮＳＳへの外部パラメータ（Ｔ３）に等しいことがあり得る。ＩＭＵ外部パラメータは、以前にキャリブレーションされていることもあるので、これは、信頼できる局所的情報、およびＨＤマップからの信頼できる情報を提供することができる。

セクションＩＩにおいて説明される技術を使用して、バックエンドキャリブレーションモジュールは、各センサデータアイテム（例えば、カメラから取得された画像およびＬｉＤＡＲセンサから取得されたＰＣＤ）からのレーンマーカの場所情報と、レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、車両上に位置しているセンサ（例えば、カメラ、ＬｉＤＡＲ）の外部パラメータを計算することができる。

４×４のマトリクスである外部マトリクスが、以下に示され、３自由度（ＤｏＦ）の並進と、３×３回転マトリクスとしてリー代数で表されることができる３ＤｏＦの回転とから構成される。変数ｒは、３×３回転マトリクスの要素を示し、変数ｔは、１×３の並進ベクトルを示す。

１つのセンサから別のセンサへの各変換マトリクスは、回転および並進のマトリクスとして表されることができる。例えば、車両が３つのカメラと、２つのＬｉＤＡＲと、２つのＩＭＵとを含む場合、バックエンドキャリブレーションモジュールが推定するための１２の変換マトリクスが存在することができる。

ＩＩ．（ａ）内部パラメータおよび外部パラメータ

内部パラメータおよび外部パラメータが、以下で説明されることができる。

カメラアフィン変換：

カメラ内部およびカメラ歪み：

カメラ－ＩＭＵ外部：

ＬｉＤＡＲ－ＩＭＵ外部

ＬｉＤＡＲ－カメラ外部

ＬｉＤＡＲ－ＬｉＤＡＲ外部

ＩＩ．（ｂ）損失関数

セクションＩＩ．（ａ）において上で説明されるパラメータを推定するために、損失関数が以下のように説明されることができる。損失関数は、少なくとも２つの別種のセンサ（例えば、カメラおよびＬｉＤＡＲセンサ）からの異なる観測の最小二乗の合計であり得る。道路マーカは、ＩＭＵの観測となるＨＤマップから取ってこられることができ、かつ、いくつかの実施形態で説明されるいくつかの処理を伴ってカメラおよびＬｉＤＡＲセンサの両方によって観測されることができる。１つのレーンブロックの４つの角の点は、損失関数関連動作のために使用されることができる。そして、損失は、２Ｄまたは３Ｄのいずれかにおいて異なるセンサによって捕捉される各角の点のユークリッド距離の合計である。

カメラ－ＩＭＵ：マップ点（例えば、ＨＤマップから取得されるレーンマーカ角の３Ｄ世界座標）と２Ｄ画像空間内の画像点との距離から損失を演算する。

ＬｉＤＡＲ－ＩＭＵ：マップ点と３Ｄ空間内のＬｉＤＡＲ点との距離から損失を演算する。

カメラ－ＬｉＤＡＲ：２Ｄ画像空間内の画像点とＬｉＤＡＲ点との距離から損失を演算する

カメラ－カメラ：２Ｄ画像空間内の２つの画像からの点の距離から損失を演算する。

ＬｉＤＡＲ－ＬｉＤＡＲ：３Ｄ空間内の２つのＬｉＤＡＲからの点の距離から損失を演算する。

バックエンドキャリブレーションモジュールは、上で説明される損失関数を最小化し、２つのセンサのための外部パラメータを取得することができる。いくつかの実施形態では、バックエンドキャリブレーションモジュールは、カメラによって提供される画像間、またはＬｉＤＡＲセンサによって提供されるフレームのＰＣＤデータ間の制約条件を追加し、画像間およびフレームのＰＣＤデータ間の循環的一貫性を提供することができる。制約条件は、重み付けを有する損失の形式で記述されることができ、それは、３つの変換マトリクスの乗算のフロベニウスノルムとして定義される。したがって、マルチセンサ一貫性を保証するために、以下の制約条件が追加され得る。

アフィン制約条件：広い重複ＦＯＶを有する複数のカメラのために使用される：

リー代数を用いたカメラ－ＬｉＤＡＲ－ＩＭＵ一貫性制約条件：重複ＦＯＶを有するカメラおよびＬｉＤＡＲのために使用される：

リー代数を用いたＬｉＤＡＲ－ＬｉＤＡＲ制約条件

ＩＩ．（ｃ）消失点（ＶＰ）制約条件

ＶＰも、回転マトリクスのための制約条件を提供することができる。ＨＤマップ内のレーンの方向ベクトルをｄとして、画像平面内のレーンＶＰの斉次座標をｖとして、カメラのための内部パラメータマトリクスをＫとして、世界フレームからカメラフレームへの回転マトリクスを

として示す。ＶＰ制約条件は、

によって定義されることができる。制約条件は、以下のとおりであり得る。

ここで、Πは、斉次座標から非斉次座標へ３Ｄ点を射影する射影関数であり、

は、画像平面内の検出されたＶＰである。

図９は、マルチセンサキャリブレーションを実施する例示的フロー図を示す。取得動作９０２において、車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを含む道路のセンサデータアイテムを取得する。抽出動作９０４において、各センサデータアイテムから、レーンマーカの場所情報を抽出する。

いくつかの実施形態では、少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムからレーンマーカの場所情報を取得することは、車両上に位置しているカメラからレーンマーカを含む画像を受信することと、画像から、レーンマーカの角のピクセル場所を決定することと、車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、レーンマーカを含む道路の領域の点群データ（ＰＣＤ）を含むフレームを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを含む。

いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報が、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを含む、ことと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットをＬｉＤＡＲセンサの座標系に射影し、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを取得することとによって、決定される。

計算動作９０６において、各センサデータアイテムからのレーンマーカの場所情報と、レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、少なくとも２つのセンサの外部パラメータを計算する。

いくつかの実施形態では、少なくとも２つのセンサの外部パラメータは、レーンマーカの角ごとに第１の損失関数を計算することであって、第１の損失関数は、レーンマーカの角のピクセル場所と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、レーンマーカの角ごとに第２の損失関数を計算することであって、第２の損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、第１の損失関数に基づいて、カメラのための外部パラメータを推定し、第２の損失関数に基づいてＬｉＤＡＲセンサのための外部パラメータを推定することとによって、計算される。

いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、ＬｉＤＡＲセンサから受信されたＰＣＤを点群マップ基準の１つ以上の点に相関させることによって変換された点群を取得することと、以前に取得されたＰＣＤマップからサブマップを抽出することと、サブマップへの変換された点群の登録を実施し、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、登録は、変換された点群をサブマップに相関させる、ことと、ＬＩＤＡＲセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを計算することとによって、ＬｉＤＡＲセンサの座標系に射影される。

いくつかの実施形態では、ＰＣＤは、ＩＭＵ－ＧＮＳＳセンサによって提供される測定値と、以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータとに基づいて、点群マップ基準に相関させられ、以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータは、ＬｉＤＡＲの位置および向きとＩＭＵ－ＧＮＳＳセンサの位置および向きとの間の空間的関係を記述している。いくつかの実施形態では、サブマップは、ＰＣＤが受信されたときの車両の場所の所定の距離内の点の３Ｄ世界座標を含む。

いくつかの実施形態では、方法は、車両上に位置するカメラから、レーンマーカを含む画像を受信することと、画像から、レーンマーカの角の場所を決定することと、車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、レーンマーカを備える領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを含み、少なくとも２つのセンサは、カメラとＬｉＤＡＲセンサを含む。いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報が、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを含む、ことと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとＬｉＤＡＲセンサの座標系とを使用することによってフレーム内のレーンマーカの角の３Ｄ世界座標のセットを取得することとによって、決定される。

いくつかの実施形態では、カメラの外部パラメータは、レーンマーカの角について、損失関数を計算することであって、損失関数は、レーンマーカの角の場所と第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、損失関数に基づいてカメラについての外部パラメータを推定することとによって、計算される。いくつかの実施形態では、ＬｉＤＡＲセンサの外部パラメータは、レーンマーカの角について、損失関数を計算することであって、損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、損失関数に基づいてＬｉＤＡＲセンサについての外部パラメータを推定することとによって、計算される。いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、ＬｉＤＡＲセンサから受信されたＰＣＤを使用して、点群マップ基準の１つ以上の点を用いて、変換された点群を取得することと、サブマップへの変換された点群の登録を実施し、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、サブマップは、以前のＰＣＤマップから取得される、ことと、ＬｉＤＡＲセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、フレーム内のレーンマーカの角の３Ｄ世界座標のセットを計算することとによって、ＬｉＤＡＲセンサの座標系とともに使用される。いくつかの実施形態では、ＰＣＤは、点群マップ基準に相関させられる。

いくつかの実施形態では、少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムからレーンマーカの場所情報を抽出することは、車両上に位置している第１のセンサから、レーンマーカを備える第１のセンサデータを受信することと、第１のセンサデータから、レーンマーカの角の場所を決定することと、車両上に位置している第２のセンサから、レーンマーカを備える道路の領域の第２のセンサデータを受信することと、レーンマーカの角の３次元（３Ｄ）世界座標のセットを決定することとを含む。いくつかの実施形態では、レーンマーカの角の３Ｄ世界座標のセットは、車両の場所に基づいて、レーンマーカの角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、レーンマーカの以前に記憶された場所情報は、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、第２のセンサの座標系にレーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットを射影し、第２のセンサデータ内のレーンマーカの角の３Ｄ世界座標のセットを取得することとによって、決定される。

いくつかの実施形態では、少なくとも２つのセンサの外部パラメータは、レーンマーカの少なくとも２つの角の各々について、第１の損失関数を計算することであって、第１の損失関数は、レーンマーカの角の場所と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、レーンマーカの少なくとも２つの角の各々について、第２の損失関数を計算することであって、第２の損失関数は、セットから取得されたレーンマーカの角の３Ｄ世界座標と、第２のセットから取得されたレーンマーカの角の以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、第１の損失関数に基づいて、第１のセンサについての外部パラメータを推定し、第２の損失関数に基づいて、第２のセンサについての外部パラメータを推定することとによって、計算される。

いくつかの実施形態では、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットは、ＬｉＤＡＲセンサから受信された第２のセンサデータを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、以前に取得されたマップからサブマップを抽出することと、変換された点群をサブマップに相関させることによって、変換された点群とサブマップとの間の変換を記述している第１の変換マトリクスを取得することと、第２のセンサの位置と、点群マップ基準の１つ以上の点と、車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述する追加変換マトリクスを決定することと、第１の変換マトリクスと、追加変換マトリクスと、レーンマーカの角の以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、第２のセンサデータ内のレーンマーカの角の３Ｄ世界座標のセットを計算することとによって、第２のセンサの座標系に射影される。いくつかの実施形態では、サブマップは、第２のセンサデータが受信されたときの車両の場所の所定の距離内の点の３Ｄ世界座標を備える。

いくつかの実装では、種々の実施形態において説明される方法は、非一過性コンピュータ可読媒体に記憶されているコンピュータ可読プログラムにおいて具現化される。コンピュータ可読プログラムは、コードを含み、コードは、プロセッサによって実行されると、図９において説明される方法を含むいくつかの実施形態において説明される方法をプロセッサに実施させる。

図１０は、いくつかの実施形態において説明されるマルチセンサキャリブレーション技術を実施するための車両内に位置するコンピュータの例示的ブロック図を示す。コンピュータ１０００は、少なくとも１つのプロセッサ１０１０と、メモリ１００５とを含み、メモリ１００５は、そこに記憶されている命令を有する。命令は、プロセッサ１０１０による実行時、コンピュータ１０００が、カメラ、ＬｉＤＡＲセンサ、および図２～図９において説明される種々のモジュールに関して説明される動作、ならびに／または、種々の実施形態で説明される動作を実施するように構成している。

本書において、「例示的」という用語は、他の態様で言及されない限り、「の例」を意味し、理想的な実施形態または好ましい実施形態を意味しない。

本明細書中で説明される実施形態のうちのいくつかは、方法またはプロセスの概略的コンテキストにおいて説明されるが、それらは、１つの実施形態において、コンピュータ可読媒体において具現化されるコンピュータプログラム製品（プログラムコード等のコンピュータ実行可能命令を含み、ネットワーク環境においてコンピュータによって実行される）によって実装され得る。コンピュータ可読媒体は、除去可能なストレージデバイスおよび除去不可能なストレージデバイスを含み得、それらは、限定ではないが、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）等を含む。したがって、コンピュータ可読媒体は、非一過性ストレージ媒体を含むことができる。概して、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み得、それらは、特定のタスクを実施するか、または特定の抽象的データタイプを実装する。コンピュータ実行可能命令またはプロセッサ実行可能命令、関連付けられたデータ構造、およびプログラムモジュールは、本明細書中で開示される方法のステップを実行するためのプログラムコードの例を表している。そのような実行可能命令または関連付けられたデータ構造の特定のシーケンスは、そのようなステップまたはプロセスで説明される機能を実装するための対応する作動の例を表している。

開示される実施形態のうちのいくつかは、ハードウェア回路、ソフトウェア、またはそれらの組み合わせを使用したデバイスまたはモジュールとして実装されることができる。例えば、ハードウェア回路実装は、（例えば、プリント回路基板の一部として組み込まれる）個別のアナログおよび／またはデジタルコンポーネントを含むことができる。代替的に、または、加えて、開示されるコンポーネントまたはモジュールは、特定用途向け集積回路（ＡＳＩＣ）および／またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイスとして実装されることができる。加えて、または、代替的に、いくつかの実装は、デジタルシグナルプロセッサ（ＤＳＰ）を含み、デジタルシグナルプロセッサは、本願の開示される機能性と関連付けられたデジタル信号処理の動作ニーズのために最適化されたアーキテクチャを有する専用マイクロプロセッサである。同様に、各モジュール内の種々のコンポーネントまたはサブコンポーネントは、ソフトウェア、ハードウェア、またはファームウェアとして実装され得る。モジュール間および／またはモジュール内のコンポーネント間の接続は、限定ではないが、適切なプロトコルを使用したインターネット、有線ネットワーク、または無線ネットワークを介した通信を含む当技術分野において公知である接続方法および接続媒体のうちの任意の１つを使用して提供され得る。

本書は、多くの詳細を含むが、これらは、請求される発明の範囲または請求され得るものの範囲についての限定と解されるべきではなく、むしろ、特定の発明に特有の特徴の説明として解されるべきである。別個の実施形態のコンテキストにおいて本書において説明されるある特徴は、単一の実施形態の組み合わせとしても実装されることができる。逆に、単一の実施形態のコンテキストにおいて説明される種々の特徴は、別個に複数の実施形態においてもまたは任意の適したサブコンビネーションにおいても実装され得る。そのうえ、特徴は、特定の組み合わせとして実行するように上で説明され、さらに初めにそのように請求され得るが、いくつかの実施形態では、請求される組み合わせからの１つ以上の特徴が、組み合わせから削除されることができ、請求される組み合わせは、サブコンビネーションまたはサブコンビネーションの変形を対象とし得る。同様に、動作が、特定の順序で図面において描写されているが、これは、所望の結果を達成するために、そのような動作が、示される特定の順序または連続した順序で実施されること、または、全ての例証される動作が実装されることを必要とするものとして理解されるべきではない。

少数の実装および例のみが説明され、他の実装、強化、および変形が、本開示において説明され例証されるものに基づいてなされることができる。

Claims (20)

1. 自律運転動作の方法であって、前記方法は、
   車両上に位置する少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
   各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
   各センサデータアイテムからの前記レーンマーカの前記場所情報と、前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
   を含む、方法。
2. 前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することは、
   前記車両上に位置しているカメラから、前記レーンマーカを備える画像を受信することと、
   前記画像から、前記レーンマーカの角のピクセル場所を決定することと、
   前記車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、前記レーンマーカを備える前記道路の領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、
   前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
   を含む、請求項１に記載の方法。
3. 前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
   前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報は、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、
   前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを前記ＬｉＤＡＲセンサの座標系に射影し、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
   によって決定される、請求項２に記載の方法。
4. 前記少なくとも２つのセンサの前記外部パラメータは、
   前記レーンマーカの角ごとに、第１の損失関数を計算することであって、前記第１の損失関数は、レーンマーカの角のピクセル場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
   前記レーンマーカの角ごとに、第２の損失関数を計算することであって、前記第２の損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
   前記第１の損失関数に基づいて前記カメラについての前記外部パラメータを推定し、前記第２の損失関数に基づいて前記ＬｉＤＡＲセンサについての前記外部パラメータを推定することと
   によって計算される、請求項３に記載の方法。
5. 前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
   前記ＬｉＤＡＲセンサから受信された前記ＰＣＤを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、
   以前に取得されたＰＣＤマップからサブマップを抽出することと、
   前記サブマップへの前記変換された点群の登録を実施し、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、前記登録は、前記変換された点群を前記サブマップに相関させる、ことと、
   前記ＬｉＤＡＲセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
   前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
   によって、前記ＬｉＤＡＲセンサの前記座標系に射影される、請求項３に記載の方法。
6. 前記ＰＣＤは、前記ＩＭＵ－ＧＮＳＳセンサによって提供される測定値と、以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータとに基づいて、前記点群マップ基準に相関させられ、
   前記以前に記憶されたＬｉＤＡＲからＩＭＵへの外部パラメータは、前記ＬｉＤＡＲの位置および向きと前記ＩＭＵ－ＧＮＳＳセンサの位置および向きとの間の空間的関係を記述している、請求項５に記載の方法。
7. 前記サブマップは、前記ＰＣＤが受信されたときの前記車両の前記場所の所定の距離内の点の３Ｄ世界座標を備える、請求項５に記載の方法。
8. 車両上または前記車両内の複数のセンサのキャリブレーションのためのシステムであって、前記システムは、プロセッサを備え、前記プロセッサは、
   前記車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
   各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
   各センサデータアイテムからの前記レーンマーカの前記場所情報と前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
   を行うように構成されている、システム。
9. 前記プロセッサは、
   前記車両上に位置しているカメラから、前記レーンマーカを備える画像を受信することと、
   前記画像から、前記レーンマーカの角の場所を決定することと、
   前記車両上に位置している光検出および測距（ＬｉＤＡＲ）センサから、前記レーンマーカを備える領域の点群データ（ＰＣＤ）を備えるフレームを受信することと、
   前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
   を行うように構成されていることによって、前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することを行うように構成され、
   前記少なくとも２つのセンサは、前記カメラと前記ＬｉＤＡＲセンサとを備える、請求項８に記載のシステム。
10. 前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
    前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報が、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを含む、ことと、
    前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットと前記ＬｉＤＡＲセンサの座標系とを使用することによって、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
    を行うように構成されている前記プロセッサによって決定される、請求項９に記載のシステム。
11. 前記カメラの前記外部パラメータは、
    前記レーンマーカの角について、損失関数を計算することであって、前記損失関数は、レーンマーカの前記角の場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
    前記損失関数に基づいて、前記カメラについての前記外部パラメータを推定することと
    を行うように構成されている前記プロセッサによって計算される、請求項１０に記載のシステム。
12. 前記ＬｉＤＡＲセンサの前記外部パラメータは、
    前記レーンマーカの角について、損失関数を計算することであって、前記損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
    前記損失関数に基づいて、前記ＬｉＤＡＲセンサについての前記外部パラメータを推定することと
    を行うように構成されている前記プロセッサによって計算される、請求項１０に記載のシステム。
13. 前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
    前記ＬｉＤＡＲセンサから受信された前記ＰＣＤを使用して、点群マップ基準の１つ以上の点を用いて、変換された点群を取得することと、
    サブマップへの前記変換された点群の登録を実施し、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することであって、前記サブマップは、以前のＰＣＤマップから取得される、ことと、
    前記ＬｉＤＡＲセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
    前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記フレーム内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
    を行うように構成されている前記プロセッサによって、前記ＬｉＤＡＲセンサの前記座標系とともに使用される、請求項１０に記載のシステム。
14. 前記ＰＣＤは、前記点群マップ基準に相関させられる、請求項１３に記載のシステム。
15. 非一過性コンピュータ可読ストレージ媒体であって、前記非一過性コンピュータ可読ストレージ媒体は、そこに記憶されたコードを有し、前記コードは、プロセッサによって実行されると、プロセッサに方法を実装させ、前記方法は、
    車両上に位置している少なくとも２つのセンサの各々から、レーンマーカを備える道路のセンサデータアイテムを取得することと、
    各センサデータアイテムから、前記レーンマーカの場所情報を抽出することと、
    各センサデータアイテムからの前記レーンマーカの前記場所情報と、前記レーンマーカの以前に記憶された場所情報との間の差異を決定することに基づいて、前記少なくとも２つのセンサの外部パラメータを計算することと
    を含む、非一過性コンピュータ可読ストレージ媒体。
16. 前記少なくとも２つのセンサの各々からセンサデータアイテムを取得し、各センサデータアイテムから前記レーンマーカの前記場所情報を抽出することは、
    前記車両上に位置している第１のセンサから、前記レーンマーカを備える第１のセンサデータを受信することと、
    前記第１のセンサデータから、前記レーンマーカの角の場所を決定することと、
    前記車両上に位置している第２のセンサから、前記レーンマーカを備える前記道路の領域の第２のセンサデータを受信することと、
    前記レーンマーカの前記角の３次元（３Ｄ）世界座標のセットを決定することと
    を含む、請求項１５に記載の非一過性コンピュータ可読ストレージ媒体。
17. 前記レーンマーカの前記角の前記３Ｄ世界座標のセットは、
    前記車両の場所に基づいて、前記レーンマーカの前記角の以前に記憶された３次元（３Ｄ）世界座標の第２のセットを取得することであって、前記レーンマーカの前記以前に記憶された場所情報は、レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを備える、ことと、
    前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットを前記第２のセンサの座標系に射影し、前記第２のセンサデータ内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを取得することと
    によって決定される、請求項１６に記載の非一過性コンピュータ可読ストレージ媒体。
18. 前記少なくとも２つのセンサの前記外部パラメータは、
    前記レーンマーカの少なくとも２つの角の各々について、第１の損失関数を計算することであって、前記第１の損失関数は、レーンマーカの角の場所と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
    前記レーンマーカの少なくとも２つの角の各々について、第２の損失関数を計算することであって、前記第２の損失関数は、前記セットから取得された前記レーンマーカの前記角の３Ｄ世界座標と、前記第２のセットから取得された前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標との間の距離を演算する、ことと、
    前記第１の損失関数に基づいて、前記第１のセンサについての前記外部パラメータを推定し、前記第２の損失関数に基づいて、前記第２のセンサについての前記外部パラメータを推定することと
    によって計算される、請求項１７に記載の非一過性コンピュータ可読ストレージ媒体。
19. 前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットは、
    前記第２のセンサから受信された第２のセンサデータを点群マップ基準の１つ以上の点に相関させることによって、変換された点群を取得することと、
    以前に取得されたマップからサブマップを抽出することと、
    前記変換された点群を前記サブマップに相関させることによって、前記変換された点群と前記サブマップとの間の変換を記述している第１の変換マトリクスを取得することと、
    前記第２のセンサの位置と、前記点群マップ基準の前記１つ以上の点と、前記車両内に位置している慣性測定ユニット－全地球航法衛星システム（ＩＭＵ－ＧＮＳＳ）センサと関連付けられた基準点との間の変換を記述している追加変換マトリクスを決定することと、
    前記第１の変換マトリクスと、前記追加変換マトリクスと、前記レーンマーカの前記角の前記以前に記憶された３Ｄ世界座標の第２のセットとに基づいて、前記第２のセンサデータ内の前記レーンマーカの前記角の前記３Ｄ世界座標のセットを計算することと
    によって、前記第２のセンサの前記座標系に射影される、請求項１７に記載の非一過性コンピュータ可読ストレージ媒体。
20. 前記サブマップは、前記第２のセンサデータが受信されたときの前記車両の前記場所の所定の距離内の点の３Ｄ世界座標を備える、請求項１９に記載の非一過性コンピュータ可読ストレージ媒体。

Images