JP2021167819A - 地図データ、レーザ、およびカメラからのヨー誤差の確定 - Google Patents

Abstract

【課題】光による検知と測距（ＬＩＤＡＲ）デバイスおよび／またはカメラデバイスから受信した地図データおよびセンサデータの様々な組み合わせに基づき、車両の姿勢の確定を容易にする。
【解決手段】一方法例は、（ＬＩＤＡＲ）デバイスからポイントクラウドデータを受信することと、見下ろし画像を提供するようにポイントクラウドデータを変換することと、を含む。方法は、見下ろし画像を参照画像と比較することと、比較に基づき、ヨー誤差を確定することと、も含む。代替の方法は、カメラからカメラ画像データを受信することと、見下ろし画像を提供するようにカメラ画像データを変換することと、を含む。方法は、見下ろし画像を参照画像と比較することと、比較に基づき、ヨー誤差を確定することと、も含む。
【選択図】図６

Description

関連出願の相互参照
本出願は、その内容が参照により本明細書に組み込まれている２０１７年７月２５日出願の米国特許出願第１５／６５８，８００号の利益を主張する。

本明細書に特に断りのない限り、この節に記載の資料は、本出願の請求項に先行する技術ではなく、この節への包含によって先行技術であると認められるものではない。

車両は、運転者からの入力がほとんどまたは全くない状態で、環境を車両がうまく通過する自律モードで作動するように構成され得る。自律車両は、車両が作動する環境に関する情報を検出するように構成されている１つまたは複数のセンサを含み得る。

このようなセンサは、光による検知と測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）デバイスを含み得る。ＬＩＤＡＲは、風景を走査しながら環境特徴までの距離を推定し、環境内の反射面を示す「ポイントクラウド」を集合させることができる。他のセンサは、車両の周りの環境の画像フレームを取り込むように構成された可視光カメラおよび／または無線周波数信号を使用して対象を検出するように構成されたＲＡＤＡＲデバイスを含み得る。

本開示は、光による検知と測距（ＬＩＤＡＲ）デバイスおよび／またはカメラデバイスから受信した地図データおよびセンサデータの様々な組み合わせに基づき、車両の姿勢の確定を容易にする方法およびシステムに関する。例えば、本開示は、車両姿勢推定装置のヨー誤差を確定し、訂正するためのシステムおよび方法を提供し得る。

第１の態様において、方法が提供される。方法は、光による検知と測距（ＬＩＤＡＲ）デバイスからポイントクラウドデータを受信することを含む。方法は、見下ろし画像を提供するようにポイントクラウドデータを変換することも含む。方法は、見下ろし画像を参照画像と比較することと、比較に基づき、ヨー誤差を確定することと、をさらに含む。

第２の態様において、方法が提供される。方法は、カメラからカメラ画像データを受信することと、見下ろし画像を提供するようにカメラ画像データを変換することと、を含む。方法は、見下ろし画像を参照画像と比較することと、比較に基づき、ヨー誤差を確定することと、も含む。

第３の態様において、方法が提供される。方法は、参照データを受信することを含み、参照データは、俯瞰眺めから提供される。方法は、参照データをカメラの視野に対応するように変換することと、カメラからカメラ画像データを受信することと、をさらに含む。方法は、追加として、変換済み参照データをカメラ画像データと比較することと、比較に基づき、ヨー誤差を確定することと、を含む。

当業者には、該当する場合は添付図面を参照して、以下の詳述を読むことで、その他の態様、実施形態、および実装形態が見えてくるであろう。

一実施形態例によるシステムを示す図である。 一実施形態例による車両を示す図である。 一実施形態例による見下ろし地図画像を示す図である。 一実施形態例による見下ろしカメラ画像を示す図である。 一実施形態例による見下ろし集約画像を示す図である。 一実施形態例による見下ろし集約画像を示す図である。 一実施形態例による見下ろし地図画像を示す図である。 一実施形態例による見下ろしＬＩＤＡＲ画像を示す図である。 一実施形態例による見下ろし集約画像を示す図である。 一実施形態例による見下ろし集約画像を示す図である。 一実施形態例による前方地図画像を示す図である。 一実施形態例による前方カメラ画像を示す図である。 一実施形態例による前方集約画像を示す図である。 一実施形態例による前方集約画像を示す図である。 一実施形態例による方法を示す図である。 一実施形態例による方法を示す図である。 一実施形態例による方法を示す図である。

ここでは、方法、デバイス、およびシステムの例を記述する。ここでは、「例、場合、または例証の役割を果たす」ということを意味するために、「例」および「例示的」という語を使用することを理解しておく必要がある。ここに「例」または「例示的」であるとして記載される実施形態または特徴のいずれも、必ずしも他の実施形態または特徴よりも好まれる、または有利であると解釈されるべきものとは限らない。ここに提示される発明の対象の範囲を逸脱しない限り、その他の実施形態を活用することができ、その他の変更を行うことができる。

したがって、ここに記載の実施形態例は、限定することを目的とするものではない。本開示の態様は、ここに大まかに説明し、図に示すように、多種多様な構成で配置、置換、組み合わせ、分離、および設計が可能で、ここでは、そのすべての可能性が受け入れられている。

また、文脈上、そうではないと考えられない限り、図のそれぞれに示される特徴は、互いに組み合わせて使用され得る。したがって、図は、それぞれの実施形態にとって、図示の特徴のすべてが必要というわけではないとの理解の下、大体において、１つまたは複数の実施形態全体の構成要素側面として見るべきものである。

Ｉ．概要
従来の車両ナビゲーションシステムは、補助センサ（例えば、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ホイールスピードセンサ、カメラ、ＬＩＤＡＲなど）を有する慣性センサ（例えば、加速度計およびジャイロスコープ）と、および／または補足情報（例えば地図）を組み合わせて、車両の姿勢を確定し得る。

本明細書に記載のシステムおよび方法は、車両の姿勢、具体的にはそのヨー、または車首方位の正確で頻繁な測定値を提供する。多くの走行場面では（例えば、比較的平らな表面を移動している間）、車両のヨーは、車両のコンパス方位（例えば、北、南、東、西など）を含み得る。

ヨー測定値は、ＧＰＳによって、または地図に対する横方向位置誤差に基づいてヨー誤差を推測することによって、提供され得る。しかし、ヨー誤差を直接確定することが望ましい。本明細書では、ＬＩＤＡＲ、電波による検知および測距（ＲＡＤＡＲ：ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、および／またはカメラ情報を使用して、地図から直接小さなヨー誤差を確定することができるシステムおよび方法について説明する。

一実施形態例において、ポイントクラウドデータが見下ろし画像に投影され、地図データと比較され得る。投影ポイントクラウドデータと地図データとの比較に基づき、ヨー誤差が直接確定され得る。例えば、ヨー誤差は、投影ポイントクラウドデータを地図データに正しく見当合わせする（例えば、位置合わせする、または整合させる）のに適している回転角度調整として確定され得る。それにより、確定済みヨー誤差は、調整信号として、慣性ナビゲーションシステムに提供され得る。

他のいくつかの実施形態において、カメラ画像データが見下ろし画像に投影され、地図データと比較され得る。投影画像データと地図データとの比較に基づき、ヨー誤差が上記と同様に直接確定され得る。

さらなる実施形態において、地図データがカメラ画像フレームに対応する眺めに投影され得る。このような場合、地図データとカメラ画像間の、左から右の見当合わせ誤差が、直接ヨー誤差を示し得る。

実施形態によっては、地図データは、以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、その他の類の画像、または環境に関するその他の情報から生成される可能性のある参照データを含み得る。このような情報は、オフラインで処理され（例えば、クラウドサーバによって）、実施形態によっては、車両にローカルに格納され得る。

ヨー誤差は、正規化相互相関またはその他の画像見当合わせ方法を含む、様々な整合技法によって推測され得る。実施形態によっては、この整合は、車両内で行われてもよく、またはクラウドサーバもしくは別のタイプの分散型コンピューティングシステムによって少なくとも部分的に行われてもよい。一実施形態例において、画像比較とヨー誤差調整がほぼリアルタイムで行われ得る。追加としてまたは代替として、例えば、所与のセンサまたは参照データの長期ドリフトに関する情報を得るために、画像比較がオフラインで行われ得る。

本明細書に記載のシステムおよび方法は、車両に対する姿勢推定に関して、正確さと信頼性を高めることができる。より正確で信頼できる姿勢情報を提供することによって、車両の全体的な位置確定をよりうまく行うことができ、よりよい知覚、計画、障害物回避、地図作成、測量、および変化検出につなげることができる。追加としてまたは代替として、本明細書に記載の方法およびシステムにより得られた正確なヨー情報は、車線維持、障害物回避、大まかなナビゲーションおよび経路選定などの様々な運転挙動に活かされ得る。さらに、場合によっては、本明細書に記載の方法およびシステムは、比較的低品質または低精度のセンサを使用しながら、よりよいヨー確定をもたらし得る。

ＩＩ．システム例
図１は、一実施形態例によるシステム１００を示す。示すように、システム１００は、車両１１０、俯瞰画像ソース１３０、およびコントローラ１５０を含む。

車両１１０は、乗用車、トラック、航空機、ボート、移動式ロボット、または別の類の可動対象を含み得る。車両１１０は、１つまたは複数のＬＩＤＡＲシステム１１２、１つまたは複数のカメラ１１４、および／または１つまたは複数のＲＡＤＡＲシステム１１６などの、様々なセンサを含み得る。実施形態によっては、車両１１０は、様々なセンサおよび／または参照データ１１８から受信した情報に少なくとも部分的に基づき、半自律式または完全自律式に動くことができる。

ＬＩＤＡＲ１１２は、車両１１０の環境内の１つまたは複数の対象（例えば、場所、形状など）に関する情報（例えば、ポイントクラウドデータ）を提供するように構成され得る。例えば、ＬＩＤＡＲ１１２は、環境中に光パルスを放ち得る。放たれた光パルスは、環境内の対象と相互に作用して反射光を形成し得、ＬＩＤＡＲ１１２は、反射光の少なくとも一部を反射信号として受信し得る。例えば、ＬＩＤＡＲ１１２は、各それぞれの光パルスが放たれた時間を、それぞれの対応する反射光パルスが受信された時間と比較し、この比較に基づき、１つまたは複数の対象と車両１１０との間の距離を確定し得る。

実施形態によっては、ＬＩＤＡＲ１１２は、軸（例えば、車両１１０の垂直軸）を中心に回転するように構成され得る。このような場合、ＬＩＤＡＲ１１０の様々な構成要素の配置を頻繁に較正し直すことなく、車両１１０の環境の３６０度視界の３次元地図が確定され得る。追加としてまたは代替として、ＬＩＤＡＲ１１２は、その回転軸を傾けて、ＬＩＤＡＲが環境データを提供し得る環境の一部を制御するように構成され得る。

実施形態によっては、ＬＩＤＡＲ１１２によって得られたポイントクラウドデータが、車両１１０の環境の見下ろし画像を形成するように平坦化されるか、編集されるか、それとも調整され得る。例えば、見下ろし画像を提供するように、３次元ポイントクラウドデータの少なくとも一部が無視され、取り除かれ、かつ／または変換され得る。

カメラ１１４は、静止画像またはビデオ画像を取り込むように構成され得る。カメラ１１４は、カメラ１１４の視野を示す情報を提供するように動作可能な画像センサを含み得る。実施形態によっては、カメラ１１４は、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）アレイおよび／または相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）検出素子アレイを含み得る。その他のタイプの検出装置も考えられ得る。このような検出装置は、可視光波長においてかつ／またはその他の波長（例えば、赤外線）において動作可能であり得る。一実施形態例において、カメラ１１４は、前方視カメラ（例えば、車両１１０の前方方向に対応する視野を有する）である可能性がある。

追加としてまたは代替として、カメラ１１４は、車両１１０の周りの環境の一部またはすべてに及ぶようにそれぞれの視野を有する複数のカメラを含む可能性がある。例えば、カメラ１１４は、車両１１０の周囲の３６０度画像を取り込むように構成された複数のカメラを含み得る。このような場合、複数のカメラの各カメラ１１４が、それぞれの画像を取り込み得る。車両１１０の周りの環境の見下ろし画像を形成するように、対応する複数の画像が、縫い合わされ得るかそれとも組み合わせられ得る。すなわち、複数の画像に適用された１つまたは複数の射影幾何学変換に基づき、見下ろし画像が形成される可能性がある。

ＲＡＤＡＲ１１６は、電波信号を放ち、戻ってくる反射信号を検出することによって、環境特徴までの距離を活発に推定するように構成されたシステムを含む可能性がある。このような場合、送信と受信との間の時間遅延に従って、電波−反射特徴までの距離が確定され得る。ＲＡＤＡＲ１１６は、時変周波数ランプを有する信号など、経時で周波数が変わる信号を放ち、次に、放たれた信号と反射信号との周波数の差を範囲推定値に関係付けることができる。いくつかのシステムは、受信反射信号におけるドップラー周波数シフトに基づき、それぞれの対象の相対運動を推定することもできる。

実施形態によっては、ＲＡＤＡＲ１１６は、指向性アンテナを含み得、ＲＡＤＡＲ信号の指向性送信および／または指向性受信に、指向性アンテナを使用して、それぞれの範囲推定値を方位角に関連付けることができる。より一般的には、指向性アンテナを使用して、所与の対象とする視野に放射エネルギを集中させることもできる。測定距離と方向情報とを組み合わせることで、周囲の環境特徴を地図に描くことができる。このように、例えば、自律車両制御システムがＲＡＤＡＲセンサを使用して、センサ情報によって示された障害物を避けることができる。

車両１１０は、参照データ１１８を受信し、格納し、かつ／または処理し得る。様々な実施形態において、参照データ１１８は、車両１１０の環境を示す地図またはその他の情報を含む可能性がある。例えば、参照データ１１８は、地図データおよび／または俯瞰画像を含み得る。例えば、参照データ１１８は、航空機または衛星からの俯瞰画像を含み得る。

追加としてまたは代替として、参照データ１１８は、以前に取り込まれたカメラ画像を含む可能性がある（例えば、カメラ１１４または別のカメラによって取り込まれた）。またさらに、参照データ１１８は、以前に取り込まれたＬＩＤＡＲポイントクラウドデータ（例えば、ＬＩＤＡＲ１１２または別のＬＩＤＡＲシステムによって取り込まれた）、または以前に取り込まれたＲＡＤＡＲデータ（例えば、ＲＡＤＡＲ１１６または別のＲＡＤＡＲシステムによって取り込まれた）を含む可能性がある。参照データ１１８は、車両１１０の環境に関する情報を含み得る。例えば、参照データ１１８は、道路、建物、ランドマーク（例えば、地理上の場所）、および車両１１０の環境に関するその他の物理的特性に関する情報を含み得る。実施形態によっては、参照データ１１８は、リアルタイムで更新される可能性がある。また、実施形態によっては、参照データ１１８は、ローカルにまたは遠隔で格納され得る（例えば、クラウドベースのコンピューティングネットワークに）地図データベースから要求され、かつ／または受信され得る。その他の類の参照データ１１８も考えられ得、本明細書ではその可能性が受け入れられている。

システム１００は、姿勢推定装置１２０も含む。姿勢推定装置１２０は、車両１１０に関する姿勢情報を確かめるために、概算する、推定する、確定する、計算する、またはその他の行動をとるように構成され得る。車両１１０の姿勢情報は、他にも考えられるが特に、ヨー値（または車首方位）、ピッチ値、ロール値、高度、および／または車両１１０の場所を含む可能性がある。言い換えると、姿勢推定装置１２０は、１次元、２次元、および／または３次元における車両のその時の向きおよび／または位置を確定するように動作可能であり得る。

実施形態によっては、車両１１０のヨー値は、度の単位で示され得る。例えば、車両１１０が北に向かって進んでいる、または北に向いている場合、姿勢推定装置１２０によって示されるヨー値は、０°であり得る。南は、１８０°のヨー値に対応し得、東と西は、それぞれ、９０°と２７０°に対応し得る。度、１０進数でも、またはその他の類の学術用語でも、ヨー値を表すその他の方法が考えられ得、本明細書ではその可能性が受け入れられていることが分かるであろう。

同様に、車両１１０のピッチ値および／またはロール値は、度または別の変数の関数として姿勢推定装置１２０によって示され得る。車両１１０の高度は、フィートもしくはメートルの関数として、または別の尺度の絶対高さもしくは相対高さとして、姿勢推定装置１２０によって示され得る。車両１１０の位置は、姿勢推定装置１２０によって、全地球測位システム座標において、または別の類の絶対座標系もしくは相対座標系において示される可能性がある。

姿勢推定装置１２０は、プロセッサおよびメモリを含み得る。実施形態によっては、姿勢推定装置１２０は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含む可能性がある。実施形態によっては、姿勢推定装置１２０は、別のタイプのコンピューティングシステムである可能性がある。さらに、姿勢推定装置１２０は、車両１１０に対してローカルに（例えば、車載）かつ／または遠隔に（例えば、クラウドコンピューティングネットワーク）配置される可能性がある。実施形態によっては、姿勢推定装置１２０の機能の一部またはすべてが、本明細書の他の個所に記載のコントローラ１５０によって実施される可能性がある。

車両１１０は、追加として、通信インターフェース１２２を含み得る。通信インターフェース１２２は、車両１１０と、コントローラ１５０、俯瞰画像ソース１３０、１つまたは複数のコンピューティングネットワーク、および／またはその他の車両などのその他のシステムとの間に通信をもたらすように構成され得る。実施形態によっては、通信インターフェース１２２は、車両１１０の様々な要素間に通信リンクを提供する可能性がある。

通信インターフェース１２２は、例えば、１つまたは複数の他の車両、センサ、または他のエンティティ間に有線または無線の通信を直接にまたは通信ネットワークを介してもたらすように構成されたシステムである可能性がある。このために、通信インターフェース１２２は、他の車両、センサ、サーバ、または他のエンティティと直接にまたは通信ネットワークを介して通信するためのアンテナおよびチップセットを含み得る。チップセットまたは通信インターフェース１２２は、通常、他にも考えられるが特に、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）、ＩＥＥＥ８０２．１１で記述される通信プロトコル（いずれのＩＥＥＥ８０２．１１改訂も含む）、セルラーテクノロジー（ＧＳＭ、ＣＤＭＡ、ＵＭＴＳ、ＥＶ−ＤＯ、ＷｉＭＡＸ、またはＬＴＥなど）、ＺｉｇＢｅｅ、専用狭域通信（ＤＳＲＣ：Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、および無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）通信など、１つまたは複数のタイプの無線通信（例えば、プロトコル）に従って通信するように配置され得る。通信インターフェース１２２は、その他の形態を取ることもあり得る。

車両１１０は、追加として、誘導システム１２４を含む。誘導システム１２４は、ＧＰＳ、慣性計測ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、ジャイロスコープ、および／または車両１１０の位置または姿勢を示す情報を提供するように構成された別のタイプのデバイスを含み得る。ＧＰＳは、車両１１０の地理上の場所を推定するように構成されたいずれのセンサでもあり得る（例えば、位置センサ）。このために、ＧＰＳは、地球に対する車両１１０の位置を推定するように構成されたトランシーバを含み得る。ＧＰＳは、その他の形態を取ることもあり得る。ＩＭＵは、慣性加速度に基づき、車両１１０の位置および向きの変化を検知するように構成されたセンサの組み合わせを含み得る。実施形態によっては、センサの組み合わせは、例えば、加速度計およびジャイロスコープを含み得る。その他のセンサ組み合わせも考えられ得る。

誘導システム１２４は、車両１１０に対して走行経路を少なくとも部分的に定め得る、様々なナビゲーション能力および経路指定能力を含み得る。誘導システム１２４は、追加として、車両１１０が作動している間、走行経路を動的に更新するように構成され得る。実施形態によっては、誘導システム１２４は、車両１１０に対して走行経路を定めるために、センサフュージョンアルゴリズム、ＧＰＳ、ＬＩＤＡＲシステム１１２、および１つまたは複数の所定の地図（例えば、参照データ１１８）からのデータを組み込むように構成され得る。誘導システム１２４は、障害物回避システムも含み得、この障害物回避システムは、車両１１０が位置する環境内の障害物を特定し、見極め、かつ避けるかそれともうまく切り抜けるように構成され得る。車両１１０は、追加としてまたは代替として、示した構成要素以外の構成要素を含み得る。

実装形態によっては、システム１００は、俯瞰画像ソース１３０を含み得る。一実施形態例において、俯瞰画像ソース１３０は、車両１１０の周りの環境の少なくとも一部の俯瞰ビューを提供するために、地図データ、画像、またはその他の類の情報を取り込むように構成され得る。場合によっては、車両１１０は、航空機（例えば、ドローン地図作成航空機）または衛星であり得る、俯瞰画像ソース１３０から地図データを受信し、格納し得る。一例として、地図データは、俯瞰画像ソース１３０により、車両１１０に、かつ／またはその他の場所に格納される可能性がある。

システム１００は、コントローラ１５０も含む。コントローラ１５０は、１つまたは複数のプロセッサ１５２および少なくとも１つのメモリ１５４を含む。コントローラ１５０は、車両１１０に搭載でまたは遠隔に（例えば、クラウドコンピューティングネットワークに）位置する可能性がある。追加としてまたは代替として、コントローラ１５０のいくつかの部分が車両１１０に配置され得る一方、コントローラ１５０のその他の部分が別の場所に配置される。

コントローラ１５０は、オンボードコンピュータ、外部コンピュータ、またはスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどのモバイルコンピューティングプラットフォームを含み得る。追加としてまたは代替として、コントローラ１５０は、クラウドサーバなどの遠隔に位置するコンピュータシステムを含み得るか、またはそれに接続され得る。一実施形態例において、コントローラ１５０は、本明細書に記載の方法ブロックまたはステップの一部またはすべてを実施するように構成され得る。

プロセッサ１５２は、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。本明細書では、ソフトウェア命令を実施するように構成された、その他のタイプのプロセッサ、コンピュータ、またはデバイスがその可能性が受け入れられている。メモリ１５４は、以下に限定されるわけではないが、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性ランダムアクセスメモリ（例えば、フラッシュメモリ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、コンパクトディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ）、デジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）、デジタルテープ、読み取り／書き込み（Ｒ／Ｗ：Ｒｅａｄ／Ｗｒｉｔｅ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの非一時的コンピュータ可読媒体を含み得る。

コントローラ１５０は、様々なセンサフュージョンアルゴリズム、機能、またはタスクを実施するように構成され得る。例えば、コントローラ１５０は、センサフュージョンアルゴリズムおよび／またはアルゴリズムを格納しているコンピュータプログラム製品を実施するように構成され得る。センサフュージョンアルゴリズムを実施する際、コントローラ１５０は、入力として、様々なセンサ（例えば、ＬＩＤＡＲ１１２、カメラ１１４、ＲＡＤＡＲ１１６、および／またはその他のセンサ）からデータを受信し得るかそれとも受け入れ得る。データは、例えば、車両のセンサシステムの様々なセンサにおいて検知された情報を表すデータを含み得る。センサフュージョンアルゴリズムは、例えば、カルマンフィルタ、ベイジアンネットワーク、本明細書の方法の機能のいくつかを果たすように構成されたアルゴリズム、または別のアルゴリズムを含み得る。センサフュージョンアルゴリズムは、センサシステムからのデータに基づいて様々な評価を与えるようにさらに構成され得、評価には、例えば、車両１１０が位置する環境内の個々の対象および／または特徴の評価、特定の状況の評価、および／または特定の状況に基づく考えられる影響の評価が含まれる。その他の評価も考えられ得る。

コントローラ１５０は、コンピュータビジョンシステムを含み得、コンピュータビジョンシステムは、車両１１０が位置する環境内の対象および／または特徴を特定するために、ＬＩＤＡＲ１１２、カメラ１１４、および／またはＲＡＤＡＲ１１６のうちの少なくとも１つによって取り込まれた画像を処理し、解析するように構成されたシステムを含み得る。このような対象または特徴は、例えば、交通信号、他の車両、歩行者、自転車に乗っている人、ランドマーク、道路標識、道路、工事区域、およびその他の類の対象または障害物を含み得る。このために、コンピュータビジョンシステムは、対象認識アルゴリズム、運動からの構造復元（ＳＦＭ：Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズム、ビデオトラッキング、またはその他のコンピュータビジョン技法を使用し得る。実施形態によっては、コンピュータビジョンシステムは、追加として、環境の地図を作成する、対象を追跡する、対象の速さを推定する、などを行うように構成され得る。

実施形態によっては、コントローラ１５０は、様々な画像処理機能および／またはポイントクラウドデータ処理機能を実施するように構成され得る。すなわち、コントローラ１５０は、それぞれのカメラ画像、ＲＡＤＡＲデータ、および／またはポイントクラウドデータに基づき、見下ろし画像を提供するように構成され得る。

プロセッサ（複数可）１５２は、動作を実施するために、メモリ１５４に格納されたプログラム命令を実行するように構成され得る。したがって、コントローラ１５０は、本明細書に記載の動作のいずれかまたはすべてを実施するように構成され得る。

例えば、コントローラ１５０は、車両１１０の１つまたは複数のセンサシステムに、車両１１０の環境内の対象に関する情報を与え得るカメラ画像、ポイントクラウドデータ、および／またはレーダデータを提供させるように構成され得る。実施形態によっては、コントローラ１５０は、１つまたは複数のセンサシステムに、車両１１０の環境の望ましい部分または領域に関する情報を提供させ得る。

一例において、コントローラ１５０は、ＬＩＤＡＲ１１２からポイントクラウドデータを受信し、見下ろし画像を提供するようにポイントクラウドデータを変換し得る。一実施形態例において、見下ろし画像は、車両１１０の周りの環境の平坦化２次元画像を含み得る。

コントローラ１５０は、見下ろし画像を参照画像と比較し、比較に基づき、ヨー誤差を確定する可能性もある。このような場合、参照画像は、地図データ（例えば、参照データ１１８）の少なくとも一部を含む。一実施形態例において、参照画像は、１つまたは複数の以前のカメラ画像、以前のＬＩＤＡＲポイントクラウド、以前のＲＡＤＡＲデータ、衛星画像、またはその他の俯瞰画像のうちの少なくとも１つの少なくとも一部を含む。

見下ろし画像の参照画像との比較は、様々なやり方で行われ得る。例えば、正規化相互相関、グレースケール整合、階調度整合、ヒストグラム整合、エッジ検出（例えば、Ｃａｎｎｙエッジ検出）、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、および／またはｓｐｅｅｄｅｄ−ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ（ＳＵＲＦ）のうちの１つまたは複数により行われ得る。追加としてまたは代替として、実施形態によっては、比較は、様々な画像見当合わせアルゴリズムまたはモーフィングアルゴリズムを含み得る。

コントローラ１５０は、調整信号を姿勢推定装置１２０に提供する可能性もある。調整信号は、確定済みヨー誤差に少なくとも部分的に基づいている可能性がある。

このような場合、姿勢推定装置１２０は、車両１１０のヨー方位を確定するように構成され得る。調整信号を受信すると、姿勢推定装置１２０は、車両１１０のその時の推定ヨー方位を更新し得る。

実施形態によっては、コントローラ１５０は、カメラ画像データと地図データとの比較に基づき、確定済みヨー値を訂正するための他の動作を実施するように構成される可能性がある。例えば、コントローラ１５０は、カメラ１１４からカメラ画像データを受信し得る。一例において、カメラ画像データは、車両１１０の周りの環境を示す情報を含む。

コントローラ１５０は、見下ろし画像を提供するようにカメラ画像データを変換し得る。見下ろし画像は、車両の周りの環境の平坦化２次元画像を含む。実施形態によっては、見下ろし画像を提供するカメラ画像データの変換は、幾何学的透視変換アルゴリズムまたは別の類の画像処理を含み得る。

本明細書に記載のこれまでの例の場合のように、コントローラ１５０は、見下ろし画像を参照画像（例えば、参照データ１１８）と比較し、比較に基づき、ヨー誤差を確定し、車両１１０のその時のヨー方位を調整するように構成される可能性がある。

追加としてまたは代替として、コントローラ１５０は、カメラデータを変換済み地図データと比較するように構成され得る。例えば、コントローラ１５０は、参照データ１１８を受信し得る。このような場合、参照データ１１８は、俯瞰眺めからもたらされた画像を含み得る。それにより、カメラの視野に対応するように、参照データ１１８がコントローラ１５０によって変換され得る。コントローラ１５０は、カメラからカメラ画像データを受信し、カメラ画像データを変換済み参照データと比較するようにも構成され得る。比較に基づき、コントローラ１５０は、比較に基づきヨー誤差を確定し得る。

図２は、一実施形態例による車両２００を示す。車両２００は、図１に示し、それに関連して説明している車両１１０と同様または同一であり得る。図２は、自動車（例えば、乗用車）を示しているが、その他のタイプの車両も考えられ得、本明細書ではその可能性が受け入れられていることが分かるであろう。車両２００は、１つまたは複数のセンサシステム２０２、２０４、２０６、２０８、および／または２１０を含み得る。１つまたは複数のセンサシステム２０２、２０４、２０６、２０８、および２１０は、システム１００に関して説明しているセンサと同様または同一である可能性がある。すなわち、センサシステム２０２、２０４、２０６、２０８、および２１０は、ＬＩＤＡＲセンサ（例えば、ＬＩＤＡＲ１１２）、カメラ（例えば、カメラ１１４）、および／またはＲＡＤＡＲセンサ（例えば、ＲＡＤＡＲ１１６）のうちの１つまたは複数を含む可能性がある。いくつかの例では、センサシステム２０２は、ＬＩＤＡＲシステム、カメラ、およびＲＡＤＡＲセンサを含む可能性があるが、その他の変種、組み合わせ、および配置のセンサも考えられ得る。

一実施形態例において、センサシステム２０２、２０４、２０６、２０８、および２１０のうちの１つまたは複数が、車両２００の周りの環境を光パルスで照らすために、軸（例えば、垂直軸２３０）を中心に回転するように構成され得るＬＩＤＡＲ１１２を含む可能性がある。一実施形態例において、センサシステム２０２、２０４、２０６、２０８、および２１０は、車両２００の環境内の物理的な対象に関係する可能性のあるそれぞれのポイントクラウド情報を提供するように構成され得る。このような場合、反射光パルスの様々な側面（例えば、経過飛行時間、偏光など）を検出することに基づき、環境に関する情報が確定され得る。追加としてまたは代替として、ＬＩＤＡＲ１１２は、車両の周りの環境の望ましい部分におけるポイントクラウド情報を確定するために、比較的狭い望ましい視野を制御可能に走査するように構成されたＬＩＤＡＲシステムを含む可能性がある。このようなＬＩＤＡＲシステムは、より長い距離においてより良いポイントクラウド解像度をもたらすように構成され得る。

ＬＩＤＡＲ１１２と同様に、カメラ１１４および／またはＲＡＤＡＲ１１６は、車両２００の環境に関する動的な情報を得るために、車両２００に対して思い通りに動くように構成される可能性がある。例えば、カメラ１１４および／またはＲＡＤＡＲ１１６は、車両２００の環境の望ましい部分に関する情報を提供するために、軸を中心に回転し得るか、または望ましい視野へ制御可能に向けられる可能性がある。

図２は、センサシステム２０２、２０４、２０６、２０８、および２１０を車両２００の特定の場所に位置するとして示しているが、センサのその他の多くの配置が考えられ得、その可能性が受け入れられていることが分かるであろう。

車両２００の姿勢は、ヨー、ロール、およびピッチの観点から示され得る。例えば、車両２００のヨーは、角度２２０の観点から示され得、車両２００のロールは、角度２４０の観点から示され得、車両２００のピッチは、角度２２２の観点から示され得る。車両２００の姿勢を描写する他のやり方も考えられ得、本明細書ではその可能性が受け入れられている。

車両の推定ヨーの訂正に関係するいくつかのシナリオについて、ここで説明する。この説明されるシナリオは、自律型または半自律型の自動車に関係しているが、本明細書に記載の技法、プロセス、および方法が、特定の環境内で移動するような多くのその他のタイプの車両に適用され得ることが分かるであろう。

自走式車両は、通常、ヨー（車首方位）情報を使用して、多くの様々な運転挙動（例えば、車線維持、障害物回避、大まかなナビゲーション、および経路指定など）を行う。したがって、ヨー推定の向上により、経路計画、地図作成、測量、および変化検出を改善することができる。以下に記載のシナリオでは、比較的安価なセンサシステムからのヨー推定値を正確にするやり方を提供し得る。

本明細書に記載の実施形態が、車首方位（ヨー）に関係していることがあるが、様々な参照データとセンサデータとを比較することによって、推定姿勢に対するその他の正確化が考えられ得ることが分かる。例えば、本明細書に記載の方法またはシステムを使用して、車両の推定ピッチまたは推定ロールを正確にすることができる。

図３Ａ〜３Ｄは、実施形態例による様々な画像を示す。図３Ａは、一実施形態例による見下ろし地図画像３００を示す。見下ろし地図画像３００は、図１に示し、それに関連して説明している参照データ１１８の一部であり得る。見下ろし地図画像３００は、環境（例えば、車両の周りの環境）の様々な特徴に関する情報を含み得る。このような特徴は、以下に限定するわけではないが、道路３０２、歩道３０４、車線標識３０６、縁石／中央分離帯３０８、およびサービスカバー３１０（例えば、マンホールまたは排水溝）を含む可能性がある。実施形態によっては、見下ろし地図画像３００は、時間的に変わる対象（例えば、動いている車両、人、自転車に乗っている人、邪魔になっている雲量／靄など）を取り除くか、それとも画像を標準化／正規化するように、前処理され得る。

実施形態によっては、見下ろし地図画像３００は、俯瞰画像ソース１３０によって取り込まれた画像として提供され得る。

図３Ｂは、一実施形態例による見下ろしカメラ画像３２０を示す。見下ろしカメラ画像３２０は、図１に示し、それに関連して説明しているカメラ１１４によって提供される１つまたは複数の画像と同様または同一であり得る。実施形態によっては、見下ろしカメラ画像３２０は、例えば透視モーフィング技法を使用して、見下ろし画像のように見えるように、縫い合わされ、調整されたいくつかのカメラ画像を含み得る。

見下ろしカメラ画像３２０は、例えば、図３Ａの特徴と同様または同一であるいくつかの特徴を含み得る。例えば、一実施形態例において、見下ろしカメラ画像３２０は、道路３０２、歩道３０４、車線標識３０６、縁石／中央分離帯３０８、および／またはサービスカバー３１０を含み得る。さらに、見下ろしカメラ画像３２０は、車両２００の環境内の対象に関するリアルタイムの情報を含み得る。一例として、見下ろしカメラ画像３２０は、他の車両３２２および自転車に乗っている人３２４を含み得る。

実施形態によっては、見下ろしカメラ画像３２０は、他の車両３２２および自転車に乗っている人３２４など、時間的に変わる対象を取り除くまたは無視することによって、調整され得る。時間の経過とともに変化する可能性があると見なされるその他の対象（例えば、歩行者、雲量など）は、本明細書の他の個所に記載の方法以外で削除、無視、それとも処理され得る。

図３Ｃは、一実施形態例による見下ろし集約画像３４０を示す。見下ろし集約画像３４０は、見下ろし地図画像３１０と見下ろしカメラ画像３２０との組み合わせ、オーバーレイ、重ね合わせ、並置、比較、または別の類の解析を含み得る。図３Ｃに示すように、一実施形態として、２つの画像のオーバーレイである集約画像３４０があり得る。このような場合、見下ろし集約画像３４０は、角度差３４２を含み得る。角度差３４２は、推定車首方位と実際の車首方位との差を含み得る。場合によっては、角度差３４２を姿勢推定装置１２０および／または誘導システム１２４に提供して、車両の推定車首方位を改善し得る。

図３Ｄは、一実施形態例による見下ろし集約画像３５０を示す。集約画像３５０は、地図画像３００とカメラ画像３２０との組み合わせを示し得る。すなわち、カメラ画像３２０が地図画像３００と対応する範囲が、集約画像３５０へ描き出され得る。実施形態によっては、集約画像３５０は、実質的な画像情報のない部分を含む可能性がある。このような部分は、カメラで撮像されていない範囲および／または地図画像とカメラ画像とで著しく異なっている画像の部分に対応し得る。

図４Ａは、一実施形態例による見下ろし地図画像４００を示す。見下ろし地図画像４００は、図１に示し、それに関連して説明している参照データ１１８から形成され得る。見下ろし画像４００は、以下に限定するわけではないが、車両の環境内の多くの異なる類の対象を含み得る。例えば、見下ろし地図画像４００は、道路４０２、車線境界線４０３、歩道４０４、および木４０６を含み得る。実施形態によっては、見下ろし地図画像４００は、時間的に変わる対象（例えば、動いている車両、人、自転車に乗っている人、排気ガスなど）を取り除くか、それとも画像を標準化／正規化するように、前処理され得る。実施形態例において、草木／葉は、見下ろし地図画像４００から部分的にもしくは完全に取り除かれ得、またはその中で無視され得る。実施形態によっては、見下ろし地図画像４００は、俯瞰画像ソース１３０によって取り込まれた画像として提供され得る。

図４Ｂは、一実施形態例による見下ろしＬＩＤＡＲ画像４２０を示す。見下ろしＬＩＤＡＲ画像４２０は、図４Ａに関連して説明している特徴の少なくともいくつかを含み得る。さらに、ＬＩＤＡＲ画像４２０は、他の車両４２２および／または他の時変要素を含み得る。見下ろしＬＩＤＡＲ画像４２０は、ＬＩＤＡＲ１１２、または別のＬＩＤＡＲシステムによって提供されたポイントクラウドデータからの処理済みデータを含み得る。例えば、ＬＩＤＡＲ１１２は、コントローラ１５０または別のタイプのイメージング処理コンピュータシステムにポイントクラウド情報を提供し得る。このような場合、３次元ポイントクラウド情報を遠近感に合わせて圧縮／平坦化／それとも調整し、２次元見下ろし透視画像４２０を形成し得る。

図４Ｃは、一実施形態例による見下ろし集約画像４４０を示す。見下ろし集約画像４４０は、見下ろし地図画像４００と見下ろしＬＩＤＡＲ画像４２０との組み合わせ、オーバーレイ、重ね合わせ、または別の類の画像比較を示し得る。見下ろし集約画像４４０は、図４Ａおよび図４Ｂ内の特徴と同じ特徴のうちのいくつを含み得る。例えば、画像４４０は、道路４０２、車線境界線４０３、歩道４０４、および木４０６を含み得る。実施形態によっては、見下ろし集約画像４４０は、他の車両４２２および自転車に乗っている人４２４を含む可能性があるが、含む必要はない。地図画像４００とＬＩＤＡＲ画像４２０との比較では、時間的に変わるまたは永続的ではないと見なされた対象を、無視する、削除する、平均化する、それとも割り引いて考えるか優先順位を下げる可能性がある。

図４Ｄは、一実施形態例による見下ろし集約画像４５０を示す。集約画像４５０の非黒の範囲は、地図画像４００の特徴に一致する、対応する、それともそれと同様である、ＬＩＤＡＲ画像４２０からの特徴を示し得る。別の実施形態では、集約画像４５０の黒い範囲の少なくとも一部は、このような範囲がＬＩＤＡＲのスキャニングビューから遮られているかまたは締め出されているため、未走査範囲（例えば、ポイントクラウドデータがない）に相当し得る。

図５Ａは、一実施形態例による前方地図画像５００を示す。前方地図画像５００は、前方視カメラ（例えば、カメラ１１４）の遠近感と同様または同一の遠近感を有するように調整、細工、それとも変更された見下ろし地図画像（例えば、地図画像３００および４００）を含み得る。本明細書に記載の実施形態では、前方視カメラビューの可能性が受け入れられているが、他の視点および／または観点に関わる方法およびシステムが考えられ得ることが分かるであろう。

前方地図画像５００は、道路５０２、車線境界線５０３、交通標識／信号５０４、木５０６、建物、ランドマークなどを含み得る。地図画像に提供され得る特徴が他にも考えられ得、本明細書ではその可能性が受け入れられている。

図５Ｂは、一実施形態例による前方カメラ画像５２０を示す。前方カメラ画像５２０は、前方地図画像５００の特徴と同様の特徴を含み得る。例えば、前方カメラ画像５２０は、道路５０２、車線境界線５０３、交通標識／信号５０４、木５０６、ならびに様々な他の車両５２２および５２４を含む可能性がある。実施形態によっては、前方カメラ画像５２０は、ビデオカメラまたは静止カメラ（例えば、カメラ１１４）によって取り込まれ得る。図５Ｂは、前方カメラ画像５２０を含むが、ＬＩＤＡＲポイントクラウドデータが、前方視眺めを有する前方ＬＩＤＡＲ「画像」を形成するように変換される可能性があることが分かる。

図５Ｃは、一実施形態例による前方集約画像５４０を示す。前方集約画像５４０は、前方地図画像５００と前方カメラ画像５２０（または前方ＬＩＤＡＲ画像）との組み合わせ、オーバーレイ、重ね合わせ、または別の類の画像比較を示し得る。前方集約画像５４０は、図５Ａおよび図５Ｂに示されたいくつかの特徴を含み得る。例えば、画像５４０は、道路５０２、車線境界線５０３、および木５０６を含み得る。実施形態によっては、前方集約画像５４０は、他の車両５２２および５２４を含む可能性があるが、含む必要はない。実施形態によっては、前方地図画像５００と前方カメラ画像５２０との比較では、時間的に変わるまたは永続的ではないと見なされた対象を、無視する、削除する、平均化する、それとも割り引いて考える可能性がある。実施形態によっては、基準画像５４２が車線境界線５０３、または画像５４０内のその他の特有な特徴もしくはランドマークに重ね合わせられるか、またはそれと比較される可能性がある。場合によっては、基準画像５４２が、ＬＩＤＡＲ、ＲＡＤＡＲ、および／または地図データに相当するものであり得る。

場合によっては、前方集約画像５４０が、実際のヨー方向が推定ヨー方向とは異なることを示唆することがある。このような場合、画像解析に基づき、角度差が確定され得る。また、車両の実際のヨー位置を絞り込むために、調整済みヨー信号がコントローラ１５０、姿勢推定装置１２０、誘導システム１２４、または別の制御システムに提供され得る。

図５Ｄは、一実施形態例による前方集約画像５５０を示す。破車線の近くの点線形状は、図５Ｃに示し、それに関連して説明している基準画像５４２と同様または同一であり得る、ＬＩＤＡＲポイントクラウドデータのグラフィカル表現を含み得る。

ＩＩＩ．方法例
図６は、一実施形態例による方法６００を示す。方法６００は、図１および図２に示し、それに関連して説明している車両１１０、コントローラ１５０、または車両２００によって、完全にまたは部分的に実施され得る。方法６００は、図１、２、３Ａ〜３Ｄ、４Ａ〜４Ｄ、および／または５Ａ〜５Ｄに示し、それに関連して説明している要素と同様または同一である要素を含み得る。方法６００が、本明細書に明確に開示しているのよりもステップまたはブロックを多くまたは少なく含み得ることが分かるであろう。さらに、方法６００のそれぞれのステップまたはブロックは、任意の順番で行われ得、それぞれのステップまたはブロックは、１回または複数回行われ得る。実施形態によっては、方法６００は、図７および図８に示し、それに関連して説明している方法７００または方法８００のうちの１つまたは複数と組み合わせられ得る。

ブロック６０２は、光による検知と測距（ＬＩＤＡＲ）デバイスからポイントクラウドデータを受信することを含む。実施形態によっては、ポイントクラウドデータは、車両の周りの環境内の対象を示す情報を含む。

ブロック６０４は、見下ろし画像を提供するようにポイントクラウドデータを変換することを含む。このような場合、見下ろし画像は、車両の周りの環境の平坦化２字次元画像を含む。例えば、この変換は、スケール不変特徴変換、画像平坦化、画像透視回転、および／または３Ｄから２Ｄへの画像変換を含む可能性がある。本明細書では、３次元対象情報を２次元の見下ろし画像として表すその他のやり方の可能性を受け入れている。

ブロック６０６は、見下ろし画像を、地図データの少なくとも一部を含み得る参照画像と比較することを含む。参照画像は、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、その他の類の画像、または環境に関するその他の類の情報のうちの少なくとも１つの少なくとも一部を含み得る。

ブロック６０８は、比較に基づき、ヨー誤差を確定することを含む。

追加としてまたは代替として、方法６００は、確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することを含み得る。このような場合、方法６００は、追加として、慣性姿勢推定装置により車両のヨー方位を確定することと、調整信号および確定済みヨー方位に基づき、正確なヨー方位を確定することと、を含み得る。

図７は、一実施形態例による方法７００を示す。方法７００は、図１および図２に示し、それに関連して説明している車両１１０、コントローラ１５０、または車両２００によって、完全にまたは部分的に実施され得る。方法７００は、図１、２、３Ａ〜３Ｄ、４Ａ〜４Ｄ、および／または５Ａ〜５Ｄに示し、それに関連して説明している要素と同様または同一である要素を含み得る。方法７００が、本明細書に明確に開示しているのよりもステップまたはブロックを少なくまたは多く含み得ることが分かるであろう。さらに、方法７００のそれぞれのステップまたはブロックは、任意の順番で行われ得、それぞれのステップまたはブロックは、１回または複数回行われ得る。実施形態によっては、方法７００は、図６および図８に示し、それに関連して説明している方法６００または方法８００のうちの１つまたは複数と組み合わせられ得る。

ブロック７０２は、カメラからカメラ画像データを受信することを含む。本明細書の他の個所に記載のように、カメラ画像データは、車両の周りの環境を示す情報を含み得る。例えば、カメラ画像データは、車両道路、走行経路、障害物、ランドマーク、および／または車両の環境内のその他の対象に関する情報を含み得る。

ブロック７０４は、見下ろし画像を提供するようにカメラ画像データを変換することを含む。一実施形態例において、見下ろし画像は、車両の周りの環境の平坦化２次元画像を含み得る。

ブロック７０６は、見下ろし画像を参照画像と比較することを含む。実施形態によっては、参照画像は、地図データの少なくとも一部を含む。例えば、参照画像は、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、その他の類の画像、または環境に関するその他の情報のうちの少なくとも１つの少なくとも一部を含み得る。

ブロック７０８は、比較に基づき、ヨー誤差を確定することを含む。

方法７００は、確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することも含み得る。

一実施形態例において、方法７００は、例えば、姿勢推定装置により、車両のヨー方位を確定することを含み得る。調整信号に基づき、方法７００は、調整信号および確定済みヨー方位に基づき、正確なヨー方位を確定することも含み得る。

図８は、一実施形態例による方法８００を示す。方法８００は、図１および図２に示し、それに関連して説明している車両１１０、コントローラ１５０、または車両２００によって、完全にまたは部分的に実施され得る。方法８００は、図１、２、３Ａ〜３Ｄ、４Ａ〜４Ｄ、および／または５Ａ〜５Ｄに示し、それに関連して説明している要素と同様または同一である要素を含み得る。方法８００が、本明細書に明確に開示しているのよりもステップまたはブロックを少なくまたは多く含み得ることが分かるであろう。さらに、方法８００のそれぞれのステップまたはブロックは、任意の順番で行われ得、それぞれのステップまたはブロックは、１回または複数回行われ得る。実施形態によっては、方法８００は、図６および図８に示し、それに関連して説明している方法６００または方法７００のうちの１つまたは複数と組み合わせられ得る。

ブロック８０２は、参照データを受信することを含む。このような場合、参照データは、風景の俯瞰眺めを示す情報であり得る。実施形態によっては、参照画像は、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、その他の類の画像、または環境に関するその他の情報のうちの少なくとも１つの少なくとも一部を含み得る。

ブロック８０４は、参照データをカメラの視野に対応するように変換することを含む。変換は、以下に限定するわけではないが、３Ｄから２Ｄへの画像変換と、スケール不変特徴変換と、または、画像データ、ポイントクラウドデータ、もしくはその他の類の環境データの眺めを調整するように構成された別の類の画像処理変換と、を含む可能性がある。実施形態によっては、変換により、参照データが俯瞰眺めから前方向きの眺めに変わる可能性がある。その他の類の画像処理変換も考えられ得、本明細書ではその可能性を受け入れている。

ブロック８０６は、カメラからカメラ画像データを受信することを含む。一実施形態例において、カメラ画像データは、車両の周りの環境の少なくとも一部の平坦化２次元画像を含み得る。

ブロック８０８は、変換済み参照データをカメラ画像データと比較することを含む。実施形態によっては、カメラ画像データは、変換済み参照データの少なくとも一部に対応する。場合によっては、参照データおよび／またはカメラ画像データは、画像差異アルゴリズム、画像ホモグラフィアルゴリズム、または画像偏位修正アルゴリズムのうちの少なくとも１つにより処理され得る。

ブロック８１０は、比較に基づき、ヨー誤差を確定することを含む。実施形態によっては、方法８００は、確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することをさらに含む。

図に示す特定の配置は、限定と見るべきではない。他の実施形態が所与の図に示す各要素をもっと多くまたは少なく含み得ることを理解されたい。さらに、示した要素のいくつかが組み合わされても、または省かれてもよい。またさらに、図示の実施形態は、図に示されていない要素を含み得る。

情報の処理に相当するステップまたはブロックは、本明細書に記載の方法または技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替としてまたは追加として、情報の処理に相当するステップまたはブロックは、モジュール、セグメント、物理コンピュータ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ））、またはプログラムコードの一部（関連データを含む）に対応し得る。プログラムコードは、方法または技法において特定の論理機能または動作を実現するための、プロセッサによって実行可能な１つまたは複数の命令を含み得る。プログラムコードおよび／または関連データは、ディスク、ハードドライブ、またはその他の記憶媒体を含む記憶デバイスなどのいずれのタイプのコンピュータ可読媒体にも格納され得る。

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような短期間、データを格納するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含み得る。コンピュータ可読媒体は、より長い期間、プログラムコードおよび／またはデータを格納する非一時的コンピュータ可読媒体も含み得る。したがって、コンピュータ可読媒体は、例えば、読み取り専用メモリ（ＲＯＭ）、光ディスクもしくは磁気ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）のような二次的または永続的な長期記憶域を含み得る。コンピュータ可読記憶媒体は、その他いずれかの揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。

様々な例および実施形態を開示したが、当業者には、他の例および実施形態が見えてくるであろう。様々な開示した例および実施形態は、説明のためのものであり、限定することを意図したものではなく、実際の範囲は、以下の特許請求の範囲によって示される。

Claims (20)

1. 光による検知と測距（ＬＩＤＡＲ）デバイスからポイントクラウドデータを受信することと、
   見下ろし画像を提供するように前記ポイントクラウドデータを変換することと、
   前記見下ろし画像を参照画像と比較することと、
   前記比較に基づき、ヨー誤差を確定することと、を含む、方法。
2. 前記ポイントクラウドデータが、車両の周りの環境内の対象を示す情報を含む、請求項１に記載の方法。
3. 前記見下ろし画像が、前記車両の周りの前記環境の平坦化２次元画像を含む、請求項２に記載の方法。
4. 前記確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することをさらに含む、請求項１に記載の方法。
5. 前記姿勢推定装置により、前記車両のヨー方位を確定することと、
   前記調整信号および前記確定済みヨー方位に基づき、正確なヨー方位を確定することと、をさらに含む、請求項４に記載の方法。
6. 前記参照画像が、地図データの少なくとも一部を含む、請求項１に記載の方法。
7. 前記参照画像が、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、またはその他の俯瞰画像のうちの少なくとも１つの少なくとも一部を含む、請求項１に記載の方法。
8. カメラからカメラ画像データを受信することと、
   見下ろし画像を提供するように前記カメラ画像データを変換することと、
   前記見下ろし画像を参照画像と比較することと、
   前記比較に基づき、ヨー誤差を確定することと、を含む、方法。
9. 前記カメラ画像データが、車両の周りの環境を示す情報を含む、請求項８に記載の方法。
10. 前記見下ろし画像が、車両の周りの環境の平坦化２次元画像を含む、請求項８に記載の方法。
11. 前記確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することをさらに含む、請求項８に記載の方法。
12. 前記姿勢推定装置により、前記車両のヨー方位を確定することと、
    前記調整信号および前記確定済みヨー方位に基づき、正確なヨー方位を確定することと、をさらに含む、請求項１１に記載の方法。
13. 前記参照画像が、地図データの少なくとも一部を含む、請求項８に記載の方法。
14. 前記参照画像が、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、またはその他の俯瞰画像のうちの少なくとも１つの少なくとも一部を含む、請求項８に記載の方法。
15. 参照データを受信することであって、前記参照データが、場面の俯瞰眺めを示す情報を含む、受信することと、
    前記参照データをカメラの視野に対応するように変換することと、
    前記カメラからカメラ画像データを受信することと、
    前記変換済み参照データを前記カメラ画像データと比較することと、
    前記比較に基づき、ヨー誤差を確定することと、を含む、方法。
16. 前記カメラ画像データが、車両の周りの環境の平坦化２次元画像を含む、請求項１５に記載の方法。
17. 前記確定済みヨー誤差に基づき、調整信号を車両の姿勢推定装置に提供することをさらに含む、請求項１５に記載の方法。
18. 前記カメラ画像データが、前記変換済み参照データの少なくとも一部に対応する、請求項１５に記載の方法。
19. 前記参照データが、１つまたは複数の以前のカメラ画像、ＬＩＤＡＲポイントクラウド、ＲＡＤＡＲデータ、衛星画像、またはその他の俯瞰画像のうちの少なくとも１つの少なくとも一部を含む、請求項１５に記載の方法。
20. 前記参照データまたは前記カメラ画像データのうちの少なくとも１つが、画像差異アルゴリズム、画像ホモグラフィアルゴリズム、または画像偏位修正アルゴリズムのうちの少なくとも１つにより処理される、請求項１５に記載の方法。
    

Images