JP2019500602A - 画像ベースの車両位置特定のためのシステム及び方法 - Google Patents

Abstract

【課題】
【解決手段】車両の位置及び姿勢を決定するための方法及びシステムが提供される。車両位置特定システムは、車両の位置及び姿勢の推定値を決定する。システムは、位置及び姿勢の推定値に基づいて３次元地図データを読み出す。システムは、車載カメラからカメラ画像を取得する。システムは、位置及び姿勢の推定値に基づいてカメラ画像上に３次元地図データを投影する。システムは、投影された３次元地図データをカメラ画像と比較する。そして、システムは、比較に基づいて車両の位置及び姿勢を決定する。
【選択図】図１

Description

本出願は、２０１５年１２月１５日に出願された米国特許出願第１４／９７０，２５１号の優先権を主張するものであり、該米国特許出願の全体は、ここでの開示により明確に本出願に組み込まれる。

車両ナビゲーションシステムは、典型的には、車両の位置を決定するために衛星ベースの位置特定システムを使用する。このようなシステムは、衛星信号が利用できない又は弱い場所に関する既知の欠点を有する。

車両の位置を決定する別の方法として、画像ベースの位置特定が提案されている。車両用の従来の画像ベースの位置特定技術は、車両搭載カメラからのカメラ画像をトップダウン画像又は鳥瞰図画像に変換するための逆透視マッピング（ｉｎｖｅｒｓｅ ｐｅｒｓｐｅｃｔｉｖｅ ｍａｐｐｉｎｇ:ＩＰＭ）を使用してきた。トップダウン画像は、車両の位置を決定するために既知のレーンマーキングと比較されてもよい。

ＩＰＭに基づく位置特定技術は、ＩＰＭが既知の特性又は仮定された特性に依存するため、欠点を有する場合がある。例えば、ＩＰＭ技術においては、道路は平らであり、カメラのピッチ及びヨーは既知であると仮定している。これらの仮定は、現実世界の運転条件では成立しない場合がある。さらに、ＩＰＭ画像は、平面特徴（例えば、レーンマーキング）と比較されるだけであるが、これら平面特徴は常に利用可能であるとは限らないし、十分であるとも限らない。

一態様によれば、本発明は、車両の位置及び姿勢を決定する方法を提供する。該方法は、車両の位置及び姿勢の推定値を決定するステップを含む。該方法は、位置及び姿勢の推定値に基づいて３次元地図データを取り出すステップをさらに含む。該方法はまた、車載カメラからカメラ画像を取得するステップを含む。該方法はさらに、位置及び姿勢の推定値に基づいてカメラ画像上に３次元地図データを投影するステップを含む。該方法は、投影された３次元地図データをカメラ画像と比較するステップをさらに含む。該方法はまた、比較するステップに基づいて車両の位置及び姿勢を決定するステップを含む。

別の態様では、本発明は、車両の位置及び姿勢を決定するためのシステムを提供する。該システムは、車両の位置及び姿勢の推定値を決定するように構成された全地球測位システム受信機を含む。該システムはまた、位置及び姿勢の推定値に基づいて３次元地図データを提供するように構成された地図データベースを含む。該システムは、カメラ画像を取得するように構成された車載カメラをさらに含む。該システムは、メモリに通信可能に結合されたプロセッサをさらに含む。該プロセッサは、位置及び姿勢の推定値に基づいて、カメラ画像上に３次元地図データを投影するように構成される。該プロセッサは、投影された３次元地図データをカメラ画像と比較するようにさらに構成される。該プロセッサはまた、比較に基づいて車両の位置及び姿勢を決定するように構成される。

さらに別の態様では、本発明は、車両の位置及び姿勢を決定するためのコンピュータ実行可能コードを格納する非一過性のコンピュータ可読媒体を提供する。該コンピュータ可読媒体は、位置及び姿勢の推定値を決定し、位置及び姿勢の推定値に基づいて３次元地図データを取り出し、車載カメラからカメラ画像を取得し、位置及び姿勢の推定値に基づいてカメラ画像上に３次元地図データを投影し、投影された３次元地図データをカメラ画像と比較し、比較に基づいて車両の位置及び姿勢を決定するためのコードを含む。

本開示の特徴であると考えられる新規な特徴は、添付の特許請求の範囲に記載されている。以下の説明では、同様の部品は、明細書及び図面全体にわたって同じ番号でそれぞれ示される。図面は必ずしも一定の縮尺で描かれておらず、ある図は明瞭さと簡潔さのために誇張された形態又は一般化された形態で示されている。しかしながら、開示自体、及び好ましい使用モード、さらなる目的及び効果は、添付の図面と併せて読むと、開示の例示的な態様の以下の詳細な説明を参照することによって最もよく理解されるであろう。

図１は、位置特定システムの動作環境の一例を示す概略図である。 図２は、位置特定システムの例示的な実施形態によって利用され得る方法の一例を示すフローチャートを示す。 図３は、３次元地図データをカメラ画像に投影する方法の一例を示すフローチャートである。 図４は、投影された３次元地図データをカメラ画像と比較する方法の一例を示すフローチャートである。 図５は、地図座標系における３次元地図データの一例を示す図である。 図６は、車両座標系における３次元地図データの一例を示す図である。 図７は、カメラ座標系における３次元地図データの一例を示す図である。 図８は、図５〜図７の地図データに対応するカメラ画像の一例を示す図である。 図９は、カメラ画像への地図データの投影の一例を示す図である。 図１０は、マスクされたカメラ画像と線を引いた地図データの一例を示す図である。 図１１は、カメラ画像への地図データの異なる投影の別の例を示す図である。 図１２は、方向に基づいたエッジマッチングの一例を示す。 図１３は、本開示の実施形態に従って使用するための様々なハードウェア構成要素及び他の機能装備の一例を示すシステム図である。 図１４は、本開示の実施形態に係る、様々なシステム構成要素例のブロック図である。

以下において、本明細書で使用される選択された用語の定義が示される。それら定義には、用語の範囲内にあり且つ実施するために使用され得る様々な例及び／又は構成要素の形態が含まれる。これらの例に、限定されるものではない。

本明細書で使用する「位置（ｌｏｃａｔｉｏｎ）」という用語は、空間内の物体の位置を指す。位置は、座標系を用いて示すことができる。例えば、位置は、経度及び緯度として表すことができる。別の実施形態では、位置は、高度を含むことができる。

本明細書で使用する「姿勢（ｐｏｓｅ）」という用語は、空間における物体の向きを指す。例えば、姿勢は、物体のピッチ、ヨー、及びロールを含むことができる。

用語「位置特定」は、物体の位置及び／又は姿勢を決定することを指す。

本明細書で使用される「プロセッサ」は、信号を処理し、一般的な計算及び算術機能を実行する。プロセッサによって処理される信号は、受信、送信、及び／又は検出可能な、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は他の演算結果を含むことができる。

本明細書で使用される「バス」は、単数又は複数のシステム内のコンピュータ構成要素間でデータを転送するように動作可能に相互接続されたアーキテクチャを指す。バスは、特に、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスとすることができる。バスは、特に、コントローラエリアネットワーク（ＣＡＮ）、ローカル相互接続ネットワーク（ＬＩＮ）等のプロトコルを使用して車両内の構成要素を相互接続する車両バスであってもよい。

本明細書で使用される「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含むことができる。不揮発性メモリは、例えば、ＲＯＭ（読み出し専用メモリ）、ＰＲＯＭ（プログラム可能な読み出し専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を含み得る。揮発性メモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）及びダイレクトラムバスＲＡＭ（ＤＲＲＡＭ）を含み得る。

本明細書で使用される「動作可能な接続」は、実体的なもの（ｅｎｔｉｔｉｅｓ）が「動作可能に接続される」接続であり、該接続においては、信号、物理的通信、及び／又は論理的通信を送信及び／又は受信することができる。動作可能な接続は、物理インターフェース、データインターフェース及び／又は電気インターフェースを含むことができる。

本明細書で使用される「車両」は、１又は複数の乗員を運ぶことができ、任意の形態のエネルギーによって動力が与えられる任意の移動車両を指す。用語「車両」には、以下に限定されないが、例えば、車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、水上バイク、航空機が含まれる。場合によっては、自動車は、１つ又は複数のエンジンを含む。

ここで図面を参照すると、その中に示されているものは、本開示の１又は複数の例示的な実施形態を説明する目的のために示されており、本発明を限定する目的で示されているものではない。

図１は、位置特定システム１１０の動作環境１００の一例を示す概略図であり、本開示の一実施形態に係る方法の例を示す。例えば、位置特定システム１１０は、車両１０２内に存在する。位置特定システム１１０の構成要素並びに本明細書に記載される他のシステム、ハードウェアアーキテクチャ及びソフトウェアアーキテクチャの構成要素は、組み合わされたり、省略されたり、組織化されたりすることで、種々の実施例のために異なるアーキテクチャとして構成される。しかしながら、本明細書で説明する開示の実施例は、対応するシステム構成要素及び関連する方法と共に、図１に示すような環境１００に焦点を当てている。

図１に示すように、車両１０２は、一般に、複数の車両システムを動作可能に制御する電子制御ユニット（ＥＣＵ）１１２を備えている。車両システムは、位置特定システム１１０を含み、また特に、車両ＨＶＡＣシステム、車両オーディオシステム、車両ビデオシステム、車両インフォテイメントシステム、車両電話システム等を含むが、これらに限定されない。車両位置特定システム１１０は、車両ＧＰＳ受信機１１４を有する。以下により詳細に説明するように、車両ＧＰＳ受信機１１４は、ＥＣＵ１１２に接続され、車両１０２の位置及び姿勢の推定値を提供することができる。別の実施形態では、位置特定システム１１０は、ＧＰＳ受信機１１４、オドメトリセンサ１１６、カメラ１１８、及び地図データベース１２０と通信して車両１０２の位置特定を行う（例えば、車両１０２の位置及び姿勢を決定する）ためのプロセッサ１２２及びメモリ１２４を含む。

ＥＣＵ１１２は、内部処理メモリと、インターフェース回路と、データを転送し、コマンドを送信し、車両システムと通信するためのバスラインとを含む。一般に、ＥＣＵ１１２は、プロセッサ及びメモリ（図示せず）を含む。車両１０２はまた、位置特定システム１１０の様々な構成要素の間において内部でデータを送信するためのバスを含むこともできる。車両１０２はさらに、車両１０２内の機能装備（ｆｅａｔｕｒｅｓ）及びシステムに対して並びに外部装置に対して電子信号を送信／受信するために様々なプロトコルを利用して、有線又は無線コンピュータ通信を提供するための通信装置１２６（例えば、無線モデム）を含む。一般に、これらのプロトコルは、無線システム（例えば、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５．１（ブルートゥース（登録商標）））、近距離通信システム（ＮＦＣ）（例えば、ＩＳＯ１３１５７）、ローカルエリアネットワーク（ＬＡＮ）、及び／又はポイントツーポイントシステムを含むことができる。さらに、車両１０２の通信装置は、電子制御ユニット１０４と車両の機能装備及びシステムとの間のデータ入力及び出力を容易にするために、バス（例えば、コントローラエリアネットワーク（ＣＡＮ）又はローカル相互接続ネットワーク（ＬＩＮ）プロトコルバス）を介して内部コンピュータ通信ができるように動作可能に接続されてもよい。

車両１０２はまた、車両の動きに関するデータを制御及び提供することができるオドメトリセンサ１１６を含む。例えば、オドメトリセンサは、車速、アイドリング速度、及びエンジンスロットル位置を提供するエンジン制御ユニット（図示せず）を含むことができる。本開示の一実施形態では、オドメトリセンサ１１６はさらに、車両のトランスミッション（すなわち、パワートレイン）システムに関するデータを提供するトランスミッション制御ユニット（図示せず）を含むことができる。例えば、エンジン制御ユニット及び／又はトランスミッション制御ユニットは、車両１０２が運動状態にあるか否かを示すデータを、電子制御ユニット１１２及び／又は車両システム（例えば、位置特定システム１１０）に提供することができる。

オドメトリセンサ１１６はまた、車速センサ（例えば、車輪速度センサ）及びブレーキ信号センサを含むが、これに限定されない。車速センサは、動作中の車両１０２に関する速度データを提供する。言い換えれば、車速センサは、電子制御ユニット１１２及び／又は位置特定システム１１０に、車両１０２が移動しているか否かのデータを提供する。ブレーキ信号センサは、車両ブレーキシステム及び／又はブレーキライトスイッチから送られる信号を感知して、車両ブレーキがいつ運転者によって係合及び非係合されたかを決定することができる。ブレーキ信号センサはまた、車両１０２のブレーキパッドが車両制動を行うために利用されるたびに作動データを提供するブレーキパッドセンサを含むことができる。ブレーキ信号センサはまた、いつ車両１０２が移動状態にないかに関する情報を提供することができる。

車両１０２はまた、車両１０２の周囲の環境のカメラ画像を取得するためのカメラ１１８を含む。一実施形態では、カメラ１１８は、運転者の視点と同様の視点から画像を得るために、正面向きの方向に取り付けられている。例えば、カメラ１１８は、車両１０２のフロントガラスの上部付近に取り付けられる。カメラ１１８は、高品質デジタル画像又はビデオを得ることができるデジタルカメラであってもよい。一実施形態では、カメラ１１８は、車両１０２に対して較正される。例えば、カメラ１１８は、カメラ１１８を使用して既知の寸法を有するパターン（例えば格子状パターン（ｃｈｅｃｋｅｒｂｏａｒｄ ｐａｔｔｅｒｎ））の画像を取得することによって較正される。カメラ１１８の較正は、カメラ１１８の姿勢と車両１０２の姿勢との間の関係に関する情報を提供することができる。

車両１０２は、地図データベース１２０を含むことができる。本開示の一実施形態では、地図データベース１２０は、３次元地図データを記憶するコンピュータ可読記憶媒体である。３次元地図データは、通信装置１２６を介してダウンロード又は更新することができる。例えば、位置特定システム１１０は、地図サーバ（図示せず）と通信して、地図データベース１２０に格納するための３次元地図データを得ることができる。一実施形態では、３次元地図データは、様々な特徴に対応するデータ点を含むことができる。それら特徴は、平面（例えば、平坦）特徴と、垂直成分を有する特徴との両方を含むことができる。例えば、３次元地図データは、限定されないが、連続線のレーンマーキング及び破線のレーンマーキング、縁石、横断歩道、道路標示及び交通標識等の特徴を含むことができる。データ点は、３次元座標によって定義された特定の位置での実際の特徴に対応する。３次元地図データはさらに、特徴を特定する注釈及び／又はデータ点の分類を示す注釈を含むことができる。

図２を参照して、位置特定システム１１０の一実施例によって利用され得る方法の一例が示される。

ブロック２１０において、方法２００は、車両１０２の位置及び姿勢の推定値を決定するステップを含む。一実施形態では、位置及び姿勢の推定値は、ＧＰＳ受信機１１４から受信したデータに基づく。例えば、位置及び姿勢の推定値は、ＧＰＳ受信機１１４によって決定されたＧＰＳ座標であってもよい。一実施形態では、位置及び姿勢の推定値は、位置及び姿勢の可能な自由度それぞれについて、要素を持たなくてもよい。例えば、位置及び姿勢の推定値は、ピッチ値及びロール値を含まなくてもよいし、或いは初期値（ｄｅｆａｕｌｔ ｖａｌｕｅ）をとってもよい。別の実施形態では、位置及び姿勢の推定値は、予め決定された位置及び姿勢に基づいてもよい。推定値は、オドメトリセンサ１１６から得られる車両運動に関する情報を適用することによって決定されてもよい。

ブロック２２０において、方法２００は、位置及び姿勢の推定値に基づいて３次元地図データを取り出すステップを含む。一実施形態では、例えば、３次元地図データは、位置及び姿勢の推定値に基づいて地図データベース１２０から取り出されてもよい。例えば、地図データベース１２０は、位置推定値から閾値距離内にある位置を有する全てのデータ点を提供する。一実施形態では、データ点はまた、姿勢推定に基づいて選択されてもよい。例えば、ヨー値に基づいて、車両の前方の位置のデータ点のみが取り出されてもよい。

ブロック２３０において、方法２００は、車載カメラからカメラ画像を取得するステップを含む。一実施形態では、例えば、カメラ１１８は、カメラ画像を取得する。カメラ画像は、例えば、位置及び姿勢の推定値が生成される時に、カメラ１１８によって生成される現在の画像であってもよい。

ブロック２４０において、方法２００は、オプションとして、車両の位置及び姿勢の推定値のための複数の粒子（ｐａｒｔｉｃｌｅｓ）を生成するステップを含んでもよい。一実施形態では、例えば、各粒子は、車両１０２又はカメラ１１８が取り得る位置及び姿勢を仮想的に表すことができる。すなわち、各粒子は、カメラの有効な位置のための北、東、下、ヨー、ピッチ、及びロール座標として表されてもよい。確率が各粒子に関連付けられる。粒子は、位置及び姿勢の推定値、車両のオドメトリ情報、位置及び姿勢のノイズ及び変動、及び／又はランダム又は疑似ランダム因子に基づいて生成されてもよい。例えば、プロセッサ１２２は、前回の位置・姿勢及び車両のオドメトリ情報から、位置及び姿勢の推定値の推定される変化を決定することができる。次に、プロセッサ１２２は、推定された変化にランダム又は擬似ランダムスケーリング因子（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）を適用して、車両の新しい位置及び姿勢について、複数の可能性の高い仮想値を生成することができる。

ブロック２５０において、方法２００は、位置及び姿勢の推定値に基づいてカメラ画像上に３次元地図データを投影するステップを含む。一実施形態では、例えば、プロセッサ１２２は、位置及び姿勢の推定値に基づいて、カメラ画像上に３次元地図データを投影する。一般に、カメラ画像上に３次元地図データを投影するステップは、位置及び姿勢の推定値に基づいて、３次元地図データ点に対応する特徴物が画像内において生じると予想されるカメラ画像の画素を決定するステップを含むことができる。図３に関して以下に詳細に説明するように、３次元地図データを投影するステップには、データ点を、地図空間又は地図座標系からカメラ空間又はカメラ座標系に変換することが含まれる。投影は、較正中に決定された固有のカメラパラメータを使用することができる。例えば、カメラ基準座標系の座標ＸＸｃ＝［Ｘｃ；Ｙｃ；Ｚｃ］を有する点Ｐの投影は、以下の式によって、点Ｐ（ｘ_p、ｙ_p）に投影される。

文字「ｆｃ」は、焦点距離パラメータを示す２×１のベクトルである。文字「ａｌｐｈａ＿ｃ」は、スキュー係数である。文字「ｃｃ」は、主点である。文字「ｘ_d」は、以下の式によって与えられる歪み後の正規化された画像投影である。

文字「ｒ」は、ｒ²＝ｘ²＋ｙ²によって定義される。文字「ｘ（ｎ）」は、正規化された画像投影である。文字ｄｘは、以下の式によって与えられる接線ひずみベクトルである。

文字「ｘｎ」は、以下の式で与えられる正規化された画像投影である。

ブロック２６０において、方法２００は、投影された３次元地図データをカメラ画像と比較するステップを含む。一実施形態では、例えば、プロセッサ１２２は、投影された３次元地図データをカメラ画像と比較する。１つの実施形態において、比較は、３次元地図データのエッジをカメラ画像のエッジと比較するためにチャンファーマッチング（ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ）技術を使用することができる。比較はまた、投影された３次元地図データがカメラ画像とどれほど密接にマッチング又は相関するかを示すマッチングメトリック（ｍａｔｃｈｉｎｇ ｍｅｔｒｉｃ）を決定することを含むことができる。

ブロック２７０において、方法２００は、比較するステップに基づいて、車両の位置及び姿勢を決定するステップを含む。一実施形態では、例えば、プロセッサ１２２は、車両の位置及び姿勢を決定する。本開示の１つの実施形態では、車両の位置及び姿勢を決定するステップは、最良のマッチングメトリックを有する粒子を選択することを含む。別の実施形態では、車両の位置及び姿勢を決定することは、比較に基づいて、位置及び姿勢の推定値に対する補正を決定することを含む。

次に、図３を参照して、３次元地図データをカメラ画像上に投影するための位置特定システム１１０の変形例によって利用され得る例示的な方法３００が説明される。一実施形態では、方法３００は、方法２００のブロック２５０に対応する。

ブロック３１０において、方法３００は、３次元地図データを地図座標系から車両座標系に変換するステップを含む。本開示の一実施形態では、３次元地図データは、グローバル座標系に従って格納される。例えば、３次元地図データの各データ点は、北（Ｎｏｒｔｈ）、東（Ｅａｓｔ）、及び下（Ｄｏｗｎ）座標（ＮＥＤ座標）を含むことができる。ＮＥＤ座標は、固定されたグローバル座標系の原点に基づくことができる。車両ナビゲーションシステムは、異なる座標系を使用してもよい。例えば、車両ナビゲーションシステムは、車両１０２の出発位置又は車両１０２の現在位置を原点とすることができる。プロセッサ１２２は、異なる原点に基づく変換（ｔｒａｎｓｌａｔｉｏｎ）を適用することによって、受信した３次元地図データを車両座標系に変換することができる。

ブロック３２０において、方法３００は、地図データを、車両座標系からカメラ座標系へ変換するステップを含む。本開示の一実施形態では、カメラ座標系は、車両座標系に対して回転される。例えば、車両座標系は、一般に、トップダウン又は鳥瞰図の視点であるが、カメラ座標系は、前方視の視点である。従って、車両座標系における高さは、カメラ座標系における垂直座標に対応し、車両１０２に対するカメラ１１８のピッチに依存する。同様に、北座標及び東座標は、車両１０２に対するカメラ１１８の姿勢に依存する。車両座標系とカメラ座標系との間の関係は、既知の位置の既知のパターンの画像を使用してカメラ１１８を較正することによって確定させることができる。こうして、プロセッサ１２２は、車両座標系の地図データをカメラ座標系に変換することができる。

ブロック３３０において、方法３００は、３次元地図データをカメラ座標系からカメラ画像に投影するステップを含む。３次元地図データの投影において、３次元地図データは２次元の点（例えば、ピクセル）に変換される。投影はカメラの位置及び姿勢の推定値に基づく。本開示の一実施形態では、各粒子は、位置及び姿勢の仮想値を表し、投影は、各粒子に対して実行される。本開示の別の実施形態では、カルマンフィルタ等の単一の仮説推定法（ｓｉｎｇｌｅ ｈｙｐｏｔｈｅｓｉｓ ｅｓｔｉｍａｔｏｒ）が使用される。ブロック３１０、３２０、３３０に記載された変換のうちの２つ以上を数学的に組み合わせて単一の変換を生成してもよいことに留意されたい。

ブロック３４０において、方法３００は、オプションとして、勾配に基づいて３次元地図データ内に投影された線を延長するステップを含む。本開示の一実施形態では、３次元地図データは、線を、一連のデータ点として表すことができる。データ点がカメラ画像に投影される場合、データ点が接続されない場合がある。プロセッサ１２２は、２以上の投影データ点（例えば、ピクセル）に基づいて勾配を決定することができる。次いで、プロセッサ１２２は、勾配に基づいて追加のピクセルを決定することによって、線を延長することができる。一実施形態では、線は、勾配に基づいてカメラ画像の縁まで延長される。

次に図４を参照して、投影された３次元地図データをカメラ画像と比較するための位置特定システム１１０の実施形態によって利用され得る例示的な方法４００が説明される。一実施形態では、方法４００は、方法２００のブロック２６０に対応する。

ブロック４１０において、方法４００は、カメラ画像でエッジ検出を行うステップを含む。エッジ検出のための様々な方法及びアルゴリズムは、画像処理の分野において知られており、プロセッサ１２２は、それらを使用することによって、カメラ画像内のエッジを検出することができる。一般に、エッジ検出アルゴリズムは、隣接するピクセル間の特性の変化を判定して、エッジを特定することができる。一実施形態では、エッジ検出を実行すると、エッジ及びそれに付随した方向のセットが生成される。本開示の一実施形態では、キャニー法（Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒ）等の一般的なエッジ検出法を使用することができる。別の実施形態では、例えばスティアラブルフィルタ（ｓｔｅｅｒａｂｌｅ ｆｉｌｔｅｒ）を使用して路面マーキング又は縁石に沿ったエッジを検出するように、エッジ検出法を調整してもよい。別の実施形態では、エッジ検出は、外れ値を除去するためにｎｏｎ−ｍａｘｉｍａ ｓｕｐｐｒｅｓｓｉｏｎ処理を適用することを含むこともできる。接続されたエッジを選択するために、ヒステリシス閾値処理（ｈｙｓｔｅｒｅｓｉｓ ｔｈｒｅｓｈｏｌｄｉｎｇ）を適用することもできる。

ブロック４２０において、方法４００は、オプションとして、３次元地図データ及びカメラ画像の一方又は両方にマスクを適用するステップを含む。マスクは、比較のためのエッジの数を減らすことができる。例えば、マスクは、極小点によって引き起こされるエッジを除去することができる。別の例として、マスクを適用するステップは、障害物（ｏｃｃｌｕｄｉｎｇ ｏｂｊｅｃｔｓ）を特定し、該障害物にマスクを適用するステップを含む。例えば、画像内に他の車両が検出された場合には、検出された他の車両によってブロックされる画像の部分にマスクを適用することによって、検出された他の車両のエッジは、投影された３次元地図データと比較されないようにできる。

ブロック４３０において、方法４００は、カメラ画像のエッジと投影された地図データのエッジとの間の最短距離を決定するステップを含む。最短距離は、チャンファー距離（ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）と呼ばれる。一実施形態では、プロセッサ１２２は、カメラ画像のエッジのピクセル座標を、最も近くに位置する投影された地図データ点のピクセル座標と比較する。一実施形態では、エッジは、方向に基づいてマッチングされる。例えば、エッジは、同様の方向を有するエッジとのみマッチングされる（例えば、マッチングしたエッジの方向は、閾値角度内にある）。一実施形態では、エッジ間のチャンファー距離は、マンハッタン距離（すなわち、水平距離と垂直距離の合計）として測定されてもよい。

ブロック４４０において、方法４００は、投影された地図データのためのマッチングメトリックを決定するステップを含む。マッチングメトリックは、カメラ画像のエッジと投影された地図データのエッジとの間の類似度を示す任意のメトリックである。１つの実施形態では、マッチングメトリックは、マッチングエッジ間のチャンファー距離の合計である。一実施形態では、マッチングメトリックは、外れ値を除外するために、エッジの一部（例えば、最も近い９０％）に基づく。さらに、マッチングメトリックを決定する際に、カメラ画像及び／又は投影された地図データのマスクされた部分を除外してもよい。上述したように、マッチングメトリックは、車両１０２又はカメラ１１８の現在の位置及び姿勢として最良の粒子を選択するために、方法２００のブロック２７０において使用されてもよい。

次に、図５〜図７を参照して、３次元地図データの座標系の変換の例について説明する。図５は、一実施形態に係る地図データベースに格納された３次元地図データの一例を示す。該３次元地図データは、交差点又は２つの多車線道路を含む。縁石、車線マーキング、及び横断歩道は、該３次元地図データ内にデータ点として含まれる。図示されているように、北座標はｘ軸に関連付けられ、東座標はｙ軸に関連付けられ、下座標はｚ軸に関連付けられる。図示した例では、道路は北又は東に真っ直ぐに走っていない。

図６は、車両座標系における３次元地図データの一例を示す図である。図６に示すように、車両１０２は、座標系の原点に位置している。さらに、座標系の軸は、車両１０２の軸に合わせられている。従って、図示されているように、道路は、座標系の軸に沿っている（自動車が道路に沿って移動していると仮定）。例えば、ｘ軸は、車両１０２の前方の距離を示し、ｙ軸は、車両１０２の側部までの距離を示し、ｚ軸は、車両１０２の上方又は下方の距離を示す。図７は、カメラ座標系における３次元地図データを示す。この場合、カメラ位置（車両位置と同じ）は、座標系の原点に位置している。カメラ座標系は、鳥瞰図の視点ではなく、前方を向いた視点からのものである。例えば、図示されているように、ｘ軸はカメラの側部までの距離に対応し、ｙ軸はカメラの上方又は下方の距離に対応し、ｚ軸はカメラの前方の距離に対応する。座標系間の変換は、使用される特定の座標系に基づく線形変換を使用してプロセッサ１２２によって決定される。

図８〜図１０を参照して、エッジマッチングの一例について説明する。図８は、カメラ画像８００の一例を示す図である。カメラ画像８００は、カメラ１１８から取得することができ、車両１０２の運転者の視点と同様の視点からのものである。一実施形態では、図８のカメラ画像は、図５〜図７に示す３次元地図データにおける交差点の画像である。図９は、第１の粒子又は第１の位置及び姿勢の推定値に従ってカメラ画像８００に投影された３次元地図データを示す。示されるように、３次元地図データの投影データ点９００は、カメラ画像内の個々のピクセルとして投影される。

図１０は、マスキング及び線を引いた後のカメラ画像８００及び投影データ点９００の例を示す。例えば、マスク１０１０によって、道路の亀裂によって引き起こされるカメラ画像８００における極小点を除去することができる。他の例として、マスク１０２０は、道路上の（地図データにはない）他の車両を除去する。さらに、投影データ点９００の個々の点は、線を引くことによって接続される。図１０に示すように、投影されたデータ点９００は、カメラ画像８００内の道路マーキング及び縁石に位置がそろっている。一方、図１１は、異なる粒子又は異なる位置及び姿勢の推定値に基づく投影データ点１１００の別のセットを示す。図１１に示されるように、投影データ点１１００は、カメラ画像８００のランドマーク及び縁石から前方及び左にシフトしている。従って、マッチングメトリックに基づいて、プロセッサ１２２は、投影データ点９００に対応する粒子が、投影データ点１１００に対応する粒子よりも良好な粒子であると判定することができる。従って、プロセッサ１２２は、投影データ点９００に対応する粒子の位置及び姿勢が、車両１０２又はカメラ１１８の現在の位置及び姿勢であると判断することができる。

図１２は、エッジの方向に基づくエッジマッチングの例を示す。左の例では、方向を考慮せずにエッジがマッチングされている。従って、テンプレートエッジ点は、最短距離に基づいて、対応する画像エッジ点とマッチングされている。方向を考慮しないマッチングの場合、同じ画像エッジ点に対して、複数のテンプレート点がマッチングされ、マッチングメトリックの過小評価となる。右の例では、方向を考慮してエッジがマッチングされている。従って、各テンプレートエッジ点は、同様の方向を有する対応する画像エッジ点とマッチングされている。例えば、エッジの方向は、互いに閾値角度内にある。右側の例に示すように、同様の方向を有する対応する画像エッジ点は、最も近いエッジ点よりも遠く離れている。しかしながら、右側の例に示す距離は、テンプレートエッジと画像エッジとの相関を決定するためのより正確なメトリックとなる。

本開示の実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実行することができ、１つ又は複数のコンピュータシステム又は他の処理システムで実行することができる。一実施形態では、本開示は、本明細書に記載の機能を実行することができる１つ又は複数のコンピュータシステムで行われる。そのようなコンピュータシステム１３００の例を図１３に示す。

図１３は、本開示の実施形態に従って使用され得る様々なハードウェア構成要素及び他の機能装備の例示的なシステム概略図を示す。本開示の実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実行することができ、１つ又は複数のコンピュータシステム又は他の処理システムで実行することができる。一変形例では、本開示の実施形態は、本明細書に記載の機能を実行することができる１つ又は複数のコンピュータシステムで行われる。そのようなコンピュータシステム１３００の一例を図１３に示す。

コンピュータシステム１３００は、１つ又は複数のプロセッサ（例えば、プロセッサ１３０４）を含む。プロセッサ１３０４は、通信インフラストラクチャ１３０６（例えば、通信バス、クロスオーバーバー、又はネットワーク）に接続される。この例示的なコンピュータシステムの観点から、様々なソフトウェアの実施形態が説明される。この説明を読めば、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示の実施形態を実行する方法は、当業者には明らかであろう。

コンピュータシステム１３００は、ディスプレイユニット１３３０上に表示するために、通信インフラストラクチャ１３０６（又は、図示されていないフレームバッファ）からグラフィックス、テキスト、及び他のデータを転送するディスプレイインターフェース１３０２を含む。コンピュータシステム１３００はまた、メインメモリ１３０８、好ましくはランダムアクセスメモリ（ＲＡＭ）を含み、また、２次メモリ１３１０を含んでもよい。２次メモリ１３１０は、例えば、ハードディスクドライブ１３１２及び／又はリムーバブルストレージドライブ１３１４（フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ等）を含む。リムーバブルストレージドライブ１３１４は、周知の方法で、リムーバブルストレージユニット１３１８から読み取り、及び／又はリムーバブルストレージユニット１３１８に書き込む。リムーバブルストレージユニット１３１８は、フロッピーディスク、磁気テープ、光ディスク等であり、リムーバブルストレージドライブ１３１４によって読み出され、またリムーバブルストレージドライブ１３１４に書き込まれる。理解されるように、リムーバブルストレージユニット１３１８は、コンピュータソフトウェア及び／又はデータを記憶したコンピュータ使用可能記憶媒体を含む。

別の実施形態では、２次メモリ１３１０は、コンピュータプログラム又は他の命令がコンピュータシステム１３００にロードされることを可能にするための他の同様のデバイスを含むことができる。そのようなデバイスは、例えば、リムーバブルストレージユニット１３２２及びインターフェース１３２０を含むことができる。そのような例には、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲーム装置に見られるもの等）、リムーバブルメモリチップ（消去可能なプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、又はプログラム可能な読み出し専用メモリ（ＰＲＯＭ）等）、対応するソケット、及び他のリムーバブルストレージユニット１３２２及び、リムーバブルストレージユニット１３２２からコンピュータシステム１３００にソフトウェア及びデータを転送することを可能にするインターフェース１３２０を含む。

コンピュータシステム１３００はまた、通信インターフェース１３２４を含んでもよい。通信インターフェース１３２４は、ソフトウェア及びデータがコンピュータシステム１３００と外部装置との間で転送されることを可能にする。通信インターフェース１３２４の例には、モデム、ネットワークインターフェース（イーサネットカード等）、通信ポート、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）スロット及びカード等が含まれる。通信インターフェース１３２４を介して転送されるソフトウェア及びデータは、通信インターフェース１３２４によって受信可能な電子信号、電磁信号、光学信号又は他の信号等の信号１３２８の形態をとる。これらの信号１３２８は、通信経路（例えば、チャネル）１３２６を介して通信インターフェース１３２４に供給される。この経路１３２６は、信号１３２８を搬送し、ワイヤ又はケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（ＲＦ）リンク及び／又は他の通信チャネルを使用して実現される。この明細書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能媒体」という用語は、リムーバブルストレージドライブ１３８０やハードディスクドライブ１３７０にインストールされたハードディスクや信号１３２８等のメディアを総称するために使用される。これらのコンピュータプログラム製品は、コンピュータシステム１３００にソフトウェアを提供する。本発明の実施形態は、そのようなコンピュータプログラム製品を対象にしている。

コンピュータプログラム（コンピュータ制御論理とも呼ばれる）は、メインメモリ１３０８及び／又は２次メモリ１３１０に格納される。コンピュータプログラムは、通信インターフェース１３２４を介して受信することもできる。このようなコンピュータプログラムが実行されると、コンピュータシステム１３００は、本明細書で説明されるように、本発明の実施形態に係る様々な特徴機能を実行する。特に、コンピュータプログラムは、実行されると、プロセッサ１３０４にそのような特徴を実行させる。従って、そのようなコンピュータプログラムは、コンピュータシステム１３００のコントローラとして機能する。

本発明の実施形態がソフトウェアを使用して実施される変形形態では、ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ１３１４、ハードドライブ１３１２、又は通信インターフェース１３２０を使用して、コンピュータシステム１３００にロードされる。制御ロジック（ソフトウェア）は、プロセッサ１３０４によって実行されると、プロセッサ１３０４に、本明細書に記載される本発明の実施形態に係る機能を実行させる。別の変形形態では、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェア構成要素を使用して、主にハードウェアで実施される。本明細書で説明された機能を実行するためのハードウェア状態機械の実施は、当業者には明らかであろう。

さらに別の変形例では、ハードウェアとソフトウェアの両方の組み合わせを使用して実施される。

図１４は、本発明の実施形態に係る、様々な例示的なシステム構成要素のブロック図である。図１４は、本開示に従って使用可能な通信システム１４００を示す。通信システム１４００は、１つ又は複数のアクセス者（ａｃｃｅｓｓｏｒｓ）１４６０、１４６２（本明細書では１又は複数の「ユーザ」と交換可能に呼ばれる）及び１又は複数の端末１４４２、１４６６を含む。一実施形態では、本発明の実施形態に従って使用するためのデータは、ネットワーク１４４４（例えば、インターネット又はイントラネット等）及び結合装置１４４５、１４４６、１４６４を介して、プロセッサ及びデータ保存場所及び／又はデータ保存場所への接続を有するサーバ１４４３（例えば、ＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、又は他のデバイス等）に結合された端末１４４２、１４６６（例えば、パーソナルコンピュータ（ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、パーソナルデジタルアシスタント（「ＰＤＡ」）やハンドヘルド無線デバイス等の無線デバイス等）を介して、アクセス者１４６０、１４６２によって、例えば、入力及び／又はアクセスされる。結合装置１４４５、１４４６、１４６４としては、例えば、有線、無線、又は光ファイバのリンク等が挙げられる。他の変形例では、本発明の実施形態による方法及びシステムは、単一の端末のようなスタンドアロン環境で動作する。

本明細書で説明される実施形態は、コンピュータ実行可能命令を格納するコンピュータ可読記憶媒体との関連において、説明され実施されてもよい。コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含む。例えば、フラッシュメモリドライブ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フロッピーディスク、テープカセット等である。コンピュータ可読記憶媒体としては、コンピュータ可読命令、データ構造、モジュール又は他のデータのような情報を記憶するための任意の方法又は技術で実施される揮発性及び不揮発性、取り外し可能な媒体及び取り外し不可能な媒体が挙げられる。

上記に開示された特徴及び機能、及び他の特徴及び機能、又はその代替形態又は変形形態の様々な実施形態を望ましいように組み合わせて、多くの他の異なるシステム又はアプリケーションとして構成してもよいことは理解されよう。 また、以下の請求項に包含されることが意図されるが、現在は予測されていない、又は予想されていない種々の代替、変形、変更、又は改良は、当業者であれば、引き続き行うことができる。

Claims (20)

1. 車両の位置及び姿勢を決定する方法であって、
   該方法は、
   位置及び姿勢の推定値を決定するステップと、
   前記位置及び姿勢の推定値に基づいて３次元地図データを取り出すステップと、
   車載カメラからカメラ画像を取得するステップと
   前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記３次元地図データを投影するステップと、
   投影された前記３次元地図データを前記カメラ画像と比較するステップと、
   前記比較するステップに基づいて前記車両の前記位置及び姿勢を決定するステップと
   を含む、車両の位置及び姿勢を決定する方法。
2. 請求項１記載の車両の位置及び姿勢を決定する方法において、
   前記カメラ画像上に前記３次元地図データを投影する前記ステップは、
   前記３次元地図データを地図座標系から車両座標系に変換するステップと、
   前記地図データを前記車両座標系からカメラ座標系に変換するステップと、
   前記３次元地図データを前記カメラ座標系から前記カメラ画像上に投影するステップと
   を含む、車両の位置及び姿勢を決定する方法。
3. 請求項２記載の車両の位置及び姿勢を決定する方法において、
   前記地図データを前記車両座標系から前記カメラ座標系に変換する前記ステップは、カメラ較正に基づいて行われる、車両の位置及び姿勢を決定する方法。
4. 請求項１記載の車両の位置及び姿勢を決定する方法において、
   投影された前記３次元地図データを前記カメラ画像と比較する前記ステップは、前記カメラ画像のエッジを投影された前記３次元地図データのエッジとマッチングするステップを含む、車両の位置及び姿勢を決定する方法。
5. 請求項４記載の車両の位置及び姿勢を決定する方法において、
   マッチングする前記ステップは、
   前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定するステップと、
   前記カメラ画像の前記エッジのセットの各エッジと投影された前記地図データのエッジとの間の最短距離を決定するステップと
   をさらに含む、車両の位置及び姿勢を決定する方法。
6. 請求項５記載の車両の位置及び姿勢を決定する方法において、
   前記カメラ画像の前記エッジの方向は、投影された前記地図データの前記エッジの閾値角度内にある、車両の位置及び姿勢を決定する方法。
7. 請求項１記載の車両の位置及び姿勢を決定する方法において、
   該方法は、前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成するステップをさらに含み、
   投影された前記３次元地図データを前記カメラ画像と比較する前記ステップは、
   各粒子についてマッチングメトリックを決定するステップと、
   最良のマッチングメトリックを有する粒子を選択するステップと
   を含む、車両の位置及び姿勢を決定する方法。
8. 請求項１記載の車両の位置及び姿勢を決定する方法において、
   前記マッチングメトリックは、チャンファー距離（ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）メトリックである、車両の位置及び姿勢を決定する方法。
9. 請求項１記載の車両の位置及び姿勢を決定する方法において、
   該方法は、前記３次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するステップをさらに含み、前記マスクは前記比較のためのエッジの数を減少させる、車両の位置及び姿勢を決定する方法。
10. 請求項１記載の車両の位置及び姿勢を決定する方法において、
    前記カメラ画像上に前記３次元地図データを投影する前記ステップは、
    投影された前記地図データにおける線の勾配を決定するステップと、
    前記線に沿った任意のピクセルに前記勾配を割り当てるステップと、
    前記勾配を使用して、前記線を、前記カメラ画像の縁まで延長するステップと、
    を含む、車両の位置及び姿勢を決定する方法。
11. 車両の位置及び姿勢を決定するシステムであって、
    該システムは、
    前記車両の位置及び姿勢の推定値を決定するように構成された全地球測位システム受信機と、
    前記位置及び姿勢の推定値に基づいて３次元地図データを提供するように構成された地図データベースと、
    カメラ画像を取得するように構成された車載カメラと、
    メモリに通信可能に結合されたプロセッサと、
    を備え、
    前記プロセッサは、
    前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記３次元地図データを投影し、
    投影された前記３次元地図データを前記カメラ画像と比較し、
    前記比較に基づいて前記車両の前記位置及び姿勢を決定する、
    車両の位置及び姿勢を決定するシステム。
12. 請求項１１記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記カメラ画像上に前記３次元地図データを投影する前記プロセッサは、
    前記３次元地図データを地図座標系から車両座標系に変換し、
    前記地図データを前記車両座標系からカメラ座標系に変換し、
    前記３次元地図データを前記カメラ座標系から前記カメラ画像上に投影する、
    車両の位置及び姿勢を決定するシステム。
13. 請求項１２記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサは、カメラ較正に基づいて、前記地図データを前記車両座標系から前記カメラ座標系へ変換するように構成される、車両の位置及び姿勢を決定するシステム。
14. 請求項１１記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサは、前記カメラ画像のエッジと、投影された前記３次元地図データのエッジとをマッチングさせることによって、投影された前記３次元地図データを前記カメラ画像と比較するように構成される、車両の位置及び姿勢を決定するシステム。
15. 請求項１４記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサは、
    前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定し、
    前記カメラ画像の前記エッジのセットの各エッジと、投影された前記地図データのエッジとの間の最短距離を決定する、
    車両の位置及び姿勢を決定するシステム。
16. 請求項１５記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサは、前記カメラ画像の前記エッジの方向が、投影された前記地図データの前記エッジの閾値角度内にあることを判定するように構成される、車両の位置及び姿勢を決定するシステム。
17. 請求項１１記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、
    前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成し、
    各粒子についてマッチングメトリックを決定し、
    最良のマッチングメトリックを有する粒子を選択する、
    車両の位置及び姿勢を決定するシステム。
18. 請求項１１記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記マッチングメトリックは、チャンファー距離（ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）メトリックである、車両の位置及び姿勢を決定するシステム。
19. 請求項１記載の車両の位置及び姿勢を決定する方法において、
    前記プロセッサはさらに、前記３次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するように構成され、前記マスクは前記比較のためのエッジの数を減らす、車両の位置及び姿勢を決定する方法。
20. 車両の位置及び姿勢を決定するためのコンピュータ実行可能コードを格納する非一過性のコンピュータ可読媒体であって、
    該媒体は、
    位置及び姿勢の推定値を決定すること、
    前記位置及び姿勢の推定値に基づいて３次元地図データを取り出すこと、
    車載カメラからカメラ画像を取得すること、
    前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記３次元地図データを投影すること、
    投影された前記３次元地図データを前記カメラ画像と比較すること、
    前記比較に基づいて前記車両の前記位置及び姿勢を決定すること、
    を行うためのコードを有する、
    非一過性のコンピュータ可読媒体。

Images