JP2018197744A - 路面標示を用いた都市環境における位置特定 - Google Patents

Abstract

【課題】異なるセンシング方式によって構築された地図に対して測定値を照合すること。
【解決手段】本発明は、都市環境における単眼位置特定のための方法及びシステムに関する。該方法では、ある姿勢におけるカメラから画像が生成され、予め作製された地図が受け取られ、エッジ検出に基づいて、生成された画像から特徴が決定され、少なくとも予め作製された地図に基づいて、カメラの姿勢が予測され、予測されたカメラの姿勢から特徴が決定される。該方法ではさらに、画像及び予測されたカメラの姿勢から決定された特徴に基づいて、チャンファー距離が決定され、オドメトリ情報及びエピポーラ幾何に基づいて、決定されたチャンファー距離が最適化される。最適化に基づいて、推定されたカメラ姿勢が決定される。
【選択図】図４

Description

本発明は、路面標示を用いた都市環境における位置特定に関する。

認知技術、動作計画技術、制御技術及び／又は新たなセンシング技術により、自動運転車の発展は著しい。自律ナビゲーションを実現するためには、正確な位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）が利用される。グローバル・ポジショニング・システム（ＧＰＳ）を使用する場合、都市環境における多経路効果によって不都合が生じることがある。ＧＰＳが不都合となる環境における位置特定に対して、別の技術が使用され得る。

位置特定においては、センサ観測結果と予め既知の地図とを照合させる。地図は、異なるセンサを用いて、人間による測量又はロボットによるマッピングによって作製される。カメラ及び光検出・測距（ＬｉＤＡＲ）装置は、一般的な２つの認知センサである。ＬｉＤＡＲは、一般に正確な測距を行えるので、地図作製に使用される。よく使われる手法としては、地図作製プロセス及び位置特定の両方にＬｉＤＡＲを用いることが挙げられる。

しかしながら、ＬｉＤＡＲのコストは、幅広く使用するには極めて高い。一方、カメラは低コスト且つ軽量であるが、直接に測距を行えないこともあって、ビジュアルマッピング（ｖｉｓｕａｌ ｍａｐｐｉｎｇ）は困難である。課題は、異なるセンシング方式によって構築された地図に対して測定値を照合することである。

上記を考慮すると、自律走行型車両に対する位置特定をより正確に行える方法の必要性が存在する。以下の開示によって、さらなる効果及び新規の特徴が明らかとなるであろう。

この節は、以下の詳細な説明でさらに説明する一群の概念を簡略化した形で紹介するために提供される。この節は、特許請求された主題の重要な特徴を特定することを意図するものではなく、また、請求される主題の範囲を決定する際の助けとして使用されることも意図していない。

本発明の一態様において、位置特定方法が提供される。該方法において、ある姿勢におけるカメラから画像が生成され、予め作製された地図が受け取られ、エッジ検出に基づいて、生成された前記画像から特徴が決定され、少なくとも前記予め作製された地図に基づいて、前記カメラの姿勢が予測され、前記予測されたカメラの姿勢から特徴が決定される。該方法ではさらに、前記画像及び前記予測されたカメラの姿勢から決定された特徴に基づいて、チャンファー距離が決定され、オドメトリ情報及びエピポーラ幾何に基づいて、前記決定された前記チャンファー距離が最適化される。最適化が行われると、その最適化に基づいて、カメラ姿勢推定値が生成される。

本発明の他の態様において、位置特定システムが提供される。該システムは、ある姿勢において画像を生成するカメラと、メモリと、前記メモリに接続されたプロセッサと、と有する。該システムは、予め作製された地図を受け取り、エッジ検出に基づいて、生成された前記画像から特徴を決定し、少なくとも前記予め作製された地図に基づいて前記カメラの姿勢を予測する。該システムはさらに、前記予測されたカメラの姿勢から特徴を決定し、前記画像及び前記予測されたカメラの姿勢から決定された前記特徴に基づいて、チャンファー距離を決定する。該システムはさらに、オドメトリ情報とエピポーラ幾何に基づいて、前記決定された前記チャンファー距離を最適化し、前記最適化されたデータに基づいて、カメラ姿勢推定値を生成する。

本発明の他の態様において、非一過性コンピュータ可読記録媒体が提供される。該非一過性コンピュータ可読記録媒体はプログラムを記憶している。前記プログラムが、システムの回路によって実行される場合、前記システムは、ある姿勢におけるカメラから画像を生成する。該システムは、予め作製された地図を受け取り、エッジ検出に基づいて、生成された前記画像から特徴を決定し、少なくとも前記予め作製された地図に基づいて前記カメラの姿勢を予測する。該システムはさらに、前記予測されたカメラの姿勢から特徴を決定し、前記画像及び前記予測されたカメラの姿勢から決定された前記特徴に基づいて、チャンファー距離を決定する。該システムはさらに、オドメトリ情報とエピポーラ幾何に基づいて、前記決定された前記チャンファー距離を最適化し、前記最適化されたデータに基づいて、カメラ姿勢推定値を生成する。

本開示のこれらの態様及び他の態様は、以下の詳細な説明を検討することにより、より十分に理解されるであろう。

本開示の特徴であると考えられる新規な特徴は、添付の特許請求の範囲に記載されている。以下の説明では、同様の部品は、明細書及び図面全体にわたって同じ番号でそれぞれ示される。図面は必ずしも一定の縮尺で描かれておらず、ある図は明瞭さと簡潔さのために誇張された形態又は一般化された形態で示されている。しかしながら、開示自体、及び好ましい使用モード、さらなる目的及び効果は、添付の図面と併せて読むと、開示の例示的な態様の以下の詳細な説明を参照することによって最もよく理解されるであろう。

図１は、本発明の実施形態に係る最適化に基づく位置特定システムの例示的な動作環境の概略図である。 図２は、本発明の実施形態に係る位置特定に用いられる地図要素の例を示す図である。 図３は、本発明の実施形態に係るテキストフォーマットで保存された地図要素の例を示す図である。 図４は、本発明の実施形態に係る最適化に基づく位置特定システムの全体的なアーキテクチャを示す概念図である。 図５は、本発明の実施形態に係るオブジェクト検出方法及び最適化に基づく位置特定の方法の例を示すフローチャートである。 図５Ａは、本発明の実施形態に係る最適化によって得られたカメラ姿勢を実行するカメラビューに射影されたマップの一例を示す図である。 図６は、本発明の実施形態に係る、使用するための様々なハードウェア構成要素及び他の特徴を例示的に示すシステム図である。 図７は、本発明の実施形態に係る、使用される様々な例示的なシステム構成要素のブロック図である。

以下において、本明細書で使用される選択された用語の定義が示される。それら定義には、用語の範囲内にあり且つ実施するために使用され得る様々な例及び／又は構成要素の形態が含まれる。これらの例に、限定されるものではない。

本明細書で使用される「プロセッサ」は、信号を処理し、一般的な計算及び算術機能を実行する。プロセッサによって処理される信号は、受信、送信、及び／又は検出される、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は他の演算結果を含むことができる。

本明細書で使用される「バス」は、単数又は複数のシステム内のコンピュータ構成要素間でデータを転送するように動作可能に接続された、相互接続アーキテクチャを指す。バスは、特に、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスとすることができる。バスは、特に、コントローラエリアネットワーク（ＣＡＮ）、ローカル相互接続ネットワーク（ＬＩＮ）等のプロトコルを使用して車両内の要素を相互接続する車両バスであってもよい。

本明細書で使用される「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含むことができる。不揮発性メモリは、例えば、ＲＯＭ（読み出し専用メモリ）、ＰＲＯＭ（プログラム可能な読み出し専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を含み得る。揮発性メモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）及び／又はダイレクトラムバスＲＡＭ（ＤＲＲＡＭ）を含み得る。

本明細書で使用される「動作可能な接続」は、実体的なものが「動作可能に接続される」接続であり、該接続においては、信号、物理的通信、及び/又は論理的通信を送信及び／又は受信することができる。動作可能な接続は、物理インターフェース、データインターフェース及び／又は電気インターフェースを含むことができる。

本明細書で使用される「車両」は、任意の形態のエネルギーによって動力が与えられる任意の移動車両を指す。車両は、人間の乗員又は貨物を運ぶことができる。用語「車両」には、以下に限定されないが、例えば、車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、水上バイク、航空機が含まれる。場合によっては、自動車は、１つ又は複数のエンジンを含む。

位置特定は、自動運転車の自律航法において行われる。位置特定プロセスの本質は、センサ測定値を所定の地図と照合することにある。地図は、人間による測量又は異なるセンサを用いたロボットによるマッピングによって生成することができる。言い換えれば、位置特定技術は、測定方式と地図表現とによって分類されてもよい。

位置特定技術の第１のタイプは、位置特定と地図作製の両方に同じタイプのセンサを利用することである。両方のプロセスに同じタイプのセンサを使用することによって、マッチングの問題を大幅に簡単化することができる。例えば、３Ｄ−ＬｉＤＡＲ（例えば、ベロダイン（Ｖｅｌｏｄｙｎｅ））は、両方のプロセスに使用することができる。３Ｄ−ＬｉＤＡＲは、高精度の距離測定を行うからである。３Ｄ−ＬｉＤＡＲは、最初に路面の地図を作製するために実行され、そして、地面反射率を相関させることによって車両の位置特定を行うことができる。別の例では、３Ｄ−ＬｉＤＡＲを使用して、ガウス混合によって表される３Ｄマップを生成することができ、位置特定は、３Ｄポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄｓ）を地図に登録することによって行われる。

第２のタイプの位置特定技術は、低コストで軽量のカメラを利用することで、視認可能なランドマークを用いて視覚的に位置特定を行う。例えば、視認可能なランドマークのデータベースは、スケール不変特徴変換（「ＳＩＦＴ」）点から作成することができる。そして、カメラは、ＳＩＦＴマッチングによって位置特定されてもよい。別の例は、ｂａｇ−ｏｆ−ｗｏｒｄｓ技術を使用して、現在の画像を画像データベースと照合することによってカメラを位置特定するものである。

位置特定と地図作製の両方にカメラを使用することには短所がある。第１に、カメラが距離情報を見る能力を持たないので、ビジュアルマッピング、同時に位置特定及び地図作製を行う技術（ＳＬＡＭ）において高い精度を得ることは困難である。第２に、位置特定における視覚的一致の質は、時間、視点及び照明の変化によって容易に影響され得る。

位置特定及び地図作製において、異なる検知方式を使用することによって、上述の制限を克服することができる。例えば、位置特定には低コストのセンサ（例えば、カメラ）を採用し、地図作製には高コストのセンサ（例えば、ＬｉＤＡＲ）を採用することによって、カメラ姿勢の推定を改善することができる。

位置特定と地図作製で異なる検知方式を使用する根拠は、地図は非常に正確である必要があるが、位置特定ほど頻繁に生成／更新する必要はないということに基づく。従って、単眼カメラを使用して、高精度なＬｉＤＡＲによって生成された地図内にカメラ自身を位置特定させることができる。

図１は、本開示の一実施形態に係る、路面標示を使用して、都市環境における位置特定を行うための位置特定システム１１０の例示的な動作環境１００の概略図である。位置特定システム１１０は、車両１０２内に常駐させることができる。位置特定システム１１０の構成要素、並びに本明細書で記載される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、組み合わせたり、省略したり、又は様々な形態で構成することができる。

車両１０２は一般に、複数の車両システムを動作制御する電子制御ユニット（ＥＣＵ）１１２を有する。車両システムは、制限するものではないが、例えば、単眼位置特定システム１４０を含む位置特定システム１１０、又特に車両ＨＶＡＣシステム、車両オーディオシステム、車両ビデオシステム、車両インフォテインメントシステム、車両電話システム等を含む。単眼位置特定システム１４０は、単眼カメラ１２０、又は以下で詳細に記載される車両１０２を取り囲む環境の画像を提供するためにＥＣＵ１１２に接続することができる他の撮像装置（例えば、スキャナ）を含むことができる。

単眼位置特定システム１４０はまた、地図作製会社によってキャプチャーされ、路面標示、縁石、交通標識等の様々な要素から構成されたＬｉＤＡＲセンサデータユニット１２２を含むことができる。さらに、以下でより詳細に説明するように、エピポーラ幾何ユニット（ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ ｕｎｉｔ）１４６、オドメトリデータユニット（ｏｄｏｍｅｔｒｙ ｄａｔａ ｕｎｉｔ）１４４、及びチャンファー距離ユニット（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ ｕｎｉｔ）１４２を最適化のために利用することもできる。

単眼位置特定システム１４０はまた、エピポーラ幾何ユニット１４６、オドメトリデータユニット１４４及びチャンファー距離ユニット１４２の入力に基づいてカメラ姿勢を推定・評価するための、以下で詳細に説明するが、最適化ユニット１４８を含むことができる。

位置特定システム１１０はまた、カメラ１２０、ＬｉＤＡＲセンサデータユニット１２２、通信装置１３０、及び自動運転システム１３２と通信するプロセッサ１１４及びメモリ１１６を含むことができる。

ＥＣＵ１１２は、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、車両システムと通信するためのバスラインを含む。ＥＣＵ１１２は、内部プロセッサ及びメモリ（図示せず）を含むことができる。車両１０２はまた、位置特定システム１１０の様々な構成要素の間において内部でデータを送信するためのバスを含むこともできる。

車両１０２は、車両１０２内の特徴及びシステム並びに外部装置に対して内部的に電子信号を送信／受信するために様々なプロトコルを利用して、有線又は無線コンピュータ通信を提供するための通信装置１３０（例えば、無線モデム）をさらに含む。これらのプロトコルは、無線周波数（ＲＦ）通信（例えば、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ８０２．１５．１（ブルートゥース（登録商標）））、近距離通信システム（ＮＦＣ）（例えば、ＩＳＯ１３１５７）、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）（例えば、セルラー）及び／又はポイントツーポイントシステムを含むことができる。さらに、車両１０２の通信装置１３０は、電子制御ユニット１１２と車両の特徴及びシステムとの間のデータ入力及び出力を容易にするために、バス（例えば、ＣＡＮ又はＬＩＮプロトコルバス）を介して内部コンピュータ通信のために動作可能に接続されてもよい。一実施形態では、通信装置１３０は、車車間（Ｖ２Ｖ）通信用に構成されてもよい。例えば、Ｖ２Ｖ通信は、予約された周波数スペクトルにわたる無線通信を含むことができる。別の例として、Ｖ２Ｖ通信は、Ｗｉ−Ｆｉ又はブルートゥース（登録商標）を使用して設定された車両間のアドホックネットワークを含むことができる。

車両１０２は、少なくとも１つのカメラ１２０を有する。カメラ１２０は、１つ又は複数の画像又は画像ストリームを取り込むことができるデジタルカメラであってもよく、又はスキャナ等の他の画像取り込み装置であってもよい。カメラ１２０は、車両１０２の真正面の空間の画像を提供することができる。他のカメラは、車両１０２を取り囲む別の空間の画像を提供することができる。例えば、後方カメラは、車両のバンパーの上に配置され得る。カメラ１２０は、単眼カメラであってもよく、２Ｄで画像を提供してもよい。

車両１０２は、車両１０２を制御するための自動運転システム１３２を含む。自動運転システム１３２は、特に、車線維持支援システム、衝突警告システム、又は完全自律走行システムを含むことができる。自動運転システム１３２は、位置特定システム１４０から対象物位置及び方向情報を受信することができる。一実施形態では、位置特定システム１４０は、自動運転システム１３２の構成要素であってもよい。

図２は、位置特定のために使用される地図から生成された地図要素の例を示す。地図は、地図作製会社（例えば、Ｇｏｏｇｌｅ）によって提供されてもよく、路面標示、縁石、交通標識等を含む様々な地図要素から構成される。例えば、簡略化のために、２つのタイプの地図要素が決定され、路面標示として使用される（実線及び破線（「路面標示」））。さらに別のタイプの地図要素を路面標示として使用することもできる。本開示は２種類の地図要素のみに限定されない。

図２に示すように、路面標示を決定する場合、実線は、レーン又は横断歩道の境界線等の地図要素から生じ、破線は、通常、レーン間に存在する。例えば、路面標示としてこの地図要素のサブセット（例えば、実線及び破線）を選択することは、様々な理由でシステムにとって有益な場合がある。第１に、この地図要素のサブセットは、他のマップ要素（例えば、速度制限標識や方向矢印等）よりも頻繁に観察される。第２に、この地図要素のサブセットは、（縁石とは対照的に）特徴的な外観と（交通標識と比較して）大きなサイズにより画像から検出するのが比較的容易である。

図２に示すように、地図は、車両１０２に位置するカメラによって生成されるのではなく、他の検知装置（例えば、３Ｄ−ＬｉＤＡＲ）によって生成される。車両１０２によって得られたＬｉＤＡＲセンサデータは、図１に示すように、ＬｉＤＡＲセンサデータユニット１２２に記憶されてもよい。地図は、３Ｄ−ＬｉＤＡＲポイントクラウドを記録することによって作成された３Ｄ環境内においてランドマークを手動でラベリングすることによって構築することができる。図２に示すように、地図は、路面標示を表す、疎らな３Ｄ点からなる。

図３は、テキストとして記憶された路面標示の例を示す。図２に示すように、疎らな点としての路面標示は、テキストファイルに簡潔に保存され、地理的位置によってグループ化される。図３に示すように、路面標示は、センターラインに沿ってサンプリングされた１セットの３Ｄの疎らな点によって、幅や色等の他の情報と共に表される。これらテキストファイルは、図１に示すように、ＬｉＤＡＲセンサデータユニット１２２に保存される。

図４は、位置特定システム１１０の全体のアーキテクチャを示す概念図である。以下で詳細に説明されるように、図４は、カメラ１２０によって検出されたカメラビューと、検出装置によって取得され、ＬｉＤＡＲセンサデータユニット１２２に記憶された３Ｄマップとを示す。単眼位置特定システム１４０は、カメラビューからエッジ及び特徴（ｆｅａｔｕｒｅ）を検出し、カメラ姿勢予測は、３Ｄマップから決定される。

上述したように、路面標示が疎らな点のセットとして表される軽量３Ｄマップに対して、カメラビューから検出されたエッジ及び地図要素を登録するためにチャンファーマッチング（ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ）が実行される。さらに、車両オドメトリ及びエピポーラ幾何の制約が考慮されてもよい。さらに、６自由度（「ＤｏＦ」）カメラの姿勢を推定・評価するために、非線形最適化問題が定式化されてもよい。

さらに、位置特定システム１１０は、以下で詳細に説明するように、マッチング失敗を検出し、マッチングが失敗した後にシステムをリセットすることもできる。

図５は、本開示の実施形態による位置特定の方法の例を示すフローチャートである。ステップ５０２において、システム初期化が以下に詳細に説明されるように、位置特定システム１１０は初期化される。ステップ５０４において（時間ｋ）、マップ要素のエッジは、カメラ１２０から得られた画像Ｉ_kにおいて検出される。同時に（時間ｋ）、ステップ５０５において、カメラ姿勢Ｐ´_kは、最後のフレームＰ_k-1の情報及びオドメトリデータＤ_kを使用して、推測／予測される。

ステップ５０６において、カメラビューから得られた輪郭を抽出することによって、エッジが検出される。しかしながら、一般的なエッジ検出器は、無関係なエッジ（すなわち、誤検出）が多すぎるため、カメラビューに基づいて、ランダムフォレストベースのエッジ検出器に学習させる。

ランダムフォレストは、独立した決定木の１群である。各ツリーには、同じ入力サンプルが与えられ、該入力サンプルは、ルートノードからリーフノードまでツリーを伝播することによって分類される。初期の未学習の決定木に対して多数の入力及び出力マッピングを与えることにより、その内部分割関数のパラメータは徐々に進化し、類似の入力−出力マッピングが生成される。この学習プロセスは、情報獲得基準（ｉｎｆｏｒｍａｔｉｏｎ ｇａｉｎ ｃｒｉｔｅｒｉｏｎ）を定義することによって可能になる。最大の情報獲得をもたらすパラメータに報酬が与えられる。このように、図４に示すように、ランダムフォレストに基づく特徴検出を介して、カメラビューから路面標示が検出される。

ステップ５０９において、３Ｄマップに基づいてマッチングが実行される。上述のように、路面標示は、３Ｄ点の小集合で表される。時間ｋにおいて、オドメトリ情報から、カメラ姿勢Ｐ´_kが予測される。図４に示すように、路面標示の３Ｄ点の小集合が、画像空間上に射影される。

ステップ５１０で、ステップ５０９において決定された射影点が、ステップ５０６で検出された特徴と、どれほど良好にマッチングしているかを評価するためにチャンファーマッチングが行われ、カメラ姿勢が評価される。

チャンファーマッチングは基本的に、各射影点を最も近いエッジピクセルに関連付ける。以下に説明するように、チャンファー距離（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）は以下のチャンファー距離変換（１）から効率的に計算できる。方位を考慮に入れるために、エッジピクセルは、それらの勾配方向によって異なるグループに分割され、それに応じて距離変換が計算される。

Ｃ_kは、画像のエッジから計算された距離変換である。Ｉ_k上の任意の点ｘに対して、チャンファー距離Ｃ_k（ｘ）は、Ｃ_kから補完によって、クエリが行われる（ｑｕｅｒｉｅｄ）。π（Ｐ，Ｘ）は、３Ｄ点Ｘをフレームから姿勢Ｐの画像へ射影する射影関数である。Ｍ_kは、予想されるカメラ姿勢Ｐ´_kによるカメラビューにおける路面標示点の集合である。

また、例えば、ビュー内に直線実線がある場合、路面標示は、カメラ姿勢の評価に対して、十分な制約を必ずしも課すとは限らない。従って、最適化は必要な場合がある。

ステップ５１２において、エピポーラ制約は、以下に記載の式（２）によって、決定される。ｘ_i,k-1←→ｘ_i,kは、Ｉ_k-1からＩ_kへの画像点のペアである。それらは、同じ３Ｄ点に対応する。エピポーラ制約は以下である。

ただし、Ｆは、基礎行列であり、チルダ（〜）付きｘは、ｘの同次座標である。キャリブレーションされたカメラ１２０に対して、Ｆは、以下のように、２つのビュー間の相対姿勢によって決定される。

照合（ｖｅｒｉｆｉｃａｔｉｏｎ）は、｛^k-1Ｒ_k，^k-1ｔ_k｝がＰ_k-1とＰ_kとの間の相対剛体変換となるように、行われる。基礎行列は以下のように計算される。

ただし、［^k-1ｔ_k］× は、^k-1ｔ_kとの外積の行列表示である。

Ｉ_k-1とＩ_kとの間の点相関の集合｛ｘ_i,k-1⇔ｘ_i,k，ｉ＝１,・・・｝が与えられると、エピポーラ制約は以下のように定義される。

高速化された頑強な特徴（ＳＵＲＦ）点は、エピポーラ制約において使用される。上述のように、物理的尺度は単眼カメラでは観察不可であるので、式（５）は、カメラ姿勢の５次元に制約を課すだけである。従って、オドメトリは、追加の制約のために使用される。

ステップ５１４において、オドメトリ制約が決定される。Ｄ_kは、オドメータによって測定されたＩ_k-1とＩ_kとの間の剛体変換である。エピポーラ制約は既に５次元をカバーしているので、上述のように、Ｄ_kの並進移動の大きさを制約として使用するだけでよい。ｄ_kは、Ｄ_kの並進移動成分の大きさを示す。オドメトリ制約は以下のように定義される。

ステップ５１６において、最適条件の定式化が行われる。与えられたＰ_k-1，Ｐ_kは、以下のコスト関数を最小化することによって評価される。

コスト関数（７）は、最適条件を決定し、レーベンバーグ・マーカートアルゴリズムを用いて、解かれる。

ステップ５１８において、最適化されたデータを利用して、カメラ姿勢の評価を決定する。カメラ姿勢の評価は、地図に対して行われる。

図５Ａは、本発明の実施形態に係る、最適化によって得られたカメラ姿勢の推定を実行する、カメラビューに射影されたマップの一例を示す。

単眼位置特定システム１４０を初期化するために、カメラ姿勢の初期推定値が決定される。推定されたカメラ姿勢は、ＧＰＳ又は別のタイプのソースから取得される。初期のカメラ姿勢推定値は、適切に実行されるべき最適化における真の位置から遠い場合がある。従って、徹底的な探索を利用して、より正確な推定値が決定される。そうするために、単眼位置特定システム１４０は、パラメータ空間内の初期推定値周辺の候補姿勢の大集合を無作為にサンプリングする。単眼位置特定システム１４０は、Ｃ（Ｐ_k）を最小化する更新カメラ姿勢推定値を見つける。

最適候補を初期解として、単眼位置特定システム１４０が初期化されると、システムは、上述のように、さらにＣ（Ｐ_k）を最小にする。

また、単眼位置特定システム１４０は、チャンファー距離をチェックすることによって位置特定性能をモニターしてもよい。大きなチャンファー距離は、位置特定の評価を表す。連続的に大きなチャンファー距離が生成されると、単眼位置特定システム１４０は失敗したと判定される（例えば、カメラ姿勢の不適切な決定）。決定された単眼位置特定システムが失敗の場合、システムは初期化のために上述したものと同じ戦略を用いてリセットを実行する。

上述したように、リセットと初期化との違いは、単眼位置特定システム１４０が、未知の状態から開始するのではなく、現在の姿勢推定値周辺の候補をサンプリングすることにある。

本開示の実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実行することができ、１つ又は複数のコンピュータシステム又は他の処理システムで実行することができる。一実施形態では、本開示は、本明細書に記載の機能を実行することができる１つ又は複数のコンピュータシステムで行われる。図６は、本開示の実施形態に従って使用するための様々なハードウェア構成要素及び他の特徴の例示的なシステム図を示す。本開示の実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実行することができ、１つ又は複数のコンピュータシステム又は他の処理システムで実行することができる。一変形例では、本開示の実施形態は、本明細書に記載の機能を実行することができる１つ又は複数のコンピュータシステム向けになっている。そのようなコンピュータシステム６００の一例を図６に示す。

コンピュータシステム６００は、１つ又は複数のプロセッサ（例えば、プロセッサ６０４）を含む。プロセッサ６０４は、通信インフラストラクチャ６０６（例えば、通信バス、クロスオーバーバー、又はネットワーク）に接続される。この例示的なコンピュータシステムの観点から、様々なソフトウェアの態様が説明される。この説明を読めば、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示の実施形態を実行する方法は、当業者には明らかになるであろう。

コンピュータシステム６００は、ディスプレイユニット６３０上に表示するために、通信インフラストラクチャ６０６（又は、図示されていないフレームバッファ）からグラフィックス、テキスト、及び他のデータを転送するディスプレイインターフェース６０２を含む。コンピュータシステム６００はまた、メインメモリ６０８、好ましくはランダムアクセスメモリ（ＲＡＭ）を含み、また、２次メモリ６１０を含んでもよい。２次メモリ６１０は、例えば、ハードディスクドライブ６１２及び／又はリムーバブルストレージドライブ６１４（フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ等）を含む。リムーバブルストレージドライブ６１４は、周知の方法で、リムーバブルストレージユニット６１８から読み取り、及び／又はリムーバブルストレージユニット６１８に書き込む。リムーバブルストレージユニット６１８は、フロッピーディスク、磁気テープ、光ディスク等であり、リムーバブルストレージドライブ６１４によって読み出され、またリムーバブルストレージドライブ６１４に書き込まれる。理解されるように、リムーバブルストレージユニット６１８は、コンピュータソフトウェア及び／又はデータを記憶したコンピュータ使用可能記憶（記録）媒体を含む。

別の態様では、２次メモリ６１０は、コンピュータプログラム又は他の命令がコンピュータシステム６００にロードされることを可能にするための他の同様のデバイスを含むことができる。そのようなデバイスは、例えば、リムーバブルストレージユニット６２２及びインターフェース６２０を含むことができる。そのような例には、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲーム装置に見られるもの等）、リムーバブルメモリチップ（消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、又はプログラム可能読み取り専用メモリ（ＰＲＯＭ）等）、対応するソケット、及び他のリムーバブルストレージユニット６２２及び、リムーバブルストレージユニット６２２からコンピュータシステム６００にソフトウェア及びデータを転送することを可能にするインターフェース６２０を含む。

コンピュータシステム６００はまた、通信インターフェース６２４を含んでもよい。通信インターフェース６２４は、ソフトウェア及びデータがコンピュータシステム６００と外部装置との間で転送されることを可能にする。通信インターフェース６２４の例には、モデム、ネットワークインターフェース（イーサネットカード等）、通信ポート、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）スロット及びカード等が含まれる。通信インターフェース６２４を介して転送されるソフトウェア及びデータは、通信インターフェース６２４によって受信可能な電子信号、電磁信号、光学信号又は他の信号等の信号６２８の形態をとる。これらの信号６２８は、通信経路（例えば、チャネル）６２６を介して通信インターフェース６２４に供給される。この経路６２６は、信号６２８を搬送し、ワイヤ又はケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（ＲＦ）リンク及び／又は他の通信チャネルを使用して実行される。この明細書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能記録媒体」という用語は、リムーバブルストレージドライブ６８０やハードディスクドライブ６７０にインストールされたハードディスクや信号６２８等のメディアを総称するために使用される。これらのコンピュータプログラム製品は、コンピュータシステム６００にソフトウェアを提供する。本発明の実施形態は、そのようなコンピュータプログラム製品を対象にしている。

コンピュータプログラムは（コンピュータ制御論理とも呼ばれる）は、メインメモリ６０８及び／又は２次メモリ６１０に格納される。コンピュータプログラムは、通信インターフェース６２４を介して受信することもできる。このようなコンピュータプログラムが実行されると、コンピュータシステム６００は、本明細書で説明されるように、本発明の実施形態に係る様々な特徴を実行する。特に、コンピュータプログラムは、実行されると、プロセッサ６０４にそのような特徴を実行させる。従って、そのようなコンピュータプログラムは、コンピュータシステム６００のコントローラに対応する。

本発明の実施形態がソフトウェアを使用して実施される変形形態では、ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ６１４、ハードドライブ６１２、又は通信インターフェース６２０を使用して、コンピュータシステム６００にロードされる。制御ロジック（ソフトウェア）は、プロセッサ６０４によって実行されると、プロセッサ６０４に、本明細書に記載される本発明の実施形態に係る機能を実行させる。別の変形形態では、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェア構成要素を使用して、主にハードウェアで実施される。本明細書で説明された機能を実行するためのハードウェア状態機械の実施は、当業者には明らかであろう。

さらに別の変形例では、ハードウェアとソフトウェアの両方の組み合わせを使用して実施される。

図７は、本発明の実施形態に従って使用され得る様々な例示的なシステム構成要素のブロック図である。例えば、様々な構成要素が車両１０２内に存在してもよく、又は構成要素のうちのいくつかのみが車両１０２内にある一方、他の構成要素は車両１０２から離れていてもよい。システム７００は、１つ又は複数のアクセスする人７６０、７６２（本明細書では１つ又は複数の「ユーザ」とも呼ぶ）と、１つ又は複数の端末７４２、７６６（このような端末は、例えば、オブジェクト検出システム１１０の様々な特徴であってもよいし或いは含んでもよい）とを含む。一実施形態では、本発明の実施形態に従って使用するためのデータは、ネットワーク７４４（例えば、インターネット又はイントラネット等）及び結合装置７４５、７４６、７６４を介して、プロセッサ及びデータ保存場所及び／又はデータ保存場所への接続を有するサーバ７４３（例えば、ＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、又は他のデバイス等）に結合された端末７４２、７６６（例えば、パーソナルコンピュータ（ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、パーソナルデジタルアシスタント（「ＰＤＡ」）やハンドヘルド無線デバイス等の無線デバイス等）を介して、アクセスする人７６０、７６２によって、例えば、入力及び／又はアクセスされる。結合装置７４５、７４６、７６４としては、例えば、有線、無線、又は光ファイバのリンク等が挙げられる。他の変形例では、本発明の実施形態による方法及びシステムは、単一の端末のようなスタンドアロン環境で動作する。

本明細書で説明される態様は、コンピュータ実行可能命令を格納するコンピュータ可読記憶（記録）媒体との関連において、説明され実施されてもよい。コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含む。例えば、フラッシュメモリドライブ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フロッピーディスク、テープカセット等である。コンピュータ可読記憶媒体としては、コンピュータ可読命令、データ構造、モジュール又は他のデータのような情報を記憶するための任意の方法又は技術で実施される揮発性及び不揮発性、取り外し可能な媒体及び取り外し不可能な媒体が挙げられる。

上記に開示された特徴及び機能、及び他の特徴及び機能、又はその代替形態又は変形形態の様々な実施形態を望ましいように組み合わせて、多くの他の異なるシステム又はアプリケーションとして構成してもよいことは理解されよう。 また、以下の請求項に包含されることが意図されるが、現在は予測されていない、又は予想されていない種々の代替、変形、変更、又は改良は、当業者であれば、引き続き行うことができる。

Claims (21)

1. ある姿勢におけるカメラから画像を生成するステップと、
   予め作製された地図を受けるステップと、
   エッジ検出に基づいて、生成された前記画像から特徴を決定するステップと、
   少なくとも前記予め作製された地図に基づいて前記カメラの姿勢を予測し、前記予測されたカメラの姿勢から特徴を決定するステップと、
   前記画像及び前記予測されたカメラの姿勢から決定された前記特徴に基づいて、チャンファー距離（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）を決定するステップと、
   オドメトリ情報とエピポーラ幾何に基づいて、前記決定された前記チャンファー距離を最適化するステップと、
   前記最適化に基づいて、カメラ姿勢推定値を生成するステップと、
   を有する位置特定方法。
2. 請求項１記載の方法において、前記画像は、単眼カメラから生成されることを特徴とする方法。
3. 請求項１記載の方法において、前記予め作製された地図は、ＬｉＤＡＲ検知に基づいて作製されることを特徴とする方法。
4. 請求項１記載の方法において、前記最適化は、以下で定義されるコスト関数を最小化することによって行われることを特徴とする方法。
   

   

   ただし、Ｐ_kは、推定された前記カメラの姿勢であり、Ｃ_odmは、前記オドメトリ情報であり、Ｃ_epiは、前記エピポーラ幾何であり、Ｐ_k-1は、前の時間のカメラの姿勢であり、ｋは時間である。
5. 請求項４記載の方法において、前記オドメトリ情報は、以下の式で定義されることを特徴とする方法。
   

   

   ただし、ｄ_kは、Ｄ_kの並進移動成分の大きさであり、Ｄ_kは、前の時間の画像と前記画像との間の剛体変換であり、ｔ_kは、並進移動ベクトルである。
6. 請求項４記載の方法において、前記エピポーラ幾何は、以下の式で定義されることを特徴とする方法。
   

   

   ただし、チルダ（〜）付きｘは、前記画像上の点の同次座標であり、Ｆは基礎行列である。
7. 請求項１記載の方法において、前記エッジ検出は、ランダムフォレストに基づくエッジ検出器によって行われることを特徴とする方法。
8. ある姿勢において画像を生成するカメラと、
   メモリと、
   前記メモリに接続されたプロセッサと、
   を有する位置特定システムであって、
   前記プロセッサは、
   予め作製された地図を受け、
   エッジ検出に基づいて、生成された前記画像から特徴を決定し、
   少なくとも前記予め作製された地図に基づいて前記カメラの姿勢を予測し、前記予測されたカメラの姿勢から特徴を決定し、
   前記画像及び前記予測されたカメラの姿勢から決定された前記特徴に基づいて、チャンファー距離（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）を決定し、
   オドメトリ情報とエピポーラ幾何に基づいて、前記決定された前記チャンファー距離を最適化し、
   前記最適化されたデータに基づいて、カメラ姿勢推定値を生成する
   ことを特徴とする位置特定システム。
9. 請求項８記載の位置特定システムにおいて、前記カメラは、単眼カメラであることを特徴とする位置特定システム。
10. 請求項８記載の位置特定システムにおいて、前記予め作製された地図は、ＬｉＤＡＲ検知に基づいて作製されることを特徴とする位置特定システム。
11. 請求項８記載の位置特定システムにおいて、前記最適化は、以下で定義されるコスト関数を最小化することによって行われることを特徴とする位置特定システム。
    

    

    ただし、Ｐ_kは、推定された前記カメラの姿勢であり、Ｃ_odmは、前記オドメトリ情報であり、Ｃ_epiは、前記エピポーラ幾何であり、Ｐ_k-1は、前の時間のカメラの姿勢であり、ｋは時間である。
12. 請求項１１記載の位置特定システムにおいて、前記オドメトリ情報は、以下の式で定義されることを特徴とする位置特定システム。
    

    

    ただし、ｄ_kは、Ｄ_kの並進移動成分の大きさであり、Ｄ_kは、前の時間の画像と前記画像との間の剛体変換であり、ｔ_kは、並進移動ベクトルである。
13. 請求項１１記載の位置特定システムにおいて、前記エピポーラ幾何は、以下の式で定義されることを特徴とする位置特定システム。
    

    

    ただし、チルダ（〜）付きｘは、前記画像上の点の同次座標であり、Ｆは、基礎行列である。
14. 請求項８記載の位置特定システムにおいて、前記エッジ検出は、ランダムフォレストに基づくエッジ検出器によって行われることを特徴とする位置特定システム。
15. 非一過性コンピュータ可読記録媒体であって、該非一過性コンピュータ可読記録媒体はプログラムを記憶し、前記プログラムが、システムの回路によって実行される場合、前記システムは、
    ある姿勢におけるカメラから画像を生成し、
    予め作製された地図を受け取り、
    エッジ検出に基づいて、生成された前記画像から特徴を決定し、
    少なくとも前記予め作製された地図に基づいて前記カメラの姿勢を予測し、前記予測されたカメラの姿勢から特徴を決定し、
    前記画像及び前記予測されたカメラの姿勢から決定された前記特徴に基づいて、チャンファー距離（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）を決定し、
    オドメトリ情報とエピポーラ幾何に基づいて、前記決定された前記チャンファー距離を最適化し、
    前記最適化されたデータに基づいて、カメラ姿勢推定値を生成する
    ことを特徴とする非一過性コンピュータ可読記録媒体。
16. 請求項１５記載の非一過性コンピュータ可読記録媒体において、前記画像は、単眼カメラから生成されることを特徴とする非一過性コンピュータ可読記録媒体。
17. 請求項１５記載の非一過性コンピュータ可読記録媒体において、前記予め作製された地図は、ＬｉＤＡＲ検知に基づいて作製されることを特徴とする非一過性コンピュータ可読記録媒体。
18. 請求項１５記載の非一過性コンピュータ可読記録媒体において、前記最適化は、以下で定義されるコスト関数を最小化することによって行われることを特徴とする非一過性コンピュータ可読記録媒体。
    

    

    ただし、Ｐ_kは、推定された前記カメラの姿勢であり、Ｃ_odmは、前記オドメトリ情報であり、Ｃ_epiは、前記エピポーラ幾何であり、Ｐ_k-1は、前の時間のカメラの姿勢であり、ｋは時間である。
19. 請求項１８記載の非一過性コンピュータ可読記録媒体において、前記オドメトリ情報は、以下の式で定義されることを特徴とする非一過性コンピュータ可読記録媒体。
    

    

    ただし、ｄ_kは、Ｄ_kの並進移動成分の大きさであり、Ｄ_kは、前の時間の画像と前記画像との間の剛体変換であり、ｔ_kは、並進移動ベクトルである。
20. 請求項１８記載の非一過性コンピュータ可読記録媒体において、前記エピポーラ幾何は、以下の式で定義されることを特徴とする非一過性コンピュータ可読記録媒体。
    

    

    ただし、チルダ（〜）付きｘは、前記画像上の点の同次座標であり、Ｆは基礎行列である。
21. 請求項１５記載の非一過性コンピュータ可読記録媒体において、前記エッジ検出は、ランダムフォレストに基づくエッジ検出器によって行われることを特徴とする非一過性コンピュータ可読記録媒体。

Images