JP2021508027A - 不十分な照明条件下で車両を測位するシステムおよび方法 - Google Patents

Abstract

本開示の実施形態は、車両を測位する方法およびシステムを提供する。システムは、少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信するよう構成された通信インターフェースを含んでもよい。システムはさらに、点群データのセットを記憶するよう構成されたストレージ、およびプロセッサを含んでもよい。プロセッサは、点群データのセットに基づき少なくとも１つの局所光源を識別し、第２の照明条件に対応する少なくとも１つの局所光源からのシミュレーションされた光に基づいて点群データのセットを修正し、修正された点群データのセットに基づいて第２の照明条件下で車両を測位するよう構成されてもよい。【選択図】図８

Description

本開示は、不十分な照明条件下（under poor lighting conditions）で車両を測位する（positioning）システムおよび方法に関し、特に、局所光源から計算されたシェーディングを用いて修正された再構築シーンからシミュレーションされる暗いシーンを使用して、不十分な照明条件下で車両を測位するシステムおよび方法に関する。

自律運転は、年を追うごとにますます人気のある技術となってきた。人の入力なしに自動運転（self-driving）できる車両はそれの運転手を自由にし、運転手は代わりに、車内に座っている間別の事に集中できる。人間の運転手と同じように、自律運転車両は、どの方向に向かうべきなのか判断でき安全でない道路条件、ならびに人間または別の車両のような接近しつつあるオブジェクトなど周囲の危険を回避する準備をできるように、所与の環境の中のどこに自律運転車両があるのかを知る必要がある。したがって、人間による運転と比較して少なくとも同じレベルの安全性を自律運転に対して維持するために、車両に対する運転手の注意の低下が、高度な技術により補償されなければならない。

そのような高度な技術の１つがコンピュータビジョンである。コンピュータビジョン技術は、自律運転の文脈において車両を測位するために、デジタル画像を獲得、処理、分析、および理解する。自動運転車両は、その周りの情報を取得するために様々なセンサ、検出器、および他のデバイスを装備していることが多い。そのようなセンサおよびデバイスの例は、３−Ｄカメラ、ＬｉＤＡＲスキャナ、グローバルポジショニングシステム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信機、および慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサを含む。それらは、周囲のオブジェクトおよび車両が走行している道路の特徴を捕捉する。捕捉される特徴は、例として、レーンの中央線または境界線座標、例えば建物、別の車両、ランドマーク、歩行者、または交通標識などのオブジェクトの座標および画像を含んでもよい。これらの特徴をデジタルデータへと変換した後、当該データをそれの空間位置の計算に統合することにより、自律運転車両は、運転手が車の運転をしているかのように自律運転車両がその道路上のどこにいるかを「知る」ことができる。

既存の画像ベースの測位法は、昼間など、十分な輝度および可視性を伴う環境を必要とする。夜間など、不十分な照明条件下で運転する車両の場合、こうしたアルゴリズムは、満足のゆく性能結果を示さない。これは、一つには、同じシーンの外観が昼間と夜間とで大きく異なるからである。自然照光（natural illumination）は日没後にはなくなり、暗さによって、シーンの画像化センサ（imaging sensor）および検出器による認識可能性が低下する。さらに、広告板および街灯など、固定位置の局所光の追加が、車両の空間測位および他のオブジェクトの位置の計算をさらに複雑化する不自然な光成分をもたらす。これらは、センサおよび検出器により取得される画像に、より大きなノイズおよび色の歪みを生じさせて、結果として、自律運転システムによる測位の信頼性を低下させるかもしれない。これは究極的にはそのような自律運転システムを実装する車両の安全性を危うくする。

したがって、上記の問題に対処するために、本願明細書に記載されるものなど、不十分な照明条件下で車両を測位するシステムおよび方法に対するニーズがある。

本開示の実施形態は、車両を測位するシステムを提供する。システムは、少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データ（point cloud data）のセットを受信するよう構成された通信インターフェースを含んでもよい。システムはさらに、点群データのセットを記憶するよう構成されたストレージ、およびプロセッサを含んでもよい。プロセッサは、点群データのセットに基づき少なくとも１つの局所光源を識別し、第２の照明条件に対応する少なくとも１つの局所光源からのシミュレーションされた光に基づいて点群データのセットを修正し、修正された点群データのセットに基づいて第２の照明条件下で車両を測位するよう構成されてもよい。

本開示の実施形態は、車両を測位する方法も提供する。本方法は、少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信することを含んでもよい。本方法はさらに、点群データのセットに基づき少なくとも１つの局所光源を識別することと、第２の照明条件に対応する少なくとも１つの局所光源からのシミュレーションされた光に基づいて点群データのセットを修正することと、修正された点群データのセットに基づいて第２の照明条件下で車両を測位することとを含んでもよい。

本開示の実施形態は、１つ以上のプロセッサにより実行されると１つ以上のプロセッサに動作を実行させる命令が記憶された非一時的コンピュータ可読媒体をさらに提供する。動作は、少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信することを含んでもよい。動作はさらに、点群データのセットに基づき少なくとも１つの局所光源を識別することと、第２の照明条件に対応する少なくとも１つの局所光源からのシミュレーションされた光に基づいて点群データのセットを修正することと、修正された点群データのセットに基づいて第２の照明条件下で車両を測位することとを含んでもよい。

当然のことながら、前述した概略の説明および以下の詳細な説明はいずれも例示的および説明的なものでしかなく、特許請求される本発明を制限するものではない。

本開示の実施形態による、センサが装備されている例示的な車両の概略図を示す。 本開示の実施形態による、車両を測位するための例示的なシステムのブロック図を示す。 本開示の実施形態による、様々な種類の局所光源を備えた道路上を車両が走行しているときの例を示す概略図を示す。 本開示の実施形態による、日中に捕捉されたシーンの例示的な３−Ｄ再構築を示す。 本開示の実施形態による、不十分な照明条件下にあるシーンのシミュレーションを示す。 本開示の実施形態による、図４Ａの再構築されたシーンに対応する、夜の間のシミュレーションされたシーンの一例を示す。 本開示の実施形態による、カメラ視点座標系（camera view coordinate system）の例示的な変換行列を示す。 本開示の実施形態による、車両に搭載されたカメラに関する例示的な視錐台（viewing frustum）を示す。 本開示の実施形態による、不十分な照明条件下での、事前に切り捨てられる例示的なカメラ視点座標系（pre-truncated camera view coordinate system）を示す。 本開示の実施形態による、図７Ｂの同じ不十分な照明条件下で車載カメラにより捕捉された実際の画像を示す。 本開示の実施形態による、不十分な照明条件下で車両を測位する例示的な方法のフローチャートを示す。

以下、例示的な実施形態を詳しく参照する。例示的な実施形態の例は、添付の図面に示されている。可能な場合は常に、同じまたは類似の部分を指すために各図面にわたって同じ参照番号が使用される。

図１は、本開示の実施形態による、システム内の複数のセンサ１４０、１５０、および１６０を有する例示的な車両１００の概略図を示す。一部の実施形態に従い、車両１００は、高精細度のマップを構築するため、または３次元（３−Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｔｉｏｎａｌ）都市モデリングのためのデータを獲得するために構成された調査車両であってもよい。車両１００は、電気車両、燃料電池車両、ハイブリッド車両、または従来型の内燃機関車両とされ得ることが意図される。車両１００は、車体１１０および少なくとも１つの車輪１２０を有してもよい。車体１１０は、おもちゃの車、オートバイ、スポーツ車両、クーペ、コンバーチブル、セダン、ピックアップトラック、ステーションワゴン、スポーツユーティリティビークル（ＳＵＶ：ｓｐｏｒｔｓ ｕｔｉｌｉｔｙ ｖｅｈｉｃｌｅ）、ミニバン、コンバージョンバン、多目的車（ＭＰＶ：ｍｕｌｔｉ−ｐｕｒｐｏｓｅ ｖｅｈｉｃｌｅ）、またはセミトレーラートラックなど、任意の車体スタイルとされ得る。一部の実施形態において、車両１００は、図１に示されるように、一対の前輪および一対の後輪を含んでもよい。なお、車両１００がより少ない車輪もしくはより多くの車輪を有すること、または車両１００が動き回るのを可能にする等価な構造を有することもあり得ると意図されている。車両１００は、全輪駆動（ＡＷＤ：ａｌｌ ｗｈｅｅｌ ｄｒｉｖｅ）、前輪駆動（ＦＷＲ：ｆｒｏｎｔ ｗｈｅｅｌ ｄｒｉｖｅ）、または後輪駆動（ＲＷＤ：ｒｅａｒ ｗｈｅｅｌ ｄｒｉｖｅ）であるように構成されてもよい。一部の実施形態において、車両１００は、車両を占有しているオペレータにより操作され、遠隔制御され、さらに／または自律的であるように構成され得る。

図１に示されるように、車両１００には、搭載構造１３０を介して車体１１０に搭載された様々なセンサ１４０および１６０が装備されてもよい。搭載構造１３０は、車両１００の車体１１０に設置されまたはその他取り付けられた電気機械デバイスであってもよい。一部の実施形態において、搭載構造１３０は、ねじ、接着剤、または別の搭載機構を使用し得る。他の実施形態において、センサ１４０および１６０は、意図されたこれらのセンサの機能が実行される限り、車両１００の車体１１０の表面上に設置されてもよく、または車両１００の内部に組み込まれてもよい。

一部の実施形態に従い、センサ１４０および１６０は、車両１００が軌道に沿って走行するときにデータを捕捉するよう構成されてもよい。例として、センサ１４０は、周囲をスキャンして点群を獲得するよう構成されたＬｉＤＡＲスキャナであってもよい。ＬｉＤＡＲは、パルス状のレーザ光を用いて対象を照光して、反射パルスをセンサを用いて測定することで対象までの距離を測定する。次にレーザの戻り時間および波長の相違を使用して、対象のデジタル３−Ｄ表現を作成することができる。ＬｉＤＡＲスキャンに使用される光は、紫外線、可視、または近赤外線とされ得る。幅の狭いレーザビームは、非常に高い解像度で物理的特徴をマッピングできるため、ＬｉＤＡＲスキャナは高精細度のマップ調査に特に適している。一部の実施形態において、ＬｉＤＡＲスキャナは点群を捕捉してもよい。車両１００が軌道に沿って走行するとき、センサ１４０は絶えずデータを捕捉してもよい。特定のタイムスタンプにおいて捕捉されたシーンデータの各セットは、データフレームとして知られている。

図１に示されるように、車両１００には、センサ１５０がさらに装備されてもよく、センサ１５０は、ＧＰＳ受信機および１つ以上のＩＭＵセンサなど、ナビゲーションユニットにおいて使用されるセンサであってもよい。センサ１５０の意図される機能が実行される限りは、センサ１５０は、車両１００の車体１１０の内部に組み込まれること、その表面に設置されること、またはその外部に搭載されることができる。ＧＰＳは、地理位置情報および時刻情報をＧＰＳ受信機に提供するグローバルナビゲーション衛星システムである。ＩＭＵは、加速度計およびジャイロスコープ、時には磁力計もなど、様々な慣性センサを使用して、車両の具体的な力、角速度、および時には車両を囲む磁場を測定および提供する電子デバイスである。ＧＰＳ受信機とＩＭＵセンサとを組み合わせることにより、センサ１５０は、各タイムスタンプでの車両１００の位置および向き（例えばオイラー角）を含め、車両１００が走行するときのその車両のリアルタイムの姿勢情報（pose information）を提供することができる。

本開示に従い、車両１００には、１つ以上のカメラなど、デジタル画像を捕捉するよう構成されたセンサ１６０がさらに装備されてもよい。一部の実施形態において、センサ１６０は、３６０度ＦＯＶを備えたパノラマカメラ、３６０度未満のＦＯＶを備えたカメラ、または深度情報を捕捉する双眼カメラを含んでもよい。車両１００が軌道に沿って移動するとき、センサ１６０によって、シーン（例えば車両１００を囲むオブジェクトを含む）に関するデジタル画像を獲得できる。各画像は、画素によって表現される、捕捉されたシーンの中のオブジェクトのテキスト情報を含み得る。各画素は、デジタル画像中の色情報および座標に関連する、デジタル画像の最小の単一成分であってもよい。例として、色情報は、ＲＧＢ色モデル、ＣＭＹＫ色モデル、ＹＣｂＣｒ色モデル、ＹＵＶ色モデル、またはその他任意の適切な色モデルにより表現され得る。各画素の座標は、デジタル画像の中の画素配列の行および列により表現され得る。一部の実施形態において、センサ１６０は、車両１００上に、異なる位置に、さらに／または異なる角度で搭載された複数の単眼カメラを含んでもよく、したがって、変化する視点位置および／または角度を有してもよい。結果として、デジタル画像は、前方視点画像、側方視点画像、上方視点画像、および下方視点画像を含み得る。

図１にさらに示されている、車両１００には、前照灯１７０および尾灯１８０など、それ自体の光源がさらに装備されてもよい。本願明細書に示されてはいないが、他の種類の車両光源は、側灯、前方霧灯、側方照射灯、赤外線光源、または他の種類の補助的な光源を含んでもよい。車両光源は、タングステン、タングステンハロゲン、ＬＥＤ、またはレーザなどの様々な照光材料を使用してもよい。前照灯１７０は、車両１００の前部に取り付けられた１つ以上のランプを含み、その正面の道を照明する光ビームをもたらす。現代の車両は、一般に、異なる２種類の光ビーム、ロービームおよびハイビームを放射できる。ロービームは、前方および側方の照光に十分な光を提供する一方で、車両の方へ向かってくる運転手の目にまぶしい光が入るのを回避する。ハイビームは、中心部重点型の強烈な配光（intense, center-weighted distribution of light）を提供し、したがって、道路のはるかに遠い領域を照光するが、まぶしい光の制御は特になされない。尾灯１８０は、車両１００の後部に取り付けられた１つ以上のランプを含む。例示的な尾灯１８０は、暗闇の中で、または車両が後退するときに光を放射し、したがって、車両１００の後方を走行している運転手にそれの存在および動きを警告する。

一部の実施形態に従い、本開示は任意選択で、車両１００に通信接続されたサーバ１９０を含んでもよい。一部の実施形態において、サーバ１９０は、ローカル物理サーバ、（図１に示されるように）クラウドサーバ、仮想サーバ、分散型サーバ、またはその他任意の適切なコンピューティングデバイスとされ得る。サーバ１９０は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電波などのワイヤレスネットワーク、ネーションワイド（nationwide）セルラネットワーク、衛星通信ネットワーク、および／またはローカルワイヤレスネットワーク（例えばＢｌｕｅｔｏｏｔｈ（登録商標）もしくはＷｉＦｉ）などのネットワークを介してデータを車両１００から受信し、データを車両１００に送信してもよい。

この開示によるシステムは、第１の照明条件（例えば昼間）下で点群を捕捉し、第２の照明条件（例えば夜間）をシミュレーションすることにより点群を修正し、修正された点群を使用して第２の照明条件下で車両１００を測位するよう構成されてもよい。図２は、センサ１４０、１５０、および１６０により捕捉された様々なデータに基づいて車両１００を測位する例示的なシステム２００のブロック図を示す。データは、センサ１４０（例えば、ＬｉＤＡＲスキャナ）により捕捉された点群２０１、センサ１５０（例えば、ＧＰＳ受信機および／または１つ以上のＩＭＵセンサ）により獲得された車両１００の軌道情報２０３、およびセンサ１６０（例えば、１つ以上の単眼カメラ）により捕捉された複数の画像２０５を含んでもよい。

一部の実施形態において、図２に示されるように、システム２００は、通信インターフェース２０２、プロセッサ２０４、およびメモリ／ストレージ２０６を含んでもよい。システム２００の１つ以上のコンポーネントは、車両１００の内部に位置してもよく、または代わりにモバイルデバイス、クラウド、もしくは別の遠隔位置にあってもよい。システム２００のコンポーネントは、統合デバイスの中にあってもよく、または別々の位置に分散されてもよいが、ネットワーク（図示せず）を介して相互に通信してもよい。通信インターフェース２０２は、ワイヤレスまたはケーブルネットワークを介して、センサ１４０、１５０、および１６０などのコンポーネントにデータを送信し、それらからデータを受信してもよい。一部の実施形態に従い、通信インターフェース２０２は、点群２０１、軌道情報２０３、ならびに画像２０５を含む、センサ１４０、１５０、および１６０により捕捉されたデータを受信して、受信されたデータを記憶のためメモリ／ストレージ２０６に、または処理のためプロセッサ２０４に提供してもよい。通信インターフェース２０２はさらに、プロセッサ２０４により生成された修正された点群を受信して、修正された点群を車両１００の中の任意のローカルコンポーネントに、またはネットワークを介して任意の遠隔デバイスに提供してもよい。

メモリ／ストレージ２０６は、プロセッサ２０４が動作に必要とし得る任意の種類の情報を記憶するために提供される、任意の適切な種類の大容量ストレージを含んでもよい。メモリ／ストレージ２０６は、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、およびスタティックＲＡＭを含むがこれらに限定されない、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、リムーバブル、非リムーバブル、またはその他種類のストレージデバイスもしくは有形（すなわち、非一時的）コンピュータ可読媒体であってもよい。メモリ／ストレージ２０６は、本願明細書において開示された様々な機能を実行するためにプロセッサ２０４により実行され得る１つ以上のコンピュータプログラムを記憶するよう構成されてもよい。

プロセッサ２０４は、任意の適切な種類の汎用もしくは専用マイクロプロセッサ、デジタルシグナルプロセッサ、またはマイクロコントローラを含んでもよい。プロセッサ２０４は、１つ以上の特定の機能の実行専用の別個のプロセッサモジュールとして構成されてもよい。あるいはプロセッサ２０４は、１つ以上の特定の機能に関係のない他の機能を実行する共有プロセッサモジュールとして構成されてもよい。図２に示されるとおり、プロセッサ２０４は、局所光源識別ユニット２１０、点群修正ユニット２１２、画像推定ユニット２１４、車両測位ユニット２１６、および同様のものなどの複数のモジュールを含んでもよい。これらのモジュール（ならびに任意の対応するサブモジュールまたはサブユニット）は、他のコンポーネントとともに使用されるように、またはプログラムの一部を実行するために、設計されたプロセッサ２０４のハードウェアユニット（例えば、集積回路の一部）とすることができる。図２はユニット２１０、２１２、２１４、および２１６をすべて１つのプロセッサ２０４の中に示すが、これらのユニットは、互いに近くまたは遠くに位置する複数のプロセッサ間に分散され得ることが意図される。

局所光源識別ユニット２１０は、例えば街灯、広告板などの局所光源を点群２０１に基づいて識別するよう構成される。本開示に従い、点群２０１は、例えば昼間など、通常の照明条件下で捕捉される。一部の実施形態において、３−Ｄ点群２０１は、捕捉されたシーンのボクセル画像（voxel image）に変換されてもよい。ボクセル画像を使用して、光源が区分および識別されてもよい。局所光源は、車両１００がセンサ１４０および１６０を用いて情報を獲得しながら軌道に沿って走行するときに検出されてもよい。局所光源が自然光に加えて照光を提供し、一般的に所定の場所に固定されている人工的で人為的な照明設備であるという点で、局所光源は自然光とは異なる。より詳細な例が、図３を参照して下記で説明される。

図３は、様々な種類の局所光源を備えた道路上を車両１００が走行しているときの例を示す概略図を示す。局所光源の例は、街灯３０１、広告板３０２、および道路脇の建物３０３からの光を含む。前述のように、車両１００には、シーンの画像および色点群を生成するために使用されるデータを捕捉するセンサ１４０および１６０が装備される。それに加えて、捕捉されたデータはさらに、図２に示されるように、通信インターフェース２０２を介して局所光源識別ユニット２１０に選択的に提供されてもよい。他の一部の実施形態において、通信インターフェース２０２は必要でなくてもよく、捕捉されたデータはユニット２１０に直接提供されてもよい。局所光源識別ユニット２１０は、色点群の形態でセンサにより捕捉された画像化データの中の様々なオブジェクトをシステムが自動的に認識できるようにするために、１つ以上のコンピュータプログラムを実行してもよい。オブジェクトの種類は、建物、木、茂み、信号機および交通標識、道路標示、および局所光源を含むが、これらに限定はされない。これらのオブジェクトは、メモリ／ストレージ２０６またはシステム内の他のストレージデバイスに記憶された、事前指定されたオブジェクトまたはオブジェクトクラスであってもよい。オブジェクトまたはオブジェクトクラスはさらに、反復訓練に基づいて学習可能である。例えばエッジマッチング、勾配マッチング（gradient matching）、解釈木（interpretation trees）などの既存のオブジェクト認識技術を、本開示に適用できる。あるいは、車両１００のオペレータまたはオフラインアナリストは、車両１００により捕捉された画像の中の局所光源を手動で選択してもよい。

点群修正ユニット２１２は、識別された局所光源からのシミュレーションされた光を使用して、点群２０１を修正するよう構成される。本開示に従い、点群修正ユニット２１２は、夜間など、環境に対する限られた照光で不十分な照明条件をシミュレーションする。車両１００の走行している軌道に沿った様々な特徴をセンサが見分けるのに十分な明るさで環境全体を照光する日中とは異なる。一方、夜の間は、環境の一部のみを照光する限られた光源で環境は一般的に暗い。一部の実施形態において、点群修正ユニット２１２は、識別された光源からの投影される光をシミュレーションし、シーンの中の影および半影領域（shadow and semi-shadow areas）を計算する。より詳細な例が、図４Ａおよび図４Ｂを参照して下記で説明される。

図４Ａは、日中に捕捉されたシーンの例示的な３−Ｄ再構築を示す。一種類のみの局所光源である街灯４０１がシーン中に再構築され、例示目的のために図４Ａに示されているが、他の種類の局所光源と交換可能に置き換えることができる。再構築されたシーンは、点群２０１のボクセル画像から取得されるが、これはプロセッサ２０４またはシステム内の他の適切なコンポーネントによって実行され得るプロセスである。その後、点群修正ユニットにおいて不十分な照明シーンがシミュレーションされ、これは図４Ｂにより例示されている。例として、点群修正ユニット２１２は、識別された局所光源の位置をカメラ位置として、光の方向をカメラの向きとして、光のコリメーション（light collimation）をカメラの視野として使用してもよい。そのようなカメラの配置（setup）に基づいて、点群修正ユニット２１２は線形深度マップをレンダリングしてもよい。例として、線形深度マップは、それのＲチャンネルに格納された深度情報（ｄ）、およびそれのＧチャンネルに格納された深度の２乗（depth square）（ｄ＊ｄ）を有する、ＲＧダブルチャンネル画像であってもよい。一部の実施形態において、線形深度マップは、Ｆｌｏａｔ３２データ形式であってもよい。

図２に戻り、一部の実施形態において、点群修正ユニット２１２は、現実における光の条件を密接に近似する車両軌道の暗いシーンを取得するため、および夜の自律運転システムの測位を強化するために、線形深度マップに基づいて影領域および半影領域をさらに計算し、例示の領域５０３が図４Ｂに示されている。例として、影領域は、周辺光成分（ambient light component）のみを使用して計算されてもよく、半影領域は、周辺光成分および拡散反射光成分（diffuse reflection light component）の両方を使用して計算されてもよい。深度マップは、まず、通常のガウスブラーカーネル（Gaussian blur kernel）を用いて畳み込まれてもよい。例として、１０２４＊１０２４解像度の深度マップにおいて、１０画素のカーネルが使用されてもよい。当然、レンダリングされる画像を平滑化するために使用可能な別の畳み込み行列を取得するために、他のカーネルサイズが使用されてもよい。一部の実施形態において、点群修正ユニット２１２は次に、シーンの中の影領域および半影領域を計算するために、分散シャドウマップ（ＶＳＭ：Ｖａｒｉａｎｃｅ Ｓｈａｄｏｗ Ｍａｐ）アルゴリズムおよび指数シャドウマップ（ＥＳＭ：Ｅｘｐｏｎｅｎｔｉａｌ Ｓｈａｄｏｗ Ｍａｐ）アルゴリズムを組み合わせたハイブリッド法などの適切な方法を使用してもよい。

一部の実施形態において、点群修正ユニット２１２は、修正された点群データを取得するために、ボクセル画像に対して光のシェーディングを実行してもよい。一部の実施形態において、遅延光投影レンダリングおよびランベルト光投影モデル（deferred light projection rendering and Lambert light projection model）がシェーディングのために使用されてもよい。遅延光投影レンダリングは、実際に各局所光による影響を受けている画素を順次シェーディングする利点を有する。これにより、性能を大幅に損なうことなく、シミュレーションされたシーンの中の複数の局所光をレンダリングすることができる。ランベルト光投影モデルは、等方性拡散反射がある表面からの照度を計算するために使用されることが多く、ここでの事例など、拡散反射光成分がある影領域を近似するためのそれの単純さおよび能力において優れている。一部の実施形態において、点群修正ユニット２１２は、影領域に対して周辺光成分のみを計算してもよいが、半影領域に対して周辺光成分および散乱光成分を計算してもよい。次に、シェーディングされたボクセル画像が変換されて点群データに戻される。したがって、シェーディングされた点群データは、不十分な照明条件下での点群データの推定である。修正された点群データは、メモリ／ストレージ２０６またはシステム内の他のストレージデバイスに記憶され得る。

図２に戻り、画像推定ユニット２１４は、点群修正ユニット２１２により修正された点群データを使用して、推定された画像を生成するよう構成される。画像推定ユニット２１４はまず、センサ１５０から通信インターフェース２０２を介して受信されてもよい車両１００の最新の位置に基づいて、車両１００の現在の姿勢情報を推定してもよい。推定された姿勢情報に基づき、修正された点群データの関連部分が識別されてもよく、シミュレーションされた画像が、修正された点群データの当該部分から生成される。この特定の実施形態において、生成される画像は、昼間に捕捉されたデータから再構築される同じシーンよりも不十分な照明条件で夜のシーンを近似する画像をシミュレーションする。その後、画像は、夜に走行している車両１００の測位を最適化するために使用されてもよい。

図５は、図４Ａの再構築されたシーンに対応する、シミュレーションされた夜の間のシーンの一例を示す。図４Ａと図５との間の主要な違いは、局所光源（例えば、街灯４０１）の導入および自然光の除去である。図５は夜のシーンのシミュレーションであるが、本開示は、夜のシーンのみに用途を制限せず、不十分な照明条件で他のシーン（例えば、トンネルの中を、または嵐で日の差さない天候の下で走行しているとき）を、本開示の範囲から逸脱することなく同様にシミュレーション可能である。

３−Ｄの夜のシーンのシミュレーションの一実施形態を下記に詳述する。車両１００が走行したのと同じ道路上の夜の間の照光をよりよく再現するために、図４Ａの走行軌道に沿って検出された局所光源すべてが、それらが実世界であろう形で動作すると見なされるシミュレーションされたシーンを得ること、それにより、後の処理および位置計算で使用される不十分な照明条件下で極めて本物の環境が作り出されることが好ましい。それを達成するために、複数の局所光源の位置、高さ、および種類を識別することは、これらがシミュレーションされるシーンの結果に大きな影響を及ぼすパラメータであるため、重要なタスクとなる。

位置および高さは、双眼カメラまたはＬｉＤＡＲスキャナなど、それの周囲の３−Ｄ画像を認識できる画像化センサまたは検出器から収集された深度情報から計算できる。画像画素の深度は、画像画素とカメラとの間の距離として定義される。この開示によるシステムは、カメラ座標系において局所光源を表現する画素の３−Ｄ座標を取得するために、そのような局所光源の深度情報を抽出して、次に、抽出された深度情報をマッピングおよび変換する能力を有する。実世界へのさらなる近似を、オブジェクト検出技術を使用することで実現できる。検出されたオブジェクトを、それのデータベースに記憶された事前指定または学習されたオブジェクトと比較することにより、システムは、各局所光源の種類（例えば、図４Ａの街灯３０１）およびそれの様々なパラメータを自動的に判断する。局所光源の種類が判断されると、それの照光、強度、コリメーション、ビーム角（つまり、光源から放射される光の幅の程度）、光の方向、色、および他のパラメータを、製品仕様、それに使用されている材料／成分、および光源の他の知識により取得できる。例として、広告板で使用される典型的なＳＭＤ ＬＥＤのビーム角は１２０°である。これらのパラメータおよび各局所光源の位置が分かると、暗いシーンに対するシミュレーションを最適化できる。

なお、図２から図５に関連して記載された日中シーンの再構築および夜のシーンのシミュレーションは、オンライン（サーバ１９０など車両１００外のデバイスへのネットワーク通信で）もしくはオフライン（車両１００内で）のいずれかで処理可能であり、または再構築のみもしくはシミュレーションのみのいずれかもしくは両方に関してオンラインおよびオフライン処理の組み合わせとすることができるということを注意すべきである。

図２の車両測位ユニット２１６は、修正された点群データに従って、不十分な照明条件下で走行する車両１００をより適切に測位するよう構成される。例として、修正された点群データから画像推定ユニット２１４により生成された推定された画像は、車両測位ユニット２１６において、センサ１６０により実際に捕捉された画像と比較されてもよい。これは、車両がそれの位置を不十分な照明条件下で正確に知ることを可能にし、それによってそれの走行安全性を改善する。

本開示によるシステムは、任意のタイムスタンプでの車両の空間測位を判断し得る。システムは、センサ１４０により捕捉される点群、センサ１５０により捕捉される姿勢情報、およびセンサ１６０により捕捉される画像フレームがすべて同じタイムスタンプにて捕捉されるように、センサ１４０、１５０、および１６０を同期させる同期システムを含んでもよい。一部の実施形態において、同期された画像フレーム、点群、および関連する姿勢情報は、車両１００を測位するために集合的に使用されてもよい。他の一部の実施形態において、画像フレームおよび点群のうちの１つが、車両１００を測位するために、関連する姿勢情報と組み合わせて使用されてもよい。本開示に従い、ＧＰＳ／ＩＭＵセンサにより提供されるパルス毎秒（ＰＰＳ：Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ）信号が、センサ１４０、１５０、および１６０による情報の獲得を同期させるために使用されてもよい。

特定のタイムスタンプにおける車両１００の姿勢情報が推定され、センサ１４０および１６０が搭載されている車両１００に対するそれらセンサの姿勢情報が予め判断されれば、それら２つの情報から、センサ１４０および１６０の姿勢情報も、好適にはグローバル座標系としてセット可能な、単一の統合された３次元座標系において推定できる。上述のように、センサ１４０は、点群を獲得するＬｉＤＡＲであってもよく、センサ１６０は、画像を捕捉するカメラであってもよい。以下の説明は、カメラを例として使用するが、同じ処理は、本願明細書に開示されるシステムとの互換性がある他の任意の画像化デバイスまたはスキャナにも適用可能である。

本開示によるシステムはさらに、通信インターフェース２０２を介して車両１００の最新の位置を受信し、最新の位置に基づいて車両１００の現在の姿勢情報を推定する。一部の実施形態において、車両１００が走行しているのと同じ軌道に沿って捕捉されたデータがデジタル化された点群に以前に変換されている場合、システムは、シミュレーションされた暗いシーンの助けを借りて車載カメラの姿勢情報を処理して不十分な照明条件下で車両１００の正確な位置を近似する。

本開示に従い、システムが後の処理のために以前に記憶された任意の点群をフェッチする前に、車両１００は、どの軌道に沿って走行しているのかを認識する必要があり、ストレージデバイスに記憶されている任意のデータセット（好適には点群）に軌道が一致するかどうかを判断する。これを達成するための様々な方法がある。例として、人である車両１００のオペレータは、車両が走行する道路の位置について個人的な知識を有するかもしれず、したがって、ストレージデバイスから道路に関連する点群をフェッチするようシステムに指令する。あるいはシステムは、装備されているコンポーネントにより収集された画像情報、地理情報、位置情報、空間情報、および／または他の種類の情報を用いて道路を自動的に認識するために人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）能力を保有してもよい。次にシステムは、道路の情報を、ストレージデバイスからのデータセットと比較し、一致した任意の結果についてシステムは、ストレージデバイスから道路に関連する点群を自動的にフェッチする。点群は、不十分な照明条件下の同じシーンをシミュレーションするために使用されてもよい影領域情報を含む。

本開示によるシステムはさらに、カルテシアン空間（Cartesian space）内のフェッチされた点群（オブジェクト）を、車載カメラの最適な姿勢情報を近似するために後に使用されてもよい、射影空間内の切り捨てられる点群のセット（クリッピングされたカメラ視点）に変換する。

一部の実施形態において、点群の３−Ｄ座標系における所与の点の位置は、Ｐ_ｐ｛ｘ，ｙ，ｚ，１｝により表現できる。最初の３つのパラメータｘ、ｙ、およびｚは、点群モデル座標系（カルテシアン座標系である）において直交するｘ軸、ｙ軸、およびｚ軸に対する点の位置を表現する。最後のパラメータは、オブジェクト座標系などのカルテシアン座標系については常に１（one）にセットされるが、座標系が同次座標系（homogenous coordinate system）（例えばカメラ視点座標系）に変換されると変数になる。

点群に関連するオブジェクト座標系における任意の所与の点の座標をグローバル座標系における同じ点の座標に変換するために、モデル変換行列Ｍ_０が適用されてもよい。この変換は、カルテシアン座標系から、測位のためにグローバル座標を同じく採用するカメラ視点に基づく投影座標系への後の変換により必要とされる。

上記の実施形態に従い、カメラの前方方向Ｖ_ｆがカメラ視点座標系（射影空間）のｚ軸を表現し、上方向Ｖ_ｕがｙ軸を表現し、左方向Ｖ_ｌがｘ軸を表現すると仮定して、カメラ視点座標系Ｍ_１の例示的な変換行列が図６Ａに示されている。行列の左３列の３要素のセット（ｍ_０，ｍ_１，ｍ_２）、（ｍ_４，ｍ_５，ｍ_６）、および（ｍ_８，ｍ_９，ｍ_１０）は回転またはスケーリングなどのカルテシアンおよびアフィン変換（Cartesian and affine transformation）に関する。右端のセット（ｍ_１２，ｍ_１３，ｍ_１４）は並進変換（translation transformation）に関する。さらなる変数ｍ３、ｍ７、ｍ１１、およびｍ１５は、このカメラ視点座標系においてそれぞれ０、０、０、および１にセットされる。行列Ｍ_１は、グローバル座標系における任意の所与の点の座標をカメラ視点座標系における同じ点の座標へと変換するために使用される。

本開示に従い、車両に搭載されているカメラにより捕捉された実際の画像をさらに近似するために、３−Ｄカメラ画像が２−Ｄ表面に投影され得るように、「錐台カリング（frustum culling）」または「クリッピング」として知られる変換手法がカメラ視点座標に適用されてもよい。錐台カリングは、カメラ視点座標（３次元座標系の中のピラミッドに類似する）からすべての頂点データをクリッピングする関数を使用し、その結果、クリッピング後の（post-clipping）座標（「視錐台（viewing frustum）」とも呼ばれる）から外れる点は投影されず、したがって、２−Ｄ画像から見えない。図６Ｂは、車両１００に搭載されたカメラに関する例示的な視錐台（ピラミッドの濃色の領域）６００を示す。切り捨てられるピラミッドの投影行列Ｍ_２は、左、右、上方、下方、近、遠、の境界値の６つのパラメータに基づいて構築され、これらはさらに、例えばカメラの視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）角、それの画像のアスペクト比（aspect ratio）などのカメラのパラメータにより定義される。クリッピング後のカメラ視点座標における変数については、点が今や同次座標系にあるという事実を反映するために、１以外の数にセットされてもよい。

上記の段階的な変換の後、視錐台における同じ点の座標Ｐｃ｛ｘ’，ｙ’，ｚ’，ｗ’｝を次の関数から計算できる：
Ｐ_ｃ＝Ｐ_Ｐ・Ｍ_０・Ｍ_１・Ｍ_２ 式３
Ｐ_ｃの３つの軸（ｘ軸、ｙ軸、およびｚ軸）すべての絶対値が１未満であれば、その点は視錐台の中の点群に維持され、そうでなければ点は破棄される。結果として生じた点群は、２−Ｄ画像に投影されるフェッチされた点群のサブセットを構成し、したがって、不十分な照明条件下の推定された姿勢情報を用いて、車載カメラにより捕捉される画像をシミュレーションする。

図７Ａは、シミュレーションされた暗いシーンにおける、事前に切り捨てられる例示的なカメラ視点座標系を示す。ピラミッドの頂点（最多の線が交差する点）が、所与のタイムスタンプでのカメラの推定位置である。錐台カリングを伴う変換後、シミュレーションされた２−Ｄ画像が、その頂点にあるカメラにより撮られたかのように取得され得る。各画像は、カメラの推定位置からの光景を、そのカメラがその位置から画像を捕捉しているかのように表現する。シミュレーションされたそのような画像の１つ以上が、図７Ｂに示されているような、暗い照明条件下で車載カメラにより捕捉された実際の画像の１つ以上と比較される。車載カメラの姿勢情報が、シミュレーションされた画像と実際の画像との間の類似性を最小化する結果として最適化されると、不十分な照明条件下で走行している車両１００を、グローバル空間におけるカメラの姿勢情報および車両１００に対するカメラの所定の姿勢情報に基づいて正確に測位できる。

本開示に従い、シミュレーションされた画像（オブジェクトｘ）と実際の画像（オブジェクトｙ）との間の類似性を最小化するために使用される例示的な手法は、その２つの間の正規化圧縮距離（ＮＣＤ：ｎｏｒｍａｌｉｚｅｄ ｃｏｍｐｒｅｓｓｅｄ ｄｉｓｔａｎｃｅ）を計算する。どちらの画像も同じ所定のプログラミング言語により出力としてもたらされ得るので、そのような言語は、ｙからｘを算出する最短プログラムを含み得る。コルモゴロフ複雑性（Kolmogorov complexity）として表現される、そのような最短プログラムの長さが、２つの画像間の情報距離として定義される。実世界の圧縮器を適用した後、オブジェクトｘとオブジェクトｙとの間のＮＣＤを、次の式により表現できる。

Ｚ（ｘ）は、圧縮器Ｚによるオブジェクトｘの長さである。車載カメラにより捕捉された実際の画像と最も近い類似性を備えたシミュレーションされた画像を識別するために、シミュレーションされた別々の画像の間のＮＣＤの結果が比較されてもよい。一部の実施形態において、結合分布

が各カメラについて構築されてもよく、総距離（すなわちすべてのカメラの距離の合計）が最適化のための費用関数として使用されてもよい。例として、式５がそのような費用関数であってもよい。

式中、Ｉｃはカメラにより捕捉された実際の画像であり、Ｉｓはシミュレーションされた画像であり、Ｇ_Ｒ，Ｗは姿勢情報である。

図８は、不十分な照明条件下で車両を測位する例示的な方法８００のフローチャートを示す。一部の実施形態において、方法８００は、特に局所光源識別ユニット２１０、点群修正ユニット２１２、および車両測位ユニット２１６を含むシステム２００により実装されてもよい。例として、方法８００のステップＳ８０３は、局所光源識別ユニット２１０によって実行されてもよく、ステップＳ８０４およびＳ８０５は、点群修正ユニット２１２により実行されてもよく、ステップＳ８０６は車両測位ユニット２１６により実行されてもよい。当然のことながら、ステップのうちの一部は、本願明細書において提供された開示を実行するには任意であるかもしれず、いくつかのステップは、この開示による他の実施形態に従う方法８００のフローチャートに挿入されてもよい。さらに、ステップのうちの一部は、同時に実行されても、または図８に示されるのとは異なる順序で実行されてもよい。

ステップＳ８０１において、様々なタイプのデータが自律運転車両の車載センサにより捕捉されてもよい。例として、点群データ２０１が、ＬｉＤＡＲスキャナなどのセンサ１４０により獲得されてもよく、軌道情報２０３が、ＧＰＳ受信機、ＩＭＵセンサ、または両方などのセンサ１５０により取得されてもよく、デジタル画像２０５が、カメラにおいて使用される画像化センサなどのセンサ１６０により捕捉されてもよい。

ステップＳ８０２において、センサ１４０により獲得された点群データのセットが、記憶および後の処理のために通信インターフェース２０２により受信されてもよい。点群データのセットは、自律運転車両が走行している軌道のシーンに関連する。本開示の方法８００によれば、シーンは、捕捉された点群データを使用して再構築およびレンダリングできる。

ステップＳ８０３において、シーン中の局所光源が点群データのセットに基づいて識別されてもよい。一部の実施形態において、局所光源はオペレータにより手動で識別されてもよい。他の実施形態において、局所光源はオブジェクト認識技術または同様のものを使用して自動的に点群データから抽出されてもよい。これらの局所光源は、夜のシーンなど、不十分な照明条件でシーンをシミュレーションするために使用されてもよい。

ステップＳ８０４において、不十分な照明条件でシミュレーションされたシーンを取得するために、方法８００はさらに、識別された局所光源から光が放射されるかのように光をシミュレーションすることを含んでもよい。シミュレーションは、例えば、識別された局所光源の照光、強度、コリメーション、ビーム角、光の方向、色など、識別された局所光源の様々なパラメータを考慮に入れてもよい。

ステップＳ８０５において、シミュレーションされた光が、センサ１４０により獲得された点群データ２０１のセットに適用されてもよく、その結果、点群データ２０１のセットが修正されてもよく、シミュレーションされた暗いシーンが生成されてもよい。一部の実施形態において、修正は、点群データのセットに対して、識別された局所光源からのシミュレーションされた光を投影することにより深度マップを判断すること、および深度マップに基づいて、少なくとも１つの影領域および少なくとも１つの半影領域を判断することをさらに含んでもよい。影領域は、周辺光成分のみを使用して計算されてもよく、半影領域は、周辺光成分および拡散反射光成分の両方を使用して計算されてもよい。暗いシーンを生成できるように、少なくとも１つの影領域および少なくとも１つの半影領域から計算された照光を適用することにより、点群データのセットがシェーディングされてもよい。生成された暗いシーンは、夜間に車両１００が走行することになる同じ軌道の実際の環境を近似する。

ステップＳ８０６において、車両１００は、修正された点群データのセットに基づいて、不十分な照明条件下でより正確に測位されてもよい。他の一部の実施形態において、車両１００の位置はさらに、姿勢情報を明らかにして（account for）もよい。車両１００の現在の姿勢情報が、センサ１５０から通信インターフェース２０２を介して受信され得る車両１００の最新の位置に基づいて推定されてもよい。推定された現在の姿勢情報に基づいて、修正された点群データの関連部分が識別されてもよい。一部の実施形態において、画像推定ユニット２１４は、修正された点群データの当該部分に基づいて、推定された画像を生成するよう構成されてもよい。推定された画像は、車両１００が走行している不十分な照明条件下の同じシーンの実際の画像と比較されてもよい。実際の画像は、カメラに見られるような画像化センサにより捕捉されてもよい。比較は、比較結果が実際の画像と最も近い類似性を備えたシミュレーションされた画像を示すことができるように、推定された画像と捕捉された画像との間の情報距離を計算することをさらに含んでもよく、それによって車両１００の正確な測位を支援する。

本開示の別の側面は、実行されると上述した方法を１つ以上のプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体を対象とする。コンピュータ可読媒体は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、リムーバブル、非リムーバブル、または他の種類のコンピュータ可読媒体もしくはコンピュータ可読ストレージデバイスを含んでもよい。例として、コンピュータ可読媒体は、開示されたように、コンピュータ命令が記憶されているストレージデバイスまたはメモリモジュールであってもよい。一部の実施形態において、コンピュータ可読媒体は、コンピュータ命令が記憶されているディスク、フラッシュドライブ、またはソリッドステートドライブであってもよい。

当業者には当然のことながら、開示されたシステムおよび関係する方法に対して、様々な変更および変化を加えることができる。本明細書の検討、ならびに開示されたシステムおよび関係する方法の実践から、当業者には他の実施形態が明らかとなる。

本明細書および各例は例示的なものでしかないと見なされるものとし、真の範囲は、添付の特許請求の範囲およびその等価物によって示される。

Claims (20)

1. 車両を測位するシステムであって、
   少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信するよう構成された通信インターフェースと、
   前記点群データのセットを記憶するよう構成されたストレージと、
   プロセッサと、
   を含み、前記プロセッサは、
   前記点群データのセットに基づいて少なくとも１つの局所光源を識別し、
   第２の照明条件に対応する、前記少なくとも１つの局所光源からのシミュレーションされた光に基づいて、前記点群データのセットを修正し、
   前記修正された点群データのセットに基づいて、前記第２の照明条件下で前記車両を測位する、
   よう構成される、システム。
2. 前記通信インターフェースは、前記第２の照明条件下で画像化センサにより捕捉された、前記シーンに関する画像を受信するよう構成され、前記プロセッサはさらに、
   推定された画像を前記修正された点群データのセットに基づいて生成し、
   前記推定された画像を前記捕捉された画像と比較することによって、前記第２の照明条件下で前記車両を測位する、
   よう構成される、請求項１に記載のシステム。
3. 前記通信インターフェースはさらに、前記車両の最新の位置を受信するよう構成され、前記プロセッサはさらに、前記車両の前記最新の位置に基づいて前記車両の現在の姿勢情報を推定するよう構成される、請求項２に記載のシステム。
4. 前記プロセッサはさらに、前記修正された点群データのセットの中で、前記車両の前記現在の姿勢情報に対応する点群データを特定するよう構成される、請求項２に記載のシステム。
5. 前記推定された画像を生成するために、前記プロセッサはさらに、前記識別された局所光源が前記第２の照明条件下で照光したであろうように前記局所光源の照光をシミュレーションするよう構成される、請求項２に記載のシステム。
6. 前記推定された画像と前記捕捉された画像とを比較することは、前記推定された画像と前記捕捉された画像との間の情報距離を計算することを含む、請求項２に記載のシステム。
7. 前記第２の照明条件は、前記第１の照明条件よりも少ない照光を含む、請求項１に記載のシステム。
8. 前記点群データのセットを修正するために、前記プロセッサはさらに、
   前記識別された局所光源からの前記シミュレーションされた光を前記点群データのセットに対して投影することによって深度マップを判断し、
   前記深度マップに基づいて、少なくとも１つの影領域および少なくとも１つの半影領域を判断する、
   よう構成される、請求項１に記載のシステム。
9. 前記点群データのセットを修正するために、前記プロセッサはさらに、前記少なくとも１つの影領域および前記少なくとも１つの半影領域に基づいて計算された照光を使用して、前記点群データのセットをシェーディングするよう構成される、請求項８に記載のシステム。
10. 車両を測位する方法であって、
    少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信するステップと、
    前記点群データのセットに基づいて少なくとも１つの局所光源を識別するステップと、
    第２の照明条件に対応する、前記少なくとも１つの局所光源からのシミュレーションされた光に基づいて、前記点群データのセットを修正するステップと、
    前記修正された点群データのセットに基づいて、前記第２の照明条件下で前記車両を測位するステップと、
    を含む方法。
11. 前記第２の照明条件下で画像化センサにより捕捉された、前記シーンに関する画像を受信するステップと、
    推定された画像を前記修正された点群データのセットに基づいて生成するステップと、
    前記推定された画像を前記捕捉された画像と比較することによって、前記第２の照明条件下で前記車両を測位するステップと、
    をさらに含む、請求項１０に記載の方法。
12. 前記車両の最新の位置を受信するステップと、
    前記車両の前記最新の位置に基づいて前記車両の現在の姿勢情報を推定するステップと、
    をさらに含む、請求項１１に記載の方法。
13. 前記推定された画像を前記捕捉された画像と比較することは、前記推定された画像と前記捕捉された画像との間の情報距離を計算することを含む、請求項１１に記載の方法。
14. 前記点群データのセットを修正するステップはさらに、
    前記識別された局所光源からの前記シミュレーションされた光を前記点群データのセットに対して投影することによって深度マップを判断するステップと、
    前記深度マップに基づいて、少なくとも１つの影領域および少なくとも１つの半影領域を判断するステップと、
    を含む、請求項１０に記載の方法。
15. 前記点群データのセットを修正するステップはさらに、前記少なくとも１つの影領域および前記少なくとも１つの半影領域に基づいて計算された照光を使用して、前記点群データのセットをシェーディングするステップを含む、請求項１４に記載の方法。
16. １つ以上のプロセッサにより実行されると前記１つ以上のプロセッサに、車両を測位する方法を実行させる命令が記憶された非一時的コンピュータ可読媒体であって、前記方法は、
    少なくとも１つのセンサによって第１の照明条件下で捕捉されたシーンに関する点群データのセットを受信するステップと、
    前記点群データのセットに基づいて少なくとも１つの局所光源を識別するステップと、
    第２の照明条件に対応する、前記少なくとも１つの局所光源からのシミュレーションされた光に基づいて、前記点群データのセットを修正するステップと、
    前記修正された点群データのセットに基づいて、前記第２の照明条件下で前記車両を測位するステップと、
    を含む、コンピュータ可読媒体。
17. 前記方法はさらに、
    前記第２の照明条件下でカメラにより捕捉された、前記シーンに関する画像を受信するステップと、
    推定された画像を前記修正された点群データのセットに基づいて生成するステップと、
    前記推定された画像を前記捕捉された画像と比較することによって、前記第２の照明条件下で前記車両を測位するステップと、
    を含む、請求項１６に記載のコンピュータ可読媒体。
18. 前記方法はさらに、
    前記車両の最新の位置を受信するステップと、
    前記車両の前記最新の位置に基づいて前記車両の現在の姿勢情報を推定するステップと、
    を含む、請求項１７に記載のコンピュータ可読媒体。
19. 前記推定された画像を前記捕捉された画像と比較することは、前記推定された画像と前記捕捉された画像との間の情報距離を計算することを含む、請求項１７に記載のコンピュータ可読媒体。
20. 前記点群データのセットを修正するステップはさらに、
    前記識別された局所光源からの前記シミュレーションされた光を前記点群データのセットに対して投影することによって深度マップを判断するステップと、
    前記深度マップに基づいて、少なくとも１つの影領域および少なくとも１つの半影領域を判断するステップと、
    を含む、請求項１６に記載のコンピュータ可読媒体。
    
    

Images