JP2020527761A - 高度自動運転マップを更新するためのシステムおよび方法 - Google Patents

Abstract

本開示の実施形態は、複数の端末を使用してＨＡＤマップを更新するための方法およびシステムを提供する。システムは、ネットワークを介して複数の端末と通信するように構成された通信インターフェースを含んでもよい。システムは、ＨＡＤマップを記憶するように構成されたストレージをさらに含んでもよい。システムはまた、少なくとも１つのプロセッサを含んでもよい。少なくとも１つのプロセッサは、少なくとも１つの変化オブジェクトを含む対象領域を識別するように構成されてもよい。少なくとも１つのプロセッサは、さらに、少なくとも１つの変化オブジェクトを含む対象領域を識別するように構成されてもよい。少なくとも１つのプロセッサは、さらに、異なる視野位置における対象領域のデータを取得するように複数の端末に命令し、複数の端末から取得されたデータを受信するように構成されてもよい。少なくとも１つのプロセッサは、さらに、取得されたデータから少なくとも１つの変化オブジェクトの三次元モデルを構築し、三次元モデルに基づいてＨＡＤマップを更新するように構成されてもよい。
【選択図】図５

Description

技術分野
本開示は、高度自動運転（Ｈｉｇｈｌｙ Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ（ＨＡＤ））マップを更新するためのシステムおよび方法に関し、より詳細には、ＨＡＤマップを更新するための複数のデータ取得端末からのクラウドソーシングのためのシステムおよび方法に関する。

背景
自律駆動技術は、正確なマップに大きく依存している。例えば、ナビゲーションマップの精度は、位置決め、雰囲気認識、意思決定、および制御などの自律走行車両の機能にとって重要である。実際には、ＨＡＤマップは、車両が走行しているときに、車両上の様々なセンサ、検出器、および他のデバイスによって取得された集約画像および情報から生成することができる。例えば、調査車両は、道路または周囲の物体の特徴を捕捉するために、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）レーダ、高分解能カメラ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、またはＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの１つまたは複数のセンサを備えることができる。取り込まれたデータは、例えば、車線の中心線または境界線座標、建物、別の車両、標識、歩行者、または交通標識などの物体の座標およびパターンを含むことができる。

再計画、新しい開発、建設、および他のインフラストラクチャ変更のために、ＨＡＤマップは、道路情報を正確に反映するために定期的に更新される必要がある。例えば、１車線の道路を２車線の道路に拡張することができ、それに応じて、道路標識、交通サイン、交通信号、ならびに木や建物のような周囲の物体が変化または移動することができる。ＨＡＤ更新マップは、通常、調査車両によって変更された道路の部分を再調査することを必要とする。しかし、マップのわずかな変更に関するデータを取得するために１００万ドル相当の調査車両を派遣することは多数の調査車両を維持することにつながり、これはかなりのコストとなり得、したがって、経済的に実行可能ではない。それはまた、かなりの人間の介入を必要とし得、これはさらに高いコストにつながる。一方、低コストの機器で取得した低解像度データでマップを更新すると、マップの品質が損なわれる。したがって、高分解能マップを更新するための改善されたシステムおよび方法が必要とされる。

本開示の実施形態は、複数のデータ取得端末からのクラウドソーシングに基づいて高解像度マップを更新するための方法およびシステムによって、上記の問題に対処する。

本開示の実施形態は、複数の端末を使用してＨＡＤマップを更新するシステムを提供する。システムは、ネットワークを介して複数の端末と通信するように構成された通信インターフェースを含むことができる。システムは、ＨＡＤマップを記憶するように構成されたストレージ装置をさらに含むことができる。システムは、また、少なくとも１つのプロセッサを含むことができる。少なくとも１つのプロセッサは、少なくとも１つの変化オブジェクトを含む対象領域を識別するように構成されてもよい。少なくとも１つのプロセッサは、さらに、異なる視点位置における対象領域のデータを取得するように複数の端末に命令し、取得されたデータを複数の端末から受信するように構成されてもよい。少なくとも１つのプロセッサは、取得されたデータから少なくとも１つの変化オブジェクトの三次元モデルを構築し、三次元モデルに基づいてＨＡＤマップを更新するように構成されてもよい。

本開示の実施形態は、複数の端末を使用してＨＡＤマップを更新する方法をさらに開示する。前記方法は、少なくとも１つのプロセッサによって、少なくとも１つの変化オブジェクトを含む対象領域を識別するステップことを含むことができる。前記方法は、少なくとも１つのプロセッサによって、異なる視点位置における対象領域のデータを取得するように複数の端末に命令するステップと、複数の端末から取得されたデータを受信するステップと、をさらに含んでもよい。前記方法は、また、少なくとも１つのプロセッサによって、取得されたデータから少なくとも１つの変化オブジェクトの三次元モデルを構築するステップと、少なくとも１つのプロセッサによって、三次元モデルに基づいてＨＡＤマップを更新するステップと、を含んでもよい。

本開示の実施形態は、コンピュータプログラムが格納された非一時的なコンピュータ可読媒体をさらに開示する。コンピュータプログラムは、少なくとも１つのプロセッサによって実行されると、複数の端末を使用してＨＡＤマップを更新する方法を実行することができる。前記方法は、少なくとも１つの変化オブジェクトを含む対象領域を識別するステップを含むことができる。前記方法は、異なる視点位置における対象領域のデータを取得するように複数の端末に命令するステップと、取得されたデータを複数の端末から受信するステップと、をさらに含んでもよい。前記方法は、また、取得されたデータから少なくとも１つの変化オブジェクトの三次元モデルを構築するステップと、三次元モデルに基づいてＨＡＤマップを更新するステップと、を含むことができる。

当然ながら、上記の一般的記載と下記の詳細な記載単に例示的かつ説明的なものであり、主張されているように発明を制限するものではない。

図１は、本発明の実施形態による、ＨＡＤマップを更新するための例示的なシステムの概略図を示す。 図２は、本開示の実施形態による、ＨＡＤマップを更新するための例示的なシステムのブロック図を示す。 図３は、本開示の実施形態による、ＨＡＤマップを更新するためにデータを取得するために端末によって実行される例示的な方法のフローチャートである。 図４は、本開示の実施形態による、画像から変化オブジェクトを検出することを示す。 図５は、本開示の実施形態による、ＨＡＤマップを更新するための例示的な方法のフローチャートである。 図６は、本開示の実施形態による、変化オブジェクトの三次元モデルを再構成するための例示的な方法のフローチャートである。

詳細な説明
ここで、例示的な実施形態を詳細に参照し、その例を添付の図面に示す。図面において、同一の参照符号は、可能な限り同一または類似の構成要素に用いる。

図１は、本開示の実施形態による、ＨＡＤマップを更新するための例示的なシステム１００の概略図を示す。いくつかの実施形態と一致して、システム１００は、端末１３１、１３２、１３３、および１３４を含む複数の端末と通信可能に接続されたサーバ１４０を含むことができる。いくつかの実施形態では、サーバ１４０は、ローカル物理サーバ、クラウドサーバ（図１に示す）、仮想サーバ、分散サーバ、または任意の他の好適なコンピュータ装置であってもよい。本開示と一致して、サーバ１４０は、ＨＡＤマップを記憶することができる。いくつかの実施形態では、ＨＡＤマップは、元々、ＬｉＤＡＲによって取得されたポイントクラウドデータを使用して構築されてもよい。ＬｉＤＡＲは、パルスレーザ光でターゲットを照射し、反射パルスをセンサで測定することによって、ターゲットまでの距離を測定する。次いで、レーザ光の送出および戻りの時間および波長の差を用いて、ターゲットのデジタル三次元（３−Ｄ）表現を作成することができる。ＬｉＤＡＲ走査に使用される光は、紫外線、可視光、または近赤外線であってもよい。オブジェクト再構成の高い精度および効率のために、ＬｉＤＡＲは、ＨＡＤを構成するための空間データ取得に特に適している。

本開示と一致して、サーバ１４０は、また、ＨＡＤマップの特定の部分での変化を反映するために、時々ＨＡＤマップを更新する責任を負ってもよい。ＬｉＤＡＲで領域を再調査する代わりに、サーバ１４０は、様々な視点位置にある複数の端末によって、変化オブジェクトの取り込まれたデータをクラウドソースし、そのようなデータを統合してＨＡＤマップを更新することができる。例えば、サーバ１４０は、端末１３１〜１３４からのデータをクラウドソースすることができる。サーバ１４０は、無線ローカルエリアネットワーク（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、電波などの無線ネットワーク、全国的なセルラネットワーク、衛星通信ネットワーク、および／またはローカル無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ）などのネットワークを介して端末１３１〜１３４と通信することができる。サーバ１４０は、端末１３１〜１３４にデータを送信し、または端末１３１〜１３４からデータを受信することができる。サーバ１４０は、図１に示されたものよりも多いまたは少ない端末からクラウドソースしてもよいと考えられる。

いくつかの実施形態では、端末１３１〜１３４は、画像を取り込むように構成されたモバイル端末であってもよい。例えば、端末１３１〜１３４は、カメラまたは他の費用効果の高いイメージング装置であってもよい。いくつかの実施形態では、端末１３１〜１３４は、端末が車両によって持ち運びされ得るように、車両に装備され、取り付けられ、または他の方法で取り付けられ得る。車両は、車両を占有するオペレータによって、遠隔制御および／または自律的に操作されるように構成されてもよい。いくつかの実施形態では、端末１３１〜１３４のうちのいくつかは、信号機、建物、木などに設置された監視カメラなどの静止型であってもよい。

端末１３１〜１３４がモバイル端末である場合、それらは、異なるソースから取得された位置情報の組み合わせを使用して位置決めされ得る。例えば、端末は、端末を運ぶ車両によって提供されるＧＰＳ信号およびＩＭＵ信号、端末によって取り込まれた画像、ならびにサーバ１４０によって提供されるＨＡＤマップを使用して、それ自体を位置決めすることができる。いくつかの実施形態では、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）方法を実行して、各端末を位置決めすることができる。ＧＰＳ／ＩＭＵ信号およびＨＡＤマップは、ＳＬＡＭアルゴリズムに追加の情報を提供し、したがって、その位置決め精度および信頼性を高めることができる。

端末１３１〜１３４は、異なる視点位置から道路１１０の画像を取得することができる。取得された画像に基づいて、端末１３１〜１３４は、シーン内の少なくとも１つのオブジェクトにおける変化を検出することができる。例えば、道路１１０は、２つの車線を分割する車線標識１１１を有する２車線道路であった。最近、道路１１０は、建設中であり、道路１１０を分割する車線標識１１１、１１２を有する３車線道路に広がった。取得された画像から、端末１３１〜１３４は、道路１１０の変化、例えば、車線標示１１２および修正された歩行者交差線標示１１３（すなわち、ゼブラ線）の加算を検出することができる。検出された変化は、取り込まれた画像と共に、サーバ１４０に提供される。

変化が生じたことを知ると、サーバ１４０は、マップ更新プロセスを開始することができる。いくつかの実施形態では、サーバ１４０は、変化オブジェクトを含む対象領域を識別することができる。例えば、端末１３１が変化を報告する場合、サーバ１４０は、端末１３１の位置と、端末１３１によって検出された標示１１２および１１３などの変化オブジェクトとに基づいて、対象領域を決定することができる。次いで、サーバ１４０は、変化オブジェクトの近くに位置する端末１３１〜１３４にデータ取得命令を送信することができる。いくつかの実施形態では、命令は、対象領域を指定し、対象領域の画像を取得するように端末１３１〜１３４に命令することができる。例えば、対象領域は、図１に示す道路１１０の一部であってもよい。

端末１３１〜１３４は、対象領域に対して異なる角度および／または距離で位置決めされるので、異なる視点位置から同じシーンの画像を取得することができる。したがって、視点位置の変化によって、端末１３１〜１３４は、道路１１０に関する一意の情報を得ることができる。このような情報は、統合されると、サーバ１４０が道路１１０の３Ｄモデルを再構成するのを助けることができる。サーバ１４０は、さらに、再構成された３ＤモデルをＨＡＤマップと照合し、マップの対応する部分を更新することができる。

図１は、道路１１０の領域を、標識１１２および１１３などの例示的な変化オブジェクトを含むものとして示しているが、開示されたシステムおよび方法は、他の変化オブジェクトを反映するようにＨＡＤマップを更新するために適用できることが企図される。例えば、オブジェクトの変更は、新しいまたは修正された交通標識、道路１１０の側面の建物の建設または解体、道路１１０に沿った景観の変更などを含むことができる。

図２は、本開示の実施形態による、ＨＡＤマップを更新するための例示的なシステムのブロック図を示す。本開示と一致して、サーバ１４０は、端末１３１〜１３４を介してデータを収集し、複数のソースからのデータを統合して、ＨＡＤマップを更新することができる。

いくつかの実施形態では、図２に示すように、サーバ１４０は、通信インターフェース２０２、プロセッサ２０４、メモリ２１２、およびストレージ２１４を含むことができる。いくつかの実施形態では、サーバ１４０は、スタンドアロンコンピューティングデバイスなどの単一のデバイス、または専用機能を有する別個のデバイス内に異なるモジュールを有することができる。いくつかの実施形態では、サーバ１４０の１以上のコンポーネントは、クラウド内に配置されてもよく、あるいは単一の場所または分散された場所に配置されてもよい。サーバ１４０のコンポーネントは、統合されたデバイス内にあってもよく、または異なる場所に分散されてもよいが、ネットワーク（図示せず）を介して互いに通信する。

図２によって省略されているが、端末１３１〜１３４の各々は、サーバ１４０に示されたものと同様のハードウェアコンポーネント、例えば、プロセッサ２３０、通信インターフェース（図示せず）、メモリ（図示せず）およびストレージ（図示せず）を含むことも考えられる。

通信インターフェース２０２は、通信ケーブル、無線ローカルエリアネットワーク（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、電波などの無線ネットワーク、全国的なセルラネットワーク、および／またはローカル無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ）、または他の通信方法を介して、端末１３１〜１３４または端末が取り付けられる（例えば、車両）他のシステムもしくはデバイスにデータを送信し、そこからデータを受信することができる。いくつかの実施形態では、通信インターフェース２０２は、ＩＳＤＮ（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅｓ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するモデムとすることができる。別の例として、通信インターフェース２０２は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）カードであり得る。無線リンクは、通信インターフェース２０２によっても実現できる。そのような実装形態では、通信インターフェース２０２は、ネットワークを介して様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信することができる。

本開示のいくつかの実施形態と一致して、通信インターフェース２０２は、端末１３１〜１３４によって取り込まれた画像を受信し、受信したデータを記憶のためにストレージ２１４に、または処理のためにプロセッサ２０４に提供することができる。通信インターフェース２０２は、また、プロセッサ２０４によって生成された情報または信号を受信し、それらを端末１３１〜１３４に提供して、それらの画像取得を調整することができる。

プロセッサ２０４およびプロセッサ２３０は、任意の適切なタイプの汎用または専用マイクロプロセッサ、デジタル信号プロセッサ、またはマイクロコントローラを含み得る。いくつかの実施形態では、プロセッサ２０４は、ＨＡＤマップの更新に専用の別個のプロセッサモジュールとして構成されてもよい。プロセッサ２３０は、ＨＡＤマップを更新するための画像を取得する専用の別個のプロセッサモジュールとして構成することができる。あるいは、プロセッサ２０４およびプロセッサ２３０は、マップ更新とは関係のない他の機能を実行するための共有プロセッサモジュールとして構成されてもよい。

図２に示すように、プロセッサ２３０は、位置決めユニット２３１、画像取得ユニット２３２、変化検出ユニット２３３などのような多数のモジュールを含むことができる。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、他のコンポーネントと共に使用するために、またはプログラムの一部を実行するために設計されたプロセッサ２３０のハードウェアユニット（例えば、集積回路の一部）であり得る。プログラムは、コンピュータ可読媒体に格納することができ、プロセッサ２３０によって実行されると、１以上の機能を実行することができる。図２は、ユニット２３１〜２３３をすべて１つのプロセッサ２３０内に示しているが、これらのユニットは、互いに近くまたは遠隔に配置された複数プロセッサに分散されてもよいと考えられる。

位置決めユニット２３１は、端末１３１を位置決めするように構成することができる。いくつかの実施形態では、位置決めユニット２３１は、位置を決定するためにＳＬＡＭ方法を実行してもよい。しかしながら、単眼画像のみに適用されるＳＬＡＭ方法は、通常、正確な位置決め情報を提供することができず、位置決め誤差が累積する可能性がある。本開示と一致して、位置決めユニット２３１は、ガイダンスとしてＧＰＳおよびＩＭＵデータをＳＬＡＭ方法に統合することができる。いくつかの実施形態では、位置決めユニット２３１は、特に、ＧＰＳ信号が失われた場合、または高い建物のような物体をブロックすることによって妨害された場合、既存のＨＡＤマップによって提供される情報をさらに統合することができる。ＧＰＳ／ＩＭＵデータおよびＨＡＤマップの両方は、ＳＬＡＭ方法を改善するための制約またはアプリオリ情報として使用され得る絶対測位情報を提供し得る。したがって、改良されたＳＬＡＭ方法は、端末１３１をより正確かつ確実に位置する。

画像取得ユニット２３２は、周囲のオブジェクトの画像を取り込むように構成され得る。いくつかの実施形態では、画像取得ユニット２３２は、単眼カメラの設定および動作を制御するコントローラを含むことができる。例えば、画像取得ユニット２３２は、カメラの焦点、絞り、シャッタ速度、ホワイトバランス、測光、フィルタ、および他の設定を制御および調整し得る。いくつかの実施形態では、画像取得ユニット２３２は、カメラが所定の視点角および位置で画像を取り込むように、カメラの向きおよび位置を制御および調整し得る。いくつかの実施形態では、カメラは、トリガするときに、連続的に、または定期的に、画像を取り込むように設定されてもよく、ある時点で取り込まれた各画像はフレームと呼ばれる。

変化検出ユニット２３３は、取り込まれた画像に基づいて少なくとも１つの変化オブジェクトを検出するように構成され得る。画像セグメンテーションおよび機械学習技術は、変化オブジェクトを検出するために適用され得る。いくつかの実施形態では、変化検出ユニット２３３は、画像を既存のＨＡＤマップ内の対応する情報と比較して、変化を判定することができる。例えば、変化検出ユニット２３３は、道路１１０上の標示１１２および１１３が変更されたことを検出し得る。

変化オブジェクトを検出すると、端末１３１は、取り込まれた画像、検出された変化オブジェクト、およびその位置情報をサーバ１４０に提供することができる。通信インターフェース２０２は、データを受信し、そのデータをプロセッサ２０４に送信することができる。図２に示すように、プロセッサ２０４は、対象領域識別ユニット２４１、命令ユニット２４２、クラウドソーシングユニット２４３、モデル再構成ユニット２４４、マップ更新ユニット２４５などのような多数のモジュールを含むことができる。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、他のコンポーネントと共に使用するために、またはプログラムの一部を実行するために設計されたプロセッサ２０４のハードウェアユニット（例えば、集積回路の一部）であり得る。プログラムは、コンピュータ可読媒体に格納することができ、プロセッサ２０４によって実行されると、１以上の機能を実行することができる。この場合も、図２は、ユニット２４１〜２４５をすべて１つのプロセッサ２０４内に示しているが、これらのユニットは、互いに近くまたは遠隔に配置された複数プロセッサに分散されてもよいと考えられる。

対象領域識別ユニット２４１は、端末１３１によって提供されるデータに基づいて対象領域を識別することができる。対象領域は、検出された変化オブジェクトを含むことができる。例えば、図１によって示される例では、対象領域は、変更された標示１１２および１１３を含む道路１１０の一部であってもよい。次いで、命令ユニット２４２は、対象領域の画像を取得するための命令を決定することができる。命令ユニット２４２は、さらに、画像取得命令を送信するために、端末１３１〜１３４などの複数の端末を識別することができる。端末を識別する際に、命令ユニット２４２は、端末の位置（例えば、対象領域に対する撮像範囲内であるかどうか）、対象領域に対する端末の視点位置などを考慮することができる。いくつかの実施形態では、命令ユニット２４２は、様々な視点位置から対象領域の画像を取り込むことができる端末を選択してもよい。

画像取得命令は、通信インターフェース２０２を介して端末１３１〜１３４に送信することができる。端末１３１〜１３４の各画像取得ユニットは、命令に従って対象領域の画像を取得し、サーバ１４０に画像を返信してもよい。画像は、モデル再構成ユニット２４４に渡される前に、クラウドソーシングユニット２４３によって収集および編成されてもよい。

モデル再構成ユニット２４４は、少なくとも１つの変化オブジェクトの３Ｄモデルを再構成するように構成され得る。いくつかの実施形態では、モデル再構成ユニット２４４は、端末１３１によって提供される少なくとも１つの変化オブジェクトの検出結果を採用することができる。一部の他の実施形態では、モデル再構成ユニット２４４は、端末１３１によって提供される画像に基づいて、結果を検証するか、または少なくとも１つのオブジェクト自体を再検出し得る。同様の技術は、少なくとも１つの変化オブジェクトを検出および抽出するために、同様の画像セグメント化および機械学習技術を実行することができる。

画像は、様々な視点位置から端末１３１〜１３４によって取り込まれるので、モデル再構成ユニット２４４は、これらの画像からオブジェクトの異なる視点を抽出することができる。抽出されたオブジェクトは、２次元である。３Ｄモデルを構築するために、モデル再構成ユニット２４４は、変化オブジェクトの異なる視点が抽出されるそれぞれの画像の位置および姿勢に従って、オブジェクトの異なる視点を組み合わせることができる。いくつかの実施形態では、モデル再構成ユニット２４４は、ストラクチャ フロム モーション（ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ））法を使用して、各画像の位置および姿勢を再構成することができる。いくつかの実施形態では、モデル再構成ユニット２４４は、利用可能な画像が良好な再構成には十分でないと判断することができる。例えば、ある視点位置で取り込まれた画像が欠落している。それは、端末１３１〜１３４および／または追加の端末（図示せず）に、補足するためにより多くの画像を取得するように命令することができる。

マップ更新ユニット２４５は、変化オブジェクトの３Ｄモデルを既存のＨＡＤマップと照合し、そのオブジェクトに対応するマップ上の部分を、そのマップに照合した３Ｄモデルに置き換えてもよい。いくつかの実施形態では、モデル再構成ユニット２４４によって再構成される３Ｄモデルは、少なくとも１つの変化オブジェクトを表すポイントクラウドであってもよい。したがって、マップ更新ユニット２４５は、変化オブジェクトのポイントクラウドをＨＡＤマップのポイントクラウドと照合することができる。いくつかの実施形態では、マッチングプロセスの一部として、マップ更新ユニット２４５は、ＨＡＤマップの座標への再構成された３Ｄモデルのデータの座標変換を実行してもよい。

サーバ１４０は、何らかの変化が生じたとき、大きな変化が生じたとき、所定の頻度で周期的に、または上記の何らかの適切な組合せで、マップ更新を実行することができると考えられる。

メモリ２１２およびストレージ２１４は、プロセッサ２０４が動作させる必要があり得る任意のタイプの情報を記憶するために提供される任意の適切なタイプの大容量記憶装置を含み得る。メモリ２１２およびストレージ２１４は、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、およびスタティックＲＡＭを含むがこれらに限定されない、揮発性または不揮発性、磁気、半導体、テープ、光、リムーバブル、非リムーバブル、または他のタイプの記憶デバイスまたは有形（すなわち、非一時的）コンピュータ可読媒体とすることができる。メモリ２１２および／またはストレージ２１４は、本出願において開示されるマップ更新機能を実行するためにプロセッサ２０４によって実行され得る１以上のコンピュータプログラムを記憶するように構成され得る。例えば、メモリ２１２および／またはストレージ２１４は、画像取得のために端末１３１〜１３４と通信するためにプロセッサ２０４によって実行され得るプログラム（複数可）を記憶し、画像を使用してＨＡＤマップを更新するように構成され得る。

メモリ２１２および／またはストレージ２１４は、プロセッサ２０４によって使用される情報およびデータを記憶するようにさらに構成され得る。例えば、メモリ２１２および／またはストレージ２１４は、そのポイントクラウドデータ、ならびに端末１３１〜１３４によって取り込まれた画像、機械学習モデル（例えば、モデルパラメータ）、および特徴マップ、ならびに処理中に作成された他の中間データを含むＨＡＤマップを記憶するように構成され得る。これらのデータは、永久的に記憶されてもよいし、定期的に除去されてもよいし、データの各フレームが処理された直後に無視されてもよい。

図３は、本開示の実施形態による、ＨＡＤマップを更新するためにデータを取得するために端末によって実行される例示的な方法３００のフローチャートである。例えば、方法３００は、端末１３１のプロセッサ２３０によって実施されてもよい。方法３００は、以下に説明するステップＳ３０２〜Ｓ３１４を含むことができる。

ステップＳ３０２において、端末１３１は、それ自体を位置決めするように構成され得る。例えば、位置決めユニット２３１は、端末１３１の位置を決定するためにＳＬＡＭ方法を実行するように構成され得る。ＳＬＡＭアルゴリズムは、未知の環境のマップを構築しようと試みると同時に、その内部の車両または装置の位置を追跡し続ける。したがって、ＳＬＡＭアルゴリズムは、ガイダンスとして絶対位置情報なしで実行される場合、測位誤差を累積することができる。本開示と一致して、位置決め２３１は、ＧＰＳ／ＩＭＵデータおよび／またはＨＡＤマップを使用して、ＳＬＡＭ方法を誘導し、改善することができる。ＧＰＳ／ＩＭＵデータおよびＨＡＤマップは、制約またはアプリオリ情報として絶対位置情報をＳＬＡＭ方法に提供することができる。ＨＡＤマップの使用は、ＧＰＳ信号が弱いかまたは完全に失われた場合でさえ、位置決め精度および信頼性を保証するのに役立ち得る。

ステップＳ３０４において、端末１３１は、シーン画像を取り込むように構成されてもよい。例えば、画像取得ユニット２３２は、単眼カメラを制御して、シーンの画像を取り込むことができる。いくつかの実施形態では、画像取得ユニット２３２は、画像が取り込まれる方法を制御してもよい。例えば、画像取得ユニット２３２は、カメラが所定の視点角および位置で画像を取り込むように、カメラの向きおよび位置を制御および調整し得る。いくつかの実施形態では、画像が連続的または定期的に、トリガ時に取り込まれてもよい。

ステップＳ３０６において、端末１３１は、取り込まれた画像に基づいて、少なくとも１つの変化オブジェクトを検出することができる。例えば、変化検出ユニット２３３は、画像セグメンテーションおよび機械学習技法を使用して、少なくとも１つの変化オブジェクトを検出するように構成され得る。少なくとも１つの変化オブジェクトは、停車または降車標識などの交通標識、および高速道路標識などを含むことができる。少なくとも１つの変化オブジェクトは、また、車線標示、方向／方向転換標示、および歩行者交差点標示などの路面標示を含むことができる。いくつかの実施形態では、画像を既存のＨＡＤマップ内の対応する情報と比較して、変化を判定することができる。

例えば、図４は、本発明の実施形態による、画像４００から変化する物体を検出することを示す。変化検出ユニット２３３は、最初に、交通標識４１１〜４１３、車両４２０、および道路標識４３０など、画像４００によって取り込まれた様々な物体を識別することができる。オブジェクトは、バインディングボックスで抽出することができる。変化検出ユニット２３３は、移動オブジェクト、例えば車両４２０を識別し、そのようなオブジェクトは、マップの一部として含まれてはならないので、そのようなオブジェクトを除去することができる。いくつかの実施形態では、オブジェクト領域は、ＨＡＤマップ上の対応する領域と比較されて、いずれかのオブジェクトが変更されたかどうかが判定されてもよい。例えば、変化検出ユニット２３３は、交通標識４１１が新しいこと、または交通標識４１２上のテキストが変更されたことを決定することができる。いくつかの実施形態では、機械学習方法を使用して、交通標識上のテキストおよびテキストの意味を認識することができる。

図３に戻ると、ステップＳ３０８において、変化オブジェクトを検出すると、端末１３１は、変化オブジェクトをサーバ１４０に報告することができる。さらに、端末１３１は、変化が検出された、取り込み画像を、サーバ１４０に対して検証または再検出するために、サーバ１４０に送ることもできる。サーバ１４０は、端末１３１よりもずっと高い計算能力を有することができるので、サーバ１４０は、より正確ではあるが複雑な方法を使用して、変化オブジェクトを検出することができる。端末１３１は、また、その位置情報をサーバ１４０に送信することができる。

ステップＳ３１０において、端末１３１は、サーバ１４０から対象領域の画像データを取得する命令を受信する。いくつかの実施形態では、命令は、サーバ１４０が端末１３１に画像を取り込むように望む視点位置をさらに含むことができる。ステップＳ３１２において、端末１３１は、命令に従って、視点位置における対象領域の画像を取り込むことができる。例えば、画像取得ユニット２３２は、単眼カメラを視点位置に調整してもよい。ステップＳ３１４において、取り込まれた画像データは、サーバ１４０に移送される。

Ｓ３１６において、端末１３１は、サーバ１４０から他の命令を受信して、対象領域の補足データを取得してもよい。いくつかの実施形態では、補足データが以前と同じ視点位置から、または異なる視点位置から取得することができる。補足データの命令がＳ３１６で受信された場合、方法３００は、ステップＳ３１０に戻り、補足データを取得することができる。そうでなければ、方法３００は、ステップＳ３０２に戻り、画像の取り込みおよび変化の検出を継続することができる。

図５は、本開示の実施形態による、ＨＡＤマップを更新するための例示的な方法５００のフローチャートである。例えば、方法５００は、サーバ１４０のプロセッサ２０４によって実施されてもよい。方法５００は、以下に説明するステップＳ５０２〜Ｓ５１８を含むことができる。

ステップＳ５０２において、サーバ１４０は、少なくとも１つの変化オブジェクトが検出されたように、１つ以上の端末から報告を受信することができる。いくつかの実施形態では、サーバ１４０は、端末によって取り込まれた画像を受信することもできる。任意選択のステップＳ５０４では、サーバ１４０は、画像に基づいて少なくとも１つの変化オブジェクトを検証または再検出することができる。サーバ１４０は、端末よりも高い計算能力を有し得るので、その検出は、より正確であり得る。例えば、サーバ１４０は、全てが同じオブジェクトを取り込む複数の端末から画像を受信し、したがって、変化オブジェクトを検出するためのより多くのデータを有することができる。

ステップＳ５０６において、サーバ１４０は、端末によって提供されるデータに基づいて、対象領域を識別することができる。例えば、対象領域識別ユニット２４１は、検出された変化オブジェクトを含む対象領域を決定してもよい。

ステップＳ５０８において、サーバ１４０は、様々な視点位置における対象領域の画像データの取得を端末に指示する。例えば、命令ユニット２４２は、画像を取得するように命令されるべき、端末１３１〜１３４などの複数の端末を識別することができる。識別は、端末の位置（例えば、対象領域への撮像範囲内であるかどうか）、対象領域に対する端末の視点位置などに基づくことができる。いくつかの実施形態では、命令ユニット２４２は、様々な視点位置から対象領域の画像を取り込むことができる端末を選択してもよい。

ステップＳ５１０において、端末１３１〜１３４が取得画像をサーバ１４０に送り返すと、クラウドソーシングユニット２４３は、画像を受信し、モデル再構成のために通過する前に、ある順序でそれらを編成することができる。例えば、クラウドソーシングユニット２４３は、変化オブジェクト（複数可）の視点位置、解像度、およびカバレージなどに従って画像を編成することができる。

ステップＳ５１２において、サーバ１４０は、少なくとも１つの変化オブジェクトの３Ｄモデルを再構成することができる。いくつかの実施形態では、ステップＳ５１２で再構成される３Ｄモデルは、少なくとも１つの変化オブジェクトを表すポイントクラウドであってもよい。いくつかの実施形態では、モデル再構成ユニット２４４は、様々な視点位置から取り込まれた画像からオブジェクトの異なる視点を抽出することができる。３Ｄモデルを構築するために、モデル再構成ユニットは、２Ｄオブジェクト画像が抽出されるそれぞれの画像の位置および姿勢に従って、抽出された２Ｄオブジェクト画像を組み合わせてもよい。

いくつかの実施形態では、モデル再構成ユニット２４４は、ＳｆＭ方法を使用して、各画像の位置および姿勢を再構成することができる。例えば、図６は、本発明の実施形態による、ＳｆＭ方法を使用して変化する物体の３Ｄ再構成のための例示的な方法５１２のフローチャートである。例えば、方法５１２は、サーバ１４０のプロセッサ２０４によって実施されてもよい。方法５１２は、以下に説明するステップＳ６０２〜Ｓ６１８を含むことができる。

ステップＳ６０２〜Ｓ６０８は、取り込まれた画像間の対応を計算するために実行される。ステップＳ６０２において、サーバ１４０は、端末によって取り込まれた各画像内の特徴を検出することができる。いくつかの実施形態では、検出される画像特徴は、画素強度、コントラスト、勾配、パッチなどの意味的なもの、または画像に関連する情報の一部である非意味的なものとすることができる。ステップＳ６０４において、キーポイントは、画像の各ペア間で照合され得る。いくつかの実施形態では、キーポイント照合は、ステップＳ６０２において検出された特徴に基づいて、機械学習方法によって実行され得る。ステップＳ６０６において、Ｆ行列は、ステップＳ６０４の照合を精緻化するために、画像の各ペアに対して推定され得る。ステップＳ６０８において、各ペアにおけるマッチしたポイントは、編成され、トラックにスタックされる。

ステップＳ６１０〜Ｓ６１６は、３Ｄモデルを再構成するためのＳｆＭ方法の一部である。ステップＳ６１０において、サーバ１４０は、再構成をシードするために一対の初期画像を選択することができる。いくつかの実施形態では、初期画像のペアは、変化オブジェクトの最良のカバレッジを有することができる。サーバ１４０は、画像品質、解像度、画像が取り込まれる視点位置、画像間の全体的な対応レベルなど、初期画像のペアを選択する際に様々な要因を考慮することができる。ステップＳ６１２において、再構成を精緻化するために、追加の画像は、追加されてもよい。例えば、Ｓ６０２〜Ｓ６０８で決定された画像のペアを追加してもよい。追加の画像は、様々な視点からの追加の情報を提供し、したがって、３Ｄモデル再構成を改善することができる。ステップＳ６１４では、バンドル調整を実行して、３Ｄモデル全体をより現実的なものにすることができる。Ｓ６１６において、サーバ１４０は、再構成に追加されるべきトラックから、さらなる画像が利用可能であるかどうかを決定することができる。そうである場合、方法５１２は、ステップＳ６１２に戻り、再構成を継続することができる。そうでなければ、方法５１２は、ステップＳ６１８において、再構成された３Ｄモデルを提供してもよい。

図５に戻り、Ｓ５１４において、サーバ１４０は、３Ｄモデルに基づいて、対象領域の補足データが必要であるかどうかの構築結果を判定する。そうである場合、モデル再構成ユニット２４４は、補足画像が端末によって取り込まれるべき視点位置を決定することができる。例えば、受信された画像が０〜１８０度の視点角から取り込まれるが、１８０〜３６０度の視点角からは何も取り込まれない場合、モデル再構成ユニット２４４は、１８０〜３６０度の視点角で取り込まれた補足データを要求することができる。補足データが必要である場合、方法５００は、ステップＳ５０８に戻り、命令ユニット２４２は、所望の視点位置でより多くの画像を取得するように端末に指示することができる。

ステップＳ５１６において、サーバ１４０は、変化オブジェクトの３Ｄモデルを既存のＨＡＤマップと照合することができる。いくつかの実施形態では、マップ更新ユニット２４５は、変化オブジェクトのポイントクラウドをＨＡＤマップのポイントクラウドと照合することができる。いくつかの実施形態では、マップ更新ユニット２４５は、再構成された３Ｄモデルのデータをその元の座標からＨＡＤマップの座標に変換することができる。座標変換は、本質的に、回転および並進変換によって、ある座標系から別の座標系にデータをマッピングする。

いくつかの実施形態では、ステップＳ５１６は、２つのサブステップを含むことができる。第１に、再構成された３Ｄモデルのポイントクラウドは、端末によって提供される位置情報に基づいて、ＨＡＤマップの座標系にマッピングされ得る。第２に、マップ更新ユニット２４５は、３ＤモデルのポイントクラウドおよびＨＡＤマップのポイントクラウドからの対応するポイントを使用してコスト関数を構築することができる。例えば、例示的なコスト関数ｆは、式１として構築することができる：
ここで、ｐ_ｓおよびｐ_ｔは、３ＤモデルのポイントクラウドおよびＨＡＤマップのポイントクラウドからの対応する点のペアであり、Ｎ_ｐは、ポイントのペアの総数である。ＲおよびＴは、それぞれ回転行列および並進行列である。いくつかの実施形態では、最適なＲ行列およびＴ行列は、コスト関数ｆを最小化することによって得ることができる。例えば、最適化は、反復的最近接点（ＩＣＰ：Ｉｎｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔｓ）方法またはその変化量を用いて解くことができる。

ステップＳ５１８において、サーバ１４０は、ＨＡＤマップを更新することができる。いくつかの実施形態では、マップ更新ユニット２４５は、オブジェクトに対応するマップ内の部分を、マップ座標系に変換された３Ｄモデルで置き換えてもよい。例えば、マップ更新ユニット２４５は、座標変換のために最適化されたＲ行列およびＴ行列を使用することができる。あるいは、マップ更新ユニット２４５は、３Ｄモデルに基づいて、対応するマップを修正してもよい。

本開示の別の態様は、実行されると、上述のような方法を１以上のプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体に関する。コンピュータ可読媒体は、揮発性または不揮発性、磁気、半導体、テープ、光、リムーバブル、非リムーバブル、または他のタイプのコンピュータ可読媒体またはコンピュータ可読記憶装置を含むことができる。例えば、コンピュータ可読媒体は、開示されるように、コンピュータ命令が格納されたストレージ装置またはメモリモジュールであってもよい。いくつかの実施形態では、コンピュータ可読媒体は、コンピュータ命令が格納されたディスクまたはフラッシュドライブであってもよい。

開示されたシステムおよび関連する方法に対して様々な修正および変形を行うことができることは、当業者には明らかであろう。他の実施形態は、開示されたシステムおよび関連する方法の明細書および実施を考慮することから、当業者には明らかであろう。

明細書および実施例は、例示としてのみ考慮され、真の範囲は、以下の特許請求の範囲およびそれらの均等物によって示されることが意図される。

Claims (20)

1. 複数の端末を用いてＨＡＤマップを更新するシステムであって、
   ネットワークを介して前記複数の端末と通信するように構成された通信インターフェースと、
   前記ＨＡＤマップを格納するように構成されたストレージと、
   少なくとも１つのプロセッサと、
   を備え
   前記少なくとも１つのプロセッサは、
   少なくとも１つの変化オブジェクトを含む対象領域を識別し、
   異なる視野位置における前記対象領域のデータを取得するように前記複数の端末に命令し、
   前記複数の端末から取得された前記データを受信し、
   取得された前記データから前記少なくとも１つの変化オブジェクトの三次元モデルを構築し、
   前記三次元モデルに基づいて前記ＨＡＤマップを更新する
   ように構成される、システム。
2. 前記複数の端末は、画像データを取得するように構成された少なくとも１つのカメラを含む、請求項１に記載のシステム。
3. 前記複数の端末は、前記ＨＡＤマップに基づいて位置決めされる、請求項１に記載のシステム。
4. 前記複数の端末は、
   前記ＨＡＤマップに関連付けられたオブジェクトを示す画像データを取得し、
   前記画像データに基づいて前記少なくとも１つの変化オブジェクトを検出し、
   前記少なくとも１つの変化オブジェクトを前記少なくとも１つのプロセッサに報告する
   ように構成される、請求項１に記載のシステム。
5. 前記少なくとも１つのプロセッサは、ストラクチャーフロムモーション（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムを使用して前記少なくとも１つの変化オブジェクトを再構成するようにさらに構成される、請求項１に記載のシステム。
6. 所定の形状は、前記ストラクチャーフロムモーション（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムの制約として使用される、請求項５に記載のシステム。
7. 前記三次元モデルは、ポイントクラウドモデルである、請求項１に記載のシステム。
8. 前記少なくとも１つのプロセッサは、前記三次元モデルに基づいて前記複数の端末を調整して補足データを取得させるようにさらに構成される、請求項１に記載のシステム。
9. 前記ＨＡＤマップを更新するために、前記少なくとも１つのプロセッサは、少なくとも１つの変化オブジェクトに関連付けられた第１のポイントクラウドを、前記ＨＡＤマップに関連付けられた第２のポイントクラウドと照合するようにさらに構成される、請求項１に記載のシステム。
10. 前記ＨＡＤマップを更新するために、前記少なくとも１つのプロセッサは、前記三次元モデルを前記ＨＡＤマップの座標に変換するようにさらに構成される、請求項１に記載のシステム。
11. 複数の端末を用いてＨＡＤマップを更新する方法であって、
    少なくとも１つのプロセッサによって、少なくとも１つの変化オブジェクトを含む対象領域を識別するステップと、
    前記少なくとも１つのプロセッサによって、異なる視野位置における前記対象領域のデータを取得するように前記複数の端末に命令するステップと、
    前記複数の端末から取得された前記データを受信するステップと、
    前記少なくとも１つのプロセッサによって、取得された前記データから前記少なくとも１つの変化オブジェクトの三次元モデルを構築するステップと、
    前記少なくとも１つのプロセッサによって、前記三次元モデルに基づいて前記ＨＡＤマップを更新するステップと、
    を備える、方法。
12. 前記ＨＡＤマップに基づいて前記複数の端末を位置決めするステップをさらに含む、請求項１１に記載の方法。
13. 前記複数の端末によって、前記ＨＡＤマップに関連付けられたオブジェクトを示す画像データを取得するステップと、
    前記複数の端末によって、前記画像データに基づいて前記少なくとも１つの変化オブジェクトを検出するステップと、
    をさらに含む、請求項１１に記載の方法。
14. ストラクチャーフロムモーション（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムを使用して前記少なくとも１つの変化オブジェクトを再構成するステップをさらに含む、請求項１１に記載の方法。
15. 所定の形状は、ストラクチャーフロムモーション（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズムの制約として使用される、請求項１４に記載の方法。
16. 前記三次元モデルは、ポイントクラウドモデルである、請求項１１に記載の方法。
17. 前記三次元モデルに基づいて前記複数の端末を調整して補足データを取得させるステップをさらに含む、請求項１１に記載の方法。
18. 前記ＨＡＤマップを更新するステップは、前記対象領域に関連付けられた第１のポイントクラウドを、前記ＨＡＤマップに関連付けられた第２のポイントクラウドと照合するステップをさらに含む、請求項１１に記載の方法。
19. 前記ＨＡＤマップを更新するステップは、前記三次元モデルを前記ＨＡＤマップの座標に変換するステップをさらに含む、請求項１１に記載の方法。
20. 少なくとも１つのプロセッサによって実行されると、複数の端末を使用してＨＡＤマップを更新する方法を実行する、コンピュータプログラムが格納された非一時的コンピュータ可読媒体であって、前記方法は、
    少なくとも１つの変化オブジェクトを含む対象領域を識別するステップと、
    異なる視野位置における前記対象領域のデータを取得するように前記複数の端末に命令するステップと、
    前記複数の端末から取得された前記データを受信するステップと、
    取得された前記データから前記少なくとも１つの変化オブジェクトの三次元モデルを構築するステップと、
    前記三次元モデルに基づいて前記ＨＡＤマップを更新するステップと、
    を備える、非一時的コンピュータ可読媒体。