JP2020076745A - 映像及びマップデータ基盤測位方法及び装置 - Google Patents

Abstract

【課題】 映像とマップデータに基づいた測位方法を提供すること。【解決手段】 一実施形態に係る測位方法は、入力映像からオブジェクトの特徴を抽出し、マップデータに基づいて装置の測位によりオブジェクトが投影された映像を生成し、投影映像に含まれた頂点に対応する特徴値に基づいて測位を評価する。【選択図】 図３

Description

本発明は、映像及びマップデータ基盤測位方法及び装置に関する。

車両及びその他の運送手段の走行補助やゲーム、及び娯楽などの様々な分野で様々な形態の拡張現実（Ａｕｇｍｅｎｔａｔｉｏｎ Ｒｅａｌｉｔｙ）サービスが提供されている。拡張現実をより正確に実感できるよう提供するために、様々な測位（ｌｏｃａｌｉｚａｔｉｏｎ）方法を用いることができる。例えば、センサ基盤の測位方法は、オブジェクトの位置と方向を把握するためにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ及びＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサなどのような様々なセンサを複合的に使用し得る。また、カメラ情報を使用するビジョン（ｖｉｓｉｏｎ）基盤の測位方法もある。

以下で説明する実施形態は、映像とマップデータに基づいた測位方法を提供する。実施形態は、映像の頂点とマップデータの頂点との間に対応関係を設定しなくても測位可能な技術を提供する。また、実施形態は、映像の特徴をパラメータ化したり、３次元変換と透視（ｐｅｒｓｐｅｃｔｉｖｅ）変換に不変な関係を抽出したり、マップデータで探索するとき、このような不変な関係を容易に特定しなくても測位可能な技術を提供すること。

一側面に係る測位方法は、入力映像からオブジェクトの第１映像を生成するステップと、前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成するステップと、前記第１映像から、前記第２映像内の頂点に対応する特徴値をプーリングするステップと、前記プーリングされた特徴値に基づいて、前記候補測位のスコアを決定するステップを含む。

前記第１映像を生成するステップは、複数の特徴に対応する複数の特徴マップを生成するステップを含み得る。

前記第２映像を生成するステップは、前記マップデータから前記候補測位における視野範囲に該当する領域を抽出するステップと、前記領域に含まれた頂点を前記候補測位に対応する投影点に投影するステップを含み得る。

前記特徴値をプーリングするステップは、前記頂点の座標に基づいて、前記第１映像内のピクセルを選択するステップと、前記選択されたピクセルの特徴値を取得するステップを含み得る。

前記候補測位のスコアを決定するステップは、前記プーリングされた特徴値を合算するステップを含み得る。

前記合算するステップは、前記第１映像が複数の特徴に対応する複数の特徴マップを含む場合、前記特徴に対応して、決定した加重値に基づいて、前記特徴値を加重合算するステップを含み得る。

前記測位方法は、さらに、前記候補測位のスコアに基づいて、前記装置の測位を決定するステップを含み得る。

前記装置の測位を決定するステップは、複数の候補測位のスコアのうち最大スコアに対応する候補測位を前記装置の測位として決定するステップを含み得る。

前記装置の測位を決定するステップは、前記第２映像を複数の領域に分割するステップと、前記分割された領域で算出されるスコアを用いることによって、前記候補測位に含まれた複数の自由度の値を順次決定するステップを含み得る。

前記複数の自由度の値は、移動に関する３自由度の値と、回転に関する３自由度の値を含み得る。

前記分割するステップは、距離に関する第１基準に基づいて、前記第２映像を遠距離領域及び近距離領域に分割するステップと、消失点に関連する第２基準に基づいて、前記近距離領域を消失点指向近距離領域及び非消失点指向近距離領域に分割するステップを含み得る。

前記複数の自由度の値を順次決定するステップは、前記遠距離領域に基づいて、回転関連自由度を決定するステップと、前記消失点指向近距離領域に基づいて、左右方向の移動関連自由度を決定するステップと、前記非消失点指向近距離領域に基づいて、前後方向の移動関連自由度を決定するステップを含み得る。

前記装置の測位を決定するステップは、前記第２映像に含まれた頂点のうち移動関連自由度による影響が第１閾値以下である遠距離頂点に基づいて、回転関連自由度を決定するステップと、前記第２映像から前記遠距離頂点を除いた近距離頂点のうち前後方向の移動関連自由度による影響が第２閾値以下である消失点指向近距離頂点に基づいて、左右方向の移動関連自由度を決定するステップと、前記近距離頂点のうち前記消失点指向近距離頂点を除いた非消失点指向近距離頂点に基づいて、前記前後方向の移動関連自由度を決定するステップを含み得る。

前記装置の測位を決定するステップは、前記プーリングされた特徴値の分布に基づいて、前記スコアを改善するための方向を決定するステップと、前記方向に基づいて前記候補測位を補正するステップを含み得る。

前記第１映像は、前記オブジェクトと近い程度を示す確率分布を含み、前記方向を決定するステップは、前記確率分布に基づいて前記方向を決定するステップを含み得る。

前記装置の測位を決定するステップは、前記補正された候補測位により前記オブジェクトが投影された補正された第２映像を生成するステップと、前記補正された第２映像に含まれた頂点に対応して、前記第１映像から特徴値をプーリングすることにより、前記補正された候補測位の補正されたスコアを決定するステップを含み得る。ここで、前記補正された候補測位の補正されたスコアが決定した条件が満たされるまで前記方向を決定するステップ、前記候補測位を補正するステップ、前記補正された第２映像を生成するステップ、及び、前記補正された候補測位の補正されたスコアを決定するステップは、繰り返し行われる。

前記測位方法は、拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、前記決定された測位に基づいて、前記仮想オブジェクトを表示するステップをさらに含み得る。

一実施形態に係る測位方法は、入力映像からオブジェクトの第１映像を生成するステップと、前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成するステップと、前記第２映像を複数の領域に分割するステップと、前記分割された領域と前記第１映像との間のマッチングによって、前記候補測位に含まれた複数の自由度の値を決定するステップを含む。

前記複数の自由度の値を決定するステップは、前記分割された領域で前記第１映像とのマッチングによって算出されるスコアを用いることで、前記候補測位に含まれた複数の自由度の値を順次決定するステップを含み得る。

前記複数の自由度の値を決定するステップは、分割された領域に対応して決定した自由度の値を変更しながら、該当領域内の頂点に対応して第１映像から特徴値をプーリングすることにより、前記自由度の変更された値によるスコアを算出するステップと、最大スコアに対応する自由度の値を選択するステップを含み得る。

前記複数の自由度の値は、移動に関する３自由度の値と、回転に関する３自由度の値を含み得る。

前記分割するステップは、距離に関する第１基準に基づいて、前記第２映像を遠距離領域及び近距離領域に分割するステップと、消失点に関連する第２基準に基づいて、前記近距離領域を消失点指向近距離領域及び非消失点指向近距離領域に分割するステップを含み得る。

前記複数の自由度の値を決定するステップは、前記遠距離領域に基づいて、回転関連自由度を決定するステップと、前記消失点指向近距離領域に基づいて、左右方向の移動関連自由度を決定するステップと、前記非消失点指向近距離領域に基づいて、前後方向の移動関連自由度を決定するステップを含み得る。

前記複数の自由度の値を決定するステップは、前記第２映像に含まれた頂点のうち移動関連自由度による影響が第１閾値以下である遠距離頂点に基づいて、回転関連自由度を決定するステップと、前記第２映像から前記遠距離頂点を除いた近距離頂点のうち前後方向の移動関連自由度による影響が第２閾値以下である消失点指向近距離頂点に基づいて、左右方向の移動関連自由度を決定するステップと、前記近距離頂点のうち前記消失点指向近距離頂点を除いた非消失点指向近距離頂点に基づいて、前記前後方向の移動関連自由度を決定するステップを含み得る。

前記測位方法は、拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、前記決定された複数の自由度の値に基づいて、前記仮想オブジェクトを表示するステップをさらに含み得る。

前記入力映像は、車両の走行映像を含み、前記仮想オブジェクトは、走行経路情報を示し得る。

一実施形態に係る測位装置は、入力映像からオブジェクトの第１映像を生成し、前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成し、前記第１映像から、前記第２映像内の頂点に対応する特徴値をプーリングし、前記プーリングされた特徴値に基づいて、前記候補測位のスコアを決定する、少なくとも１つのプロセッサを含む。

一実施形態に係る測位装置は、入力映像からオブジェクトの第１映像を生成し、前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成し、前記第２映像を複数の領域に分割し、
前記分割された領域と前記第１映像との間のマッチングによって、前記候補測位に含まれた複数の自由度の値を決定する、少なくとも１つのプロセッサを含む。

一実施形態に係る測位装置は、装置に取り付けられ、１つ又はそれ以上の映像と前記装置の候補測位情報を検出するセンサと、前記映像からオブジェクトの第１映像を生成し、前記オブジェクトの位置を含むマップデータに基づいて、前記候補側上の情報により前記オブジェクトを投影する第２映像を生成し、前記第１映像から前記第２映像内の頂点に対応する特徴値をプーリングすることにより、前記候補側上の情報のスコアを決定し、前記スコアに基づいて前記装置の測位情報を決定する、プロセッサと、前記決定された測位情報に基づいて、前記マップデータ上仮想オブジェクトを視覚化する、ヘッドアップディスプレイ（ＨＵＤ）を含む。

前記プロセッサは、距離に基づいて、前記第２映像を遠距離領域と近距離領域とに分割し、消失点に基づいて、前記近距離領域を消失点指向近距離領域と非消失点指向近距離領域に分割し得る。

前記プロセッサは、前記遠距離領域に基づいて、回転自由度を決定し、前記消失点指向近距離領域に基づいて、左右移動自由度を決定し、前記非消失点指向近距離領域に基づいて、前後移動自由度を決定し得る。

前記プロセッサは、神経網を用いて複数の特徴に対応する特徴マップを含む前記第１映像を生成し得る。

前記第２映像は、前記オブジェクトに対応する２次元頂点の投射を含み得る。

前記測位装置は、さらに、前記マップデータ、前記映像、前記第１映像、前記第２映像、前記スコア、及び、前記決定された測位情報と前記仮想オブジェクトのうち少なくとも１つを決定するように前記プロセッサを制御する命令語を含む、メモリを含み得る。

本発明の実施形態によると、映像とマップデータに基づいた測位方法を提供することができる。実施形態は、映像の頂点とマップデータの頂点との間に対応関係を設定しなくても測位が可能な技術を提供できる。また、実施形態は、映像の特徴をパラメータ化したり、３次元変換と透視変換に不変な関係を抽出したり、マップデータから探索時にこのような不変な関係を容易に特定しなくても測位が可能な技術を提供することができる。

一実施形態に係る拡張現実アプリケーションで測位の正確度の重要性を説明する図である。 一実施形態に係る拡張現実アプリケーションで測位の正確度の重要性を説明する図である。 一実施形態に係る拡張現実アプリケーションで測位の正確度の重要性を説明する図である。 一実施形態に係る測位スコアを算出する動作を説明する図である。 一実施形態に係る測位スコアを算出する動作を具体化した図である。 一実施形態に係る測位スコアを活用して、装置の測位を決定する動作を説明する図である。 一実施形態に係る測位候補のスコアを示す図である。 一実施形態に係る測位方法を示した動作フローチャートである。 一実施形態に係る最適化方式によって装置の測位を決定する動作を説明する図である。 一実施形態に係る最適化方式を示す動作フローチャートである。 一実施形態に係る最適化方式を示す動作フローチャートである。 一実施形態に係る最適化方式が適用された結果を段階的に示す図である。 一実施形態に係る最適化方式が適用された結果を段階的に示す図である。 一実施形態に係る最適化方式が適用された結果を段階的に示す図である。 一実施形態に係る最適化方式が適用された結果を段階的に示す図である。 一実施形態に係る最適化方式が適用された結果を段階的に示す図である。 一実施形態に係るパラメータ更新による測位方法を示した動作フローチャートである。 一実施形態に係るパラメータ更新による測位方法が適用された結果を段階的に示す図である。 一実施形態に係る特徴マップを生成する神経網を説明する図である。 一実施形態に係る測位装置を示すブロック図である。

実施形態に対する特定の構造的又は機能的な説明は、単なる例示を目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定の開示形態に限定されるものではなく、本明細書の範囲は、技術的な思想に含まれる変更、均等物、ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されるものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらの組み合わせが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらの組み合わせ等の存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義がされない限り、技術的又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

下記に説明する実施形態は、ソフトウェア形態に具現化され、映像とマップデータ基盤の側位技術に適用され得る。例えば、実施形態は、拡張現実ヘッドアップディスプレイ（ＡＲ ＨＵＤ）を実現するための核心技術である側位の精密度の向上に使用され得る。また、側位は、ＨＵＤの他にも多くの位置基盤サービスのために必要な技術であり、実施形態は、高精密側位のためにＨＤマップデータが与えられる環境で位置及び姿勢の推定のために使用され得る。

以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず、同じ構成要素には同じ参照符号を付与し、これに関する重複説明は省略することにする。

図１は、一実施形態に係る拡張現実アプリケーションで測位の正確度の重要性を説明する図である。

図１を参照すると、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）は、現実に基づいて情報を追加又は増強して提供する技術として、例えば、現実世界のイメージや背景映像に仮想イメージに該当する仮想オブジェクトを追加して示すことができる。拡張現実は、現実世界と仮想世界をよく調和することで、ユーザは実際及び仮想環境が分離されていることを認知できないまま、ユーザと仮想世界との間でリアルタイムに相互作用できる没入感を提供することができる。仮想オブジェクトを実際の映像に整合するためには、拡張現実を提供するユーザ装置（又は、ユーザ）の位置及び姿勢、言い換えれば、測位（ｌｏｃａｌｉｚａｔｉｏｎ）情報を把握しなければならない。

拡張現実を提供するための測位情報は、仮想オブジェクトを映像内の所望する所に位置させるために用いられる。以下、本明細書では、説明の便宜のために道路面に仮想オブジェクトに該当する走行案内車路を表示する場合を一例にして説明するが、必ずこれに限定されることはない。

図１Ａを参照すると、測位誤差が小さい場合の拡張現実映像１２０が示されている。図１Ｂを参照すると、測位誤差が大きい場合の拡張現実映像１４０が示されている。

例えば、オブジェクト１１０の測位情報を基準として車両の基準経路を道路映像の上に表示すると仮定しよう。ここで、オブジェクトは、測位を行うユーザ端末及び／又は車両に該当する。オブジェクト１１０の測位の誤差が小さい場合、装置が表示しようとする仮想オブジェクトである走行案内車路１１５は、拡張現実映像１２０のように実際の道路映像と視覚的によく整列され得る。これとは異なって、オブジェクト１３０の測位の誤差が大きい場合、装置が表示しようとする仮想オブジェクトである走行案内車路１３５は、拡張現実映像１４０のように実際の道路映像と視覚的に円満に整列されない場合がある。

図１Ｃを参照すると、一実施形態に係る測位情報は、装置の位置及び装置の姿勢を含む。位置は、移動関連自由度で、横（Ｌａｔｅｒａｌ）ｔ_ｘ、縦（Ｖｅｒｔｉｃａｌ）ｔ_ｙ、及び長さ（Ｌｏｎｇｉｔｕｄｉｎａｌ）ｔ_ｚ、言い換えれば、（ｘ、ｙ、ｚ）のような３次元座標に該当する。また、姿勢は、回転関連自由度であって、ピッチ（Ｐｉｔｃｈ）ｒ_ｘ、ヨー（Ｙａｗ）ｒ_ｙ、及びロール（Ｒｏｌｌ）ｒ_ｚに該当する。位置は、例えば、ＧＰＳセンサ、ライダなどによって取得され、姿勢は、例えば、ＩＭＵセンサ、ジャイロセンサなどによって取得される。一実施形態に係る測位情報は、前述した位置及び姿勢を含む６自由度（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ；ＤｏＦ）を有するものと理解される。

以下、本明細書において「車両（ｖｅｈｉｃｌｅ）」は道路上で走行中である車両を意味し、例えば、自律走行車両、先端運転者サポートシステム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）を備えた知能型車両などを含む。「道路（ｒｏａｄ）」は、車両が走行する道を意味し、例えば、高速道路、国道、地方道路、高速国道、自動車専用道路などのような様々なタイプの道路を含む。道路は１つ又は複数の車路を含む。「車路（ｌａｎｅ）」は、道路面上に表示された車線（ｌｉｎｅｓ）を介して区分される道路空間に該当する。車路は、該当の車路に隣接する左右車線（又は、車路境界線）によって区分される。また、「車線（ｌｉｎｅ）」は道路面上に白色、青色、又は黄色に表示された実線、点線、曲線、及びジグザグなどの様々な形態の線として理解される。車線は、１つの車路を区分する一方側の車線に該当してもよく、１つの車路を区分する車線の対（ｐａｉｒ）、言い換えれば、車路境界線に該当する左側車線及び右側車線であり得る。

下記で説明される実施形態は、スマート車両などの拡張現実ナビゲーション（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｎａｖｉｇａｔｉｏｎ）システムで車線を表示したり、自律走行車両のステアリングを補助するための視覚情報を生成したり、又は、車両の走行のための様々な制御情報を提供するために活用される。また、実施形態は、車両内の走行補助又は完全自律走行のために設置されたＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などの知能システムを含む機器に視覚情報を提供することで、安全で快適な走行を補助するために使用される。例えば、実施形態は、車両内の自律走行あるいは走行補助のために設置された知能システムの視覚的情報を解釈するために用いることができる。実施形態は、例えば、自律走行自動車、知能型自動車、アドバンスド運転者補助システム（ＡＤＡＳ）、ナビゲーションシステム、スマートフォン、及びモバイル機器などに適用される。

図２は、一実施形態に係る測位スコアを算出する動作を説明する図である。

図２を参照すると、一実施形態に係る測位装置は、マップデータＱと映像Ｉに基づいて、測位パラメータθのスコアｓ（θ）を算出する。測位装置は、１つ又はそれ以上のソフトウェアモジュール、１つ又はそれ以上のハードウェアモジュール、又は、その様々な組合せで実現される。

以下で詳細に説明するが、実施形態は、マップデータの頂点と映像の特徴の対応関係を先決条件として要求しない。例えば、マップデータは、車線などのオブジェクトに該当する複数の３次元頂点を含むポイントクラウドであり得る。マップデータの３次元頂点は、測位パラメータに基づいて２次元頂点に投影される。映像の特徴は、映像に含まれたピクセル単位で抽出された特徴値を含む。

以下で説明する実施形態は、マップデータの頂点（例えば、２次元頂点）と映像の特徴（あるいは、ピクセル）が互いにどのように対応（あるいは、マッチング）されるかに関する情報を要求しない。また、映像内で抽出される特徴は、パラメータ化されなくてもよく、特徴間の関係を別に分析したり、マップデータで探索する必要がない。

測位パラメータθは、位置／姿勢情報パラメータであって、図１Ｃを参照して説明した６−自由度変数に定義される。一実施形態によれば、測位パラメータθは、概略的な位置／姿勢情報に該当する。測位装置は、映像とマップデータに基づいたスコアリング技術を活用し、測位パラメータθを補正することにより測位の正確度を向上させることができる。

例えば、測位装置は、映像Ｉから特徴を抽出して特徴マップを構成する。測位装置は、測位パラメータθに対する整合スコアを算出する。より具体的に、測位装置は、測位パラメータに基づいてマップデータＱから頂点を投影し、特徴マップのピクセルのうち、投影された頂点の２次元座標に該当するピクセルの特徴値をプーリングすることで、整合スコアを算出する。測位装置は、整合スコアを増加させる方向に測位パラメータθを更新する。

ここで、装置は、一実施形態に係る測位方法を行う装置として、例えば、車両であってもよく、ナビゲーション、スマートフォンなどのようなユーザ装置であってもよい。測位情報は、前述のように装置の位置及び装置の姿勢を含む６自由度を有する。測位情報は、例えば、ＩＭＵセンサ、ＧＰＳセンサ、ライダセンサ及びレーダーなどのようなセンサの出力に基づいて取得され得る。

入力映像は、今後、拡張現実サービスのために仮想オブジェクトと共に表示される背景映像又はその他の映像に該当する。入力映像は、例えば、車両の走行映像を含む。ここで、走行映像は、例えば、車両に装着された撮影装置を用いて取得された走行映像であってもよく、１つ又は複数のフレームを含む。

測位装置は、撮影装置の出力に基づいて入力映像を取得する。撮影装置は、例えば、車両のウインドシールド（ｗｉｎｄｓｈｉｅｌｄ）、ダッシュボード（ｄａｓｈｂｏａｒｄ）、バックミラー（ｒｅａｒ−ｖｉｅｗ ｍｉｒｒｏｒ）などのように予め決定された位置に固定されて車両前方の走行映像を撮影する。撮影装置は、例えば、ビジョンセンサ、イメージセンサ、又は、これに類似の機能を行う装置を含んでもよく、単一映像を撮影したり、場合に応じて、フレームごとの映像を撮影してもよい。車両に固定された撮影装置と異なって、他の装置でキャプチャーされた映像が走行映像であってもよい。オブジェクトは、例えば、車線、道路面標識、信号機、表示板、縁石、歩行者及び構造物などを含む。車線は、例えば、車路境界線、道路中央線、停止線などのラインを含み、道路面標識は、例えば、駐停車禁止、横断歩道、牽引地域、制限速度表示などの標識を含む。

マップデータは、例えば、高精密（Ｈｉｇｈ Ｄｅｎｓｉｔｙ；ＨＤ）のマップデータであってもよい。高精密地図は、自律走行のために高精密（例えば、センチメートル単位の精密度）を備えた３Ｄ立体地図である。高精密地図には、例えば、道路中央線、境界線などの車線単位の情報はもちろん、信号機、表示板、縁石、路面道路標識、各種の構造物などの情報が３次元デジタルの形態として含まれてもよい。高精密地図は、例えば、ＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）システムによって構築される。様々なセンサを装着した３次元空間情報照射システムであるＭＭＳは、位置測定及び地形地物を測量するためのカメラ、ライダ（ＬＩＤＡＲ）、ＧＰＳなどのセンサを装着した移動体を用いて細かい位置情報を取得することができる。

図３は、一実施形態に係る測位スコアを算出する動作を具体化した図である。

図３を参照すると、一実施形態に係る測位装置２００は、コンバータ２１０，２２０、特徴抽出器２３０、及びプーリング器２４０を含む。コンバータ２１０は、パラメータθとマップデータＱを受信し、３次元変換（Ｔ）を介してパラメータθによる装置の３次元位置及び３次元姿勢をマップデータＱ上に適用する。一例として、コンバータ２１０は、マップデータからパラメータθに対応する位置及び姿勢における視野範囲に該当する領域を抽出する。コンバータ２２０は、透視変換（Ｐ）を介して装置の視点における投影映像を生成する。一例として、コンバータ２２０は、コンバータ２１０によって抽出された領域に含まれる３次元頂点をパラメータθに対応する２次元の投影面に投影してもよい。この場合、マップデータＱに含まれた３次元頂点ｑ_ｉ ^ｋはパラメータθによりＴ変換とＰ変換を経て投影映像内の２次元頂点ｐ_ｉ ^ｋに変換される。ここで、ｋは、互いに異なる特徴あるいはクラスを指示するインデックスであり、ｉは、該当の特徴あるいはクラス内の頂点を指示するインデックスであり得る。

特徴抽出器２３０は、映像Ｉから特徴を抽出する。特徴は、オブジェクトの類型（あるいは、クラス）により１つ又はそれ以上の特徴マップＦ_１、Ｆ_２ ２３５を含む。例えば、特徴マップＦ_１は映像内の車線に関する特徴を含み、特徴マップＦ_２は映像内の信号標識に関する特徴を含む。説明の便宜のために、２つの特徴マップＦ_１、Ｆ_２ ２３５が抽出される場合を説明するが、実施形態はこのような場合に限定されることはない。

測位装置は、複数の特徴マップを抽出するための別途の特徴抽出器を含む。又は、測位装置は、複数の特徴マップをチャネルごとに出力する単一特徴抽出器（例えば、ディープニューラルネットワークなど）を含む。

抽出された特徴マップＦ_１、Ｆ_２は、場合に応じてエラーを含むことがあり、これにより、その特徴の値をピクセル単位に正確に特定できない場合もある。この場合、各特徴マップは、各ピクセルごとに０と１との間の値を有し得る。ピクセルの特徴値は、各ピクセルごとの該当の特徴の強度を示す。

投影映像の２次元頂点ｐ_ｉ ^ｋは、マップデータの３次元頂点ｐ_ｉ ^ｋが映像Ｉにマッピングされるピクセルを意味する。数式（１）を参照すると、映像Ｉにマッピングされるピクセルで各特徴ごとにスコアが合算される。

ここで、Ｔ（）はＴ変換を示し、Ｐ（）はＰ変換を示す。この場合、Ｐ（Ｔ（ｑ_ｉ ^ｋ、θ））はマッピング点を示し、Ｆ_ｋ（）はｋ番目の特徴あるいはクラスに該当する特徴マップでマッピング点による特徴値あるいはスコアを示す。ここで、マッピング点Ｐ（Ｔ（ｑ_ｉ ^ｋ、θ））が整数ではない場合、四捨五入又は補間などの演算が実行される。数式（２）を参照すると、特徴ごとのスコアが加重合算されて最終的なスコアが計算され得る。

ここで、加重値ｗ_ｋは任意の方法で設定される。例えば、加重値ｗ_ｋは、一括的に同一に付与された加重値、あるいは訓練データによってチューニングされた値などに設定されてもよい。

図４は、一実施形態に係る測位スコアを活用して、装置の測位を決定する動作を説明する図である。実施形態に係る権利範囲を逸脱しない範囲で、図４に示された動作の順序は変更されたり、図４に示された動作のうち一部が省略されたり、図４に示された動作のうち少なくとも一部が並列的に処理されてもよい。

図４を参照すると、ステップＳ４１０において入力映像が受信され、ステップＳ４３０において特徴が抽出される。ステップＳ４２０においてマップデータが取得され、ステップＳ４４０において測位候補が取得される。ここで、測位候補は複数の測位候補を含む。

ステップＳ４５０において、測位候補によりマップデータの投影映像が生成される。測位候補が複数である場合、複数の測位候補による複数の投影映像が生成される。

ステップＳ４６０において、投影映像内の２次元頂点に対応して、特徴マップから特徴値がプーリングされる。また、ステップＳ４６０でプーリングされた特徴値に基づいて、測位候補のスコアが算出される。測位候補が複数である場合、測位候補ごとのスコアが算出される。

ステップＳ４７０において、ベストスコア（例えば、最大スコアなど）が検索される。ステップＳ４８０において、検索されたベストスコアを有する候補測位が装置の測位として決定される。

図面に示していないが、測位装置２００は、拡張現実サービスのためにマップデータＱ上で仮想オブジェクトを決定する。例えば、仮想オブジェクトは、走行経路情報を示す仮想のオブジェクトとして、矢印又は進行方向を示す道路表示などの形態に表現される。測位装置は、ステップＳ４８０で決定された測位情報に基づいて、仮想オブジェクトを入力映像と共にヘッドアップディスプレイ、ナビゲーション、又は、ユーザ装置のディスプレイ上に表示し得る。

図５は、一実施形態に係る測位候補のスコアを示す図である。

図５を参照すると、第１候補測位による投影映像と映像５１０との視覚的整列の程度は、第２候補測位による投影映像と映像５２０との視覚的整列の程度に比べて低い。そのため、第１候補測位に基づいて映像５１０の特徴マップからプーリングされたスコアは、第２候補測位に基づいて映像５２０の特徴マップからプーリングされたスコアよりも低く算出される。

図６は、一実施形態に係る測位方法を示した動作フローチャートである。実施形態に係る権利範囲を逸脱しない範囲で、図６に示された動作の順序は変更されたり、図６に示された動作のうち一部が省略されたり、図６に示された動作のうち少なくとも一部が並列的に処理されてもよい。

図６を参照すると、ステップＳ６１０において、入力映像から少なくとも１つの特徴マップが抽出される。ステップＳ６２０において、測位パラメータ（例えば、位置／姿勢パラメータ）の候補群が選ばれる。ステップＳ６３０において、評価する測位候補が存在するかを判断する。評価する測位候補が存在すれば、ステップＳ６４０において、測位候補による投影映像が生成され、ステップＳ６５０において、特徴ごとのスコアが算出される。ステップＳ６６０において、特徴ごとのスコアの加重合算により最終スコアが算出され、ステップＳ６７０において、予め評価された測位候補のうち、ベスト測位候補と最終スコアとの比較によりベスト測位候補の情報が更新される。

ステップＳ６８０でこれ以上評価する測位候補が存在しなければ、予め評価された測位候補のうちベスト測位候補が装置の測位に決定される。この場合、ベスト測位候補のパラメータが装置の位置／姿勢パラメータとして選ばれる。

図７は、一実施形態に係る最適化方式によって装置の測位を決定する動作について説明する図である。実施形態に係る権利範囲を逸脱しない範囲で、図７に示された動作の順序は変更されたり、図７に示された動作のうち一部が省略されたり、図７に示された動作のうち少なくとも一部が並列的に処理されてもよい。

図７を参照すると、ステップＳ７１０において入力映像が受信され、ステップＳ７３０において特徴マップが抽出される。ステップＳ７２０でマップデータが受信され、ステップＳ７４０において初期測位が受信され、ステップＳ７５０において初期測位による投影映像が生成される。

ステップＳ７６０において、一実施形態に係る最適化方式により初期測位が更新される。ステップＳ７７０において、装置の測位が最適化された測位に決定される。

以下、ステップＳ７６０の最適化方式を詳細に説明する。

図８は、一実施形態に係る最適化方式を示す動作フローチャートである。実施形態に係る権利範囲を逸脱しない範囲で、図８に示された動作の順序は変更されたり、図８に示された動作のうち一部が省略されたり、図８に示された動作のうち少なくとも一部が並列的に処理されてもよい。

一実施形態に係る測位装置は、全域的な最適化過程をサポートする。測位装置は、マップデータから投影された２次元頂点を特徴以外の他の基準（例えば、距離、消失点指向の有無など）に分類した後、分類された２次元頂点を測位パラメータの互いに異なる自由度を推定するために利用する。

一実施形態に係る測位装置は、投影映像を複数の領域に分割し、分割された領域と特徴マップとの間のマッチング（整合）を介して装置の測位を決定する。より具体的に、測位装置は、分割された領域で特徴マップとのマッチング（整合）を介して算出されるスコアを順次利用することで、測位に含まれた複数の自由度の値を順次決定する。例えば、測位装置は、分割された領域に対応して決定した自由度の値を変更しながら、該当領域に含まれる２次元頂点に対応して特徴マップから特徴値をプーリングする。測位装置は、プーリングされた特徴値に基づいて、自由度の変更された値によるスコアを算出する。その後、測位装置は、最大スコアに対応する値に該当自由度を決定する。

投影映像内の遠距離の頂点は、位置パラメータの変化にほとんど不変な特性を有する。このような特性に基づいて、測位装置は、まず遠距離頂点でスコアを算出して姿勢パラメータを決定する過程と、その後、近距離頂点でスコアを算出して位置パラメータを決定する過程を分離して実行する。そのため、各ステップごとに推定しなければならない自由度が低くなるため、探索時に複雑度や最適化時に局部的な収束可能性が減少する。

以下で説明するが、測位装置は、距離に関する第１基準に基づいて投影映像を遠距離領域及び近距離領域に分割し、消失点に関する第２基準に基づいて近距離領域を消失点指向近距離領域及び非消失点指向近距離領域に分割する。ここで、遠距離領域は、移動関連の自由度による影響が予め決定されたレベル（あるいは、閾値）以下である２次元頂点を含む。また、消失点指向近距離領域は、前後方向の移動関連の自由度による影響が予め決定されたレベル（あるいは、閾値）以下である２次元頂点を含む。

また、測位装置は、測位パラメータの自由度のうち一部を事前のキャリブレーションによって決定された値に利用し得る。例えば、測位パラメータのうちｒ_ｚとｔ_ｙは事前キャリブレーションによって決定される。車両にカメラが設置された高さｔ_ｙとロールｒ_ｚは固定されているためである。

図８を参照すると、ステップＳ８１０において、入力映像から特徴マップが抽出された後、ステップＳ８２０において、マップデータの投影映像から遠距離頂点Ｑ_１が選別される。遠距離頂点Ｑ_１は、測位パラメータの自由度のうち移動関連自由度ｔ_ｘ、ｔ_ｚによって実質的に影響が受けられない場合がある。そのため、ステップＳ８３０において、遠距離頂点Ｑ_１に基づいて回転関連自由度ｒ_ｘ、ｒ_ｙが決定される。回転関連自由度ｒ_ｘ、ｒ_ｙは姿勢パラメータと称されてもよい。

より具体的に、測位装置は、ｒ_ｘを変化させながら遠距離頂点Ｑ_１を縦方向に平行移動させ、ｒ_ｙを変化させながら遠距離頂点Ｑ_１を横方向に平行移動させる。測位装置は、遠距離頂点Ｑ_１に対応して算出されるスコアが決定した目標値以上になるように、ｒ_ｘ及びｒ_ｙの値を探索する。

ステップＳ８４０において、マップデータから近距離頂点が選別される。事前キャリブレーションによって決定されたｒ_ｚ及びｔ_ｙ、そして、遠距離頂点Ｑ_１によって決定されたｒ_ｘ及びｒ_ｙが適用された状態で、近距離頂点が選別される。

測位装置は、近距離頂点のうち消失点に向かう車線に該当する頂点Ｑ_２を選別し、その他の頂点Ｑ_３を選別する。頂点Ｑ_２は、測位パラメータの自由度のうち前後方向の移動関連自由度ｔ_ｚによって実質的に影響を受けないことがある。そのため、ステップＳ８５０において、頂点Ｑ_２に基づいて移動関連自由度ｔ_ｘが決定される。また、頂点Ｑ_３に基づいて移動関連自由度ｔ_ｚが決定される。移動関連自由度ｔ_ｘ、ｔ_ｚは位置パラメータと称されてもよい。

図９は、一実施形態に係る最適化方式が適用された結果を段階的に示す図である。

図９Ａを参照すると、特徴マップ９１０から抽出された特徴９１１とマップデータ９２０から投影された頂点９２１が示されている。マップデータ９２０上での初期測位が不正確であるため、特徴９１１と頂点９２１は互いに整合しない。以下、特徴９１１と頂点９２１が互いに整合するよう、測位パラメータの自由度が順次決定される過程について説明する。

車両に設置されたカメラは、道路面に相対的に一定の高さ及び一定のロール（ｒｏｌｌ）を有するという点に着眼して、ｔ_ｙ及びｒ_ｚは予めキャリブレーションされる。

図９Ｂを参照すると、測位装置は、特徴マップ９１０及びマップデータ９２０でロール効果を除去し得る。例えば、測位装置は、予めキャリブレーションされたｒ_ｚに基づいて特徴マップ９１０を回転９３０させることで、特徴マップ９１０においてロール効果を除去する。また、測位装置は、マップデータ９２０で初期測位の周辺頂点を検出し、検出された周辺頂点を平面に近似した後、平面のロールが除去されるようにマップデータ９２０を回転させる。

また、測位装置は、予めキャリブレーションされたｔ_ｙを用いて、マップデータ９２０の頂点の高さを補正する。

図９Ｃを参照すると、測位装置は初期測位を基準としてマップデータの投影映像内の遠距離頂点９４０を用いて平行移動に対応するｒ_ｘとｒ_ｙを導き出す。ここで、測位装置は、遠距離頂点９４０と特徴マップ９１０との相関度が予め決定された目標値以上になるよう、遠距離頂点９４０を平行移動させ得る。例えば、ｒ_ｘを調整してマップデータ９２０上の頂点を回転９４５することにより、投影映像内の遠距離頂点９４０が特徴マップ９１０の特徴と円満に整合される。

図９Ｄを参照すると、測位装置は、投影映像内の頂点を分析して周辺車線９５０の消失点を求めることができる。測位装置は、周辺車線９５０の消失点を特徴マップ９１０内の定められた位置（例えば、特徴マップの中心など）に整列する。この場合、周辺車線は、ｚ−方向移動に不変な特性を有するようになる。測位装置は、周辺車線９５０と特徴マップ９１０との相関度が予め決定された目標値以上になるよう、周辺車線９５０に該当する頂点をｘ方向に移動させる。例えば、ｔ_ｘを調整し、マップデータ９２０上の頂点が移動９５５することにより、投影映像内の周辺車線９５０に該当する頂点が特徴マップ９１０の特徴と円満に整合される。

図９Ｅを参照すると、測位装置は、投影映像内の近距離頂点のうち消失点方向の車線を除いた残りの頂点９６０を用いてｚ方向移動を探索する。測位装置は、残りの頂点９６０と特徴マップ９１０との相関度が予め決定された目標値以上になるよう、残りの頂点９６０をｚ方向に移動させる。例えば、ｔ_ｚを調整してマップデータ９２０上の頂点が移動９６５することにより、投影映像内の残りの頂点９６０が特徴マップ９１０の特徴と円満に整合される。

図１０は、一実施形態に係るパラメータ更新による測位方法を示した動作フローチャートである。実施形態に係る権利範囲を逸脱しない範囲で、図１０に示された動作の順序は変更されたり、図１０に示された動作のうちの一部が省略されたり、図１０に示された動作のうち少なくとも一部が並列的に処理されてもよい。

図１０を参照すると、ステップＳ１０１０において、入力映像から特徴マップが抽出され、ステップＳ１０２０において、初期測位（例えば、位置／姿勢パラメータに対する初期値）が選ばれる。ステップＳ１０３０において、現在パラメータのスコアが算出され、現在パラメータのスコアが改善される方向が算出される。

一実施形態によれば、特徴マップは、オブジェクトに近い程度を示す確率分布を含む。例えば、特徴マップに含まれた特徴は、最も近いオブジェクトまでの距離に関する情報を０と１との間の正規化された値として含むことができる。この場合、特徴マップは、オブジェクトに向かう方向に関する情報を提供する。測位装置は、現在パラメータによってマップデータから投影された２次元頂点に対応し、特徴マップの特徴値をプーリングする。測位装置は、プーリングされた特徴値に基づいて現在パラメータのスコアが改善され得る方向を決定する。

ステップＳ１０４０において、繰り返し終了条件に該当するか否かが判断され、繰り返し終了条件に該当しない場合、ステップＳ１０５０において、パラメータが更新される。測位装置は、ステップＳ１０３０で算出した方向によりパラメータを更新する。繰り返し終了条件が満足するまで、ステップＳ１０５０、ステップＳ１０３０、及びステップＳ１０４０が繰り返し実行される。繰り返し終了条件は、パラメータのスコアが決定した目標値以上であるか否かを含む。一実施形態によれば、システムの安定性のために繰り返し終了条件は、繰り返し回数が決定した閾値を超過したか否かをさらに含んでもよい。

繰り返し終了条件に該当する場合、ステップＳ１０６０において、現在パラメータが最終測位（例えば、最終位置／姿勢パラメータ）として選ばれる。

図１０に示す実施形態は、初期値θ＿０から始まって段階的に良いパラメータにたどり着く過程であるが、このような局部的な最適化方式は、初期値が良くなければ良い性能を出すことができない。したがって、図１０に示す実施形態は、初期値を別に推定するステップを選択的に含んでもよい。一例として、図８に示す実施形態によって取得されたパラメータを初期値と見なし、図１０に示す実施形態が実行される。この場合、事前キャリブレーションを介して固定されたロール及びカメラの高さなどの値を実際の走行環境で発生する変化に適するように補正する効果を達成することができる。

図１１は、一実施形態に係るパラメータ更新による測位方法が適用された結果を段階的に示す図である。

図１１を参照すると、入力映像１１０５、第１映像１１１０、及び第２映像１１２０が示されている。第１映像１１１０は、入力映像１１０５に対応して生成される。また、第２映像１１２０は、マップデータに基づいて初期測位による測位情報ｘ、ｙ、ｚ、ｒ_ｘ、ｒ_ｙ、ｒ_ｚによりオブジェクトを投影して生成した映像であってもよい。第２映像１１２０は投影映像として、オブジェクトに該当する複数の２次元頂点を含む。

測位装置は、映像１１３０のように第１映像１１１０と第２映像１１２０をマッチングしてスコアｓｃｏｒｅ ｌを算出する。測位装置は、例えば、第１映像１１１０に含まれた複数のピクセルのうち、第２映像１１２０に含まれたオブジェクトに対応するピクセルの値を合算してスコアを算出する。

例えば、第１映像１１１０に含まれた複数のピクセルは、隣接のオブジェクトとの距離に応じて０から１の間の値を有する。各ピクセルは、隣接のオブジェクトと近いほど１に近い値を有し、隣接のオブジェクトと遠いほど０に近い値を有する。測位装置は、第１映像１１１０に含まれた複数のピクセルのうち、第２映像１１２０とマッチングされるピクセルを抽出し、抽出されたピクセルの値を合算してスコアを算出する。

測位装置は、第１映像１１１０の方向性に基づいて、視覚的整列の程度、言い換えれば、スコアｓｃｏｒｅ ｌが増加するように測位情報を補正する。測位装置は、第２映像１１２０に含まれたオブジェクトの測位が第１映像１１１０の方向性に適するよう測位補正値を算出する。測位装置は、測位補正値を初期測位による測位情報に適用することによって、測位情報をｌ→ｌ’１１４０に更新する。例えば、測位装置は、第１映像１１１０に含まれた方向性に基づいて、第２映像１１２０のオブジェクトをどの方向に移動すればスコアが増加するかを判断する。測位情報を更新する場合、第２映像１１２０のオブジェクトが移動するため、測位装置は、第１映像１１１０に含まれた方向性に基づいて測位情報を更新する。

測位装置は、更新された測位情報ｌ’により更新された第２映像１１５０を生成する。測位装置は、更新された第２映像１１５０と第１映像１１１０をマッチングしてスコアｌ’を算出する。

測位装置は、前述した過程を介してスコアが予め決定された基準以上にする測位補正値を算出し、最終的に最適化された測位情報ｌ^*を出力する。

図１２は、一実施形態に係る特徴マップを生成する神経網を説明する図である。

図１２を参照すると、入力映像１２１０を神経網１２３０に適用して第１映像に該当するディスタンスフィールドマップ１２５０を生成する過程が示されている。

神経網１２３０は、入力映像１２１０に基づいて入力映像１２１０に含まれたオブジェクトに対応する方向性を含む第１映像を生成するように予め学習された神経網であってもよい。神経網１２３０は、複数の人工ニューロン（ノード）を用いてソフトウェアやハードウェアで具現化された学習モデルを示し得る。神経網１２３０は、人工ニューロンを含む。神経網１２３０は、例えば、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、又はＢＬＳＴＭ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）などのように様々な構造で実現できる。

神経網１２３０は、入力映像１２１０に含まれたオブジェクトをディスタンスフィールドマップ１２５０の形態に推定し得る。例えば、第１映像がディスタンスフィールドマップ１２５０のように近いオブジェクトに向かう方向性情報を含む場合、勾配降下方（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）などを活用するとき最適化の方向性を容易に決定することができる。また、ディスタンスフィールドマップ１２５０のように、オブジェクトに近い程度を示す確率の分布が映像の全般にわたっている場合、学習のためのデータ量を増やすことがあるため、疎なデータ（ｓｐａｒｓｅ ｄａｔａ）によって学習された場合に比べて神経網の性能が向上する。

図１３は、一実施形態に係る測位装置を示すブロック図である。

図１３を参照すると、一実施形態に係る測位装置１３００は、センサ１３１０、及びプロセッサ１３３０を含む。測位装置１３００は、メモリ１３５０、通信インタフェース１３７０、及びディスプレイ装置１３９０をさらに含む。センサ１３１０、プロセッサ１３３０、メモリ１３５０、通信インタフェース１３７０、及びディスプレイ装置１３９０は、通信バス１３０５を介して接続される。ディスプレイ装置１３９０は、ユーザインタフェースをレンダリングするか、ディスプレイをレンダリングするか、ユーザ入力を受信する機能を提供する１つ又はそれ以上のハードウェア構成を含む。ディスプレイ装置１３９０は、前述した例示に限定されることなく、例えば、スマートフォン、メガネ型ディスプレイなどの様々な形態に実現できる。

センサ１３１０は、例えば、イメージセンサ、ビジョンセンサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサ、レーダー（Ｒａｄａｒ）、ライダ（Ｌｉｄａｒ）などを含む。複数のセンサ１３１０は車両の走行映像を含む入力映像を取得（撮影）する。センサ１３１０は、例えば、車両のＧＰＳ座標、位置、姿勢などのような測位情報以外にも、速度、加速度、走行方向、車両のハンドルステアリング角度、及び車両の速度などの検出情報を検出する。

実施形態は、映像の頂点とマップデータの頂点との間に対応関係を設定しなくても測位可能な技術を提供する。また、実施形態は、映像の特徴をパラメータ化したり、３次元変換と透視（ｐｅｒｓｐｅｃｔｉｖｅ）変換に不変な関係を抽出したり、マップデータで探索時このような不変な関係を容易に特定しなくても測位可能な技術を提供する。

実施形態により、測位装置１３００は、通信インタフェース１３７０を介して入力映像を含む様々なセンサの検出情報を取得する。実施形態により、通信インタフェース１３７０は、測位装置１３００の外部に存在する他のセンサから走行映像を含む検出情報を受信する。

プロセッサ１３３０は、通信インタフェース１３７０及び／又はディスプレイ装置１３９０を介して補正された測位情報を出力したり、又は、補正された測位情報に基づいて、マップデータ上に仮想オブジェクトを入力映像と共に表示することによって拡張現実サービスを提供し得る。また、プロセッサ１３３０は、図１〜図１３を参照して前述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行ってもよい

プロセッサ１３３０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現化されたデータ処理装置であり得る。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現化されたデータ処理装置は、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ・コアプロセッサ（ｍｕｌｔｉ−ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含む。

プロセッサ１３３０は、プログラムを実行し、測位装置１３００を制御する。プロセッサ１３３０によって実行されるプログラムコードは、メモリ１３５０に格納される。

メモリ１３５０は、測位装置１３００の測位情報、第１映像、第２映像、及び／又は、補正された測位情報を格納する。メモリ１３５０は、上述したプロセッサ１３３０における処理過程で生成される様々な情報を格納する。その他にも、メモリ１３５０は、各種のデータとプログラムなどを格納する。メモリ１３５０は、揮発性メモリ又は不揮発性メモリを含む。メモリ１３５０は、ハードディスクなどのような大容量格納媒体を備えて、各種のデータを格納する。

ディスプレイ装置１３９０は、プロセッサ１３３０によって補正された測位情報を出力したり、又は、補正された測位情報に基づいてマップデータ上に仮想オブジェクトを入力映像と共に表示し得る。

一実施形態に係る測位装置は、例えば、ヘッドアップディスプレイ（ＨＵＤ）、又は、拡張現実グラス（ＡＲ Ｇｌａｓｓｅｓ）などのように撮影装置と測位装置間の視点が同一でない場合でも、撮影装置をベースに前述の測位方法を行った結果を用いて、測位装置の３Ｄ測位情報を更新することにより、視点に独立的な実行を行うことができる。また、一実施形態に係る測位装置は、移動端末又はスマートフォンのように撮影装置と測位装置の視点が同一である場合、３Ｄ測位情報を更新することが可能であることはもちろん、追加的に映像内で直接２Ｄ位置を補正する用途にも使用できる。

上述の実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は専用コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置が１つ使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことを把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述のように、たとえ実施形態が限定された図面によって説明されても、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術は、説明された方法と異なる順で実行されるし、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素は、説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１１０、１３０ オブジェクト
１１５、１３５ 走行案内車路
１２０、１４０ 拡張現実映像
２００ 測位装置
９１０ 特徴マップ
９２０ マップデータ

Claims (37)

1. 入力映像からオブジェクトの第１映像を生成するステップと、
   前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成するステップと、
   前記第１映像から、前記第２映像内の頂点に対応する特徴値をプーリングするステップと、
   前記プーリングされた特徴値に基づいて、前記候補測位のスコアを決定するステップと、
   を含む、測位方法。
2. 前記第１映像を生成するステップは、複数の特徴に対応する複数の特徴マップを生成するステップ、を含む、
   請求項１に記載の測位方法。
3. 前記第２映像を生成するステップは、
   前記マップデータから前記候補測位における視野範囲に該当する領域を抽出するステップと、
   前記領域に含まれた頂点を前記候補測位に対応する投影点に投影するステップと、
   を含む、請求項１または２に記載の測位方法。
4. 前記特徴値をプーリングするステップは、
   前記頂点の座標に基づいて、前記第１映像内のピクセルを選択するステップと、
   前記選択されたピクセルの特徴値を取得するステップと、
   を含む、請求項１乃至３いずれか一項に記載の測位方法。
5. 前記候補測位のスコアを決定するステップは、前記プーリングされた特徴値を合算するステップ、を含む、
   請求項１乃至４いずれか一項に記載の測位方法。
6. 前記合算するステップは、前記第１映像が複数の特徴に対応する複数の特徴マップを含む場合、前記特徴に対応して、決定した加重値に基づいて前記特徴値を加重合算するステップ、を含む、
   請求項５に記載の測位方法。
7. 前記測位方法は、さらに、
   前記候補測位のスコアに基づいて、前記装置の測位を決定するステップ、を含む、
   請求項１に記載の測位方法。
8. 前記装置の測位を決定するステップは、複数の候補測位のスコアのうち最大スコアに対応する候補測位を前記装置の測位として決定するステップ、を含む、
   請求項７に記載の測位方法。
9. 前記装置の測位を決定するステップは、
   前記第２映像を複数の領域に分割するステップと、
   前記分割された領域で算出されるスコアを用いることによって、前記候補測位に含まれた複数の自由度の値を順次決定するステップと、
   を含む、請求項７に記載の測位方法。
10. 前記複数の自由度の値は、
    移動に関する３自由度の値と、
    回転に関する３自由度の値と、
    を含む、請求項９に記載の測位方法。
11. 前記分割するステップは、
    距離に関する第１基準に基づいて、前記第２映像を遠距離領域及び近距離領域に分割するステップと、
    消失点に関連する第２基準に基づいて、前記近距離領域を消失点指向近距離領域及び非消失点指向近距離領域に分割するステップと、
    を含む、請求項９に記載の測位方法。
12. 前記複数の自由度の値を順次決定するステップは、
    前記遠距離領域に基づいて、回転関連自由度を決定するステップと、
    前記消失点指向近距離領域に基づいて、左右方向の移動関連自由度を決定するステップと、
    前記非消失点指向近距離領域に基づいて、前後方向の移動関連自由度を決定するステップと、
    を含む、請求項１１に記載の測位方法。
13. 前記装置の測位を決定するステップは、
    前記第２映像に含まれた頂点のうち、移動関連自由度による影響が第１閾値以下である遠距離頂点に基づいて、回転関連自由度を決定するステップと、
    前記第２映像から前記遠距離頂点を除いた近距離頂点のうち、前後方向の移動関連自由度による影響が第２閾値以下である消失点指向近距離頂点に基づいて、左右方向の移動関連自由度を決定するステップと、
    前記近距離頂点のうち、前記消失点指向近距離頂点を除いた非消失点指向近距離頂点に基づいて、前記前後方向の移動関連自由度を決定するステップと、
    を含む、請求項７に記載の測位方法。
14. 前記装置の測位を決定するステップは、
    前記プーリングされた特徴値の分布に基づいて、前記スコアを改善するための方向を決定するステップと、
    前記方向に基づいて前記候補測位を補正するステップと、
    を含む、請求項７に記載の測位方法。
15. 前記第１映像は、前記オブジェクトと近い程度を示す確率分布を含み、
    前記方向を決定するステップは、前記確率分布に基づいて前記方向を決定するステップ、を含む、
    請求項１４に記載の測位方法。
16. 前記装置の測位を決定するステップは、
    前記補正された候補測位により前記オブジェクトが投影された補正された第２映像を生成するステップと、
    前記補正された第２映像に含まれた頂点に対応して、前記第１映像から特徴値をプーリングすることにより、前記補正された候補測位の補正されたスコアを決定するステップと、
    を含み、
    前記補正された候補測位の補正されたスコアが決定した条件が満たされるまで前記方向を決定するステップ、前記候補測位を補正するステップ、前記補正された第２映像を生成するステップ、及び、前記補正された候補測位の補正されたスコアを決定するステップは、繰り返し行われる、
    請求項１４に記載の測位方法。
17. 前記測位方法は、さらに、
    拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、
    前記決定された測位に基づいて、前記仮想オブジェクトを表示するステップと、
    を含む、請求項７に記載の測位方法。
18. 前記入力映像は、車両の走行映像を含み、
    前記仮想オブジェクトは、走行経路情報を示す、
    請求項１７に記載の測位方法。
19. 媒体上に保管され、インストラクションを含むコンピュータプログラムであって、
    前記インストラクションがハードウェアによって実行されると、請求項１乃至請求項１８のいずれか一項に記載の方法を実行させる、
    コンピュータプログラム。
20. 入力映像からオブジェクトの第１映像を生成するステップと、
    前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成するステップと、
    前記第２映像を複数の領域に分割するステップと、
    前記分割された領域と前記第１映像との間のマッチングによって、前記候補測位に含まれた複数の自由度の値を決定するステップと、
    を含む、測位方法。
21. 前記複数の自由度の値を決定するステップは、前記分割された領域で前記第１映像とのマッチングによって算出されるスコアを用いることにより、前記候補測位に含まれた複数の自由度の値を順次決定するステップ、を含む、
    請求項２０に記載の測位方法。
22. 前記複数の自由度の値を決定するステップは、
    分割された領域に対応して決定した自由度の値を変更しながら、前記領域内の頂点に対応して第１映像から特徴値をプーリングすることにより、前記自由度の変更された値によるスコアを算出するステップと、
    最大スコアに対応する自由度の値を選択するステップと、
    を含む、請求項２０に記載の測位方法。
23. 前記複数の自由度の値は、
    移動に関する３自由度の値と、
    回転に関する３自由度の値と、
    を含む、請求項２０乃至２２いずれか一項に記載の測位方法。
24. 前記分割するステップは、
    距離に関する第１基準に基づいて、前記第２映像を遠距離領域及び近距離領域に分割するステップと、
    消失点に関連する第２基準に基づいて、前記近距離領域を消失点指向近距離領域及び非消失点指向近距離領域に分割するステップと、
    を含む、請求項２０乃至２３いずれか一項に記載の測位方法。
25. 前記複数の自由度の値を決定するステップは、
    前記遠距離領域に基づいて、回転関連自由度を決定するステップと、
    前記消失点指向近距離領域に基づいて、左右方向の移動関連自由度を決定するステップと、
    前記非消失点指向近距離領域に基づいて、前後方向の移動関連自由度を決定するステップと、
    を含む、請求項２４に記載の測位方法。
26. 前記複数の自由度の値を決定するステップは、
    前記第２映像に含まれた頂点のうち、移動関連自由度による影響が第１閾値以下である遠距離頂点に基づいて回転関連自由度を決定するステップと、
    前記第２映像から前記遠距離頂点を除いた近距離頂点のうち、前後方向の移動関連自由度による影響が第２閾値以下である消失点指向近距離頂点に基づいて、左右方向の移動関連自由度を決定するステップと、
    前記近距離頂点のうち、前記消失点指向近距離頂点を除いた非消失点指向近距離頂点に基づいて前記前後方向の移動関連自由度を決定するステップと、
    を含む、請求項２０に記載の測位方法。
27. 前記測位方法は、さらに、
    拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、
    前記決定された複数の自由度の値に基づいて、前記仮想オブジェクトを表示するステップと、
    を含む、請求項２０に記載の測位方法。
28. 前記入力映像は、車両の走行映像を含み、
    前記仮想オブジェクトは、走行経路情報を示す、請求項２７に記載の測位方法。
29. 媒体上に保管され、インストラクションを含むコンピュータプログラムであって、
    前記インストラクションがハードウェアによって実行されると、請求項２０乃至請求項２８のいずれか一項に記載の方法を実行させる、
    コンピュータプログラム。
30. 入力映像からオブジェクトの第１映像を生成し、
    前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成し、
    前記第１映像から、前記第２映像内の頂点に対応する特徴値をプーリングし、
    前記プーリングされた特徴値に基づいて、前記候補測位のスコアを決定する、
    少なくとも１つのプロセッサ、
    を含む、測位装置。
31. 入力映像からオブジェクトの第１映像を生成し、
    前記オブジェクトの位置を含むマップデータに基づいて、装置の候補測位により前記オブジェクトを投影する第２映像を生成し、
    前記第２映像を複数の領域に分割し、
    前記分割された領域と前記第１映像との間のマッチングによって、前記候補測位に含まれた複数の自由度の値を決定する、
    少なくとも１つのプロセッサ、
    を含む、測位装置。
32. 装置に取り付けられ、１つ又はそれ以上の映像と前記装置の候補測位情報を検出するセンサと、
    前記映像からオブジェクトの第１映像を生成し、前記オブジェクトの位置を含むマップデータに基づいて候補側上の情報により前記オブジェクトを投影する第２映像を生成し、前記第１映像から前記第２映像内の頂点に対応する特徴値をプーリングすることにより前記候補側上の情報のスコアを決定し、前記スコアに基づいて前記装置の測位情報を決定するプロセッサと、
    前記決定された測位情報に基づいて前記マップデータ上の仮想オブジェクトを視覚化するヘッドアップディスプレイ（ＨＵＤ）と、
    を含む、測位装置。
33. 前記プロセッサは、
    距離に基づいて、前記第２映像を遠距離領域と近距離領域とに分割し、
    消失点に基づいて、前記近距離領域を消失点指向近距離領域と非消失点指向近距離領域に分割する、
    請求項３２に記載の測位装置。
34. 前記プロセッサは、
    前記遠距離領域に基づいて、回転自由度を決定し、
    前記消失点指向近距離領域に基づいて、左右移動自由度を決定し、
    前記非消失点指向近距離領域に基づいて、前後移動自由度を決定する、
    請求項３３に記載の測位装置。
35. 前記プロセッサは、
    神経網を用いて、複数の特徴に対応する特徴マップを含む前記第１映像を生成する、
    請求項３２に記載の測位装置。
36. 前記第２映像は、前記オブジェクトに対応する２次元頂点の投射を含む、
    請求項３２に記載の測位装置。
37. 前記測位装置は、さらに、
    前記マップデータ、前記映像、前記第１映像、前記第２映像、前記スコア、及び、前記決定された測位情報と前記仮想オブジェクト、のうち少なくとも１つを決定するように、前記プロセッサを制御する命令語、を含むメモリ、
    を含む、請求項３２に記載の測位装置。