JP7269082B2 - 拡張現実で仮想オブジェクトを表示するための測位方法及び装置 - Google Patents

Description

以下の実施形態は、拡張現実で仮想オブジェクトを表示するための測位方法及び装置に関する。

車両及びその他の運送手段の走行補助やゲーム、及び娯楽などの様々な分野で様々な形態の拡張現実（Ａｕｇｍｅｎｔａｔｉｏｎ Ｒｅａｌｉｔｙ）サービスが提供されている。拡張現実をより正確かつ実感できるように提供するため様々な測位方法が用いられる。例えば、センサ基盤の測位方法は、オブジェクトの位置と方向を把握するためにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ及びＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサなどのような様々なセンサを複合的に使用する。高い正確度を必要とする場合、センサ基盤の測位方法は、正確度の高い高価なセンサが要求されるため商用化及び小型化が容易ではない。また、周辺情報を活用して精度の高い座標情報を取得するためにカメラ情報を使用するビジョン基盤の測位方法は、持続的な動きを有する動的オブジェクトが多い環境で使用し難しい。

特許第５９６８０６４号公報

一実施形態の課題は、センサ基盤の測位時に発生した誤差を映像をベースに更新することによって拡張現実で測位情報の精密度を向上させることにある。

一実施形態の課題は、実際の３Ｄ空間上に示される実際の誤差距離よりマップデータを２Ｄ映像に投影させた時に視覚的整列の程度が大きくなる方向に測位を最適化することで、より正確な拡張現実サービスを提供することにある。

一実施形態の課題は、オブジェクトと近い程度を示す確率の分布が映像の全般にわたるディスタンスフィールドマップを用いることで、学習のためのデータ量を増やし、疎データ（ｓｐａｒｓｅ ｄａｔａ）によって学習された場合に比べて学習性能が向上され、最適化の方向性をより明確にガイドすることにある。

一側面によれば、測位方法は、装置の測位情報を取得するステップと、入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成するステップと、前記オブジェクトの位置に対応するマップデータに基づいて、前記測位情報に応じて前記オブジェクトが投影された第２映像を生成するステップと、前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新するステップとを含む。

前記測位情報は、前記装置の位置及び前記装置の姿勢を含み得る。

前記第２映像を生成するステップは、前記マップデータ上に仮想カメラを配置するステップと、前記装置の姿勢に基づいて前記仮想カメラの姿勢を調整するステップと、前記仮想カメラでオブジェクトを見る視点の映像を生成するステップとを含み得る。

前記方向性は、前記オブジェクトと近い程度を示す確率の分布に対応し得る。

前記入力映像は第１センサの出力に基づき、前記測位情報は第２センサの出力に基づき得る。

前記測位情報は、拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、前記更新された測位情報に基づいて、前記仮想オブジェクトを前記入力映像と共に表示するステップとをさらに含み得る。

前記仮想オブジェクトは走行経路情報を示し得る。

前記第１映像を生成するステップは、予め学習された神経網を用いて前記方向性を示す確率マップを生成するステップを含み得る。

前記確率マップに含まれたピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納し得る。

前記シードピクセルは、前記入力映像に含まれたピクセルのうち前記オブジェクトに対応するピクセルを含み得る。

前記第２映像を生成するステップは、前記マップデータの座標系を前記第２映像の座標系に変換するコンバータを用いて前記第２映像を生成するステップを含み得る。

前記測位情報は６自由度（ＤｏＦ）を有し得る。

前記測位情報を更新するステップは、前記第１映像と前記第２映像をマッチングすることによって、前記視覚的整列の程度を算出するステップと、前記方向性に基づいて、前記視覚的整列の程度が増加するように前記測位情報を更新するステップとを含み得る。

前記視覚的整列の程度を算出するステップは、前記第１映像のピクセルのうち前記第２映像の前記オブジェクトに対応するピクセルの値を合算するステップを含み得る。

前記方向性に基づいて前記測位情報を更新するステップは、前記第２映像で前記オブジェクトが前記方向性により変換されるよう前記測位情報を更新するステップを含み得る。

前記方向性に基づいて前記測位情報を更新するステップは、前記方向性に基づいて前記第２映像で前記オブジェクトを移動又は回転させるステップを含み得る。

前記第１映像は、前記オブジェクトのタイプを区分することによって前記オブジェクトのタイプごとに方向性を格納し、前記第２映像は、前記オブジェクトのタイプを区分することによって前記オブジェクトのタイプごとに投影されたオブジェクトを格納し得る。

前記測位情報を更新するステップは、前記第１映像と前記第２映像をマッチングすることによって、前記オブジェクトのタイプごとに視覚的整列の程度を算出するステップと、前記方向性に基づいて、前記タイプごとの視覚的整列の程度が増加するように前記測位情報を更新するステップとを含み得る。

前記入力映像は車両の走行映像を含み得る。

前記オブジェクトは、車線、道路面標識、信号機、表示板、縁石、及び構造物のいずれか１つ又はその組合せを含み得る。

一実施形態によれば、学習方法は、学習映像を受信するステップと、前記学習映像のためのマップデータに基づいて、前記学習映像に含まれたオブジェクトに対応する方向性を含む基準映像を生成するステップと、神経網を用いて前記学習映像に含まれたオブジェクトに対応する方向性を推論する推論映像を生成するステップと、前記基準映像と前記推論映像との間の差に基づいて前記神経網を学習するステップとを含む。

前記学習するステップは、前記基準映像と前記推論映像との間の差が最小化されるように前記神経網を学習するステップを含み得る。

前記方向性は、前記オブジェクトと近い程度を示す確率の分布に対応し得る。

前記基準映像及び前記推論映像に含まれたピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納し得る。

前記基準映像及び前記推論映像は、前記オブジェクトのタイプを区分することによって前記オブジェクトのタイプごとに方向性を格納し得る。

前記学習するステップは、前記基準映像と前記推論映像との間のタイプごとの差に基づいて、前記神経網を学習するステップを含み得る。

前記学習映像は車両の走行映像を含み得る。

前記オブジェクトは、車線、道路面標識、信号機、表示板、縁石、及び構造物のいずれか１つ又はその組合せを含み得る。

一実施形態によれば、測位装置は、装置の測位情報及び入力映像を取得するセンサと、前記入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成し、前記オブジェクトの位置に対応するマップデータに基づいて、前記測位情報に応じて前記オブジェクトが投影された第２映像を生成し、前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新するプロセッサとを含む。

一実施形態によれば、測位方法は、装置の位置に対応する入力映像を取得するステップと、オブジェクトの位置に対応するマップデータを受信するステップと、複数の候補測位情報それぞれに基づいて、前記オブジェクトが投影された第２映像を前記マップデータ上に生成するステップと、前記入力映像と前記第２映像それぞれをマッチングすることによって、前記第２映像それぞれに対する視覚的整列の程度を算出するステップと、前記第２映像から最も大きい視覚的整列の程度を有する第２映像を選択するステップと、前記選択された第２映像に対応する候補測位情報に基づいて測位情報を更新するステップとを含む。

前記測位方法は、前記オブジェクトに対応する方向性を示す確率マップを含む第１映像を生成するステップをさらに含み、前記視覚的整列の程度を算出するステップは、前記第１映像と前記第２映像それぞれをマッチングするステップを含み得る。

一実施形態によれば、測位装置は、映像をキャプチャーする第１センサと、装置の測位情報を取得する第２センサと、ヘッドアップディスプレイ（ＨＵＤ）と、プロセッサとを含み、前記プロセッサは、前記映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成し、前記測位情報に基づいて、前記オブジェクトが投影された第２映像を前記オブジェクトの位置に対応するマップデータ上に生成し、前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新し、拡張現実（ＡＲ）サービスのために前記ヘッドアップディスプレイ内の調整された測位情報に基づいて、前記オブジェクト及び前記入力映像をマップデータ上に表示する。

一側面によれば、センサ基盤の測位時に発生した誤差を映像をベースに補正することによって拡張現実で測位情報の精密度を向上させることができる。

一側面によれば、実際の３Ｄ空間上に示される実際の誤差距離よりマップデータを２Ｄ映像に投影させた時に視覚的整列の程度が大きくなる方向に測位を最適化することで、より正確な拡張現実サービスを提供することができる。

一側面によれば、オブジェクトと近い程度を示す確率の分布が映像の全般にわたるディスタンスフィールドマップを用いることで、学習のためのデータ量を増やし、疎データによって学習された場合に比べて学習性能が向上され、最適化された方向性をより明確にガイドすることができる。

一実施形態に係る測位誤差に対応する視覚的整列の結果を説明するための図である。 一実施形態に係る測位誤差に対応する視覚的整列の結果を説明するための図である。 一実施形態に係る測位誤差に対応する視覚的整列の結果を説明するための図である。 一実施形態に係る測位方法を示したフローチャートである。 一実施形態に係る測位方法を説明する図である。 一実施形態に係る測位過程を説明するための図である。 一実施形態に係る第１映像を生成する過程を説明するための図である。 一実施形態に係る測位情報を更新する方法を説明するための図である。 一実施形態に係る映像に含まれたオブジェクトがタイプごとに区分された場合に測位情報を更新する方法を説明するための図である。 一実施形態に係る映像に含まれたオブジェクトがタイプごとに区分された場合に測位情報を更新する方法を説明するための図である。 一実施形態に係る学習方法を示したフローチャートである。 一実施形態に係る学習過程を説明するための図である。 一実施形態に係る学習のための映像を説明するための図である。 他の実施形態に係る測位方法を示したフローチャートである。 図１１による測位更新過程を説明するための図である。 他の実施形態に係る測位方法を示したフローチャートである。 一実施形態に係る測位装置のブロック図である。

下記で説明する実施形態は様々な変更が加えられることができる。特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。

本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。

本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。

図１は、一実施形態に係る測位誤差に対応する視覚的整列（ｖｉｓｕａｌ ａｌｉｇｎｍｅｎｔ）結果を説明するための図である。

拡張現実は、現実に基づいて情報を追加又は増強して提供する技術であって、例えば、現実世界のイメージや背景映像に仮想のイメージに該当する仮想オブジェクトを追加して示すことができる。拡張現実は、現実世界と仮想世界を円満に調和させることで、ユーザは実際及び仮想環境が分離していることを認知できないまま、ユーザと仮想世界間のリアルタイム相互作用が可能な没入感を提供することができる。仮想オブジェクトを実際の映像に整合するためには、拡張現実を提供するユーザ装置（又は、ユーザ）の位置及び姿勢、言い換えれば、測位情報を正確に把握しなければならない。

拡張現実提供のための測位情報は。仮想オブジェクトを映像内の所望する個所に位置させるために用いられる。拡張現実を提供するにおいて、実際の３Ｄ空間上に示される誤差や特徴マッチング時の誤差よりも、仮想オブジェクトを２Ｄ映像に投影させた時の視覚的整列の程度がもっと重要である。視覚的整列の程度は、仮想オブジェクトと実際の映像が互いにオーバラップされる比率又はマッチングされる比率に該当する。視覚的整列の程度は、次の図１Ａ及び図１Ｂに示すように測位誤差によって変わり得る。以下、本明細書にて説明の便宜のために道路面に仮想オブジェクトに該当する走行案内車路を表示する場合について一例を挙げて説明するが、必ずこれに限定されることはない。

以下で説明する実施形態は、運転者をサポートしたり自律的な車両を制御するための情報を生成するために使用される。一実施形態は、例えば、車両で完全自律走行又は走行補助のために設けられた知能型システムのような装置の視覚情報を解釈するために使用され、安全で快適な走行を補助するために使用される。

本明細書で説明された実施形態は、車両、例えば、自律走行車両、自動又は自律走行システム、知能型車両、改善された運転者補助システム（ＡＤＡＳ）、ナビゲーションシステムなどのように車両が走行する車線を安定的に保持して補助するための車両管理システム、スマートフォン又はモバイル装置に適用される。

実施形態は、仮想オブジェクトに対応して運転案内車線を表示することに関する例示であり、その他にも、学習、ゲーム、健康における応用、公共安全、観光、及びマーケティングのような他の実施形態についても開示内容の範囲に含まれるものと見なす。

図１Ａを参照すると、測位誤差の小さい場合の視覚的整列の結果による拡張現実映像１２０が示されている。図１Ｂを参照すると、測位誤差の大きい場合の視覚的整列の結果による拡張現実映像１４０が示されている。

例えば、オブジェクト１１０の測位情報を基準にして車両の基準経路を道路映像上に表示するものと仮定する。ここで、オブジェクトは、測位を行うユーザ端末及び／又は車両に該当する。オブジェクト１１０の測位に誤差が小さい場合、装置が表示しようとする仮想オブジェクトである走行案内車路１１５は、映像１２０のように実際の道路映像と視覚的整列が円満に行われる。これとは異なって、オブジェクト１３０の測位に誤差が大きい場合、装置が表示しようとする仮想オブジェクトである走行案内車路１３５は、映像１４０のように実際の道路映像と視覚的整列が円満に行われないことがある。

実施形態によれば、仮想オブジェクトを２Ｄ映像に投影させたときの視覚的整列の程度が大きくなる方向に測位情報を最適化することで、より正確な拡張現実サービスを提供することができる。

図１Ｃを参照すると、一実施形態に係る測位情報は装置の位置及び装置の姿勢を含む。位置は、横（Ｌａｔｅｒａｌ）ｔ_ｘ、縦（Ｖｅｒｔｉｃａｌ）ｔ_ｙ、及び経度（Ｌｏｎｇｉｔｕｄｅ）ｔ_ｚ、言い換えれば、（ｘ、ｙ、ｚ）のような３次元座標に該当する。また、姿勢はピッチ（Ｐｉｔｃｈ）ｒ_ｘ、ヨー（Ｙａｗ）ｒ_ｙ、及びロール（Ｒｏｌｌ）ｒ_ｚに該当する。位置は、例えば、ＧＰＳセンサ、ライダなどを介して取得され、姿勢は、例えば、ＩＭＵセンサ、ジャイロセンサなどを介して取得される。一実施形態に係る測位情報は、前述した位置及び姿勢を含む６自由度（Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ；ＤｏＦ）を有するものと理解される。

一実施形態で説明された車両は、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用車両、雪上車、ボート、バス、モノレール、列車、電車、自律走行又は自動走行車両、知能型車両、セルフドライブ車両、無人航空機、電気自動車、ハイブリッド自動車、スマート移動装置、先端運転者サポートシステム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）を備えた知能型車両、又はドローンなどを含み、運送、移動及び通信の任意のモードで記述される。

一実施形態に係るスマート移動装置は、例えば、電動ホイール（ｅｌｅｃｔｒｉｃ ｗｈｅｅｌｓ）、電気キックボート、及び電気自転車のような移動性装置を含む。

一実施形態に係る車両は、例えば、カルチベーター又はバイクのように動力装置のある車両の他にも自転車又は手押し車のような非動力車両を含む。

「道路」という用語は、車両のように徒歩又は一部形態の運搬を許容するように改善された２カ所間の主要道路、経路又は連結道路である。道路には、高速道路、国道、農場道路、地方道路、又は高速国道のような様々なタイプの道路が含まれる。道路は、単一車線又は複数の車線を含む。車線は、道路表面に表示された道路線であって、互いに区別される道路空間に該当する。例えば、「車路（ｌａｎｅ）」は、車両が複数の車線間を移動する平面、すなわち、車両によって占有されて使用される空間である。１つの車路は、車路の左右側の車線表示によって他の車路と区別される。

また、「車線（ｌｉｎｅ）」は道路面上に白色、青色、又は黄色などのような色に表示された実線、点線、曲線、及びジグザグ線などの様々な形態の線のように理解される。車線は、１つの車路、道路の中央線、停止線を区分する一側の車線に該当し、１つの車路を区分する車線の対、言い換えれば、車路境界線に該当する左側車線及び右側車線であり得る。

車線は、駐車及び停車禁止区域、横断歩道、歩行区域及び速度制限表示を示す。

以下の実施形態は、スマート車両の拡張現実ナビゲーション装置に適用される。例えば、ＡＲナビゲーション装置は、車線を表示したり、自律走行車両のステアリングを補助するための視覚情報を生成したり、車両走行のための様々な制御情報を提供するために用いられる。拡張現実ナビゲーション装置は、ディスプレイに視覚情報を提供する。例えば、ディスプレイは、ヘッドアップディスプレイ（ＨＵＤ）、車両用インフォテインメントシステム、車両のダッシュボード又は拡張現実に使用された車両のスクリーンであり得る。ディスプレイは、運転補助又は車両の自律走行を完了して安全で快適な運転を助けるために設けられる。一例として、ディスプレイは、単眼メガネ（ｏｎｅ－ｅｙｅｄ ｇｌａｓｓ）又は両眼メガネ（ｔｗｏ－ｅｙｅｄ ｇｌａｓｓｅｓ）を含むｅｙｅ ｇｌａｓｓ ｄｉｓｐｌａｙ（ＥＧＤ）に具現れてもよい。

図２は、一実施形態に係る測位方法を示したフローチャートである。図２に示す動作は、図２に示された順序及び方式で実行され、説明された例示的な実施形態の思想と範囲を逸脱しないで一部動作の順序が変更されたり一部動作が省略されてもよい。図２に示された多くの動作が並列的又は同時に実行されてもよい。図２に示す１つ以上のブロック及びブロックの組合せは特殊目的ハードウェア基盤コンピュータ、又は、特殊目的ハードウェア及びコンピュータ命令の組合せによって実現される。次の図２の説明に付加して、図１に示す説明についても図２に適用され得る。図１は、参照によって図２に結合され得るため、前記説明を繰り返さない。

図２を参照すると、一実施形態に係る測位装置は、該当装置の測位情報を取得する（Ｓ２１０）。ここで、装置は一実施形態に係る測位方法を行う装置として、例えば、車両であってもよく、ナビゲーション装置、スマートフォンなどのようなユーザ装置であってもよい。測位情報は、前述したように装置の位置及び装置の姿勢を含む６自由度を有する。測位情報は、例えば、ＩＭＵセンサ、ＧＰＳセンサ、ライダセンサ、及びレーダーなどのようなセンサの出力に基づいて取得される。測位情報は、例えば、測位装置の初期測位情報であり得る。

測位装置は、入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成する（Ｓ２２０）。入力映像は、今後拡張現実サービスのために仮想オブジェクトと共に表示される背景映像又はその他の映像に該当する。入力映像は、例えば、車両の走行映像を含む。ここで、走行映像は、例えば、車両に装着された撮影装置を用いて取得された走行映像である。走行映像は、１つ又は複数の走行映像を含む。走行映像は、複数のフレームを含む。測位装置は、撮影装置の出力に基づいて入力映像を取得する。撮影装置は、例えば、車両のウインドシールド（ｗｉｎｄｓｈｉｅｌｄ）、ダッシュボード（ｄａｓｈｂｏａｒｄ）、フロントフェンダー（ｆｒｏｎｔ ｆｅｎｄｅｒ）、バックミラー（ｒｅａｒ－ｖｉｅｗ ｍｉｒｒｏｒ）などのように予め決定された位置に固定され、車両前方の走行映像を撮影する。撮影装置は、例えば、ビジョンセンサ、イメージセンサ、又は、これに類似の機能を行う装置を含む。撮影装置は単一映像を撮影したり、場合に応じてフレームごとの映像を撮影してもよい。又は、走行映像は、測位装置の他の装置でキャプチャーされた映像であってもよい。走行映像は、例えば、図４に示された入力映像４１０であり得る。オブジェクトは、例えば、車線、道路面標識、信号機、表示板、縁石、歩行者、他の車両、及び構造物などを含む。

ステップＳ２２０で、測位装置は、例えば、予め学習された神経網を用いて方向性を示す確率マップ、例えば、ディスタンスフィールドマップ（Ｄｉｓｔａｎｃｅ Ｆｉｅｌｄ Ｍａｐ）を生成する。一実施形態において、「オブジェクトに対応する方向性」はオブジェクトに近い程度を示す確率の分布に対応する。

ここで、確率マップに含まれたピクセルそれぞれは、該当するピクセルから最も近いシードピクセル（ｓｅｅｄ ｐｉｘｅｌ）までの距離を格納する。シードピクセルは、映像に含まれたピクセルのうちオブジェクトに該当するピクセルであり得る。第１映像は、例えば、図５に示すディスタンスフィールドマップ５５０である。測位装置が予め学習された神経網を用いて前述した確率マップを生成する方法については、次の図５を参照して具体的に説明する。

測位装置は、オブジェクトの位置を含むマップデータに基づいて、測位情報に応じてオブジェクトが投影された第２映像を生成する（Ｓ２３０）。ここで、マップデータは、例えば、高精密（Ｈｉｇｈ Ｄｅｎｓｉｔｙ；ＨＤ）地図データであってもよい。高精密地図は、自律走行のために高い精密度（例えば、センチメートル単位の精密度）を備えた３Ｄ立体地図のことを指す。高精密地図には、例えば、道路中心線、境界線など車線単位の情報はもちろん、信号機、表示板、縁石、路面道路標識、各種の構造物などの情報が３次元デジタルの形態に含まれる。高精密地図は、例えば、ＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）システムによって構築される。ＭＭＳシステムとは、様々なセンサを装着した３次元空間情報調査システムであって、例えば、位置測定及び地形地物測量のためのカメラ、ライダ（ＬＩＤＡＲ）、ＧＰＳなどのセンサを装着した移動体を含む。ＭＭＳシステムのセンサは、互いに柔軟に働いて多様で細かい位置情報を取得することができる。

ステップＳ２３０において、「マップデータに基づいて、測位情報に応じてオブジェクトが投影された第２映像を生成する」ということは、例えば、測位装置がマップデータ上で、測位情報に含まれた位置に仮想カメラを配置し、測位情報に含まれた姿勢に基づいて仮想カメラの姿勢を調整した後、仮想カメラでオブジェクトを見る視点の映像を生成する意味として理解される。

ステップＳ２３０で、測位装置は、例えば、マップデータの座標系を第２映像の座標系に変換するコンバータを用いて第２映像を生成する。ここで、コンバータは、例えば、一平面を他の平面に投影させたとき投影された対応点間で成立する一定の変換関係を示すホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）関数又は前述した変換を行う人工神経網であり得る。測位装置は、例えば、測位情報に基づいてマップデータから一部のデータを抽出し、コンバータを用いて抽出された一部データから第２映像を生成してもよい。第２映像は、例えば、図４に示す第２映像４３０であってもよい。

測位装置は、第１映像と第２映像との間の視覚的整列に基づいて測位情報を更新する（Ｓ２４０）。測位装置は、第１映像と第２映像をマッチングすることで視覚的整列の程度を算出する。測位装置は、例えば、第１映像に含まれた複数のピクセルのうち、第２映像に含まれたオブジェクトに対応するピクセルの値を合算し、合算結果を視覚的整列の程度で決定する。視覚的整列の程度は、例えば、最急降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）の形態に表現される。測位装置は、オブジェクトに対応する方向性に基づいて視覚的整列の程度が増加するように測位情報を補正又は更新する。測位装置は、第２映像に含まれたオブジェクトが方向性により変換（例えば、移動、又は回転）されるように測位情報を更新する。測位装置が測位情報を更新する方法については、次の図６を参照して具体的に説明する。

測位装置は、拡張現実サービスのためにマップデータ上で仮想オブジェクトを決定する。例えば、仮想オブジェクトは、走行経路情報を示す仮想のオブジェクトとして、矢印又は進行方向を示す道路表示などの形態と表現される。測位装置は、ステップＳ２４０において更新又は調整された測位情報に基づいて、仮想オブジェクトを入力映像と共にヘッドアップディスプレイ、ナビゲーション、又は、ユーザ装置のディスプレイ上に表示する。

図３は、一実施形態に係る測位方法を説明する図であり、図４は、一実施形態に係る測位過程を説明するための図である。

図３～図４に示す動作は、示された順序及び方式により実行され、説明された例示的な実施形態の思想と範囲を逸脱しないで一部動作の順序が変更されたり一部動作が省略されてもよい。図３～図４に示された多くの動作が並列的又は同時に実行されてもよい。図３～図４に示す１つ以上のブロック及びブロックの組合せは特殊目的ハードウェア基盤コンピュータ、又は特殊目的ハードウェア及びコンピュータ命令の組合せによって実現される。次の図３ないし図４の説明に付加して、図１及び図２の説明について図３ないし図４に適用される。図１及び図２は、参照により図３ないし図４に結合され得るため、前述した説明を繰り返さない。

図３及び図４を参照すると、一実施形態に係る測位装置は入力映像４１０を取得する（Ｓ３１０）。測位装置は、例えば、映像センサを用いてオブジェクトを撮影することによって生成された入力映像４１０を受信する。ここで、入力映像４１０は、該当装置の現在の位置に対応する映像であり得る。

測位装置は、オブジェクトの位置を含むマップデータを受信（又は、取得）する（Ｓ３２０）。

測位装置は、ステップＳ３１０で取得した入力映像４１０からオブジェクトを推定する（Ｓ３３０）。測位装置は、入力映像４１０に基づいてオブジェクトに対応する方向性を含む第１映像４２０を生成する。例えば、第１映像４２０は、検出されたオブジェクトに沿う方向を示す指標を含んでもよいし、検出されたオブジェクトに基づいて判断された方向を示す指標を含んでもよいし。一実施形態によれば、測位装置は、予め学習された神経網を用いて第１映像４２０を生成する。測位装置は、入力映像４１０内の様々な障害物（例えば、自動車、道行く人、街路樹など）に関係なく安定的にオブジェクトを推定するため予め学習された神経網を用いることができる。例えば、任意の入力映像が印加されれば、予め学習された神経網は、入力映像で車線に該当する部分を活性化して第１映像４２０を生成する。第１映像４２０は、例えば、２次元のディスタンスフィールドマップを含む。

測位装置は、初期測位を実行し（Ｓ３４０）、ステップＳ３２０で取得したマップデータに初期測位３４０による測位情報を適用することで、初期測位によりオブジェクトが投影された第２映像４３０を生成する（Ｓ３５０）。

測位装置は、第１映像４２０と第２映像４３０に対してそれらが視覚的に整列するように位置合わせする。測位装置は、映像４４０のように第１映像４２０と第２映像４３０を視覚的に整列させる。

測位装置は、視覚的整列を最適化する（Ｓ３６０）。測位装置は、視覚的整列によって第２映像４３０が第１映像４２０に最大限オーバラップするように測位更新値（又は、測位補正値）を算出する。測位装置は、初期測位３４０を基準とする第２映像４３０と第１映像４２０との間のオーバラップが最大化されるよう測位情報を変化させることで視覚的整列を最適化する。一実施形態では、映像全般にわたって情報が拡散された形態の第１映像４２０、言い換えれば、ディスタンスフィールドマップ（Ｄｉｓｔａｎｃｅ Ｆｉｅｌｄ Ｍａｐ）を用いることでグラジエントに基づいた最適化を容易に行うことができる。

測位装置は、測位情報に測位更新値を適用して映像４５０のように第１映像４２０と第２映像４３０との間の視覚的整列が最適化されるように測位情報を更新する（Ｓ３７０）。

図５は、一実施形態に係る第１映像を生成する過程を説明するための図である。図５を参照すると、入力映像５１０を神経網５３０に印加して第１映像に該当するディスタンスフィールドマップ５５０を生成する過程が示されている。

神経網５３０は、入力映像５１０に基づいて入力映像５１０に含まれたオブジェクトに対応する方向性を含む第１映像を生成するよう予め学習された神経網である。

神経網５３０は、深層神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＤＮＮ）又はｎ－レイヤ神経網であってもよい。深層神経網又はｎ－レイヤ神経網は、畳み込み神経網（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）、リカレント神経網（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＲＮＮ）、深層信頼神経網（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、完全接続された神経網（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、双方向神経網（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、制限されたボルツマン・マシーン（ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎ ｍａｃｈｉｎｅ）及び双方向ＬＳＴＭ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ；ＢＬＳＴＭ）に対応する。又は、深層神経網又はｎ－レイヤ神経網は互いに異なったり、又は、完全接続、畳み込み、リカレント、及び／又は双方向接続のそれぞれを一部含むオーバラップされた神経網を含み得る。

例えば、神経網５３０は、畳み込み神経網に実現され得るが、これに限定されることはない。

神経網５３０は、入力映像、特徴マップ、及び出力を含む複数のレイヤを含む構造で実現される。神経網５３０ではカーネル（ｋｅｒｎｅｌ）と呼ばれるフィルタを用いて入力映像に対して畳み込み演算を実行し、結果的に特徴マップが出力される。畳み込み演算は、カーネルと共に入力特徴マップによって出力特徴マップで再び実行され、新しい特徴マップが出力される。

このように畳み込み演算が繰り返し実行される場合に、入力映像の特徴に対する認識結果が神経網５３０を介して最終的に出力される。

一実施形態において、神経網５３０は、畳み込みレイヤに加えてプーリングレイヤ又は完全接続レイヤを含む。

神経網５３０は、入力映像５１０に含まれたオブジェクトをディスタンスフィールドマップ５５０の形態に推定される。例えば、第１映像がディスタンスフィールドマップ５５０のように近いオブジェクトに向かう方向性情報を含んでいる場合、最急降下法などを活用するとき、最適化された方向性を容易に決定できる。また、ディスタンスフィールドマップ５５０と共にオブジェクトと近い程度を示す確率の分布が映像の全般にわたる場合、学習のためのデータ量を増やすことがあるため、疎データによって学習された場合に比べて神経網の性能が向上することができる。

図６は、一実施形態に係る測位情報を更新する方法を説明するための図である。図６を参照すると、入力映像６０５、第１映像６１０、及び第２映像６２０が示されている。第１映像６１０は、入力映像６０５に対応して生成される。また、第２映像６２０は、マップデータに基づいて初期測位による測位情報（ｘ、ｙ、ｚ、ｒ_ｘ、ｒ_ｙ、ｒ_ｚ）（l（エル））によりオブジェクトを投影して生成した映像であり得る。

測位装置は映像６３０のように第１映像６１０と第２映像６２０をマッチングさせて視覚的整列の程度に基づいて、スコアｌ（エル）も算出する。測位装置は、例えば、第１映像６１０に含まれた複数のピクセルのうち、第２映像６２０に含まれたオブジェクトに対応するピクセルの値を合算してスコアの形態で算出する。

例えば、第１映像６１０に含まれた複数のピクセルは、隣接のオブジェクトとの距離に応じて０から１の間の値を有する。各ピクセルは、隣接のオブジェクトに近いほど１に近い値を有し、隣接のオブジェクトに遠いほど０に近い値を有する。測位装置は、第１映像６１０に含まれた複数のピクセルのうち第２映像６２０とマッチングされるピクセルを抽出し、抽出されたピクセルの値を合算してスコアを算出する。

測位装置は、第１映像６１０の方向性に基づいて視覚的整列の程度、言い換えれば、スコアｌ（エル）が増加するように測位情報を更新する。測位装置は、第２映像６２０に含まれたオブジェクトの測位が第１映像６１０の方向性に適合するように測位更新値を算出する。測位装置は、測位更新値を初期測位による測位情報に適用することで、測位情報を更新する（ｌ→ｌ’（６４０））。例えば、測位装置は、第１映像６１０に含まれた方向性に基づいて、第２映像６２０のオブジェクトをどの方向に移動させなければスコアが増加しないか否かを判断する。測位情報を更新する場合、第２映像６２０のオブジェクトが移動するため、測位装置は第１映像６１０に含まれた方向性に基づいて測位情報を更新する。

測位装置は、更新された測位情報ｌ’により更新された第２映像６５０を生成する。測位装置は、更新された第２映像６５０と第１映像６１０をマッチングしてスコアｌ’を算出する。

測位装置は、前述した過程を介してスコアが最大になる測位更新値を算出して最終的に最適化された測位情報ｌ^＊を出力する。

図７は、一実施形態に係る映像に含まれたオブジェクトがタイプごとに区分された場合に測位情報を更新する方法を説明するための図である。図７Ａを参照すると、入力映像に含まれてオブジェクトがタイプごとに区分されていない場合が示されている。

例えば、車線７１０及び車線７３０は、第１映像に含まれたオブジェクトに対応し、車線７２０は第２映像に含まれると仮定する。一実施形態に係る測位装置は、第１映像と第２映像をマッチングさせて算出した視覚的整列の程度が増加するよう測位情報を更新する。しかし、図７Ａに示すように、各オブジェクトのタイプが区別されない場合、測位装置は、車線７２０を車線７１０とマッチングさせなければならないか、又は、車線７３０とマッチングさせなければならないかを正確に把握し難い。この場合、測位情報の正確な更新が難しいこともある。

図７Ｂを参照すると、入力映像に含まれたオブジェクトがタイプごとに区分された場合が示されている。第１映像は、オブジェクトのタイプを区分することによってオブジェクトのタイプごとに方向性を格納する。また、第２映像は、オブジェクトのタイプを区分することによって、オブジェクトのタイプごとに投影されたオブジェクトを格納する。例えば、車線７４０及び車線７６０は、第１映像に含まれたオブジェクトに対応する。車線７４０は第１タイプ（Ｔｙｐｅ １）に該当する車線であってもよく、車線７６０は第２タイプ（Ｔｙｐｅ ２）に該当する車線であってもよい。また、車線７５０は第２映像に含まれ、第１タイプに該当する車線と仮定する。

図７Ｂに示すように、オブジェクトがタイプごとに区分された場合、測位装置は、第１映像と第２映像をマッチングすることでオブジェクトのタイプごとに視覚的整列の程度を算出する。測位装置は、方向性に基づいてタイプごとの視覚的整列の程度が増加するよう測位情報を更新する。

測位装置は、例えば、第１タイプに該当するオブジェクト７４０，７５０の対する視覚的整列の程度を算出し、方向性に基づいて第１タイプに対応する視覚的整列の程度が増加するように測位情報を更新する。測位装置は、オブジェクト７５０がオブジェクト７４０とマッチングされるように測位情報を更新する。

図８は、一実施形態に係る学習方法を示したフローチャートであり、図９は、一実施形態に係る学習過程を説明するための図である。

図８に示す動作は、示された順序及び方式により実行され、説明された例示的な実施形態の思想と範囲を逸脱しないで一部動作の順序が変更されたり、一部動作が省略されてもよい。図８に示された多くの動作が並列的又は同時に実行されてもよい。図８に示す１つ以上のブロック及びブロックの組合せは、特殊目的ハードウェア基盤コンピュータ、又は、特殊目的ハードウェア及びコンピュータ命令の組合せによって実現される。

図８及び図９を参照すると、一実施形態に係る学習装置が拡張現実のための測位情報を最適化するために、入力映像から第１映像を生成する神経網を学習する過程が示されている。下記の図８の説明に付加して、図１～図７の説明も図８に適用され得る。図１～図７は、参照によって図８に結合され得るため、前記説明を繰り返さない。

学習装置は、学習映像９１０を受信する（Ｓ８１０）。学習映像９１０は、例えば、車両の走行映像を含んでもよい。学習映像９１０の一例は図１０に示す学習映像１０１０の通りである。

学習装置は、学習映像９１０のためのマップデータ９４０に基づいて、学習映像９１０に含まれたオブジェクトに対応する方向性を含む基準映像９５０を生成する（Ｓ８２０）。ここで、方向性は、オブジェクトと近い程度を示す確率の分布に対応する。基準映像９５０は、正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）映像に該当する。基準映像９５０の一例は、図１０に示す映像１０３０又は映像１０４０の通りである。

学習装置は、神経網９２０を用いて学習映像９１０に含まれたオブジェクトに対応する方向性を推論する推論映像９３０を生成する（Ｓ８３０）。神経網９２０は、例えば、前述した神経網５３０であり得る。学習装置が推論映像９３０を生成する方法について、下記の図１０を参照して具体的に説明する。

学習装置は、基準映像９５０と推論映像９３０との間の差（損失（ｌｏｓｓ））９６０に基づいて、神経網９２０を学習する（Ｓ８４０）。学習装置は、基準映像９５０と推論映像９３０との間の差が最小化されるよう神経網を学習する。学習装置は、例えば、監督学習によって神経網９２０を学習する。学習装置は、損失逆伝播学習（ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ ｌｅａｒｎｉｎｇ）によって神経網９２０にバックプロパゲーションされる損失９６０及び神経網９２０に含まれたノードの出力値に基づいた最急降下法により神経網９２０を更新する。損失逆伝播学習は、与えられた基準映像９５０に対してフォワード算出を介して損失９６０を推定した後、神経網９２０の出力レイヤから始まって隠れレイヤ及び入力レイヤに向かう逆方向に推定した損失を伝播しながら、損失を減らす方向に神経網９２０を更新する方法である。

図１０は、一実施形態に係る学習のための映像を説明するための図である。図１０を参照すると、一実施形態に係る学習映像１０１０、マップデータ映像１０２０、基準映像１０３０，１０４０が示されている。

一実施形態に係る学習装置は、学習映像１０１０から基準映像１０３０，１０４０を推定するように神経網を学習させる。マップデータ映像１０２０は、学習映像１０１０内のオブジェクトを離散的な２進値で表現するため、マップデータ映像１０２０を用いる場合、学習情報が過度に少ないために学習が円満に行われない場合がある。したがって、一実施形態では、基準映像１０３０，１０４０のようなディスタンスフィールドマップを用いて学習を行ってもよい。ディスタンスフィールドマップによって希少な学習情報を映像全般に拡散させ得る。ディスタンスフィールドマップのように学習情報がターゲット映像の全般にわたる場合、十分な学習情報によって神経網の学習が容易になる。

実施形態に係るディスタンスフィールドで拡散された情報の重要度を調整することによって、マップデータ映像１０２０から基準映像１０３０又は基準映像１０４０を生成する。学習装置は、例えば、ｅ^{－０．０２ｄ}（ここで、ｄはオブジェクトに該当するシードピクセルと該当ピクセル間の距離に該当する）のようにディスタンスフィールドで拡散された情報の重要度を調整し得る。

図１１は、他の実施形態に係る測位方法を示したフローチャートであり、図１２は、図１１による測位更新過程を説明するための図である。

図１１に示す動作は、図１１に示された順序及び方式で実行され、説明された例示的な実施形態の思想と範囲を逸脱しないで一部動作の順序が変更されたり一部動作が省略されてもよい。図１１に示された多くの動作が並列的又は同時に実行されてもよい。図１１に示す１つ以上のブロック及びブロックの組合せは、特殊目的ハードウェア基盤コンピュータ、又は、特殊目的ハードウェア及びコンピュータ命令の組合せによって実現される。以下の図１１に示す説明に付加して、図１～図１０の説明も図１１に適用され得る。図１～図１０は、参照によって図１１に結合され得るため、前述した説明を繰り返さない。

図１１及び図１２を参照すると、一実施形態に係る測位装置は、入力映像を取得する（Ｓ１１１０）。入力映像は、該当装置の現在の位置に対応する映像であり得る。

測位装置は、オブジェクトの位置を含むマップデータを受信（又は、取得）する（Ｓ１１２０）。ステップＳ１１４０において、測位装置は、ステップＳ１１２０で取得したマップデータに、複数の測位候補情報を適用する。ステップＳ１１５０において、測位装置は測位候補情報によりオブジェクトが投影された第２候補映像を生成する。測位装置は、例えば、図１２に示された第１候補映像１２１０及び第２候補映像１２２０と共に測位候補情報が適用された第２候補映像を生成する。

測位装置は、入力映像と第２候補映像の間の視覚的整列をスコアリングする（Ｓ１１３０）。ここで、測位装置は、入力映像と第２候補映像との間の視覚的整列程度をスコアで表現する。例えば、入力映像と第１候補映像１２１０との間のスコアは０．４３であり、入力映像と第２候補映像１２１０との間のスコアは０．９８であり得る。

測位装置は、ステップＳ１１３０で出力されたスコアのうち最も高いスコア値を有するベストスコアを検索する（Ｓ１１６０）。測位装置を例にして、図１２に示されたスコア（０．４３及び０．９８）のうちベストスコアである０．９８を検索する。測位装置は、ステップＳ１１６０で検索したベストスコアに対応する測位候補を選択することで、測位情報を更新する（Ｓ１１７０）。

図１３は、更なる実施形態に係る測位方法を示したフローチャートである。図１３の動作は図１～図１２に示された順序及び方式により実行され、説明された例示的な実施形態の思想と範囲を逸脱しないで一部動作の順序が変更されたり一部動作が省略されてもよい。図１３に示された多くの動作が並列的又は同時に実行されてもよい。図１３に示す１つ以上のブロック及びブロックの組合せは特殊目的ハードウェア基盤コンピュータ、又は、特殊目的ハードウェア及びコンピュータ命令の組合せによって実現され得る。以下、図１３に示す説明に加えて図１～図１２の説明についても図１３に適用される。図１～図１２は、参照によって図１３に結合され得るため、上述した説明は繰り返さない。

図１３を参照すると、測位装置は測位候補に対する視覚的整列をスコアリング（Ｓ１３６０）する前に、オブジェクト推定（Ｓ１３３０）を介して入力映像から第１映像（例えば、ディスタンスフィールドマップ）を生成する。測位装置は、第１映像と第２候補映像との間のスコアを算出する。

図１４は、一実施形態に係る測位装置のブロック図である。図１４を参照すると、一実施形態に係る測位装置１４００は、センサ１４１０、及びプロセッサ１４３０を含む。測位装置１４００は、メモリ１４５０、通信インターフェース１４７０、及びディスプレイ装置１４９０をさらに含む。センサ１４１０、プロセッサ１４３０、メモリ１４５０、通信インターフェース１４７０、及びディスプレイ装置１４９０は、通信バス１４０５を介して接続される。

センサ１４１０は、例えば、イメージセンサ、ビジョンセンサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサ、レーダー（Ｒａｄａｒ）、ライダ（Ｌｉｄａｒ）などを含む。センサ１４１０は、車両の走行映像を含む入力映像を取得（撮影）する。センサ１１１０は、例えば、車両のＧＰＳ座標、位置、姿勢などのような測位情報の他にも、速度、加速度、走行方向、車両のハンドルステアリング角度、及び車両の速度などの検出情報を検出する。

プロセッサ１４３０は、入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成する。プロセッサ１４３０は、オブジェクトの位置を含むマップデータに基づいて測位情報に応じてオブジェクトが投影された第２映像を生成する。プロセッサ１４３０は、第１映像と第２映像との間の視覚的整列に基づいて測位情報を更新する。

実施形態に係る測位装置１４００は、通信インターフェース１４７０を介して入力映像を含む様々なセンサの検出情報を取得する。実施形態に係る通信インターフェース１４７０は、測位装置１４００の外部に存在する他のセンサから走行映像を含む検出情報を受信する。

プロセッサ１４３０は、通信インターフェース１４７０及び／又はディスプレイ装置１４９０を介して更新された測位情報を出力したり、又は更新された測位情報に基づいてマップデータ上に仮想オブジェクトを入力映像と共に表示することによって拡張現実サービスを提供する。また、プロセッサ１４３０は、図１～図１３を参照して前述した少なくとも１つの方法又は少なくとも１つの方法に対応するアルゴリズムを行う

プロセッサ１４３０は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置であり得る。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサー、中央処理装置、プロセッサコア、マルチ－コアプロセッサ、マルチプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含む。

プロセッサ１４３０は、プログラムを実行して測位装置１４００を制御する。プロセッサ１４３０によって実行されるプログラムコードは、メモリ１４５０に格納される。

メモリ１４５０は、測位装置１４００の測位情報、第１映像、第２映像及び／又は更新された測位情報を格納する。メモリ１４５０は、上述したプロセッサ１４３０における処理過程で生成される様々な情報を格納する。一実施形態では、メモリ１４５０はマップデータを格納する。その他にも、メモリ１４５０は。各種のデータとプログラムなどを格納する。メモリ１４５０は。揮発性メモリ又は不揮発性メモリを含む。メモリ１４５０は、ハードディスクなどのような大容量格納媒体を備えて各種データを格納する。

ディスプレイ装置１４９０は、プロセッサ１４３０によって更新された測位情報を出力したり、又は更新された測位情報に基づいてマップデータ上に仮想オブジェクトを入力映像と共に表示する。

一実施形態においてディスプレイ装置１４９０は、ユーザインターフェースをレンダリングし、／又は、ユーザ入力を受信する能力を提供する１つ以上のハードウェア構成要素を含む物理的構造である。例えば、修正された測位情報に基づいたマップデータ上に入力映像を有する仮想オブジェクト及び測位情報は、ヘッドアップディスプレイを使用する車両のウィンドシールドグラス又は別途の画面に表示されたり、又は、拡張現実ヘッドアップディスプレイに表示される。一実施形態に係る測位装置１４００は、車両の電子制御ユニット（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ；ＥＣＵ）又は車両制御ユニット（ｖｅｈｉｃｌｅ ｃｏｎｔｒｏｌ ｕｎｉｔ；ＶＣＵ）に測位情報を送信する。電子制御ユニット又は車両制御ユニットは、車両の表示装置１４９０に測位情報を表示する。ただし、オブジェクトの表示は、前述した実施形態に限定されることなく、車両の他の計器盤、車両のインフォテインメントシステム、スクリーン、又は、車両の表示パネルが表示機能を行ってもよい。測位装置１４００に動作可能に接続されたスマート及びｅｙｅ ｇｌａｓｓ ｄｉｓｐｌａｙ（ＥＧＤ）などのような他のディスプレイは、説明された例示的な実施形態の思想及び範囲を逸脱しないで使用され得る。一実施形態に係る測位装置は、例えば、ヘッドアップディスプレイ（ＨＵＤ）、又は、拡張現実グラス（ＡＲ Ｇｌａｓｓｅｓ）などのように撮影装置と測位装置との間の視点が同一ではない場合であっても、撮影装置をベースに前述した測位方法を行った結果を用いて測位装置の３Ｄ測位情報を更新することで、視点に独立的な実行が可能である。また、一実施形態に係る測位装置は、移動端末又はスマートフォンのように撮影装置と測位装置の視点が同じ場合、３Ｄ測位情報を更新することが可能であることはもちろん、追加的に映像内で直接２Ｄ位置を更新する用途にも使用され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１４００：測位装置
１４０５：通信バス
１４１０：センサ
１４３０：プロセッサ
１４５０：メモリ
１４７０：通信インターフェース
１４９０：ディスプレイ装置

Claims (24)

1. 装置の測位情報を取得するステップと、
   入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成するステップと、
   前記オブジェクトの位置に対応するマップデータに基づいて、前記測位情報に応じて前記オブジェクトが投影された第２映像を生成するステップと、
   前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新するステップと、
   を含み、前記第１映像を生成するステップは、予め学習された神経網を用いて前記方向性を示す確率マップを生成するステップを含み、前記確率マップに含まれるピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納している、測位方法。
2. 前記測位情報は、前記装置の位置及び前記装置の姿勢を含む、請求項１に記載の測位方法。
3. 前記第２映像を生成するステップは、
   前記マップデータ上に仮想カメラを配置するステップと、
   前記装置の姿勢に基づいて前記仮想カメラの姿勢を調整するステップと、
   前記仮想カメラでオブジェクトを見る視点の映像を生成するステップと、
   を含む、請求項２に記載の測位方法。
4. 前記方向性は、前記オブジェクトと近い程度を示す確率の分布に対応する、請求項１－３のうち何れか一項に記載の測位方法。
5. 前記入力映像は第１センサの出力に基づき、前記測位情報は第２センサの出力に基づく、請求項１－４のうち何れか一項に記載の測位方法。
6. 拡張現実サービスのために前記マップデータ上で仮想オブジェクトを決定するステップと、
   前記更新された測位情報に基づいて、前記仮想オブジェクトを前記入力映像と共に表示するステップと、
   をさらに含む、請求項１－５のうち何れか一項に記載の測位方法。
7. 前記仮想オブジェクトは走行経路情報を示す、請求項６に記載の測位方法。
   
8. 前記シードピクセルは、前記入力映像に含まれたピクセルのうち前記オブジェクトに対応するピクセルを含む、請求項１に記載の測位方法。
9. 前記第２映像を生成するステップは、前記マップデータの座標系を前記第２映像の座標系に変換するコンバータを用いて前記第２映像を生成するステップを含む、請求項１－８のうち何れか一項に記載の測位方法。
10. 前記測位情報は６自由度（ＤｏＦ）を有する、請求項１－９のうち何れか一項に記載の測位方法。
11. 装置の測位情報を取得するステップと、
    入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成するステップと、
    前記オブジェクトの位置に対応するマップデータに基づいて、前記測位情報に応じて前記オブジェクトが投影された第２映像を生成するステップと、
    前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新するステップと、
    を含み、前記測位情報を更新するステップは、
    前記第１映像と前記第２映像をマッチングすることによって、前記視覚的整列の程度を算出するステップと、
    前記方向性に基づいて、前記視覚的整列の程度が増加するように前記測位情報を更新するステップと、
    を含み、前記視覚的整列の程度を算出するステップは、前記第１映像のピクセルのうち前記第２映像の前記オブジェクトに対応するピクセルの値を合算するステップを含む、測位方法。
12. 前記方向性に基づいて前記測位情報を更新するステップは、前記第２映像で前記オブジェクトが前記方向性により変換されるよう前記測位情報を更新するステップを含む、請求項１１に記載の測位方法。
13. 前記方向性に基づいて前記測位情報を更新するステップは、前記方向性に基づいて前記第２映像で前記オブジェクトを移動又は回転させるステップを含む、請求項１１に記載の測位方法。
14. 前記第１映像は、前記オブジェクトのタイプを映像の中で表現される形態に応じて区分することによって前記オブジェクトのタイプごとに方向性を格納し、
    前記第２映像は、前記オブジェクトのタイプを映像の中で表現される形態に応じて区分することによって前記オブジェクトのタイプごとに投影されたオブジェクトを格納する、請求項１－１３のうち何れか一項に記載の測位方法。
15. 前記測位情報を更新するステップは、
    前記第１映像と前記第２映像をマッチングすることによって、前記オブジェクトのタイプごとに視覚的整列の程度を算出するステップと、
    前記方向性に基づいて、前記タイプごとの視覚的整列の程度が増加するように前記測位情報を更新するステップと、
    を含む、請求項１４に記載の測位方法。
16. 前記入力映像は車両の走行映像を含む、請求項１－１５のうち何れか一項に記載の測位方法。
17. 前記オブジェクトは、車線、道路面標識、信号機、表示板、縁石、及び構造物のいずれか１つ又はその組合せを含む、請求項１－１６のうち何れか一項に記載の測位方法。
18. 学習映像を受信するステップと、
    前記学習映像のためのマップデータに基づいて、前記学習映像に含まれたオブジェクトに対応する方向性を含む基準映像を生成するステップと、
    神経網を用いて前記学習映像に含まれたオブジェクトに対応する方向性を推論する推論映像を生成するステップと、
    前記基準映像と前記推論映像との間の差に基づいて前記神経網を学習するステップと、
    を更に含む請求項１に記載の方法。
19. 前記学習するステップは、前記基準映像と前記推論映像との間の差が最小化されるように前記神経網を学習するステップを含む、請求項１８に記載の方法。
    
20. 前記学習するステップは、前記基準映像と前記推論映像との間のタイプごとの差に基づいて、前記神経網を学習するステップを含む、請求項１８に記載の方法。
21. 請求項１－２０のうちの何れか一項に記載の方法を装置のコンピュータに実行させるコンピュータプログラム。
22. 装置の測位情報及び入力映像を取得するセンサと、
    前記入力映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成し、前記オブジェクトの位置に対応するマップデータに基づいて、前記測位情報に応じて前記オブジェクトが投影された第２映像を生成し、前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新するプロセッサと、
    を含み、前記第１映像を生成することは、予め学習された神経網を用いて前記方向性を示す確率マップを生成することを含み、前記確率マップに含まれるピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納している、測位装置。
23. 測位方法であって、
    装置の位置に対応する入力映像を取得するステップと、
    オブジェクトの位置に対応するマップデータを受信するステップと、
    複数の候補測位情報それぞれに基づいて、前記オブジェクトが投影された第２映像を前記マップデータ上に生成するステップと、
    前記入力映像と前記第２映像それぞれをマッチングすることによって、前記第２映像それぞれに対する視覚的整列の程度を算出するステップと、
    前記第２映像から最も大きい視覚的整列の程度を有する第２映像を選択するステップと、
    前記選択された第２映像に対応する候補測位情報に基づいて測位情報を更新するステップと、
    を含み、前記視覚的整列の程度を算出するステップの前に、前記オブジェクトに対応する方向性を示す確率マップを含む第１映像を生成するステップであって、予め学習された神経網を用いて前記方向性を示す確率マップを生成し、前記確率マップに含まれるピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納している、ステップを含み、
    前記視覚的整列の程度を算出するステップは、前記第１映像と前記第２映像それぞれをマッチングするステップを含む、測位方法。
24. 入力映像をキャプチャーする第１センサと、
    装置の測位情報を取得する第２センサと、
    ヘッドアップディスプレイ（ＨＵＤ）と、
    プロセッサと、
    を含む測位装置であって、
    前記プロセッサは、
    前記映像に含まれたオブジェクトに対応する方向性を含む第１映像を生成し、
    前記測位情報に基づいて、前記オブジェクトが投影された第２映像を前記オブジェクトの位置に対応するマップデータ上に生成し、
    前記第１映像と前記第２映像との間の視覚的整列に基づいて前記測位情報を更新し、
    拡張現実（ＡＲ）サービスのために前記ヘッドアップディスプレイ内の調整された測位情報に基づいて、前記オブジェクト及び前記入力映像をマップデータ上に表示し、
    前記第１映像を生成することは、予め学習された神経網を用いて前記方向性を示す確率マップを生成することを含み、前記確率マップに含まれるピクセルそれぞれは、該当するピクセルから最も近いシードピクセルまでの距離を格納している、測位装置。

Images