JP2022080303A - オプティカルフローを用いたライダー位置推定 - Google Patents

Abstract

【課題】予め定められたマップ画像に関してライダーセンサ姿勢を決定するための方法（３００）を提供すること。【解決手段】方法（３００）は、ライダー高さマップを取得するステップ（３１４）と、ライダー高さマップおよびマップ画像を関連付けるオプティカルフローフィールドを決定するステップ（３２２）と、決定されたオプティカルフローフィールドに基づいてライダーセンサ姿勢の最大尤度／ＭＬ推定を計算するステップ（３２４）とを含む。オプティカルフローフィールドは、任意選択的に、ＭＬ推定において用いられる、関連するばらつきテンソルを追加的に生じさせる回帰モデルによって決定されてよい。特に、オプティカルフローフィールドは、教示済みのニューラルネットワークによって決定されてよい。【選択図】図３

Description

本開示は、ナビゲーション技術の分野に関し、特に、予め定められたマップに関する光検出および測距（ライダー）センサの正確な位置推定のための方法およびシステムに関する。本開示に係る位置推定は、運転者支援および自動運転において潜在的に有用である。

高性能な運転者支援システムおよび自動運転機能の導入に伴い、正確な位置把握の必要性は、十分な精度を提供するために衛星ベースの位置推定を高価な補正サービスと組み合わせなければならないところまで高まってきている。それでもなお、そのような解決策は、困難な状況におけるマルチパス信号および信号停止を含む様々な問題に起因して、厳しい利用可能性および信頼性の課題を抱えている。

高精度な位置推定の一般的な代替案として、対象領域をマッピングし、次いで予め記録されたマップに対して位置推定するというものがある。ライダーセンサは、照明およびテクスチャのばらつきに対して頑健であり、このことは、位置推定タスクに関してカメラセンサと比較して重要な利点である。さらに、ライダーセンサは、物体検出および追跡などの他のタスクにおいても有用であり、このことから自動運転車両のための現実的な選択肢となる。

ほとんどの位置推定方法は、一般的に大域的位置推定と称される位置取得段階（a position retrieval stage）と、局所的細分段階（a local refinement stage）とに分けられる問題に直面する。ライダーベースの位置取得方法が存在するにもかかわらず、粗い大域的位置推定は、衛星ベース測位または慣性技法など外部センサに委ねられる場合が多い。本開示は、局所的細分の問題に対処する。

初期のライダー位置推定方法は、テンプレートマッチングを用いてセンサデータとマップとの間の相関を最大化する剛体変換（a rigid transformation）を見出すというものであった。これを実現するために、センサおよびマップの点の両方が上面斜視図から二次元（２Ｄ）画像に投影され、離散探索空間（a discrete search space）における全ての変換から得られるテンプレートがマップと相関付けられる。位置推定精度は概してサブデシメートル単位であるが、計算が複雑になることを抑制するために探索空間が制限される必要があり、これは、正確なセンサ姿勢の事前分布（an accurate sensor pose prior）が必要であることを意味する。

ライダー位置推定のための別のオプションは、点群位置合わせ法（a point cloud registration method）を適用することである。多くの位置合わせ法のアプローチは、センサデータおよびマップにおいて対応関係のセット、すなわち合致する特徴の対を見出し、センサデータをマップと最もよく整合させる剛体変換を計算するものである。反復最近接点（ＩＣＰ）法は、繰り返し最短距離探索を実行して対応関係を決定し、整合に徐々に接近する。ＩＣＰおよび関連する方法は、初期化が不正確である場合に局所的最小値に収束する傾向があり、繰り返しの対応関係探索の計算コストを負う。高速大域的位置合わせ（ＦＧＲ）は、その働きとして、局所特徴記述子を用いて対応関係を一度計算することによってそのような短所に対処し、大域的目的関数を最小化することによって姿勢について直接的に解く。ＦＧＲは高速であり、かつ局所的最小値による問題の影響がより小さいが、誤ったまたは曖昧な対応関係の合致に対して脆弱な場合がある。

最近の位置合わせの文献は、より良好に機能する記述子を符号化し、記述子が正確な合致を形成する可能性が高い重要点を検出するために、深層学習を適用している。これは、位置合わせのための記述子の性能における著しい改善をもたらしている。大局的合致に必要な大きい構造形状と正確な位置推定に必要な細部との両方を得る点記述子を符号化する問題は、大部分が未解決のままとなっている。

１つの目的は、ＩＣＰおよび他の高性能な方法と同等な線形および角度の位置推定精度、典型的には０．０４ｍ未満の位置および０．１°未満の方位角で、ライダーセンサ姿勢を決定するための方法を提案することである。別の目的は、典型的には２０ｍ以上の事前誤差で位置を復元するライダー姿勢決定方法を提案することである。別の目的は、目立たないまたは反復的な構造を有する「困難」な場面に対して頑健であるライダー姿勢決定方法を提案することである。部分的に回帰モデルによる実装に適したそのような方法を提案することを特定の目的とする。教示の容易さが、そのようなネットワークの望ましい特性である。ネットワークが、位置復元および高精度な位置推定の両方に対応することを可能とするために、異なる空間的スケールでの回帰が可能であることがさらに望ましい。最後に、上記の特徴を有する方法を実装するハードウェアを提案することを目的とする。

これらの目的の少なくともいくつかは、独立請求項によって定められる本発明によって実現される。従属請求項は、本発明の有利な実施形態を対象とする。

本発明の第１の態様によれば、予め定められたマップ画像に関してライダーセンサ姿勢を決定するための方法が提供される。本方法は、ライダー高さマップを取得するステップと、ライダー高さマップおよびマップ画像を関連付けるオプティカルフローフィールドを決定するステップと、決定されたオプティカルフローフィールドに基づいてライダーセンサ姿勢の最大尤度（ＭＬ）推定を計算するステップと、を含む。

オプティカルフローフィールドを用いてライダー高さマップとマップ画像との間の関連を見出すことは、本方法の性能に貢献する。例えば、オプティカルフローフィールドを計算するための効率的なアルゴリズムが従来から複数存在しており、機械学習の実装は、別の魅力的なオプションとなる。本発明者はさらに、オプティカルフローベースのアプローチが頑健性および精度をも向上させることを認識している。

本明細書で用いる場合、「オプティカルフローフィールド」または略して「フローフィールド」とは、２つ以上の画像のシーケンスにおける視覚的特徴の明らかな動きとして理解されてよい。例示的な場合におけるオプティカルフローを図７に例示する。オプティカルフローフィールドの一点の動きは、その方向および大きさ（速さ）に関して決定されてよい。したがって、Ｗ×Ｈのサイズの画像シーケンスのオプティカルフローフィールドは、２×Ｗ×Ｈのテンソルとして表現することができる。各点に関連付けられる２つの成分は、移動のｘ成分およびｙ成分を表す場合もあり、または移動の極座標表示である場合もある。視覚的特徴の追跡は、例えば輝度不変性制約として表現されてよい。オプティカルフローの概念は、文献に記載されているように、３以上の空間次元（一般化されたオプティカルフローフィールド）に一般化されてよい。

本開示において、さらに、「高さマップ」とは、各々が鉛直座標に関連付けられる地上（または水平）座標の集まりとして理解されてよい。例えば、高さマップは、離散水平基準フレームに関して定義されてよく、水平セルまたは点の少なくともいくつかが高さ値に関連付けられる。ライダーセンサがこの形式で出力データを提供しない場合、または複数のライダー掃引が組み合わされる場合、ライダーデータを以下で説明するタイプの事前処理にかける必要があり得る。範囲情報および強度情報の両方を出力するように動作可能なライダーセンサを用いる場合、高さマップは、主に範囲情報に基づいて作成される。高さマップは、点群として表されてよい。

本発明の第２の態様によれば、ライダー高さマップを取得するための通信インターフェースと、予め定められたマップ画像を格納するように適合されたメモリと、ライダー高さマップおよびマップ画像を関連付けるオプティカルフローフィールドを決定するように構成された第１の処理回路と、決定されたオプティカルフローフィールドに基づいてライダーセンサ姿勢のＭＬ推定を計算するように構成された第２の処理回路と、を備えるナビゲーションシステムが提供される。

第３の態様によれば、本発明は、コンピュータ、または特にナビゲーションシステムに、上記方法を実行させるための命令を含むコンピュータプログラムを提供する。コンピュータプログラムは、データキャリア上に格納または分配されてよい。本明細書で用いる場合、「データキャリア」とは、変調された電磁波または光波などの一時的なデータキャリアであってもよく、または非一時的なデータキャリアであってもよい。非一時的なデータキャリアは、磁気、光または固体タイプの恒久的および非恒久的な記憶装置などの揮発性および揮発性のメモリを含む。やはり「データキャリア」の範囲内において、そのようなメモリは、固定的に取り付けられてもよく、携帯可能であってもよい。

本発明の第１、第２および第３の態様は、概して同じ利点を共有し、同様に実施可能である。

いくつかの実施形態において、例えば、オプティカルフローフィールドは、関連するばらつきテンソルを追加的に生じさせる回帰モデルによって決定される。このとき、ライダーセンサ姿勢のＭＬ推定は、さらにばらつきテンソルに基づいて計算される。オプティカルフローフィールドの演繹的な計算と異なり、これらの実施形態は、異なる実行状況の間の任意の視覚的、形態的等の類似性を有利に利用することができ、これにより、場合によっては、計算が簡略化し、回復力がより高くなる。これらの実施形態において、教示済みまたは教示可能なニューラルネットワークとして回帰モデルを実装することがさらに有利である。

一般に、特許請求の範囲において用いられるあらゆる用語は、本明細書において別途明示的に定められる場合を除き、当該の技術分野におけるその通常の意味に従って解釈されるべきである。「要素、装置、構成要素、手段、ステップ等」のあらゆる記載は、別途明示的に記載される場合を除き、当該の要素、装置、構成要素、手段、ステップ等の少なくとも１つの実例を指すものとして非限定的に解釈されるべきである。本明細書に開示の任意の方法のステップは、明示的に記載される場合を除き、開示される厳密な順序で実行されなくてもよい。

ここで、添付の図面を参照して、態様および実施形態を例として説明する。

都市部を画像化する光学センサを示す図である。 ２つの画像の位置合わせを例示する図である。これらの画像を一致させる剛体移動（姿勢／誤差補正変換）が決定される。 本発明の実施形態に係る方法のフローチャートである。 単一のライダー測定からの生データの可視化である。 鳥瞰図（または上面図）として表されるマップ切り抜きとなるように処理された、回転および平行移動された複数のライダー掃引を例示する図である。 都市部環境の鳥瞰表示である。 それぞれズームイン、ズームアウトおよび右から左へのパンの間におけるオプティカルフローパターンを表す図である。 本発明の実施形態に係る、教示可能および非教示可能な論理ユニットを含む、１つの解像度レベルについての位置推定パイプラインのアーキテクチャを示す図である。

ここで、本発明の特定の実施形態を示した添付の図面を参照して、本開示の態様を以下でより完全に説明する。しかしながら、これらの態様は、多数の異なる形態で実施されてよく、限定的なものとして解釈されるべきでない。むしろ、これらの実施形態は、本開示が網羅的かつ完全なものとなるように、かつ発明のあらゆる態様の範囲を当業者に完全に伝達するために、例として提供されている。本説明の全体にわたり、同様の符号は同様の要素を指す。

本発明によって対処される姿勢決定問題が、図１において概念的に例示されている。図１は、一般に公的なまたは特定用途向けのマップ画像上に見出される街路、建造物および他の構造物、ならびに画像化時に存在し得る歩行者および車両などのさらなる物体を含む都市部を画像化する処理における光学センサ１０１を示す。光学センサ１０１から見える都市部の視界に対応するセンサ画像が（光学センサ１０１の画像平面上における都市部の投影）が、ディスプレイ１０２上で可視化されている。姿勢決定問題は、マップ画像およびセンサ画像を所与として、光学センサ１０１がどこに位置しているか、およびどのように方向付けられているかを決定する、というものとして定式化されてよい。光学センサ１０１の位置は、例えばいわゆる姿勢補正変換（または誤差補正変換）を見出すことにより、マップ画像上の基準点に関して表現されることが好ましい。基準点は、粗い推定位置であってもよく、または任意の点であってもよい。

図１は、主に例示の目的で含まれていることに留意されたい。光学センサ１０１がライダーセンサである場合、そのデータは、ディスプレイ１０２上に見えているもののような視覚的画像でなくてもよい。視野（ＦＯＶ）が異なっていてもよい。一部の利用可能なライダーセンサは、水平方向において限定されたＦＯＶを有するが、他のセンサ、特に走査型（または回転式）ライダーセンサは、水平方向にフル３６０°のＦＯＶを有し、鉛直方向においてのみ限定される。図１がもたらす簡略化にもかかわらず、ライダー姿勢決定問題のいくつかの関連する態様は、視覚画像化の場合と同様のままである。

図２は、基準画像２０１に関する画像２０２の位置合わせを例示する。示されている平面座標系において、関連は、画像２０１、２０２を一致させることになる平行移動（ｘ，ｙ）および回転Φから構成される剛体移動として表現される。回転Φは、空間的回転を表現するように、複数の回転成分の組み合わせであってよい。この移動は、姿勢補正変換または誤差補正変換と称されてよい。

本発明の実施形態において、画像２０１、２０２は、マップ画像および高さマップに対応してよい。理論的結果によれば、上面視のライダーセンサの姿勢の変更では変倍、せん断および他の非剛体変換が生じ得ないので、そのような実施形態は、姿勢補正変換を一般的移動ではなく剛体移動として決定することに制限されてよい。（勿論、非静的物体が場面に入ったもしくはそこから出た、または移動した場合もある。）したがって、画像点を局所的な平行移動ベクトルと関連付けるオプティカルフローフィールドから開始して、姿勢補正変換のパラメータｘ、ｙ、Φは、方程式の過剰決定系から決定することができる。三次元の場合を対象とした実施形態において、姿勢補正変換は、高さｚおよびピッチまたはロール角Ψの補正をさらに含んでよい。この決定は以下で詳細に論じるが、基礎となる原理は、図７の単純な例を比較することによって実現することができる。図７において、部分図は、ズームイン（スケールが変化するので非剛体変換）、ズームアウト（スケールが変化するので非剛体変換）および右から左へのパン（剛体変換）の間の予期されるフローを例示する。

ここで、ライダーセンサデータのいくつかの代表的な特性および特にライダー範囲情報を例示する図４、図５および図６を参照する。図４は、単一のライダー測定からの生データの可視化である。ライダーセンサは、原点ｘ＝ｙ＝０またはその近傍に位置付けられる。データから推論できる限りでは、隅部（ｘ，ｙ）＝（－１５，１５）、（ｘ，ｙ）＝（１５，－１５）および（ｘ，ｙ）＝（１５，１５）の近傍に位置する主な障害物と、（ｘ，ｙ）＝（１５，５）の別の障害物とが存在する。３つのより低くより薄い障害物が、原点から約５単位の半径に位置しているように見えている。これらの障害物と別に、ライダーセンサは、地面高さ（例えばｚ＝０）の同心円上のデータ点から推論できるように、自由なフィールドに位置する。各円の半径は、データ点の記録時におけるライダーセンサの俯角に関連する。

図４が示すように、動径座標がライダーセンサデータの既定の形式であってよい。ナビゲーションシステムでは、デカルト座標での表示（例えば北東が上）が好ましい場合がある。そのような表示はまた、概して車載センサの場合と同様に、異なるセンサ位置での掃引時に記録されるライダーセンサデータセットの組み合わせまたは結合を容易にする場合もある。これについて、図５を参照して説明する。

図５の左側部分は、複数のデータ点の上面図である。これらのデータ点は、異なる高さに位置し得るが、ここでは一律の色を用いてプロットしている。これらのデータ点は、おおよそ北北西方向へのセンサの水平な平行移動によって分けられる４回のライダー掃引時に記録されたものである。データ点密度は、センサ掃引が大きく重なった記録位置に近い領域で最も大きい。図５の右側部分は（マップ切り抜き）は、４回の掃引によるデータを連結する変換によって左側部分（掃引）から得られたものである。この変換はさらに、センサデータの径方向の性質を除去または抑制するように、データ点密度を一様にしてよい。この変換は、輪郭検出成分、例えば、縁石、フェンスおよび建造物の正面などの異なる高さの鉛直面の存在を示唆するデータ点パターンを探索するアルゴリズムをさらに含んでよい。生のライダーデータを用いることに代えて、そのような変換ステップのうちの１つまたは複数によって処理されたライダーデータが、特許請求の範囲の意味における高さマップとして用いられてよい。

図５に例示する変換は、ライダーセンサデータを、図６に示すもののようなマップ画像と比較しやすく、かつそのようなマップ画像において位置を特定しやすくすることができる。本図は、都市部環境の鳥瞰表示（上面図）である。概して、図６は、実質的に横方向のレーザ反射によって検出可能な、環境内のあらゆる物体の連なりである。

図３は、本発明の様々な実施形態に係る姿勢決定方法３００を獲得するフローチャートである。それらの実施形態は、とりわけ、破線で描かれた任意選択的な要素の有無が異なる。本方法３００の基本的な実施形態は、
ライダー高さマップの取得３１４と、
ライダー高さマップおよびマップ画像を関連付けるオプティカルフローフィールドの決定３２２と、
決定されたオプティカルフローフィールドに基づくライダーセンサ姿勢のＭＬ推定の計算３２４と
を含んでよい。

方法３００は、まずセンサおよびマップの座標フレーム間のオプティカルフローフィールドを推定し、次いでフローフィールドを用いてセンサ位置を計算する、すなわち、平行移動および角度に関して事前位置（下記を参照）に対する関連を推定することにより、位置推定問題を解く。具体的には、センサおよびマップの群データは、各グリッドセルについて特徴ベクトルを有する上面視の２Ｄグリッドに離散化されてよい。一実施形態において、ニューラルネットワークが、オプティカルフローフィールド、すなわち、センサ画像における各グリッドセルの中心のマップ座標フレームへの平行移動を推定する２Ｄベクトルのセットを回帰推定（regress）するために用いられる。

高さマップが点群として利用可能であると仮定する。２Ｄオプティカルフローフィールドが用いられる場合は、センサの鉛直方向が既知であるとさらに仮定することで、そのデータを、上下軸が重力軸と整合した座標系に変換することができる。さらに、およそ２０ｍおよび２０°の方位角の単位まで正確な、センサ姿勢の事前分布（a prior）が得られる。通常、そのような事前分布は、衛星ベースの位置推定から、または以前の位置推定に基づく慣性オドメトリから取得可能である。これは、方法３００のステップ３１０に対応する。特徴画像の構築のために、事前位置は、ステップ３１２において抽出される、マップの領域の中心点を定める。

生のセンサデータの適切な処理を含む高さマップの取得３１４の態様は、図４および図５に関して説明されている。

問題をオプティカルフローの定式化に当てはめるために、センサおよびマップからの入力点が、デカルト系などの適切な座標系に変換される。センサの上下軸およびその方位の事前情報を用いて、センサ座標フレームＳにおいて表現される点を、事前誤差に起因する方位の誤差は残しつつ、マップ軸と整合した誤差フレームＥに回転させる変換演算子Ｔ_ＥＳが定義される。マップ点は、事前位置を中心とするマップの領域から抽出され、次いで、演算子Ｔ_ＭＣを定義し、その逆数を抽出された点に適用することにより、マップ座標フレームＭから事前位置を原点とするクロップフレームＣに平行移動される。求められたセンサ姿勢変換Ｔ_ＭＳは、マップ座標フレームＭに対して、以下のような合成として計算することができる。ここで、Ｔ_ＣＥは、回転されたセンサ点を平行移動されたマップクロップ点と整合させる、計算対象の姿勢補正変換である。
ＴＭＳ＝Ｔ_ＭＣＴ_ＣＥＴ_ＥＳ

変換された点集合は、水平面内の２Ｄグリッドに区分され、センサグリッドは、Ｗ_Ｓ×Ｈ_Ｓのセルを含む。マップグリッドは、センサグリッド境界の外側のフローベクトル終了点をサポートするように、より大きいＷ_ｍ×Ｈ_ｍのサイズを有する。各グリッドセルについて、特徴ベクトルが計算される。一例として、特徴ベクトルは、以下のように定義されてもよい。

ここで、ｎは、セル内に含まれる点の数であり、ｚチルダは、それらの点の平均の高さを表し、σは、それらの点の鉛直座標の標準偏差である。この情報は、センサ入力テンソル_ＥＸ_Ｓおよびマップ入力テンソル_ＣＸ_ｍにまとめられる。

２Ｄの場合におけるオプティカルフローフィールドの決定３２２の一例を次に論じる。

所与の解像度レベルｌについて、（Ｆ_ＣＥ，Θ_Σ）＝ｆ^（ｌ）（_ＥＸ_Ｓ，_ＣＸ_ｍ）として定義される対応するフローフィールドの回帰関数ｆ^（ｌ）は、２×Ｗ^（ｌ）×Ｈ^（ｌ）のフローフィールドのテンソルＦ_ＣＥおよび３×Ｗ^（ｌ）×Ｈ^（ｌ）のフロー共分散パラメータのテンソルΘ_Σ（ばらつきテンソル）を出力するニューラルネットワークである。出力テンソルにおける各空間グリッドセルは、添字ｉ∈［１，Ｎ^（ｌ）］と共に列挙され、Ｎ^（ｌ）＝Ｗ^（ｌ）Ｈ^（ｌ）である。この添字は、Ｆ_ＣＥの各グリッドセルからのフローベクトルｆ_ｉ、各フローベクトルについての共分散行列のパラメータΘ_ｉ、およびグリッドセルの中心点ｐ_ｉを示すために用いられる。ニューラルネットワークは、以下の式によって与えられる対数尤度損失を用いて、グランドトゥルースのフローフィールドＦ_ｇｔで教示される。ここで、各グリッドセルにおける共分散行列Σ（Θ_ｉ）のパラメータΘ_ｉは回帰変数であり、解像度ｌに対する依存性は暗に示されている。

回帰関数ｆ^（ｌ）（_ＥＸ_ｓ，_ＣＸ_ｍ）を定義するニューラルネットワークは、図８に例示するように構造化されてよい。この例示的構造８００（位置推定パイプライン）によれば、各ライダーデータ入力は、特徴エンコーダ８０２に関連付けられ、各分岐からデータを受け取る特徴相関モジュール８０３、および確率論的フロー回帰モジュール８０４がそれに続く。要素８０１は、離散２Ｄ水平グリッドのセルへのライダーデータ（点群）の任意選択的な区分と、各グリッドセルにおけるデータの任意選択的なさらなる事前処理とを行う。

エンコーダ８０２は、Ｕ－Ｎｅｔのような構造（O．Ronnebergerら、International Conference on Medical image computing and computer-assisted interventionにおける「U-Net：Convolutional networks for biomedical image segmentation」、Lecture Notes in Computer Science、Springer、vol．9351（2015）、pp．234-241を参照）を用いてよい。Ｕ－Ｎｅｔ構造は、ステップ３２０を参照してさらに説明するように、疎な入力を、大きい受容フィールドを有する特徴マップに符号化するためのスキップ接続を含んでよい。当該ネットワークは、３×３の二次元畳み込みを各々３つの畳み込み層からなる６つのグループに適用する１つのダウンサンプリングチェーンを有する。各グループは、テンソルの空間次元を２等分する。このチェーンに、ダウンサンプリングチェーンと同じ構造のアップサンプリングチェーンが続くが、各グループは、ダウンサンプリングチェーンからのスキップ接続入力を有する。アップサンプリングチェーンは、マルチレベルの位置推定手順によって決定される空間次元までのグループを含む。

相関モジュール８０３は、符号化されたセンサ特徴テンソルにおける各位置の特徴ベクトルのスカラ積と、マップ画像における同じ位置の周囲の隣接位置のセットからの特徴ベクトルとを計算する。センサ画像境界の外側の隣接位置に対応するために、マップデータ画像は、全ての隣接位置に適合するように、より大きい領域から抽出される。この操作により、各成分が隣接位置に関連付けられた、センサ特徴画像における位置ごとのスカラ積のベクトルが得られる。

相関体積は、５つの３×３の二次元畳み込み層の基底を有し得るフローフィールド回帰ネットワーク８０４に入力される。この基底に、フローフィールドＦ_ＣＥを回帰推定するための３つの畳み込み層の１つの分岐と、共分散パラメータテンソルΘ_Σを回帰推定するための４つの層の別の分岐とが続く。

姿勢計算モジュール８０５は、フローフィールドに基づいて、最終結果を生じさせる。

この構造８００に代えて、回帰関数ｆ^（ｌ）（_ＥＸ_ｓ，_ＣＸ_ｍ）の実装は、ここで論じたものとは異なる数の層を有する深層ニューラルネットワークを含んでよい。オプティカルフローフィールドの計算が一般回帰モデルを用いてよいことは既に述べた。回帰モデルがニューラルネットワークである、または機械学習ベースである必要は全くない。オプティカルフローフィールドは教示またはモデル化に依拠しない直接的な方法によって計算されてもよく、この計算がばらつきテンソルを生じさせる必要もない。

引き続き２Ｄの例を続けると、ここで、回帰推定されたフローフィールドからのセンサ姿勢の計算３２４が、どのように姿勢補正変換Ｔ_ＣＥのＭＬ推定として実行され得るかを説明する。このタイプの姿勢補正変換は、図２に例示したものである。尤度を表現するために、フローフィールドベクトルは、Ｔ_ＣＥに関してモデル化される。変換Ｔ_ＣＥおよびフローベクトルの始点ｐ_ｉを所与として、真のフローベクトルは、
ｈ_ｉ（Ｔ_ＣＥ）＝Ｔ_ＣＥｐ_ｉ－ｐ_ｉ
として表すことができる。これは、回帰推定されたフローフィールドベクトルを
ｆ_ｉ＝ｈ_ｉ（Ｔ_ＣＥ）＋ｅ_ｉ
としてモデル化するために用いられる。ここで、ｅ_ｉ～Ｎ（０，Σ_Θ，ｉ）は、回帰推定された共分散行列でモデル化されたフローベクトル誤差である。これは、確率密度として表すと、
ｐ（ｆ_ｉ｜Ｔ_ＣＥ）＝Ｎ（ｆ_ｉ；ｈ_ｉ（Ｔ_ＣＥ），Σ_Θ，ｉ）
に対応する。フローベクトルｆ_ｉが条件付きで独立であるという仮定の下で、フローフィールドの全体の分布は、以下のように記述することができる。

この仮定は、一般的な場合においては正確でないかもしれないが、姿勢計算の準備としてフローベクトルに重み付けする目的では実用的である。

２Ｄの場合において、誤差補正変換Ｔ_ＣＥは、図２に示すように、平行移動［ｘ，ｙ］^Ｔおよび方位角Φによってパラメータ表示される。このとき、対数尤度は、以下のように記述することができる。

ここで、μ_ｉ＝μ_ｉ（Φ，ｐ_ｉ，ｆ_ｉ）は、任意の所与のΦについて評価することができる。Ｍ個の方位角仮定Φ_ｊ，ｊ∈［１，Ｍ］の集合が、適切な探索範囲からサンプリングされ、全てのμ_ｉ，ｊ，ｉ∈［１，Ｎ］，ｊ∈［１，Ｍ］が計算される。次いで、ｌｏｇＬを最大化するｘ_ｊハット、ｙ_ｊハットが、以下の式に従って分析的に計算される。

ここで、Σは以下の通りである。

ＭＬ推定ｘハット、ｙハット、Φハットは、方位仮定Φ_ｊと、全てのｊの最も高い尤度に対して求まる対応する対ｘ_ｊハット、ｙ_ｊハットとを特定することにより見出される。最後に、推定されたパラメータからＴ_ＣＥハットが構築され、求められるセンサ姿勢変換は、以下の式から計算される。

次いでこの値、すなわち、姿勢変換Ｔ_ＭＳから導出された適切な形式のマップ位置が、出力３３２されてよい。

オプティカルフローフィールドが、ばらつき尺度を生じさせないアルゴリズムによって計算されたものである場合、ばらつきテンソルΣ_Θ，ｉは１（unity）に設定されてよい。検証セットについての実験的結果は、ばらつきの実際の値を用いることにより得られる向上が、場合によっては大きくないことを示唆している。一般的な場合において、特に疎行列化の事前処理が適用される場合（以下のステップ３２０を参照）、共分散の可用性または別のばらつき尺度が重要な値となり得る。

方法３００は、新たなライダーセンサ姿勢推定を提供する必要性に応じた頻度で繰り返されてよい。例えば、繰り返しは、予め決定された遅延の後に、ライダーセンサの移動が検出されたときに、または何らかの他のきっかけとなる事象に応じて開始されてよい。

マルチスケール位置推定は、方法３００の任意選択的なさらなる発展形である。このとき、相関体積を用いることに関連する限定された探索空間で、かつ計算性能に対する影響を限定されたもののみとして課題を克服するために、コーストゥファイン（coarse-to-fine）アプローチが、ピラミッド型プロセスにおいてフローフィールドを続けて解くために用いられてよい。フローフィールドは剛体変換に従うことが予期されるので、姿勢は各反復において推定されてよく、次の反復の解像度は、現在の反復に対して増大される。事前姿勢が高精度な状況では、最も細密な解像度のフローのみを計算すれば十分である場合がある。しかしながら、不定期の再位置特定のために、より粗い位置推定レベルを最初に適用することで、誤差を自動で得ることができる。実際にはこれは、図８の位置推定パイプラインの複数のバージョンが教示され得ることを意味する。

図３に戻ると、反復改良による実施形態は、所望の解像度に達したかが問われる判定ポイント３３０の存在に対応する。これに該当しない場合（Ｎ分岐）、方法３３０の実行は、解像度を増大するステップ３２６、および、オプティカルフローフィールドの後の再決定３２２およびライダーセンサ姿勢のＭＬ再推定３２４における事前分布として、推定されたライダー姿勢を適用するステップ３２８に進む。これに代えて、判定ポイント３３０における評価が、所望の解像度に達したことを明らかにするものである場合（Ｙ分岐）、ステップ３３２において結果が出力される。

代替的にまたは追加的に、方法３００は、ライダー高さマップをライダー強度情報で拡張するステップ３１６を含んでよく、拡張された（または拡充された）高さマップは、後の処理ステップにおいて高さマップと置き換わる。すなわち、オプティカルフローフィールドは、拡張された高さマップおよびマップ画像に基づいて決定される。強度情報は、高さマップが規定される元となる範囲情報を生じさせるものと同じライダーセンサから取得されてよい。これにより、より高精度な特徴ベクトル相関推定を可能とすることができ、よってより正確なオプティカルフローフィールドの計算をもたらすことができる。

代替的にまたは追加的に、方法３００は、ライダー高さマップおよびマップ画像がそれぞれの特徴画像（上述の特徴ベクトルｘを参考）となるように処理される事前処理ステップ３１８を含んでよい。事前処理は、図８の特徴エンコーダニューラルネットワーク８０２によって実装されてよい。ライダー高さマップの事前処理は通常、実行時に実行されるが、マップ画像の事前処理は、予め完了していてよく、その結果が格納されていてよい。さらなるオプションとして、事前処理３１８に続いて、マップ画像の特徴画像が疎行列化されることを対象とした疎行列化操作３２０が行われてよい。この操作は、特徴ベクトルｘのうち疎な部分集合を除く全てを排除することを含んでよい。例えば、ｘ方向およびｙ方向におけるｎ_０番ごとの特徴ベクトルのみが保持されてよい。ここで、ｎ_０＝１０または別の小さい整数である。代替的に、確率的疎行列化が適用されてよい。これによる潜在的な有益な効果としては、必要なマップ記憶スペースの低減、および、オプティカルフローがより少数の位置で計算され、これにより下流の相関モジュール８０３および／または回帰モジュール８０４に対する負荷が緩和することが挙げられる。具体的な使用事例においてｎ_０の適切な値を決定するために、精度を監視しつつ、このパラメータが小さい初期値から増大されてよい。ｎ_０が大きくなりすぎる場合、アルゴリズムは、マップ画像に関するライダー高さマップの位置推定が困難となる場合があり、これによりアルゴリズムの精度および／または頑健性が低下することになる。

代替的にまたは追加的に、記載の方法３００は、カルマンフィルタリングまたは粒子フィルタリングなどの統計的時間的フィルタリングと組み合わされる。ライダーセンサ姿勢の繰り返しのＭＬ推定、またはこれらから導出されるマップ位置は、カルマンフィルタに提供される唯一のデータソース（観測、測定）であってよい。代替的に、ライダーセンサ姿勢は、ＧＮＳＳまたはデッドレコニングなどの他のデータソースと組み合わされてよい。センサ姿勢の事前分布として依拠され得るデータソースは、一般に、カルマンフィルタリングへの入力としても有用である。カルマンフィルタとの組み合わせにより、推定される位置の安定性を向上させることができ、ノイズの影響を小さくすることができる。

図８のニューラルネットワークは、意図される使用事例に関して適切であるとみなされる任意の方式で教示することができる。例えば、教示は、教示および検証のためのＣＡＲＬＡシミュレータから抽出された合成データに基づいて実行されてよい。A．Dosovitskiyら、Proceedings of the 1st Annual Conference on Robot Learningにおける「CARLA：An open urban driving simulator」、2017、pp．1-16を参照されたい。ＣＡＲＬＡシミュレーションソフトウェアの使用されるバージョン９．８は、都市部、農村部および高速道路のシナリオをカバーする７つの異なるワールド（world）を含む。シミュレーションは、基準位置推定の品質による影響を受けない点群マップを構築することを可能とし、大量の注釈付き測定結果（annotated measurements）を提供する。水平面に対して－３０°から１０°の間のピッチ角をカバーする３２の層にわたって分布した毎秒５６，０００個の点をキャプチャするように構成された内蔵ライダーシミュレーションモジュールを用いている。センサ範囲は１００メートルに設定され、回転速度は２０Ｈｚに設定される。各ワールドについて、１メートルごとの増分で、地面高さの上方２．４ｍに位置する全ての道路区分に沿ってシミュレートされたライダーセンサを横切ることにより、点群マップが集められる。各々の位置の増分において、全回転走査が収集され、マップ点群に追加される。シミュレートされたライダーは、修正の必要がないように、センサの移動速度の影響を受けない瞬間的なスナップショット画像を返す。同じように、シミュレートされたオンライン測定データが収集され、測定データの２分の１秒に相当する１０回の連続したライダー走査から各教示例が集められる。全体として、７つのワールドから４２，８７０個の一意なセンサ測定結果およびマップクロップサンプルが得られ、そのうちワールド４からの全部である５，７７２個を検証に用い、ワールド２からの全部である２，０１３個を実験的比較の目的で用いた。

データセットは、物体が視線を遮ることに起因して、自然閉塞（natural occlusion）、すなわち、隣接したマップがセンサ測定結果に見られないデータを含むことを含む。よって、上記で論じたアルゴリズムは、そのような閉塞を制御するように暗黙のうちに教示され、続く評価により、部分的に閉塞された場面におけるアルゴリズムの性能を試験する。マップにない物体からのデータを測定走査が含む反対のシナリオは、データセットに含まれていない。

マップ画像および各サンプルのセンサ点の両方が水平面内でランダムに回転されたものとなるように、ＣＡＲＬＡベースの教示データを回転によって無限に拡張した。含まれているＣＡＲＬＡワールドは、南北または東西の向きにおける直線道路、特徴または建造物を強く強調しているので、過剰適合を避けるためにこれが必要であることが見出された。教示の最適化のために、ＡＤＡＭをその標準パラメータと共に用いた。D．P．Kingmaら、「ADAM：A method for stochastic optimization」、arXiv：1412.6980を参照されたい。ステップサイズは０．０００３で固定した。コールドスタートでは、通常のＬ１損失関数を用いて重要な特徴の始点を見出す必要があることが分かった。

本発明はさらに、直接的にまたは何らかの中間段階を介して、（例えば対応するインターフェースを備えることにより）ライダーセンサからライダー高さマップを取得し、内部のまたは共有のメモリから予め定められたマップ画像を取り出す能力を有するナビゲーションシステムとして実施されてよい。ナビゲーションシステムは、ライダー高さマップおよびマップ画像を関連付けるオプティカルフローフィールドを決定するように構成された第１の処理回路と、決定されたオプティカルフローフィールドに基づいてライダーセンサ姿勢のＭＬ推定を計算するように構成された第２の処理回路と、をさらに含んでよい。図８のうち破線の四角形で囲まれた部分は、この意味における「第１の処理回路」に対応してもよく、またはその一部であってもよい。ナビゲーションシステムは、計算されたライダーセンサ姿勢またはライダーセンサ姿勢から導出される位置を出力するためのインターフェースをさらに含んでよい。

本開示の態様を、主にいくつかの実施形態に関して上記で説明した。しかしながら、当業者には容易に理解されるように、上記で開示したもの以外の実施形態も、添付の特許請求の範囲によって定められる本発明の範囲内において等しく可能である。例えば、三次元以上の一般化されたオプティカルフローが用いられ得る本技法のより高い次元への一般化も、本発明の範囲内に含まれる。

Claims (15)

1. 予め定められたマップ画像に関してライダーセンサ姿勢を決定するための方法（３００）であって、
   ライダー高さマップを取得するステップ（３１４）と、
   前記ライダー高さマップおよび前記マップ画像を関連付けるオプティカルフローフィールドを決定するステップ（３２２）と、
   前記決定されたオプティカルフローフィールドに基づいて前記ライダーセンサ姿勢の最大尤度（ＭＬ）推定を計算するステップ（３２４）と
   を含む方法（３００）。
2. 前記ライダーセンサ姿勢の前記最大尤度（ＭＬ）推定を計算する前記ステップ（３２４）は、前記決定されたオプティカルフローフィールドを所与として、誤差補正変換候補の尤度を最大化することを含む、請求項１に記載の方法。
3. 前記ライダー高さマップをライダー強度情報で拡張するステップ（３１６）をさらに含み、
   前記オプティカルフローフィールドは、前記拡張された高さマップおよび前記マップ画像に基づいて決定される、
   請求項１または２に記載の方法。
4. 前記オプティカルフローフィールドは、二次元のオプティカルフローである、請求項１から３のいずれか１項に記載の方法。
5. 前記オプティカルフローフィールドは、三次元の一般化されたオプティカルフローである、請求項１から３のいずれか１項に記載の方法。
6. 前記ライダー高さマップおよび前記マップ画像をそれぞれの特徴画像とするように事前処理するステップ（３１８）と、
   前記マップ画像の前記特徴画像を疎行列化するステップ（３２０）と
   をさらに含み、
   前記オプティカルフローフィールドは、前記それぞれの特徴画像に基づいて検出される、
   請求項１から５のいずれか１項に記載の方法。
7. 粗い大域的位置推定を最初に得るステップ（３１０）と、
   より大きい予め決定されたマップ画像の部分領域として前記マップ画像を抽出するステップ（３１２）と
   をさらに含む、請求項１から６のいずれか１項に記載の方法。
8. 前記オプティカルフローフィールドは、関連するばらつきテンソルを追加的に生じさせる回帰モデルによって決定され、
   前記ライダーセンサ姿勢の前記最大尤度推定は、さらに前記ばらつきテンソルに基づいて計算される、
   請求項１から７のいずれか１項に記載の方法。
9. 前記回帰モデルは、教示済みのニューラルネットワークによって実装される、請求項１から８のいずれか１項に記載の方法。
10. 任意選択的なさらなるステップとして、空間解像度を増大するステップ（３２６）、および事前分布として前記推定されたライダーセンサ姿勢を適用するステップ（３２８）と共に、オプティカルフローフィールドを決定する前記ステップ（３２２）と、前記ライダーセンサ姿勢の最高尤度推定を計算する前記ステップ（３２４）と、を繰り返すことをさらに含む、請求項１から９のいずれか１項に記載の方法。
11. ライダー高さマップを取得するための通信インターフェースと、
    予め定められたマップ画像を格納するように適合されたメモリと、
    前記ライダー高さマップおよび前記マップ画像を関連付けるオプティカルフローフィールドを決定するように構成される第１の処理回路と、
    前記決定されたオプティカルフローフィールドに基づいて前記ライダーセンサ姿勢の最大尤度（ＭＬ）推定を計算するように構成される第２の処理回路と、
    を備えるナビゲーションシステム。
12. 前記第１の処理回路は、前記オプティカルフローフィールドおよび関連するばらつきテンソルを生じさせるための回帰モデルを実装する、請求項１１に記載のナビゲーションシステム。
13. 前記第１の処理回路は、教示可能な構成要素を含む、請求項１１または１２に記載のナビゲーションシステム。
14. 少なくとも部分的に前記推定されたライダー姿勢に基づいて位置追跡を行うように構成されたカルマンフィルタをさらに備える、請求項１１から１３のいずれか１項に記載のナビゲーションシステム。
15. 請求項１１に記載のナビゲーションシステムに、請求項１から１０のいずれか１項に記載の方法を実行させるための命令を含むコンピュータプログラム。

Images