JP2016517981A - 基準方向に対する移動要素の角度偏差を推定する方法 - Google Patents

Abstract

本発明の主題は基準方向に対する移動要素の角度偏差を推定する方法であり、本方法は、移動要素の基準方向を表す基準画像を取得する工程（１０１）と、移動要素の現在方向を表す現在画像を取得する工程（１０２）と、基準画像と現在画像内の関心点を識別する工程（１０３）と、少なくとも２対の関心点を判断する工程（１０４）であって、一対は現在画像内の関心点と基準画像内のそれに対応する関心点とからなる、工程と、先の工程で識別された少なくとも２対の点を使用することにより移動要素の現在方向と基準方向との角度偏差を判断する工程（１０５）とを含む。

Description

本発明は、基準方向に対する移動要素の角度偏差を推定する方法に関し、特にナビゲーションの分野へ適用され得る。

ロボットなどの移動要素のコースを推定するために、第１の技術は、そのオドメトリを使用すること、すなわちその運動の測定結果を使用することからなる。この目的のために、様々な搭載感知器からの測定結果が利用され得る。したがって、車輪付きロボットは車輪内に位置する回転エンコーダタイプのオドメータを使用することが可能である。この技術の欠点の１つは、この技術は時間とともに著しくドリフトする推定結果を生ずるということである。

今日存在する第２の技術は、ナビゲーション環境を表すマップに関連する方位を得るためにレーザテレメータまたは３Ｄカメラなどの計量センサを実装することからなる。この技術に依存する方法は頭文字ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）により示され、この場合のマップはまた、ロボットのナビゲーション中に構成されその内容が充実される。この解決策はいくつかの欠点を有する。これは、これらのセンサをロボットのアーキテクチャ内に取り込むことが必要であるからである。これは、高実装コストを伴い、マップを生成しロボットの位置を判断するために大きな計算力を必要とする。

今日存在する第３の技術は６軸慣性ユニットの使用に基づく。この慣性ユニットは通常、３つのジャイロスコープと３つの加速度計から作られ、特にロボットのコースを与え得る。このようなユニットはまた、測定ドリフト現象の影響を受けやすい、またはそうでなければ非常に高価である。したがって、この技術は低実装コストでロボット内に実装するのに適さない。

したがって、ロボット設計者は実装コストを最小化する一方で精密なコース推定を得られるようにする利用可能技術を有しないように思える。

特に前述の欠点を補うことが本発明の目的である。

この目的を達成するために、本発明の主題は、基準方向に対する移動要素の角度偏差を推定する方法であり、本方法は、移動要素の基準方向を表す基準画像を取得する工程と、移動要素の現在方向を表す現在画像を取得する工程と、基準画像と現在画像内の関心点を識別する工程と、少なくとも２対の関心点を判断する工程であって、一対は現在画像内で識別された関心点と基準画像内のそれに対応する関心点とからなる、工程と、先の工程で識別された少なくとも２対の点を使用することにより移動要素の現在方向と基準方向との角度偏差を判断する工程と、を含む。

基準方向に対するロボットの角度偏差を推定する方法を使用することで、オドメトリの特徴である推定誤差を回避できるようにする。

本発明の一態様によると、関心点は２進ベクトルに対応する記述子に関連付けられ、上記対を判断する工程はこれらのベクトルを２つ一組で比較することにより実施され、一対の関心点は、２つの関心点の２つのベクトルが、他の関心点に関連付けられた他の候補ベクトルに対して最も近いと考えられる場合に識別される。

一例として、角度偏差は移動要素に対して固定された正規直交基準座標系の３つの軸Ｘ、Ｙ、Ｚに沿って判断される。

一実施形態では、本方法は、角度偏差の推定の品質を確認する工程を含み、品質は、整合した関心点の対の数が所定閾値を越えると十分であると考えられる。

本発明の一態様によると、新しい基準画像は、品質が不十分であると考えられると取得される。

この品質管理は、移動要素が移動中に信頼できる角度偏差の推定値を保つことができるため、有利である。

一例として、基準画像のリフレッシュ速度は関心点の品質に応じて適応化され、前記品質は正しい関心点のレベルから推定され、基準画像はこのレベルが所定閾値未満になると直ちに更新される。

一例として、現在画像のリフレッシュ速度は、現在画像内で識別された関心点間の推定平均距離に応じて適応化され、リフレッシュ速度は関心点が互いに近づくと増加される。

一例として、基準方向は移動要素が移動するために追随する必要がある標的コースに対応し、移動要素の移動を制御するためのコマンドが、本方法により推定される角度偏差を最小化するように判断され適用される。

一例として、基準画像は、所定最少数の関心点が整合し得るように現在画像を取得する責任を負うセンサの視野内に基準画像が少なくとも部分的に留まるように、選択される。

一実施形態では、当初推定角度偏差は、移動要素が移動するために追随する必要がある標的コースに対してαラジアンである。このとき、基準方向は−α／２ラジアンの角度偏差が加えられた標的コースに対応し、移動要素の移動を制御するためのコマンドは、推定角度偏差がその後＋α／２ラジアンに可能な限り近くなるように判断され適用される。

本発明の一態様によると、基準画像は、移動要素に搭載されショット時に基準方向に向けられる画像センサにより取得される。

本発明の主題はまた、ナビゲーション空間に対して固定された基準点における移動要素の角度位置を推定する方法であり、本方法は、ナビゲーション空間をカバーする複数の画像からなるパノラマを取得する工程であって、パノラマの１つの画像は移動要素から離れる方向を表す、工程と、オドメトリにより移動物体の角度位置を推定する工程と、パノラマの画像から基準画像を選択する工程であって、前記画像は先の工程において推定された角度位置に対応する、工程と、移動要素の角度位置の推定を精緻化する工程であって、前記角度位置は角度偏差を推定する方法の適用により推定された角度ドリフトから導出される、工程と、を含む。

一例として、移動要素はロボットである。このロボットはヒューマノイド型であり得る。

または、移動要素は自動車であり得る。

本発明の主題はまた、上記方法を実施するように適応化された手段を含むヒューマノイドロボットである。

本発明の主題はまた、プログラムがデータ処理モジュールにより実行されると上記方法を実行するための命令を有するコンピュータプログラムである。

本発明の他の特徴と利点は、一例として、そして限定を暗示すること無しに提供され、添付図面に関して書かれた以下に続く明細書を用いて明らかになる。

基準方向に対する角度偏差を推定する方法の工程を概略的に示し、前記基準方向は基準画像（本明細書の残りの部分ではそのように呼ばれる）と関連付けられる。 角度ドリフトを推定する方法を使用した、ロボットの軌道の制御の技術的例を示す。 関心点が検知された画像の例を示す。 一対の整合点を示し、角度偏差が２つの画像から判断され得るやり方を示す。 ＲＡＮＳＡＣなどのコヒーレント対を識別するための技術を適用することにより取得され得る結果の例を示す。 移動要素の絶対角度位置を推定する方法の簡略図を示す。 絶対角度位置を推定する方法の学習段階を概略的に示す。 パノラマ内の基準画像を選択するやり方と、どのようにロボットの絶対角度位置が推定され得るかとを示す。 絶対角度位置の推定結果を使用してロボットの回転運動を制御するやり方を示す。 ヒューマノイドロボットを示す。

本明細書では、本発明は、ロボット上、より具体的にはヒューマノイドロボット上の実施形態の例を使用して説明される。しかし、本発明は任意の移動要素に適用され得る。具体的には、本発明は任意のタイプの車両、ボート、または航空機に適用され得る。

本発明の主題は特に、基準方向に対するロボットの角度偏差を推定する方法である。この相対的角度偏差は基準方向と推定時のロボットの配向との角度として定義される。推定時のロボットの配向は現在方向とも呼ばれる。一例として、この角度の値は基準方向から時計回りで判断される。

有利には、ロボットの相対的角度偏差の推定結果は、ロボットの動きを精密に制御するために、特に、所与の角度で固定点を中心として回転を行うためにまたは所与の方向に直線で移動するために、使用され得る。さらに、本方法はロボットの絶対位置の推定を可能にする。

図１は、基準方向に対するロボットの配向の角度偏差を推定する方法の工程を概略的に示す。前記基準方向は本明細書の残りの部分では基準画像と呼ばれる画像と関連付けられる。

最初に、達成すべきコース（標的コースと呼ばれる）値が判断される１００。一例として、この標的コース値は、角度偏差が２次元座標系で推定される場合は角度に対応し、またはそうでなければ角度偏差が３次元座標系で推定される場合は一例として緯度と経度とに対応する一組の２つの角度に対応する。一実施形態では、そしてヒューマノイドロボットの場合、標的コースはロボットの配向として選択され得、前記配向は、一例としてロボットの胸に対し垂直であるベクトルであってその中心を通り前方に向けられるベクトルに対応する。

次に、基準画像が取得される１０１。基準画像はロボットに搭載された画像センサを使用して取得され得る。この基準画像は基準方向を表し、基準方向に対するロボットの相対的角度偏差が本方法により推定される。好適な実施形態では、基準画像は、画像センサが基準方向に配置される場合に取得される画像である。

現在画像は現時点と呼ばれる所与の時点に当然取得される１０２。一例として、この現在画像はロボットに搭載された画像センサから現時点で取得される画像に対応する。ヒューマノイドロボットの場合、この画像センサは頭上に位置し得、前記頭はロボットのボディに固定することができる、またはボディに対して動く。

次に、一組の関心点が基準画像内および現在画像内において識別される１０３。

この目的のために、関心点を検知する方法が使用される。このような方法は明細書の残りの部分では用語「検知器」により示される。さらに、画像内の点は、様々なショットから生じる複数の画像内で識別され得るようにする特徴を有する場合、関心点と呼ばれる。実際には、関心点は、中心画素とスケールとにより識別されるいくつかの画素の領域に対応する。一例として、関心点は、高レベルのコントラストを有するとともに食器棚角に対応する２〜３の画素の領域に対応し得る。

関心点が検知器により識別されると、記述子がそれと関連付けられ得る。記述子は、２進形式で通常表される関心点の識別子である。記述子は、特に、識別された関心点が画像から画像へと比較され得るようにする。一例として、記述子は２進ベクトルに対応する。

基準画像の記述子は基準指標と呼ばれる指標にグループ化され得る１０３。

基準画像に関し、関心点はこの現在画像の検知器により識別され、記述子はこれらの点のそれぞれと関連付けられる。

関心点が識別され特徴付けられると１０３、関心点の整合工程１０４が実施される。この工程１０４は、現在画像内の識別された関心点毎に、基準画像内のそれに対応する少なくとも１つの関心点の探索を実施する。この目的のために、現在画像内の関心点の記述子は基準指標に格納された記述子と比較され得る。

この比較をするために、例えば頭文字ＫＤＴｒｅｅにより示される技術など様々な技術が利用され得る。ＫＤＴｒｅｅ技術は、所与のベクトルと予め計算された指標との迅速な比較を可能にする。この場合、現在画像内の識別された関心点毎に、２つの最も近い近傍が選択される。現在画像内の関心点に関しては、最も近い近傍は、それらの記述子と現在画像内の関心点の記述子との差が最小化される基準画像内の関心点である。次に、最も近い近傍までの距離が第２の近傍までの距離より著しく短ければ、最も近い近傍は現在画像内の関心点に整合されたと考えられる。この方法は、誤った一対の点のいくつかが削除され得るようにする。これは、現在画像内の２つの異なる関心点が近い記述子を有すれば、それと比較される基準画像内の関心点が近い距離を有するためである。したがって、この技術は、識別された整合の数を低減できるようにするだけでなく、現在画像内の余りにも多くの関心点がまずく整合されるのを防止できるようにする。

次に、工程１０５は基準方向に対する角度偏差を推定する目的を有する。この目的のために、先の工程において識別された関心点の対が解析される。２対の関心点の比較の例は、本明細書の後で提供される。

一実施形態では、角度偏差は、ロボットに対して固定された正規直交基準座標系の３つの軸Ｘ、Ｙ、Ｚに沿って判断される。この目的のために、２対の点が使用され得る。計算を行うために、関心点はロボットから無限遠点に位置するということを想定する。

同様に、ロボットがその場で回転するということが想定され得る。これは、Ｚ軸を中心とする回転は左から右への点の運動、Ｙ軸を中心とする回転は最上部から最下部への運動（単一点により見ることができる）、Ｘ軸を中心とする回転は画像の中心を中心とする回転（計算を行うために２点を必要とする）となるからである。

角度偏差が推定されると、推定の品質が十分であることを保証するために照査が行われる１０７。一実施形態では、品質は、整合した関心点の対の数が所定閾値を越えると十分であると考えられる。そうでなければ、推定の品質は不十分であると考えられ、推定を続けるために新しい基準画像が取得される１２０。そうであれば、品質は十分であると考えられ、時間の経過に伴う角度偏差の進展に追随するように新しい現在画像が取得される１２１。

現在画像１２１のリフレッシュ速度に関しては、これはナビゲーション環境とロボットの速度とに応じて選択される必要がある。現在画像のリフレッシュ速度は、関心点間の推定平均距離に応じて適応化され得る。関心点が互いに近ければ近いほどリフレッシュ速度は高くなる。したがって、ロボットが壁に向かって動くと、リフレッシュ速度は増加される。

本発明の基本的利点の１つは、偏差の計算が、基準方向を表す単一像を必要とするということである。

一実施形態では、基準画像はリフレッシュにより更新され得る。この場合、基準画像のリフレッシュ速度は動作の過程で適応化され得、先験的には固定されていない。リフレッシュ速度は、基準の視点の品質に応じて更新され得、最低品質を維持するために自動的に適応化され得る。

基準画像のリフレッシュが開始され得るようにする判定基準の例は、整合の品質を推定することと、必要に応じて（すなわち、品質が劣化する前に）だけ基準画像を更新することである。この品質は、ＲＡＮＳＡＣアルゴリズムにより行われた計算後に取得される正しい点のレベルから推定され得る。このレベルが余りにも低い（すなわち、先験的に固定された閾値未満である）と直ちに、新しい画像が撮影される。したがって基準画像はリフレッシュされる。閾値は、基準画像を決して失わないように先の画像が依然として有効となるように、選択され得る。

したがって、環境によるが、単一基準画像は、例えば回転の場合に移動要素が従う軌道の全体にとって十分である。したがって、基準周波数は固定されず、これは、基準画像が、整合の品質が低下する場合だけを除いて定期的には更新されないためである。

さらに、基準方向の画像の撮影は、基準点の柔軟性のおかげで、ロボットがロボットの未知方向に制御され得るようにする。ロボットが未知領域へ進み、基準が陳腐化すると、基準画像の自動リフレッシュは、新しい環境により良く適する画像が再撮影され得るようにする。

図２は、角度ドリフトを推定する方法を使用する、ロボットの軌道の制御の技術的例を示す。

最初に、図１を参照して上に説明したように基準方向に対する角度偏差の推定が行われる２００。

このとき、目的は、ロボットの軌道を制御するように標的（工程１００）に対する角度偏差の推定結果を使用することである（工程１０７）。

したがって、標的コースと推定角度偏差との差２０１が判断される。一例として、差２０１は、ロボットの軌道を制御するためのコマンドとして使用され得る角度αに対応する。

この差が零であれば、これは標的コースに到達した２０２ことを意味する。この差が零でなければ、ロボットの軌道は標的コースが観測されるように補正される必要がある２０３。差は２０１であり、次に、標的コースに到達したかどうかを照査するように再び判断される。

ロボットがその場で（すなわち、それを通る垂直軸を中心として）回転すれば、サーボ制御が以下のように与えられ得る。最初に、ロボットは、ロボットの前方を見る場合は頭の位置に対しα／２に等しい角度だけその頭を回転させる。次に、新しい基準画像が取得される。この新しい基準画像は、最大の関心点がその場の回転の制御中に正しく整合され得るということを保証できるようにする。したがってロボットは、この新しい基準画像に関連付けられた新しい基準方向に対して−α／２に等しい角度偏差で出発する。次に、ロボットはα／２に等しいこの新しい基準方向に対する角度偏差に到達するように指令され得る。この目的のためには、適応化速度回転指令を使用することによりロボットを制御し、この偏差値に到達するとロボットを停止することで十分である。

一般的に、ロボットが動いている場合に基準画像をロボットの視野内に維持するために、推定角度偏差は、最少数の関心点が整合され得るように頭の運動を制御して基準画像を取得するために使用され得る。

ロボットが直線で移動する場合、目的は標的コースに対する零角度偏差を維持することである。この目的のために、ロボットは基準画像を取得するように標的コースに対応する方向にその頭を回転させる。次に、ロボットの運動は、零角度偏差を維持するように並進および／または回転速度コマンドを使用することにより制御される。

ロボットのボディが動いている間頭の位置を標的コースの方向に維持することが可能である。これは、ロボットのボディに対するロボットの頭の位置が既知であるため、ロボットのコースは直接導出され得るからである。

基準画像内に識別された関心点のすべてが、現在画像を提供するセンサにとって可視のままでなくても、本方法はうまく機能するため有利である。これは、２つの正しく整合された対は角度偏差を推定するために理論的には十分であるからである。但し、正しい対の数が多ければ多いほど角度偏差の推定はより良くなる。

さらに、直線運動の場合、ロボットのオドメトリが、カバーされる距離を推定するためにおよびいつロボットが停止する必要があるかを判断するために使用され得る。これは、現実には関心点が無限大に位置しないため、位置推定結果を使用するより信頼できるからである。ロボットが関心点に近づけば近づくほど関心点間の距離は一層拡大するが、これはモデルにより考慮されていない。この影響を補償するために、モデルの品質は時間の経過と伴に監視され１０６、品質が著しく低下すると直ちに、基準画像は更新され、無限遠における点の仮定が再検証され得るようにする。

基準方向に対するロボットの角度偏差を推定する方法を使用することで、オドメトリの特徴である推定誤差を回避できるようにする。推定角度偏差に応じて判断された速度指令だけが使用され得るために有利である。

基準方向はその場の回転および回転の場合の頭に使用されるように思える。ロボットのボディはまた、並進の場合の頭と同じであるが回転の場合とは異なる標的方向に追随しなければならい。

ヒューマノイドロボットが並進を行う場合、基準方向と頭の配向は同じであり得る。このとき、頭とロボットのボディはこの方向に追随するためにサーボ制御される。

回転の場合そしてαが行われるべき回転の角度に対応すれば、頭の基準方向は出発位置に対してα／２であり、一方、ボディの基準方向は出発位置に対してαである。回転中、頭は、１８０°までの回転中同じ画像を維持するためにその基準方向に維持され、ボディは自身を方向αと位置合わせするためにサーボ制御される。したがって、頭に対して、ボディは出発時は−α／２方向であり、到着するとα／２方向である。

図３は、関心点が検知された画像の例を示す。この例では、高コントラストの領域と対象物の角部とに敏感な記述子が使用された。

本発明による方法という文脈内では、検知器は、同じ関心点が画像毎に発見されるように選択さなければならない。したがって、検知器は、特にロボットの運動から生じる修正にもかかわらず頑強でなければならない。修正の例は、ロボットが動いているとき（例えば、ロボットが基準画像の方向に移動するとき）のショット毎のスケールファクタの適用に対応する。ロボットが動いているときに撮影されたショットから生じるぼやけた影響もまた導入され得る。明度の変化も同様に、２つのショット間で発生し得る。これは、ロボットが十分明るい領域からあまり明るくない領域へ移動するときに起こり得る。

好適な実施形態では、画像ピラミッド上のＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）検知器が使用される。有利には、この検知器は、本発明による方法という文脈内でその使用に適した特性を有する。第１の特性は、関心点の抽出が極めて迅速であるということである。したがって低コスト計算プラットフォーム上で数ミリ秒内に数百の点を抽出することが可能である。多数の関心点の抽出により、点の妨害が発生した場合の本方法の頑強性を改善する。ＦＡＳＴ検知器の別の特性は、ぼやけたショットが発生した場合および明度の変化が発生した場合に頑強であるということである。これは、角度ドリフトを推定する方法が運動中に使用される場合に特に役立つ。

ＦＡＳＴ検知器は、単独で使用されると、スケール変更にもかかわらず頑強ではないということに注意すべきである。この問題は画像ピラミッドの構造（すなわち、画像の多解像度表現（ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｉｍａｇｅ））により解決される。

ハリス検知器、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）検知器、ＳＩＦＴ（スケール不変特徴変換：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）検知器などの従来技術からの他の検知器を使用することも同様に可能である。

検知器により識別される特異点毎に、記述子が判断される。本推定方法を実施するために選択される記述子のタイプは、２つの画像上に識別された点同士の実質的整合を可能にしなければならない。整合は、２つの比較対象画像上と、一対が同一のナビゲーション環境内で取得された２つの異なる画像内の２つの同一点に対応する、識別対象対の対上とで識別された関心点の記述子を可能にする場合有効であると考えられる。

好適な実施形態では、記述子はＯＲＢ（Ｏｒｉｅｎｔｅｄ Ｆａｓｔ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）記述子である。この記述子は、検知器により定義された領域内の２５６対の画素を比較し、２５６ビットのベクトルをそれから導出することにより生成される。有利には、ＯＲＢ記述子の判断は、後者が単純な画素比較により判断されるため、計算が速い。さらに、２つの記述子を比較することが非常に速い。これは記述子が２進ベクトルに対応するからである。このとき、例えばハミング距離などの単純なツールを使用することによりそれを２つ一組で比較することが可能である。ＯＲＢ記述子の別の利点は、ぼやけた画像に適用されるおよび／または明度の変化の存在下で適用される場合に頑強であるということである。

しかし、相対的角度偏差を推定する方法はＯＲＢ記述子の使用に限定されない。ＳＩＦＴとＳＵＲＦ記述子などの他の記述子が使用され得る。

図４は、一対の整合点と、角度偏差が２つの画像から判断され得るやり方とを示す。

この例では、２つの画像４００、４０１が概略的に示される。第１の画像４００は、２つの関心点４０２、４０３を含む基準画像である。第２の画像４０１は、２つの関心点４０５、４０６を同様に含む現在画像である。これらの異なる関心点は整合した（工程１０４）。したがって、第１の対は点４０２と４０５からなり、第２の対は点４０３と４０６からなる。

角度偏差（工程１０５）は以下のように判断され得る。この目的は、第１に、２対の点間の画素差の測定結果から角度差を取得することである。２対の点が正しく整合したことと、２つのショット間のロボットの運動がもっぱら回転から生じるということ（すなわち、実際の運動が純粋な回転であるかそうでなければ点が無限遠に位置する）を仮定する。

Ｘ軸に沿った回転はｗ_ｘで示され、次式を使用することによりラジアンで表現され得る。

ここで、ｚ_１とｚ’_１は、基準画像４００内と現在画像４０１内のそれぞれに位置する第１の対の関心点４０２、４０５の座標に対応する複素数であり、ｚ_２とｚ’_２は、基準画像４００内と現在画像４０１内のそれぞれに位置する第２の対の関心点４０３、４０６の座標に対応する複素数であり、ａｒｇ（）は複素数の引数を判断する関数を表す。

次に、量ｏは次式を使用して判断される。

画像の中心はＣで示される。ｄは、実数部がＸ軸に沿った偏差に対応し虚数部がＹ軸に沿った偏差に対応する複素数である。したがって、ｄは以下のように表現され得る：

カメラの水平方向開口角はｏ_ｈで示され、垂直開口角はｏ_ｖで示される。ｉ_ｈは画像の幅を、ｉ_ｖは画素内の高さを示す。Ｘ、Ｙ、Ｚ軸に沿った回転ｗ_ｙとｗｚは次式を使用して判断され得る。

しかし、上の仮定は実際には検証されない可能性がある。これは、いくつかの対の点はそうであってはならない場合、整合され得るからである。これらの悪い整合は、例えば視差現象を受けて基準画像内で不可視であった新しい点の出現に起因し得る。これらの悪い整合はまた、使用される記述子の不完全な精度または関心点の位置に関する不正確さの結果であり得る。これらの悪い整合はまた、ロボットに対し余りに近くに位置する対象物に起因し得、このためショットからショットへの移動が複雑なやり方で表される。移動している対象物も同様に、悪い整合を引き起こし得る。

本明細書では、基準画像内の関心点と、それに整合しているが現実には別の点に対応する現在画像内の関心点とからなる一組は本明細書の残りの部分では表現「インコヒーレント対」で示される。対照的に、対は、関心点が正しく整合した場合コヒーレントと呼ばれる。

工程１０６において識別された点の対の組からコヒーレント対を抽出するために、以下の技術が使用され得る。一組の識別された対が少なくとも１つのコヒーレント対を含むことと、コヒーレント対は、それらの１つに基づいて計算されたモデルが他のコヒーレント対すべての良い結果を提供し、インコヒーレント対に悪い結果を提供するようにすることとを考慮する。対照的に、インコヒーレント対に基づき計算されたモデルは、無作為に対応する非常に少ない対の点だけの良い結果を提供することになる。この原理は、特にＲＡＮＳＡＣ（ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムにより実施される。この原理は、一組のデータ点の中から発見される最大の点の良い結果を提供するモデルを可能にする。本発明による方法という文脈内では、モデルは、特に上に与えられた式により実施され得る。次に、結果の認定は、基準画像内の関心点からおよび現在画像内の整合点からモデルにより予測される点間の距離の判断に依存する。

ＲＡＮＳＡＣ技術の使用は、処理動作が最少数の点（例えば、２対の点）に対して行われるため、少ない計算資源を必要とすることから有利である。

図５は、ＲＡＮＳＡＣなどのコヒーレント対を識別するための技術を適用することにより得られ得る結果の例を示す。

コヒーレント対５００〜５０８とインコヒーレント対５０９〜５１３だけでなく基準画像５３０と現在画像５２０も示される。ロボットは２つの画像間を進んだ。インコヒーレント対は悪い整合に対応し、コヒーレント対は左から右への全体偏差を示すように見える。

図６は、移動要素の絶対角度位置を推定する方法の簡略図を示す。

以下に述べられる方法の目的はロボットの絶対角度位置を推定することである。上記推定方法とは対照的に、この方法は、ロボットの配向を、所与の基準画像に関連付けられた標的コースにもはや関係するのではなくむしろナビゲーション空間（すなわち、ロボットの運動空間）における絶対的やり方で判断できるようにする。この方法も同様に、特にロボットがその場で回転する場合にロボットが絶対角度位置に到達するようにロボットの運動を制御できるようにする。

絶対角度位置を推定する方法は、学習段階６００と、複数の候補画像から基準画像を選択する段階６０１と、角度位置を推定する段階６０２とを含む。

好適な実施形態では、角度位置の推定の段階６０２は、上述のように相対的角度偏差を推定する方法の工程を再開する。

図７は、絶対角度位置を推定する方法の学習段階を概略的に示す。

学習段階は第１に、ナビゲーション空間を表す基準画像７００を捕捉することからなる。

一例として、搭載画像センサはロボットを中心として３６０ラジアンの（すなわち、水平面内の）回転運動を行うように制御され得る。

この学習段階中に撮影された一組の画像は本明細書の残りの部分ではパノラマと呼ばれる。

一例として、広角またはパノラマ画像センサがこの目的のために使用され得る。しかし、このタイプのセンサは特別のレンズを必要とし、これらは画像を変形するということに注意すべきである。さらに、このタイプのセンサはロボット自体により妨害されないようにロボットの最上部に配置される必要がある。

これらの制限を克服するために、上記センサのショット角度より制限されたショット角度を有する画像センサを使用することが可能である。

ヒューマノイドロボットの場合、画像センサは、３６０ラジアン回転することができるようにされたロボットの頭内に組み込まれ得る。パノラマを構成する画像は、ロボットの頭を回転させるロボットの能力から恩恵を受けることにより、そして例えば相対的角度偏差を推定する方法を適用することにより頭の回転を制御することにより、必要な視野全体にわたって取得されることになる。

または、頭の動きはその場で回転するロボットにより置換され得る。これは、特にロボットの頭が３６０ラジアン回転し得ない場合に役立ち得る。

基準画像は、２つで部分的に重なるように取得される。一例として、パノラマ内の２つの隣接基準画像が半分ずつ重畳し得る。換言すれば、これらの２つの画像はこの場合、１つの半画像を共有する。この特徴は、所与の基準画像が場合によっては１つまたは複数の関心点および／または１つまたは複数の他の基準画像を共有することを意味する。重畳領域が大きければ大きいほど推定はより信頼できるようになるために有利である。

パノラマの基準画像毎に、それらに関連付けられたデータが抽出および／または格納され得る７０１。一例として、これらのデータは、関心点と、その記述子と、ロボットの初期位置に対する基準画像の角度位置とに対応する。ロボットの初期角度位置は、実際には基準として役立ち得る。パノラマを構成する基準画像は、車両内部にあるメモリ内に格納され得る。

次に、パノラマを構成する基準画像が互いに比較される７０２。この目的のために、パノラマの様々な画像から抽出された関心点同士が上述のように整合される。一例として、これらの比較の結果は混同行列と呼ばれる行列内に格納され得る。この行列は、そのボックスのそれぞれが、比較されたパノラマの２つの画像の整合点の数に等しい整数を含むように適応化される。次に、パノラマの画像間での類似度のレベルを照査することが可能である。

非揮発性メモリ内へパノラマの画像を記録することにより、例えばＲＡＭタイプのランダムアクセスメモリを解放できるようにする。高速アクセスに関しては、関心点の記述子だけはランダムアクセスメモリ内に維持され得る。さらに、非揮発性メモリ内へパノラマの画像を格納することにより、ロボットが再開された後でも所与のパノラマを恒久的に維持できるようにする。

図８は、パノラマ内の基準画像を選択するやり方と、どのようにしてロボットの絶対角度位置が推定されるかとを示す。

学習段階後、ロボットの絶対角度位置は現在画像からおよびロボットのオドメトリから推定され得る。

最初に、現在画像が取得される８００。

次に、ロボットの現在の角度位置は先の角度位置の推定とオドメトリによる移動の測定とから推定される（工程８０１）。この推定は、必ずしも精密ではないが、ロボットの絶対位置の有り得る最も精密な推定を可能にする最良の基準画像の探索の開始を可能にする。

推定角度位置８０１に最も近いと考えられる角度位置に関連付けられたパノラマの画像が候補基準画像として選択され、その関心点は現在画像内の関心点と整合される（工程８０２）。

次に、工程８０２において識別された対の数と先の反復において得られた対の数と（すなわち、必要に応じ既に選択された別の候補基準画像と）を比較する機能を有する試験８０４が適用される。

工程８０２において識別された対の数が所定値Ｐ以下の百分率に対応すれば、この整合に使用される基準画像の近傍であるパノラマ内の基準画像が候補基準画像として当然選択される８０５。一例として、Ｐ＝３０％。この新しい候補基準画像は、本方法により当初選択されたパノラマの画像から反復毎にますます遠ざかるように、パノラマ内で選択される。次に、工程８０２が再び適用される。

試験８０４の結果が所定値Ｐより高い百分率に対応する対の数を与えれば、候補基準画像は満足と考えられ、画像Ｉと呼ばれる。

満足であると判断された候補基準画像Ｉが発見されると、現在画像はパノラマ内のＩの左に位置する画像Ｉ_ｇと比較される８０６。

整合した関心点の数が画像Ｉのものより大きければ８０７、新しい候補画像は画像Ｉ_ｇである（すなわちＩ＝Ｉ_ｇ）８０８。

整合した関心点の数が画像Ｉより画像Ｉ_ｇで低ければ、現在画像はパノラマ内のＩの右に位置する画像Ｉ_ｄと比較される８０９。

整合した関心点の数が基準画像Ｉのものより大きければ１０、新しい候補画像は画像Ｉ_ｄである（すなわちＩ＝Ｉ_ｄ）８１１。

基準画像Ｉが選択されると、絶対角度位置は、入力として現在画像とパノラマ内で選択された基準画像Ｉとを取ることにより上記相対的角度偏差を推定する方法を使用することにより判断される８１２。この方法は、初期角度位置に対する角度差を推定する。したがって、絶対位置は、初期角度位置が基準画像Ｉに関連付けられ、ナビゲーション環境に対して固定された基準点で表現され得るため、明確に判断され得る。角度差は、ロボットの絶対位置が初期角度位置から導出され得るようにする。

図９は、絶対角度位置の推定を使用するロボットの回転運動を制御するやり方を示す。

この目的のために、絶対位置の推定９００は上述（図８）のように行われる。

次に、ロボットの移動の制御を可能にするパラメータが、既に選択された目的地に到達するために通常のやり方で判断される９０１。

移動を行うために取られるべきコースに関連付けられたパノラマのその画像が選択される９０２。

搭載画像センサは、現在画像を取得するように上述のコースの方向に向けられる９０３。センサがヒューマノイドロボットの動く頭の上に取り付けられれば、この運動をするのは頭である。

現在画像内の点が標的画像内の点に整合され得る限り、ロボットの運動は角度ドリフトの制御により実施される９０４。角度ドリフトの補償による運動の制御がもはや効果的でなければ、運動はロボットのオドメトリを使用することにより制御され得る。

図１０は、角度ドリフトを推定するための、相対的および絶対的角度位置を判断するための、および上述のように運動を制御するための様々な技術を実施し得るヒューマノイドロボットを示す。この図に選択された例はＡｌｄｅｂａｒａｎ Ｒｏｂｏｔｉｃｓ社のＮＡＯ（登録商標）ロボットである。ロボットは、３６０ラジアン円運動を行い得る頭に搭載された２つのセンサ１０００、１００１を含む。

頭は、ロボットが本発明を実施するために有用な知覚および表情能力を備え得るようにする。

一例として、ロボットは、毎秒最大３０の画像を捕捉することができる２つの６４０×４８０ＣＭＯＳカメラ、例えば、センサが０Ｖ７６７０と呼ばれるＯｍｎｉｖｉｓｉｏｎ（商標）（１／６インチＣＭＯＳセンサ：３．６μｍ画素）であるカメラを含む。額に配置された第１のカメラ１０００はその水平線方向に向けられ、一方、口に配置された第２の１００１はその直接環境を調べる。ソフトウェアは、ロボットが見るものの写真と映像ストリームとが取得され得るようにする。この例では、第１のカメラ１０００は、ロボットの相対的および絶対的角度位置を推定する方法を実施するためのおよび上記運動を制御する方法を実施するための現在画像と基準画像とを取得するために使用され得る。

本明細書では、これらの方法は、ロボット上、より具体的にはヒューマノイドロボット上の実装という文脈内で説明された。しかし、本発明は任意の移動要素の角度位置を判断するために適用され得る。具体的には、本発明は任意のタイプの車両、ボート、または航空機に適用され得る。

一例として、本発明は、本発明を実施するようにされたＧＰＳ（全地球測位システム）受信器を含む自動車に適用され得る。有利には、角度ドリフトおよび／または絶対角度位置の推定は、特に過度に少ない数の衛星が前記受信器に対して可視の場合のＧＰＳ測定の補正を可能にする。

Claims (16)

1. 基準方向に対する移動要素の角度偏差を推定する方法であって、
   − 前記移動要素の基準方向を表す基準画像を取得する工程（１０１）と、
   − 前記移動要素の現在方向を表す現在画像を取得する工程（１０２）と、
   − 前記基準画像と前記現在画像内の関心点を識別する工程（１０３）と、
   − 少なくとも２対の関心点を判断する工程（１０４）であって、一対は前記現在画像内の関心点と前記基準画像内のそれに対応する関心点とからなる、工程（１０４）と、
   − 前記先の工程で識別された前記少なくとも２対の点を使用することにより前記移動要素の前記現在方向と前記基準方向との角度偏差を判断する工程（１０５）とを含む方法。
2. 前記関心点は２進ベクトルに対応する記述子に関連付けられ、前記対の前記判断工程（１０４）は２つのこれらベクトルの比較により実施され、一対の関心点は、２つの関心点の前記２つのベクトルが、他の関心点に関連付けられた他の候補ベクトルに対して最も近いと考えられると識別される、請求項１に記載の方法。
3. 前記角度偏差は、前記移動要素に対して固定された正規直交基準座標系の３つの軸Ｘ、Ｙ、Ｚに沿って判断される（１０５）、請求項１または２に記載の方法。
4. 前記角度偏差の前記推定の前記品質を確認する工程（１０６）であって、前記品質は、整合した関心点の対（１０４）の前記数が所定閾値を越えると十分であると考えられる、工程をさらに含む請求項１〜３のいずれか一項に記載の方法。
5. 前記品質が不十分であると考えられると新しい基準画像が取得される（１２０）、請求項４に記載の方法。
6. 前記基準画像のリフレッシュ速度は前記関心点の質に応じて適応化され、前記品質は正しい関心点のレベルから推定され、前記基準画像はこのレベルが所定閾値未満になると直ちに更新される、請求項１〜５のいずれか一項に記載の方法。
7. 前記現在画像の前記リフレッシュ速度は、前記現在画像内で識別された前記関心点間の推定平均距離に応じて適応化され、前記リフレッシュ速度は前記関心点が互いに近づくと増加される、請求項１〜６のいずれか一項に記載の方法。
8. 前記基準方向は前記移動要素が移動するために追随する必要がある標的コースに対応し、前記移動要素の前記移動を制御する（２０３）ためのコマンドは、最小化された前記方法により推定された角度偏差（２００）であるように判断され適用される（２０１、２０２）、請求項１〜７のいずれか一項に記載の方法。
9. 前記基準画像は、前記現在画像を取得する責任を負うセンサの視野内に少なくとも部分的に留まり、所定最少数の関心点が整合し得るように選択される、請求項１〜８のいずれか一項に記載の方法。
10. 前記当初推定角度偏差は、前記移動要素が移動するために追随する必要がある標的コースに対してαラジアンであり、前記基準方向は、−α／２ラジアンの角度偏差が加えられた前記標的コースに対応し、前記移動要素の移動を制御するためのコマンドは、前記推定角度偏差がその後＋α／２ラジアンに可能な限り近くなるように判断され適用される、請求項１〜９のいずれか一項に記載の方法。
11. 前記基準画像は、前記移動要素に搭載されショット時に前記基準方向に向けられる画像センサ（１０００）により取得される、請求項１〜１０のいずれか一項に記載の方法。
12. ナビゲーション空間に対して固定された基準点における移動要素の角度位置を推定する方法であり、
    − 前記ナビゲーション空間をカバーする複数の画像からなるパノラマを取得する工程（６６００、７００）であって、前記パノラマの１つの画像は前記移動要素から離れる方向を表す、工程と、
    − オドメトリにより前記移動物体の角度位置を推定する工程と、
    − 前記パノラマの前記画像から基準画像を選択する工程（６０１）であって、前記画像は前記先行工程において推定された前記角度位置に対応する、工程と、
    − 前記移動要素の前記角度位置の推定を精緻化する工程（６０２）であって、前記角度位置は、前記選択された基準画像と共に請求項１〜１２のいずれか一項に記載の方法を適用することにより推定される角度ドリフトから導出される、工程とを含む方法。
13. 前記移動要素はヒューマノイド型のロボットである、請求項１〜１２のいずれか一項に記載の方法。
14. 前記移動要素は自動車である、請求項１〜１３のいずれか一項に記載の方法。
15. 請求項１〜１４のいずれか一項に記載の方法を実施するようにされた手段を含むヒューマノイドロボット。
16. プログラムがデータ処理モジュールにより行われると請求項１〜１４のいずれか一項に記載の方法を実行するための命令を有するコンピュータプログラム。

Images