JP2021509215A

JP2021509215A - 地面テクスチャ画像に基づくナビゲーション方法、装置、デバイス、および記憶媒体

Info

Publication number: JP2021509215A
Application number: JP2020560540A
Authority: JP
Inventors: 迎春王; 彬 ▲紀▼
Original assignee: Beijing Geekplus Technology Co Ltd
Current assignee: Beijing Geekplus Technology Co Ltd
Priority date: 2018-10-19
Filing date: 2019-07-29
Publication date: 2021-03-18
Anticipated expiration: 2039-07-29
Also published as: CN109556596A; JP6921341B2; US20200333162A1; US11644338B2; WO2020078064A1

Abstract

本出願は、地面テクスチャ画像に基づくナビゲーション方法、装置、デバイスおよび記憶媒体を公開し、ここで、前記方法は、取得した現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第１ポーズの決定することと、前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定された条件を満たすとの判定結果に応じて、前記現フレーム画像をキーフレーム画像としてマップに挿入し、閉ループ検出を実行し、ループバックキーフレーム画像を決定することと、前記現フレーム画像と前記ループバックキーフレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第２ポーズを決定することと、前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正することを含む。

Description

関連出願の相互参照
本出願は、２０１８年１０月１９日に中国特許局に提出し、出願番号が２０１８１１２２０７４９.１であり、発明名称が「地面テクスチャ画像に基づくナビゲーション方法、装置、デバイス、および記憶媒体」との中国特許出願を基礎とする優先権を主張し、その開示の総てをここに取り込む。

本出願は、ロボットの技術分野、例えば、地面テクスチャ画像に基づくナビゲーション方法、装置、デバイスおよび記憶媒体に関する。

情報技術、自動制御技術の発展により、ロボットは既に徐々に人々の日常生活に入り、複雑な環境下で人間の仕事を代替することが十分にでき、且つ、独立した計画、自己組織化を備え、例えば、リアルタイムポジショニングとマップ構築（ＳＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ、ＳＳＬＡＭ）ナビゲーションの倉庫の無人搬送車（ＡｕｔｏｍａｔｅｄＧｕｉｄｅｄＶｅｈｉｃｌｅ，ＡＧＶ）は、ＳＳＬＡＭナビゲーションを通じて貨物運送を完了できる。

関連技術では、ロボットは視覚的ＳＳＬＡＭナビゲーションを使用し、主にＯＲＢ（ＯｒｉｅｎｔｅｄＳＦＡＳＴａｎｄＲｏｔａｔｅｄＢｉｎａｒｙＲｏｂｕｓｔＩｎｄｅｐｅｎｄｅｎｔＥｌｅｍｅｎｔａｒｙＦｅａｔｕｒｅｓ）アルゴリズムが検出した特徴点の方式を通じ、同時にポジショニングとマップ構築を実現する。ただし、複雑なシーンの画像では、特徴位置の複雑さが比較的高く、特徴の選択と抽出が比較的難しいため、画像の特徴情報に依存するＳＳＬＡＭナビゲーションの精度が比較的低くなる。一方、単純なシーンの画像では特徴点が少なく、信頼性が低いため、ＳＳＬＡＭナビゲーションの精度に影響する。

本出願は、地面テクスチャ画像に基づくナビゲーション方法、装置、デバイスおよび記憶媒体を提供し、ロボットが画像の特徴情報に依存するＳＳＬＡＭナビゲーションの精度が比較的低くなる技術的問題を解決する。

本出願は、地面テクスチャ画像に基づくナビゲーション方法を提供し、前記方法は、
取得した現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第１ポーズの決定することと、
前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定条件を満たすとの判定結果に応じて、前記現フレーム画像をキーフレーム画像としてマップに挿入し、閉ループ検出を実行し、ループバックキーフレーム画像を決定することと、
前記現フレーム画像と前記ループバックキーフレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第２ポーズを決定することと、
前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正することとを含む。

本出願はさらに、地面テクスチャ画像に基づくナビゲーション装置を提供し、前記装置は、
取得した現フレーム画像と前フレーム画像が変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第１ポーズを決定するように構成された第１登録モジュールと、
前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定条件を満たすとの判定結果に応じて、判定結果をレイアウトとループバック検出モジュールに出力するように構成された第１判定モジュールと、
前記第１判定モジュールが入力した判定結果を受信し、前記現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行し、ループバックキーフレーム画像を決定するように構成されたレイアウトとループバック検出モジュールと、
前記現フレーム画像と前記ループバックキーフレーム画像の変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第２ポーズを決定するように構成された第２登録モジュールと、
前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正するように構成された修正モジュールとを含む。

本出願はさらに、電子デバイスを提供し、
少なくとも１つのプロセッサーと、
少なくとも１つのプログラムを格納するように構成されたメモリとを含み、
前記少なくとも１つのプログラムは、前記少なくとも１つのプロセッサーによって実行されるので、前記少なくとも１つのプロセッサーは、本出願の任意の一実施形態で説明される前記地面テクスチャ画像に基づくナビゲーション方法を実施することができる。

本出願はさらに、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体上にコンピュータプログラムを格納し、このプログラムがプロセッサーによって実行される時に、本出願の任意の一実施形態の記載の地面テクスチャ画像に基づくナビゲーション方法を実現する。

本出願は、地面テクスチャ画像に基づくナビゲーション方法、装置、デバイス、および記憶媒体を提供し、地面テクスチャ画像に基づくＳＳＬＡＭナビゲーションの実行時に、変換ドメインに基づく画像登録方式によりＳＳＬＡＭ追跡を実現し、第１ポーズを決定し、且つ現フレーム画像がキーフレーム画像の作成条件を満たすと判定された情況のもと、マップ上にキーフレーム画像を追加し、且つ閉ループ検出を実行し、閉ループ検出に基づき決定されたループバックキーフレーム画像と変換ドメインの画像登録方法に基づいて、第２ポーズを計算し、第１ポーズと第２ポーズに基づき累積誤差を決定し、この累積誤差に基づいてマップを修正し、複雑な環境下のナビゲーションの精度を実現することができる。

は関連技術のカーゴピッキングシステムのシステム構成模式図である。本出願の実施形態によって提供される地面テクスチャ画像に基づくナビゲーション方法のフローチャート模式図である。本出願の実施形態によって提供される地面テクスチャ画像に基づく別のナビゲーション方法のフローチャート模式図である。本出願の実施形態によって提供される地面テクスチャ画像に基づく別のナビゲーション方法のフローチャート模式図である。本出願の実施形態によって提供される地面テクスチャ画像に基づくナビゲーション装置の構造模式図である。本出願の実施形態によって提供される電子デバイスの構造図である。

図１に示すカーゴピッキングシステムのシステム構造模式図を参照すると、カーゴピッキングシステムは、少なくとも一台のロボット１０、例えばＡＧＶであれば、制御システム２０、格納エリア３０、および少なくとも１つのピッキングステーション４０を含む。一実施形態では、格納エリア３０に多くの保管容器３１が設定され、保管容器３１には、多種の貨物が置かれる。保管容器３１は、貨物を収納できる容器であり、棚、パレット、カーゴボックスなどが考えられる。図１で棚を例とすると、棚は、スーパーマーケットで多種の商品を置く棚と同じように、多くの棚の間は棚配列形式で配置される。各ピッキングステーション４０では、ピッキング要員４１またはピッキングデバイス（例えば、ロボットアーム）が、ピッキング作業を行い、同時に、ピッキングステーション４０にシード壁を配置する。ここで、シード壁にはピッキング商品を格納するためにトート５０が設定される。

制御システム２０は、サーバー上で実行された、データ記憶および情報処理機能を備えたソフトウェアシステムであり、無線または有線を通してハンドリングロボット１０、ハードウェア入力システム、および他のソフトウェアシステムに接続することができる。制御システム２０は、少なくとも一つのサーバーを含み、集中制御アーキテクチャまたは分散コンピューティングアーキテクチャであることができる。サーバーはプロセッサー２０１とメモリ２０２を備え、メモリ２０２の中に注文プール２０３を備えることができる。

制御システム２０とロボット１０が無線通信し、作業者は、操作コンソール６０を通じて制御システム２０を操作し、ロボット１０は、制御システム２０の制御下で貨物輸送タスクを行う。例えば、制御システム２０は、輸送タスクに基づきロボット１０ために移動経路を計画し、ロボット１０は移動経路に基づき棚配列内の空きスペース（ロボット１０通行通路の一部分）に自動的にナビゲートする。ロボット１０のために移動経路を便利に計画するため、あらかじめロボット１０の作業領域（この作業領域は、少なくとも棚領域３０およびピッキングステーション４０が配置される領域を含む）を、複数のサブ領域（すなわち、セル）に分割し、ロボット１０は順にサブ領域に移動し、従って移動軌跡を形成する。そしてロボット１０が自律的で且つ高速、正確に移動し、目標位置に達すること実現するために、本出願は地面テクスチャ画像に基づくナビゲーション方法を提出し、ナビゲーション精度を改善する。

以下、本出願に対し図面および実施形態を合わせて説明する。ここで説明される具体的実施形態は、本出願を説明するためにのみ使用され、本出願を限定するためではない。この他さらに説明が必要なのは、説明を簡単にするために、図面は本出願の関連する部分のみを示しており、すべての構造を示しているわけではない。

実施例一
図２は本出願の実施形態によって提供される地面テクスチャ画像に基づくナビゲーション方法のフローチャート模式図で、本実施形態は、ロボットがＳＳＬＡＭナビゲーションに基づく情況に適用することができ、この方法は、地面テクスチャ画像に基づくナビゲーション装置により実行することができ、且つ、例えばロボットなど、電子デバイスに統合することができる。本実施形態では、この地面テクスチャ画像に基づくナビゲーション方法は、主に以下のステップを含む。

ステップＳ１１０では、取得された現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、現フレーム画像の第１ポーズを決定する。

本実施形態では、地面テクスチャ特徴に基づくＳＳＬＡＭナビゲーション実行時、主に追跡、レイアウト、再配置、およびループ検出を含む。一実施形態では、追跡リンクもリアルタイムの位置決めであり、主に前テクスチャ画像により現フレームのポーズを計算し、したがって、追跡リンク実行前にロボットに対し初期化され、つまり、初期位置のグローバル座標の初期値を決定する。一実施形態では、初期位置で収集されたＱＲコード（登録商標）情報を識別することによってグローバル座標の初期値を決定することができる。初期化が完了し、現フレーム画像のポーズが計算されると、一実施形態では、取得された現フレーム画像と前フレーム画像は、変換ドメインに基づいて画像登録を実行し、このことにより現フレーム画像の第１ポーズを決定し、第１ポーズは現フレーム画像運動の回転角度と並進量を含む。

一実施形態では、以下ステップのように画像登録を実行できる。（１）取得した前フレーム画像と現フレーム画像はフーリエ変換を行い、合計を求める。（２）低域ノイズを除去するためにハイパスフィルターを適用する。（３）フィルタリングされた画像を直交座標系から対数極座標形式に変換する。（４）対数極座標のもと画像合計のデジタル極座標形式に対しフーリエ変換を実行する。（５）ステップ（４）の変換結果と相互エネルギースペクトルの計算式に基づき、前フレーム画像と現フレーム画像は対数極座標下の相互エネルギースペクトルに対し決定する。（６）得られたエネルギースペクトルに対し逆フーリエ変換を実行し、逆フーリエ変換結果を得る。（７）逆フーリエ変換結果を決定する。ピーク値の最大値に対応する座標は、逆フーリエ変換結果のピーク値の最大値に対応する座標に基づき、スケーリング係数と回転係数を取得する。（８）取得したスケーリング係数と回転係数に基づき、現フレーム画像に対し逆変換を実行し、新しい画像を取得する。（９）画像の合計に対し、高速フーリエ変換を実行し、合計を求め、エネルギースペクトル計算公式に基づき、合計のエネルギースペクトルを計算し、逆フーリエ変換を実施することに対し、逆フーリエ変換結果を得る。（１０）逆フーリエ変換の最大ピーク値に対応する座標を決定し、即ち並進パラメータとし、前記並進パラメータに基づき現フレーム画像の第１ポーズを決定することができる。

ステップＳ１２０では、現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、現フレーム画像が事前設定条件を満たすとの判定結果に応じて、ステップＳ１３０−Ｓ１５０を実行する。現フレーム画像が事前設定条件を満たさないとの判定結果に応じて、ステップＳ１１０が継続実行される。

ＳＳＬＡＭ技術では、追跡とマップ構築が同時に行われるため、現フレーム画像を取得する情況のもと、さらに現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たすかどうかを判定する必要があり、もし満たしてないなら追跡用リンクを継続実行し、満たす場合は、ステップＳ１３０−Ｓ１５０のようにマップ構築を実行し、且つループバック検出を実行する必要がある。一実施形態では、キーフレーム画像を作成するために満たされる必要がある事前設定条件は、マップ構築はアイドル状態にあり、且つ現フレーム画像と前キーフレーム画像との間の画像フレームの数は、事前設定された第１閾値より大きいことを含み、一実施形態では、第１閾値は２０であり、現フレーム画像の合計と前キーフレーム画像との間のグローバル座標距離差は、事前設定の第２閾値より大きい。本実施形態では、現フレーム画像と前キーフレーム画像との間のグローバル座標距離差は、現フレーム画像と前キーフレーム画像との間のオフセット距離を指し、現フレーム画像と前キーフレーム画像が各自対応するグローバル座標に基づき、数式計算により得ることができ、そして現フレーム画像と前キーフレーム画像各自のグローバル座標は、現フレーム画像と前キーフレーム画像が各自対応するポーズとグローバル座標の初期値に基づいて決定されたものである。

ステップＳ１３０では、現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行し、ループバックキーフレーム画像を決定する。

現フレーム画像がキーフレーム画像を作成するために満たされる必要がある事前設定条件の判定結果に応じて、現フレーム画像をキーフレーム画像としてマップに挿入してマップを構築する。一実施形態では、キーフレーム画像を通じてノードとし、及びマルチフレーム画像間の制約関係に基づいて決定したエッジがマップを共同構成する。同時に推定されたロボットの移動軌跡と構築されたマップの長時間の精確性を保証するために、同じ場所を通過するイベントをロボットカメラが効果的に検出する必要があるため、キーフレーム画像を作成と同時に閉ループ検出を行う必要がある。閉ループ検出結果に基づき、ループバックキーフレーム画像を決定し、このループバックキーフレーム画像は、一つのループバックを構成するすべてのキーフレーム画像のうち、現フレーム画像に最も類似するキーフレーム画像であってよい。

ステップＳ１４０では、現フレーム画像とループバックキーフレーム画像を変換ドメインに基づいて画像登録を受け、この現フレーム画像の第２ポーズを決定する。

ループバックキーフレーム画像を決定した後、現フレーム画像とループバックキーフレーム画像を変換ドメインに基づいて画像登録を受け、現フレーム画像の第２ポーズを決定する。一実施形態では、この第２ポーズは、現フレーム画像運動の回転角度と並進量を含む。画像登録プロセスについては、ステップＳ１１０の説明を参照することができ、ここでは繰り返さない。

ステップＳ１５０では、前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正する。

本実施形態では、ＳＳＬＡＭ技術は前フレーム画像に基づき現フレーム画像のポーズを計算し、即ち次のフレーム画像のポーズは前のフレーム画像のポーズに依存するので、しばらくすると累積誤差の発生は避けることができず、構築されたマップの精確性に影響する。

したがって、閉ループ検出を実行し、第２ポーズを決定し、現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定する。累積誤差に基づき、ループバック内のマルチフレームキーフレーム画像間の変換行列を修正し、及び構築されたマップを修正する。

本実施形態では、マップが構築完成された後、ロボットの移動中に、センサーを通じて周囲環境情報をリアルタイムで取得し、すでに構築完成したマップとマッチングされ、周囲環境におけるロボットの位置を決定し、一歩進んでナビゲーション移動を実行する。

本実施形態では、地面テクスチャ画像に基づくＳＳＬＡＭナビゲーションの実行時に、変換ドメインに基づく画像登録方式によりＳＳＬＡＭ追跡が実現し、第１ポーズを決定し、且つ現フレーム画像がキーフレーム画像の事前設定条件を満たすと判定された情況のもと、マップ上にキーフレーム画像を追加し、且つ閉ループ検出を実行し、閉ループ検出に基づき決定されたループバックキーフレーム画像と変換ドメインの画像登録方法に基づいて、第２ポーズを計算する。第１ポーズと第２ポーズに基づき累積誤差を決定し、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正し、複雑な環境下ナビゲーションの精確度を実現することができる。

実施例二
図３は本出願の実施形態によって提供される地面テクスチャ画像に基づく別のナビゲーション方法のフローチャート模式図である。本実施形態は、前記実施形態の基礎の上で説明され、この方法は、以下のステップを含む。

ステップＳ２１０では、取得された現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、現フレーム画像の第１ポーズを決定する。

ステップＳ２２０では、前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定条件を満たすとの判定結果に応じて、ステップＳ２３０−Ｓ２７０を実行する。現フレーム画像が事前設定条件を満たさないとの判定結果に応じて、ステップＳ２１０が継続実行される。

ステップＳ２３０では、現フレーム画像をキーフレーム画像としてマップに挿入し、且つ現フレーム画像とマップ内の他のすべてのキーフレーム画像の類似度を個別に計算し、類似度が第３閾値より大きいキーフレーム画像を候補セットに追加する。

本実施形態では、新しいキーフレーム画像がマップに追加された後、閉ループ検出が実行されなければならない。まず、フィルタリングは閉ループ（形成）のキーフレーム画像の可能性があり、そのうちの閉ループはロボットが特定の位置から一定時間移動した後、またその位置に戻ることを指す。一実施形態では、マップ内の他のキーフレーム画像と現フレーム画像との間の類似度に基づきフィルタリングを実行できる。そして現フレーム画像とマップ内の他のすべてのキーフレーム間の類似度は以下の２つの方法で個別に計算する。方法１は、スケール不変の特徴変換（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ，ＳＩＦＴ）を利用し、特徴は現フレーム画像とマップ内のすべてのキーフレーム画像との類似度を計算し、例えば、マッチング点数に基づき類似度の計算結果とすることができる。方法２は、変換ドメインに基づく画像登録アルゴリズムでは、回転と並進の位相相関アルゴリズムが実行された後、離散時間単位のインパルス関数シーケンスが取得され、そして相関ピーク値は２つの画像の登録ポイントを表し、相関ピーク値は２つの画像間の一致の度合いを直接反映する。これにより、順次、現フレーム画像とすべてのキーフレーム画像を変換ドメインに基づいて登録し、登録結果の回転と並進に基づき得られた相関ピーク値を類似度計算値とすることができる。上記の方法の任意の一つの方法を利用して一つのキーフレーム画像と現フレーム画像の間の類似度を決定した後、類似度が設定された第３閾値より大きいかどうかを判定でき、この類似度が第３閾値より大きい情況のもと、このキーフレーム画像を候補キーフレーム画像とすることができ、且つ候補セットに追加することができる。本実施形態において、現フレーム画像と各キーフレーム画像との類似度の算出方法は、上記の２つの方法による計算に限定されず、また、ここに限定されないその他類似のアルゴリズムにより計算することもできる。

ステップＳ２４０では、候補セットの中からループバック条件を満たす少なくとも３つのキーフレーム画像を選択し、少なくとも３つのキーフレーム画像と現フレーム画像の類似度の高い方から低い方への順に基づき、少なくとも３つのキーフレーム画像に対し順に並べ、且つ第１キーフレーム画像を順に並べたものを候補キーフレーム画像とする。

候補セットには複数のループバックの存在が可能であるため、任意の一つのループバックに対し、このループバック条件を満たす少なくとも３つのキーフレーム画像を候補セットから選択し、ステップＳ２３０から、候補セットの各キーフレーム画像が一つの類似度に対応していることが分かり、そして大きな（スケーリングされた）閉ループを検出するために、最も近いキーフレーム画像を使用する必要があり、つまり最も類似度の高いキーフレーム画像を使用する必要がある。従って少なくとも３つのキーフレーム画像と現フレーム画像の類似度の高い方から低い方への順に基づき、少なくとも３つのキーフレーム画像に対し順に並べ、且つ第１キーフレーム画像を順に並べたものを候補キーフレーム画像とする。

ステップＳ２５０は、候補キーフレーム画像と現フレーム画像との間のグローバル座標距離差が第４閾値より小さいかどうか判定し、候補キーフレーム画像と現フレーム画像との間のグローバル座標距離差が第４閾値より小さいという判定結果に応じて、候補キーフレーム画像をループバックキーフレーム画像とする。

候補キーフレーム画像を決定後、またこの候補キーフレーム画像に対し、さらに一歩検証し、この候補キーフレーム画像をループバックキーフレーム画像とできるかどうかを判定する必要がある。一実施形態では、画像の登録後、各キーフレーム画像は、このキーフレーム画像に対応する変換パラメータを対応して格納し、これにより、候補キーフレーム画像と現フレーム画像とのグローバル座標距離差を計算することができ、もし距離差が設定された第４閾値より小さければ、即ち前記候補キーフレーム画像をループバックキーフレーム画像とする。

もし候補キーフレーム画像と現フレーム画像の間のグローバル座標距離差が第４閾値より大いか、または等しいならば、即ちこの候補キーフレーム画像はループバックキーフレーム画像とできず、また、別のループバックの中から候補キーフレーム画像を新たに選択する必要があり、且つ候補キーフレーム画像がループバックキーフレーム画像とすることができるかどうかを継続判定する必要がある。

ステップＳ２６０では、現フレーム画像とループバックキーフレーム画像を変換ドメインに基づいて画像登録を実行し、現フレーム画像の第２のポーズを決定する。

ステップＳ２７０では、現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正する。

本実施形態では、地面テクスチャ画像に基づきＳＳＬＡＭナビゲーションを実行するとき、変換ドメインに基づく画像登録方式によりＳＳＬＡＭ追跡と閉ループ検出を実現し、次に前記累積誤差に基づいてマップ修正を行うため、累積誤差を決定し、ナビゲーション精度を向上させる。これ以外、閉ループ検出時、大きな（スケーリングされた）閉ループを検出するために、最も近いキーフレーム画像を使用し、キーフレーム画像と現フレーム画像の間の類似度の計算を導入し、変換ドメインに基づく画像登録時に２つのフレーム画像間の類似度を考慮しないことの欠如を補う。

実施例三
図４は本出願の実施形態によって提供される地面テクスチャ画像に基づく別のナビゲーション方法のフローチャート模式図である。本実施形態は、前記実施形態の基礎の上で説明される。図４を参照し、この方法はさらに以下のステップを含む。

ステップＳ３１０では、前フレーム画像が地面テクスチャ画像でない情況のもと、事前設定された数のキーフレーム画像を選択し、事前設定された数のキーフレーム画像と現フレーム画像を分け特徴点のマッチングを行い、且つマッチングの結果に基づき少なくとも１つの代替マッチングフレーム画像を決定する。

本実施形態では、もし遮断または突然の動きが発生した場合、結果、収集された前フレーム画像が地面テクスチャ画像でなくなり、すなわち特徴が失われた場合、グローバル再配置を実行する必要がある。一実施形態では、検索範囲を拡大することにより、事前設定された数のキーフレーム画像を選択することができ、事前設定された数のキーフレーム画像と現フレーム画像を分け特徴点のマッチングを行い、且つマッチング結果に基づき、代替マッチングフレーム画像を決定し、すなわち、現フレーム画像と類似するキーフレーム画像を探し出すことが代替キーフレーム画像となる。最後に、マッチング情況に基づきカメラ位置に対し最適化され、もし有効データが十分にある場合、追跡プログラムは引き続き実行される。

ステップＳ３２０では、少なくとも１つの代替マッチングフレーム画像に基づき、少なくとも１つの現フレーム画像の第３ポーズをそれぞれ計算する。

フィルタリングされた少なくとも１つの代替マッチングフレーム画像に基づき、変換ドメインの画像登録方法に基づき、少なくとも１つの現フレーム画像の第３ポーズを順次計算し、ここで、第３ポーズは、現フレーム画像運動の回転角度と並進量を含む。

ステップＳ３３０では、少なくとも１つの現フレーム画像の第３ポーズに基づいて、任意の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差が第５閾値未より小さいかどうかを判定し、任意の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離の差が第５閾値より小さいという判定結果に応じて、前記現フレーム画像に基づき次の新しいフレーム画像のポーズを計算する。

本実施形態では、異なる代替マッチングフレーム画像に基づいて、計算された現フレーム画像の第３ポーズは異なり、したがって、ある代替マッチングフレーム画像とこの現フレーム画像との間のグローバル座標距離差が第５閾値より小さいと判定された情況のもと、即ちこの代替マッチングフレーム画像と現フレーム画像との間の類似度が類似度要求を満たすかどうかを判定し、類似度要求が満たされた情況のもと、即ち追跡プロセスが継続実行され、即ちまた、前記現フレーム画像に基づき次の新しいフレーム画像のポーズが計算される。

もし代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差が第５閾値より大きいか、または等しいならば、即ち次の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差を判定し、以下同様である。

本実施形態では、遮断または突然の動きなどが発生し特徴が失われた場合、代替マッチングフレーム画像の決定および変換ドメインに基づく画像登録により、現フレーム画像の第３ポーズを決定し、且つ、代替マッチングフレーム画像と現フレーム画像の間のグローバル座標距離差、および代替マッチングフレーム画像と現フレーム画像の間の類似度が等しく事前設定条件を満たす情況のもと、ＳＳＬＡＭ追跡リンクを継続実行し、即ち、現フレーム画像に基づき、次の新しいフレーム画像のポーズの計算を継続し、これにより、追跡リンクの継続実行が保証され、ナビゲーションの精確度が確保される。

実施例四
図５は本出願の実施形態によって提供される地面テクスチャ画像に基づくナビゲーション装置の構造模式図であり、図５に示すように、前記装置は、取得した現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録（Ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ）し、現フレーム画像の第１ポーズ決定するように構成された第１登録モジュール４１０と、現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、現フレーム画像が事前設定条件を満たすとの判定結果に応じて、判定結果をレイアウトとループバック検出モジュールに出力するように構成された第１判断モジュール４２０と、前記第１判定モジュールが入力した判読結果を受信し、現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行し、ループバックキーフレーム画像を決定するように構成されたレイアウトとループバック検出モジュール４３０と、現フレーム画像とループバックキーフレーム画像の変換ドメインに基づいて画像登録を実行し、現フレーム画像の第２ポーズを決定するように構成された第２登録モジュール４４０と、現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正するように構成された修正モジュール４５０とを含む。

本実施形態では、第１登録モジュールにより第１ポーズを決定した後、且つ第１判断モジュールは現フレーム画像がキーフレーム画像を作成する事前設定条件を満たすと判定した情況のもと、レイアウトとループバック検出モジュールはマップ上にキーフレーム画像を追加し、且つ、閉ループ検出が実行され、第２登録モジュールが第２ポーズを決定するために、閉ループ検出に基づきループバックキーフレーム画像を決定する。修正モジュールは、第１ポーズと第２ポーズに基づき累積誤差を決定し、且つ累積誤差に基づきマップの修正を実行し、複雑な環境でのナビゲーションの精確度を実現することができる。

上記実施形態に基づいて、キーフレーム画像を作成する事前設定条件は、マップ構築がアイドル状態であり、且つ前記現フレーム画像と前キーフレーム画像の間の画像フレーム数が事前設定された第１閾値より大きいことを含み、および現フレーム画像と前キーフレーム画像との間のグローバル座標距離差は事前設定された第２閾値よりも大きいことを含む。

上記実施形態に基づいて、レイアウトとループバック検出モジュールは、現フレーム画像をキーフレーム画像としてマップに挿入し、且つ現フレーム画像とマップ内の他のすべてのキーフレーム画像の類似度をそれぞれ計算し、且つ類似度が第３閾値より大きいキーフレーム画像を候補セットに追加するように構成された類似度計算ユニットと、候補セットからループバック条件を満たす少なくとも３つのキーフレーム画像を選択し、少なくとも３つのキーフレーム画像と現フレーム画像の類似度の高い方から低い方の順に基づき、少なくとも３つのキーフレーム画像に対し順に並べ、且つ第１キーフレーム画像に順に並べたものを候補キーフレーム画像とするする用に構成された候補ユニットと、候補キーフレーム画像と現フレーム画像との間のグローバル座標距離差が第４閾値より小さいかどうかを判定するために設定され、候補キーフレーム画像と現キーフレーム画像の間のグローバル座標距離差が第４閾値より小さいという判定結果に応じて、候補キーフレーム画像をループキーフレーム画像とするように構成された判定ユニットとを含む。

上記実施形態に基づいて、この地面テクスチャ画像に基づくナビゲーション装置は、前フレーム画像が地面テクスチャ画像でない情況のもと、事前設定された数のキーフレーム画像を選択し、事前設定された数のキーフレーム画像と現フレーム画像をそれぞれ分けて特徴点のマッチングを行い、且つ、マッチング結果に基づき少なくとも１つの代替マッチングフレーム画像を決定するように構成されたマッチングモジュールと、少なくとも１つの代替マッチングフレーム画像に基づき少なくとも１つの現フレーム画像の第３ポーズをそれぞれ計算するように構成された第３登録モジュールと、少なくとも１つの現フレーム画像の第３ポーズに基づき設定し、任意の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差が第５閾値より小さいかどうかを判定し、任意の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離の差が第５閾値より小さいという判定結果に応じて、現フレーム画像に基づき次の新しいフレーム画像のポーズを計算するように構成された第２判定モジュールとをさらに含む。当該第２判定モジュールは、一つの代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差が第５閾値より大きいか、または等しいという判定結果に応じて、次の代替マッチングフレーム画像と現フレーム画像との間のグローバル座標距離差が第５閾値より小さいかどうかを判定する。

上記実施形態に基づき、現フレーム画像の第１ポーズ、または第２ポーズ、または第３ポーズは現フレーム画像運動の回転角度と並進量を含む。

上記実施形態に基づき、この地面テクスチャ画像に基づくナビゲーション装置は、初期化モジュールが、初期位置において、収集されたＱＲコード（登録商標）情報を識別することにより、グローバル座標の初期値を決定することをさらに含む。

本実施形態で提供される地面テクスチャ画像に基づくナビゲーション装置は、本出願の任意の実施形態で提供される地面テクスチャ画像に基づくナビゲーション方法を実行でき、実行方法に対応する機能モジュールと有利な効果を備える。

実施例五
図６は本出願の実施形態によって提供される電子デバイスの構造図である。図６は本出願の実施形態を実現するのに適した例示的な電子デバイス１２のブロック図を示す。本実施形態では、電子デバイスはロボットまたは他のデバイスであり得る。図６に示される電子デバイス１２は一つの例でしかなく、本出願の実施形態の機能と使用範囲に対しいかなる制限も課すべきではない。

図６に示すように、電子デバイス１２は、汎用コンピューティングデバイスの形で表されている。電子デバイス１２の構成要素は、少なくとも１つのプロセッサー１６、システムメモリ２８、異なるシステム構成要素（システムメモリ２８とプロセッサー１６を含む）を接続するバス１８を含み得るが、これらに限定されない。

バス１８はいくつかのタイプのバス構造の少なくとも１つを表し、メモリバスまたはメモリコントローラと、周辺バスと、グラフィック加速ポートと、プロセッサーとまたは様々なバス構造の中の任意のバス構造を使用するローカルバスを含む。例を挙げると、これらのアーキテクチャには、業界標準のアーキテクチャ（ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ，ＩＳＡｃｈｉｔｅｃｔｕｒｅ，ＩＳＡクチャ（ＭｉｃｒｏＣｈａｎｎｅｌＡｒｃｈｉｔｅｃｔｕｒｅ，ＭＡＣ）バスと、増強型ＩＳＡバス、ビデオ電子規格協会（ＶｉｄｅｏＥｌｅｃｔｒｏｎｉｃｓＳｔａｎｄａｒｄｓＡｓｓｏｃｉａｔｉｏｎ，ＶＥＳＡｄｓＡｓｓｏｃｉａｔｉｏｎ，ＶＥＳＡＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ，ＰＣＩ）バスとを含むがこれらに限定されない。

電子デバイス１２は、多種のコンピュータシステム可読媒体を含む。これらの媒体は、揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体を含む、電子デバイス１２がアクセスすることができる如何なる使用可能媒体であってよい。

システムメモリ２８は、揮発性メモリ形式のコンピュータシステム可読媒体を含むことができ、例えばランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ，ＲＡＭ）３０や或いは高速キャッシュメモリ３２（略して高速キャッシュ）である。電子デバイス１２は、他の取り外し可能や取り外し不可能のもの、揮発性や不揮発性コンピュータシステム記憶媒体を含むことができる。単なる例として、ストレージシステム３４は、リムーバブルではない不揮発性の磁気媒体（図６には示さず、一般に「ハードドライブ」と呼ばれる）の読み取りおよび書き込みに使用できる。図６には示されていないが、取り外し可能な不揮発性ディスク（例えば「フロッピーディスク」）に対する読み取りおよび書き込み用のディスクドライブ、および取り外し可能な不揮発性ディスク（例えばコンパクトディスク読み取り専用メモリ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ，ＣＤ−ＲＯＭ）、デジタル（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ，ＤＶＤ−ＲＯＭ）または他の光媒体）に対する読み取りおよび書き込み用の光学式ドライブを提供できる。これらの情況のもと、各ドライブは少なくとも１つのデータ媒体インターフェースを通じてバス１８に接続することができる。メモリ２８は、少なくとも１つのプログラム製品を含むことができ、このプログラム製品には（例えば少なくとも１つの）プログラムモジュールのセットを備え、これらのプログラムモジュールは、本出願の任意の実施形態の機能を実行するように設定される。

一セットの（少なくとも１つの）プログラムモジュール４２のプログラムやユーティリティ４０を備え、例えばメモリ２８に格納することができ、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも１つのアプリケーションプログラム、その他のプログラムモジュールとプログラムデータを含むがこれに限定されず、これらの例では、それぞれ或いはいくつかの組み合わせでネットワーク環境の実現を含むことができる。プログラムモジュール４２は、一般に、本出願に記載されている実施形態の機能や、或いは方法を実行する。

電子デバイス１２はまた少なくとも１つの外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信でき、また、少なくとも１つのユーザーがこの電子デバイス１２と交互に通信させることができ、および、またはこの電子デバイス１２が少なくとも１つの他のコンピューティングデバイスと通信できるようにする任意のデバイス（例えばネットワークカード、モデムなど）と通信する。この通信は、入力や出力（I/O）インターフェース２２を通じて実行できる。さらに、電子デバイス１２はまた、ネットワークアダプタ２０を通じて、少なくとも１つのネットワーク（例えばローカルエリアネットワーク（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ，ＬＡＮ）、ワイドエリアネットワーク（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ，ＷＡＮ）、および、または例えばインターネットなどのパブリックネットワーク）とも通信することができる。図に示すように、ネットワークアダプタ２０は、バス１８と電子デバイス１２のその他モジュールを通じて通信する。理解していただきたいのは、図には示されていないが、他のハードウェアおよび、またはソフトウェアモジュールを使用した電子デバイス１２と組み合わせることができ、マイクロコード、装置ドライバー、冗長処理ユニット、外部ディスクドライブアレイ、ディスクアレイ（ＲｅｄｕｎｄａｎｔＡｒｒａｙｓｏｆＩｎｄｅｐｅｎｄｅｎｔＤｒｉｖｅｓ，ＲＡＩＤ）システム、テープドライブ、およびデータバックアップストレージシステムなどを含むがこれらに限定されない。

プロセッサー１６は、システムメモリ２８に格納されたプログラムを実行することにより、少なくとも１つの機能的アプリケーションおよびデータ処理を実行し、例えば、本出願の実施形態によって提供される地面テクスチャ画像に基づいてナビゲーション方法を実施することであり、取得した現フレーム画像と前フレーム画像の間の変換ドメインに基づいて画像登録を実行し、現在のフレーム画像の第１ポーズを決定し、現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、現フレーム画像が事前設定条件を満たしているとの判定結果に応じて、現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行して、ループバックキーフレーム画像を決定し、現フレーム画像とループバックキーフレーム画像を変換ドメインに基づいて画像登録を行い、現フレーム画像の第２ポーズを決定し、現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正する。

実施例六
本実施形態は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体上にコンピュータプログラムを格納し、このプログラムがプロセッサーによって実行される時に、本出願の実施形態で提供される前記地面テクスチャ画像に基づくナビゲーション方法を実施する。取得した現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、現フレーム画像の第１ポーズの決定し、現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、現フレーム画像が事前設定条件を満たすとの判定結果に応じて、現フレーム画像をキーフレーム画像としてマップに挿入し、閉ループ検出を実行し、ループバックキーフレーム画像を決定し、現フレーム画像と前記ループバックキーフレーム画像を変換ドメインに基づいて画像登録を実行し、現フレーム画像の第２ポーズを決定し、現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正する。

本実施形態のコンピュータ記憶媒体は、少なくとも１つのコンピュータ可読媒体の任意の組み合わせを採用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体或いはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、または半導体のシステム、装置或いは部品、或いは上記の任意の組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）には、少なくとも１本のワイヤーの電気的接続、ポータブルコンピュータディスク、ハードディスク、RAM、読み取り専用メモリ(Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ，ＲＯＭ)、消去可能なプログラム可能な読み取り専用メモリ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ，ＥＰＲＯＭ）またはフラッシュメモリ、光ファイバー、ポータブルＣＤ−ＲＯＭ、光ストレージ部品、磁気ストレージ部品、或いは上記の任意の適切な組み合わせを含む。本出願では、コンピュータ可読記憶媒体は、如何なるプログラムを含むまたは格納する任意の有形媒体とすることができ、このプログラムは、命令実行システム、装置、または部品の使用、或いはそれと組み合わせて使用することができる。

コンピュータ可読信号媒体は、ベースバンドの中で或いは搬送波の一部として伝搬されるデータ信号を含むことができ、デジタル信号の中にコンピュータ信号可読プログラムコードを搭載する。この種の伝搬されたデータ信号は多種の形態を採用でき、電磁信号、光信号、或いは前述の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ可読信号媒体は、またコンピュータ可読記憶媒体以外の如何なるコンピュータ可読媒体でも有り得、このコンピュータ可読媒体は、命令実行システム、装置、または部品の使用、或いはそれと組み合わせて使用により、プログラムを送信、伝播、または送信することができる。

コンピュータ可読媒体に含まれるプログラムコードは、如何なる適切な媒体によって送信することができ、ワイヤレス、ワイヤー、光ケーブル、無線周波数（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ，ＲＦ）など、或いは上記の任意の適切な組み合わせを含むがこれらに限定されない。

少なくとも１つのプログラミング言語または複数のプログラミング言語の組み合わせで本出願の操作を実行するためのコンピュータプログラムコードで記述でき、前記プログラミング言語には、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、また、「Ｃ」言語や類似のプログラミング言語のような、従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザーのコンピュータで実行と、一部はユーザーのコンピュータで実行と、独立したソフトウェアパッケージとして実行と、一部はユーザーのコンピュータ部分のリモートコンピュータで実行と、或いは完全にリモートコンピュータまたはサーバーで実行とができる。リモートコンピュータが関係する情況のもと、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意の種類のネットワークを通じてユーザーのコンピュータに接続でき、或いは、外部コンピュータに接続できる（例えばインターネットサービスプロバイダーを利用してインターネット経由で接続）。

10 ロボット
12 電子デバイス
14 外部デバイス
16 プロセッサー
20 ネットワークアダプタ
22 （Ｉ／Ｏ）インターフェース
24 ディスプレイ
28 システムメモリ
30 貨物棚エリア
32 高速キャッシュメモリ
34 ストレージシステム
40 ピッキングステーション
50 移転箱
201 プロセッサ
202 メモリ
203 オーダー池
410 第１登録モジュール
420 第１判断モジュール
430 レイアウトとループバック検出モジュール
440 第２登録モジュール
450 修正モジュール

Claims

ロボットによって実行される地面テクスチャ画像に基づくナビゲーション方法であって、前記ロボットにコレクタが設定され、前記コレクタは地面テクスチャ画像を収集するために設定され、
取得した現フレーム画像と前フレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第１ポーズの決定することと、
前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定条件を満たすとの判定結果に応じて、前記現フレーム画像をキーフレーム画像としてマップに挿入し、閉ループ検出を実行し、ループバックキーフレーム画像を決定することと、
前記現フレーム画像と前記ループバックキーフレーム画像を変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第２ポーズを決定することと、
前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正することとを
含むことを特徴とする地面テクスチャ画像に基づくナビゲーション方法。
前記キーフレーム画像を作成するための事前設定条件は、
マップ構築はアイドル状態にあり、且つ前記現フレーム画像と前キーフレーム画像との間の画像フレームの数は、事前設定された第１閾値より大きいことと、
前記現フレーム画像と前記前キーフレーム画像との間のグローバル座標距離差が事前設定された第２閾値より大きいこととを含む、請求項１に記載の方法。
前記現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行し、ループバックキーフレーム画像を決定することが、
前記現フレーム画像をキーフレーム画像としてマップに挿入し、且つ現フレーム画像とマップ内の他のすべてのキーフレーム画像の類似度をそれぞれ計算し、類似度が第３閾値より大きいキーフレーム画像を候補セットに追加することと、
前記候補セットの中からループバック条件を満たす少なくとも３つのキーフレーム画像を選択し、前記少なくとも３つのキーフレーム画像と現フレーム画像の類似度の高い順に基づき、前記少なくとも３つのキーフレーム画像に対し順に並べ、且つ第１キーフレーム画像に順に並べたものを候補キーフレーム画像とすることと、
前記候補キーフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第４閾値より小さいかどうか判定し、前記候補キーフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第４閾値より小さいという判定結果に応じて、前記候補キーフレーム画像をループバックキーフレーム画像とすることと
を含む、請求項１または請求項２に記載の方法。
前記前フレーム画像が地面テクスチャ画像でない情況のもと、事前設定された数のキーフレーム画像を選択し、事前設定された数の前記キーフレーム画像と前記現フレーム画像それぞれに対して特徴点のマッチングを行い、且つマッチングの結果に基づき少なくとも１つの代替マッチングフレーム画像を決定することと、
少なくとも１つの前記代替マッチングフレーム画像に基づき、少なくとも１つの前記現フレーム画像の第３ポーズをそれぞれ計算することと、
少なくとも１つの前記現フレーム画像の第３ポーズに基づいて、任意の前記代替マッチングフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第５閾値より小さいかどうかを判定し、前記任意の前記代替マッチングフレーム画像と前記現フレーム画像との間のグローバル座標距離の差が第５閾値より小さいという判定結果に応じて、前記現フレーム画像に基づき次の新しいフレーム画像のポーズを計算することとをさらに含む、請求項１または請求項２または請求項３に記載の方法。
現フレーム画像の第１ポーズまたは第２ポーズまたは第３ポーズは現フレーム画像運動の回転角度と並進量を含む、請求項４に記載の方法。
初期位置において、収集されたＱＲコード情報を識別することにより、グローバル座標の初期値を決定することをさらに含む、請求項１から請求項５の任意の一つに記載の方法。
取得した現フレーム画像と前フレーム画像の変換ドメインに基づき画像登録を実行し、現フレーム画像の第１ポーズを決定するように構成された第１登録モジュールと、
前記現フレーム画像がキーフレーム画像を作成するための事前設定条件を満たしているかどうかを判定し、前記現フレーム画像が事前設定された条件を満たすとの判定結果に応じて、前記判定結果をレイアウトとループバック検出モジュールに出力するように構成された第１判定モジュールと、
前記第１判定モジュールが入力した判定結果を受信し、前記現フレーム画像をキーフレーム画像としてマップに挿入し、且つ閉ループ検出を実行し、ループバックキーフレーム画像を決定するように構成されたレイアウトとループバック検出モジュールと、
前記現フレーム画像と前記ループバックキーフレーム画像の変換ドメインに基づいて画像登録を実行し、前記現フレーム画像の第２ポーズを決定するように構成された第２登録モジュールと、
前記現フレーム画像の第１ポーズと第２ポーズに基づき、累積誤差を決定し、且つ、修正されたマップに基づきナビゲートを行うために、前記累積誤差に基づき前記マップを修正するように構成された修正モジュールとを含む、地面テクスチャ画像のナビゲーション装置。
前記キーフレーム画像を作成するための事前設定条件は、マップ構築はアイドル状態にあり、且つ前記現フレーム画像と前キーフレーム画像との間の画像フレームの数は、事前設定された第１閾値より大きいことと、
前記現在のフレーム画像と前記前キーフレーム画像との間のグローバル座標距離差は、事前設定された第２閾値より大きいこととを含む、請求項７に記載の装置。
レイアウトとループバック検出モジュールは、
前記現フレーム画像をキーフレーム画像としてマップに挿入し、且つ前記現フレーム画像と前記マップ内の他のすべてのキーフレーム画像の類似度をそれぞれ計算し、且つ類似度が第３閾値より大きいキーフレーム画像を候補セットに追加するように構成された類似度計算ユニットと、
前記候補セットの中からループバック条件を満たす少なくとも３つのキーフレーム画像を選択し、少なくとも３つのキーフレーム画像と前記現フレーム画像の類似度の高い方から低い方の順に基づき、少なくとも３つのキーフレーム画像に対し順に並べ、且つ第１キーフレーム画像に順に並べたものを候補キーフレーム画像とするように構成された候補セットと、
前記候補キーフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第４閾値より小さいかどうか判定し、前記候補キーフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第４閾値より小さいという判定結果に応じて、前記候補キーフレーム画像をループバックキーフレーム画像とするように構成された判断ユニットとを含む、請求項７または請求項８に記載の装置。
前記前フレーム画像が地面テクスチャ画像でない情況のもと、事前設定された数のキーフレーム画像を選択し、事前設定された数のキーフレーム画像と前記現フレーム画像を分け特徴点のマッチングを行い、且つマッチングの結果に基づき少なくとも１つの代替マッチングフレーム画像を決定するように構成されたマッチングモジュールと、
少なくとも１つの前記代替マッチングフレーム画像に基づき、少なくとも１つの現フレーム画像の第３ポーズをそれぞれ計算するために設定するように構成された第３登録モジュールと、
少なくとも１つの前記現フレーム画像の第３ポーズに基づいて、任意の代替マッチングフレーム画像と前記現フレーム画像との間のグローバル座標距離差が第５閾値未より小さいかどうかを判定し、前記任意の前記代替マッチングフレーム画像と前記現フレーム画像との間のグローバル座標距離の差が第５閾値より小さいという判定結果に応じて、前記現フレーム画像に基づき次の新しいフレーム画像のポーズを計算するように構成された第２判定モジュールとをさらに含む、請求項７または請求項８または請求項９に記載の装置。
前記現フレーム画像の第１ポーズ、第２ポーズまたは第３ポーズは、現フレーム画像運動の回転角度と並進量を含む、請求項１０に記載の装置。
初期値において、収集されたＱＲコード情報を識別することにより、グローバル座標の初期値を決定するように構成された初期化モジュールをさらに含む、請求項７から請求項１１の任意の一つに記載の装置。
少なくとも１つのプロセッサーと、
少なくとも１つのプログラムを格納するように構成されたメモリとを含み、
前記少なくとも１つのプログラムが、前記少なくとも１つのプロセッサーによって実行されると、請求項１から請求項６のいずれか一項に記載の地面テクスチャ画像に基づくナビゲーション方法を実現する、電子デバイス。
コンピュータプログラムを格納し、前記プログラムがプロセッサーによって実行される時に、請求項１から請求項６の任意の一つに記載の地面テクスチャ画像に基づくナビゲーション方法を実現する、コンピュータ可読記憶媒体。