JP2023503750A

JP2023503750A - ロボットの位置決め方法及び装置、機器、記憶媒体

Info

Publication number: JP2023503750A
Application number: JP2021566028A
Authority: JP
Inventors: ダーチェンヤオ; ユエホー; チョンリー
Original assignee: ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date: 2020-10-26
Filing date: 2021-04-08
Publication date: 2023-02-01
Also published as: WO2022088613A1; CN112405526A; KR20220058846A

Abstract

本開示は、ロボットの位置決め方法及び装置、機器、記憶媒体に関し、前記ロボットの位置決め方法は、第１時刻におけるロボットの第１位置情報を取得することと、第２時刻におけるロボットの第２画像を取得し、第２画像に基づいて第２時刻におけるロボットの第１推定位置情報を取得することと、第１時刻から第２時刻までのロボットの移動パラメータを収集することと、第１位置情報及び移動パラメータに基づいて、第２時刻におけるロボットの第２推定位置情報を計算して取得することと、第１推定位置情報及び第２推定位置情報によって、第２時刻におけるロボットの第２位置情報を取得することと、を含む。【選択図】図１

Description

［関連出願への相互参照］
本願は、２０２０年１０月２６日に中国特許局に提出された、出願番号が２０２０１１１５７１１８．７であり、発明名称が「ロボットの位置決め方法及び装置、機器、記憶媒体」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に組み込まれる。
［技術分野］
本開示は、人工知能の技術分野に関し、具体的には、ロボットの位置決め方法及び装置、機器、記憶媒体に関する。

近年、複数の機能を備えている人工知能がますますブームになっており、人工知能を有する位置決めシステムも、様々な分野でますます普及している。例えば、人工知能（ＡＩ：ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）教育では、授業関係者が位置決め、計画、制御、マルチ知的エージェントなどの内容に触れる場合が多く、その中、最も基本的で重要な部分は、ロボットの位置決めシステムである。

本開示は、ロボットの位置決め方法及び装置、機器、記憶媒体を提供する。

本開示に係る第１技術方案は、ロボットの位置決め方法を提供することであり、前記ロボットの位置決め方法は、第１時刻におけるロボットの第１位置情報を取得することと、第２時刻における前記ロボットの第２画像を取得し、前記第２画像に基づいて前記第２時刻における前記ロボットの第１推定位置情報を取得することと、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集することと、前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得することと、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得することと、を含む。

このようにして、視覚システムの検出結果と動力学システムの検出結果を融合することにより、取得した位置情報をより正確にする。

本開示のいくつかの実施例において、前記第１時刻におけるロボットの第１位置情報を取得することは、前記第１時刻における前記ロボットの第１画像を取得することと、前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得することと、を含む。

本開示のいくつかの実施例において、前記第１画像は第１参照物を含み、前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得することは、模擬砂盤における前記第１参照物を取得することと、前記第１画像における前記第１参照物の画素位置及び前記ロボットの第１画素位置を決定することと、第１時刻での前記模擬砂盤における前記第１参照物の模擬位置を決定することと、前記第１参照物の画素位置及び前記模擬砂盤における前記第１参照物の模擬位置を用いて、第１投影関係を計算して取得することと、前記第１投影関係及前記ロボットの第１画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第１時刻における前記ロボットの前記第１位置情報を決定することと、を含む。

このようにして、視覚システムを用いて模擬砂盤によってロボットの初期位置を決定し、更なる標識用参照物が必要ないため、更なる時刻のキャリブレーションを低減する。

本開示のいくつかの実施例において、前記第２画像は第２参照物を含み、前記第２画像に基づいて、前記第２時刻における前記ロボットの第１推定位置情報を取得することは、模擬砂盤における前記第２参照物を取得することと、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することと、第２時刻での前記模擬砂盤における前記第２参照物の模擬位置を決定することと、前記第２参照物の画素位置及び前記模擬砂盤における前記第２参照物の模擬位置を用いて、第２投影関係を計算して取得することと、前記第２投影関係及び前記ロボットの第２画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第２時刻における前記ロボットの前記第１推定位置情報を決定することと、を含む。

このようにして、視覚システムを用いて模擬砂盤によってロボットの終着点位置を決定し、更なる標識用参照物が必要ないため、更なる時刻のキャリブレーションを低減する。

本開示のいくつかの実施例において、前記第１画像における前記第１参照物の画素位置及び前記ロボットの第１画素位置を決定することは、第１深層学習ネットワークを用いて前記第１画像を認識して、前記第１画像における前記第１参照物の画素位置及び前記ロボットの第１画素位置を決定することを含み、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することは、第１深層学習ネットワークを用いて前記第２画像を認識して、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することを含み、ここで、前記第１深層学習ネットワークは、ＲＣＮＮ深層ネットワーク構造、ＳＳＤ深層ネットワーク構造、Ｙｏｌｏ深層ネットワーク構造及びＲｅｔｉｎａＮｅｔネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含む。

本開示のいくつかの実施例において、前記第１時刻における前記ロボットの第１画像を取得することは、前記第１画像に基づいて、前記第１時刻における前記ロボットの向き方向を取得することを更に含む。

ここで、前記第１画像に基づいて、前記第１時刻における前記ロボットの向き方向を取得することは、第２深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定することを含み、ここで、前記第２深層学習ネットワークは、ＲｅｓＮｅｔ深層ネットワーク構造、ＭｏｂｉｌｅＮｅｔ深層ネットワーク構造、ＧｈｏｓｔＮｅｔ深層ネットワーク構造及びＥｆｆｉｃｉｅｎｔＮｅｔ深層ネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含む。

このようにして、ロボットの向き方向を検出することによって、後続で動力学システムによってロボットの位置情報を計算するときに取得される結果をより正確にする。

本開示のいくつかの実施例において、前記位置決め方法は、前記第１時刻で、前記ロボットの履歴移動パラメータを取得することを更に含み、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集することは、前記第２時刻で、前記ロボットの現在の移動パラメータを取得することと、前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを計算して取得することと、を含む。

このようにして、ロボットの第１時刻から第２時刻までの移動距離を計算し、ロボットの向き方向と組み合わせることにより、動力学システムによってロボットの位置情報を計算するときに取得される結果をより正確にする。

本開示のいくつかの実施例において、前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得することは、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータと、前記第１時刻における前記ロボットの向き方向とに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を取得することを含む。

このようにして、動力学システムを用いて第２時刻におけるロボットの位置情報を検出し、これにより、ハードウェアコストを低減する。

本開示のいくつかの実施例において、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得することは、カルマンフィルタを用いて前記第１推定位置情報及び前記第２推定位置情報に対して加重平均を実行することにより、前記第２時刻における前記ロボットの第２位置情報を取得することを含む。

このようにして、視覚システムによって取得された位置情報と動力学システムによって取得された位置情報を融合することにより、第２時刻におけるロボットの位置情報を取得し、位置決め精度を向上させ、システムの配置を容易にする。

本開示に係る第２技術方案は、ロボットの位置決め装置を提供することであり、前記ロボットの位置決め装置は、第１時刻におけるロボットの第１位置情報を取得し、第２時刻における前記ロボットの第１推定位置情報を取得するように構成される第１位置取得部と、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集するように構成されるパラメータ取得部と、前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得するように構成される第２位置取得部と、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得するように構成される校正部と、を備える。

本開示に係る第３技術方案は、ロボットの位置決め機器を提供することであり、前記ロボットの位置決め機器は、メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、上記のロボットの位置決め方法を実行する。

本開示に係る第４技術方案は、コンピュータ可読記憶媒体を提供することであり、前記コンピュータ可読記憶媒体は、メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、上記のロボットの位置決め方法を実行する。

本開示に係る第５技術方案は、コンピュータ可読コードを含むコンピュータプログラムを提供することであり、前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、上記のロボットの位置決め方法を実行する。

本開示に係るロボットの位置決め方法は、２つの異なる方式によって取得されたロボットの位置決め結果を融合し、つまり、視覚システムの検出結果と動力学システムの検出結果とを融合して、ロボットの位置情報を取得し、当該位置決め方法は、位置情報をより正確に取得し、ロボットの位置決め精度を効果的に向上させる。

本開示の実施例に係るロボットの位置決め方法の一実施例の例示的なフローチャートである。本開示の実施例に係る図１のステップＳ１１の一実施例の例示的なフローチャートである。本開示の実施例に係る図１のステップＳ１２の一実施例の例示的なフローチャートである。本開示の実施例に係る図１のステップＳ１３の一実施例の例示的なフローチャートである。本開示の実施例に係るロボットの位置決め方法の原理の概略図である。本開示の実施例に係るロボットの位置決め装置の一実施例の概略構造図である。本開示の実施例に係るロボットの位置決め機器の一実施例の概略構造図である。本開示の実施例に係るコンピュータ可読記憶媒体の概略構造図である。

本開示の実施例の技術的解決策をより明確に説明するために、上記において、実施例の記載で使用される図面について簡単に記載されており、上記に記載される図面は、本開示のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を払わなくても、これらの図面で他の図面を得ることもできることは自明である。

以下、本開示の実施例における図面を参照して、本開示の実施例における技術的解決策を明確且つ完全に記載する。記載されている実施例は、本開示の実施例の一部に過ぎず、実施例の全部ではないことは明らかである。本開示の実施例に基づき、当業者が創造的な労力を払わずに取得する他のすべての実施例は、本開示の保護範囲に含まれる。

本開示における「第１」、「第２」、「第３」という用語は、単なる説明するためのものであり、相対的な重要性を明示的、暗黙的に示していること、又は、技術的特徴の数を明示的、暗黙的に示していることを理解されるべきではない。したがって、「第１」、「第２」、「第３」で特定された特徴は、少なくとも１つの当該特徴を含むということを明示的又は暗黙的に示すことができる。本開示の記載において、「複数」ということは、明確かつ具体的に限定しない限り、少なくとも２つ、例えば、２つ、３つという意味をする。本開示の実施例における全ての方向的記述（例えば、上、下、左、右、前、後…など）は、特定の姿勢での（図面に示すように）各部材間の相対的位置関係、移動状況などを解釈するためのものに過ぎず、当該特定の姿勢が変化する場合、当該方向的記述もそれに応じて変化することに留意されたい。加えて、「含む」、「有する」という用語及びそれらの任意の変形は、非排他的な包含を網羅することを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に列挙されたそれらのステップ又はユニットに限定されず、列挙されていないステップ又はユニットを選択的に更に含み得、又はこれらのプロセス、方法、製品又はデバイスは、他のステップ又はユニットを選択的に更に含み得る。

本明細書で記載されている「実施例」とは、実施例に記載される特定の特徴、構造又は特性が本開示の少なくとも１つの実施例に含まれることができることを意味する。明細書の様々な所に記載されている当該記載は、必ず同じ実施例を指しているとは限れなく、他の実施例と互に排他的な独立した又は代替的な実施例でもない。本明細書に記載の実施例が他の実施例と組み合わせることができることを当業者は明確かつ暗黙的に理解すべきである。

適用シナリオが多様であるため、位置決めシステムの配置の難しさを考慮する必要があり、環境のモデリングに多くの時間を費やすと、多くの場合、ユーザ体験が低下し、無駄な時間が発生し、さらに、位置決めシステムに必要な計算リソースが非常に多い一方、多くの場合、精度が不足し、コストが高い。例えば、学校では、通常、授業用のロボットを非常に多く使用しており、様々なアルゴリズムをサポートするための高性能の計算機器がロボット内部に埋め込まれると、ロボットのコストが大幅に向上し、高性能の埋め込み型位置決め機器を低コストで作ることは困難であるため、限られたハードウェアリソースを使用して、より優れた位置決め効果を実現し、高精度で、低コストで、さらに配置するにも簡単であるロボットの位置決めシステムを得る必要がある。

本開示の実施例は、ロボットの位置決め方法及び装置、機器、記憶媒体を提供する。本開示の実施例は、第１時刻におけるロボットの第１位置情報及び第２時刻におけるロボットの第１推定位置情報を取得し、第１時刻から第２時刻までのロボットの移動パラメータを収集し、第１位置情報及び移動パラメータに基づいて、第２時刻におけるロボットの第２推定位置情報を計算して取得し、第１推定位置情報及び第２推定位置情報によって、第２時刻におけるロボットの第２位置情報を取得する。本開示の実施例は、視覚位置決めシステムと動力学位置決めシステムとを組み合わせることにより、精度の高いロボットの位置決め結果を取得する。

ここで、視覚位置決めシステムは、カメラによって取得された画像に基づいて位置決めを実行し、動力学位置決めシステムは、ロボットの初期位置及びロボットの走行パラメータに基づいて位置決めを実行する。視覚位置決めシステムによって位置決めを実行する場合、カメラによって、第２時刻におけるロボットの第２画像を取得し、第２画像に基づき、模擬砂盤を参照し、模擬砂盤におけるロボットの第１推定位置情報を決定し、動力学位置決めシステムによって位置決めを実行する場合、第１時刻から第２時刻までのロボットの移動パラメータ、及びロボットの向き方向を取得し、つまり、ロボットの向き方向及び移動パラメータによって、特定の方向へのロボットの走行距離を決定することができ、第１時刻におけるロボットの第１位置情報と組み合わせて、第２時刻におけるロボットの第２推定位置情報を取得することができる。ここで、ロボットの位置を正確に特定するために、カルマンフィルタによって、視覚位置決めシステムによって取得された第１推定位置情報と、動力学位置決めシステムによって取得された第２推定位置情報とを融合し、つまり、加重平均を行うことにより、最終的に、より正確な第２時刻におけるロボットの第２位置情報を取得する。

ロボットの位置決め方法の実行主体は、ロボットの位置決め機器であってもよく、例えば、ロボットの位置決め方法は、端末機器又はサーバ又は他の処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器（ＵＥ：ＵｓｅｒＥｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態において、当該ロボットの位置決め方法は、プロセッサがメモリに記憶されているコンピュータ可読命令を呼び出すことにより実現することができる。

以下、図面及び実施例を参照して、本開示を詳細に記載する。

図１を参照すると、図１は、本開示の実施例に係るロボットの位置決め方法の一実施例の例示的なフローチャートである。前記ロボットの位置決め方法は、次のステップを含む。

ステップＳ１１において、第１時刻におけるロボットの第１位置情報を取得する。

本開示の実施例の一実施形態において、ロボットの位置決めを実行する場合、直接に、位置決めシステムを用いて、第１時刻におけるロボットの第１位置情報、及び第２時刻におけるロボットの第１推定位置情報を取得することができ、位置決めシステムは、全地球測位システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ）の位置決めシステムであってもよい。

本開示の実施例の一実施形態において、撮影装置（例えば、カメラ）によって、第１時刻におけるロボットの第１画像を取得してもよい。ここで、ロボットは、移動可能な機械機器又はスマート機器であり、例えば、フォークリフト、機械車である。

一可能な実施例において、カメラにはタイマーが設けられることができ、タイマーの時間が第１時刻に達するときに、カメラはロボットを撮影し、第１画像を取得する。ここで、カメラの位置は固定されてもよいし、固定されなくてもよく、カメラの撮影角度は固定されてもよいし、固定されなくてもよく、ここで、カメラは、回転させずに特定位置に設置されることが可能であり、つまり、カメラの撮影範囲は固定であり、カメラは、回転できるように特定の位置に設置されることも可能であり、つまり、カメラの反射範囲は可変である。もちろん、カメラは可動機器に設置されてもよい。本開示は、ロボットを撮影できる限り、カメラの位置及び撮影範囲を特に限定しない。

一可能な実施例において、ロボットの位置決め機器はカメラに通信的に接続され、カメラによって取得された第１画像をロボットの位置決め機器にアップロードしてもよく、カメラは第１画像を取得した後、通信接続によって第１画像をロボットの位置決め機器に送信する。別の実施例において、カメラによって取得された第１画像をストレージカードに保存した後に、ロボットの位置決め機器にアップロードしてもよく、ロボットの位置決め機器が第１画像を取得することができる限り、これらに対して特に限定しない。

ここで、第１画像をロボットの位置決め機器にアップロードすることにより、ロボットの位置決め機器は、視覚システムを用いて第１画像に基づき、第１時刻におけるロボットの第１位置情報を取得することができる、具体的には、図１を参照されたい。

ロボットの位置決め機器は、視覚システムを用いて第１画像に基づき、第１時刻におけるロボットの第１位置情報を取得し、一可能な実施例において、場面のモデリングにより第１画像と組み合わせて、ロボットの第１位置情報を決定することができ、図２に示されるように、図２は、本開示の実施例に係る図１のステップＳ１１の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。

ステップＳ１１１において、模擬砂盤における第１参照物を取得する。

本開示の実施例の一実施形態において、模擬砂盤を構築することにより、ロボットの第１位置情報を決定する。理解できることとして、構築された模擬砂盤は、ロボットの所在する空間的な模擬設計図である。

ここで、模擬砂盤は、ロボットの所在する場面に従って構築され、模擬砂盤は、ロボットの所在する場面と１：１の比率で構築されてもよく、例えば、模擬砂盤上の全ての物体のサイズ、位置、座標は、ロボットの所在する場面の全ての物体のサイズ、位置、座標と同じである。もちろん、模擬砂盤は、１：２の比率で構築されてもよく、例えば、模擬砂盤上の全ての物体のサイズ、位置、座標は、ロボットの所在する場面の全ての物体のサイズ、位置、座標の２倍又は１／２倍であり、もちろん、模擬砂盤を他の比率で構築してもよく、本開示は、これらに対して特に限定しない。

一可能な実施例において、計算の便利さを考慮して、模擬砂盤を１：１の比率で構築することができ、これにより、後続の計算プロセスで比率変換を行う必要がなく、計算量を削減する。別の実施例において、模擬砂盤の占有空間を考慮し、例えば、ロボットの所在する場面が大きすぎると、１：２又は１：３又は１：４などの比率で模擬砂盤を構築することにより、模擬砂盤の占有空間を減らすことができる。例えば、上記のすべてのプロセスは、ロボットの位置決め機器で実行でき、ロボットの位置決め機器で模擬砂盤を構築し、ロボットの位置決め機器がカメラから第１画像を取得する場合、ロボットの位置決め機器は、視覚システムを用いて、模擬砂盤及び第１画像に基づいてロボットの第１位置情報を決定する。

ここで、視覚システムを用いてロボットに対して位置決めする場合、第１画像と模擬砂盤には同時に１つの第１参照物が必要であり、当該第１参照物は、第１画像を模擬砂盤に投影する第１投影関係を計算するために使用される。ここで、第１参照物は第１画像から選出することができ、例えば、第１画像がロボット以外に模擬砂盤における同じのテーブルを含む場合、テーブルを第１参照物として使用することができ、別の例として、第１画像がロボット以外に模擬砂盤における同じテレビジョンを含む場合、テレビジョンを第１参照物として使用することができ、つまり、第１参照物は、第１画像と模擬砂盤に共有の物体である。

ステップＳ１１２において、第１画像の第１参照物の画素位置及びロボットの第１画素位置を決定する。

一実施例において、第１深層学習ネットワークを用いて第１画像を認識することにより、第１画像の第１参照物の画素位置と、ロボットの第１画素位置を決定することができる。

一実施例において、第１深層学習ネットワークは、位置決め機能を備えた深層学習ネットワークが含まれるモデルであってもよく、第１画像を当該モデルに入力し、当該モデルは、第１画像を認識することにより、第１画像における第１参照物の画素位置及び第１画像におけるロボットの第１画素位置を取得する。

一実施例の一実施形態において、第１深層学習ネットワークを用いて第１画像を検出することにより、第１画像における第１参照物の画素位置及び第１画像におけるロボットの第１画素位置を決定し、当該第１深層学習ネットワークは、目標検出（ＲＣＮＮ：Ｒｅｇｉｏｎ－ＣＮＮ）深層ネットワーク構造、目標検出（ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）深層ネットワーク構造、目標検出（Ｙｏｌｏ：ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）深層ネットワーク構造及びＲｅｔｉｎａＮｅｔネットワーク構造などを含み得る。

一実施例の実施形態において、コストと位置座標検出の精度を考慮して、Ｙｏｌｏ深層ネットワーク構造によって位置座標の検出を実行することができる。ここで、Ｙｏｌｏ深層ネットワーク構造のＹｏｌｏ－ｔｉｎｙ深層ネットワーク構造を用いて検出することができる。

Ｙｏｌｏ深層ネットワーク構造において、そのアルゴリズムの考え方として、画像全体をいくつかの格子に分割し、中心が格子内にある物体のいくつかの可能な境界枠を予測し、その信頼度を提供し、このようにして、ワンステップで物体検出ボックスの結果を取得することができ、２段階のＦａｓｔｅｒ－ＲＣＮＮシリーズアルゴリズムの速度よりも速い。適用シナリオにおいて検出する必要のある物体の外形と色が比較的固定しているため、このような快速アルゴリズムと組み合わせた小さいネットワーク構造の検出精度は高く、計算リソースの占有は低く、ＲａｓｐｂｅｒｒｙＰｉなどの演算速度が比較的低いモバイル端末の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）は、必要なリアルタイム検出効果を実現し、必要なコストは低くなる。

ここで、第１画像から取得された第１参照物の画素位置及び前記ロボットの第１画素位置は、代表性を有する点であってもよく、例えば、第１画像から第１参照物の中心点の画素位置、及びロボットの中心点の画素位置を取得してもよく、第１参照物の境界枠の画素位置、及びロボットの境界枠の画素位置を取得してもよく、第１参照物の境界枠の対角線の画素位置、及びロボットの境界枠の対角線の画素位置を取得してもよく、ここではこれらに対して特に限定しない。

画像は、Ｒ（赤色のサブ画素）、Ｇ（緑色のサブ画素）、Ｂ（青色のサブ画素）のいくつかの画素を重ね合わせて異なる色を生成して構成されたものであるため、第１深層学習ネットワークを用いて、第１画像におけるロボットと第１参照物の画素位置を取得することができ、ここで、第１画像におけるロボットの第１画素位置は、画像内のサブ画素の位置である。

ステップＳ１１３において、第１時刻での前記模擬砂盤における第１参照物の模擬位置を決定する。

ここで、第１画像から選出した第１参照物と、模擬砂盤から選出した第１参照物は、同じ物体であり、模擬砂盤を構築した後、模擬砂盤上のすべての物体の模擬位置は既知である。

本開示の実施例において、第１参照物の模擬位置を取得する時に、第１参照物に対応する画素位置を決定する必要がある。例えば、一実施例において、取得された第１参照物の画素位置が第１参照物の中心点の画素位置である場合、取得された第１参照物の模擬位置は第１参照物の中心点の模擬位置であり、別の例として、取得された第１参照物の画素位置が第１参照物の境界枠の画素位置である場合、取得された第１参照物の模擬位置は第１参照物の境界枠の模擬位置である。

ステップＳ１１４において、第１参照物の画素位置及び模擬砂盤における第１参照物の模擬位置を用いて、第１投影関係を計算して取得する。

ここで、上記のステップＳ１１２及びステップＳ１１３により、第１画像における第１参照物の画素位置、及び模擬砂盤における第１参照物の模擬位置を決定した後、第１画像における第１参照物の画素位置及び模擬砂盤における第１参照物の模擬位置を用いて第１投影関係を計算して取得することができる。

一実施例において、取得された第１参照物の第１画像における画素位置が第１参照物の中心点の画素位置であり、模擬砂盤における第１参照物の模擬位置が第１参照物の中心点の模擬位置であると仮定する。ここで、第１参照物の中心点の画素位置が（u,v,w）であり、第１参照物の中心点の模擬位置が(x’,y’,w’)であると仮定し、第１参照物の中心点の画素位置（u,v,w）及び第１参照物の中心点の模擬位置に基づいて関係方程式を確立する。

第１参照物の中心点の画素位置（u,v,w）及び第１参照物の中心点の模擬位置によって確立される関係方程式は、式（１）に示す。

ここで、式（１）中、

は、第１投影関係である。

本開示の実施例において、３つ以上の参照物を選出する必要がある場合、第１画像における複数の参照物の中心点の画素位置及び模擬砂盤における複数の参照物の中心点の模擬位置をそれぞれ取得し、上記の式（１）で複数の関係方程式を確立し、それらの関係方程式を解く。得られた結果が一致しない場合、加重平均などの方法で複数の投影関係を処理することにより、正確な結果を取得することができる。ここで、模擬砂盤に投影された、同じ第１画像上の異なる第１参照物の第１投影関係は同じである。

一実施例において、第１画像は２次元画像であり、取得された第１画像における第１参照物の位置座標も２次元座標であるため、第１画像における第１参照物の画素位置（u,v,w）のwは、定数であり、Ｚ座標で表されるものではない。ここで、wは１であってもよい。具体的には、すべての物体は地面に対して設置されているため、本技術方案で構築された模擬砂盤は２次元模擬砂盤である。したがって、模擬砂盤における第１参照物の模擬位置(x’,y’,w’)も２次元座標であり、つまり、w’も定数であり、同じくＺ座標で表されるものではない。ここで、w’は１であってもよい。したがって、式（１）の第１投影関係の右下隅の数a_33は常に１である。

式（１）の第１投影関係に８つの未知数があることが分かり、これらの８つの未知数の結果を取得するには、４対の座標で計算する必要がある。ここで、各対の座標には、第１画像における１つの画素位置及び模擬砂盤における１つの模擬位置を含む。これらの４対の座標は、同じ第１参照物から選出されたものであってもよく、同じ第１参照物から第１画像における第１参照物の画素位置を４つ選出した後、模擬砂盤における第１参照物の模擬位置を４つ選出する。ここで、当該第１参照物は、関係方程式を確立する時に使用される第１参照物と同じ第１参照物であってもよいし、異なる第１参照物であってもよく、第１参照物から選出された４つの点は、関係方程式を確立するときに使用される第１参照物から選出された点と同じでも、異なってもよい。

ここで、関係方程式を解くとき、第１投影関係の計算結果の精度及び頑健性を効率的に向上させるために、ランダムサンプリング一貫性アルゴリズムを用いて計算し、最後に第１投影関係を出力することができる。ここで、ランダムサンプリング一貫性アルゴリズムは、「外れ値」を含む予測データ集合から、反復することにより数学モデルのパラメータを推定することができ、これにより、第１投影関係の計算精度及び頑健性を向上させることができる。

本開示の実施例は、第１画像における第１参照物の画素位置及び模擬砂盤における第１参照物の模擬位置によって関係方程式を確立し、当該関係方程式を解き、それにより、第１投影関係を取得する。ここで、ランダムサンプリング一貫性アルゴリズムを用いて計算することにより、第１投影関係の計算精度及び頑健性を向上させる。

ステップＳ１１５において、第１投影関係及びロボットの第１画素位置に基づいて、模擬砂盤におけるロボットの模擬位置を計算して取得する。

本開示の実施例において、ステップＳ１１２において第１画像におけるロボットの第１画素位置を既に取得し、ステップＳ１１４において第１画像を模擬砂盤に投影する第１投影関係を既に取得した場合、第１投影関係及びロボットの第１画素位置によって、模擬砂盤におけるロボットの模擬位置を計算して取得することができる。ここで、上記の式（１）により、模擬砂盤におけるロボットの模擬位置を決定する。

ステップＳ１１６において、模擬砂盤におけるロボットの模擬位置を用いて、第１時刻におけるロボットの第１位置情報を決定する。

一実施例において、模擬砂盤が実際の場面の１：１の比率で構築されている場合、算出された模擬砂盤におけるロボットの模擬位置のそのものは、第１時刻におけるロボットの第１位置情報であり、模擬砂盤が実際の場面の１：２の比率で構築されている場合、模擬砂盤におけるロボットの模擬位置を計算して取得した後、第１時刻におけるロボットの第１位置情報を取得するために、関連する比率で変換を実行する必要がある。

本開示の実施例は、模擬砂盤を構築し、模擬砂盤にある物体を参照物として第１投影関係の計算を実行し、当該方法は砂盤に余分の標識物を設定する必要がなく、操作を簡略化し、深層学習を通して第１画像におけるロボットの画素位置を認識し、第１投影関係と組み合わせて模擬砂盤におけるロボットの模擬位置を計算して取得し、これによって、第１時刻におけるロボットの第１位置情報を決定する。このようなロボットの位置決めのプロセスは操作を簡略し、コストを低減し、ユーザ体験を大幅に向上させる。

一実施例において、第１時刻におけるロボットの第１位置情報を取得する場合、ロボットの向き方向を検出し、つまり、ロボットの角度を検出する必要もある。

ここで、角度姿勢推定モデルによってロボットの向き方向を検出することができる。ここで、先ず、第１深層学習ネットワークを用いて第１画像を認識し、第１画像からロボットの位置を取得し、その後、ロボットの所在位置領域の画像を抽出し、抽出された領域画像を角度推定モデルに入力し、当該角度推定モデルによってロボットの角度を検出することにより、ロボットの向き方向を取得する。ここで、ロボットの向き方向を取得すると、第１時刻から第２時刻までのロボットの移動方向を知ることができる。

ここで、角度推定モデルには第２深層学習ネットワークが含まれてもよく、第２深層学習ネットワークを用いて、ロボットの所在領域の画像を認識して、ロボットの向き方向を決定する。ここで、第２深層学習ネットワークは、関連技術における数値回帰のための畳み込みニューラルネットワーク構造（例えば、ＲｅｓＮｅｔ深層ネットワーク構造、ＭｏｂｉｌｅＮｅｔ深層ネットワーク構造、ＧｈｏｓｔＮｅｔ深層ネットワーク構造、ＥｆｆｉｃｉｅｎｔＮｅｔ深層ネットワーク構造など）であってもよい。

ステップＳ１２において、第２時刻におけるロボットの第２画像を取得し、第２画像に基づいて第２時刻におけるロボットの第１推定位置情報を取得する。

本開示の実施例では、第１時刻におけるロボットの第１位置情報を取得した後、第２時刻におけるロボットの第１推定位置情報を更に取得することもできる。ここで、カメラを用いて第２時刻におけるロボットの第２画像を取得し、第２画像に基づいて第２時刻におけるロボットの第１推定位置情報を取得することができる。具体的には、図３を参照すると、図３は、本開示の実施例に係る図１のステップＳ１２の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。

ステップＳ１２１において、模擬砂盤における前記第２参照物を取得する。

ステップＳ１２２において、第２画像の第２参照物の画素位置及びロボットの第２画素位置を決定する。

ステップＳ１２３において、第２時刻での前記模擬砂盤における第２参照物の模擬位置を決定する。

ステップＳ１２４において、第２参照物の画素位置及び模擬砂盤における第２参照物の模擬位置を用いて、第２投影関係を計算して取得する。

ステップＳ１２５において、第２投影関係及びロボットの第２画素位置に基づいて、記模擬砂盤におけるロボットの模擬位置を計算して取得する。

ステップＳ１２６において、模擬砂盤におけるロボットの模擬位置を用いて、第２時刻におけるロボットの第１推定位置情報を決定する。

ここで、ステップＳ１２１～ステップＳ１２６は、図２に示されるステップＳ１１１～ステップＳ１１６のプロセスと同じであり、ここでは繰り返して記載しない。

本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第１時刻におけるロボットの第１位置情報及び第２時刻におけるロボットの第１推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第１時刻から第２時刻までの移動距離及び初期位置情報を検出することにより、第２時刻におけるロボットの第２推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第２位置情報、つまり、最終的な位置情報を決定する。前記方法は、複数種の方式を組み合わせるように位置決めし、これにより、全局な位置決めの精度を向上させ、ハードウェアコストを低減し、かつシステムの配置を容易にする。視覚システムによって第１推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。

ステップＳ１３において、第１時刻から第２時刻までの前記ロボットの移動パラメータを収集する。

本開示の実施例の一実施形態において、第１時刻から第２時刻までの期間で、ロボットの移動パラメータを取得し、具体的には、図４を参照すると、図４は、本開示の実施例に係る図１のステップＳ１３の一実施例の例示的なフローチャートであり、具体的には、次のステップを含む。

ステップＳ１３１において、第１時刻で、ロボットの履歴移動パラメータを取得する。

理解できることとして、ロボットが移動するときに、ロボット内部のエンコーダはロボットの走行距離を記録し、ロボットの履歴走行距離はステアリングギアに反映される。したがって、本開示の一実施例において、第１時刻で、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギアによってロボットの履歴走行情報、つまり履歴移動パラメータを記録することができる。ここで、ロボットの第１画像を撮影するとともに、ロボットの履歴移動パラメータを取得することができる。

ステップＳ１３２において、第２時刻で、ロボットの現在の移動パラメータを取得する。

本開示の実施例の一実施形態において、第２時刻に達すると、ロボットのエンコーダ及びステアリングギア情報を再度読み取ることにより、ロボットの現在の移動パラメータを取得する。

ここで、履歴移動パラメータは、ロボットの履歴移動距離を含み、例えば、それは、ロボットの車輪の履歴回転数などであってもよく、現在の移動パラメータは、第２時刻におけるロボットの車輪の回転数であってもよい。

ステップＳ１３３において、履歴移動パラメータ及び現在の移動パラメータによって、第１時刻から第２時刻までのロボットの移動パラメータを計算して取得する。

例えば、第１時刻におけるロボットの履歴移動パラメータが１００メートルであり、第２時刻に検出された現在の移動パラメータが１０１メートルである場合、ロボットが第１時刻から第２時刻まで合計１メートル移動したことを得ることができる。又は、第１時刻におけるロボットの履歴移動パラメータが、車輪の履歴回転数が２００であり、第２時刻におけるロボットの現在の移動パラメータが、車輪の回転数が２５０であると仮定すると、第１時刻から第２時刻までロボットの車輪が５０回回転したことを分かることができ、つまり、車輪の直径などによって、第１時刻から第２時刻までロボットが移動した距離を計算して取得することができる。

本開示の実施例では、第１時刻におけるロボットの向き方向を既に取得し、第１時刻から第２時刻までのロボットの移動距離が既知であり、第１時刻におけるロボットの第１位置情報も知っており、その場合、第２時刻におけるロボットの第２推定位置情報を取得することができる。具体的には、続いて図１を参照されたい。

本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第１時刻におけるロボットの第１位置情報及び第２時刻におけるロボットの第１推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第１時刻から第２時刻までの移動距離及び初期位置情報を検出することにより第２時刻におけるロボットの第２推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第２位置情報、つまり、最終的な位置情報を決定する。前記方法は、複数種の方式を組み合わせるように位置決めし、これにより、全局な位置決めの精度を向上させるだけでなく、ハードウェアコストも低減し、かつシステムの配置も容易にする。視覚システムによって第１推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。

ステップＳ１４において、第１位置情報及び前記移動パラメータに基づいて、第２時刻のおけるロボットの第２推定位置情報を計算して取得する。

本開示の実施例において、上記のステップにより、第１時刻におけるロボットの向き方向は既知であり、第１時刻から第２時刻までのロボットの移動距離も既知であり、第１時刻におけるロボットの第１位置情報も知っており、その場合、第１位置情報に基づいて移動距離と向き方向を組み合わせることにより、動力学システムによって、第２時刻におけるロボットの第２推定位置情報を計算して取得することができる。

一実施例において、ロボットの位置情報をリアルタイムに検出するために、第１時刻から第２時刻までの間隔を非常に短くする。例えば、時間間隔を１ｓにしてもよい。別の実施例において、第１時刻から第２時刻までロボットの方向に変化が発生した場合、第１時刻から第２時刻まで、ロボットの写真を連続して撮影し、撮影された画像に基づいてロボットの向き方向を検出する。ここで、ロボットを撮影するとともに、ロボットの移動距離を検出することができるため、ロボットの向き方向に変化が発生した場合、各方向への移動距離をリアルタイムに記録することができる。

理解できることとして、ロボットの位置を正確に取得するために、第１時刻から第２時刻までの時間間隔をできるだけ短く設定することができ、それにより、第１時刻から第２時刻まで、ロボットの方向に変化が発生しないと見なすことができる。

一実施例において、ロボットの所在する場には少なくとも１つのカメラが配置され、かつカメラはロボットの位置決め機器との接続を確立し、ロボットの位置決め機器又はカメラにはタイマーが設置され、第１時刻から第２時刻までの時間間隔をタイマーのタイマー時間に設定する。タイマー時間に達すると、カメラは、ロボットの画像及びロボットの移動パラメータを取得し、画像をロボットの位置決め機器に伝送し、ロボットの位置決め機器は、視覚システムを用いて上記の図３の方式により第２時刻におけるロボットの第１推定位置情報を取得し、動力学システムを用いて、ロボットの初始位置情報（つまり、第１位置情報）と、ロボットの向き方向と、移動パラメータとを組み合わせて、第２時刻におけるロボットの第２推定位置情報を計算して取得する。

ここで、第２画像を用いて第２時刻におけるロボットの第１推定位置情報を取得する方式は、第１画像を用いて第１時刻におけるロボットの第１位置情報を取得する方式と同じであり、つまり、模擬砂盤及び第２画像は両方とも第２参照物を含み、先ず、第２画像から第２参照物の画素位置及びロボットの第２画素位置を取得し、模擬砂盤から第２参照物の模擬位置を取得し、第２参照物の画素位置及び第２参照物の模擬位置に基づいて第２投影関係を計算して取得した後、第２投影関係及び前記ロボットの第２画素位置によって、前記模擬砂盤におけるロボットの模擬位置を計算して取得することにより、模擬砂盤におけるロボットの模擬位置を用いて第２時刻におけるロボットの第１推定位置情報を決定する。具体的には、図３を参照し、ここでは繰り返して記載しない。

ステップＳ１５において、第１推定位置情報及び第２推定位置情報によって、第２時刻におけるロボットの第２位置情報を取得する。

一実施例において、カルマンフィルタを用いて第１推定位置情報及び第２推定位置情報に対して加重平均を実行することにより、第２時刻におけるロボットの第２位置情報を取得してもよい。

別の実施例において、平均値統計法、ガウス混合モデル（ＧＭＭ：ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ）により、第１推定位置情報と前記第２推定位置情報を融合して、第２位置情報を取得してもよい。

本開示の実施例に係る位置決め方法では、カルマンフィルタを用いて第１推定位置情報及び第２推定位置情報に対して加重平均を実行することにより、第２時刻におけるロボットの第２位置情報を取得することができる。ここで、視覚位置決めシステムによって取得された第１推定位置情報は既知であり、動力学システムによって取得された第２推定位置情報も既知であるため、先ず、第１推定位置情報及び第２推定位置に対して状態予測を実行して、共分散予測結果を取得し、その後、共分散予測結果を更新して、更新後の共分散を取得し、これにより、更新後の共分散によって第２位置情報を取得することができる。

本開示は、離散時間での進化を通じて、異なる時間ノードでの拡張カルマンフィルタの位置推定を得ることができる。

よって、本開示の実施例は、視覚位置決めシステムと動力学位置決めシステムを組み合わせ、位置決め結果を融合することにより、精度の高いロボットの位置決め結果を取得する。図５を参照すると、図５は、本開示の実施例に係るロボットの位置決め方法の原理の概略図であり、視覚位置決めシステムの位置決めプロセスは、主に、次のステップを含む。（１）カメラが画像を読み取る。（２）検出器ＹＯＬＯ－ｔｉｎｙで車両を検出し、つまり、画像において車両、つまりロボットの検出を行い、ロボットの所在画像領域の座標を取得する。（３）Ｍｏｂｉｌｅｎｅｔで角度計算を実行し、つまり、ロボットの所在領域画像を抽出し、姿勢推定モジュールに伝送して、姿勢推定を実現する。（４）平面の視覚位置決め、つまり、標定パラメータを用いて画像内の姿勢及び座標を現実の座標にマッピングする。一方、動力学位置決めシステムの位置決めプロセスは、主に次のステップを含む。（１）車両のエンコーダ及びステアリングギア情報を取得し、つまり、当該情報に基づいてロボットの履歴移動パラメータ及び現在の移動パラメータ、つまりロボットの走行情報を取得する。（２）車両動力学モデルによって位置を推定し、つまり、モデルによって、履歴移動パラメータ及び現在の移動パラメータに基づき、ロボットの現在の位置情報を推定する。次に、拡張カルマンフィルタによって、ビデオ位置決めシステムによって取得された結果と動力学システムによって取得された結果を融合することにより、ロボットの正確な位置決めを実現する。

本開示の実施例に係るロボットの位置決め方法は、一方では、視覚システムを用いて模擬砂盤を構築する方式により、投影関係を取得し、これにより、第１時刻におけるロボットの第１位置情報及び第２時刻におけるロボットの第１推定位置情報を取得し、もう一方では、動力学システムを用いて、ロボットの初期の向き方向、第１時刻から第２時刻までの移動距離及び初期位置情報を検出することにより第２時刻におけるロボットの第２推定位置情報を取得し、これにより、カルマンフィルタによって視覚システムの結果と動力学システムの結果を融合して、ロボットの第２位置情報、つまり、最終的な位置情報を決定する。当該位置決め方式は、複数種の方式を組み合わせる方式を使用し、これにより、全局な位置決めの精度を向上させるだけでなく、ハードウェアコストも低減し、かつシステムの配置も容易にする。視覚システムによって第１推定位置情報を取得するときに、模擬砂盤を構築し、更なる標識用参照物が必要ないため、時刻のキャリブレーションを低減する。

図６を参照すると、図６は、本開示に係るロボットの位置決め装置の一実施例の概略構造図であり、前記ロボットの位置決め装置は、第１位置取得部４１、パラメータ取得部４２、第２位置取得部４３及び校正部４４を備える。

ここで、第１位置取得部４１は、第１時刻におけるロボットの第１位置情報を取得するように構成され、第１位置取得部４１は更に、第２時刻における前記ロボットの第２画像を取得し、前記第２画像に基づいて、における前記ロボットの第１推定位置情報を取得するように構成される。

いくつかの実施例において、ロボットの位置決めを実行する場合、直接に、位置決めシステムを用いて、第１時刻におけるロボットの第１位置情報、及び第２時刻におけるロボットの第１推定位置情報を取得することができ、位置決めシステムは、ＧＰＳ位置決めシステムであってもよい。

いくつかの実施例において、撮影装置（例えば、カメラ）によって、第１時刻におけるロボットの第１画像を取得してもよい。ここで、ロボットは、移動可能な機械機器又はロボットの位置決め機器であり、例えば、フォークリフト、機械車である。

いくつかの実施例において、カメラにはタイマーが設けられることができ、タイマーの時間が第１時刻に達するときに、カメラはロボットを撮影し、第１画像を取得する。ここで、カメラの位置は固定されてもよいし、固定されなくてもよく、カメラの撮影角度は固定されてもよいし、固定されなくてもよく、ここで、カメラは、回転させずに特定位置に設置されることが可能であり、つまり、カメラの撮影範囲は固定であり、カメラは、回転できるように特定の位置に設置されることも可能であり、つまり、カメラの反射範囲は可変である。もちろん、カメラは可動機器に設置されてもよい。本開示は、ロボットを撮影できる限り、カメラの位置及び撮影範囲を特に限定しない。

いくつかの実施例において、第１位置取得部４１は更に、前記第１時刻における前記ロボットの第１画像を取得し、前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得するように構成される。

いくつかの実施例において、ロボットの位置決め機器はカメラに通信的に接続され、カメラによって取得された第１画像をロボットの位置決め機器にアップロードしてもよく、カメラは第１画像を取得した後、通信接続によって第１画像をロボットの位置決め機器に送信する。別の実施例において、カメラによって取得された第１画像をストレージカードに保存した後に、ロボットの位置決め機器にアップロードしてもよく、ロボットの位置決め機器が第１画像を取得することができる限り、これらに対して特に限定しない。

いくつかの実施例において、第１位置取得部４１は更に、模擬砂盤における第１参照物を取得し、模擬砂盤を構築する方式により、ロボットの第１位置情報を決定し、理解できることとして、構築された模擬砂盤は、ロボットの所在する空間的な模擬設計図である。第１画像の第１参照物の画素位置及びロボットの第１画素位置を決定する。

いくつかの実施例において、第１深層学習ネットワークを用いて第１画像を認識することにより、第１画像の第１参照物の画素位置、及びロボットの第１画素位置を決定する。

いくつかの実施例において、第１深層学習ネットワークは、位置決め機能を備えた深層学習ネットワークが含まれるモデルであってもよく、第１画像を当該モデルに入力し、当該モデルで、第１画像を認識することにより、第１画像における第１参照物の画素位置及び第１画像におけるロボットの第１画素位置を取得する。

ここで、第１深層学習ネットワークを用いて第１画像を検出することにより、第１画像における第１参照物の画素位置及び第１画像におけるロボットの第１画素位置を決定し、実行可能な第１深層学習ネットワークは、ＲＣＮＮ深層ネットワーク構造、ＳＳＤ深層ネットワーク構造、Ｙｏｌｏ深層ネットワーク構造、ＲｅｔｉｎａＮｅｔネットワーク構造などを含む。

コストと位置座標検出の精度を考慮して、Ｙｏｌｏ深層ネットワーク構造によって位置座標の検出を実行することができ、ここで、Ｙｏｌｏ深層ネットワーク構造のＹｏｌｏ－ｔｉｎｙ深層ネットワーク構造を用いて検出することができる。

いくつかの実施例において、第１参照物の画素位置を決定することにより第１参照物の模擬位置を取得し、第１参照物の画素位置及び模擬砂盤における第１参照物の模擬位置を用いて第１投影関係を計算して取得する必要がある。

いくつかの実施例において、第１位置取得部４１は更に、模擬砂盤における前記第２参照物を取得し、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定し、第２時刻での前記模擬砂盤における前記第２参照物の模擬位置を決定し、前記第２参照物の画素位置及び前記模擬砂盤における前記第２参照物の模擬位置を用いて、第２投影関係を計算して取得し、前記第２投影関係及び前記ロボットの第２画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、第２時刻における前記ロボットの第１推定位置情報を決定するように構成される。

本開示の実施例は、模擬砂盤を構築し、模擬砂盤にある物体を参照物として第１投影関係の計算を実行し、砂盤に余分の標識物を設定する必要がなく、操作を簡略化し、深層学習を通して第１画像におけるロボットの画素位置を認識し、第１投影関係と組み合わせて模擬砂盤におけるロボットの模擬位置を計算して取得し、これによって、第１時刻におけるロボットの第１位置情報を決定する。このようなロボットの位置決めのプロセスは操作を簡略し、コストを低減し、ユーザ体験を大幅に向上させる。

いくつかの実施例において、第１位置取得部４１は更に、第１時刻におけるロボットの第１位置情報を取得する場合、ロボットの向き方向を検出し、つまり、ロボットの角度を検出するように構成される。ここで、角度及び姿勢によってロボットの向き方向を検出することができる。

ここで、先ず、第１深層学習ネットワークを用いて第１画像を認識し、第１画像からロボットの位置を取得し、その後、ロボットの所在位置領域の画像を抽出し、抽出された領域の画像を角度推定モデルに入力し、当該角度推定モデルによってロボットの角度を検出することにより、ロボットの向き方向を取得し、ここで、ロボットの向き方向を取得することにより、第１時刻から第２時刻までのロボットの移動方向を知ることができる。

いくつかの実施例において、角度推定モデルには第２深層学習ネットワークが含まれてもよく、第２深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、ロボットの向き方向を決定する。ここで、第２深層学習ネットワークは、関連技術における数値回帰のための畳み込みニューラルネットワーク構造（例えば、ＲｅｓＮｅｔ深層ネットワーク構造、ＭｏｂｉｌｅＮｅｔ深層ネットワーク構造、ＧｈｏｓｔＮｅｔ深層ネットワーク構造、ＥｆｆｉｃｉｅｎｔＮｅｔ深層ネットワーク構造など）であってもよい。

いくつかの実施例において、パラメータ取得部４２は、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集するように構成される。ここで、先ず、第１時刻で、ロボットの履歴移動パラメータを取得する。

ロボットが移動するときに、ロボット内部のエンコーダはロボットの走行距離を記録し、ロボットの履歴走行距離はステアリングギアに反映される。したがって、第１時刻で、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギアによってロボットの履歴走行情報、つまり履歴移動パラメータを記録することができる。ここで、ロボットの第１画像を撮影するとともに、ロボットの履歴移動パラメータを取得することができる。

次に、第２時刻でロボットの現在の移動パラメータを取得する。ここで、第２時刻に達すると、ロボットの位置決め機器は、ロボットのエンコーダ及びステアリングギア情報を再度読み取ることにより、ロボットの現在の移動パラメータを取得することができる。

ここで、履歴移動パラメータは、ロボットの履歴移動距離を含み、例えば、それは、ロボットの車輪の履歴回転数などであってもよく、現在の移動パラメータは、第２時刻におけるロボットの車輪の回転数であってもよい。履歴移動パラメータ及び現在の移動パラメータによって、第１時刻から第２時刻までのロボットの移動パラメータを計算して取得する。ここで、第１時刻におけるロボットの履歴移動パラメータが１００メートルであり、第２時刻に検出された現在の移動パラメータが１０１メートルである場合、ロボットが第１時刻から第２時刻まで合計１メートル移動したことを得ることができる。又は、別の実施例において、第１時刻におけるロボットの履歴移動パラメータが、車輪の履歴回転数が２００であり、第２時刻におけるロボットの現在の移動パラメータが、車輪の回転数が２５０であると仮定すると、第１時刻から第２時刻までロボットの車輪が５０回回転したことを分かることができ、つまり、車輪の直径などによって、第１時刻から第２時刻までロボットが移動した距離を計算して取得することができる。

第２位置取得部４３は、前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得するように構成される。ここで、第１時刻におけるロボットの向き方向は既知であり、第１時刻から第２時刻までのロボットの移動距離も既知であり、第１時刻におけるロボットの第１位置情報を知っており、第１位置情報に基づいて移動距離と向き方向を組み合わせることにより、動力学システムによって、第２時刻におけるロボットの第２推定位置情報を計算して取得することができる。

いくつかの実施例において、ロボットの所在する場には少なくとも１つのカメラが配置され、かつカメラはロボットの位置決め機器との接続を確立し、ロボットの位置決め機器又はカメラにはタイマーが設置され、第１時刻から第２時刻までの時間間隔をタイマーのタイマー時間に設定する。タイマー時間に達すると、カメラは、ロボットの画像及びロボットの移動パラメータを取得し、画像をロボットの位置決め機器に伝送し、ロボットの位置決め機器は、視覚システムを用いて上記の図３の方式により第２時刻におけるロボットの第１推定位置情報を取得し、動力学システムを用いて、ロボットの初始位置情報（つまり、第１位置情報）と、ロボットの向き方向と、移動パラメータとを組み合わせて、第２時刻におけるロボットの第２推定位置情報を計算して取得する。

校正部４４は、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得するように構成される。本開示のいくつかの実施例において、カルマンフィルタを用いて前記第１推定位置情報及び前記第２推定位置情報に対して加重平均を実行することにより、前記第２時刻における前記ロボットの第２位置情報を取得することができる。

別のいくつかの実施例において、平均値統計法、ガウス混合モデル（ＧＭＭ）により、第１推定位置情報と前記第２推定位置情報を融合して、第２位置情報を取得してもよい。

図７を参照すると、図７は、本開示の実施例に係るロボットの位置決め機器の一実施例の概略構造図である。前記ロボットの位置決め機器は、相互に結合されているメモリ５２とプロセッサ５１を備える。

メモリ５２は、上記の任意のロボットの位置決め方法を実現するためのプログラム命令を記憶するように構成される。

プロセッサ５１は、メモリ５２に記憶されているプログラム命令を実行するように構成される。

ここで、プロセッサ５１はＣＰＵとも呼ばれることができる。プロセッサ５１は、信号処理機能を備えた集積回路チップであり得る。上述のプロセッサ５１は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）、特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、任意の従来のプロセッサなどであってもよい。

メモリ５２は、メモリスティック、ＴＦカードなどであってもよく、前記メモリは、ロボットの位置決め機器のすべての情報を記憶することができ、入力された元のデータ、コンピュータプログラム、中間実行結果及び最終実行結果をメモリに記憶することができる。前記メモリ５２は、コントローラが指定した位置に応じて情報を記憶及び取得する。ロボットの位置決め機器はメモリを備えているため、記憶機能を備え、正常な動作を保証することができる。ロボットの位置決め機器のメモリは、用途に応じて、メインメモリ（内部メモリ）と補助メモリ（外部メモリ）に分けてもよく、外部メモリと内部メモリに分ける分類方法もある。外部メモリは通常、情報を長期間保存できる磁気媒体又は光ディスクなどである。内部メモリとは、現在実行中のデータとプログラムを保存するために使用されるマザーボード上のストレージコンポーネントを指しますが、プログラムとデータを一時的に保存するためにのみ使用され、電源をオフ又はオフにすると、データは失われる。

本開示の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、上記のロボットの位置決め方法を実現する。

本開示で提供されたいくつかの実施例において、開示された方法及び装置は、他の方式で実現できることを理解されたい。例えば、上記の装置の実施形態は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方式が存在でき、例えば、複数のユニット又はコンポーネントを組み合わせたり、別のシステムに統合したり、又は一部の特徴を無視したり、又は実行しないことができる。さらに、表示又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェースによって実現でき、装置又はユニット間の間接的な結合又は通信接続は、電気的又は機械的な形であってもよいし、他の形であってもよい。

分離部材として記載されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の必要に応じて、上記のユニットの一部又は全部を選択して、本実形態の技術方案の目的を達成することができる。

また、本開示の各実施例における各機能ユニットを１つの処理ユニットに統合してもよく、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよいし、ソフトウェア機能ユニットの形で実装されてもよい。

統合されたユニットがソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売又は使用される場合、１つのコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本開示の技術的解決策の本質的な部分、すなわち、先行技術に貢献のある部分、又は前記技術的解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、システムサーバ、又はネットワーク機器等であり得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ））に、本開示の各実施形態の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。

図８を参照すると、図８は、本開示の実施例に係るコンピュータ可読記憶媒体の概略構造図である。本開示の記憶媒体には、上記のすべてのロボットの位置決め方法を実現できるプログラムファイル６１が記憶され、ここで、当該プログラムファイル６１は、ソフトウェア製品の形で上記の記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であり得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ））に、本開示の各実施形態の方法のステップの全部又は一部を実行させるためのいくつかの命令を含む。上記の記憶装置は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体、あるいはコンピュータ、サーバ、携帯電話、タブレットなどの端末機器を含む。

上記は、本開示の実施形態に過ぎず、本開示の特許の範囲を限定するものではない。本開示の明細書及び図面の内容を使用することによって行われる同等の構造変換あるいは同等のプロセス変換、又は他の関連技術分野における直接／間接出願も、本開示の特許保護の範囲に含まれる。

本開示の実施例では、第１時刻におけるロボットの第１位置情報を取得し、第２時刻における前記ロボットの第２画像を取得し、前記第２画像に基づいて前記第２時刻における前記ロボットの第１推定位置情報を取得することと、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集し、前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得し、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得する。当該方法は、２つの異なる方式によって取得されたロボットの位置決め結果を融合して、正確な位置情報を取得し、位置決め精度を効果的に向上させる。

Claims

ロボットの位置決め方法であって、
第１時刻におけるロボットの第１位置情報を取得することと、
第２時刻における前記ロボットの第２画像を取得し、前記第２画像に基づいて前記第２時刻における前記ロボットの第１推定位置情報を取得することと、
前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集することと、
前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得することと、
前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得することと、を含む、
ロボットの位置決め方法。
前記第１時刻におけるロボットの第１位置情報を取得することは、
前記第１時刻における前記ロボットの第１画像を取得することと、
前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得することと、を含む、
請求項１に記載のロボットの位置決め方法。
前記第１画像は第１参照物を含み、前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得することは、
模擬砂盤における前記第１参照物を取得することと、
前記第１画像における前記第１参照物の画素位置及び前記ロボットの第１画素位置を決定することと、
第１時刻での前記模擬砂盤における前記第１参照物の模擬位置を決定することと、
前記第１参照物の画素位置及び前記模擬砂盤における前記第１参照物の模擬位置を用いて、第１投影関係を計算して取得することと、
前記第１投影関係及前記ロボットの第１画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、
前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第１時刻における前記ロボットの前記第１位置情報を決定することと、を含む、
請求項２に記載のロボットの位置決め方法。
前記第２画像は第２参照物を含み、前記第２画像に基づいて、前記第２時刻における前記ロボットの第１推定位置情報を取得することは、
模擬砂盤における前記第２参照物を取得することと、
前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することと、
第２時刻での前記模擬砂盤における前記第２参照物の模擬位置を決定することと、
前記第２参照物の画素位置及び前記模擬砂盤における前記第２参照物の模擬位置を用いて、第２投影関係を計算して取得することと、
前記第２投影関係及び前記ロボットの第２画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得することと、
前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第２時刻における前記ロボットの前記第１推定位置情報を決定することと、を含む、
請求項１に記載のロボットの位置決め方法。
前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することは、
第１深層学習ネットワークを用いて前記第２画像を認識して、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定することと、
前記第１深層学習ネットワークは、ＲＣＮＮ深層ネットワーク構造、ＳＳＤ深層ネットワーク構造、Ｙｏｌｏ深層ネットワーク構造及びＲｅｔｉｎａＮｅｔネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含むことと、を含む、
請求項４に記載のロボットの位置決め方法。
前記第１時刻における前記ロボットの第１画像を取得した後、前記ロボットの位置決め方法は、
前記第１画像に基づいて、前記第１時刻における前記ロボットの向き方向を取得することを更に含む、
請求項２に記載のロボットの位置決め方法。
前記第１画像に基づいて、前記第１時刻における前記ロボットの向き方向を取得することは、
第２深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定することを含み、
前記第２深層学習ネットワークは、ＲｅｓＮｅｔ深層ネットワーク構造、ＭｏｂｉｌｅＮｅｔ深層ネットワーク構造、ＧｈｏｓｔＮｅｔ深層ネットワーク構造及びＥｆｆｉｃｉｅｎｔＮｅｔ深層ネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含む、
請求項６に記載のロボットの位置決め方法。
前記位置決め方法は、
前記第１時刻で、前記ロボットの履歴移動パラメータを取得することを更に含み、
前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集することは、
前記第２時刻で、前記ロボットの現在の移動パラメータを取得することと、
前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを計算して取得することと、をさらに含む、
請求項６に記載のロボットの位置決め方法。
前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得することは、
前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータと、前記第１時刻における前記ロボットの向き方向とに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を取得することを含む、
請求項６に記載のロボットの位置決め方法。
前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得することは、
カルマンフィルタを用いて前記第１推定位置情報及び前記第２推定位置情報に対して加重平均を実行することにより、前記第２時刻における前記ロボットの前記第２位置情報を取得することを含む、
請求項１に記載のロボットの位置決め方法。
ロボットの位置決め装置であって、
第１時刻におけるロボットの第１位置情報を取得し、第２時刻における前記ロボットの第２画像を取得し、前記第２画像に基づいて、前記第２時刻における前記ロボットの第１推定位置情報を取得するように構成される第１位置取得部と、
前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを収集するように構成されるパラメータ取得部と、
前記第１位置情報及び前記移動パラメータに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を計算して取得するように構成される第２位置取得部と、
前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得するように構成される校正部と、を備える、
ロボットの位置決め装置。
前記第１位置取得部は、前記第１時刻における前記ロボットの第１画像を取得し、前記第１画像に基づいて、前記第１時刻における前記ロボットの前記第１位置情報を取得するように構成される、
請求項１１に記載のロボットの位置決め装置。
前記第１画像は第１参照物を含み、
前記第１位置取得部は更に、模擬砂盤における前記第１参照物を取得し、前記第１画像における前記第１参照物の画素位置及び前記ロボットの第１画素位置を決定し、第１時刻での前記模擬砂盤における前記第１参照物の模擬位置を決定し、前記第１参照物の画素位置及び前記模擬砂盤における前記第１参照物の模擬位置を用いて、第１投影関係を計算して取得し、前記第１投影関係及前記ロボットの第１画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第１時刻における前記ロボットの前記第１位置情報を決定するように構成される、
請求項１２に記載のロボットの位置決め装置。
前記第２画像は第２参照物を含み、
前記第１位置取得部は更に、模擬砂盤における前記第２参照物を取得し、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定し、第２時刻での前記模擬砂盤における前記第２参照物の模擬位置を決定し、前記第２参照物の画素位置及び前記模擬砂盤における前記第２参照物の模擬位置を用いて、第２投影関係を計算して取得し、前記第２投影関係及び前記ロボットの第２画素位置に基づいて、前記模擬砂盤における前記ロボットの模擬位置を計算して取得し、前記模擬砂盤における前記ロボットの模擬位置を用いて、前記第２時刻における前記ロボットの前記第１推定位置情報を決定するように構成される、
請求項１１に記載のロボットの位置決め装置。
前記第１位置取得部は更に、第１深層学習ネットワークを用いて前記第２画像を認識して、前記第２画像における前記第２参照物の画素位置及び前記ロボットの第２画素位置を決定するように構成され、前記第１深層学習ネットワークは、ＲＣＮＮ深層ネットワーク構造、ＳＳＤ深層ネットワーク構造、Ｙｏｌｏ深層ネットワーク構造及びＲｅｔｉｎａＮｅｔネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含む、
請求項１４に記載のロボットの位置決め装置。
前記第１位置取得部は更に、前記第１時刻における前記ロボットの第１画像を取得する前に、前記第１画像に基づいて、前記第１時刻における前記ロボットの向き方向を取得するように構成される、
請求項１１に記載のロボットの位置決め装置。
前記第１位置取得部は更に、第２深層学習ネットワークを用いて、前記ロボットの所在領域の画像を認識して、前記ロボットの向き方向を決定するように構成され、前記第２深層学習ネットワークは、ＲｅｓＮｅｔ深層ネットワーク構造、ＭｏｂｉｌｅＮｅｔ深層ネットワーク構造、ＧｈｏｓｔＮｅｔ深層ネットワーク構造及びＥｆｆｉｃｉｅｎｔＮｅｔ深層ネットワーク構造のうちの１つ又はそれらの任意の組み合わせを含む、
請求項１６に記載のロボットの位置決め装置。
前記パラメータ取得部は、前記第１時刻で、前記ロボットの履歴移動パラメータを取得し、前記第２時刻で、前記ロボットの現在の移動パラメータを取得し、前記履歴移動パラメータ及び前記現在の移動パラメータによって、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータを計算して取得するように構成される、
請求項１６に記載のロボットの位置決め装置。
前記第２位置取得部は、前記第１時刻から前記第２時刻までの前記ロボットの移動パラメータと、前記第１時刻における前記ロボットの向き方向とに基づいて、前記第２時刻における前記ロボットの第２推定位置情報を取得するように構成される、
請求項１６に記載のロボットの位置決め装置。
前記校正部は、前記第１推定位置情報及び前記第２推定位置情報によって、前記第２時刻における前記ロボットの第２位置情報を取得するように構成される、
請求項１１に記載のロボットの位置決め装置。
ロボットの位置決め機器であって、
メモリと、プロセッサとを備え、ここで、前記メモリには、プログラム命令が記憶され、前記プロセッサは、前記メモリから前記プログラム命令を呼び出して、請求項１ないし１０のいずれか一項に記載のロボットの位置決め方法を実行する、
ロボットの位置決め機器。
プログラムファイルが記憶されているコンピュータ可読記憶媒体であって、
前記プログラムファイルが実行されるときに、請求項１ないし１０のいずれか一項に記載のロボットの位置決め方法を実現する、
コンピュータ可読記憶媒体。
コンピュータ可読コードを含むコンピュータプログラムであって、
前記コンピュータ可読コードがロボットの位置決め機器で実行され、前記ロボットの位置決め機器のプロセッサによって実行されるときに、請求項１ないし１０のいずれか一項に記載のロボットの位置決め方法を実現する、
コンピュータプログラム。