JP2022011821A - 情報処理装置、情報処理方法、移動ロボット - Google Patents

Abstract

【課題】 精度の高い地図情報を取得するための技術を提供すること。【解決手段】 移動中のセンサによる実空間のセンシングの結果であるセンサ情報と、該センシングにおける該センサの位置姿勢と、を取得する。センサ情報および／または位置姿勢を指標とし、最近の指標と、該最近の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含むセンサ情報群を取得する作業の進捗状態を推定し、推定した進捗状態を通知する。【選択図】 図３

Description

本発明は、地図情報の生成技術に関するものである。

カメラ等のセンサを移動させて該センサの位置姿勢や周辺環境の地図情報を推定する技術としてＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）がある。非特許文献１では、精度の高い地図情報を推定する方法として、ループクローズと呼ばれる技術が開示されている。ループクローズでは、センサを移動させた経路上でループ状の区間（閉経路）を認識し、閉経路における地図の連続性を拘束条件に加えることで、精度の高い地図情報を推定する。

M. A. Raul, J. M. M. Montiel and J. D. Tardos., ORB-SLAM: A Versatile and Accurate Monocular SLAM System, Trans. Robotics vol. 31, 2015

センサの周囲環境の地図情報を推定するために、該センサを移動させながら撮影を行う作業者は、撮影中に閉経路を含む撮影データを取得できているかが分からないため、ループクローズの実行が不確実である。そのため、精度の高い地図情報を得ることが難しい。本発明では、精度の高い地図情報を取得するための技術を提供する。

本発明の一様態は、移動中のセンサによる実空間のセンシングの結果であるセンサ情報と、該センシングにおける該センサの位置姿勢と、を取得する取得手段と、前記取得手段が取得するセンサ情報および／または位置姿勢を指標とし、最近の指標と、該最近の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含むセンサ情報群を取得する作業の進捗状態を推定する推定手段と、前記推定手段が推定した進捗状態を通知する通知手段とを備えることを特徴とする。

本発明の構成によれば、精度の高い地図情報を取得することができる。

システムの構成を示す図。 移動ロボットの構成例を示すブロック図。 情報処理装置５００の機能構成例を示すブロック図。 情報処理装置５００の動作を示すフローチャート。 コンピュータ装置のハードウェ構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
一般的にＳＬＡＭでは、センサから連続的に２次元の画像や３次元のデータを取得して該センサの位置姿勢と該センサの周辺環境の地図情報を推定する。ＳＬＡＭの課題として、センサの移動量に応じて、地図情報に含まれる誤差が増大する現象（ドリフト）が知られている。

このドリフトの影響を抑えるために、ループクローズと呼ばれる機能がある。ループクローズでは、センサを移動させた経路上で閉経路を認識し、閉経路における地図の連続性を拘束条件に加えることで、精度の高い地図情報を推定する。上記の非特許文献１では、閉経路を含む撮影データからループクローズを実行する方法が記載されている。

ここで、高精度な地図情報を作成するためには、上記のドリフトの影響を抑えるループクローズを実行可能かどうかが重要になる。しかし、ユーザが撮影を行う時点で、閉経路を含む撮影データが取得できているかどうかを判断することは難しい。

そこで本実施形態では、閉経路を含む撮像画像群を取得する作業の進捗状態を推定し、該推定した進捗状態をユーザに通知する。作業の進捗状態は、作業の完了までどれぐらい到達しているかということを表し、以降、達成度と記載することもある。ユーザはこの通知された進捗状態を見て撮像終了の判断を行う。これにより、閉経路を含む撮像画像群を確実に取得してループクローズを実行できるため、精度の高い地図情報を得ることができる。以下に、その具体的な構成や手順を説明する。

先ず、本実施形態に係るシステムの構成について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、端末装置４００と、該端末装置４００に対するユーザ３００の操作に応じて移動する移動ロボット２００と、を有し、更に該移動ロボット２００には連続的に撮像画像を撮像する撮像装置１００が設けられている。本実施形態では、移動ロボット２００が移動しながら撮像装置１００が撮像した撮像画像群に基づいて、環境の地図情報を推定（生成）する。

次に、移動ロボットの構成例について、図２のブロック図を用いて説明する。撮像装置１００は上記の如く、連続的に撮像を行うものであり、連続的に撮像されたそれぞれの撮像画像は情報処理装置５００に入力される。

情報処理装置５００は、撮像装置１００から連続的に入力された撮像画像群に基づいて環境の地図情報を推定（生成）するとともに、閉経路を含む撮像画像群を取得する作業の進捗状態を推定する。

信号送受信部２２０は、端末装置４００との間のデータ通信を行うものである。例えば、ユーザ３００が端末装置４００を操作して移動ロボット２００を移動させる移動指示を入力すると、端末装置４００は該移動指示を含む信号（移動指示信号）を無線通信でもって移動ロボット２００に対して送信する。信号送受信部２２０は、端末装置４００から無線通信でもって送信された該移動指示信号を受信し、該受信した移動指示信号をモータ制御部２１０に出力する。また、信号送受信部２２０は、情報処理装置５００が推定した進捗状態を含む信号（通知信号）を端末装置４００に対して送信する。端末装置４００は、該通知信号を受信し、該通知信号に含まれる進捗状態に基づく画面を表示する。また、信号送受信部２２０は、情報処理装置５００が生成した地図情報を含む信号（地図情報信号）を端末装置４００に対して送信する。端末装置４００は、該地図情報信号を受信し、該地図情報信号に含まれる地図情報に基づく画面を表示する。

モータ制御部２１０は、移動ロボット２００が有する車輪２５０，２５１を制御するモータの駆動制御を、信号送受信部２２０から出力された移動指示信号に基づいて行うことで、移動ロボット２００の移動速度や移動方向を制御する。

次に、上記の情報処理装置５００の機能構成例について、図３のブロック図を用いて説明する。取得部５１０は、撮像装置１００が連続的に撮像を行うことで該撮像装置１００から出力されるそれぞれの撮像画像を取得する。位置姿勢推定部５２０は、取得部５１０が取得した撮像画像を用いて、該撮像画像の撮像時における撮像装置１００の位置姿勢を推定する。

進捗状態推定部５３０は、取得部５１０が取得する撮像画像および／または位置姿勢推定部５２０が推定した位置姿勢を指標とし、最新の指標と、該最新の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含む撮像画像群を取得する作業の進捗状態を推定する。

地図情報推定部５５０は、取得部５１０が取得した撮像画像と、該撮像画像に基づいて位置姿勢推定部５２０が推定した撮像装置１００の位置姿勢と、に基づいて環境の地図情報を推定する。地図情報は、取得部５１０が取得済みの撮像画像から検出した特徴点と、該撮像画像の撮像時における撮像装置１００の位置姿勢と、が対応付けられた状態で登録されている情報である。なお、地図情報を推定した後、新しく撮像された撮像画像から撮像装置１００の位置姿勢を推定する場合、地図情報に含まれている特徴点のうち、該新しく撮像された撮像画像から検出した特徴点に対応する対応特徴点を特定する。そして、地図情報において該対応特徴点と対応付けられている撮像装置１００の位置姿勢を基準にして、該新しく撮像された撮像画像の撮像時における撮像装置１００の位置姿勢を推定する。

通知部５４０は、進捗状態推定部５３０が推定した進捗状態や地図情報推定部５５０が推定した地図情報を信号送受信部２２０に対して出力する。これにより信号送受信部２２０は、該進捗状態を含む信号や該地図情報を含む信号を生成して端末装置４００に対して送信する。

制御部５８０は、情報処理装置５００全体の動作制御を行う。記憶部５９０には、後述する各処理に係るコンピュータプログラムやデータが格納されている。記憶部５９０に格納されているコンピュータプログラムやデータは、他の機能部が以下に説明する各処理を実行するために用いられる。

次に、情報処理装置５００の動作について、図４のフローチャートに従って説明する。なお、図４のフローチャートに従った処理は、移動ロボット２００が移動中に実行されるものである。

ステップＳ７００では、制御部５８０は初期化処理を行う。初期化処理では、記憶部５９０に格納されているコンピュータプログラムやデータを読みだす。記憶部５９０に格納されているデータには、撮像装置１００のカメラパラメータなどが含まれる。

ステップＳ７１０では、取得部５１０は、撮像装置１００から出力された撮像画像を取得し、該取得した撮像画像を記憶部５９０に格納する。

ステップＳ７２０では、位置姿勢推定部５２０は、ステップＳ７１０で取得部５１０が取得した撮像画像に基づいて、該撮像画像の撮像時における撮像装置１００の位置姿勢を推定し、該推定した撮像装置１００の位置姿勢を記憶部５９０に格納する。撮像画像から該撮像画像を撮像した撮像装置１００の位置姿勢を推定する技術は周知であり、例えば、上記の非特許文献１に記載の方法が利用できる。非特許文献１では、画像から特徴点を検出し、画像間で対応付けを行うことでセンサ（本実施形態では撮像装置１００）の位置姿勢を推定する。

ステップＳ７３０では、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に位置姿勢推定部５２０が推定した撮像装置１００の位置群」に基づいて、閉経路を含む撮像画像群を取得する作業の進捗状態を推定する。

例えば、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に位置姿勢推定部５２０が推定した撮像装置１００の位置群」のうち最近推定した位置をＱｓとする。また、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に位置姿勢推定部５２０が推定した撮像装置１００の位置群」のうち位置Ｑｓとの距離が最小となる位置をＱｔとする。そして進捗状態推定部５３０は、位置Ｑｓと位置Ｑｔとの間の距離Ｄを求め、該求めた距離Ｄに基づいて「閉経路を含む撮像画像群を取得する作業の進捗状態（達成度）Ｘ」を推定する。進捗状態（達成度）Ｘは距離Ｄが大きいほど小さく、距離Ｄが小さいほど大きくなるように求めればよく、例えば、Ｘ＝－ＤやＸ＝１／Ｄなどの式に基づいて進捗状態Ｘを求める。つまり、距離Ｄが小さいほど「過去に移動ロボット２００が通った経路上に近づいて閉経路を成した」とし、作業の進捗状態（達成度）Ｘが高いと推定する。

ステップＳ７４０では、通知部５４０は、ステップＳ７３０で推定した進捗状態（達成度）Ｘを信号送受信部２２０に対して出力する。上記の如く、信号送受信部２２０は、進捗状態（達成度）Ｘを含む通知信号を端末装置４００に対して送信する。

端末装置４００は、移動ロボット２００から通知信号を受信すると、該通信信号に含まれている進捗状態（達成度）Ｘに基づく画面を表示する。進捗状態（達成度）Ｘに基づく画面では、例えば、進捗状態（達成度）Ｘ（数値）をそのまま文字列として表示してもよいし、該数値を表す棒グラフや円グラフなどのグラフを表示してもよい。また、進捗状態（達成度）Ｘが閾値以上であれば「ＧＯＯＤ」、進捗状態（達成度）Ｘが閾値未満であれば「ＮＰ＿ＬＯＯＰ」、というように、進捗状態（達成度）Ｘを閾値処理して対応する評価結果を表示してもよい。

ステップＳ７５０では、制御部５８０は、撮像装置１００による撮像を終了する終了条件が満たされたか否かを判断する。例えば、端末装置４００に表示されている進捗状態を見たユーザ３００が撮像終了指示を入力した場合、端末装置４００は該撮像終了指示を含む信号（終了指示信号）を移動ロボット２００に対して送信する。信号送受信部２２０は、該終了指示信号を受けると該終了指示信号を制御部５８０に出力するので、制御部５８０は終了条件が満たされたと判断し、撮像装置１００を制御して撮像を停止させる。

上記の判断の結果、終了条件が満たされた場合には、処理はステップＳ７６０に進み、終了条件が満たされていない場合には、処理はステップＳ７１０に進み、撮像を継続させる。

ステップＳ７６０では、地図情報推定部５５０は、記憶部５９０に格納されている撮像画像群および撮像装置１００の位置姿勢群に基づいて地図情報を推定する。地図情報の推定方法は公知であり、例えば、非特許文献１では、各時点で撮像した画像上の特徴点に基づいて地図情報を推定する方法が開示されている。

このように、本実施形態では、経路上の撮像装置１００の位置に基づいて、閉経路を含む撮像画像を取得する作業の進捗状態を推定し、該推定した進捗状態をユーザに通知する。ユーザはこの通知された進捗状態を見て、撮像を終了するか否かを判断する。これにより、確実に閉経路を含む撮像画像を取得し、ループクローズを実行した精度の高い地図情報を得ることができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態や変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、進捗状態推定部５３０で、経路上における撮像位置間の距離Ｄに基づいて進捗状態を推定していた。ただし、進捗状態を推定する方法は、撮像位置や撮像画像のどちらかを利用して、撮像装置１００を移動させた経路が閉じている度合いを求め、該求めた度合いを作業完結の進捗状態としてユーザに通知できればどのような方法であっても良い。

本実施形態では、撮像画像に基づいて進捗状態を求める方法の一例として、経路上の撮像画像の類似度に基づいて進捗状態を求める方法を説明する。より具体的には、ステップＳ７３０では、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に取得部５１０が取得した撮像画像群」に基づいて、閉経路を含む撮像画像群を取得する作業の進捗状態を推定する。

例えば、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に取得部５１０が取得した撮像画像群」のうち最近撮像された撮像画像をＰｓとする。また、進捗状態推定部５３０は、記憶部５９０に格納されている「過去に取得部５１０が取得した撮像画像群」のうち撮像画像Ｐｓとの類似度が最も高い撮像画像をＰｔとする。この「類似度」は以下のＳＳＤに基づいて定義してもよいし、以下のＳＡＤに基づいて定義してもよいし、画像間の類似度はどのようにして求めてもよい。そして進捗状態推定部５３０は、撮像画像Ｐｓと撮像画像ＰｔとのＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を求め、該求めたＳＳＤに基づいて、撮像画像Ｐｓと撮像画像Ｐｔとの類似度Ｍを求める。ＳＳＤは画像間の類似度が高いほど小さな値となるため、例えば、進捗状態推定部５３０は、類似度ＭをＭ＝－ＳＳＤを計算することで求める。そして進捗状態推定部５３０は、進捗状態（達成度）Ｘを、類似度Ｍが高いほど大きく、類似度Ｍが低いほど小さくなるように求める。例えば、進捗状態推定部５３０は、進捗状態（達成度）ＸをＸ＝Ｍとする。つまり、類似度Ｍが高いほど「過去に移動ロボット２００が通った経路上に近づいて閉経路を成した」とし、作業の進捗の度合い（達成度）Ｘが高いと推定する。

なお、本実施形態では、撮像画像Ｐｓと撮像画像ＰｔとのＳＳＤに基づいて類似度Ｍを求めたが、撮像画像Ｐｓと撮像画像Ｐｔとの類似度Ｍを求める方法は、このような方法に限らない。例えば、撮像画像Ｐｓと撮像画像ＰｔとのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づいて類似度Ｍを求めてもよい。また、類似する２枚の画像は、該２枚の画像間で対応する特徴点（特徴量が類似する特徴点）が検出される傾向がある。この傾向を利用し、撮像画像Ｐｓおよび撮像画像Ｐｔから特徴点を検出し、撮像画像Ｐｓと撮像画像Ｐｔとの間で対応する特徴点の数が多いほど類似度Ｍを高くするようにしても良い。この場合、例えば、対応する特徴点の数をＮとしたとき、類似度Ｍ＝Ｎとする。また、対応する特徴点の数以外にも、特徴点の配置等の類似度に基づいて撮像画像間の類似度を求めてもよい。そしていずれのケースにおいても、進捗状態（達成度）ＸをＸ＝Ｍとする。

このように、本実施形態では、経路上の撮像画像に基づいて、閉経路を含む撮像画像を取得する作業の進捗状態を推定し、該推定した進捗状態をユーザに通知する。ユーザはこの通知された進捗状態を見て、撮像を終了するか否かを判断する。これにより、確実に閉経路を含む撮像画像を取得し、ループクローズを実行した精度の高い地図情報を得ることができる。

なお、進捗状態を、撮像画像と撮像装置１００の位置の両方に基づいて求めてもよい。つまり、進捗状態（達成度）ＸをＸ＝ｆ（Ｄ，Ｍ）＝（－Ｄ）＋ｋ×Ｍを計算することで求めてもよい。ここで、ｋはＤとＭの比率を決める係数であり、あらかじめ設定されている値とする。なお、進捗状態（達成度）Ｘと距離Ｄとの関係を表す式、進捗状態（達成度）Ｘと類似度Ｍとの関係を表す式、には上記の如く様々な式が考えられるため、関数ｆに適用可能な関数は上記の特定の関数に限らない。

［第３の実施形態］
移動ロボット２００を以下のように構成することで、自律移動ロボットを構成することができる。地図情報推定部５５０が推定した地図情報を記憶部５９０に格納する。位置姿勢推定部５２０は、取得部５１０が取得した撮像画像と、記憶部５９０に格納されている地図情報と、に基づいて実空間中における移動ロボット２００の位置姿勢を推定する。この推定の方法は公知であり、例えば、非特許文献１の方法が利用できる。そして、情報処理装置５００に新たに経路計画部を加える。経路計画部は、予め設定した目標ルートに沿って移動できるように、位置姿勢推定部５２０で推定した位置姿勢に基づいて、次の制御値を計算し、該制御値をモータ制御部２１０に出力する。この制御値は、次の移動先へ移動するためのモータの制御量であり、モータ制御部２１０は該制御値に基づいてモータを制御することで移動ロボット２００を移動させる。

ここで、推定する位置姿勢の精度は、地図情報の精度に依存する。本実施形態の通知方法によって撮像終了の判断を行う場合、ループクローズを実行可能な撮像画像を取得できるので、精度の高い地図情報を得ることができる。つまり、その地図情報を利用して撮像装置１００の位置姿勢を推定する場合、精度を向上させることができる。そして、精度の高い位置姿勢を推定できれば、移動ロボットの自律走行も高い精度で行うことができる。

［第４の実施形態］
第１の実施形態では、ステップＳ７３０で進捗状態を推定し、ステップＳ７４０で進捗状態を通知し、ステップＳ７５０で撮像の終了条件が満たされたのかを判断し、撮像の終了後にステップＳ７６０で地図情報の推定を行っていた。しかし、地図情報の推定タイミングはこのような推定タイミングに限らず、例えば、進捗状態が表す値が基準値以上となり、閉経路を成した以降であればいずれのタイミングであってもよい。

例えば、ステップＳ７３０で進捗状態を推定した後、該進捗状態が表す値が基準値以上であればステップＳ７６０の地図情報の推定を行ってもよい。また、撮像の終了後に直ちに地図情報を生成するのではなく、図４のフローチャートに従った処理（ただしステップＳ７６０の処理は省く）の終了後、ユーザから地図情報の生成が指示された場合に地図情報を生成するようにしてもよい。

そして、これに応じて、進捗状態を通知するタイミングについては、第１の実施形態で述べたように、進捗状態を推定した後にすぐに通知しても良いし、地図情報を推定した後に通知しても良いし、そのタイミングについては特定のタイミングに限らない。

＜第１の変形例＞
移動ロボット２００の移動によっては（例えば移動ロボット２００の移動速度が遅い場合）、撮像装置１００から続けて似たような撮像画像が出力される場合がある。このような場合、撮像画像間の類似度Ｍは高くなり、未だ移動ロボット２００はループ状の閉経路を移動していないにも関わらず、高い進捗状態をユーザに通知してしまうことになる。

同様に、移動ロボット２００の移動によっては（例えば移動ロボット２００の移動速度が遅い場合）、位置姿勢推定部５２０は続けて似たような位置姿勢を推定することになる。このような場合、撮像位置間の距離は小さくなり、未だ移動ロボット２００はループ状の閉経路を移動していないにも関わらず、高い進捗状態をユーザに通知してしまうことになる。

このよう事態を避けるために、移動ロボット２００の移動距離が予め定められた基準値Ｂを超えた場合に限って進捗状態を求めるようにし、移動ロボット２００の移動距離が基準値Ｂを超えない限りは、進捗状態は求めないようにする。移動ロボット２００の移動距離は、記憶部５９０に格納されている撮像装置１００の位置群から求めることができる。例えば、移動順に位置１、位置２、…位置ｉ（ｉは３以上の整数）が記憶部５９０に格納されているとすると（位置ｉが最新の位置）、距離Ｌは、｜位置ｘ－位置（ｘ－１）｜をｘ＝２～ｉのそれぞれについて求めた結果の総和として求めることができる。

＜変形例２＞
上記の実施形態や変形例では、撮像装置１００は、実空間の撮像画像を撮像するセンサの一例として説明したが、実空間の２次元のセンシング結果を収集する装置であれば、どのようなセンサを用いてもよい。

また、上記の実施形態や変形例は、実空間の２次元のセンシング結果の代わりに実空間の３次元のセンシング結果（実空間の３次元点群）を用いても同様に実施可能である。実空間の２次元のセンシング結果の代わりに実空間の３次元センシング結果を用いる場合、撮像装置１００はステレオカメラであってもよいし、実空間の３次元点群を収集するセンサであってもよい。実空間の３次元点群を収集するセンサには、例えば、距離センサやＬｉＤＡＲのようなセンサが適用可能である。３次元点群を利用した位置姿勢の推定方法や地図情報の推定方法は、例えば以下の文献に開示されているように周知である。

M.Keller, D.Lefloch, M.Lambers, S.Izadi, T.Weyrich, A.Kolb, "Real-time 3D Reconstruction in Dynamic Scenes using Point-based Fusion", International Conference on 3D Vision (3DV), 2013
この文献では、各時点で得られる３次元点群のマッチングによってセンサの位置姿勢を推定する。そして、各時点で得られる３次元点群を、センサの位置姿勢に応じて統合することで、環境の地図情報を推定する。前述したように、各時点のセンサの位置姿勢は、各時点で得られる３次元点群によって推定可能であるため、第１の実施形態で示すように撮像装置１００の位置に基づいた進捗状態の推定が可能である。また、撮像画像の代わりに３次元点群の類似度に基づいて進捗状態を推定することもできる。３次元点群の類似度は、例えば、隣接するタイミングで収集した３次元点群間でマッチングし、一方の３次元点群と他方の３次元点群とで一致する３次元点の数の割合とすればよい。３次元点群間でマッチングする方法としては、例えば、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）がある。

つまり、情報処理装置５００は、移動中のセンサによる実空間のセンシングの結果であるセンサ情報と、該センシングにおける該センサの位置姿勢と、を取得し、センサ情報および／または位置姿勢を指標とし、最近の指標と、該最近の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含むセンサ情報群を取得する作業の進捗状態を推定する。

地図情報は、センサ情報から推定する周辺環境の幾何情報を含む情報である。具体的には、センサ情報が２次元画像の場合、地図情報は各時点の撮像画像から検出した物体の特徴点の位置情報を含む。センサ情報が３次元点群の場合、地図情報は各時点の３次元点群もしくは複数の３次元点群を統合した環境全体の３次元点群を含む。

第３の実施形態では、この地図情報を基にして、移動ロボット２００に搭載された撮像装置１００の位置姿勢を推定し、自律走行を行う。撮像装置１００が２次元撮像画像を撮像するカメラであり、地図情報が２次元撮像画像の特徴点の情報である場合、地図情報と２次元撮像画像との間で特徴点の対応付けを行うことで、実空間中における移動ロボット２００の位置姿勢を推定する。一方、撮像装置１００が３次元センシング結果を収集するセンサであり、地図情報が環境の３次元点群である場合、３次元点群のマッチングを行うことで、実空間中における移動ロボット２００の位置姿勢を推定する。

＜変形例３＞
撮像装置１００の位置姿勢の推定方法は特定の推定方法に限らない。例えば、撮像画像から検出した特徴点から該撮像画像を撮像した撮像装置１００の位置姿勢を推定しても良い。また、撮像装置１００として実空間の３次元点群を収集するセンサを用いる場合には、３次元点群間のマッチングに基づいて該撮像装置１００の位置姿勢を推定しても良い。また、撮像装置１００にＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を備えさせて該ＩＭＵにより該撮像装置１００の位置姿勢を推定しても良い。また、ＧＰＳに基づいて撮像装置１００の位置姿勢を推定しても良い。また、環境にＡＲマーカ等の形状が既知である指標を配置し、その指標の撮像画像に基づいて、該撮像画像を撮像した撮像装置１００の位置姿勢を推定しても良い。

＜変形例４＞
上記の実施形態や変形例では、進捗状態を端末装置４００に通知することで該進捗状態を該端末装置４００のユーザ３００に通知していたが、進捗状態の通知先は端末装置４００に限らない。また、進捗状態の通知方法も特定の通知方法に限らない。

例えば、進捗の進み具合（達成度の大きさ）を視聴覚や触覚などの感覚で検知可能に刺激を発生することができる通知装置に進捗状態を通知してもよい。このような通知装置は、音声を出力するスピーカーでも良いし、文字や画像を出力するモニタでも良いし、ＬＥＤのＯＮ／ＯＦＦを切り替えて進捗状態を通知する装置でも良い。

また、進捗状態に応じて、通知の大きさなどの程度を変更して通知しても良い。例えば、出力する音声の大きさ、表示する文字の大きさ、文字の色、文字の種類、表示する光の強さ等を変更して通知しても良い。

＜実施例５＞
上記の実施形態や変形例では、特定の場所に限定せず進捗状態の推定を行ったが、進捗状態を推定する場所は予め決めておいても良い。例えば、移動ロボット２００を、場所Ｆから移動させて再度場所Ｆに戻るような移動経路で移動させながら撮像装置１００による撮像を行う場合を考える。ここで、場所Ｆを進捗状態推定の対象場所とする。

このような場合、進捗状態推定部５３０は、場所Ｆにおける撮像装置１００の位置をＱ０とし、記憶部５９０に格納されている「過去に位置姿勢推定部５２０が推定した撮像装置１００の位置群」のうち最近推定した位置をＱｓとする。そして進捗状態推定部５３０は、位置Ｑ０と位置Ｑｓとの間の距離Ｄを求め、第１の実施形態と同様、該求めた距離Ｄに基づいて「閉経路を含む撮像画像群を取得する作業の進捗状態（達成度）Ｘ」を推定する。

なお、他の一例として、進捗状態推定部５３０は、場所Ｆにおいて撮像装置１００が撮像した撮像画像をＰ０とし、記憶部５９０に格納されている「過去に取得部５１０が取得した撮像画像群」のうち最近撮像された撮像画像をＰｓとする。そして進捗状態推定部５３０は、撮像画像Ｐ０と撮像画像Ｐｓとの類似度を第１の実施形態と同様にして求め、該求めた類似度に基づいて進捗状態（達成度）Ｘを求める。

また、本実施形態においても、第２の実施形態と同様、進捗状態を、位置Ｑ０と位置Ｑｓとの間の距離Ｄ、撮像画像Ｐ０と撮像画像Ｐｓとの類似度、の両方に基づいて求めてもよい。

このような進捗状態（達成度）Ｘの取得方法は、経路上の撮像画像や位置のペア（距離Ｄや画像の類似度を求めるペア）を探索する必要がないため、進捗状態（達成度）Ｘを求めるための計算コストを抑えることができる。

［第５の実施形態］
図３に示した情報処理装置５００の各機能部はハードウェアで実装してもよいが、記憶部５９０を除く各機能部はソフトウェア（コンピュータプログラム）で実装してもよい。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は情報処理装置５００に適用可能である。情報処理装置５００に適用可能なコンピュータ装置のハードウェ構成例について、図５のブロック図を用いて説明する。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ５０１は情報処理装置５００全体の動作制御を行うとともに、情報処理装置５００が行うものとして説明した上記の各種の処理を実行もしくは制御する。

ＲＡＭ５０２は、ＲＯＭ５０３や不揮発性メモリ５０４からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ５０５を介して撮像装置１００や信号送受信部２２０から受信したデータ、などを格納するためのエリアを有する。さらにＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ５０２は、各種のエリアを適宜提供することができる。

ＲＯＭ５０３には、情報処理装置５００の設定データ、情報処理装置５００の基本動作に係るコンピュータプログラムやデータ、情報処理装置５００の起動に係るコンピュータプログラムやデータ、などが格納されている。

不揮発性メモリ５０４には、ＯＳ（オペレーティングシステム）や、情報処理装置５００が行うものとして上述した各処理をＣＰＵ５０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。不揮発性メモリ５０４に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。なお、上記の記憶部５９０は、ＲＡＭ５０２や不揮発性メモリ５０４で実装可能である。

Ｉ／Ｆ５０５は、撮像装置１００や信号送受信部２２０との間のデータ通信を行うための通信インターフェースとして機能する。ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、不揮発性メモリ５０４、Ｉ／Ｆ５０５は何れもバス５０６に接続されている。

また、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置 ２２０：信号送受信部 ５００：情報処理装置 ５１０：取得部 ５２０：位置姿勢推定部 ５３０：進捗状態推定部 ５４０：通知部 ５５０：地図情報推定部 ５８０：制御部 ５９０：記憶部

Claims (19)

1. 移動中のセンサによる実空間のセンシングの結果であるセンサ情報と、該センシングにおける該センサの位置姿勢と、を取得する取得手段と、
   前記取得手段が取得するセンサ情報および／または位置姿勢を指標とし、最近の指標と、該最近の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含むセンサ情報群を取得する作業の進捗状態を推定する推定手段と、
   前記推定手段が推定した進捗状態を通知する通知手段と
   を備えることを特徴とする情報処理装置。
2. 前記取得手段は、前記センサ情報に基づいて前記位置姿勢を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記推定手段は、前記取得手段が取得した最近の位置と、前記取得手段が過去に取得した位置群のうち該最近の位置に最も近い位置と、の間の距離に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記進捗状態を表す値は、前記距離が大きいほど小さく、前記距離が小さいほど大きい、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記進捗状態を表す値は、前記距離が閾値以上であれば第１進捗状態を示し、前記距離が閾値未満であれば第２進捗状態を示すことを特徴とする請求項３に記載の情報処理装置。
6. 前記推定手段は、前記取得手段が取得した最近のセンサ情報と、前記取得手段が過去に取得したセンサ情報群のうち該最近のセンサ情報との類似度が最も高いセンサ情報と、の類似度に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
7. 前記推定手段は、前記取得手段が取得した最近の位置と前記取得手段が過去に取得した位置群のうち該最近の位置に最も近い位置との間の距離と、前記取得手段が取得した最近のセンサ情報と前記取得手段が過去に取得したセンサ情報群のうち該最近のセンサ情報との類似度が最も高いセンサ情報との類似度と、に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
8. 前記推定手段は、前記取得手段が取得した最近の位置と規定の位置との間の距離に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
9. 前記推定手段は、前記取得手段が取得した最近のセンサ情報と規定の位置に対応するセンサ情報との類似度に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
10. 前記推定手段は、前記取得手段が取得した最近の位置と規定の位置との間の距離と、前記取得手段が取得した最近のセンサ情報と規定の位置に対応するセンサ情報との類似度と、に基づいて前記進捗状態を推定することを特徴とする請求項１または２に記載の情報処理装置。
11. 前記進捗状態を表す値は、前記類似度が高いほど大きく、前記類似度が低いほど小さい、ことを特徴とする請求項６，７，９，１０の何れか１項に記載の情報処理装置。
12. 前記センサは、実空間の撮像画像を撮像する撮像装置であり、
    前記類似度は、撮像画像間のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、撮像画像間のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、撮像画像間で対応する特徴点の数、撮像画像間で対応する特徴点の配置の類似度、を含むことを特徴とする請求項６，７，９，１０，１１の何れか１項に記載の情報処理装置。
13. 前記センサは、実空間の３次元点群を収集する装置であり、
    前記類似度は、３次元点群間のマッチングの結果であることを特徴とする請求項６，７，９，１０，１１の何れか１項に記載の情報処理装置。
14. 前記推定手段は、前記取得手段が取得した位置に基づいて移動距離を求め、該移動距離が基準値を超えている場合に前記進捗状態を推定し、該移動距離が基準値を超えていない場合は前記進捗状態を推定しないことを特徴とする請求項１ないし１３の何れか１項に記載の情報処理装置。
15. 更に、
    前記取得手段が取得したセンサ情報および位置姿勢に基づいて、環境の地図情報を生成する生成手段を備えることを特徴とする請求項１ないし１４の何れか１項に記載の情報処理装置。
16. 前記生成手段は、前記進捗状態を表す値が基準値以上であれば前記地図情報を生成することを特徴とする請求項１５に記載の情報処理装置。
17. 請求項１ないし１６の何れか１項に記載の情報処理装置と、前記センサと、を有することを特徴とする移動ロボット。
18. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、移動中のセンサによる実空間のセンシングの結果であるセンサ情報と、該センシングにおける該センサの位置姿勢と、を取得する取得工程と、
    前記情報処理装置の推定手段が、前記取得工程で取得するセンサ情報および／または位置姿勢を指標とし、最近の指標と、該最近の指標と規定の関係にある過去の指標と、に基づいて、閉経路を含むセンサ情報群を取得する作業の進捗状態を推定する推定工程と、
    前記情報処理装置の通知手段が、前記推定工程で推定した進捗状態を通知する通知工程と
    を備えることを特徴とする情報処理方法。
19. コンピュータを、請求項１ないし１６の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images