JP2023131258A

JP2023131258A - 情報処理装置、及び制御方法

Info

Publication number: JP2023131258A
Application number: JP2022035888A
Authority: JP
Inventors: 健宮本; Takeshi Miyamoto; 享錢谷; Susumu Zenitani
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-03-09
Filing date: 2022-03-09
Publication date: 2023-09-22

Abstract

【課題】移動している移動体の位置を認識しやすくすること。【解決手段】情報処理装置は、予め対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータと、当該複数のデータに基づいて予め生成された対象領域の俯瞰画像とを記憶部から取得する第１取得部と、対象物との距離を少なくとも測定可能な第１センサを備える移動体から、対象領域において第１センサを用いて測定された対象物との距離情報を少なくとも含む現在のデータを取得する第２取得部と、第１取得部が取得した複数のデータと、第２取得部が取得した現在のデータとに基づいて、対象領域の俯瞰画像上における移動体の現在の位置及び姿勢を特定する特定部と、対象領域の俯瞰画像と、対象領域の俯瞰画像上における移動体の現在の位置及び姿勢を示す情報とを出力する出力部と、を備える。【選択図】図３

Description

本開示は、情報処理装置、及び制御方法に関する。

自律走行が可能な自走式の移動体（例えば、ロボット）に設けられたセンサで撮影した画像を、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、スマートフォンなどの他の電子機器で表示する技術がある。この技術によれば、移動体が存在する位置から離れた場所で、移動体が進む方向などの様子を知ることができる。しかしながら、移動体で撮影された画像は移動体を視点とした画像であるため、離れた場所から移動体の位置をリアルタイムに把握することが難しい場合がある。

一方、特許文献１には、車両の周りを複数のカメラで撮影した画像から、周りの環境の見下ろし画像（俯瞰画像）を生成し、地図データまたは衛星画像などの既存の俯瞰画像と比較することにより、車両の姿勢を推定する技術が開示されている。また、特許文献２には、清掃ロボットが物体までの距離データに基づいて段差、障害物、床面などを把握するとともに俯瞰画像を生成することにより、自律走行性能を高める技術が開示されている。

特開２０２１－１６７８１９号公報特開２０１４－１９４７２９号公報

しかしながら、上述した特許文献１に開示されている技術は、ある特定の時刻に撮影されたワンショットの画像から生成した俯瞰画像を既存の俯瞰画像と比較することによりその撮影時点での車両の向きを推定するだけであるため、移動している移動体の時々の位置をリアルタイムに把握することはできない。また、特許文献２に開示されている技術は、段差、障害物、床面などを把握することができたとしても、移動している移動体の時々の位置をリアルタイムに把握することはできない。

本開示は、上記した事情に鑑みてなされたもので、移動している移動体の位置を認識しやすくすることができる情報処理装置、及び制御方法を提供することを目的の一つとする。

本開示の一態様は、予め対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータと、当該複数のデータに基づいて予め生成された前記対象領域の俯瞰画像とを記憶部から取得する第１取得部と、前記対象物との距離を少なくとも測定可能な第１センサを備える移動体から、前記対象領域において前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む現在のデータを取得する第２取得部と、前記第１取得部が取得した複数のデータと、前記第２取得部が取得した現在のデータとに基づいて、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を特定する特定部と、前記対象領域の俯瞰画像と、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を示す情報とを出力する出力部と、を備える情報処理装置である。

また、本開示の一態様は、対象物との距離を少なくとも測定可能な第１センサを備える移動体が移動する対象領域において、異なる時刻に前記第１センサを用いて測定された前記対象物との距離を少なくとも含む複数のデータを前記移動体から取得するデータ取得部と、前記データ取得部が取得した複数のデータに基づいて前記対象領域の俯瞰画像を生成する生成部と、を備える情報処理装置である。

また、本開示の一態様は、情報処理装置における制御方法であって、第１取得部が、予め対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータと、当該複数のデータに基づいて予め生成された前記対象領域の俯瞰画像とを記憶部から取得するステップと、第２取得部が、前記対象物との距離を少なくとも測定可能な第１センサを備える移動体から、前記対象領域において前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む現在のデータを取得するステップと、特定部が、前記第１取得部が取得した複数のデータと、前記第２取得部が取得した現在のデータとに基づいて、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を特定するステップと、出力部が、前記対象領域の俯瞰画像と、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を示す情報とを出力するステップと、を含む制御方法である。

また、本開示の一態様は、情報処理装置における制御方法であって、データ取得部が、対象物との距離を少なくとも測定可能な第１センサを備える移動体が移動する対象領域において、異なる時刻に前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む複数のデータを前記移動体から取得するステップと、生成部が、前記データ取得部が取得した複数のデータに基づいて前記対象領域の俯瞰画像を生成するステップと、を含む制御方法である。

本開示によれば、移動している移動体の位置を認識しやすくすることができる。

第１の実施形態に係る情報処理システムのハードウェア構成の一例を示すブロック図。第１の実施形態に係るロボット制御部の機能構成の一例を示すブロック図。第１の実施形態に係るサーバ制御部の機能構成の一例を示すブロック図。第１の実施形態に係るロボットの位置及び姿勢を俯瞰画像上に表示した表示例を示す図。第１の実施形態に係るロボットの進行方向の可視光画像の表示例を示す図。第１の実施形態に係る準備段階の処理の一例を示すフローチャート。第１の実施形態に係る運用段階の処理の一例を示すフローチャート。第１の実施形態に係る運用段階の推定方法の具体例を示す図。第１の実施形態に係る座標系を示す図。第１の実施形態に係るセンサをロボットに取り付けたときの座標系を示す図。第２の実施形態に係るロボットのハードウェア構成の一例を示すブロック図。

以下、図面を参照して、実施形態について説明する。
［第１の実施形態］
本実施形態では、移動体が移動する対象となる領域（以下、「対象領域」と称する）において、当該移動体がどこに存在するかを、ユーザが離れた位置から容易に認識可能とする構成について説明する。対象領域とは、移動体が移動可能な施設、建物、部屋などの任意の場所（空間）である。対象領域内を移動する移動体は、自律移動が可能である。本実施形態では、移動体の例として、自律走行が可能な自走式移動体であるロボットを例に説明する。ロボットは、掃除用ロボット、案内用ロボット、運搬用ロボットなど、任意の目的を有するロボットであってもよい。なお、自律制御で移動することが可能な移動体としては、自律走行が可能なロボットに限定されず、自律走行が可能な車両、自律飛行が可能なドローンなど任意の移動体を用いることができる。

（システム構成）
図１は、本実施形態に係る情報処理システム１のハードウェア構成の一例を示すブロック図である。情報処理システム１は、自律走行が可能なロボット１０と、サーバ２０と、端末３０とを備えている。サーバ２０は、ロボット１０及び端末３０のそれぞれとネットワークを介してデータの送受信が可能である。ネットワークは、インターネット、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの通信ネットワークである。

ロボット１０は、通信部１１と、可視光カメラ１２と、赤外線カメラ１３と、移動装置１４と、ロボット制御部１５とを備えている。通信部１１は、ネットワークを介してサーバ２０などと通信を行うための通信デバイスである。なお、通信部１１は、ネットワークを介して端末３０と通信を行ってもよい。

可視光カメラ１２は、可視光を用いて撮像するイメージセンサを備えた撮像装置である。例えば、可視光カメラ１２は、対象領域内で撮像した可視光画像のデータを出力する。

赤外線カメラ１３は、ロボット１０の周囲に存在する物体（以下、「対象物」と称する）との距離を、赤外線を用いて測定可能な距離センサである。赤外線カメラ１３は、赤外光を発光する発光部と物体に反射した赤外光を受光するセンサ部とを含んで構成されている。例えば、赤外線カメラ１３は、対象領域内において測定した対象物との距離情報（例えば、距離画像）のデータを出力する。

可視光カメラ１２と赤外線カメラ１３とは、同一方向を向くようにロボット１０に設けられている。例えば、可視光カメラ１２の光軸と赤外線カメラ１３の光軸とは、略一致するように設置または調整されている。また、可視光カメラ１２と赤外線カメラ１３との撮像（測定）タイミングを同期させることで、同時刻のデータ、即ち対象領域内において同位置から同方向を撮像（測定）したデータを取得することができる。

なお、本実施形態では、対象物との距離を測定するための距離センサとして赤外線カメラ１３を用いる例を説明するが、赤外線カメラ１３に代えて又は加えて、可視光カメラ、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）などを用いてもよい。可視光カメラを距離センサとして用いる場合、単眼の可視光カメラであってもよいし、２つの可視光カメラを用いたステレオカメラであってもよい。例えば、ロボット１０は、赤外線カメラ１３を備えずに、可視光カメラ１２を用いて可視光画像と距離情報とを取得する構成としてもよい。

移動装置１４は、ロボットを移動させるための走行部（例えば、車輪など）及び走行部を駆動する駆動部などを含んで構成されている。

ロボット制御部１５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、メモリなどを含んで構成されており、ロボット１０を制御するための制御プログラムを実行することにより、ロボット１０の各部を制御する。ここで、図２を参照して、ロボット制御部１５が制御プログラムを実行することにより実現される機能構成について説明する。

（ロボット制御部の機能構成）
図２は、本実施形態に係るロボット制御部１５の機能構成の一例を示すブロック図である。ロボット制御部１５は、データ送信部１５１と、カメラ制御部１５２と、位置姿勢推定部１５３と、走行制御部１５４とを備えている。

カメラ制御部１５２は、可視光カメラ１２及び赤外線カメラ１３のデータの取得タイミングなどを制御する。例えば、カメラ制御部１５２は、可視光カメラ１２及び赤外線カメラ１３を同期させて所定の時間間隔で撮像（測定）させ、その都度、可視光画像及び距離画像のデータを取得する。

位置姿勢推定部１５３は、可視光カメラ１２を用いて取得した可視光画像と赤外線カメラ１３を用いて取得した距離画像とに基づいて、ロボット１０の位置及び姿勢を推定する。例えば、位置姿勢推定部１５３は、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＭａｐｐｉｎｇ）などの技術を用いて、ロボット１０の位置及び姿勢をリアルタイムに推定する。

走行制御部１５４は、移動装置１４を制御することにより、ロボット１０の移動または停止、移動させる際の方向及び速度などを制御する。例えば、ロボット制御部１５は、可視光カメラ１２及び赤外線カメラ１３から出力されるデータ、位置姿勢推定部１５３により推定されたロボット１０の位置及び姿勢などに基づいて、ロボット１０を自律走行させる。また、走行制御部１５４は、予め設定された経路情報に基づいて、ロボット１０を走行させてもよい。また、ロボット制御部１５は、ユーザが遠隔操作するリモートコントローラ（不図示）からの操作信号を通信部１１を介して取得することにより、ユーザの遠隔操作に応じてロボット１０を移動させてもよい。

データ送信部１５１は、可視光カメラ１２及び赤外線カメラ１３により取得した可視光画像及び距離画像のデータ、位置姿勢推定部１５３により推定されたロボット１０の位置及び姿勢情報などを、通信部１１を介してサーバ２０へ送信する。例えば、データ送信部１５１は、ロボット１０の視点が大きく切り替わったときのみ、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報とをサーバ２０へ送信してもよい。

ここで、ロボット１０の視点が大きく切り替わったときとは、即ちロボット１０の位置または姿勢が所定の閾値以上に変化したときであり、このときの可視光画像及び距離画像のデータのことを、「キーフレームのデータ」と称する。つまり、キーフレームとは、ロボット１０の視点が大きく切り替わるフレームのことを指し、一つ前のキーフレームから回転量や並進量が所定の閾値以上になったときに検出されるフレームを指す。

このような機能構成を備えたロボット制御部１５は、対象領域内においてロボット１０を走行させながら、可視光カメラ１２及び赤外線カメラ１３を同期させて所定の時間間隔で撮像（測定）させることにより、異なる時刻の複数のデータ（可視光画像及び距離画像）を取得する。ロボット制御部１５は、取得した複数のデータに基づいてロボット１０の位置及び姿勢を推定し、複数のデータとロボット１０の位置及び姿勢情報とを関連付けて、通信部１１を介してサーバ２０へ送信する。例えば、ロボット制御部１５は、複数のデータのうちキーフレームのデータと、各キーフレームのデータに基づいて推定されたロボット１０の位置及び姿勢情報とを関連付けてサーバ２０へ送信する。

図１に戻り、サーバ２０は、通信部２１と、記憶部２２と、サーバ制御部２５とを備えている。通信部２１は、ネットワークを介してロボット１０及び端末３０などと通信を行うための通信デバイスである。記憶部２２は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などを含んで構成され、ロボット１０から取得したデータ、サーバ２０が生成したデータなどを記憶する。

サーバ制御部２５は、ＣＰＵ、メモリなどを含んで構成されており、サーバ２０を制御するための制御プログラムを実行することにより、サーバ２０の各部を制御する。ここで、図３を参照して、サーバ制御部２５が制御プログラムを実行することにより実現される機能構成について説明する。

（サーバ制御部の機能構成）
図３は、本実施形態に係るサーバ制御部２５の機能構成の一例を示すブロック図である。サーバ制御部２５は、データ受信部２５１と、点群データ生成部２５２と、俯瞰画像生成部２５３と、データ取得部２５４と、位置座標変換部２５５と、出力部２５６とを備えている。

データ受信部２５１（第２取得部、データ取得部の一例）は、ロボット１０から送信された可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報とを、通信部２１を介して受信する。例えば、データ受信部２５１は、キーフレームのデータと、各キーフレームのデータに基づいて推定されたロボット１０の位置及び姿勢情報とを受信する。データ受信部２５１は、受信した可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報とを記憶部２２に記憶させる。

点群データ生成部２５２は、異なる時刻の複数のキーフレームのデータ（可視光画像及び距離画像）と各キーフレームのデータに基づいて推定されたロボット１０の位置及び姿勢情報とに基づいて、対象領域内における対象物の位置に応じた３次元の点群データを統合した統合点群データを生成する。

ここで、点群データとは、対象領域内において検出された対象物の位置に応じた点を３次元座標上にプロットしたデータである。異なる時刻の複数のキーフレームごとに、ロボット１０を視点とした対象領域内の対象物に対応する点群データが得られる。点群データ生成部２５２は、視点が異なる複数のキーフレームごとの３次元の点群データをキーフレームごとのロボット１０の位置及び姿勢情報に基づいて統合して、対象領域の一部または全部に対応する統合点群データを生成する。

俯瞰画像生成部２５３（生成部の一例）は、所定の座標変換行列を用いて、点群データ生成部２５２により生成された統合点群データに対応する対象領域の俯瞰画像を生成する。また、俯瞰画像生成部２５３は、生成した俯瞰画像のデータを記憶部２２に記憶させる。例えば、俯瞰画像生成部２５３は、キーフレームのデータと、ロボット１０の位置及び姿勢情報と、生成した俯瞰画像のデータとを、キーフレームの取得時刻ごとに関連付けて記憶部２２に記憶させる。この俯瞰画像の生成は、ロボット１０の現在の位置及び姿勢を俯瞰画像上に表示するための準備として、事前に行われる。

データ取得部２５４（第１取得部の一例）は、記憶部２２に記憶されている各種のデータ及び情報を、必要に応じて読み出して取得する。例えば、データ取得部２５４は、ロボット１０から取得して記憶部２２に記憶されているキーフレームのデータ及びロボット１０の位置及び姿勢情報、俯瞰画像生成部２５３により生成された俯瞰画像のデータを、必要に応じて読み出して取得する。

位置座標変換部２５５（特定部の一例）は、対象領域内を走行しているロボット１０から取得したロボット１０の現在の位置及び姿勢を、事前に俯瞰画像生成部２５３により生成された対象領域の俯瞰画像上の位置及び姿勢に変換する。具体的には、位置座標変換部２５５は、ロボット１０から取得した複数のキーフレーム（可視光画像及び距離画像）のデータ及びロボット１０の位置及び姿勢情報を記憶部２２から読み出す。そして、位置座標変換部２５５は、記憶部２２から読み出した複数のキーフレーム（可視光画像及び距離画像）のデータ及びロボット１０の位置及び姿勢情報と、ロボット１０から取得した現在の可視光画像及び距離画像のデータ及びロボット１０の現在の位置及び姿勢情報とに基づいて、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する。

例えば、位置座標変換部２５５は、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する際に、事前に対象領域の俯瞰画像を生成する際に用いた所定の座標変換行列を用いて、ロボット１０から取得したロボット１０の現在の位置及び姿勢を俯瞰画像上の位置及び姿勢に変換して特定する。位置座標変換部２５５は、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報を記憶部２２に記憶させる。

出力部２５６は、対象領域の俯瞰画像のデータと、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報とを、通信部２１を介して出力する。例えば、出力部２５６は、俯瞰画像のデータとロボット１０の現在の位置及び姿勢を示す情報とのそれぞれを関連付けて、端末３０で表示可能なように端末３０へ送信する。なお、出力部２５６は、俯瞰画像上にロボット１０の現在の位置及び姿勢を示す情報を付加した画像データを、端末３０で表示可能なように送信してもよい。

以降において、事前に対象領域の俯瞰画像を生成する処理のことを、「準備段階の処理」、生成した俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定して出力する処理のことを「運用段階の処理」と称する。

図１に戻り、端末３０は、通信部３１と、表示部３２と、入力部３３と、端末制御部３５とを備えている。通信部３１は、ネットワークを介してサーバ２０などと通信を行うための通信デバイスである。なお、通信部３１は、ネットワークを介してロボット１０と通信を行ってもよい。

表示部３２は、液晶ディスプレイ、有機ＥＬディスプレイなどを含んで構成されている。入力部３３は、表示部３２の表示画面上へのタッチ操作による操作入力を受け付けるタッチパネルである。なお、入力部３３は、キーボード、マウス、マイクなどを含む構成であってもよい。

端末制御部３５は、ＣＰＵ、メモリなどを含んで構成されており、端末３０を制御するための制御プログラムを実行することにより、端末３０の各部を制御する。例えば、端末制御部３５は、サーバ２０から送信されたデータを取得し、対象領域内を走行しているロボット１０の現在の位置及び姿勢を示す情報を対象領域の俯瞰画像上に付加して表示部３２に表示させる。

（表示例）
図４は、本実施形態に係るロボット１０の位置及び姿勢を俯瞰画像上に表示した表示例を示す図である。この図では、俯瞰画像を用いた対象領域の地図Ｍ１と、地図Ｍ１上にロボット１０の位置及び姿勢（向き）を示すマーカＲ１とが表示されている。このマーカＲ１は、黒丸の位置が地図Ｍ１上のロボット１０の位置を示しており、三角形の開いている側がロボット１０の進行方向を示している。

このように、俯瞰画像による地図上でロボット１０の位置及び姿勢を確認できるため、対象領域内のロボット１０の位置及び姿勢をユーザにわかりやすく伝えることができる。例えば、ロボット１０の進行方向を可視光カメラ１２で撮影した可視光画像を表示することもできるが、この可視光画像では地図上の位置が分かり難い。

図５は、ロボット１０の進行方向の可視光画像の表示例を示す図である。この図５に示す可視光画像は、図４に示すマーカＲ１の位置から進行方向を撮影した可視光画像の例である。進行方向の様子はわかるものの、対象領域内のどこにロボット１０が存在するのかを容易に認識することができない。

また、本実施形態では、可視光画像と距離画像とを用いて俯瞰画像が生成されるため、図４に示すように地図Ｍ１には、対象領域内の各部屋の壁などの対象物のみでなく、床の模様なども表示される。これにより、対象領域内のロボット１０の位置及び姿勢をユーザによりわかりやすく伝えることができる。

（処理の動作）
次に、本実施形態に係る情報処理システム１による処理の動作について説明する。まず、図６を参照して、準備段階の処理の動作について説明する。
図６は、本実施形態に係る準備段階の処理の一例を示すフローチャートである。ここでは、対象領域の俯瞰画像を生成するために、ユーザがリモートコントローラを用いてロボット１０を対象領域内で走行させる。ロボット１０が対象領域の全域を走行することにより、対象領域の全域俯瞰画像を生成することができる。

（ステップＳ１０１）ロボット１０は、対象領域を走行しながら所定の時間間隔で可視光カメラ１２及び赤外線カメラ１３を用いて可視光画像及び距離画像を取得する。そしてステップＳ１０３の処理へ進む。

（ステップＳ１０３）ロボット１０は、可視光カメラ１２を用いて取得した可視光画像と赤外線カメラ１３を用いて取得した距離画像とに基づいて、ロボット１０の位置及び姿勢を推定する。そしてステップＳ１０５の処理へ進む。

（ステップＳ１０５）ロボット１０は、可視光カメラ１２及び赤外線カメラ１３により取得した可視光画像及び距離画像のデータ、位置姿勢推定部１５３により推定されたロボット１０の位置及び姿勢情報などをサーバ２０へ順次に送信する。例えば、ロボット制御部１５は、キーフレームのデータと、各キーフレームのデータに基づいて推定されたロボット１０の位置及び姿勢情報とを関連付けてサーバ２０へ順次に送信する。そして、ステップＳ１０７の処理へ進む。

（ステップＳ１０７）サーバ２０は、ロボット１０から順次送信されたキーフレームの可視光画像及び距離画像のデータ、ロボット１０の位置及び姿勢情報などを順次に取得し、記憶部２２に記憶させる。そして、ステップＳ１０９の処理へ進む。

（ステップＳ１０９）サーバ２０は、異なる時刻の複数のキーフレームのデータ（可視光画像及び距離画像）と各キーフレームのデータに基づいて推定されたロボット１０の位置及び姿勢情報とに基づいて、対象領域内における対象物の位置に応じた３次元の点群データを統合した統合点群データを生成する。そして、ステップＳ１０９の処理へ進む。

（ステップＳ１１１）サーバ２０は、ステップＳ１０９で生成した統合点群データに基づいて、対象領域の俯瞰画像を生成する。例えば、サーバ２０は、所定の座標変換行列を用いて、統合点群データに対応する対象領域の俯瞰画像を生成して記憶部２２に記憶させる。

次に、図７を参照して、運用段階の処理の動作について説明する。
図７は、本実施形態に係る運用段階の処理の一例を示すフローチャートである。ここでは、例えばロボット１０が対象領域内で自律走行を行っているものとする。

（ステップＳ２０１）ロボット１０は、対象領域を走行しながら所定の時間間隔で可視光カメラ１２及び赤外線カメラ１３を用いて可視光画像及び距離画像を取得する。そしてステップＳ２０３の処理へ進む。

（ステップＳ２０３）ロボット１０は、可視光カメラ１２を用いて取得した可視光画像と赤外線カメラ１３を用いて取得した距離画像とに基づいて、ロボット１０の現在の位置及び姿勢を推定する。そしてステップＳ２０５の処理へ進む。

（ステップＳ２０５）ロボット１０は、可視光カメラ１２及び赤外線カメラ１３により取得した可視光画像及び距離画像のデータ、位置姿勢推定部１５３により推定されたロボット１０の現在の位置及び姿勢情報などをサーバ２０へ順次に送信する。そして、ステップＳ２０７の処理へ進む。

（ステップＳ２０７）サーバ２０は、ロボット１０から送信された可視光画像及び距離画像のデータ、ロボット１０の現在の位置及び姿勢情報などを取得し、記憶部２２に記憶させる。そして、ステップＳ２０９の処理へ進む。

（ステップＳ２０９）サーバ２０は、可視光画像及び距離画像、ロボットの現在の位置及び姿勢に基づいて、俯瞰画像上のロボット１０の現在の位置及び姿勢を特定する。具体的には、サーバ２０は、準備段階の処理（図６参照）でロボット１０から取得した複数のキーフレーム（可視光画像及び距離画像）のデータ及びロボット１０の位置及び姿勢情報を記憶部２２から読み出す。そして、サーバ２０は、記憶部２２から読み出した複数のキーフレーム（可視光画像及び距離画像）のデータ及びロボット１０の位置及び姿勢情報と、ステップＳ２０７において対象領域内を走行しているロボット１０から取得した現在の可視光画像及び距離画像のデータ及びロボット１０の現在の位置及び姿勢情報とに基づいて、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する。例えば、サーバ２０は、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する際に、準備段階の処理で対象領域の俯瞰画像を生成する際に用いた所定の座標変換行列を用いて、ロボット１０の現在の位置及び姿勢を俯瞰画像上の位置及び姿勢に変換して特定する。サーバ２０は、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報を記憶部２２に記憶させる。そして、ステップＳ２１１の処理へ進む。

（ステップＳ２１１）サーバ２０は、対象領域の俯瞰画像のデータと、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報とを端末３０へ送信する。そして、ステップＳ２１３の処理へ進む。

（ステップＳ２１３）端末３０は、対象領域の俯瞰画像のデータと、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報とをサーバ２０から取得する。端末３０は、対象領域内を走行しているロボット１０の現在の位置及び姿勢を示す情報を対象領域の俯瞰画像上に付加して表示する（図４参照）。そして、ステップＳ２１５の処理へ進む。

（ステップＳ２１５）サーバ２０は、このロボット１０の現在の位置及び姿勢を示す情報を俯瞰画像上に表示させる運用段階の処理が終了したか否かを判定する。サーバ２０は、運用段階の処理が終了していないと判定した場合、ステップＳ２０１へ戻り、処理が継続される。一方、サーバ２０は、対象領域内でのロボット１０の走行が終了（例えば、業務が終了）した場合、または、ユーザにより運用段階の処理の終了が指示された場合、運用段階の処理が終了したと判定し、運用段階の処理を終了する。

（ロボットの位置及び姿勢の推定方法）
次に、ロボット１０の位置及び姿勢の推定方法の具体例について説明する。ロボット１０の位置及び姿勢の推定方法は、準備段階と運用段階とで異なる。各段階で行うロボット１０の位置及び姿勢の推定方法の一例について説明する。

（準備段階の推定方法）
準備段階では、ＳＬＡＭによりロボット１０の位置及び姿勢を求める。ここで求める位置及び姿勢は、ロボット１９の走行開始地点からの位置及び姿勢の変化である。ここで得るデータθは、以下の（数式１）に示すように、可視光カメラ１２から得られる可視光画像Ｉｉと、赤外線カメラ１３から得られる距離画像（或いは距離情報）Ｄｉと、ＳＬＡＭにより得られる位置ｔｉと、姿勢Ｒｉとの組で示される。

ロボット１０が対象領域内を走行し、連続的にデータを収集することで、全部でＮ個（Ｎは、自然数）の組が得られる。Ｎ個の組は、定期的な周期で撮影して取得されても良いし、キーフレームを検出することにより取得されても良い。

（運用段階の推定方法）
運用段階では、準備段階で得られた地図に基づいてロボット１０の位置及び姿勢の推定が行われる。図８は、本実施形態に係る運用段階の推定方法の具体例を示す図である。具体的には、図８に示すように、（１）絶対的な位置及び姿勢の推定と、（２）相対的な位置及び姿勢の推定との組み合わせから推定する。

（１）絶対的な位置及び姿勢の推定
地図を元にした絶対的な位置及び姿勢推定の一例としてＢａｇｏｆＷｏｒｄｓ（ＢｏＷ）を使用する方法がある。ＢｏＷは、準備段階においてロボット１０で撮影された複数の可視光画像Ｉｉ（ｉ＝１，２・・・，Ｎ）の中から、運用段階にてロボット１０で撮影された可視光画像に最も近い可視光画像Ｉｉ′を探索する方法である。この探索により得られた可視光画像Ｉｉ′と、ロボット１０で撮影された可視光画像Ｉｉの視点とは異なる。そのため、可視光画像Ｉｉ′から可視光画像Ｉへの視点の移動量Δｔ、ΔＲを求める。移動量を求める方法の一例として、各可視光画像から検出した特徴点と、特徴点周辺の特徴を示すベクトルを用いる方法がある。

ＢｏＷで探索した可視光画像Ｉｉ′に対応する位置ｔｉ及び姿勢Ｒｉ、可視光画像Ｉｉ′から可視光画像Ｉへの視点の移動量Δｔ、ΔＲより、ロボット１０の絶対的な位置ｔｉ及び姿勢Ｒｉは、以下の（数式２）で示される。（数式２）の「０」はゼロベクトルであり、０＝（０００）で示される。

絶対的な位置及び姿勢の推定は、計算量や、準備段階と運用段階の環境の差異などが起因して、リアルタイムに毎回実行できない可能性がある。そのため、相対的な位置及び姿勢の推定との組み合わせからロボット１０の位置及び姿勢の推定が行われる。一度、絶対的な位置及び姿勢を求めた後、それ以後は当分の間、相対的な位置及び姿勢の推定によりロボット１０の位置及び姿勢を求める。相対的な位置及び姿勢を推定する方法の一例としては、ＳＬＡＭがある。また、計算リソースが豊富かつ準備段階と運用段階の環境の差異が無視できる場合などは、相対的な位置及び姿勢の推定を省いても良い。

（ロボットの位置座標の変換方法）
次に、位置座標変換部２５５が、対象領域内を走行しているロボット１０から取得したロボット１０の現在の位置及び姿勢を、事前に俯瞰画像生成部２５３により生成された対象領域の俯瞰画像上の位置及び姿勢に変換する際の位置座標の変換方法について説明する。

前述したように、対象領域の俯瞰画像は、準備段階において点群データ生成部２５２により生成された統合点群データを元に、所定の座標変換行列を用いて生成される。この準備段階で計算した所定の座標変換行列を用いて、運用段階でロボット１０の位置を俯瞰画像上にプロットする。

図９は、本実施形態に係る座標系を示す図である。ここでは、可視光カメラ１２及び赤外線カメラ１３のことを、「センサ」と総称する。ｏがセンサの位置、ｚがセンサの光軸方向、ｘが右方向（画像の横方向）、ｙが縦方向（画像の縦方向）を示す。図１０は、センサをロボット１０に取り付けたときの座標系を示す図である。

点群に含まれる点ｐ_ｉをピクセルに変換する方法は、以下の（数式３）示される。

Ｍは地平面とｘ－ｚ平面が一致するように点群を座標変換するための行列である。詳細は後述する。

Ｐはｙ軸及びｚ軸の値を交換すると共に向きを変更する行列であり、以下の（数式４）で示される。

Ｎは点群の座標値を－１～１に正規化する行列である。この設定方法は後述する。
Ｄはベクトルの一部の要素を削除する行列であり、以下の（数式５）で示される。

Ｋは投影するときの画角や中心を設定する行列である。解像度に依存した行列であり、横方向の画像の解像度をｒ_ｕ、縦方向の画像の解像度をｒ_ｖとすると、Ｋは以下の（数式６）で示される。投影に用いる画像の解像度ｒ_ｕ、ｒ_ｖは開発者などによって予め決められた値である。

最終的に得られるピクセルの位置ｐ′_ｉ上に、点ｐ_ｉに対応した色を表示して俯瞰画像が生成される。同じピクセルに対応する点が複数ある場合には、最も地平面からの距離が短い点に対応する色が表示される。また、ロボット１０の位置を俯瞰画像上に表示するときにも、（数式３）を用いる。俯瞰画像を生成するときに計算したＫ、Ｄ、Ｎ、Ｐ、Ｍと行った行列を用いることにより、ロボット１０の位置姿勢推定部１５３で得られたロボット１０の位置を俯瞰画像上の位置に変換することができる。

（地平面基準の座標系への変換）
地平面基準の座標系に、点群を変換する行列Ｍについて述べる。地平面とｘ－ｚ平面が一致させるための回転行列Ｒｇ、並進ベクトルｔｇとすると、Ｍは以下の（数式７）で示される。

ＰＣＡ（ＰｒｉｍａｒｙＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）などで検出した地平面の法線ｎ_ｇと、変換後の平面の法線ｎ、ｖ＝ｎ_ｇ×ｎ、ｓ＝||ｖ||、ｃ＝ｎ_ｇ・ｎとすると、回転行列Ｒｇは（数式８）で示される。ここでの「×」はＣｒｏｓｓＰｒｏｄｕｃｔ、「・」はＩｎｎｅｒＰｒｏｄｕｃｔを示す。

また、ｖ＝（ｖ_１、ｖ_２、ｖ_３）^Ｔとすると、［ｖ］_×は以下の(数式９)で示される。なお、||ｎ_ｇ||＝１、||ｎ||＝１とする。

地平面をｎ_ｇ・ｐ＋ｄ_ｇ＝０、変換後の平面をｎ・ｐ＋ｄ＝０とすると、並進ベクトルｔ_ｇは以下の（数式１０）で示される。ここでのｐは、ｐ＝（ｐ_ｘ、ｐ_ｙ、ｐ_ｚ）^Ｔであり、平面上の一点を示す。

なお、ここでは、変換後の平面はｘ－ｚ平面であるため、ｎ＝（０、１、０）^Ｔ，ｄ＝０としている。

（点群の正規化）
次に、点群を－１～１に正規化する行列Ｎについて説明する。Ｎの定義は以下の（数式１１）で示される。

ｍ＝ｍａｘ（ｒ－ｌ、ｆ－ｎ、ｔ－ｂ）と示すことができ、ｘ、ｙ、ｚ各軸の中で最小から最大までの距離が最も長いものである。

ｐ_ｉ＝（ｘ_ｉ、ｙ_ｉ、ｘ_ｉ）^Ｔとすると、lは上空から見た時のｘ軸方向の最小値（数式１２）を示し、ｒは最大値（数式１３）を示す。

ｎはｙ軸方向の最小値（数式１４）を示し、ｆは最大値（数式１５）を示す。

ｔは上空から見た時のｚ軸方向の最小値（数式１６）を示し、ｂは最大値（数式１７）を示す。

[実施形態のまとめ]
以上説明してきたように、本実施形態に係るサーバ２０（情報処理装置の一例）は、予め（準備段階において）対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）と、当該複数のデータに基づいて予め生成された対象領域の俯瞰画像とを記憶部２２から取得する。また、サーバ２０は、対象物との距離を少なくとも測定可能な可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を備えるロボット１０（移動体の一例）から、対象領域において可視光カメラ１２及び赤外線カメラ１３を用いて測定された対象物との距離情報を少なくとも含む現在のデータ（例えば、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報）を（運用段階において）取得する。そして、サーバ２０は、記憶部２２から取得した複数のデータ（例えば、可視光画像及び距離画像）と、ロボット１０から取得した現在のデータ（例えば、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報）とに基づいて、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する。また、サーバ２０は、生成した対象領域の俯瞰画像と、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報とを出力する。

これにより、サーバ２０は、対象領域を移動しているロボット１０の現在の位置及び姿勢を対象領域の俯瞰画像上において特定し、俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報を出力するため、移動している移動体の位置を認識しやすくすることができる。例えば、サーバ２０は、ユーザが使用している端末３０に対して、対象領域の俯瞰画像上にロボット１０の現在の位置及び姿勢を表示させることができるため、移動している移動体の位置を認識しやすくすることができる。

また、サーバ２０は、予め（準備段階において）対象領域において異なる時刻に測定された対象物との距離情報を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）に基づいて対象領域の俯瞰画像を生成して記憶部２２に記憶させる。例えば、サーバ２０は、ロボット１０が移動する対象領域において、予め異なる時刻に可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を用いて測定された対象物との距離情報を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）をロボット１０から取得する。そして、サーバ２０は、取得した複数のデータ（例えば、可視光画像及び距離画像）に基づいて対象領域の俯瞰画像を生成する。

これにより、サーバ２０は、対象領域内においてロボット１０を移動させることにより、対象領域の俯瞰画像を容易に取得することができる。

具体的には、サーバ２０は、予め対象領域において異なる時刻に測定された対象物との距離情報を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）に基づいて、対象物の位置に応じた３次元の点群データを生成するとともに、所定の座標変換行列を用いて、点群データに対応する対象領域の俯瞰画像を生成する。

これにより、サーバ２０は、対象領域内においてロボット１０を移動させることにより、対象領域の俯瞰画像を容易に生成することができる。

また、サーバ２０は、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定する際に、事前に（準備段階において）対象領域の俯瞰画像を生成する際に用いた所定の座標変換行列を用いて特定する。

これにより、サーバ２０は、事前に（準備段階において）生成した対象領域の俯瞰画像上に、ロボット１０の現在の位置及び姿勢をプロットすることができる。

予め対象領域においてロボット１０が移動することにより、異なる時刻に可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を用いて測定された対象物との距離を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）を、ロボット１０から取得して記憶部２２に記憶させる。

これにより、サーバ２０は、対象領域内においてロボット１０を移動させることにより、対象領域の俯瞰画像を生成するために必要なデータを容易に取得することができる。なお、準備段階において俯瞰画像を生成するためにロボット１０を対象領域内で移動させる際は、例えばユーザがリモートコントローラを用いてロボット１０を移動させるが、これに限らずロボット１０が自律制御で移動しても良いし、ユーザが直接的にロボット１０を移動させても良い。

なお、ロボット１０が備えるセンサ（第１センサ）は、可視光カメラ１２及び赤外線カメラ１３であってもよいし、可視光カメラ１２、赤外線カメラ１３、またはＬｉＤＡＲのいずれか一つ又は複数であってもよい。

これにより、サーバ２０は、ロボット１０が、可視光カメラ１２、赤外線カメラ１３、またはＬｉＤＡＲのいずれか一つ又は複数を備えているものであれば、対象領域を移動しているロボット１０の現在の位置及び姿勢を対象領域の俯瞰画像上に表示させることができる。

また、ロボット１０（移動体の一例）は、自律走行が可能な自走式移動体である。

これにより、サーバ２０は、対象領域を自律走行しているロボット１０の現在の位置及び姿勢を対象領域の俯瞰画像上に表示させることができる。

また、本実施形態に係るサーバ２０における制御方法は、予め（準備段階において）対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）と、当該複数のデータに基づいて予め生成された対象領域の俯瞰画像とを記憶部２２から取得するステップと、対象物との距離を少なくとも測定可能な可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を備えるロボット１０（移動体の一例）から、対象領域において可視光カメラ１２及び赤外線カメラ１３を用いて測定された対象物との距離情報を少なくとも含む現在のデータ（例えば、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報）を（運用段階において）取得するステップと、記憶部２２から取得した複数のデータ（例えば、可視光画像及び距離画像）と、ロボット１０から取得した現在のデータ（例えば、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報）とに基づいて、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定するステップと、生成した対象領域の俯瞰画像と、対象領域の俯瞰画像上におけるロボット１０の現在の位置及び姿勢を示す情報とを出力するステップと、を含む。

また、本実施形態に係るサーバ２０における制御方法は、対象物との距離を少なくとも測定可能な可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を備えるロボット１０（移動体の一例）が移動する対象領域において、異なる時刻に可視光カメラ１２及び赤外線カメラ１３を用いて測定された対象物との距離情報を少なくとも含む複数のデータ（例えば、可視光画像及び距離画像）をロボット１０から取得するステップと、取得した複数のデータ（例えば、可視光画像及び距離画像）に基づいて対象領域の俯瞰画像を生成するステップと、を含む。

［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態では、可視光カメラ１２及び赤外線カメラ１３（或いは、ＬｉＤＡＲ）を用いて、ロボット１０の位置及び姿勢を推定する例を説明したが、さらにＩＭＵ（ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）を用いてもよい。

図１１は、本実施形態に係るロボット１０Ａのハードウェア構成の一例を示すブロック図である。図示するロボット１０Ａは、通信部１１と、可視光カメラ１２と、赤外線カメラ１３と、移動装置１４と、ロボット制御部１５と、ＩＭＵ１６とを備えている。ロボット１０Ａは、ＩＭＵ１６を備えている点が図１に示すロボット１０と異なる。ＩＭＵ１６は、ジャイロセンサまたは加速度センサなどロボット１０Ａの位置又は姿勢を検知するためのセンサを備えている。ＩＭＵ１６は、ジャイロセンサまたは加速度センサなどが検知する情報に基づいて、ロボット１０Ａの位置又は姿勢に関する情報を出力する。

ロボット１０Ａのロボット制御部１５は、可視光カメラ１２及び赤外線カメラ１３が取得する画像に加えてＩＭＵ１６が取得する情報に基づいて、ロボット１０Ａの位置及び姿勢を推定する。なお、本実施形態におけるサーバ２０および端末３０の構成は、基本的に第１の実施形態と同様である。

このように、本実施形態に係るロボット１０Ａは、ロボット１０Ａの位置又は姿勢を検知するためのＩＭＵ１６（第２センサの一例）をさらに備えている。
そして、サーバ２０は、ロボット１０Ａから、対象領域において可視光カメラ１２及び赤外線カメラ１３（第１センサの一例）を用いて測定された対象物との距離とＩＭＵ１６を用いて検知された位置又は姿勢とを少なくとも含む現在のデータ（例えば、可視光画像及び距離画像のデータとロボット１０の位置及び姿勢情報）を取得する。

これにより、サーバ２０は、対象領域を移動しているロボット１０の現在の位置及び姿勢を精度よく取得することができるため、より精度よく俯瞰画像上におけるロボット１０の現在の位置及び姿勢を特定することができる。
［変形例］

なお、ロボット１０（１０Ａ）の位置及び姿勢の推定は、可視光カメラ１２、赤外線カメラ１３、ＬｉＤＡＲ、ＩＭＵの他に、ＷｈｅｅｌＯｄｏｍｅｔｒｙ、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などを利用してもよい。

また、端末３０の表示部３２に表示された俯瞰画像に基づいて、ロボット１０（１０Ａ）の目的地または移動経路をユーザが指定できるようにしてもよい。例えば、端末３０の表示部３２に表示された俯瞰画像上において、ロボット１０（１０Ａ）を移動させたい位置に対してユーザが操作（例えば、タップ操作）することにより、目的地を指定できる。端末３０は、俯瞰画像上の操作された位置を目的地の情報として、ロボット１０へ送信する。このとき、端末３０からサーバ２０を介してロボット１０へ送信されてもよいし、端末３０からサーバ２０を介さずに直接的にロボット１０へ送信されてもよい。また、端末３０の表示部３２に表示された俯瞰画像上において、ロボット１０（１０Ａ）を移動させたい経路に対してユーザが操作（例えば、スライド操作）することにより、端末３０は、俯瞰画像上の操作された経路を移動経路の情報として、ロボット１０へ送信してもよい。ロボット１０（１０Ａ）は、端末３０から送信された目的地の情報または移動経路の情報に従って対象領域内を走行するように制御する。即ち、端末３０を、ロボット１０を遠隔操作するためのリモートコントローラとしてもよい。

また、サーバ２０（俯瞰画像生成部２５３）により生成された対象領域の俯瞰画像に対して、ユーザが編集できるようにしてもよい。例えば、端末３０が俯瞰画像の編集機能を有するアプリケーションを実行することにより、当該アプリケーションの処理により表示部３２に表示された俯瞰画像の編集をユーザが行うことができる。端末３０は、ユーザにより編集された俯瞰画像をサーバ２０へ送信することにより、サーバ２０に記憶されている俯瞰画像を、編集後の俯瞰画像へ更新する。これにより、サーバ２０（俯瞰画像生成部２５３）により生成された俯瞰画像に、実際の対象領域と異なる部分があっても、後からユーザの手によって修正することができる。

また、点群データ生成部２５２は、統合点群データを生成する際に、ＳｆＭ（ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ）を用いてもよい。例えば、点群データ生成部２５２は、ＳＬＡＭにＳｆＭを加えて最適化してもよいし、統合点群データに基づいてポリゴンを生成してもよい。ＳｆＭはＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）を用いるものであってもよい。

なお、上述したロボット１０、サーバ２０、及び端末３０は、内部にコンピュータシステムを有している。そして、上述したロボット１０、サーバ２０、及び端末３０が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したロボット１０、サーバ２０、及び端末３０が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にロボット１０、サーバ２０、及び端末３０が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した実施形態におけるロボット１０、サーバ２０、及び端末３０が備える各機能の一部、または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、本開示の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本開示の実施形態を適宜、変形、省略したりすることが可能である。

１情報処理システム
１０，１０Ａロボット
１１通信部
１２可視光カメラ
１３赤外線カメラ
１４移動装置
１５ロボット制御部
１６ＩＭＵ
２０サーバ
２１通信部
２２記憶部
２５サーバ制御部
３０端末
３１通信部
３２表示部
３３入力部
３５端末制御部
１５１データ送信部
１５２カメラ制御部
１５３位置姿勢推定部
１５４走行制御部
２５１データ受信部
２５２点群データ生成部
２５３俯瞰画像生成部
２５４データ取得部
２５５位置座標変換部
２５６出力部

Claims

予め対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータと、当該複数のデータに基づいて予め生成された前記対象領域の俯瞰画像とを記憶部から取得する第１取得部と、
前記対象物との距離を少なくとも測定可能な第１センサを備える移動体から、前記対象領域において前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む現在のデータを取得する第２取得部と、
前記第１取得部が取得した複数のデータと、前記第２取得部が取得した現在のデータとに基づいて、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を特定する特定部と、
前記対象領域の俯瞰画像と、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を示す情報とを出力する出力部と、
を備える情報処理装置。
前記移動体は、前記移動体の位置又は姿勢を検知するための第２センサをさらに備え、
前記第２取得部は、
前記移動体から、前記対象領域において前記第１センサを用いて測定された前記対象物との距離と前記第２センサを用いて検知された位置又は姿勢とを少なくとも含む現在のデータを取得する、
請求項１に記載の情報処理装置。
予め前記対象領域において異なる時刻に測定された前記対象物との距離を少なくとも含む複数のデータに基づいて前記対象領域の俯瞰画像を生成して前記記憶部に記憶させる生成部、
を備える請求項１または請求項２に記載の情報処理装置。
前記生成部は、
予め前記対象領域において異なる時刻に測定された前記対象物との距離を少なくとも含む複数のデータに基づいて、前記対象物の位置に応じた３次元の点群データを生成するとともに、所定の座標変換行列を用いて、前記点群データに対応する前記対象領域の俯瞰画像を生成する、
請求項３に記載の情報処理装置。
前記特定部は、
前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を特定する際に、事前に前記対象領域の俯瞰画像を生成する際に用いた前記所定の座標変換行列を用いて特定する、
請求項４に記載の情報処理装置。
前記第２取得部は、
予め前記対象領域において前記移動体が移動することにより、異なる時刻に前記第１センサを用いて測定された前記対象物との距離を少なくとも含む複数のデータを、前記移動体から取得して前記記憶部に記憶させる、
を備える請求項１から請求項５のいずれか一項に記載の情報処理装置。
対象物との距離を少なくとも測定可能な第１センサを備える移動体が移動する対象領域において、異なる時刻に前記第１センサを用いて測定された前記対象物との距離を少なくとも含む複数のデータを前記移動体から取得するデータ取得部と、
前記データ取得部が取得した複数のデータに基づいて前記対象領域の俯瞰画像を生成する生成部と、
を備える情報処理装置。
前記生成部は、
前記データ取得部が取得した複数のデータに基づいて、前記対象物の位置に応じた３次元の点群データを生成するとともに、所定の座標変換行列を用いて、前記点群データに対応する前記対象領域の俯瞰画像を生成する、
請求項７に記載の情報処理装置。
前記第１センサは、可視光カメラ、赤外線カメラ、またはＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）である、
請求項１から請求項８のいずれか一項に記載の情報処理装置。
前記移動体は、自律走行が可能な自走式移動体である、
請求項１から請求項９のいずれか一項に記載の情報処理装置。
情報処理装置における制御方法であって、
第１取得部が、予め対象領域において異なる時刻に測定された対象物との距離を少なくとも含む複数のデータと、当該複数のデータに基づいて予め生成された前記対象領域の俯瞰画像とを記憶部から取得するステップと、
第２取得部が、前記対象物との距離を少なくとも測定可能な第１センサを備える移動体から、前記対象領域において前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む現在のデータを取得するステップと、
特定部が、前記第１取得部が取得した複数のデータと、前記第２取得部が取得した現在のデータとに基づいて、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を特定するステップと、
出力部が、前記対象領域の俯瞰画像と、前記対象領域の俯瞰画像上における前記移動体の現在の位置及び姿勢を示す情報とを出力するステップと、
を含む制御方法。
情報処理装置における制御方法であって、
データ取得部が、対象物との距離を少なくとも測定可能な第１センサを備える移動体が移動する対象領域において、異なる時刻に前記第１センサを用いて測定された前記対象物との距離情報を少なくとも含む複数のデータを前記移動体から取得するステップと、
生成部が、前記データ取得部が取得した複数のデータに基づいて前記対象領域の俯瞰画像を生成するステップと、
を含む制御方法。