JP2020038588A - 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム - Google Patents

Abstract

【課題】遠隔地の移動ロボットを操作する遠隔操作者が、確認したい空間領域の状況をいち早く確認できるようにする。【解決手段】移動ロボットは、撮像部を有する移動ロボットであって、過去に撮像された撮像データを蓄積する蓄積部と、空間領域の指定を遠隔端末から受け付ける受付部と、受付部が受け付けた空間領域を撮像部で撮像可能な場合には撮像を実行して遠隔端末へ撮像データを送信し、撮像不可能な場合には蓄積部に蓄積された当該空間領域の画像を含む撮像データを遠隔端末へ送信すると共に空間領域を撮像部で撮像するための移動処理を開始する処理部とを備える。【選択図】図９

Description

本発明は、移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラムに関する。

遠隔地の移動ロボットを操作して作業を行う技術が知られている。また、自律移動する移動ロボットから送られてくる画像により離れた場所の観察を行う技術が知られている（例えば、特許文献１を参照）。

国際公開第２００９／０１１３８０号

遠隔地にいる遠隔操作者は、移動ロボットが現時点で観察できる空間領域を確認するばかりでなく、現時点では観察できない空間領域も確認したい場合もある。しかし、移動ロボットが指定された空間領域まで移動するには相応の時間を要するので、遠隔操作者であるユーザは、移動ロボットが移動する間は単に待たされるのみであった。

本発明は、このような問題を解決するためになされたものであり、ユーザが確認したい空間領域の状況をいち早く確認できるようにするものである。

本発明の第１の態様における移動ロボットは、撮像部を有する移動ロボットであって、過去に撮像された撮像データを蓄積する蓄積部と、空間領域の指定を遠隔端末から受け付ける受付部と、受付部が受け付けた空間領域を撮像部で撮像可能な場合には撮像を実行して遠隔端末へ撮像データを送信し、撮像不可能な場合には蓄積部に蓄積された当該空間領域の画像を含む撮像データを遠隔端末へ送信すると共に当該空間領域を撮像部で撮像するための移動処理を開始する処理部とを備える。

遠隔地で作業する移動ロボットがこのように構成されていると、遠隔操作者であるユーザは、視認する画像が過去画像の場合もあるものの、指定した空間領域の画像を直ちに視認することができ、その空間領域の様子をいち早く把握することができる。また、移動ロボットは、指定された空間領域を現時点で撮像できない場合には、当該空間領域を撮像するための移動処理を直ちに開始するので、実際の様子を撮像するまでの無駄な時間を削減することができる。

上記の移動ロボットの処理部は、移動処理を開始した後に当該空間領域を撮像部で撮像して撮像データを得られた場合には、当該撮像データを遠隔端末へ送信すると良い。このように最新の撮像データを送ることにより、ユーザは指定した空間領域の正確な情報を得ることができる。この場合に、処理部は、移動処理を開始した後の移動中に撮像部で撮像して得られた撮像データを、移動中に得られた撮像データであることを示す付加情報と共に遠隔端末へ送信すると良い。遠隔端末がこのような画像も表示すれば、ユーザは、途中経過を認識することができると共に、まだ最新の撮像データが送られてきていないことを認識することもできる。

また、上記の処理部は、蓄積部に蓄積された撮像データを送信する場合には、蓄積された撮像データであることを示す付加情報と共に遠隔端末へ送信すると良い。このような付加情報があれば、遠隔端末側で過去画像であることを明示して表示することができる。

さらには、上記の処理部は、受付部が空間領域の指定を受け付ける前に、撮像部で撮像を実行して遠隔端末へ撮像データを送信しても良い。ユーザは、このような画像をまず確認できれば、空間領域を効率的に指定することができる。

本発明の第２の態様における遠隔端末は、撮像部を有する移動ロボットから撮像データを受信して表示する遠隔端末であって、ユーザが観察したい空間領域を指定することにより生成される指定信号を移動ロボットへ送信する送信部と、移動ロボットから撮像データを受信する受信部と、受信部が受信した撮像データが、送信部が指定信号を送信した後に撮像部が撮像して得られたものであるか否かを判断する判断部と、判断部の判断結果が認識できる態様により撮像データの画像を表示部に表示する表示制御部とを備える。遠隔端末がこのように構成されていると、ユーザは、視認する画像が過去画像の場合もあるものの、過去画像であるか最新画像であるかを認識した上で、指定した空間領域の画像を直ちに視認することができ、その空間領域の様子をいち早く把握することができる。

上記の遠隔端末において、指定信号を送信した後に撮像部が撮像して得られたものでないと判断部が判断した撮像データの画像を表示制御部が表示部に表示した後に、受信部が新たに受信した撮像データに対して指定信号を送信した後に撮像部が撮像して得られたものであると判断部が判断した場合には、表示制御部は、当該新たに受信した撮像データの画像を表示部に表示すると良い。このように表示画像を最新のものに差し替えることにより、ユーザは指定した空間領域の正確な情報を得ることができる。

また、指定信号を送信した後に撮像部が撮像して得られたものでないと判断部が判断した撮像データの画像を表示制御部が表示部に表示している間に受信部が受信した撮像データに移動ロボットが移動中に得られた撮像データであることを示す付加情報が付加されている場合には、表示制御部は、表示中の画像と共に、付加情報が付加されている撮像データの画像を表示部に表示すると良い。遠隔端末がこのような画像も表示すれば、ユーザは、最新の撮像データを得るまでの途中経過を認識することができると共に、まだ最新の撮像データが送られてきていないことを認識することもできる。

また、上記の遠隔端末において、表示制御部は、初期表示として、送信部が指定信号を送信する前に受信部が移動ロボットから受信した撮像データの画像を表示部に表示し、送信部は、表示部が表示した画像を基準としてユーザが指定した空間領域に対して生成された指定信号を移動ロボットへ送信しても良い。ユーザは、このような画像をまず確認できれば移動ロボット周辺の空間領域を効率的に指定することができ、このように生成された指定信号を用いれば、移動ロボットも移動する経路の計画が立案しやすい。

本発明の第３の態様における移動ロボットの制御プログラムは、撮像部を有する移動ロボットの制御プログラムであって、空間領域の指定を遠隔端末から受け付ける受付ステップと、受付ステップで指定を受け付けた時に、当該空間領域を撮像部で撮像可能か否かを判断する判断ステップと、判断ステップで撮像可能と判断した場合に、当該空間領域の撮像を実行して遠隔端末へ撮像データを送信する第１送信ステップと、判断ステップで撮像不可能と判断した場合に、過去に撮像された撮像データが蓄積されている蓄積部から当該空間領域の画像を含む撮像データを取得して遠隔端末へ送信する第２送信ステップと、判断ステップで撮像不可能と判断した場合に、当該空間領域を撮像部で撮像するための移動処理を開始する処理開始ステップとをコンピュータに実行させる。

このようなプログラムがコンピュータによって実行される移動ロボットであれば、第１の態様と同様に、ユーザは、視認する画像が過去画像の場合もあるものの、指定した空間領域の画像を直ちに視認することができ、その空間領域の様子をいち早く把握することができる。また、移動ロボットは、指定された空間領域を現時点で撮像できない場合には、当該空間領域を撮像するための移動処理を直ちに開始するので、実際の様子を撮像するまでの無駄な時間を削減することができる。

本発明の第４の態様における遠隔端末の制御プログラムは、撮像部を有する移動ロボットから撮像データを受信して表示する遠隔端末の制御プログラムであって、ユーザが観察したい空間領域を指定することにより生成される指定信号を移動ロボットへ送信する送信ステップと、移動ロボットから撮像データを受信する受信ステップと、受信ステップで受信した撮像データが、送信ステップで指定信号を送信した後に撮像部が撮像して得られたものであるか否かを判断する判断ステップと、判断ステップの判断結果が認識できる態様により撮像データの画像を表示部に表示する表示制御ステップとをコンピュータに実行させる。このようなプログラムがコンピュータによって実行される遠隔端末であれば、第２の態様と同様に、ユーザは、視認する画像が過去画像の場合もあるものの、過去画像であるか最新画像であるかを認識した上で、指定した空間領域の画像を直ちに視認することができ、その空間領域の様子をいち早く把握することができる。

本発明により、ユーザは、遠隔地で動作する移動ロボットの周辺空間に対して指定した空間領域の状況をいち早く確認することができる。

本実施形態に係る移動ロボットが利用される全体環境を説明するための概念図である。 移動ロボットの外観を示す斜視図である。 移動ロボットの制御ブロック図である。 遠隔端末の制御ブロック図である。 遠隔端末で確認したい空間領域を指定する様子を示す図である。 撮像可能であった場合の応答画面の様子を示す図である。 遠隔端末で確認したい空間領域を指定する様子を示す図である。 撮像不可能であった場合の応答画面の様子を示す図である。 移動ロボットと遠隔端末の処理を説明するフロー図である。 他の方法により確認したい空間領域を指定する様子を示す図である。 空間領域の指定が確定する様子を示す図である。 確認したい空間領域が確定した後の様子を示す図である。 確認したい空間領域の現在の様子を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係る移動ロボット１００が利用される全体環境を説明するための概念図である。第１環境において様々な作業を担う移動ロボット１００は、第１環境から離れた第２環境に居る遠隔操作者たるユーザが遠隔端末３００を操作することにより、インターネット６００に接続されたシステムサーバ５００を介して、遠隔操作される。

移動ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。また、遠隔端末３００は、第２環境において、無線ルータ７００を介してインターネット６００と接続されている。システムサーバ５００は、インターネット６００に接続されている。移動ロボット１００は、遠隔端末３００から様々な操作信号を受信して、移動動作や撮像動作を実行する。図１の例では、移動ロボット１００がテーブル９００に載置されたボトルである容器９１０を把持して搬送するタスクの準備を行っている様子を示している。

移動ロボット１００は、ステレオカメラ１３１によって容器９１０とその周辺の空間領域を撮像し、撮像データを生成することができる。移動ロボット１００は、自律的に動作する場合においては、撮像データを処理して空間認識を実行し、対象物である容器９１０の位置や大きさを把握する。また、ユーザから撮像データ要求された場合には、生成した撮像データを遠隔端末３００へ送信する。なお、遠隔端末３００が３Ｄ表示に対応していない場合には、生成した撮像データを２Ｄ表示用の画像フォーマットに準拠した撮像データに変換して送信しても良い。

なお、本実施形態においては、接続するネットワークとしてインターネット６００を利用するが、イントラネット等他のネットワークであっても構わない。また、ネットワークを介さず、移動ロボット１００と遠隔端末３００を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近接通信で直接的に接続しても良い。

遠隔端末３００は、例えばタブレット端末であり、表示パネル３４１を有する。表示パネル３４１には、移動ロボット１００から受信した撮像データの画像が表示され、ユーザは、指定した空間領域の様子を間接的に視認することができる。また、ユーザは、遠隔端末３００を操作することにより、移動ロボット１００を動作させるための様々な操作信号を生成させることができる。生成された操作信号は、インターネット６００を介して移動ロボット１００へ送信される。

図２は、移動ロボット１００の外観斜視図である。移動ロボット１００は、大きく分けて台車部１１０と本体部１２０によって構成される。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。

台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、障害物が存在する場合には、その障害物までの距離を出力する。

本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、およびアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持する。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。

頭部１２２は、主に、ステレオカメラ１３１および表示パネル１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された撮像信号を出力する。

表示パネル１４１は、例えば液晶パネルであり、設定されたキャラクターの顔をアニメーションで表示したり、移動ロボット１００に関する情報をテキストやアイコンで表示したりする。表示パネル１４１にキャラクターの顔を表示すれば、表示パネル１４１が擬似的な顔部であるかの印象を周囲の人達に与えることができる。

頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。したがって、ステレオカメラ１３１は、任意の方向の対象物を撮像することができ、また、表示パネル１４１は、任意の方向へ向けて表示内容を呈示することができる。

図３は、移動ロボット１００の制御ブロック図である。ここでは、遠隔端末３００へ撮像データを送信する処理に関係する主な要素について説明するが、移動ロボット１００の構成としては他の要素も備え、また、撮像データを送信する処理に寄与する他の要素が加えられることもあり得る。

制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１４５は、駆動輪１１１と駆動輪１１１を駆動するための駆動回路やモータを含む。制御部１５０は、台車駆動ユニット１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動ユニット１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。

上体駆動ユニット１４６は、アーム１２３およびハンド１２４を含む把持部、胴部１２１および頭部１２２と、これらを駆動するための駆動回路やモータを含む。制御部１５０は、上体駆動ユニット１４６へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動ユニット１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３およびハンド１２４の位置や移動速度、胴部１２１および頭部１２２の向きや回転速度を把握する。

表示パネル１４１は、制御部１５０が生成した画像信号を受信して表示する。また、制御部１５０は、上述のように、キャラクター等の画像信号を生成して、表示パネル１４１へ表示させる。表示パネル１４１がタッチパネルを備える場合には、表示パネル１４１は、タッチ信号を制御部１５０へ送信する。

ステレオカメラ１３１は、制御部１５０からの要求に従って周辺環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、遠隔端末３００へ送信するために予め定められたフォーマットに従って撮像データに変換したりする。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その結果である検出信号を制御部１５０へ引き渡す。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、移動ロボット１００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、自律移動することが予定されている空間を記述した地図情報のデータベースである地図ＤＢ１８１と、過去の動作中に周辺空間を撮像して収集した撮像データのデータベースである過去画像ＤＢ１８２の記憶領域を含む。地図ＤＢ１８１は、地図情報を蓄積する地図蓄積部としての機能を担い、過去画像ＤＢ１８２は、過去の撮像データを蓄積する撮像データ蓄積部としての機能を担う。

地図ＤＢ１８１は、移動ロボット１００の行動範囲に合わせて、例えばシステムサーバ５００から対象となる地図情報を取得して蓄積されている。過去画像ＤＢ１８２は、上述のように移動ロボット１００が過去の動作中にステレオカメラ１３１を介して収集した撮像データの他にも、事前に他の移動ロボット等によって撮像された既存の撮像データを含んでも良い。過去画像ＤＢ１８２に蓄積されている撮像データは、どの空間領域を撮像してものであるかの領域情報と、過去に撮像され蓄積された撮像データであることを示す付加情報とを、例えばヘッダ領域に含む。

通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、遠隔端末３００から送られてくる指定信号や操作指示を受信して制御部１５０へ引き渡す。指定信号は、ユーザが観察したい空間領域を指定することにより遠隔端末３００で生成される撮像データを要求する信号である。通信ユニット１９０は、このような受信処理を行うことにより、制御部１５０と協働して、指定信号を受け付ける受付部として機能する。また、通信ユニット１９０は、制御部１５０の制御に従って、ステレオカメラ１３１で取得された撮像データや、過去画像ＤＢ１８２に蓄積されている撮像データを遠隔端末３００へ送信する。また、地図ＤＢ１８１に蓄積されている地図情報や、移動ロボット１００の現在位置情報も遠隔端末３００へ送信する。

制御部１５０は、メモリ１８０から読み出した制御プログラムを実行することにより移動ロボット１００全体の制御と様々な演算処理とを実行する。具体的には後に詳述するが、制御部１５０は、ユーザに指定された空間領域をステレオカメラ１３１で撮像可能な場合には、撮像を実行して遠隔端末３００へ撮像データを送信する。一方、撮像不可能な場合には、過去画像ＤＢ１８２に蓄積された撮像データから指定された空間領域の画像を含む撮像データを抽出して遠隔端末３００へ送信する。更に、当該空間領域をステレオカメラ１３１で撮像するための移動処理を開始する。制御部１５０は、このような一連の処理を実行する処理部として機能する。

図４は、遠隔端末３００の制御ブロック図である。ここでは、移動ロボット１００から撮像データを受信する処理に関係する主な要素について説明するが、遠隔端末３００の構成としては他の要素も備え、また、撮像データを受信する処理に寄与する他の要素が加えられることもあり得る。

演算部３５０は、例えばＣＰＵであり、メモリ３８０から読み出した制御プログラムを実行することにより遠隔端末３００全体の制御と様々な演算処理とを実行する。表示パネル３４１は、例えば液晶パネルであり、演算部３５０が生成した画像信号を受信して表示する表示部として機能する。演算部３５０が生成する画像信号は、例えば移動ロボット１００から送られてきた撮像データを展開した信号であったり、地図情報を展開した信号であったりする。

入力ユニット３４２は、表示パネル１４１に重畳して配置されたタッチパネルや、表示パネル１４１の周縁部に設けられた押しボタン等を含む。入力ユニット３４２は、ユーザの操作を受けて操作信号を生成し、演算部３５０へ引き渡す。メモリ３８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ３８０は、遠隔端末３００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。

通信ユニット３９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、演算部３５０と協働して、指定信号や操作信号等を移動ロボット１００へ送信する送信部としての機能と、移動ロボット１００から撮像データ等を受信する受信部としての機能とを担う。

演算部３５０は、様々な処理や演算を実行する機能演算部としての機能も担う。判断部３５１は、移動ロボット１００から送られてきた撮像データが、指定信号を送信した後に移動ロボット１００で撮像して得られたものであるか否かを判断する。表示制御部３５２は、表示パネル１４１に表示する画像信号を生成してその表示を制御する。特に、判断部３５１の判断結果が認識できる態様により撮像データの画像を表示パネル１４１に表示する。具体的には後述する。

次に、ユーザが遠隔端末３００を操作して状況を確認したい空間領域を指定し、移動ロボット１００から撮像データが送られてきて遠隔端末３００に表示されるまでの一連の処理について説明する。図５は、遠隔端末３００でユーザが確認したい空間領域を指定する様子を示す図である。

遠隔端末３００の表示パネル１４１には、移動ロボット１００が現時点で位置する空間の地図４１１を含む地図ウィンドウ４１０が、どこの地図であるかを示すタイトルと共に表示されている。地図４１１は、対象空間に含まれる構造物の形状によって表わされ、その名称と共に表示される。名称は、例えば、「棚」「物置台」「テーブル」「廊下」「出入口」のようなであり、それぞれが表わす構造物形状の近傍に表示される。これらの地図情報は、移動ロボット１００の地図ＤＢ１８１から取得されるか、あるいは、予めメモリ３８０に格納されているものが利用される。

地図４１１には、移動ロボット１００を表わす本機アイコン４２０が、第１環境における移動ロボット１００の現在位置に対応する場所に重畳される。本機アイコン４２０は、その向きにより、移動ロボット１００がどちらの方向を向いているのかも示している。これらの表示から、ユーザは、第１環境の様子と現在の移動ロボット１００の状況をおよそ想定することができる。

ユーザは、地図４１１に対し、状況を確認したい空間領域を指先でタッチする。図の例ではテーブルの周縁部がタッチされ、これに応じてポインタ４２１が現れた様子がわかる。ユーザは、この空間領域で良ければ、地図ウィンドウ４１０に隣接して表示されている撮像領域指定ボタン４３３をタッチして指定を確定させる。指定が確定されると、演算部３５０は、指定された空間領域が記述された指定信号を生成し、通信ユニット１９０を介して移動ロボット１００へ当該指定信号を送信する。

なお、ユーザは、撮像領域指定ボタン４３３をタッチする前であれば、地図４１１上でタッチし直すことにより、指定する空間領域を修正することができる。また、現時点で移動ロボット１００が位置する空間ではない他の空間の地図を表示させたい場合には、地図選択ボタン４３１をタッチすることにより、他の地図を選択することができる。

図５の例においてユーザに指定された空間領域は、移動ロボット１００の現在位置で直ちに撮像できる空間領域である。この場合、移動ロボット１００は、指定信号を受信すると、ステレオカメラ１３１で当該空間領域に対する撮像を実行し、生成した撮像データを遠隔端末３００へ送信する。なお、移動ロボット１００は、撮像の実行に先立ち、ステレオカメラ１３１が搭載された頭部１２２を揺動させて撮像方向を調整する場合もある。

図６は、撮像可能であった場合の応答画面の様子を示す図である。移動ロボット１００から撮像データを受信すると、判断部３５１は、その撮像データが、指定信号を送信した後に撮像して得られたものであるか否かを判断する。具体的には、例えば撮像データのヘッダ情報を確認して、送信した指定信号に従って撮像した旨の記述が存在するか等により判断する。

指定信号を送信した後に撮像して得られたものであると判断部３５１が判断したら、表示制御部３５２は、その判断結果が認識できる態様により当該撮像データの画像を表示パネル１４１に表示する。具体的には図示するように、イメージウィンドウ４５０を新たに開き、展開した画像と共に現在の様子であることを示す「Ｒｅａｌ ｔｉｍｅ ｐｈｏｔｏ」などのタイトルを表示する。

図７は、図５と同様に遠隔端末３００でユーザが確認したい空間領域を指定する様子を示す図であるが、図５と異なり本機アイコン４２０から離れた空間領域が指定される場合を示す図である。

具体的には、地図４１１において、本機アイコン４２０で示される移動ロボット１００の向きに対して斜め後方に存在する棚がタッチされ、これに応じてポインタ４２１が現れている。撮像領域指定ボタン４３３がタッチされて指定が確定されると、演算部３５０は、指定された空間領域が記述された指定信号を生成し、通信ユニット１９０を介して移動ロボット１００へ当該指定信号を送信する。

図７の例においてユーザに指定された空間領域は、移動ロボット１００の現在位置では直ちに撮像できない空間領域である。この場合、移動ロボット１００は、指定信号を受信すると、まず、過去画像ＤＢ１８２に蓄積された撮像データから指定された空間領域の画像を含む撮像データを抽出して遠隔端末３００へ送信する。更に、当該空間領域をステレオカメラ１３１で撮像するための移動処理を開始する。

図８は、撮像不可能であった場合の応答画面の様子の変化を示す図である。図８のうち上図は、移動ロボット１００が移動処理を開始して、移動中に撮像した撮像データを逐次送信してきている時の遠隔端末３００の応答画面を示している。

上述の通り、移動ロボット１００から撮像データを受信すると、判断部３５１は、その撮像データが、指定信号を送信した後に撮像して得られたものであるか否かを判断する。例えば過去画像ＤＢ１８２に蓄積された撮像データであることを示す付加情報が撮像データに付加されていたら、指定信号を送信する前にすでに存在した撮像データであると判断する。表示制御部３５２は、その判断結果が認識できる態様により当該撮像データの画像を表示パネル１４１に表示する。具体的には図示するように、イメージウィンドウ４５０を新たに開き、展開した画像と共に過去の様子であることを示す「Ｐａｓｔ ｐｈｏｔｏ」などのタイトルを表示する。このように、過去画像を表示することにより、ユーザは、現状を直ちには確認できなくても、表示されている画像が過去の画像であることを認識した上で、少なくとも指定した空間領域がどのような場所であるかをいち早く把握することができる。

過去画像を表示する場合には、表示制御部３５２は、移動ロボット１００が指定された空間領域へ移動する最中に撮像した撮像データを取得して、その画像も表示パネル１４１に表示する。具体的には、イメージウィンドウ４５０の近傍にサブイメージウィンドウ４５１を開き、展開した画像と共に移動中の様子であることを示す「Ｃｕｒｒｅｎｔ」などのタイトルを表示する。また、表示制御部３５２は、移動ロボット１００が移動中であることを示す状態表示ウィンドウ４５２を開き、「本機移動中」などとその状況を表示する。このような表示により、ユーザは、最新の撮像データを得るまでの途中経過を認識することができると共に、まだ最新の撮像データが送られてきていないことを認識することもできる。

図８のうち下図は、移動ロボット１００が指定された空間領域を撮像できる位置に到達し、当該空間領域を撮像して生成した撮像データを送信してきた時の遠隔端末３００の応答画面を示している。取得した撮像データが指定した空間領域を撮像した現在の撮像データであると判断部３５１が判断すると、表示制御部３５２は、サブイメージウィンドウ４５１、状態表示ウィンドウ４５２を消去する。そして、現在の撮像データを展開して、イメージウィンドウ４５０を差し替える。また、タイトルも、現在の様子であることを示す「Ｒｅａｌ ｔｉｍｅ ｐｈｏｔｏ」などに差し替える。ユーザは、例えば、過去画像（図８上図のイメージウィンドウ４５０）での棚の様子には存在しなかったフォークが入れられた透明容器や書籍を、現在の画像（図８下図のイメージウィンドウ４５０）からは確認することができる。このように表示画像を最新のものに差し替えることにより、ユーザは指定した空間領域の正確な情報を得ることができる。

次に、ユーザが撮像データを要求するタスクに関連する移動ロボット１００と遠隔端末３００の処理について説明する。図９は、移動ロボット１００と遠隔端末３００の処理の流れを説明するフロー図である。左側のフローは移動ロボット１００の処理フローを表わし、右側のフローは遠隔端末３００の処理フローを表わす。また、システムサーバ５００を介して行う信号や撮像データのやり取りを、送信元から送信先へ向かう点線の矢印で示している。

遠隔端末３００の演算部３５０は、ステップＳ３０１で、例えばタッチパネルである入力ユニット３４２を介してユーザから地図表示の指示を受け付けると、ステップＳ３０２へ進み、移動ロボット１００に対して移動ロボット１００の現在位置の情報を要求する。具体的には、演算部３５０は、現在位置の情報を要求する要求信号を生成して、通信ユニット１９０を介して移動ロボット１００へ送信する。

移動ロボット１００の制御部１５０は、遠隔端末３００から要求信号を受信すると、ステップＳ１０１で、自身の現在位置を確認し、その位置情報を遠隔端末３００へ送信する。なお、現在位置の確認は、ステレオカメラ１３１から取得される画像情報から空間内の構造物を抽出し、自身との相対的な位置関係を地図情報に記述された構造物とマッチングするなどして行う。

遠隔端末３００の表示制御部３５２は、移動ロボット１００の現在位置の情報を受信すると、ステップＳ３０３で、移動ロボット１００が含まれる空間の地図を図５等で示す態様によって表示パネル３４１に表示する。ステップＳ３０４へ進み、演算部３５０は、図５等を用いて説明したように、ユーザから入力ユニット３４２を介して空間領域の指定を受け付ける。演算部３５０は、空間領域の指定を受け付けると、指定信号を生成して移動ロボット１００へ送信する。

移動ロボット１００の制御部１５０は、遠隔端末３００から指定信号を受信すると、ステップＳ１０２へ進み、指定信号で指定された空間領域をステレオカメラ１３１で直ちに撮像可能か否かを判断する。ここで、ステレオカメラ１３１が搭載された頭部１２２を揺動させる程度で撮像ができるのであれば、直ちに撮像可能であると判断しても良い。撮像可能であると判断した場合は、ステップＳ１０７へ進み、指定された空間領域の撮像を実行し、生成した撮像データを遠隔端末３００へ送信する。撮像不可能であると判断した場合は、ステップＳ１０３へ進む。

制御部１５０は、ステップＳ１０３へ進むと、指定された空間領域の画像を含む撮像データを過去画像ＤＢ１８２から取得し、遠隔端末３００へ送信する。そして、ステップＳ１０４へ進み、指定された空間領域をステレオカメラ１３１で撮像するための移動処理を開始する。具体的には、指定された空間領域を撮像できる地点を目的地と定め、地図情報を用いて現在地から目的地までの経路をプランニングする。プランニングが完了したら、移動を開始する。

移動を開始したらステップＳ１０５へ進み、制御部１５０は、一定間隔で撮像を実行してその撮像データを遠隔端末３００へ送信する。当該撮像データには、例えばヘッダ情報に、移動中に撮像して生成した撮像データであることを示す付加情報を付加する。そして、ステップＳ１０６で、目的地である撮像可能位置に到達したか否かを確認する。撮像可能位置に到達していなければ、ステップＳ１０５へ戻る。撮像可能位置に到達していれば、ステップＳ１０７へ進み、指定された空間領域の撮像を実行し、生成した撮像データを遠隔端末３００へ送信する。

遠隔端末３００の演算部３５０は、ステップＳ３０４で指定信号を送信した後に、移動ロボット１００から送られてくる撮像データを受信する。撮像データを受信したら、判断部３５１は、ステップＳ３０５で、受信した撮像データが、指定信号を送信した後に指定した空間領域を移動ロボット１００が撮像して得られたものであるか否かを判断する。

判断部３５１は、例えば撮像データのヘッダ情報を確認して、当該撮像データに該当するか否かを判断する。具体的には、受信した撮像データのヘッダ情報に、過去画像ＤＢ１８２に蓄積された撮像データであることを示す付加情報があれば、過去画像の撮像データであると判断する。また、移動ロボット１００が移動中に撮像して生成した撮像データであることを示す付加情報があれば、現在の撮像データではあるものの、指定された空間領域を撮像した撮像データではないと判断する。判断部３５１がこのような付加情報を確認した場合には、ステップＳ３０６へ進む。

ステップＳ３０６へ進むと、表示制御部３５２は、図８上図で示した態様により、過去画像と移動中画像を表示する。移動中画像を受信していない場合には、サブイメージウィンドウ４５１を開かない。過去画像を表示している間は、移動ロボット１００から新たな撮像データを受信できるよう、ステップＳ３０５の処理前へ戻る。

判断部３５１は、ステップＳ３０５で、例えば撮像データのヘッダ情報を確認することにより、受信した撮像データが指定信号に従って得られたものであると判断したら、ステップＳ３０７へ進む。表示制御部３５２は、ステップＳ３０７で、図６や図８下図で示す態様により、当該撮像データの画像を表示パネル１４１に表示する。

ユーザが特定の空間領域を確認したい場合には、以上の処理が繰り返される。なお、ステップＳ１０４で移動処理を開始した後であってまだ撮像可能位置に到達する前に、ユーザが新たな別の空間領域を指定した場合には、制御部１５０は、すでに指定された空間領域の撮像を断念して新たに指定された空間領域に対する処理を実行しても構わない。また、ステップＳ１０４で、指定された空間領域に到達する経路を計画できない場合には、撮像できない旨を遠隔端末３００へ通知するようにしても良い。この場合に遠隔端末３００は、指定された空間領域の現在の画像を表示できない旨を表示パネル３４１に表示する。

以上説明した実施形態においては、遠隔端末３００の演算部３５０は、地図ウィンドウ４１０を開き、地図ウィンドウ４１０に表示された地図４１１の特定の場所をユーザがタッチすることにより空間領域の指定を受け付けた。しかし、空間領域の指定方法はこれに限らない。図１０は、他の方法によりユーザが確認したい空間領域を指定する様子を示す図である。

表示制御部３５２は、ユーザから指定を受け付ける前の初期表示画面として、移動ロボット１００のステレオカメラ１３１が現在捉えている画像を、イメージウィンドウ４５０を開いて表示する。すなわち、移動ロボット１００の制御部１５０は、指定信号を受信する前に、ステレオカメラ１３１で撮像を実行して遠隔端末３００へ撮像データを送信する。そして、遠隔端末３００の演算部３５０が当該撮像データを受信すると、表示制御部３５２は、当該撮像データを画像信号に変換してイメージウィンドウ４５０に表示する。この処理を繰り返すことにより、ライブ画像としてイメージウィンドウ４５０を更新する。ここでは、ユーザに没入感を与えるべく、イメージウィンドウ４５０を表示パネル３４１のほぼ全面の大きさにしている。

表示制御部３５２は、イメージウィンドウ４５０の下部領域に、方向指示ボタン４６１を表示する。方向指示ボタン４６１は、例えば図示するように、直進、右旋回、左旋回を表わす３つの矢印ボタンを配置する。ユーザは、初期表示画面として表示された画像を基準として、方向指示ボタン４６１をタッチするごとにその方向への空間移動を指定できる。移動ロボット１００は、タッチされた方向への移動が間に合えば撮像を実行して遠隔端末３００へ撮像データ送信する。

一方で、例えば方向指示ボタン４６１がテンポ良く繰り返しタッチされるような場合には、その矢印方向に対応する空間領域の撮像データを過去画像ＤＢ１８２から取得して遠隔端末３００へ送信する。遠隔端末３００の表示制御部３５２は、送られてきた画像が現在の画像である場合には、例えば「Ｃｕｒｒｅｎｔ」などとタイトル表示を行い、過去画像である場合には、例えば「Ｐａｓｔ ｐｈｏｔｏ」などとタイトル表示を行う。このように、指定された方向への移動が間に合わない場合にいち早く過去画像の表示に切り替えることにより、タップのたびに送られてくる円滑でない現在画像の表示を防ぐことができ、ユーザに映像酔いを起こさせる心配がない。

表示制御部３５２は、一旦過去画像を表示したら、その後タップを受け付けるたびに、タップが示す方向の過去画像を取得して、あたかも動き回る移動ロボット１００の視点で空間を観察するように、イメージウィンドウ４５０に表示する。表示制御部３５２は、ユーザによるタップが一定時間ないと判断したら、ユーザはその時点において表示されている空間領域を指定したものとして、空間領域の指定を確定させる。表示制御部３５２は、指定が確定された時にイメージウィンドウ４５０に表示されている画像が過去画像である場合には、指定された空間領域を示す指定信号を生成して移動ロボット１００へ送信する。

図１１は、空間領域の指定が確定する様子を示す図である。表示制御部３５２は、方向指示ボタン４６１を消去して、空間領域の指定が確定した旨をユーザに認識させる。図１２は、確認したい空間領域が確定した後の様子を示す図である。イメージウィンドウ４５０は指定された過去画像が表示されたまま固定される。そして、移動ロボット１００のステレオカメラ１３１が現在捉えている画像を、サブイメージウィンドウ４５１を開いて表示する。また、移動ロボット１００が移動中であることを示す状態表示ウィンドウ４５２を開く。なお、サブイメージウィンドウ４５１を省いて、状態表示ウィンドウ４５２のみを表示しても構わない。

図１３は、確認したい空間領域の現在の様子を示す図である。移動ロボット１００が指定された空間領域を撮像してその撮像データを送ってきたら、図１３に示すように、表示制御部３５２は、サブイメージウィンドウ４５１、状態表示ウィンドウ４５２を消去する。そして、受信した撮像データを展開して、イメージウィンドウ４５０を差し替える。また、タイトルも、現在の様子であることを示す「Ｒｅａｌ ｔｉｍｅ ｐｈｏｔｏ」などに差し替える。

なお、タップに対応する空間の過去画像データが過去画像ＤＢ１８２に存在しない場合には、近傍空間の過去画像データを補間処理して人工画像を生成し、当該人工画像を表示しても良い。あるいは、予め用意された差し替え画像を表示しても良い。いずれにしても、移動ロボット１００の視点移動の動作が完了して静止した段階で撮像された撮像データを実画像として表示することにより、ユーザは良好な画像を快適に視認することができる。

以上説明した本実施形態では、送受信する撮像データを静止画像データとして説明したが、動画像データであっても良い。また、指定された空間領域の画像を含む撮像データが過去画像ＤＢ１８２に存在しない場合には、過去画像が存在しない旨を遠隔端末３００の表示パネル３４１に表示しても構わない。

また、空間領域の指定は、観察する方向の指定を伴っても良い。例えば、ポインタ４２１を表示させた後に、ポインタ４２１へ向かうスワイプ動作により観察したい方向を指定することができる。この場合には、指定信号は、ユーザが指定する観察したい方向の情報を含み、移動ロボット１００は、その方向に沿うようにステレオカメラ１３１を配置して撮像を行う。

また、遠隔端末３００は、タブレット形式のものに限らない。スマートフォンであっても良いし、ヘッドマウントディスプレを伴う端末であっても良い。また、遠隔端末３００は、無線で接続されるものに限らず、例えば有線ＬＡＮによって接続されたＰＣ端末であっても構わない。

また、移動ロボット１００の撮像部は、ステレオカメラ１３１に限らず、単眼のカメラユニットを採用しても構わない。特に、空間の三次元計測に用いるカメラユニットとは別に設けるのであれば、様々な形式のカメラユニットを採用することができる。

以上説明した本実施形態の移動ロボット１００および遠隔端末３００によれば、遠隔操作者であるユーザは、視認する画像が過去画像の場合もあるものの、指定した空間領域の画像を直ちに視認することができ、その空間領域の様子をいち早く把握することができる。また、移動ロボット１００は、指定された空間領域を現時点で撮像できない場合には、当該空間領域を撮像するための移動処理を直ちに開始するので、実際の様子を撮像するまでの無駄な時間を削減することができる。また、本実施形態における指定された空間領域の確認作業は、例えば容器を搬送する搬送タスクに先立って、搬送先の様子を事前に確認してからタスクを実行させる場合などにも役立つ。例えば、図１３で示すようなユーザインタフェースにおいては、ユーザが対象空間を確認した後に画面をタッチすると、例えばタッチした対象物に対する把持および移動のタスクを指示するポップアップウィンドウが表示されても良い。

１００ 移動ロボット、１１０ 台車部、１１１ 駆動輪、１１２ キャスター、１２０ 本体部、１２１ 胴部、１２２ 頭部、１２３ アーム、１２４ ハンド、１３１ ステレオカメラ、１３３ レーザスキャナ、１４１ 表示パネル、１４５ 台車駆動ユニット、１４６ 上体駆動ユニット、１５０ 制御部、１８０ メモリ、１８１ 地図ＤＢ、１６１ 過去画像ＤＢ、１９０ 通信ユニット、３００ 遠隔端末、３４１ 表示パネル、３４２ 入力ユニット、３５０ 演算部、３５１ 判断部、３５２ 表示制御部、３８０ メモリ、３９０ 通信ユニット、４１０ 地図ウィンドウ、４１１ 地図、４２０ 本機アイコン、４２１ ポインタ、４３１ 地図選択ボタン、４３３ 撮像領域指定ボタン、４５０ イメージウィンドウ、４５１ サブイメージウィンドウ、４５２ 状態表示ウィンドウ、４６１ 方向指示ボタン、４６２ 指定ボタン、５００ システムサーバ、６００ インターネット、７００ 無線ルータ、９００ テーブル、９１０ 容器

Claims (11)

1. 撮像部を有する移動ロボットであって、
   過去に撮像された撮像データを蓄積する蓄積部と、
   空間領域の指定を遠隔端末から受け付ける受付部と、
   前記受付部が受け付けた前記空間領域を前記撮像部で撮像可能な場合には撮像を実行して前記遠隔端末へ撮像データを送信し、撮像不可能な場合には前記蓄積部に蓄積された前記空間領域の画像を含む撮像データを前記遠隔端末へ送信すると共に前記空間領域を前記撮像部で撮像するための移動処理を開始する処理部と
   を備える移動ロボット。
2. 前記処理部は、前記移動処理を開始した後に前記空間領域を前記撮像部で撮像して撮像データを得られた場合には、当該撮像データを前記遠隔端末へ送信する請求項１に記載の移動ロボット。
3. 前記処理部は、前記移動処理を開始した後の移動中に前記撮像部で撮像して得られた撮像データを、移動中に得られた撮像データであることを示す付加情報と共に前記遠隔端末へ送信する請求項２に記載の移動ロボット。
4. 前記処理部は、前記蓄積部に蓄積された撮像データを送信する場合には、蓄積された撮像データであることを示す付加情報と共に前記遠隔端末へ送信する請求項１から３のいずれか１項に記載の移動ロボット。
5. 前記処理部は、前記受付部が前記空間領域の指定を受け付ける前に、前記撮像部で撮像を実行して前記遠隔端末へ撮像データを送信する請求項１から４のいずれか１項に記載の移動ロボット。
6. 撮像部を有する移動ロボットから撮像データを受信して表示する遠隔端末であって、
   ユーザが観察したい空間領域を指定することにより生成される指定信号を前記移動ロボットへ送信する送信部と、
   前記移動ロボットから前記撮像データを受信する受信部と、
   前記受信部が受信した前記撮像データが、前記送信部が前記指定信号を送信した後に前記撮像部が撮像して得られたものであるか否かを判断する判断部と、
   前記判断部の判断結果が認識できる態様により前記撮像データの画像を表示部に表示する表示制御部と
   を備える遠隔端末。
7. 前記指定信号を送信した後に前記撮像部が撮像して得られたものでないと前記判断部が判断した撮像データの画像を前記表示制御部が前記表示部に表示した後に、前記受信部が新たに受信した撮像データに対して前記指定信号を送信した後に前記撮像部が撮像して得られたものであると前記判断部が判断した場合には、前記表示制御部は、当該新たに受信した撮像データの画像を前記表示部に表示する請求項６に記載の遠隔端末。
8. 前記指定信号を送信した後に前記撮像部が撮像して得られたものでないと前記判断部が判断した撮像データの画像を前記表示制御部が前記表示部に表示している間に前記受信部が受信した撮像データに前記移動ロボットが移動中に得られた撮像データであることを示す付加情報が付加されている場合には、前記表示制御部は、表示中の画像と共に、前記付加情報が付加されている撮像データの画像を前記表示部に表示する請求項６または７に記載の遠隔端末。
9. 前記表示制御部は、初期表示として、前記送信部が前記指定信号を送信する前に前記受信部が前記移動ロボットから受信した撮像データの画像を前記表示部に表示し、
   前記送信部は、前記表示部が表示した前記画像を基準として前記ユーザが指定した前記空間領域に対して生成された前記指定信号を前記移動ロボットへ送信する請求項６から８のいずれか１項に記載の遠隔端末。
10. 撮像部を有する移動ロボットの制御プログラムであって、
    空間領域の指定を遠隔端末から受け付ける受付ステップと、
    前記受付ステップで前記指定を受け付けた時に、前記空間領域を前記撮像部で撮像可能か否かを判断する判断ステップと、
    前記判断ステップで撮像可能と判断した場合に、前記空間領域の撮像を実行して前記遠隔端末へ撮像データを送信する第１送信ステップと、
    前記判断ステップで撮像不可能と判断した場合に、過去に撮像された撮像データが蓄積されている蓄積部から前記空間領域の画像を含む撮像データを取得して前記遠隔端末へ送信する第２送信ステップと、
    前記判断ステップで撮像不可能と判断した場合に、前記空間領域を前記撮像部で撮像するための移動処理を開始する処理開始ステップと
    をコンピュータに実行させる移動ロボットの制御プログラム。
11. 撮像部を有する移動ロボットから撮像データを受信して表示する遠隔端末の制御プログラムであって、
    ユーザが観察したい空間領域を指定することにより生成される指定信号を前記移動ロボットへ送信する送信ステップと、
    前記移動ロボットから前記撮像データを受信する受信ステップと、
    前記受信ステップで受信した前記撮像データが、前記送信ステップで前記指定信号を送信した後に前記撮像部が撮像して得られたものであるか否かを判断する判断ステップと、
    前記判断ステップの判断結果が認識できる態様により前記撮像データの画像を表示部に表示する表示制御ステップと
    をコンピュータに実行させる遠隔端末の制御プログラム。

Images