JP2011201002A - ロボット装置、ロボット装置の遠隔制御方法及びプログラム - Google Patents

Abstract

【課題】遠隔操作が必要な自律ロボット装置に対して、ユーザーが容易に遠隔操作することが可能なロボット装置、ロボット装置の遠隔制御方法及びプログラムを提供する。
【解決手段】自装置又は外部環境の現在状況を把握し、現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する行動計画部と、決定された行動計画に基づいて、自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定し、決定された表示パターンを遠隔制御装置に表示させる表示制御部とを備える。
【選択図】図１

Description

本発明は、ロボット装置、ロボット装置の遠隔制御方法及びプログラムに関する。

外部環境を認識しながら自律的に移動し動作するロボットが、家庭内等で介助や家事を目的として使用される場合、ユーザーに必要とされる移動や動作を全て自律的に行うことは困難である。これは、ロボットが外部環境について不完全な認識しかできないことに一つの原因がある。そこで、ユーザーは遠隔制御装置（リモコン）を使用して、人の指示によってロボットを遠隔操作させる必要がある。

例えば特許文献１では、遠隔操作でロボットを安全に走行させるため、ロボットに搭載されたカメラで撮影された画像を遠隔制御装置のモニタ画面に表示する際、遠隔制御装置による前進操作の方向を、カメラの撮影方向と一致させる技術が開示されている。また、特許文献２では、操作者の負担を軽減するため、ロボットが作業する空間に予め作業情報を埋め込み、ロボットに作業指示を与える技術が開示されている。

特開２００８−１６０５８号公報 特開２００８−６８３４８号公報

上記の特許文献１では、前進操作の方向が遠隔制御装置のディスプレイ画面に表示される。また、特許文献２では、ロボットの作業対象となる物体のモデルがディスプレイ画面に表示される。

ところで、ロボットは、移動、物体の把持、物体の受け渡し等の様々な動作をする。そのため、リモコンは、ロボットが様々に動作できるように、各動作に対応した多くの操作を受け付けられるようにしておくことが考えられる。しかし、リモコンにおける操作が複雑になると、ユーザーがロボットを遠隔操作しづらくなるという問題がある。

また、ロボットは、ユーザーから見える場所だけでなく、ユーザーの視野に入らない場所へ移動することもある。この場合、ユーザーはリモコンのディスプレイ画面のみを頼りにしてロボットを操作しなければならない。このとき、ディスプレイ画面がロボット側から見える視界のみを表示するのではユーザーが操作しづらいという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、遠隔操作が必要な自律ロボット装置に対して、ユーザーが容易に遠隔操作することが可能な、新規かつ改良されたロボット装置、ロボット装置の遠隔制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、自装置又は外部環境の現在状況を把握し、現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する行動計画部と、決定された行動計画に基づいて、自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定し、決定された表示パターンを遠隔制御装置に表示させる表示制御部とを備える、ロボット装置が提供される。

外部環境を認識する外部環境認識部と、認識された外部環境に基づいて環境地図を生成し、環境地図に基づいて自装置又は遠隔制御装置の位置を特定する環境地図生成部とを更に備え、行動計画部は、自装置又は遠隔制御装置の位置に基づいて行動計画を決定してもよい。

自装置の位置を認識する自装置位置認識部を更に備え、行動計画部は、認識された自装置の位置に基づいて行動計画を決定してもよい。

上記行動計画部は、遠隔制御装置から遠隔制御装置の位置を受信して、遠隔制御装置の位置に基づいて行動計画を決定してもよい。

上記行動計画部は、自装置の現在の作業内容を認識し、自装置の現在の作業内容に基づいて行動計画を決定してもよい。

上記表示制御部は、自装置の現在の作業内容に連動して表示パターンを切り替えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、自装置又は外部環境の現在状況を把握するステップと、現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定するステップと、決定された行動計画に基づいて、自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定するステップと、決定された表示パターンを遠隔制御装置に表示させるステップとを備える、ロボット装置の遠隔制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、自装置又は外部環境の現在状況を把握する手段、現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する手段、決定された行動計画に基づいて、自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定する手段、決定された表示パターンを遠隔制御装置に表示させる手段としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本発明によれば、遠隔操作が必要な自律ロボット装置に対して、ユーザーが容易に遠隔操作することができる。

本発明の一実施形態に係るロボット１００及び遠隔制御装置１５０を示すブロック図である。 同実施形態に係る遠隔制御装置１５０のＵＩ画面の表示制御処理を示すフローチャートである。 同実施形態に係る行動計画決定条件の例を示す表である。 同実施形態に係る遠隔制御装置１５０のＵＩ画面の表示切り替え処理を示すフローチャートである。 同実施形態に係る遠隔制御装置１５０のディスプレイ１４のＵＩ画面１６に表示される環境地図の表示例である。 同実施形態に係る遠隔制御装置１５０のディスプレイ１４のＵＩ画面１６に表示される対象物体表示の表示例である。 同実施形態に係る遠隔制御装置１５０のディスプレイ１４のＵＩ画面１６に表示されるロボットビューの表示例である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作

＜１．一実施形態の構成＞
まず、図１を参照して、本発明の一実施形態に係るロボット１００及び遠隔制御装置１５０の構成について説明する。図１は、本実施形態に係るロボット１００及び遠隔制御装置１５０を示すブロック図である。

ロボット１００は、外部環境を認識して環境に応じて移動やユーザーに対する動作等を自律的に行う。ロボット１００は、逐次行動計画を決定している。そして、ロボット１００は、決定した行動計画に基づいて、遠隔制御装置１５０に表示させるビューを決定する。その後、決定されたビューが、遠隔制御装置１５０に送られてＵＩ画面に表示される。その結果、ロボット１００の行動に合致したビューが遠隔制御装置１５０に表示されるため、ユーザーがロボット１００を容易に遠隔操作できる。

［ロボット１００］
ロボット１００は、例えば、外部環境認識部１０２と、環境地図生成部１０４と、ロボット位置認識部１０６と、行動計画部１１０と、記憶部１２０と、ビュー決定部１３０と、駆動部１４０などからなる。

ロボット１００は、例えばマイクロプロセッサを備えて、例えば外部環境認識部１０２と、記憶部１２０と、駆動部１４０等を制御する。また、マイクロプロセッサには、環境地図生成部１０４と、ロボット位置認識部１０６と、行動計画部１１０と、ビュー決定部１３０等が含まれる。

外部環境認識部１０２は、ロボット１００に設けられた例えばステレオカメラ、ＬＲＦ（Laser Range Finder）等であり、ロボット１００の外部環境を認識する。そして、外部環境認識部１０２は、認識した外部環境に係る情報を例えば環境地図生成部１０４に送る。

環境地図生成部１０４は、外部環境に係る情報に基づいて環境地図を生成する。環境地図は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を適用して生成される。環境地図生成部１０４は、生成した環境地図を記憶部１２０に送る。環境地図は、逐次更新されて、外部環境に存在する人や物体をトラッキングできるようにしてもよい。

ロボット位置認識部１０６は、ロボット１００自身の位置を認識する。ロボット位置認識部１０６は、例えばＬＲＦを用いたＳＬＡＭによってロボット１００自身の位置を推定する。または、ロボット位置認識部１０６は、ＧＰＳ（Global Positioning System）装置を用いてロボット１００自身の位置を認識してもよい。

行動計画部１１０は、行動計画決定条件を把握し、行動計画決定条件に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する。行動計画は、ロボット１００が将来どのような動作を行うかという計画である。行動計画候補は、例えば、移動する、物体を把持する、物体を渡す等の複数の動作である。行動計画は、行動計画決定条件に基づいて複数の行動計画候補のうちから一つの行動計画に決定される。行動計画決定条件は、ロボット１００又は外部環境の現在状況等であり、例えば、図３に示すような遠隔制御装置１５０（ＵＩ）の位置、ロボット１００の現在の作業内容、外部環境情報、ロボット１００の位置、遠隔制御装置１５０等の指示器の入力等がある。図３は、本実施形態に係る行動計画決定条件の例を示す表である。なお、行動計画決定条件は、上述した例に限定されず、ロボット１００の行動計画を決定できる条件であれば、他の条件でもよい。

記憶部１２０は、例えばメモリであり、環境地図、ロボット１００の位置、行動計画、遠隔制御装置１５０の位置に関する情報を記録している。記憶部１２０に記録された情報は、各処理に応じて必要な情報が読み出される。

ビュー決定部１３０は、表示制御部の一例であり、行動計画部１１０で決定された行動計画に基づいて、遠隔制御装置１５０に表示する表示内容を、予め用意しておいた複数のビュー（表示パターン）候補のうち一つのビューに決定する。ビュー決定部１３０は、決定されたビューを遠隔制御装置１５０に表示させる。遠隔制御装置１５０に表示されるビューは、例えば環境地図、対象物体表示、ロボットビュー等である。

駆動部１４０は、ロボット１００の移動又は動作を可能にする。駆動部１４０は、ロボット１００自身が自律的に生成した信号に基づいて駆動したり、ユーザーによる操作によって生成された信号に基づいて駆動したりする。

また、ロボット１００は、図１に図示しないが通信部を有する。通信部は、記憶部１２０に記録された情報やビュー決定部１３０で決定されたビューを遠隔制御装置１５０に送信したり、遠隔制御装置１５０から、遠隔制御装置１５０の位置や操作信号を受信したりする。

［遠隔制御装置１５０］
遠隔制御装置１５０は、インターフェイス位置検出部１５２と、インターフェイス入出力部１５４などからなる。遠隔制御装置１５０は、例えばマイクロプロセッサを備えて、インターフェイス位置検出部１５２やインターフェイス入出力部１５４等を制御する。

インターフェイス位置検出部１５２は、遠隔制御装置１５０（インターフェイス）の位置を検出する。そして、インターフェイス位置検出部１５２は、検出した位置をロボット１００に送信する。インターフェイス位置検出部１５２は、例えば遠隔制御装置１５０がステレオカメラ、ＬＲＦ（Laser Range Finder）等を備えて、ＬＲＦを用いたＳＬＡＭによって遠隔制御装置１５０の位置を検出する。または、インターフェイス位置検出部１５２は、ＧＰＳ装置を用いて遠隔制御装置１５０の位置を検出してもよい。

インターフェイス入出力部１５４は、ビュー決定部１３０から表示内容を受信する。また、インターフェイス入出力部１５４は、タッチパネル方式のＵＩ画面を有する表示部であり、ユーザーに対して映像を表示する。インターフェイス入出力部１５４は、例えば環境地図、対象物体表示、ロボットビュー等をＵＩ画面に表示する。更に、インターフェイス入出力部１５４は、ロボット１００を使用するユーザー等が各種データを入力する操作部である。インターフェイス入出力部１５４は、例えばユーザーの操作を、タッチパネルを介して受け付けて操作信号を生成する。インターフェイス入出力部１５４は、生成した操作信号をロボット１００に送信する。

また、遠隔制御装置１５０は、図１に図示しないが通信部を有する。通信部は、ロボット１００の記憶部１２０に記録された情報やビュー決定部１３０で決定されたビューを受信したり、ロボット１００に、遠隔制御装置１５０の位置や操作信号を送信したりする。

＜２．一実施形態の動作＞
次に、本発明の一実施形態に係るロボット１００及び遠隔制御装置１５０の動作について説明する。

［表示制御処理］
まず、図２を参照して、本実施形態に係る遠隔制御装置１５０のＵＩ画面の表示制御処理について説明する。図２は、本実施形態に係る遠隔制御装置１５０のＵＩ画面の表示制御処理を示すフローチャートである。

まず、ロボット１００がロボット１００自身の現在状況やユーザー等の人を含む外部環境の現在状況を認識する（ステップＳ１１）。認識された現在状況は、行動計画決定条件として、ロボット１００の行動計画の決定に使用される。行動計画決定条件は、例えば、図３に示すような遠隔制御装置１５０（ＵＩ）の位置、ロボット１００の現在の作業内容、外部環境情報、ロボット１００の位置、遠隔制御装置１５０等の指示器の入力等がある。

次に、ロボット１００は、行動計画決定条件に基づいて、将来の行動計画を決定する（ステップＳ１２）。例えば、ロボット１００と遠隔制御装置１５０が離れているか、又は近接しているかが認識されてロボット１００の目的地が決定され、ロボット１００が目的地に移動するといった行動計画が決定される。または、ロボット１００の現在の作業内容が、対象物体を把持している状態であれば、次にその対象物体をユーザーに渡すといった行動計画が決定される。

そして、決定された行動計画に基づいて、ロボット１００は遠隔制御装置１５０のＵＩ画面の表示内容を決定する（ステップＳ１３）。ＵＩ画面の表示内容は、ロボット１００の将来の行動計画に対応した内容であり、例えば環境地図、対象物体表示、ロボットビュー等である。

その後、ロボット１００は、表示内容を遠隔制御装置１５０へ送り、遠隔制御装置１５０のＵＩ画面へ、ステップＳ１３で決定した表示内容を表示させる（ステップＳ１４）。例えば、ロボット１００が移動する前であれば、ユーザーがロボット１００の目的地を指示可能なように俯瞰的な環境地図や、複数の対象物体が一覧表示された対象物体表示を表示させてもよい。または、ロボット１００が移動中であれば、ロボット１００の視点からの環境地図や、ロボット１００が撮影している画像を表示させてもよい。更には、ロボット１００が対象物体に到達したとき、対象物体の周辺を撮影している画像を表示させてもよい。また、ロボット１００が作業している間はロボット１００が客観的に表示されるような環境地図を表示させてもよい。

ステップＳ１３で決定した表示内容がＵＩ画面に表示されることによって、ユーザーは遠隔制御装置１５０のタッチパネル上への指示等によってロボット１００を容易に遠隔操作できる。

図５〜図７は、それぞれ遠隔制御装置１５０のディスプレイ１４のＵＩ画面１６に表示される環境地図、対象物体表示、ロボットビューの表示例である。

環境地図は、ロボット１００の外部環境認識によって生成された地図であり、図５に示すように行動計画に応じて室内を俯瞰したように表示されたり、ロボット１００の視点の高さで表示されたりする。そして、環境地図内の任意のポイントがユーザーよって指示されることによって、ロボット１００の移動目的地が決定されたり、ロボット１００の視線方向が変更されたりする。

対象物体表示は、ロボット１００の作業候補や移動目的地となる対象物体の一覧表示である。対象物体表示は、例えば図６に示すように複数の物体の外観が表示される。例えば、対象物体表示内の任意の物体がユーザーによって選択されることによって、ロボット１００の移動目的地が決定される。

ロボットビューは、ロボット１００に搭載されたカメラが撮影した画像であり、図７に示すようにカメラが撮影した画像がそのまま表示される。ロボットビューは、ロボット１００の現在位置が不明であるときやロボット１００が対象物体に到達して対象物体に対して作業するとき等に表示される。ロボットビューでは、ＵＩ画面がタッチされることで、タッチされた箇所がフォーカシングされたりズーミングされたりして物体が明確に表示されるようにしてもよい。

［表示切り替え処理］
次に、図４を参照して、本実施形態に係る遠隔制御装置１５０のＵＩ画面の表示切り替え処理について説明する。図４は、同実施形態に係る遠隔制御装置１５０のＵＩ画面の表示切り替え処理を示すフローチャートである。

ＵＩ画面への表示が、ロボットビュー、対象物体表示、環境地図の３種類である場合、行動計画決定条件に基づいて、どの表示をするかが判断される。

まず、行動計画決定条件に基づいて、３種類の表示のうちロボットビューを表示するか否かが判断される（ステップＳ２１）。ロボットビューを表示すると判断された場合、ＵＩ画面へロボットビューを表示する（ステップＳ２５）。例えば、行動計画として、ロボット１００が対象物体の把持を継続すると決定された場合や、対象物体に到達して対象物体を観察すると決定された場合、ロボット１００の現在位置を確認すると決定された場合等にロボットビューを表示する。ロボットビューが表示されることによって、遠隔制御装置１５０を操作するユーザーは、把持している対象物体をどこに置くかを決めることや、ロボット１００の周辺環境を観察することが可能となる。

ロボットビューを表示しないと判断された場合、行動計画決定条件に基づいて、対象物体表示をするか否かが判断される（ステップＳ２２）。対象物体表示を表示すると判断された場合、ＵＩ画面へ対象物体表示を表示する（ステップＳ２５）。例えば、行動計画として、ロボット１００の目的地を選択すると決定された場合や、目的地において対象物体を選択すると決定された場合等に対象物体表示を表示する。対象物体表示が表示されることによって、ロボット１００の目的地や目的とする対象物体が不明な場合に、ロボット１００に明確な指示をすることができる。

ロボットビューや対象物体表示を表示しないと判断された場合、表示内容を環境地図に決定する（ステップＳ２３）。表示内容が環境地図に決定された場合、環境地図を具体的にどのような表示にするのかという見え方を決定する（ステップＳ２４）。そして、決定した見え方で環境地図をＵＩ画面へ表示する（ステップＳ２５）。例えば、行動計画として、ロボット１００の目的地を選択すると決定された場合等に俯瞰的に環境地図を表示する。また、行動計画として、ロボット１００が移動を継続すると決定された場合等にロボット１００の視点で環境地図を表示する。更に、行動計画として、ロボット１００がユーザーに対する動作を継続すると決定された場合等にロボット１００が客観的に表示されるような環境地図を表示する。環境地図が表示されることによって、ロボット１００の目的地が不明な場合にロボット１００に明確な指示を与えたり、ロボット１００が動作中に客観的に表示されることでロボット１００に対して詳細な動作指示を与えたりすることができる。

以上より、本実施形態によれば、行動計画決定条件に基づいて、遠隔制御装置１５０における操作に適した表示内容がＵＩ画面に表示されるため、ユーザーはロボット１００を遠隔制御する際、容易にロボット１００を遠隔操作できるようになる。また、行動計画が逐次決定され、決定された行動計画に応じて表示される内容を切り替えていくようにすれば、ユーザーはスムーズにロボット１００を遠隔操作できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、遠隔制御装置１５０の表示内容として、ロボットビュー、対象物体表示、環境地図の３種類であるとしたが、本発明はかかる例に限定されない。例えば、決定された行動計画に基づいて、ロボット１００の内部状態（例えばタスク負荷等）を表示してもよい。

また、上記実施形態では行動計画が明確に決定される場合について説明したが、本発明はかかる例に限定されない。例えば、行動計画決定条件によって行動計画が明確に決定できない場合は、環境地図表示や、ロボット１００の複数の動作が一覧表示されたメニュー選択表示などに遷移するようにしてもよい。

１００ ロボット
１０２ 外部環境認識部
１０４ 環境地図生成部
１０６ ロボット位置認識部
１１０ 行動計画部
１２０ 記憶部
１３０ ビュー決定部
１４０ 駆動部
１５０ 遠隔制御装置
１５２ インターフェイス位置検出部
１５４ インターフェイス入出力部

Claims (8)

1. 自装置又は外部環境の現在状況を把握し、前記現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する行動計画部と、
   決定された前記行動計画に基づいて、前記自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定し、決定された前記表示パターンを前記遠隔制御装置に表示させる表示制御部と
   を備える、ロボット装置。
2. 外部環境を認識する外部環境認識部と、
   認識された前記外部環境に基づいて環境地図を生成し、前記環境地図に基づいて自装置又は前記遠隔制御装置の位置を特定する環境地図生成部と
   を更に備え、
   前記行動計画部は、前記自装置又は前記遠隔制御装置の位置に基づいて前記行動計画を決定する、請求項１に記載のロボット装置。
3. 自装置の位置を認識する自装置位置認識部を更に備え、
   前記行動計画部は、認識された前記自装置の位置に基づいて前記行動計画を決定する、請求項１に記載のロボット装置。
4. 前記行動計画部は、前記遠隔制御装置から前記遠隔制御装置の位置を受信して、前記遠隔制御装置の位置に基づいて前記行動計画を決定する、請求項２に記載のロボット装置。
5. 前記行動計画部は、前記自装置の現在の作業内容を認識し、前記自装置の現在の作業内容に基づいて前記行動計画を決定する、請求項４に記載のロボット装置。
6. 前記表示制御部は、前記自装置の現在の作業内容に連動して前記表示パターンを切り替える、請求項５に記載のロボット装置。
7. 自装置又は外部環境の現在状況を把握するステップと、
   前記現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定するステップと、
   決定された前記行動計画に基づいて、前記自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定するステップと、
   決定された前記表示パターンを前記遠隔制御装置に表示させるステップと
   を備える、ロボット装置の遠隔制御方法。
8. 自装置又は外部環境の現在状況を把握する手段、
   前記現在状況に基づいて将来の行動計画を複数の行動計画候補のうちから一つの行動計画に決定する手段、
   決定された前記行動計画に基づいて、前記自装置を遠隔制御する遠隔制御装置に表示する表示内容を、予め用意しておいた複数の表示パターン候補のうち一つの表示パターンに決定する手段、
   決定された前記表示パターンを前記遠隔制御装置に表示させる手段
   としてコンピュータを機能させるためのプログラム。

Images