JP2010264553A - 遠隔操作システム及び遠隔操作方法 - Google Patents

Abstract

【課題】容易にロボット装置を最適な移動目標位置へ移動させ、操作内容を実行させることができる遠隔操作システム及び遠隔操作方法を提供すること。
【解決手段】ロボット装置を遠隔操作するための遠隔操作システムは、ロボット装置周辺を撮影する撮影手段と、撮影手段により撮影された撮影画像を表示する表示手段と、表示手段に表示された撮影画像上において、目標対象物に対する指示を入力する入力手段と、入力手段により入力された撮影画像上における目標対象物の指示方法に基づいて、ロボット装置を移動させる移動目標位置と、移動目標位置における前記ロボット装置の操作内容と、を推測する推測手段と、推測手段により推測された移動目標位置へロボット装置を移動させると共に、操作内容を実行させるための指令値を生成する指令値生成手段と、を備えている。
【選択図】図１

Description

本発明は、例えば、ロボット装置を遠隔操作する遠隔操作システム及び遠隔操作方法に関し、より詳細には、撮影画像上においてロボット装置に対して指示を行うことができる遠隔操作システム及び遠隔操作方法に関するものである。

例えば、オペレータの簡易な指示により、ロボット装置を移動目標位置へ移動させ、所定の作業等を実行させることがある。この場合に、操作者の音声を用いてロボット装置に対して、詳細な指示等を行うことが、実質的に困難な作業となることがある。この様な問題を解決すべく、ロボット装置の移動目標位置及び移動目標位置に到達したときのロボット装置の向きを数値入力等して、画像で表示する制御装置が知られている（例えば、特許文献１参照）。

特開２００７−３００６０号公報

上記特許文献１に示す制御装置においては、ロボット装置に移動目標位置で実行させる具体的な操作内容を考慮して、例えば、その操作内容から逆算して最終的な移動目標位置を設定する必要が生じる。また、ロボット装置の移動目標位置と、その移動目標位置での操作内容とを別個に夫々設定する必要が生じるため、その操作が複雑化する虞がある。本発明は、このような問題点を解決するためになされたものであり、容易にロボット装置を最適な移動目標位置へ移動させ、操作内容を実行させることができる遠隔操作システム及び遠隔操作方法を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、ロボット装置を遠隔操作するための遠隔操作システムであって、前記ロボット装置周辺を撮影する撮影手段と、前記撮影手段により撮影された撮影画像を表示する表示手段と、前記表示手段に表示された撮影画像上において、目標対象物に対する指示を入力する入力手段と、前記入力手段により入力された前記撮影画像上における前記目標対象物の指示方法に基づいて、前記ロボット装置を移動させる移動目標位置と、該移動目標位置における前記ロボット装置の操作内容と、を推測する推測手段と、前記推測手段により推測された前記移動目標位置へ前記ロボット装置を移動させると共に、前記操作内容を実行させるための指令値を生成する指令値生成手段と、を備える、ことを特徴とする遠隔操作システムである。

また、この一態様において、前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、前記推測手段は、前記入力手段により入力された前記指示図形の形状及び位置に基づいて、前記移動目標位置及び前記操作内容を推測してもよい。

さらに、この一態様において、前記操作内容は、例えば、前記移動目標位置において、（ａ）何も実行しないこと、（ｂ）所定の作業を実行すること、（ｃ）情報の伝達を実行すること、のうち少なくとも１つを含んでいてもよい。

さらにまた、この一態様において、前記推測手段は、前記入力手段により入力された前記指示図形が第１形状であると判断したとき、操作内容が（ａ）何も実行しないこと、と判断し、前記入力手段により入力された前記指示図形が第２形状であると判断したとき、操作内容が（ｂ）所定の作業を実行すること、と判断し、前記第２形状の位置にある物体を前記所定の作業を実行する前記目標対象物として認識し、前記入力手段により入力された前記指示図形が第３形状であると判断したとき、操作内容が（ｃ）情報の伝達を実行すること、と判断し、前記第３形状の位置にある物体を前記情報の伝達を実行する前記目標対象物として認識し、前記操作内容と、前記目標対象物の位置とに基づいて、前記移動目標位置を設定してもよい。

さらにまた、この一態様において、前記推測手段は、前記第１形状の中心位置、もしくは、前記第１形状内にその一部又は全部が含まれる前記目標対象物の重心位置を、前記移動目標位置に設定してもよい。

なお、この一態様において、前記推測手段は、前記入力手段により入力された前記指示図形の形状及び位置に基づいて、前記入力のエラーを検出し、通知してもよい。

また、この一態様において、前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、前記推測手段は、前記入力手段により入力された前記指示図形の形状と、その書き順とに基づいて、前記移動目標位置及び前記操作内容を推測してもよい。

さらに、この一態様において、前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、前記推測手段は、前記入力手段により入力された前記指示図形の形状と、その書く速度とに基づいて、前記移動目標位置及び前記操作内容を推測してもよい。

さらにまた、この一態様において、前記入力手段は、スイッチが設けられた入力用ペンを用いて、前記撮影画像上に、前記目標対象物に対する指示を入力し、前記推測手段は、前記入力手段により入力された前記入力用ペンの指示位置と、前記スイッチの操作と、に基づいて、前記移動目標位置及び前記操作内容を推測してもよい。

さらにまた、この一態様において、前記入力手段は、入力用ペンを用いて、前記撮影画像上に、前記目標対象物に対する指示を入力し、前記推測手段は、前記入力手段により入力された前記入力用ペンの傾斜と、前記スイッチの操作と、に基づいて、前記移動目標位置及び前記操作内容を推測してもよい。

他方、上記目的を達成するための本発明の一態様は、ロボット装置を遠隔操作するための遠隔操作方法であって、前記ロボット装置周辺を撮影する撮影工程と、前記撮影工程で撮影された撮影画像を表示する表示工程と、前記表示工程で表示された撮影画像上において、目標対象物に対する指示を入力する入力工程と、前記入力工程で入力された前記撮影画像上における前記目標対象物の指示方法に基づいて、前記ロボット装置を移動させる移動目標位置と、該移動目標位置における前記ロボット装置の操作内容と、を推測する推測工程と、前記推測工程で推測された前記移動目標位置へ前記ロボット装置を移動させると共に、前記操作内容を実行させるための指令値を生成する生成工程と、を備える、ことを特徴とする遠隔操作方法であってもよい。

本発明によれば、容易にロボット装置を最適な移動目標位置へ移動させ、操作内容を実行させることができる。

本発明の一実施形態に係る遠隔操作システムの概略的な構成を示すブロック図である。 撮影装置が設備の天井等に設けられる構成の一例を示す図である。 表示装置の撮影画像上において目標対象物に対する指示図形を入力した状態の一例を示す図である。 （ａ）撮影画像上における指示図形の形状及び位置の一例を示す図である。（ｂ）撮影画像上における指示図形の形状及び位置の一例を示す図である。（ｃ）撮影画像上における指示図形の形状及び位置の一例を示す図である。 （ａ）指示図形の中心位置を移動目標位置として設定した一例を示す図である。（ｂ）指示図形内の目標対象物の重心位置を移動目標位置として設定した一例を示す図である。 本発明の一実施形態に係る遠隔操作システムの制御処理フローを示すフローチャートである。 入力用ペンのモードスイッチ操作により、移動目標位置及び操作内容を推定する方法の一例を示す図である。 入力用ペンの傾斜により、移動目標位置及び操作内容を推定する方法の一例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態に係る遠隔操作システムの概略的な構成を示すブロック図である。本実施形態に係る遠隔操作システム１０は、操作者が所定の遠隔操作を行うことで、ロボット装置１を移動目標位置に移動させ、物体、人等の目標対象物Ｐに対して、所定の操作内容を実行させることができるものである。遠隔操作システム１０は、ロボット装置１と、撮影装置２と、表示装置３と、入力装置４と、制御装置５と、を備えている。

ロボット装置１は、例えば、多関節型のアーム１１を有する二足歩行ロボット、車両型ロボット等の任意の位置へ移動でき、目標対象物Ｐの把持、持上げ、移動、ドアの開閉、目標対象物Ｐの監視、目標対象物Ｐへの情報伝達、などの所定の操作内容を実行することができる。

撮影装置２は、例えば、ロボット装置１に搭載されており、ロボット装置１の周辺を撮影することができるＣＣＤカメラ、ＣＭＯＳカメラなどのステレオ式のカメラ装置を用いることができる。撮影装置２は、表示装置３に有線又は無線で通信接続されており、撮影した撮影画像Ｑを表示装置３に対して出力する。なお、撮影装置２は、ロボット装置１に搭載される構成であるが、これに限らず、例えば、設備の天井等に設けられる構成であってもよい（図２）。

表示装置３は、撮影装置２から出力された撮影画像Ｑを、内蔵するメモリ等に記憶しつつ、その撮影画像Ｑを表示することができる。例えば、表示装置３は、撮影装置２から出力された撮影画像Ｑをリアルタイムで表示すると共に、メモリ等に記憶した過去の撮影画像Ｑを適宜表示することができる。なお、表示装置３は、例えば、液晶ディスプレイ装置、有機又は無機ＥＬディスプレイ装置、ＬＥＤディスプレイ装置等が用いられている。

入力装置４は、例えば、表示装置３の表示画面に設けられたタッチパネル等であり、表示装置３に表示されたリアルタイムの撮影画像Ｑ上において、目標対象物Ｐに対する指示図形Ｓなどの指示を、入力用ペン（レーザポインタなどの非接触型のペンも含む）４０や操作者の指等を用いて入力することができる（図３）。

なお、入力装置４は、マウス、タッチパッド、キーボード、スイッチ装置、ボタン装置等の入力手段を用いて、表示装置３に表示された撮影画像Ｑ上において、目標対象物Ｐに対する指示図形Ｓを入力できる構成であってもよい。また、表示装置３により表示された３次元撮影画像（ホログラフィー）上において、目標対象物Ｐに対する指示図形Ｓを、入力用ペン４０や操作者の指等を用いて入力するような構成であってもよい。これにより、操作者はより直感的な入力が可能となるため、操作性がより向上する。さらに、表示装置３は、操作者の操作に応じて、過去の撮影画像Ｑを表示し、入力装置４は、表示装置３に表示された過去の撮影画像Ｑ上において、目標対象物Ｐに対する指示図形Ｓを、入力用ペン４０や操作者の指等を用いて入力してもよい。

入力装置４は、表示装置３の表示画面に表示された撮影画像Ｑ上において、操作者により指示図形Ｓの描画、指示などの指示操作が行われると、その指示操作に応じた指示信号を出力する。ここで、指示信号は、例えば、操作者により撮影画像Ｑ上で描画された点、線、図形等の指示図形Ｓの位置座標情報を含んでいる。入力装置４は、制御装置５に有線又は無線で通信接続されており、指示操作に応じた指示信号を制御装置５に対して出力する。

制御装置５は、操作者の指示操作に従って、ロボット装置１を移動目標位置へ移動させ、その移動目標位置でロボット装置１に所定の操作内容を実行させる制御を行う。なお、制御装置５は、制御処理、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）等からなるマイクロコンピュータを、中心にしてハードウェア構成されている。

制御装置５は、推測部５１と、指令値生成部５２と、を備えている。また、推測部５１及び指令値生成部５２は、例えば、上記ＲＯＭに記憶され、上記ＣＰＵによって実行されるプログラムによって実現してもよい。

推測部５１は、入力装置４から出力された指示信号と、撮影装置２から出力された撮影画像Ｑと、に基づいて、ロボット装置１を移動させる移動目標位置と、その移動目標位置におけるロボット装置１の操作内容と、を推測することができる。

例えば、表示装置３に表示された撮影画像Ｑ上に、入力用ペン４０等により所定の指示図形Ｓ（○、×、△、□、☆、＝、<、>、＊、＠、#、←、→、−、＋、／、／／、｜、｜｜、・等）が描画されると、入力装置４は、その描画された指示図形Ｓに応じた指示信号を制御装置５の推測部５１に対して出力する。なお、指示図形Ｓの形状は、操作者が容易に入力できる形状であれば、上記例に限らず、任意の形状でよい。

推測部５１は、入力装置４から出力された指示信号の位置座標情報から、撮影画像Ｑ上に描画された指示図形Ｓの形状及び位置座標を算出する。ここで、推測部５１は、撮影装置２からの撮影画像Ｑに３次元座標系を設定しており、この３次元座標系に基づいて、撮影画像Ｑ上における指示図形Ｓの位置座標を算出するものとする。なお、推測部５１は、ステレオ式カメラやレーザレンジファインダなどの３次元位置計測装置を用いて、指示図形Ｓの位置座標をより高精度に算出してもよい。

推測部５１は、例えば、上記算出した撮影画像Ｑ上の指示図形Ｓの形状と、予め設定された指示図形Ｓの形状と操作内容との対応関係を示す操作マップ情報と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定することができる。

ここで、操作マップ情報において、例えば、指示図形Ｓの形状が「○」のとき（図４（ａ））、その操作内容は、（ａ）「何も実行しない（移動目標位置への移動のみ）」であり、指示図形Ｓの形状が「×」のとき（図４（ｂ））、その操作内容は、（ｂ）「所定の作業（目標対象物Ｐの把持、持上げ、移動、ドア等の開閉、目標対象物Ｐの監視など）を実行する」であり、指示図形Ｓの形状が「−」のとき（図４（ｃ））、その操作内容は、（ｃ）「人等の目標対象物Ｐに対して情報の伝達（会話、通知、警告など）を実行する」である。なお、上述した指示図形Ｓの形状と操作内容との対応関係は、一例であり、任意の対応関係が適用可能である。また、操作マップ情報及び後述の位置マップ情報は、上記ＲＡＭ等に予め記憶されていてもよい。

推測部５１は、上記推測した移動目標位置における操作内容と、操作内容と移動目標位置との対応関係を示す位置マップ情報と、に基づいて、ロボット装置１の移動目標位置を推測することができる。

ここで、位置マップ情報において、例えば、操作内容が（ａ）「何も実行しない」のとき、その移動目標位置は、指示図形Ｓの位置座標となる。より具体的には、推測部５１は、指示図形Ｓの形状が「○」であると判断したときは（図４（ａ））、その形状「○」の中心位置Ｏを移動目標位置として設定してもよく（図５（ａ））、また、その形状「○」内に一部又は全部が含まれる目標対象物Ｐの重心位置Ｇを移動目標位置として設定してもよい（図５（ｂ））。

また、推測部５１は、指示図形Ｓの形状が「×」であると判断したときは（図４（ｂ））、その形状「×」の中心位置にある物体を目標対象物Ｐとして認識し、目標対象物Ｐの位置と位置マップ情報とに基づいて、所定の作業がし易い位置を移動目標位置に設定してもよい。例えば、所定の作業が、その目標対象物Ｐの把持、持上げ、移動等である場合には、推測部５１は、ロボット装置１のアーム１１の可動範囲内に目標対象物Ｐが入り、作業性が良好となる位置を、移動目標位置として設定する。また、所定の作業が、目標対象物Ｐの監視である場合には、推測部５１は、目標対象物Ｐの位置と位置マップ情報とに基づいて、ロボット装置１に搭載された撮影装置２が目標対象物Ｐを撮影し易い位置を移動目標位置として設定する。このように、操作者は、撮影画像Ｑ上で指定図形Ｓの入力を単に行うだけで、最適な移動目標位置と同時に、その移動目標位置における所定の作業を入力することができる。

さらに、推測部５１は、指示図形Ｓの形状が「−」であると判断したときは（図４（ｃ））、その形状「−」の位置にいる人を情報伝達の目標対象物Ｐとして認識し、目標対象物Ｐの位置と位置マップ情報とに基づいて、情報伝達し易い位置を移動目標位置として設定する。より具体的には、推測部５１は、指示図形Ｓ「−」の位置にいる人を会話の対象として認識し、会話に最適な距離及び方向（人の顔に正対する方向）となる位置を移動目標位置として設定する。

なお、推定部５１は、上記入力された指示図形Ｓの形状及び位置に基づいて、その入力エラーを検出して、操作者に対して通知するようにしてもよい。これにより、より正確にロボット装置１を遠隔操作することが可能となる。

例えば、推定部５１は、指示図形Ｓの形状が「○」であると判断し、その指示図形Ｓの位置への移動が障害物等により不可能であると判断した場合、そのエラーを通知してもよい。また、推定部５１は、指示図形Ｓの形状が「×」であると判断し、その形状「×」の中心位置に目標対象物Ｐが存在しないと判断した場合、そのエラーを通知してもよい。さらに、推定部５１は、指示図形Ｓの形状が「−」であると判断し、その形状「−」の位置に人が存在しないと判断したとき、そのエラーを通知してもよい。

また、上記エラーの通知方法としては、例えば、表示装置３の表示画面を振動、点滅、フラッシュ等させてもよく、任意の通知方法が考えられる。さらに、推定部５１は、上記エラーを検出したとき、そのエラーを自動的に補正してもよい。例えば、推定部５１は、指示図形Ｓの形状が「×」であると判断し、その形状「×」の中心位置に目標対象物Ｐが存在しないと判断した場合、その指示図形Ｓの近傍にある物体を目標対象物Ｐに設定してもよい。

以上のようにして、操作者は、予め設定した指示図形Ｓを撮影画像Ｑ上で簡易に入力するだけで、最適な移動目標位置及びその移動目標位置における操作内容を、同時に設定することができるため、遠隔操作システム１０の操作性を大幅に向上させることができる。

推測部５１は、推測した移動目標位置と移動目標位置における操作内容とを、指令値生成部５２に対して出力する。なお、推測部５１は、上記推測後に、目標対象物Ｐが移動又は動作したと判断した場合、その目標対象物Ｐの移動又は動作に応じて移動目標位置を追従させるようにしてもよい。この場合、推測部５１は、更新した移動目標位置を指令値生成部５２に対して逐次、出力する。例えば、指示図形Ｓ「−」の位置にいる人の顔が動作したとき、推測部５１は、その人の顔の動作に応じて、その人の顔に正対する方向となる位置に移動目標位置をトラッキングさせてもよい。これにより、最適な移動目標位置の補正が自動的に行われ、遠隔操作システム１０の操作性をより向上させることができる。

指令値生成部５２は、推測部５１により推測された移動目標位置と、移動目標位置における操作内容と、に基づいて、移動目標位置へロボット装置１を移動させると共に、操作内容を実行させるための指令値を生成する。例えば、指令値生成部５２は、ロボット装置１の現在位置から、推測部５１により推測された移動目標位置までの移動経路を算出し、算出した移動経路に従ってロボット装置１が適切に移動するような指令値を生成する。また、指令値生成部５２は、ロボット装置１が移動目標位置に到着した後、自動的に、所定の作業等の操作内容を実行するような指令値を生成する。

指令値生成部５２は、生成した指令値を、有線又は無線を介して、ロボット装置１に対して出力する。ロボット装置１は、指令値生成部５２からの指令値に応じて、移動経路に従って移動目標位置まで移動し、その移動目標位置で操作内容を実行する。

なお、指令値生成部５２は、例えば、移動領域のマップ情報などに基づいて、上記移動経路を算出することができる。このマップ情報は、例えば、移動する路面の全体形状に、略一定間隔に配置された格子点を結ぶグリッド線を仮想的に描写することで得られるグリッドマップから構成されている。指令地生成部５２は、このグリッド線で囲まれたグリッド単位を用いて、ロボット装置１の現在位置、移動目標位置、および、移動目標位置における方向を特定することができる。また、グリッドマップにおける格子点間隔は、ロボット装置１の移動可能な曲率や絶対位置を認識する精度などの条件に応じて、適宜変更可能である。指令値生成部５２は、このグリッドマップ上において特定された移動始点から目的地である移動目標位置までの移動経路を算出する。また、指令値生成部５２は、ロボット装置１の回転センサにより検出された車輪の回転速度等に基づいて、ロボット装置１の移動速度や移動距離を算出することができる。そして、指令値生成部５２は、これら移動速度や移動距離に基づいて、リアルタイムにロボット装置１の現在位置を算出し、ロボット装置１を生成された移動経路に沿って自律的に移動させるフィードバック制御等を行う。

ところで、従来の遠隔操作システムにおいて、例えば、ロボット装置に移動目標位置で実行させる具体的な操作内容を考慮して、最終的な移動目標位置を設定する必要が生じる。また、ロボット装置の移動目標位置と、その移動目標位置での操作内容とを別個に夫々設定する必要が生じ、その操作が複雑化する虞がある。そこで、本実施形態に係る遠隔操作システム１０においては、表示装置３に表示された撮影画像Ｑ上で、予め設定した指示図形Ｓを簡易に入力するだけで、ロボット装置１の最適な移動目標位置及びその移動目標位置における操作内容を同時に設定することができる。

次に、本実施形態に係る遠隔操作システムの制御処理フローについて、詳細に説明する。図６は、本実施形態に係る遠隔操作システムの制御処理フローの一例を示すフローチャートである。

入力装置４は、表示装置３の表示画面に表示された撮影画像Ｑ上で、操作者により指示図形Ｓの描画が行われると（ステップＳ１０１）その指示図形Ｓの形状及び位置に応じた指示信号を、制御装置５の推測部５１に対して出力する。次に、推測部５１は、入力装置４から出力された指示信号の位置座標情報から、撮影画像Ｑ上に描画された指示図形Ｓの形状及び位置座標を算出する（ステップＳ１０２）。

その後、推測部５１は、算出した撮影画像Ｑ上の指示図形Ｓと、指示図形Ｓの形状と操作内容との対応関係を示す操作マップ情報と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定する（ステップＳ１０３）。

さらに、推測部５１は、推測した移動目標位置における操作内容と、操作内容と移動目標位置との対応関係を示す位置マップ情報と、に基づいて、ロボット装置１の移動目標位置を推測する（ステップＳ１０４）。そして、推測部５１は、推測した移動目標位置と移動目標位置における操作内容とを、指令値生成部５２に対して出力する。

指令値生成部５２は、ロボット装置１の現在位置から、推測部５１により推測された移動目標位置までの移動経路を算出し（ステップＳ１０５）、算出した移動経路に従ってロボット装置１が移動し、移動目標位置に到達するような指令値を生成する（ステップＳ１０６）。また、指令値生成部５２は、ロボット装置１が移動目標位置に到着した後、自動的に、所定の作業等の操作内容を実行するような指令値を生成する（ステップＳ１０７）。指令値生成部５２は、生成した指令値を、有線又は無線を介して、ロボット装置１に対して送信する。

次に、ロボット装置１は、指令値生成部５２からの指令値に応じて、移動経路に従って移動目標位置まで移動し、その移動目標位置で操作内容を実行する（ステップＳ１０８）。

以上、本実施形態に係る遠隔操作システム１０において、表示装置３に表示された撮影画像Ｑ上で所定の指示図形Ｓを簡易に入力するだけで、最適な移動目標位置及びその移動目標位置における操作内容を、同時に設定することができる。さらに、移動目標位置は、ロボット装置１が移動目標位置において操作内容を最適に実行できるように、設定されている。すなわち、容易にロボット装置１を最適な移動目標位置へ移動させ、操作内容を実行させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上記一実施形態において、制御装置５の推測部５１は、撮影画像Ｑ上の指示図形Ｓの形状に基づいて、移動目標位置におけるロボット装置１の操作内容を推定しているが、これに限らず、例えば、指示図形Ｓの書き順（→、←、↑、↓等）に基づいて、ロボット装置１の操作内容を推定してもよい。

具体的には、推定部５１は、撮影画像Ｑ上の指示図形Ｓの書き順が左から右→であると判断したときは、その操作内容が、ロボット装置１のアーム１１を左から右へ動作させると判断してもよい。一方、推定部５１は、撮影画像Ｑ上の指示図形Ｓの書き順が右から左←であると判断したときは、その操作内容が、ロボット装置１のアーム１１を右から左へ動作させると判断してもよい。

また、上記一実施形態において、制御装置５の推測部５１は、撮影画像Ｑ上における指示図形Ｓの書く速度に基づいて、ロボット装置１の操作内容を推定してもよい。具体的には、推定部５１は、撮影画像Ｑ上の指示図形Ｓの書く速度が速くなるに従って、操作内容におけるロボット装置１の動作（目標対象物Ｐの把持、持上げ、移動、ドアの開閉など）の速度を速くしてもよい。

さらに、上記一実施形態において、制御装置５の推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状と、キーボードのキー操作と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定してもよい。例えば、推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「○」であり、キーボードのキー入力が「ａ」であると判断したとき、その操作内容が（ａ）「何も実行しない」と判断してもよい。一方で、推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「○」であり、キーボードのキー入力が「ｂ」であると判断したとき、その操作内容が（ｂ）「目標対象物Ｐの把持などの所定の作業を実行する」と判断してもよい。なお、推定部５１は、指示図形Ｓの形状と、キーボードの操作回数（入力回数）或いは操作時間（入力時間）と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定してもよい。

さらにまた、上記一実施形態において、制御装置５の推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状と、マウスのクリック操作と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定してもよい。推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「△」であり、マウスの右クリック操作が行われたと判断したとき、その操作内容が（ａ）「何も実行しない」と判断してもよい。一方で、推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「△」であり、マウスの左クリック操作が行われたと判断したとき、その操作内容が（ｂ）「目標対象物Ｐの把持などの所定の作業を実行する」と判断してもよい。

さらにまた、上記一実施形態において、制御装置５の推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状と、入力用ペン４０のスイッチ装置のオン／オフ操作と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定してもよい。推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「×」であり、スイッチ装置のオン操作（スイッチの押圧等）が行われたと判断したとき、その操作内容が（ａ）「何も実行しない」と判断してもよい。一方で、推定部５１は、撮影画像Ｑ上の指示図形Ｓの形状が「×」であり、スイッチ装置のオフ操作が行われたと判断したとき、その操作内容が（ｂ）「目標対象物Ｐの把持などの所定の作業を実行する」と判断してもよい。

さらにまた、上記一実施形態において、制御装置５の推定部５１は、入力用ペン４１の指示位置Ｒと、入力用ペン４１に設けられた複数のモードスイッチ４１ａ、４１ｂ、４１ｃのオン／オフ操作と、に基づいて、移動目標位置、及び移動目標位置におけるロボット装置１の操作内容を推定してもよい（図７）。例えば、複数のモードスイッチとしては、（ａ）「何も実行しない」ための第１モードスイッチ４１ａ、（ｂ）「所定の作業を実行する」ための第２モードスイッチ４１ｂ、（ｃ）「人に対して情報の伝達を実行する」ための第３モードスイッチ４１ｂ等が含まれるが、これに限らず、任意のモードスイッチが考えられる。

より具体的には、推測部５１は、第１モードスイッチ４１ａがオン状態であると判断したときは、その操作内容が（ａ）「何も実行しない」であると判断し、入力用ペン４１による指示位置Ｒを移動目標位置として設定してもよい。また、推測部５１は、第２モードスイッチ４１ｂがオン状態であると判断したときは、その操作内容が（ｂ）「所定の作業を実行する」であると判断し、入力用ペン４１による指示位置Ｒの物体を、所定の作業を行う目標対象物Ｐとして認識してもよい。さらに、推測部５１は、第３モードスイッチ４１ｃがオン状態であると判断したときは、その操作内容が（ｃ）「人に対して情報の伝達を実行する」であると判断し、入力用ペン４１による指示位置Ｒの物体を、情報伝達の目標対象物Ｐとして認識してもよい。また、推測部５１は、撮影画像Ｑ上の指示図形Ｓの形状と、入力用ペン４１に設けられた複数のモードスイッチ４１ａ、４１ｂ、４１ｃのオン／オフ操作と、に基づいて、移動目標位置におけるロボット装置１の操作内容を推定してもよい。

さらにまた、上記一実施形態において、制御装置５の推定部５１は、入力用ペン４１の指示位置Ｒと、入力用ペン４１の傾斜（傾斜方向、傾斜角度等）とに基づいて、移動目標位置、及び移動目標位置におけるロボット装置１の操作内容を推定してもよい。

より具体的には、推定部５１は、入力用ペン４１の傾斜方向が第１領域方向Ｘ１（２７０°〜３６０°）であると判断したときは、その操作内容が（ａ）「何も実行しない」であると判断し、入力用ペン４１による指示位置Ｒを移動目標位置として設定してもよい。また、推測部５１は、入力用ペン４１の傾斜方向が第２領域方向Ｘ２（０°〜９０°）であると判断したときは、その操作内容が（ｂ）「所定の作業を実行する」であると判断し、入力用ペン４１による指示位置Ｒの物体を、所定の作業を行う目標対象物Ｐとして認識してもよい。さらに、推測部５１は、入力用ペン４１の傾斜方向が第３領域方向Ｘ３（９０°〜１８０°）であると判断したときは、その操作内容が（ｃ）「人に対して情報の伝達を実行する」であると判断し、入力用ペン４１による指示位置Ｒの物体を、情報伝達の目標対象物Ｐとして認識してもよい。なお、入力用ペン４１の傾斜は、例えば、入力用ペン４１に設けられたジャイロセンサ等の傾斜センサを用いて検出することができる。

上記一実施形態において、制御装置５の推測部５１は、上記推測した移動目標位置における操作内容と、操作内容と移動目標位置におけるロボット装置１の目標姿勢との対応関係を示す姿勢マップ情報と、に基づいて、ロボット装置１の移動目標位置における目標姿勢を推測してもよい。指令値生成部５２は、推測部５１により推測された移動目標位置と、移動目標位置における操作内容と、に基づいて、移動目標位置へロボット装置１を移動させ、目標姿勢をとらせると共に、操作内容を実行させるための指令値を生成する。

なお、制御装置５の推定部５１は、上述した複数の実施形態を任意に組み合わせて、移動目標位置及び／又は操作内容を推定してもよい。

本発明は、例えば、ロボット装置を移動目標位置に移動させ、所望の操作内容を実行させる遠隔操作システム及び遠隔操作方法に利用可能である。

１ ロボット装置
２ 撮影装置
３ 表示装置
４ 入力装置
５ 制御装置
１０ 遠隔操作システム
５１ 推測部
５２ 指令値生成部

Claims (11)

1. ロボット装置を遠隔操作するための遠隔操作システムであって、
   前記ロボット装置周辺を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像を表示する表示手段と、
   前記表示手段に表示された撮影画像上において、目標対象物に対する指示を入力する入力手段と、
   前記入力手段により入力された前記撮影画像上における前記目標対象物の指示方法に基づいて、前記ロボット装置を移動させる移動目標位置と、該移動目標位置における前記ロボット装置の操作内容と、を推測する推測手段と、
   前記推測手段により推測された前記移動目標位置へ前記ロボット装置を移動させると共に、前記操作内容を実行させるための指令値を生成する指令値生成手段と、を備える、ことを特徴とする遠隔操作システム。
2. 請求項１記載の遠隔操作システムであって、
   前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、
   前記推測手段は、前記入力手段により入力された前記指示図形の形状及び位置に基づいて、前記移動目標位置及び前記操作内容を推測する、ことを特徴とする遠隔操作システム。
3. 請求項２記載の遠隔操作システムであって、
   前記操作内容は、前記移動目標位置において、（ａ）何も実行しないこと、（ｂ）所定の作業を実行すること、（ｃ）情報の伝達を実行すること、のうち少なくとも１つを含む、ことを特徴とする遠隔操作システム。
4. 請求項２又は３記載の遠隔操作システムであって、
   前記推測手段は、
   前記入力手段により入力された前記指示図形が第１形状であると判断したとき、操作内容が（ａ）何も実行しないこと、と判断し、
   前記入力手段により入力された前記指示図形が第２形状であると判断したとき、操作内容が（ｂ）所定の作業を実行すること、と判断し、前記第２形状の位置にある物体を前記所定の作業を実行する前記目標対象物として認識し、
   前記入力手段により入力された前記指示図形が第３形状であると判断したとき、操作内容が（ｃ）情報の伝達を実行すること、と判断し、前記第３形状の位置にある物体を前記情報の伝達を実行する前記目標対象物として認識し、
   前記操作内容と、前記目標対象物の位置とに基づいて、前記移動目標位置を設定する、ことを特徴とする遠隔操作システム。
5. 請求項４記載の遠隔操作システムであって、
   前記推測手段は、前記第１形状の中心位置、もしくは、前記第１形状内にその一部又は全部が含まれる前記目標対象物の重心位置を、前記移動目標位置に設定する、ことを特徴とする遠隔操作システム。
6. 請求項２乃至５のうちいずれか１項記載の遠隔操作システムであって、
   前記推測手段は、前記入力手段により入力された前記指示図形の形状及び位置に基づいて、前記入力のエラーを検出し、通知する、ことを特徴とする遠隔操作システム。
7. 請求項１記載の遠隔操作システムであって、
   前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、
   前記推測手段は、前記入力手段により入力された前記指示図形の形状と、その書き順とに基づいて、前記移動目標位置及び前記操作内容を推測する、ことを特徴とする遠隔操作システム。
8. 請求項１記載の遠隔操作システムであって、
   前記入力手段は、前記撮影画像上に、前記目標対象物に対する指示図形を入力し、
   前記推測手段は、前記入力手段により入力された前記指示図形の形状と、その書く速度とに基づいて、前記移動目標位置及び前記操作内容を推測する、ことを特徴とする遠隔操作システム。
9. 請求項１記載の遠隔操作システムであって、
   前記入力手段は、スイッチが設けられた入力用ペンを用いて、前記撮影画像上に、前記目標対象物に対する指示を入力し、
   前記推測手段は、前記入力手段により入力された前記入力用ペンの指示位置と、前記スイッチの操作と、に基づいて、前記移動目標位置及び前記操作内容を推測する、ことを特徴とする遠隔操作システム。
10. 請求項１記載の遠隔操作システムであって、
    前記入力手段は、入力用ペンを用いて、前記撮影画像上に、前記目標対象物に対する指示を入力し、
    前記推測手段は、前記入力手段により入力された前記入力用ペンの傾斜と、前記スイッチの操作と、に基づいて、前記移動目標位置及び前記操作内容を推測する、ことを特徴とする遠隔操作システム。
11. ロボット装置を遠隔操作するための遠隔操作方法であって、
    前記ロボット装置周辺を撮影する撮影工程と、
    前記撮影工程で撮影された撮影画像を表示する表示工程と、
    前記表示工程で表示された撮影画像上において、目標対象物に対する指示を入力する入力工程と、
    前記入力工程で入力された前記撮影画像上における前記目標対象物の指示方法に基づいて、前記ロボット装置を移動させる移動目標位置と、該移動目標位置における前記ロボット装置の操作内容と、を推測する推測工程と、
    前記推測工程で推測された前記移動目標位置へ前記ロボット装置を移動させると共に、前記操作内容を実行させるための指令値を生成する生成工程と、を備える、ことを特徴とする遠隔操作方法。

Images