JP2023105577A - ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラム - Google Patents

Abstract

【課題】遠隔操縦ロボットにおいて，多様な対象物を適切な力で操作することが可能となるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。【解決手段】ロボット遠隔操作制御装置は、ロボットを操作する操作者の状態の操作者状態情報を取得する第１取得部と、操作者状態情報に基づき操作者がロボットに行わせようとしている動作意図を推定する意図推定部と、物体の幾何情報と力学情報のうち少なくとも１つを取得する第２取得部と、推定された操作者の動作意図に基づいた物体の操作方法を決定する操作方法決定部と、第２取得部が取得した情報と操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する制御量決定部と、を備える。【選択図】図３

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムに関する。

ロボットを操作者が遠隔操作して制御する技術が提案されている（例えば特許文献１参照）。

特許第６４７６３５８号公報

しかしながら、現実世界の作業では、幾何情報に加えて力学情報が重要である。例えば、対象物の質量やヤング率によって加えるべき力は変化する。対象物が既知の場合は、事前に与えられた力学情報にもとづいて接触力や重力補償に必要な力を発揮できるように制御指示を生成することができる。遠隔操縦ロボットにおいて未知物体を扱う場合は、操作者が対象物の重力補償やヤング率、摩擦を即座に考慮することは難しく、作業の阻害要因となる。このため、従来技術では、遠隔操縦ロボットにおいて，多様な対象物を適切な力で把持したり操作することが困難であった。

本発明は、上記の問題点に鑑みてなされたものであって、遠隔操縦ロボットにおいて，多様な対象物を適切な力で操作することが可能となるロボット遠隔操作制御装置、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットを操作する操作者の状態の操作者状態情報を取得する第１取得部と、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、前記物体の幾何情報と力学情報のうち少なくとも１つを取得する第２取得部と、前記推定された前記操作者の動作意図に基づいた前記物体の操作方法を決定する操作方法決定部と、前記第２取得部が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する制御量決定部と、を備える。

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記第２取得部は、前記物体の形状と質量とヤング率と剛性と摩擦力のうちの少なくとも１つを取得するようにしてもよい。

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記第２取得部は、前記物体を含む画像と前記物体の位置情報とを含む環境情報と、前記ロボットが備える前記ロボットの動作に関わる情報を検出するセンサが検出したセンサ情報とを取得するようにしてもよい。

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記第２取得部は、前記ロボットが備える力センサとトルクセンサを用いた外力推定を行い、学習済みの学習モデルを用いた分類、および前記物体に関する情報を格納するデータベースを参照、のうちの少なくとも１つによって、前記物体の幾何情報と力学情報のうち少なくとも１つを取得するようにしてもよい。

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記物体の名称と、前記物体に対する操作内容と、前記物体を操作する際の前記ロボットと前記物体との接触点を推定するようにしてもよい。

（６）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、第１取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、意図推定部が、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定し、第２取得部が、前記物体の幾何情報と力学情報のうち少なくとも１つを取得し、操作方法決定部が、前記推定された前記操作者の動作意図に基づいた前記物体の操作方法を決定し、制御量決定部が、前記第２取得部が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する。

（７）上記目的を達成するため、本発明の一態様は、上記のロボット遠隔操作制御装置として、コンピューターを機能させるためのプログラムである。

（１）～（７）によれば、遠隔操縦ロボットにおいて，多様な対象物を適切な力で操作することが可能となる。（１）～（７）によれば、作業効率の改善と作業の種類が増加することが期待される。

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を説明するための図である。 ロボットの構成例を示す図である。 実施形態に係るロボット遠隔操作制御装置を備えるロボット遠隔操作制御システムの構成例を示す図である。 実施形態に係る物体情報ＤＢが格納する情報例を示す図である。 実施形態に係るハンドの構成例を示す図である。 ロボットが物体を把持した状態例を示す図である。 作業対象例を示す図である。 実施形態に係るロボット遠隔操作制御システムの処理手順例を示すシーケンス図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を説明するための図である。図１のように、操作者Ｕｓは、例えば、ＨＭＤ（ヘッドマウントディスプレイ）５０１とコントローラー５０２（５０２Ｌ、５０２Ｒ）等を装着している。作業空間には、環境センサ３００（３００ａ、３００ｂ）が設置されている。なお、環境センサ３００は、ロボット１に取り付けられていてもよい。また、ロボット１は、ハンド５（５Ｌ、５Ｒ）を備える。環境センサ３００は、例えばＲＢＧカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５０１に表示された画像を見ながらコントローラー５０２を装着している手や指を動かすことで、ロボット１を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット１を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。なお、遠隔操作において、操作者Ｕｓは、ロボット１の動作を直接視認できないが、ロボット１側の映像をＨＭＤ５０１で間接的に視認できる状態である。

本実施形態では、環境センサ３００から取得された幾何情報と、ロボット１の例えばセンサが検出した力学情報のうちの少なくとも１つを用いて操作対象の物体に関する物理情報を取得または推定する。また、本実施形態では、例えば、操作者Ｕｓが装着しているＨＭＤ５０１とコントローラー、および環境センサ３００、ロボット１が備えるセンサ等から得られる情報に基づいて、操作者の意図を推定する。そして、本実施形態では、推定された対象物の物理情報と、操作者の意図に基づいて、操作方法、操作時の力等を生成する。

［ロボットの構成例］
次に、ロボット１の構成例を説明する。
図２は、ロボットの構成例を示す図である。図２のように、ロボット１は、例えば、アーム４、ハンド（把持部）５、脚部６、足部７、上腕部８、前腕部９、肩部１０、大腿部１１、下腿部１２、頭部１３、およびボディ１４を備える。また、制御部２５が、例えばボディ１４内に設けられている。
例えば肩関節と、肘関節と、手関節とに、アーム用のアクチュエータ２１を備える。また、手部と指部とに、ハンド関節用のアクチュエータ２２を備える。なお、ロボット１は、アクチュエータ２１、２２にエンコーダとトルクセンサを備えている。また、例えば、ハンド５の手の内と側指部は、力センサを備えている。
なお、図２に示した構成は一例であり、これに限らない、例えば、ロボット１の例として二足歩行ロボットを示したが、ロボット１は、少なくともアーム、ハンドを備えていればよい。

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１００の構成例を説明する。
図３は、本実施形態に係るロボット遠隔操作制御装置を備えるロボット遠隔操作制御システムの構成例を示す図である。図３のように、ロボット遠隔操作制御システム１００は、例えば、ロボット１、ロボット遠隔操作制御装置２００、環境センサ３００、操作者センサ４００、ＨＭＤ５０１、およびコントローラー５０２を備える。

ロボット１は、例えば、アクチュエータ２１、アクチュエータ２２、制御部２５、記憶部３１、通信部３２、収音部３３、撮影装置３４、駆動部３５、センサ３６を備える。
センサ３６は、例えば、力センサ３６１、トルクセンサ３６２、エンコーダ３６３を備える。

ロボット遠隔操作制御装置２００は、例えば、第１取得部２０１、第２取得部２０２、物体情報推定部２０３（第２取得部）、物体情報ＤＢ２０４、意図推定部２０５、操作方法決定部２０６、および制御量決定部２０７を備える。

操作者センサ４００は、例えば、視線検出部４０１、およびセンサ４０２を備える。なお、視線検出部４０１とセンサ４０２は、例えばＨＭＤ５０１が備える。また、センサ４０２は、例えばコントローラー５０２が備える。

なお、ロボット遠隔操作制御装置２００と環境センサ３００とは、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置２００と操作者センサ４００とは、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置２００とロボット１とは、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置２００と環境センサ３００とは、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置２００と操作者センサ４００とは、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置２００と環境センサ３００は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット１とは、ネットワークを介さずに直接接続されてもよい。

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システム１００の機能例を、図３を参照しつつ説明する。

ＨＭＤ５０１は、例えば、画像表示部、視線検出部４０１、センサ４０２、通信部、制御部、記憶部等を備える。ロボット遠隔操作制御装置２００から受信したロボット１の状態画像を表示する。ＨＭＤ５０１は、操作者の視線の動きや、操作者の頭の動き等を検出し、検出した操作者状態情報をロボット遠隔操作制御装置２００に送信する。

視線検出部４０１は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を含む操作者状態情報をロボット遠隔操作制御装置２００に出力する。

ＨＭＤ５０１がセンサ４０２を備える場合、センサ４０２は、例えば、加速度センサ、ジャイロスコープ等であり、操作者の頭部の動きや傾きを検出し、検出した頭部動作情報（操作者センサ値）を含む操作者状態情報をロボット遠隔操作制御装置２００に出力する。

コントローラー５０２は、例えば、センサ４０２、制御部、通信部、およびフィードバック手段等を備える。コントローラー５０２は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー５０２は、センサ４０２によって方位や各指の動きや手の動きを検出し、検出した操作者状態情報をロボット遠隔操作制御装置２００に送信する。

センサ４０２は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、複数のセンサを備えるセンサ４０２を備える場合は、例えば２つのセンサによって各指の動きをトラッキングする。センサ４０２は、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値、操作者状態情報）を検出し、検出した操作者腕部情報を含む操作者状態情報をロボット遠隔操作制御装置２００に出力する。なお、操作者腕部情報には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

環境センサ３００は、例えばロボット１の作業を撮影、検出できる位置に設置されている。なお、環境センサ３００は、ロボット１が備えていてもよく、ロボット１に取り付けられていてもよい。または、環境センサ３００は、複数であってもよく、図１のように作業環境に設置され、かつロボット１にも取り付けられていてもよい。環境センサ３００は、例えば、ＲＧＢカメラ、深度センサである。なお、環境センサ３００は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよい。なお、環境センサ３００は、距離センサであってもよい。環境センサ３００は、撮影された画像と、深度センサによって検出されたセンサ値とを環境情報としてロボット遠隔操作制御装置２００に送信する。なお、環境センサ３００は、撮影された画像とセンサ値を用いて、物体の位置情報を検出して、検出した結果を環境情報としてロボット遠隔操作制御装置２００に送信するようにしてもよい。なお、環境センサ３００が送信するデータは、例えば位置情報を有する点群であってもよい。

（ロボットの機能例）
ロボット１は、遠隔操作されていない場合、制御部２５の制御に応じて行動が制御される。ロボット１は、遠隔操作されている場合、ロボット遠隔操作制御装置２００が生成した把持計画情報に応じて行動が制御される。

制御部２５は、ロボット遠隔操作制御装置２００が出力する制御指示に基づいて駆動部３５を制御する。制御部２５は、収音部３３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行う。制御部２５は、音声認識した結果にロボット１に対する動作指示が含まれている場合、音声による動作指示に基づいてロボット１の動作を制御するようにしてもよい。制御部２５は、記憶部３１が記憶する情報に基づいて、環境センサ３００が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行う。制御部２５は、物体情報ＤＢ２０４を参照して、画像処理によって物体に関する情報を撮影された画像から抽出する。物体情報には、例えば、物体の名称、物体の形状、物体の重さ、物体のヤング率。物体の表面の摩擦力等の情報が含まれている。制御部２５は、ロボット１の動作状態情報に基づいてロボット状態画像を作成し、作成したロボット状態画像を、ロボット遠隔操作制御装置２００を介してＨＭＤ５０１へ送信する。制御部２５は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置２００を介してコントローラー５０２に送信する。

記憶部３１は、例えば、制御部２５が制御に用いるプログラム、閾値等を記憶する。

収音部３３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部３３は、収音した音響信号を制御部２５に出力する。収音部３３は、音声認識処理機能を備えていてもよい。この場合、収音部３３は、音声認識結果を制御部２５に出力する。

撮影装置３４は、例えば、ロボット１の頭部１３またはボディ１４に取り付けられている。なお、撮影装置３４は、環境センサ３００であってもよい。撮影装置３４は、撮影した画像を制御部２５に出力する。

駆動部３５は、制御部２５の制御に応じてロボット１の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部３５は、例えば、アクチュエータ、ギア、人工筋等を備える。

センサ３６は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等であってもよい。なお、センサ３６は、ロボット１の各関節、頭部、手部、指部等に取り付けられている。センサ３６は、検出した検出結果を、制御部２５と、ロボット遠隔操作制御装置２００に出力する。

（ロボット遠隔操作制御装置の機能例）
ロボット遠隔操作制御装置２００は、ロボット１を操作する操作者の状態の操作者状態情報を取得し、取得した操作者状態情報に基づき、操作者がロボット１に行わせようとしている動作意図を推定する。ロボット遠隔操作制御装置２００は、物体の幾何情報と力学情報のうち少なくとも１つを取得し、推定された操作者の動作意図に基づいた物体の操作方法を決定する。ロボット遠隔操作制御装置２００は、取得された物体の幾何情報と力学情報のうち少なくとも１つ情報と、操作方法決定部が決定した情報からロボット１の操作方法と操作時の力を決定し、制御指示に反映する。

第１取得部２０１は、操作者センサ４００から、操作者の視線情報、手首の動きと位置、手のひらの動きと位置、指の動きと位置等の情報を取得する。第１取得部２０１は、取得した情報を意図推定部２０５に出力する。

第２取得部２０２は、ロボット１のセンサ３６から、力。トルク、アームやハンドの位置情報等を取得する。第２取得部２０２は、環境センサ３００から環境情報を取得する。第２取得部２０２は、取得した情報を物体情報推定部２０３と意図推定部２０５に出力する。

物体情報推定部２０３は、第２取得部２０２が取得した情報を用いて、物体情報ＤＢ２０４が格納する情報を参照して、操作対象の物体の幾何情報および力学情報のうち少なくとも１つを推定する。例えば、ロボット１が物体を把持または触れる前、すなわち操作前の場合、物体情報推定部２０３は、環境センサ３００から取得した環境情報を用いて、物体情報ＤＢ２０４が格納する情報を参照して、物体の名称、形状、重さ、ヤング率、摩擦等を推定する。この場合、物体情報推定部２０３は、環境情報に基づいて物体の名称、形状、重さが推定され、さらにそれらに関連付けられているヤング率、摩擦を物体情報ＤＢ２０４から取得する。また、ロボット１が例えば作業を開始した場合、物体情報推定部２０３は、ロボット１のセンサ４０２が検出した検出値も用いて、物体の名称、形状、重さ、ヤング率、摩擦等を推定する。

物体情報ＤＢ２０４は、データベースであり、物体に関する情報（物体名、形状、重さ、ヤング率、摩擦等）を格納する。また、物体情報ＤＢ２０４は、テンプレート、学習済みモデルを記憶するようにしてもよい。

意図推定部２０５は、第１取得部２０１が取得した情報と、第２取得部２０２が取得した情報を用いて、作業者の意図を推定する。なお、意図推定部２０５は、ＨＭＤ５０１、コントローラー５０２から取得された情報のうち、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部２０５は、環境センサ値も用いて意図推定するようにしてもよい。なお、意図推定方法については後述する。

操作方法決定部２０６は、推定された操作者の動作意図に基づいた物体の操作方法を決定する。例えば、操作方法決定部２０６は、操作方法を、例えば自部または物体情報ＤＢ２０４が記憶するテンプレートを参照して決定する。なお、操作方法決定部２０６は、操作方法を、例えば自部または物体情報ＤＢ２０４が記憶する学習済みのモデルに入力して選択するようにしてもよい。また、操作方法決定部２０６は、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット１の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット１の手指の物体に対する接触点を求める。そして、操作方法決定部２０６は、例えば、これらから計算される関節角度を目標値として補正動作とするようにしてもよい。また、操作方法決定部２０６は、目標値に従って動作した場合に、例えば、目標値・パラメータ推定値とロボット１のセンサ３６から観測される値との誤差をなくすように手指の関節角度やトルクなどをリアルタイムに制御する。これにより、本実施形態によれば、落とさずに安定的・持続的に把持可能となる。

制御量決定部２０７は、第２取得部２０２が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する。制御量決定部２０７は、反映した制御指示をロボット１へ送信する。

（意図推定方法）
ここで、意図推定方法例を説明する。
意図推定部２０５は、例えば、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の動作意図を推定する。
本実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット１の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。意図推定部２０５は、例えば、意図推定部２０５が記憶する学習済みのモデルに操作者状態情報を入力して、操作者の動作意図を推定する。本実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77

また、意図推定部２０５は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、意図推定部２０５は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。

意図推定部２０５は、例えば、操作者状態情報に基づいて。まず把持させた物体を推定する。意図推定部２０５は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部２０５は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。

または、意図推定部２０５は、例えば、操作者状態情報に基づいて、まず操作者の手の姿勢を推定する。次に、意図推定部２０５は、推定した操作者の手の姿勢から、把持したい物体を推定する。例えば、テーブル上に３つの物体が置かれている場合、意図推定部２０５は、手の姿勢に基づいて、３つのうちのどの物体が把持候補であるかを推定する。

また、意図推定部２０５は、操作者状態情報と、ロボット１の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。

なお、意図推定部２０５は、センサ４００が検出した検出結果、環境センサ３００が撮影した画像を画像処理した結果等も用いて、操作したい物体と、物体の位置を推定するようにしてもよい。

（物体情報ＤＢが格納する情報例）
ここで、物体情報ＤＢ２０４が格納する情報例を説明する。
図４は、本実施形態に係る物体情報が格納する情報例を示す図である。図４のように、物体情報ＤＢ２０４は、例えば、物体名に画像、形状、大きさ、重さ、ヤング率、摩擦力、および剛性を関連付けて格納する。なお、物体によっては、箇所毎にヤング率や摩擦力が異なるものもある。このような場合は、箇所毎にヤング率や摩擦力等を関連付けて格納する。
なお、図４に示した例は一例であり、これに限らない。物体情報ＤＢ２０４は、形状、重さを格納していなくてもよい。この場合、例えば、物体情報推定部２０３は、物体情報推定部２０３が記憶する学習済みの学習モデルを用いて、物体の形状や重さを推定するようにしてもよい。この場合、学習は、学習モデルに、環境センサ３００が取得した環境情報と教師データを入力して学習される。

（ハンドの構成例）
ここで、ハンド５の構成例を説明する。
図５は、本実施形態に係るハンドの構成例を示す図である。また、図５は、ロボット１のハンド５が指部５０（５１～５５）で対象物体Ｏｂｊを把持する例を示す図でもある。
ハンド５は、少なくとも２本以上の指部５０を備える。また、各指部の腹には、例えばセンサ４０２が取り付けられている。センサ４０２は、例えば物体と接触した際に力と摩擦力を検出する。

（作業内容）
ここで、ロボット１が遠隔操作で行う作業例を、図６と図７を用いて説明する。図６は、ロボットが物体を把持した状態例を示す図である。図７は、作業対象例を示す図である。

ロボット１が行う作業は、例えば、物体を把持する、物体を手に載せる、物体（ボタン等）を押す、（ペットボトルや瓶等の）蓋を開ける等である。このような作業において、例えば撮影された画像から得られた情報として、物体の名称、形状、位置だけでは、作業をうまく行えない場合もありえる。図７の四角ｇ１０内のように、物体がペットボトルの場合、空のペットボトルｇ１１の場合もあり、中身が入っているペットボトルｇ１２の場合もある。この場合は、例えば重さとヤング率が異なる。また、図７の四角ｇ２０内のように、物体が球状の場合、卵ｇ２１の場合もあり、ゴルフボールｇ２２の場合もある。この場合は、例えばヤング率と剛性が異なる。また、物体が箒ｇ３０の場合は、把持する場所が柄ｇ３１と、穂先ｇ３２とでは、例えばヤング率と剛性と摩擦力が異なる。また、物体が接続ケーブルｇ４０の場合は、把持する場所がコネクタｇ４１と、ケーブルｇ４２とでは、例えばヤング率が異なる。このように、作業によっては、幾何情報と力学情報とを用いた方が、作業を行いやすい場合がある。

例えば図６のように物体を把持させる場合は、物体がペットボトルであると認識し、仮にペットボトルの名称に、形状、中身の入った場合の重さが関連付けられているパラメータを用いて制御する。この場合は、中身の入ったペットボトルの把持を行わせることができても、空のペットボトルをその設定で制御してしまうと、ペットボトルをつぶしてしまうなど、作業をうまく行えない。また、物体が球状ｇ２０のような場合は、卵とゴルフボールとが混在していると、形状が似ているが、ゴルフボールのパラメータで把持すると卵をつぶしてしまうこともありえる。

このため、本実施形態では、対象物の幾何情報と力学情報を取得して、多様な対象物に対して適切な接触力目標を生成するようにした。

（処理手順例）
次に、ロボット遠隔操作制御システム１００の処理手順例を説明する。
図８は、本実施形態に係るロボット遠隔操作制御システム１００の処理手順例を示すシーケンス図である。

（ステップＳ１１）ロボット遠隔制御装置２００の第２取得部２０２は、環境センサ３００から環境情報を取得する。

（ステップＳ１２）ロボット遠隔制御装置２００の第１取得部２０１は、操作者センサ４００から操作者状態情報を取得する。

（ステップＳ１３）ロボット遠隔制御装置２００の第２取得部２０２は、ロボット１のセンサ３６からセンサ情報を取得する。

（ステップＳ１４）ロボット遠隔制御装置２００の物体情報推定部２０３は、第２取得部２０２が取得した情報を用いて、物体情報ＤＢ２０４が格納する情報を参照して、操作対象の物体の幾何情報および力学情報のうち少なくとも１つを推定して取得する。

（ステップＳ１５）ロボット遠隔制御装置２００の意図推定部２０５は、第１取得部２０１が取得した情報と第２取得部２０２が取得した情報を用いて、作業者の意図を推定する。

（ステップＳ１６）ロボット遠隔制御装置２００の制御量決定部２０７は、第２取得部が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する。

（ステップＳ１７）ロボット遠隔制御装置２００の制御量決定部２０７は、反映した制御指示をロボット１へ送信する。ロボット１は、制御指示に応じてアクチュエータ２１、２２を駆動する。

なお、図８を用いて説明した処理手順は一例であり、これに限らない。例えば、ステップＳ１１～Ｓ１３の処理の順番は異なっていてもよく、平行して行われるようにしてもよい。

以上のように、本実施形態では、ロボット１および環境に設置されたセンサ（力センサ，トルクセンサ，画像センサ）情報を通じて、対象物の幾何情報と力学情報（形状，質量，ヤング率，摩擦等）を推定するようにした。推定には、力センサ、トルクセンサを用いた外力推定や機械学習による分類、データベースを用いるようにした。
また、本実施形態では、ロボット１、環境と操作者に設置されたセンサ（ＲＧＢ画像，深度，ジャイロ，視線等）情報から操作者の意図を推定し、対象物とその接触点と、タクソノミーを推定するようにした。
本実施形態では、これらの情報に基づいて、ロボット遠隔操作制御装置２００が最適な接触力を推定し、制御指示に反映するようにした。すなわち、本実施形態では、物体の、例えば形状、質量、ヤング率、摩擦係数および物体を例えば横から掴みたいという意図推定結果に基づいて、ロボット遠隔操作制御装置２００が適切な接触力目標を生成するようにした。これにより、本実施形態によれば、操作者は、物体に加える力や物体から加わる重力を考慮せずに作業が可能となる。

これにより、本実施形態によれば、遠隔操縦ロボットにおいて，多様な対象物を適切な力で把持したり，操作することが可能となる。これにより、本実施形態によれば、作業効率の改善と作業の種類が増加することが期待される。

なお、意図推定部２０５は、操作者状態情報と、ロボット１の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。

また、上述したロボット１は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。

また、上述した例では、遠隔操作でロボット１に把持させる例を説明したが、これに限らない。

また、上述した例では、操作者がＨＭＤ５０１を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。

なお、本発明におけるロボット遠隔操作制御装置２００の機能の全てまたは一部を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによりロボット遠隔操作制御装置２００が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューターシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１…ロボット、４…アーム、５…ハンド（把持部）、６…脚部、７…足部、８…上腕部、９…前腕部、１０…肩部、１１…大腿部、１２…下腿部、１３…頭部１３、１４…ボディ、２１２…アーム用のアクチュエータ、２２…ハンド関節用のアクチュエータ、２５…制御部、３１…記憶部、３２…通信部、３３…収音部、３４…撮影装置、３５…駆動部、３６…センサ、３６１…力センサ、３６２…トルクセンサ、３６３…エンコーダ、１００…ロボット遠隔操作制御システム、２００…ロボット遠隔操作制御装置、２０１…第１取得部、２０２…第２取得部、２０３…物体情報推定部（第２取得部）、２０４…物体情報ＤＢ、２０５…意図推定部、２０６…操作方法決定部、２０７…制御量決定部、３００…環境センサ、４００…操作者センサ、４０１…視線検出部、４０２…センサ、５０１…ＨＭＤ、５０２…コントローラー

Claims (7)

1. 物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
   前記ロボットを操作する操作者の状態の操作者状態情報を取得する第１取得部と、
   前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、
   前記物体の幾何情報と力学情報のうち少なくとも１つを取得する第２取得部と、
   前記推定された前記操作者の動作意図に基づいた前記物体の操作方法を決定する操作方法決定部と、
   前記第２取得部が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する制御量決定部と、
   を備えるロボット遠隔操作制御装置。
2. 前記第２取得部は、前記物体の形状と質量とヤング率と剛性と摩擦力のうちの少なくとも１つを取得する、
   請求項１に記載のロボット遠隔操作制御装置。
3. 前記第２取得部は、前記物体を含む画像と前記物体の位置情報とを含む環境情報と、前記ロボットが備える前記ロボットの動作に関わる情報を検出するセンサが検出したセンサ情報とを取得する、
   請求項１または請求項２に記載のロボット遠隔操作制御装置。
4. 前記第２取得部は、前記ロボットが備える力センサとトルクセンサを用いた外力推定を行い、学習済みの学習モデルを用いた分類、および前記物体に関する情報を格納するデータベースを参照、のうちの少なくとも１つによって、前記物体の幾何情報と力学情報のうち少なくとも１つを取得する、
   請求項１から請求項３のうちのいずれか１項に記載のロボット遠隔操作制御装置。
5. 前記意図推定部は、前記物体の名称と、前記物体に対する操作内容と、前記物体を操作する際の前記ロボットと前記物体との接触点を推定する、
   請求項１から請求項４のうちのいずれか１項に記載のロボット遠隔操作制御装置。
6. 物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、
   第１取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、
   意図推定部が、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定し、
   第２取得部が、前記物体の幾何情報と力学情報のうち少なくとも１つを取得し、
   操作方法決定部が、前記推定された前記操作者の動作意図に基づいた前記物体の操作方法を決定し、
   制御量決定部が、前記第２取得部が取得した情報と前記操作方法決定部が決定した情報からロボットの操作方法と操作時の力を決定し、制御指示に反映する、
   ロボット遠隔操作制御方法。
7. 請求項１から請求項５のうちのいずれか１項に記載のロボット遠隔操作制御装置として、コンピューターを機能させるためのプログラム。

Images