JP2022155623A

JP2022155623A - Robot remote operation control device, robot remote operation control system, robot remote operation control method and program

Info

Publication number: JP2022155623A
Application number: JP2021058952A
Authority: JP
Inventors: 智樹渡部; Tomoki Watabe; 了水谷; Ryo Mizutani; 健知久; Ken Chiku; 屹立董; Yili Dong; 智大茶木; Tomohiro Chagi; 七海塚本; Nanami TSUKAMOTO; 直希細見; Naoki Hosomi; コンダパッレィアニルドレッディ; Reddy Kondapally Anirudh; 孝英吉池; Takahide Yoshiike; ゲーリッククリスチャン; Christian Goerigk
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2022-10-14

Abstract

To provide a robot remote operation control device, a robot remote operation control system, a robot remote operation control method and a program which enable even a user who is not skilled in operating a robot to make the robot perform work with high accuracy.SOLUTION: A robot remote operation control device, which performs robot remote operation control by which an operator is enabled to remotely operate a robot which can grip an object, comprises: an information obtaining part that obtains operator state information on a state of an operator who operates the robot; an intention estimating part that estimates an intention of motion that the operator intends to make the robot perform on the basis of the operator state information; and a gripping method determining part that determines a method of gripping the object based on the estimated intention of the motion of the operator.SELECTED DRAWING: Figure 2

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。 The present invention relates to a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a program.

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。 A control device has been proposed that allows a user to assist the operation of a robot. As such a control device, for example, a first information acquisition unit that acquires first user posture information indicating the posture of a first user who operates the robot, and a a second information acquiring unit for acquiring pre-change posture information indicating a pre-change posture which is the posture of the robot; A control device has been proposed that includes a determination unit that determines a target posture different from the posture of the first user as the posture of the robot based on the first user posture information acquired by the information acquisition unit (see Patent Document 1). ).

特許第６４７６３５８号Patent No. 6476358

しかしながら、従来技術では、ロボットに所定の作業を行わせる場合、ロボットの操作に習熟した利用者と比較してロボットの操作に習熟していない利用者が、高い精度で当該作業をロボットに行わせることが困難な場合があった。 However, in the conventional technology, when a robot is caused to perform a predetermined task, a user who is not skilled in operating the robot causes the robot to perform the task with high accuracy compared to a user who is skilled in operating the robot. Sometimes it was difficult.

本発明は、上記の問題点に鑑みてなされたものであって、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and is a robot remote control device that enables even a user who is not skilled in operating a robot to operate the robot with high accuracy. , a robot remote control system, a robot remote control method, and a program.

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、前記ロボットを操作する操作者の状態の操作者状態情報を取得する情報取得部と、前記操作者状態情報に基づき前記操作者が前記ロボットに行わせようとしている動作意図を推定する意図推定部と、前記推定された前記操作者の動作意図に基づいた前記物体の把持方法を決定する把持方法決定部と、を備える。 (1) In order to achieve the above objects, a robot remote operation control device according to an aspect of the present invention is a robot remote operation control in which an operator remotely operates a robot capable of grasping an object. an information acquisition unit for acquiring operator state information in the state of; an intention estimation unit for estimating an intention of an action that the operator intends the robot to perform based on the operator state information; and the estimated operation and a gripping method determination unit that determines a gripping method for the object based on the motion intention of the person.

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、操作者状態情報に基づき前記操作者の姿勢を分類することで、前記ロボットの姿勢の分類を決定して前記操作者の動作意図を推定するようにしてもよい。 (2) Further, in the robot remote control device according to the aspect of the present invention, the intention estimation unit determines the classification of the posture of the robot by classifying the posture of the operator based on the operator state information. It is also possible to estimate the motion intention of the operator by doing so.

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の持ち方および前記把持させたい物体のうちの少なくとも１つを推定することで、前記操作者の動作意図を推定するようにしてもよい。 (3) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit determines, based on the operator state information, how to hold an object desired to be gripped and at least one of the object desired to be gripped. By estimating one, the motion intention of the operator may be estimated.

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。 (4) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit estimates, based on the operator state information, how to grip an object desired to be gripped. The motion intention of the operator may be estimated by estimating the desired object to be gripped based on how the desired object is gripped.

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者状態情報に基づき、把持させたい物体の把持の仕方を推定し、推定した前記把持させたい物体の把持の仕方に基づいて前記把持させたい物体を推定することで、前記操作者の動作意図を推定するようにしてもよい。 (5) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit estimates, based on the operator state information, how to grip an object desired to be gripped. The motion intention of the operator may be estimated by estimating the desired object to be gripped based on how the desired object is gripped.

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者状態情報は、前記操作者の視線情報、前記操作者の腕部の動き情報、および前記操作者の頭部の動き情報のうちの少なくとも１つであるようにしてもよい。 (6) Further, in the robot remote control device according to the aspect of the present invention, the operator state information includes the operator's sight line information, the operator's arm movement information, and the operator's head movement information. may be at least one of the motion information.

（７）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記物体の位置情報を取得し、前記把持方法決定部は、取得された前記物体の位置情報も用いて把持したい物体を推定するようにしてもよい。 (7) Further, in the robot remote control device according to the aspect of the present invention, the information acquisition unit acquires the position information of the object, and the grasping method determination unit acquires the acquired position information of the object. You may make it estimate the object which it wants to grasp|grip using.

（８）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記把持方法決定部は、前記ロボットが備える把持部の位置情報を取得し、操作者状態情報に基づき前記把持部の位置情報を補正するようにしてもよい。 (8) Further, in the robot remote operation control device according to the aspect of the present invention, the gripping method determination unit acquires position information of a gripping unit provided in the robot, and determines the position of the gripping unit based on operator state information. Information may be corrected.

（９）また、本発明の一態様に係るロボット遠隔操作制御装置において、ロボット状態画像作成部、をさらに備え、前記意図推定部は、撮影装置が撮影した画像に基づく前記物体に関する情報を取得し、前記ロボット状態画像作成部は、前記物体に関する情報と、前記把持部の位置情報と、前記操作者状態情報と、補正した前記把持部の位置情報とに基づいて、前記操作者に提供する画像を生成するようにしてもよい。 (9) Further, the robot remote operation control device according to one aspect of the present invention further includes a robot state image creating unit, wherein the intention estimating unit acquires information about the object based on the image captured by the imaging device. and the robot state image creating unit provides an image to the operator based on the information about the object, the position information of the gripping unit, the operator state information, and the corrected position information of the gripping unit. may be generated.

（１０）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、前記物体を把持する把持部と、前記把持部の位置情報を検出する検出部と、を備えるロボットと、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、前記物体の位置情報を検出する環境センサと、前記ロボットを操作する操作者の状態の操作者状態情報を検出するセンサと、を備える。 (10) In order to achieve the above objects, a robot remote control system according to an aspect of the present invention provides a robot comprising: a gripping unit that grips the object; and a detection unit that detects positional information of the gripping unit. , the robot remote control device according to any one of the above (1) to (6), an environment sensor for detecting position information of the object, and an operator operating the robot. a sensor for detecting person status information.

（１１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、情報取得部が、前記ロボットを操作する操作者の状態の操作者状態情報を取得し、意図推定部が、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定し、把持方法決定部が、前記推定結果に基づいた前記物体の把持方法を決定する。 (11) In order to achieve the above object, a robot remote operation control method according to an aspect of the present invention is a robot remote operation control in which an operator remotely operates a robot capable of grasping an object, wherein an information acquisition unit comprises: acquires operator state information of the state of the operator who operates the , the intention estimation unit estimates at least one of an object to be gripped and a gripping method based on the operator state information, and a gripping method determination unit , determining a gripping method for the object based on the estimation result.

（１２）上記目的を達成するため、本発明の一態様に係るプログラムは、物体を把持可能なロボットを操作者が遠隔操作するロボット遠隔操作制御において、コンピュータに、前記ロボットを操作する操作者の状態の操作者状態情報を取得させ、前記操作者状態情報に基づき把持させたい物体および把持方法のうちの少なくとも１つを推定させ、前記推定結果に基づいた前記物体の把持方法を決定させる。 (12) In order to achieve the above object, a program according to one aspect of the present invention provides, in robot remote operation control in which an operator remotely operates a robot capable of grasping an object, to a computer, an operator who operates the robot; At least one of an object to be gripped and a gripping method is estimated based on the operator status information, and a gripping method for the object is determined based on the estimation result.

（１）～（１２）によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができるので、ロボットの操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。
（２）～（５）によれば、操作者の手や指を含む腕部の動き等によって操作者の動作意図推定を行うことで、精度良く操作者の意図を推定することができる。
（８）によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。
（９）によれば、操作者に補正された把持部の位置情報に基づく画像を提供できるので、操作者がロボットを遠隔操作しやすくなる。 According to (1) to (12), the target object can be picked up even if the operator does not perform accurate positioning. Robots can be made to work with precision.
According to (2) to (5), the intention of the operator can be accurately estimated by estimating the operator's motion intention based on the motion of the operator's arm including the hands and fingers.
According to (8), the position information of the gripping part is corrected based on the actual position of the gripping part of the robot and the state of the operator, so that the target object can be picked up even if the operator does not perform accurate positioning. can be realized.
According to (9), an image based on the corrected positional information of the gripping portion can be provided to the operator, so that the operator can easily remotely operate the robot.

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline|summary of the robot remote operation control system which concerns on embodiment, and the outline|summary of work. 実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。1 is a block diagram showing a configuration example of a robot remote control system according to an embodiment; FIG. ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。FIG. 4 is a diagram showing an example of a state in which an operator wears an HMD and a controller; 実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例を示す図である。It is a figure which shows the example of a processing procedure of the robot and robot remote control apparatus which concern on embodiment. テーブルの上に３つの物体が置かれていて、操作者がロボットに左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。FIG. 10 is a diagram showing an example of a state in which three objects are placed on the table and the operator is causing the robot to grip the object obj3 with the left hand; 実施形態に係るロボット遠隔操作制御装置の処理例のフローチャートである。4 is a flowchart of a processing example of the robot remote control device according to the embodiment; 実施形態に係るＨＭＤに表示されるロボット状態画像例を示す図である。FIG. 4 is a diagram showing an example of a robot state image displayed on the HMD according to the embodiment;

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in the drawings used for the following description, the scale of each member is appropriately changed so that each member has a recognizable size.

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６（６ａ、６ｂ）を装着している。作業空間には、環境センサ７ａ、環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＢＧカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させる。なお、遠隔操作において、操作者Ｕｓは、ロボット２の動作を直接視認できないが、ロボット２側の映像をＨＭＤ５で間接的に視認できる状態である。本実施形態では、ロボット２が備えるロボット遠隔操作制御装置３が、ロボット２を操作する操作者の状態の情報（操作者状態情報）を取得して、取得した操作者状態情報に基づき把持させたい物体と把持方法を推定し、推定に基づいた物体の把持方法を決定する。 [Overview]
First, an outline of work and processing performed by the robot remote control system will be described.
FIG. 1 is a diagram showing an outline of a robot remote control system 1 and an outline of work according to this embodiment. As shown in FIG. 1, the operator Us is wearing, for example, an HMD (head mounted display) 5 and controllers 6 (6a, 6b). An environment sensor 7a and an environment sensor 7b are installed in the work space. Note that the environment sensor 7 may be attached to the robot 2 . The robot 2 also includes a gripper 222 (222a, 222b). The environment sensors 7 (7a, 7b) include, for example, an RBG camera and a depth sensor as described later. The operator Us remotely operates the robot 2 by moving the hand or fingers wearing the controller 6 while watching the image displayed on the HMD 5 . In the example of FIG. 1, the operator Us remotely operates the robot 2 to grip the PET bottle obj on the table Tb. In the remote operation, the operator Us cannot directly view the motion of the robot 2, but can indirectly view the image of the robot 2 through the HMD 5. FIG. In this embodiment, the robot remote control device 3 provided in the robot 2 acquires information on the state of the operator who operates the robot 2 (operator state information), and it is desired that the robot is grasped based on the acquired operator state information. An object and a grasping method are estimated, and a grasping method of the object is determined based on the estimation.

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。 [Configuration example of robot remote control system]
Next, a configuration example of the robot remote control system 1 will be described.
FIG. 2 is a block diagram showing a configuration example of the robot remote control system 1 according to this embodiment. As shown in FIG. 2 , the robot remote control system 1 includes a robot 2 , a robot remote control device 3 , an HMD 5 , a controller 6 and an environment sensor 7 .

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。 The robot 2 includes, for example, a control unit 21, a drive unit 22, a sound pickup unit 23, a storage unit 25, a power supply 26, and a sensor 27.
The robot remote control device 3 includes, for example, an information acquisition unit 31, an intention estimation unit 33, a gripping method determination unit 34, a robot state image creation unit 35, a transmission unit 36, and a storage unit 37.

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２、センサ５３、制御部５４、および通信部５５を備える。
コントローラー６は、例えば、センサ６１、制御部６２、通信部６３、およびフィードバック手段６４を備える。 HMD5 is provided with the image display part 51, the line-of-sight detection part 52, the sensor 53, the control part 54, and the communication part 55, for example.
The controller 6 comprises, for example, a sensor 61 , a control section 62 , a communication section 63 and feedback means 64 .

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。 The environment sensor 7 includes, for example, an imaging device 71 , a sensor 72 , an object position detection section 73 and a communication section 74 .

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。 The robot remote control device 3 and the HMD 5 are connected via a wireless or wired network, for example. The robot remote control device 3 and the controller 6 are connected via a wireless or wired network, for example. The robot remote control device 3 and the environment sensor 7 are connected via a wireless or wired network, for example. The robot remote control device 3 and the robot 2 are connected via a wireless or wired network, for example. Note that the robot remote control device 3 and the HMD 5 may be directly connected without going through a network. The robot remote control device 3 and the controller 6 may be directly connected without going through a network. The robot remote control device 3 and the environment sensor 7 may be directly connected without going through a network. The robot remote control device 3 and the robot 2 may be directly connected without going through a network.

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動きや、頭の動き等を検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。 [Function example of robot remote control system]
Next, an example of functions of the robot remote control system will be described with reference to FIG.
The HMD 5 displays the robot state image received from the robot remote control device 3 . The HMD 5 detects the movement of the operator's line of sight, the movement of the head, and the like, and transmits the detected operator state information to the robot remote control device 3 .

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。 The image display unit 51 displays the state image of the robot received from the robot remote control device 3 under the control of the control unit 54 .

視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。 The line-of-sight detection unit 52 detects the line-of-sight of the operator and outputs the detected line-of-sight information (operator sensor value) to the control unit 54 .

センサ５３は、例えば、加速度センサ、ジャイロスコープ等であり、操作者の頭部の動きや傾きを検出し、検出した頭部動作情報（操作者センサ値）を制御部５４に出力する。 The sensor 53 is, for example, an acceleration sensor, a gyroscope, or the like, detects the movement or tilt of the operator's head, and outputs the detected head movement information (operator sensor value) to the control unit 54 .

制御部５４は、視線検出部５２が検出した視線情報と、センサ５３が検出した頭部動作情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。また、制御部５４は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を、画像表示部５１に表示させる。 The control unit 54 transmits line-of-sight information detected by the line-of-sight detection unit 52 and head movement information detected by the sensor 53 to the robot remote control device 3 via the communication unit 55 . Further, the control unit 54 causes the image display unit 51 to display the state image of the robot transmitted by the robot remote control device 3 .

通信部５５は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報と頭部動作情報をロボット遠隔操作制御装置３に送信する。 The communication unit 55 receives the robot state image transmitted by the robot remote control device 3 and outputs the received robot state image to the control unit 54 . The communication unit 55 transmits line-of-sight information and head motion information to the robot remote control device 3 under the control of the control unit 54 .

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した操作者状態情報をロボット遠隔操作制御装置３に送信する。 The controller 6 is, for example, a tactile data glove worn on the operator's hand. The controller 6 detects the orientation, the movement of each finger, and the movement of the hand using the sensor 61 , and transmits the detected operator state information to the robot remote control device 3 .

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値、操作者状態情報）を検出し、検出した操作者腕部情報を制御部６２に出力する。なお、操作者腕部情報には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。 The sensor 61 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, or the like. Note that the sensor 61, which includes a plurality of sensors, tracks the movement of each finger using, for example, two sensors. The sensor 61 detects operator arm information (operator sensor value, operator state information), which is information relating to the posture and position of the operator's arm, such as orientation, movement of each finger, and movement of the hand. The obtained operator arm information is output to the control unit 62 . The operator arm information includes information on the entire human arm, such as hand position/orientation information, finger angle information, elbow position/orientation information, and movement tracking information.

制御部６２は、操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。 The control unit 62 transmits operator arm information to the robot remote control device 3 via the communication unit 63 . The controller 62 controls the feedback means 64 based on the feedback information.

通信部６３は、制御部６２の制御に応じて、視線情報と操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。 The communication unit 63 transmits line-of-sight information and operator arm information to the robot remote control device 3 under the control of the control unit 62 . The communication unit 63 acquires the feedback information transmitted by the robot remote control device 3 and outputs the acquired feedback information to the control unit 62 .

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。 The feedback means 64 feeds back feedback information to the operator under the control of the control section 62 . According to the feedback information, the feedback means 64 includes, for example, means for applying vibration (not shown), means for applying air pressure (not shown), and means for restraining hand movement (not shown) attached to the grip part 222 of the robot 2. (not shown), means for feeling temperature (not shown), means for feeling hardness or softness (not shown), or the like is used to feed back sensations to the operator.

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、物体の位置情報（環境センサ値）と、撮影された画像（環境センサ値）と、検出されたセンサ値（環境センサ値）をロボット遠隔操作制御装置３に送信する。なお、環境センサ７は、モーションキャプチャ装置であってもよく、モーションキャプチャによって物体の位置情報を検出するようにしてもよい。または、物体に位置情報送信部を備えるＧＰＳ受信装置（不図示）が取り付けられていてもよい。この場合、ＧＰＳ受信装置は、位置情報をロボット遠隔操作制御装置３へ送信するようにしてもよい。 The environment sensor 7 is installed, for example, at a position where the work of the robot 2 can be photographed and detected. The environment sensor 7 may be provided in the robot 2 or may be attached to the robot 2 . Alternatively, a plurality of environment sensors 7 may be provided, and may be installed in the work environment and attached to the robot 2 as shown in FIG. The environment sensor 7 transmits the object position information (environment sensor value), the captured image (environment sensor value), and the detected sensor value (environment sensor value) to the robot remote control device 3 . The environment sensor 7 may be a motion capture device, and may detect the position information of an object by motion capture. Alternatively, a GPS receiver (not shown) having a position information transmitter may be attached to the object. In this case, the GPS receiver may transmit position information to the robot remote control device 3 .

撮影装置７１は、例えばＲＧＢカメラである。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。 The imaging device 71 is, for example, an RGB camera. In addition, in the environment sensor 7, the positional relationship between the imaging device 71 and the sensor 72 is known.

センサ７２は、例えば深度センサである。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。 Sensor 72 is, for example, a depth sensor. Note that the imaging device 71 and the sensor 72 may be distance sensors.

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。 The object position detection unit 73 detects the three-dimensional position, size, shape, etc. of the target object in the photographed image by a well-known method based on the photographed image and the detection result detected by the sensor. The object position detection unit 73 refers to the pattern matching model or the like stored in the object position detection unit 73, and performs image processing (edge detection, binarization processing, feature amount extraction, image enhancement processing, image extraction, pattern matching processing, etc.) to estimate the position of the object. Note that when a plurality of objects are detected from the captured image, the object position detection unit 73 detects the position of each object. The object position detection unit 73 transmits the detected object position information (environmental sensor value), the captured image (environmental sensor value), and the sensor value (environmental sensor value) to the robot remote control device 3 via the communication unit 74. Send to

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。通信部７４は、物体位置情報（環境センサ値）と撮影された画像（環境センサ値）と、センサ値（環境センサ値）とを、ロボット遠隔操作制御装置３に送信する。 The communication unit 74 transmits object position information to the robot remote control device 3 . The communication unit 74 transmits object position information (environmental sensor values), captured images (environmental sensor values), and sensor values (environmental sensor values) to the robot remote control device 3 .

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。 The behavior of the robot 2 is controlled according to the control of the control unit 21 when it is not remotely operated. When the robot 2 is remotely operated, the behavior of the robot 2 is controlled according to the grasping plan information generated by the robot remote control device 3 .

制御部２１は、ロボット遠隔操作制御装置３が出力する把持方法情報に基づいて駆動部２２を制御する。制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行う。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、記憶部２５が記憶する情報に基づいて、環境センサ７が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行う。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。制御部２１は、画像処理によって物体に関する情報（物体情報）を撮影された画像から抽出する。物体情報には、例えば、物体の名称、物体の位置等の情報が含まれている。制御部２１は、記憶部２５が記憶するプログラムと音声認識結果と画像処理結果に基づいて駆動部２２を制御する。制御部２１は、ロボット２の動作状態情報をロボット状態画像作成部３５に出力する。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。 The control unit 21 controls the driving unit 22 based on the grasping method information output by the robot remote control device 3 . The control unit 21 performs speech recognition processing (speech segment detection, sound source separation, sound source localization, noise suppression, sound source identification, etc.) on the acoustic signal collected by the sound collection unit 23 . If the result of voice recognition includes an action instruction for the robot, the control unit 21 may control the action of the robot 2 based on the action instruction by voice. Based on information stored in the storage unit 25, the control unit 21 performs image processing (edge detection, binarization processing, feature amount extraction, image enhancement processing, image extraction, pattern matching, etc.) on the image captured by the environment sensor 7. processing, etc.). The data transmitted by the environment sensor 7 may be, for example, a point cloud having position information. The control unit 21 extracts information about the object (object information) from the captured image by image processing. The object information includes, for example, information such as the name of the object and the position of the object. The control unit 21 controls the driving unit 22 based on the program stored in the storage unit 25, the speech recognition result, and the image processing result. The control unit 21 outputs the operating state information of the robot 2 to the robot state image creating unit 35 . The control unit 21 generates feedback information and transmits the generated feedback information to the controller 6 via the robot remote control device 3 .

駆動部２２は、制御部２１の制御に応じてロボット２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。 The driving section 22 drives each section (arms, fingers, legs, head, torso, waist, etc.) of the robot 2 under the control of the control section 21 . The drive unit 22 includes, for example, actuators, gears, artificial muscles, and the like.

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。 The sound pickup unit 23 is, for example, a microphone array including a plurality of microphones. The sound pickup unit 23 outputs the collected sound signal to the control unit 21 . The sound pickup unit 23 may have a speech recognition processing function. In this case, the sound pickup unit 23 outputs the speech recognition result to the control unit 21 .

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。 The storage unit 25 stores, for example, programs, thresholds, and the like used for control by the control unit 21 . Note that the storage unit 37 may also serve as the storage unit 25 . Alternatively, the storage unit 37 may also serve as the storage unit 25 .

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。 A power supply 26 supplies power to each part of the robot 2 . Power source 26 may comprise, for example, a rechargeable battery or charging circuit.

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、把持方法決定部３４、ロボット状態画像作成部３５に出力する。 The sensor 27 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, each joint encoder, or the like. The sensor 27 is attached to each joint, head, etc. of the robot 2 . The sensor 27 outputs the detected result to the control unit 21 , the intention estimation unit 33 , the gripping method determination unit 34 , and the robot state image creation unit 35 .

情報取得部３１は、ＨＭＤ５から視線情報と頭部動作情報を取得し、コントローラー６から操作者腕部情報を取得し、環境センサ７から環境センサ値（物体位置情報とセンサ値と画像）とを取得し、取得した操作者状態情報を意図推定部３３、ロボット状態画像作成部３５に出力する。 The information acquisition unit 31 acquires line-of-sight information and head motion information from the HMD 5, acquires operator arm information from the controller 6, and acquires environment sensor values (object position information, sensor values, and images) from the environment sensor 7. It acquires and outputs the acquired operator state information to the intention estimation unit 33 and the robot state image creation unit 35 .

意図推定部３３は、情報取得部３１が取得した情報に基づいて、操作者の動作意図を推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。なお、操作者の動作意図については後述する。 The intention estimation unit 33 estimates the operator's motion intention based on the information acquired by the information acquisition unit 31 . Note that the intention estimation unit 33 estimates the operator's motion intention using at least one of line-of-sight information, operator arm information, and head motion information. Note that the intention estimation unit 33 may also estimate the intention using the environmental sensor value. Note that the operator's action intention will be described later.

把持方法決定部３４は、意図推定部３３が推定した動作意図と、センサ２７が検出した検出結果、撮影装置７１が撮影した画像を画像処理した結果に基づいて、物体の把持方法を決定する。把持方法決定部３４は、決定した把持方法情報を制御部２１に出力する。 The gripping method determining unit 34 determines the method of gripping the object based on the motion intention estimated by the intention estimating unit 33, the detection result detected by the sensor 27, and the image processing result of the image captured by the imaging device 71. The gripping method determination unit 34 outputs the determined gripping method information to the control unit 21 .

ロボット状態画像作成部３５は、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化、特徴量抽出、画像強調、画像抽出、クラスタリング処理等）を行う。ロボット状態画像作成部３５は、把持方法決定部３４が推定した把持方法情報と、画像処理結果と、制御部２１が出力するロボット２の動作状態情報等に基づいて、ロボット２の手の位置や動きを推定し、操作者の手の動きを推定し、推定した結果に基づいてＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、エラー情報とのシステムの状態を示すシステム状態情報が含まれていてもよい。 The robot state image creating unit 35 performs image processing (edge detection, binarization, feature amount extraction, image enhancement, image extraction, clustering processing, etc.) on the image captured by the imaging device 71 . The robot state image creation unit 35 determines the position of the hand of the robot 2 and the position of the robot 2 based on the gripping method information estimated by the gripping method determination unit 34, the image processing result, and the operating state information of the robot 2 output by the control unit 21. A motion is estimated, a motion of the operator's hand is estimated, and a robot state image to be displayed on the HMD 5 is created based on the estimated result. The robot state image may include system state information indicating the state of the system, such as information about the processing that the robot remote control device 3 is about to perform and error information.

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。 The transmission unit 36 transmits the robot state image created by the robot state image creation unit 35 to the HMD 5 . The transmission unit 36 acquires feedback information output by the robot 2 and transmits the acquired feedback information to the controller 6 .

記憶部３７は、意図推定部３３が推定の際に用いるテンプレート、推定に用いられる学習済みのモデル等を記憶している。また、記憶部３７は、音声認識結果、画像処理結果、把持方法情報等を一時的に記憶する。記憶部３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。 The storage unit 37 stores a template used by the intention estimation unit 33 for estimation, a trained model used for estimation, and the like. In addition, the storage unit 37 temporarily stores voice recognition results, image processing results, gripping method information, and the like. The storage unit 37 stores model images to be compared in pattern matching processing of image processing.

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。 [Example of state in which the operator wears HMD 5 and controller 6]
Next, a state example in which the operator wears the HMD 5 and the controller 6 will be described.
FIG. 3 is a diagram showing an example of a state in which an operator wears the HMD 5 and the controller 6. As shown in FIG. In the example of FIG. 3, the operator Us wears the controller 6a on his left hand, the controller 6b on his right hand, and the HMD 5 on his head. Note that the HMD 5 and the controller 6 shown in FIG. 3 are examples, and the mounting method, shape, and the like are not limited to these.

［操作者状態情報］
次に、情報取得部３１が取得する操作者状態情報について、さらに説明する。
操作者状態情報は、操作者の状態を表す情報である。操作者状態情報には、操作者の視線情報、操作者の指の動きと位置の情報、操作者の手の動きと位置の情報が含まれている。
操作者の視線情報は、ＨＭＤ５が検出する。
操作者の指の動きと位置の情報、操作者の手の動きと位置の情報は、コントローラー６が検出する。 [Operator status information]
Next, the operator status information acquired by the information acquisition section 31 will be further described.
The operator state information is information representing the state of the operator. The operator state information includes operator's line-of-sight information, operator's finger movement and position information, and operator's hand movement and position information.
HMD5 detects an operator's line-of-sight information.
Information on the movement and position of the operator's finger and information on the movement and position of the operator's hand are detected by the controller 6 .

［意図推定部３３が推定する情報例］
次に、意図推定部３３が推定する情報例を説明する。
意図推定部３３は、取得した操作者状態情報に基づいて、操作者の動作意図を推定する。操作者の動作意図とは、例えば、ロボット２に行わせたい作業目的、ロボット２に行わせたい作業内容、時刻毎の手や指の動き等である。意図推定部３３は、コントローラー６の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット２の把持部２２２含むアームの姿勢を分類する。意図推定部３３は、分類結果に基づいて、操作者がロボットに行わせたい動作意図を推定する。意図推定部３３は、例えば、物体の持ち方、把持させたい物体を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。 [Example of information estimated by the intention estimation unit 33]
Next, an example of information estimated by the intention estimation unit 33 will be described.
The intention estimation unit 33 estimates the operator's motion intention based on the acquired operator state information. The operator's action intention is, for example, the purpose of the work that the robot 2 is to perform, the content of the work that the robot 2 is to perform, the movements of the hands and fingers at each time, and the like. The intention estimation unit 33 classifies the postures of the arms of the robot 2 including the gripping unit 222 by classifying the postures of the arms of the operator based on the operator sensor values of the controller 6 . The intention estimation unit 33 estimates the intention of the action that the operator wants the robot to perform based on the classification result. The intention estimation unit 33 estimates, for example, how to hold an object and an object to be gripped as the motion intention of the operator. The work purpose is, for example, gripping an object, moving an object, or the like. The contents of the work include, for example, gripping and lifting an object, gripping and moving an object, and the like.

意図推定部３３は、例えば、グラスプタクソノミー（ＧＲＡＳＰＴａｘｏｎｏｍｙ）手法（例えば参考文献１参照）によって、操作者の動作意図を推定する。
本実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット２の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。意図推定部３３は、例えば、記憶部３７が記憶する学習済みのモデルに操作者状態情報を入力して、操作者の動作意図を推定する。本実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。 The intention estimation unit 33 estimates the operator's motion intention by, for example, a GRASP Taxonomy method (see Reference 1, for example).
In this embodiment, the operator's state is classified by classifying the posture of the operator or the robot 2, ie, the gripping posture, by using the grasp taxonomy method, for example, and the motion intention of the operator is estimated. The intention estimation unit 33, for example, inputs the operator state information to the learned model stored in the storage unit 37, and estimates the operator's action intention. In this embodiment, it is possible to accurately estimate the motion intention of the operator by estimating the intention based on the classification of the gripping posture. It should be noted that another method may be used for classifying the gripping postures.

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77 Reference 1; Thomas Feix, Javier Romero, et al., “The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems (Volume: 46, Issue: 1, Feb. 2016), IEEE, p66-77

また、意図推定部３３は、視線と腕部の動きを用いて統合的に推定するようにしてもよい。この場合、意図推定部３３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。 In addition, the intention estimating unit 33 may make an integral estimation using the line of sight and the movement of the arm. In this case, the intention estimating unit 33 may input line-of-sight information, hand movement information, and position information of an object on the table into a trained model to estimate the operator's action intention.

意図推定部３３は、例えば、操作者状態情報に基づいて。まず把持させた物体を推定する。意図推定部３３は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部３３は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。 The intention estimation part 33 is based on operator state information, for example. First, the grasped object is estimated. The intention estimation unit 33 estimates the gripped object, for example, based on the line-of-sight information. Next, the intention estimation unit 33 estimates the posture of the hand of the operator based on the estimated object to be gripped.

または、意図推定部３３は、例えば、操作者状態情報に基づいて、まず操作者の手の姿勢を推定する。次に、意図推定部３３は、推定した操作者の手の姿勢から、把持したい物体を推定する。例えば、テーブル上に３つの物体が置かれている場合、意図推定部３３は、手の姿勢に基づいて、３つのうちのどの物体が把持候補であるかを推定する。 Alternatively, the intention estimation unit 33 first estimates the posture of the hand of the operator, for example, based on the operator state information. Next, the intention estimation unit 33 estimates an object that the operator wants to grip from the estimated posture of the hand of the operator. For example, when three objects are placed on the table, the intention estimation unit 33 estimates which of the three objects is a gripping candidate based on the hand posture.

また、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定するようにしてもよい。 Further, the intention estimation unit 33 may estimate in advance the future trajectory of the hand intended by the operator based on the operator state information and the state information of the robot 2 .

なお、意図推定部３３は、センサ２７が検出した検出結果、環境センサ７が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。 The intention estimating unit 33 may also use the results of detection by the sensor 27 and the results of image processing of the image captured by the environment sensor 7 to estimate the object to be grasped and the position of the object.

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。 Further, since the coordinate system differs between the environment operated by the operator and the operating environment of the robot, for example, the operating environment of the operator and the operating environment of the robot may be calibrated when the robot 2 is activated.

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。 When gripping, the robot remote control device 3 determines the gripping position based on the gripping force of the robot 2, the frictional force between the object and the gripping part, etc., and considering the error of the gripping position at the time of gripping. You may make it

［ロボット２とロボット遠隔操作制御装置３の処理例］
次に、ロボット２とロボット遠隔操作制御装置３の処理例を説明する。
図４は、本実施形態に係るロボット２とロボット遠隔操作制御装置３の処理手順例を示す図である。 [Processing example of robot 2 and robot remote control device 3]
Next, a processing example of the robot 2 and the robot remote control device 3 will be described.
FIG. 4 is a diagram showing a processing procedure example of the robot 2 and the robot remote control device 3 according to this embodiment.

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報（操作者センサ値）と頭部動作情報（操作者センサ値）を取得し、コントローラー６から操作者腕部情報（操作者センサ値）を取得する。 (Step S1) The information acquisition unit 31 acquires line-of-sight information (operator sensor value) and head movement information (operator sensor value) from the HMD 5, and acquires operator arm information (operator sensor value) from the controller 6. get.

（ステップＳ２）情報取得部３１は、環境センサ７から環境センサ値を取得する。 (Step S<b>2 ) The information acquisition unit 31 acquires an environment sensor value from the environment sensor 7 .

（ステップＳ３）意図推定部３３は、取得した操作者センサ値に基づいて、例えば、作業内容、把持したい物体等を操作者の動作意図として推定する。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の意図を推定する。なお、意図推定部３３は、環境センサ値も用いて操作者の動作意図を推定するようにしてもよい。続けて、把持方法決定部３４は、推定結果に基づいて、ロボット２への遠隔動作指令を計算する。 (Step S3) Based on the acquired operator sensor values, the intention estimation unit 33 estimates, for example, the work content, the object to be grasped, etc. as the operator's motion intention. The intention estimation unit 33 estimates the operator's intention using at least one of line-of-sight information, operator arm information, and head motion information. Note that the intention estimation unit 33 may estimate the operator's action intention using the environmental sensor value as well. Subsequently, the gripping method determination unit 34 calculates a remote operation command to the robot 2 based on the estimation result.

（ステップＳ４）制御部２１は、ロボット遠隔操作制御装置３が計算した遠隔動作指令値に基づいて、安定把持のための駆動指令値を計算する。 (Step S4) The control unit 21 calculates a drive command value for stable grasping based on the remote operation command value calculated by the robot remote control device 3 .

（ステップＳ５）制御部２１は、駆動指令値によって駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。 (Step S5) The control section 21 controls the driving section 22 according to the drive command value to drive the grasping section of the robot 2 and the like. After the processing, the control unit 21 returns to the processing of step S1.

なお、図４に示した処理手順は一例であり、ロボット２、ロボット遠隔操作制御装置３は、上述した処理を並列に処理してもよい。 The processing procedure shown in FIG. 4 is an example, and the robot 2 and the robot remote control device 3 may process the above-described processing in parallel.

［推定結果、作業情報］
次に、推定結果、作業情報の一例を図５～図７を用いて説明する。
図５は、テーブルの上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていて、操作者がロボット２に左手で物体ｏｂｊ３を把持させようとしている状態例を示す図である。
このような場合、ロボット遠隔操作制御装置３は、操作者がロボット２に把持させたい物体が、物体ｏｂｊ１～ｏｂｊ３のうちのいずれかであるかを推定する必要がある。なお、ロボット遠隔操作制御装置３は、操作者が右手で把持しようとしているのか、左手で把持しようとしているのかを推定する必要がある。 [Estimated result, work information]
Next, examples of estimation results and work information will be described with reference to FIGS. 5 to 7. FIG.
FIG. 5 is a diagram showing a state example in which three objects obj1 to obj3 are placed on the table and the operator is causing the robot 2 to grasp the object obj3 with his left hand.
In such a case, the robot remote control device 3 needs to estimate whether the object that the operator wants the robot 2 to grip is one of the objects obj1 to obj3. It should be noted that the robot remote control device 3 needs to estimate whether the operator is trying to grasp with the right hand or with the left hand.

ここで、予め操作者の動作意図の推定が必要な理由を説明する。
遠隔操作の場合、操作者がＨＭＤ５で見ている世界は自分の目で見ている実世界とは異なる。また、操作者がコントローラー６を介して操作指示しても、実際に物体を把持しているのでないので、やはり実世界での状況認識とは異なる。さらに、操作者の指示とロボット２の動作との間には、通信時間や演算時間等によってディレイが発生する。また、操作者とロボットの（主に手の）物理的な構造の違いにより、特に操作者自身が把持可能な指の動きを指令し、ロボットが正確にトレースしたとしても、実際にロボットが把持可能とは限らない。これを解消するために、本実施形態では、操作者の動作意図を推定し、操作者の動作をロボットにとっての適切な動作に変換するようにした。 Here, the reason why it is necessary to estimate the operator's motion intention in advance will be described.
In the case of remote control, the world seen by the operator with the HMD 5 is different from the real world seen with his/her own eyes. Moreover, even if the operator gives an operation instruction via the controller 6, the operator does not actually hold the object, so this is also different from situation recognition in the real world. Furthermore, a delay occurs between the operator's instruction and the action of the robot 2 due to communication time, calculation time, and the like. In addition, due to the difference in the physical structure (mainly the hand) of the operator and the robot, even if the operator himself commands the finger movements that can be grasped and the robot traces them accurately, the actual grasping by the robot may be difficult. Not always possible. In order to solve this problem, in this embodiment, the operator's motion intention is estimated, and the operator's motion is converted into a suitable motion for the robot.

このように、従来システムによる遠隔操作では、実世界の状況の認識が難しく、上手く物体をピックできなかった。従来システムによる遠隔操作では、例えば、操作者が徐々に物体にロボット２の把持部２２ａを近づけて、正確な位置合わせを行って把持させる必要があった。 In this way, it was difficult to recognize the situation in the real world with remote control using conventional systems, and it was not possible to pick objects well. In the remote control by the conventional system, for example, it was necessary for the operator to gradually bring the grasping part 22a of the robot 2 closer to the object, perform accurate positioning, and grasp the object.

これに対して、本実施形態では、操作者の動作意図を推定して、推定した結果に基づいてロボット２の動作を制御することで、操作者が正確な位置合わせしなくても、物体のピックの実現を可能にする。 On the other hand, in the present embodiment, by estimating the motion intention of the operator and controlling the motion of the robot 2 based on the estimated result, the object can be positioned even if the operator does not perform accurate positioning. Enable pick realization.

次に、意図推定処理と補正等の処理例を説明する。
図６は、本実施形態に係るロボット遠隔操作制御装置３の処理例のフローチャートである。 Next, an example of processing such as intention estimation processing and correction will be described.
FIG. 6 is a flowchart of a processing example of the robot remote control device 3 according to this embodiment.

（ステップＳ１０１）意図推定部３３は、取得された環境センサ値を用いて、例えばテーブル上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていることを認識する等の環境認識を行う。 (Step S101) The intention estimation unit 33 uses the acquired environment sensor values to perform environment recognition such as recognizing that three objects obj1 to obj3 are placed on a table.

操作者がロボット２を遠隔操作して物体ｏｂｊ３を把持させようとした場合、一般的に操作者は把持させたい物体の方に視線を向ける。このため、意図推定部３３は、ＨＭＤ５から取得された操作者状態情報に含まれる視線情報に基づいて、対象物体が物体ｏｂｊ３であると推定する。なお、意図推定部３３は、操作者状態情報に含まれる頭部の向きや傾き情報も用いて推定するようにしてもよい。なお、意図推定部３３は、物体が複数有る場合、物体毎に対象物体である確率（リーチオブジェクト確率）を算出する。なお、意図推定部３３は、例えば、視線情報、推定した対象物体とロボット２の把持部との距離、コントローラー６の位置と動き（軌跡）等に基づいて確率を算出する。 When the operator remotely operates the robot 2 to grip the object obj3, the operator generally turns his or her line of sight toward the object to be gripped. Therefore, the intention estimation unit 33 estimates that the target object is the object obj3 based on the line-of-sight information included in the operator state information acquired from the HMD 5 . Note that the intention estimating unit 33 may also perform estimation using information on the direction and inclination of the head included in the operator state information. Note that, when there are a plurality of objects, the intention estimation unit 33 calculates the probability that each object is the target object (reach object probability). Note that the intention estimation unit 33 calculates the probability based on, for example, line-of-sight information, the estimated distance between the target object and the gripping unit of the robot 2, the position and movement (trajectory) of the controller 6, and the like.

（ステップＳ１０２）意図推定部３３は、取得された操作者状態情報に含まれる腕部の位置や動き（手の位置、手の動き（軌跡）、指の位置、指の動き（軌跡）、腕の位置、腕の動き（軌跡））、頭部の位置や動きを記憶部３７が記憶するテンプレートと比較して動作を分類することで、左手で物体ｏｂｊ３を把持させようとしていると操作者の動作意図と持ち方（把持方法）を推定する。例えば、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶するテンプレートを参照して決定する。なお、把持方法決定部３４は、把持方法を、例えば記憶部３７が記憶する学習済みのモデルに入力して選択するようにしてもよい。なお、意図推定部３３は、視線情報、操作者腕部情報、および頭部動作情報のうちの少なくとも１つを用いて操作者の動作意図を推定する。なお、意図推定部３３は、環境センサ値も用いて意図推定するようにしてもよい。 (Step S102) The intention estimating unit 33 determines the position and movement of the arm (hand position, hand movement (trajectory), finger position, finger movement (trajectory), arm movement) included in the acquired operator state information. position, arm motion (trajectory)), and the position and motion of the head are compared with templates stored in the storage unit 37 to classify the motion. Estimates the intention of movement and the way of holding (grasping method). For example, the gripping method determining unit 34 determines the gripping method by referring to a template stored in the storage unit 37, for example. Note that the gripping method determination unit 34 may select a gripping method by inputting it into a learned model stored in the storage unit 37, for example. Note that the intention estimation unit 33 estimates the operator's motion intention using at least one of line-of-sight information, operator arm information, and head motion information. Note that the intention estimation unit 33 may also estimate the intention using the environmental sensor value.

（ステップＳ１０３）把持方法決定部３４は、推定した操作者の動作意図に基づいたロボット２の保持方法を決定する。
（ステップＳ１０４）把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を算出する。記憶部３７は、例えば、指示をしてから駆動部２２の動作までにかかる時間が予め測定された遅延時間等を記憶しておく。把持方法決定部３４は、例えば記憶部３７が記憶する遅延時間を用いてズレ量を算出する。続けて、把持方法決定部３４は、操作者の手と指の位置と、ロボットの把持部の位置とのズレ量を補正する。把持方法決定部３４は、ロボット制御のサンプリング時間に基づく今回の動作目標値を算出する。 (Step S103) The gripping method determination unit 34 determines a gripping method for the robot 2 based on the estimated motion intention of the operator.
(Step S104) The gripping method determining unit 34 calculates the amount of deviation between the positions of the operator's hands and fingers and the position of the gripping unit of the robot. The storage unit 37 stores, for example, a delay time or the like, which is the time required from the instruction to the operation of the driving unit 22, which is measured in advance. The gripping method determining unit 34 calculates the amount of deviation using the delay time stored in the storage unit 37, for example. Subsequently, the gripping method determination unit 34 corrects the amount of deviation between the positions of the operator's hands and fingers and the position of the gripping unit of the robot. The gripping method determining unit 34 calculates the current motion target value based on the sampling time of the robot control.

（ステップＳ１０６）ロボット状態画像作成部３５は、意図推定部３３が認識した結果と推定した結果と、把持方法決定部３４が算出した結果とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。なお、ロボット状態画像には、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態情報等も含まれている。 (Step S106) The robot state image creation unit 35 creates a robot state image to be displayed on the HMD 5 based on the result of recognition and estimation by the intention estimation unit 33 and the result of calculation by the gripping method determination unit 34. . The robot state image also includes information about the processing that the robot remote control device 3 is about to perform, system state information, and the like.

図７は、本実施形態に係るＨＭＤ５に表示されるロボット状態画像例を示す図である。
画像ｇ１１～ｇ１３は、テーブル上に置かれている物体ｏｂｊ１～ｏｂｊ３に対応する。この場合のリーチオブジェクト確率は、画像ｇ１１が０．０７７、画像ｇ１２が０．２３０、画像ｇ１３が０．６９３であったとする。
画像ｇ２１は、ロボット２の把持部の実際の位置を表す。
画像ｇ２２は、操作者のコントローラー６によって入力された位置を表す。
画像ｇ２３は、補正されたロボット２の把持部の指令位置を表す。 FIG. 7 is a diagram showing an example of a robot state image displayed on the HMD 5 according to this embodiment.
Images g11 to g13 correspond to objects obj1 to obj3 placed on the table. Assume that the reach object probability in this case is 0.077 for the image g11, 0.230 for the image g12, and 0.693 for the image g13.
Image g21 represents the actual position of the gripper of robot 2 .
Image g22 represents the position input by the operator's controller 6. FIG.
An image g23 represents the commanded position of the gripper of the robot 2 that has been corrected.

なお、図７において、ロボット２の把持部の形状データ（例えばＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｅｓｉｇｎ）データ）等を記憶部３７が記憶している。ロボット状態画像作成部３５は、このロボット２の把持部の形状データ等を用いて、ロボット２の把持部等の画像を生成する。また、ロボット状態画像作成部３５は、図７のようなロボット状態画像を、例えばＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）の手法等を用いて作成する。 In FIG. 7, the storage unit 37 stores shape data (for example, CAD (Computer Aided Design) data) of the gripping portion of the robot 2 and the like. The robot state image creation unit 35 uses the shape data of the gripping portion of the robot 2 and the like to generate an image of the gripping portion of the robot 2 and the like. Further, the robot state image creating unit 35 creates a robot state image such as that shown in FIG. 7 by using, for example, SLAM (Simultaneous Localization and Mapping).

操作者は、このように、実際のロボット２の把持部の位置（画像ｇ２１）、自分が入力している位置（画像ｇ２２）、補正されたロボット２の把持部の位置（画像ｇ２３）を目視できるので、操作者への補助になる。そして、本実施形態では、操作者意図に基づいたロボットの動作補正を行い、例えば視覚情報としてロボット遠隔操作制御装置３が行おうとしている処理を操作者に提示するようにしたので、遠隔操作をスムーズに行うことができる。これにより、本実施形態によれば、ロボットの把持部の実際の位置と操作者の状態に基づいて、把持部の位置情報を補正するので、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。 Thus, the operator visually sees the actual position of the gripping portion of the robot 2 (image g21), the position that he is inputting (image g22), and the corrected position of the gripping portion of the robot 2 (image g23). Since it can be done, it becomes an assistant to the operator. In this embodiment, the motion of the robot is corrected based on the intention of the operator, and the processing that the robot remote control device 3 is going to perform is presented to the operator as visual information, for example. can be done smoothly. As a result, according to this embodiment, the position information of the gripping portion is corrected based on the actual position of the gripping portion of the robot and the state of the operator. pickup can be realized.

このように、本実施形態では、遠隔操作のために、以下のＩ～Ｖを行うようにした。
Ｉ．物体の認識
ＩＩ．意図推定（例えば、視線と操作者の手先軌道から把持物体とタクソノミー推定）
ＩＩＩ．動作補正（例えば、ロボットの手先軌道を把持可能な位置に補正、把持方法の選択）
ＩＶ．安定把持（選択された把持方法で安定して把持させるための把持部の制御）
Ｖ．ロボットモデル、認識結果、ロボット遠隔操作制御装置３が行おうとしている処理に関する情報、システムの状態に関する情報等をＨＭＤで提示 Thus, in this embodiment, the following I to V are performed for remote control.
I. Object Recognition II. Intention estimation (e.g. grasped object and taxonomy estimation from line of sight and operator's hand trajectory)
III. Correction of motion (for example, correcting the trajectory of the robot's hand to a grippable position, selecting gripping method)
IV. Stable gripping (control of the gripping part for stable gripping with the selected gripping method)
V. The robot model, recognition results, information about the processing that the robot remote control device 3 is about to perform, information about the system status, etc. are presented on the HMD.

ここで、動作補正について、更に説明する。
把持方法決定部３４は、選択された動作の分類と物体形状、推定される物体の摩擦や重量などの物理パラメータ、ロボット２の出力可能なトルクなどの制約条件から、例えば物体を落とさず安定的に把持可能なロボット２の手指の物体に対する接触点を求める。そして、把持方法決定部３４は、例えば、これらから計算される関節角度を目標値として補正動作とする。 Here, motion correction will be further described.
The gripping method determination unit 34 selects the classification of the selected motion, the shape of the object, physical parameters such as estimated friction and weight of the object, and constraint conditions such as the torque that the robot 2 can output. , the contact point of the fingers of the robot 2 that can be grasped on the object is determined. Then, the gripping method determining unit 34 performs a correction operation using, for example, the joint angles calculated from these as target values.

次に、安定把持について説明する。
把持方法決定部３４は、目標値に従って動作した場合に、例えば、目標値・パラメータ推定値とロボット２のセンサ２７から観測される値との誤差をなくすように手指の関節角度やトルクなどをリアルタイムに制御する。これにより、本実施形態によれば、落とさずに安定的・持続的に把持可能となる。 Next, stable grasping will be described.
The gripping method determining unit 34, when operating according to the target values, for example, adjusts the joint angles and torques of the fingers in real time so as to eliminate errors between the target values/parameter estimated values and the values observed by the sensors 27 of the robot 2. to control. As a result, according to the present embodiment, it is possible to stably and continuously hold the object without dropping it.

これにより、本実施形態によれば、操作者が正確な位置合わせしなくても対象物体のピックアップを実現することができる。この結果、本実施形態によれば、ロボット２の操作に習熟していない利用者であっても、高い精度でロボットに作業を行わせることができる。 As a result, according to the present embodiment, the target object can be picked up even if the operator does not perform accurate positioning. As a result, according to this embodiment, even a user who is not proficient in operating the robot 2 can cause the robot to perform the work with high accuracy.

なお、上述した例では、ロボット遠隔操作制御装置３をロボット２が備えている例を説明したが、これに限らない。ロボット遠隔操作制御装置３は、ロボット２が備えていなくてもよく、ロボット２の外部装置であってもよい。この場合、ロボット２とロボット遠隔操作制御装置３とは、各種情報を送受信するようにしてもよい。あるいは、ロボット２がロボット遠隔操作制御装置３の一部の機能部を備え、他の機能部を外部装置が備えていてもよい。 In the above example, the robot 2 is equipped with the robot remote control device 3, but the present invention is not limited to this. The robot remote control device 3 may not be included in the robot 2 or may be an external device of the robot 2 . In this case, the robot 2 and the robot remote control device 3 may transmit and receive various information. Alternatively, the robot 2 may have some of the functional units of the robot remote control device 3 and the other functional units may be provided by an external device.

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。 Further, the above-described robot 2 may be, for example, a bipedal walking robot, a stationary reception robot, or a working robot.

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。例えば、ロボット２が二足歩行ロボットの場合、操作者が足にコンロトーラーを装着することで、ロボット２の歩行等を遠隔操作してもよい。この場合、ロボット２は、例えば、障害物などの物体情報を画像処理によって検出し、操作者がこの障害物を避けて歩行するように遠隔操作するようにしてもよい。 Also, in the above-described example, an example in which the robot 2 is caused to grip by remote control has been described, but the present invention is not limited to this. For example, if the robot 2 is a bipedal walking robot, the operator may remotely control walking of the robot 2 by attaching controllers to the legs. In this case, the robot 2 may, for example, detect object information such as an obstacle by image processing, and the operator may remotely operate the robot 2 to avoid the obstacle and walk.

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。 Also, in the above example, an example in which the operator wears the HMD 5 has been described, but the present invention is not limited to this. Detection of line-of-sight information and provision of the robot state image to the operator may be performed by, for example, a combination of a sensor and an image display device.

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 In addition, a program for realizing all or part of the functions of the robot 2 and all or part of the functions of the robot remote control device 3 in the present invention is recorded on a computer-readable recording medium. All or part of the processing performed by the robot 2 and all or part of the processing performed by the robot remote control device 3 may be performed by loading the recorded program into the computer system and executing the program. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. In addition, the "computer system" shall include a system built on a local network, a system built on the cloud, and the like. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. In addition, "computer-readable recording medium" means a volatile memory (RAM) inside a computer system that acts as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. , includes those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、３１…情報取得部、３３…意図推定部、３４…把持方法決定部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５３…センサ、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部 DESCRIPTION OF SYMBOLS 1... Robot remote control system, 2... Robot, 3... Robot remote control device, 5... HMD, 6... Controller, 7... Environmental sensor, 21... Control part, 22... Drive part, 23... Sound pickup part, 25 Storage unit 26 Power supply 27 Sensor 31 Information acquisition unit 33 Intention estimation unit 34 Gripping method determination unit 35 Robot state image creation unit 36 Transmission unit 37 Storage unit 51 Image display unit 52 Line-of-sight detection unit 53 Sensor 54 Control unit 55 Communication unit 61 Sensor 62 Control unit 63 Communication unit 64 Feedback means 71 Photographing device 72 ... sensor, 73 ... object position detection unit, 74 ... communication unit

Claims

In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
an information acquisition unit that acquires operator state information about the state of an operator who operates the robot;
an intention estimation unit for estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
a gripping method determination unit that determines a gripping method for the object based on the estimated motion intention of the operator;
A robot remote control device comprising:

The intention estimating unit classifies the posture of the operator based on the operator state information, thereby determining the classification of the posture of the robot and estimating the motion intention of the operator.
The robot remote control device according to claim 1.

The intention estimating unit estimates at least one of how to hold an object desired to be gripped and the object desired to be gripped based on the operator state information, thereby estimating the motion intention of the operator.
The robot remote control device according to claim 1.

The intention estimation unit estimates an object desired to be gripped based on the operator state information, and estimates a way of holding the object desired to be gripped related to the estimated object, thereby estimating the action intention of the operator. presume,
The robot remote control device according to claim 1.

The intention estimation unit estimates a gripping manner of the object desired to be gripped based on the operator state information, and estimates the object desired to be gripped based on the estimated gripping manner of the object desired to be gripped. , estimating the motion intention of the operator;
The robot remote control device according to claim 1.

The operator state information is at least one of the operator's sight line information, the operator's arm movement information, and the operator's head movement information.
The robot remote control device according to any one of claims 1 to 5.

The information acquisition unit acquires position information of the object,
The gripping method determination unit estimates an object to be gripped and a gripping method of the object using the acquired position information of the object.
The robot remote control device according to any one of claims 1 to 6.

The gripping method determining unit acquires position information of a gripping unit provided in the robot, and corrects the positional information of the gripping unit based on operator state information.
The robot remote control device according to any one of claims 1 to 7.

further comprising a robot state image creation unit,
The intention estimating unit acquires information about the object based on an image captured by an imaging device,
The robot state image creation unit creates an image to be provided to the operator based on the information about the object, the position information of the gripping unit, the operator state information, and the corrected position information of the gripping unit. generate,
The robot remote control device according to claim 8.

a gripping portion that grips the object;
a detection unit that detects positional information of the gripping unit;
a robot comprising a
The robot remote control device according to any one of claims 1 to 9;
an environment sensor that detects position information of the object;
a sensor that detects operator state information about the state of an operator who operates the robot;
A robot remote control system.

In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
An information acquisition unit acquires operator state information of a state of an operator who operates the robot,
an intention estimating unit estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
a gripping method determination unit determining a gripping method for the object based on the estimated motion intention of the operator;
Robot remote control method.

In robot remote operation control in which an operator remotely operates a robot that can grasp an object,
to the computer,
acquiring operator state information of the state of an operator who operates the robot;
estimating the intention of the action that the operator intends the robot to perform based on the operator state information;
determining a gripping method for the object based on the estimated motion intention of the operator;
program.