JP2022157127A

JP2022157127A - Robot remote operation control device, robot remote operation control system, robot remote operation control method and program

Info

Publication number: JP2022157127A
Application number: JP2021061180A
Authority: JP
Inventors: 直希細見; Naoki Hosomi; コンダパッレィアニルドレッディ; Reddy Kondapally Anirudh; 七海塚本; Nanami TSUKAMOTO
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2022-10-14

Abstract

To provide a robot remote operation control device, a robot remote operation control system, a robot remote operation control method and a program which can estimate an object which is operated by an operator with good accuracy.SOLUTION: A robot remote operation control device, which performs robot remote operation control by which motion of an operator is recognized and the motion of the operator is transmitted to a robot to operate the robot, comprises: an information obtaining part that obtains an environment sensor value obtained by an environment sensor installed in the robot or in an environment around the robot and an operator sensor value for sensing the motion of the operator; and an intention estimating part that estimates an intention of the operator based on a probability distribution calculated from a point of gaze of the operator in a robot world and a track of the hand of the operator in the robot world, from the environment sensor value and the operator sensor value.SELECTED DRAWING: Figure 2

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。 The present invention relates to a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a program.

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。 A control device has been proposed that allows a user to assist the operation of a robot. As such a control device, for example, a first information acquisition unit that acquires first user posture information indicating the posture of a first user who operates the robot, and a a second information acquiring unit for acquiring pre-change posture information indicating a pre-change posture which is the posture of the robot; A control device has been proposed that includes a determination unit that determines a target posture different from the posture of the first user as the posture of the robot based on the first user posture information acquired by the information acquisition unit (see Patent Document 1). ). The system described in Patent Literature 1 changes the posture of the robot to a posture that corresponds to the posture detected by the device worn by the operator.

遠隔操作で物体のピック&プレース（Ｐｉｃｋ＆Ｐｌａｃｅ）などを操作する際に、ロボットは、操作者が操作しようとしている対象物体を認識する必要がある。 When picking and placing an object by remote control, the robot needs to recognize the target object that the operator is trying to operate.

特許第６４７６３５８号Patent No. 6476358

しかしながら、従来技術では、遠隔操作で物体をＰｉｃｋ＆Ｐｌａｃｅなど操作する際に、操作者の体に装着したセンサから得られる時刻毎の情報からは、操作者がどの物体をＰｉｃｋ，Ｐｌａｃｅしようとしているのか直接推定できない。なお、センサは、例えば、視線、頭の回転、手の位置・角度などを取得するセンサである。また、従来技術では、視線のみや手の動きのセンサ値のみでの時系列推定では、（複雑環境下などで）推定が不安定になる。 However, in the prior art, when picking and placing an object by remote control, it is possible to directly determine which object the operator intends to pick and place based on the time-based information obtained from the sensor attached to the operator's body. Cannot be estimated. Note that the sensor is a sensor that acquires, for example, the line of sight, the rotation of the head, the position/angle of the hand, and the like. In addition, in the prior art, time-series estimation using only the sensor values of the line of sight or the movement of the hand results in unstable estimation (in a complex environment, etc.).

本発明は、上記の問題点に鑑みてなされたものであって、操作者の操作対象を精度良く推定することができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a robot remote operation control method that can accurately estimate an operator's operation target. The purpose is to provide a program.

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得する情報取得部と、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定する意図推定部と、を備える。 (1) In order to achieve the above objects, a robot remote operation control device according to an aspect of the present invention recognizes the movement of an operator and transmits the operator's movement to a robot to operate the robot. an information acquisition unit that acquires an environment sensor value obtained by the robot or an environment sensor installed in the surrounding environment of the robot and an operator sensor value that detects the operator's movement; and the environment sensor value an intention estimating unit for estimating the intention of the operator based on a probability distribution calculated from the gazing point of the operator in the robot world and the trajectory of the operator's hand in the robot world from the operator sensor value.

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、前記ロボット世界における前記操作者の注視点と操作候補の物体との間の距離と、前記ロボット世界における前記操作者の手の位置と前記物体との間の距離とに基づく確率分布であるようにしてもよい。 (2) Further, in the robot remote operation control device according to the aspect of the present invention, the probability distribution may be the distance between the operator's gaze point and the operation candidate object in the robot world, and The probability distribution may be based on the position of the operator's hand and the distance between the object.

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、ロボット世界における前記操作者の手の軌道に基づく確率分布であるようにしてもよい。 (3) Further, in the robot remote control device according to the aspect of the present invention, the probability distribution may be a probability distribution based on the trajectory of the operator's hand in the robot world.

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記確率分布は、ロボット世界における前記操作者の注視点と操作候補の物体とが重なった回数に基づく確率分布であるようにしてもよい。 (4) Further, in the robot remote control device according to the aspect of the present invention, the probability distribution is based on the number of times the operator's gaze point overlaps with the operation candidate object in the robot world. can be

（５）また、本発明の一態様に係るロボット遠隔操作装置において、前記意図推定部は、前記確率分布が複数の場合、前記環境センサ値と操作者センサ値に基づいて前記確率分布それぞれに重み付けして加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定するようにしてもよい。 (5) Further, in the robot remote control device according to the aspect of the present invention, when there are a plurality of probability distributions, the intention estimating unit weights each of the probability distributions based on the environment sensor value and the operator sensor value. The operator's intention may be estimated based on the calculated sum of the probability distributions.

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記確率分布が複数の場合、複数の前記確率分布を正規化した後に加算して総和を算出し、算出した前記確率分布の総和に基づいて前記操作者の意図を推定するようにしてもよい。 (6) In the robot remote control device according to the aspect of the present invention, when there are a plurality of probability distributions, the intention estimating unit normalizes the plurality of probability distributions and then adds them to calculate a total sum. , the intention of the operator may be estimated based on the sum of the calculated probability distributions.

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、を備える。 (7) In order to achieve the above objects, a robot remote control system according to an aspect of the present invention recognizes a motion of an operator and transmits the motion of the operator to a robot to operate the robot. wherein the robot remote control device according to any one of the above (1) to (6), a gripping unit for gripping an object, and a robot environment installed in the robot or in an environment surrounding the robot; An environment sensor that detects a sensor value, and an operator sensor that detects the movement of the operator as an operator sensor value.

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、情報取得部が、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得し、意図推定部が、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定する。 (8) In order to achieve the above objects, a robot remote control method according to an aspect of the present invention is a robot remote control method for recognizing a motion of an operator and transmitting the motion of the operator to a robot to operate the robot, An information acquisition unit acquires an environment sensor value obtained by the robot or an environment sensor installed in the environment surrounding the robot and an operator sensor value for detecting the operator's movement, and an intention estimation unit acquires and, from the environment sensor value and the operator sensor value, the operator's intention is estimated based on a probability distribution calculated from the operator's gazing point in the robot world and the trajectory of the operator's hand in the robot world.

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えてロボットを操作するロボット遠隔操作において、コンピュータに、前記ロボットまたは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値と、前記操作者の動きを検知する操作者センサ値と、を取得させ、前記環境センサ値と前記操作者センサ値から、ロボット世界における前記操作者の注視点とロボット世界における前記操作者の手の軌道から算出する確率分布に基づき前記操作者の意図を推定させる。 (9) In order to achieve the above object, a program according to an aspect of the present invention provides a program for remote control of a robot that recognizes a motion of an operator and transmits the motion of the operator to a robot to operate the robot. An environment sensor value obtained by a robot or an environment sensor installed in the surrounding environment of the robot and an operator sensor value for detecting the operator's movement are acquired, and the environment sensor value and the operator sensor value are acquired. , the intention of the operator is estimated based on the probability distribution calculated from the point of gaze of the operator in the robot world and the trajectory of the operator's hand in the robot world.

（１）～（９）によれば、視線と手の動きを用いて統合的に推論するので、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体を推定できる。 According to (1) to (9), an operation target object such as Pick, Place, etc. can be estimated with high performance, because an inference is made comprehensively using the line of sight and the movement of the hand.

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline|summary of the robot remote operation control system which concerns on embodiment, and the outline|summary of work. 実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。1 is a block diagram showing a configuration example of a robot remote control system according to an embodiment; FIG. ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。FIG. 4 is a diagram showing an example of a state in which an operator wears an HMD and a controller; 実施形態に係る意図推定処理の概要を示す図である。It is a figure which shows the outline|summary of the intention estimation process which concerns on embodiment. 実施形態に係るロボット遠隔操作制御装置が行う処理手順例のフローチャートである。4 is a flow chart of an example of a processing procedure performed by the robot remote control device according to the embodiment; 実施形態に係る意図推定結果例を示す図である。It is a figure which shows the intention estimation result example which concerns on embodiment.

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in the drawings used for the following description, the scale of each member is appropriately changed so that each member has a recognizable size.

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。ロボット２には環境センサ７ａが取り付けられ、作業環境にも環境センサ７ｂが設置されている。なお、環境センサ７は、ロボット２に取り付けられていてもよい。また、ロボット２は、把持部２２２（２２２ａ、２２２ｂ）を備える。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。本実施形態では、操作者の視線と手の動きを用いて統合的に推論することで、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体ｏｂｊを推定する。 [Overview]
First, an outline of work and processing performed by the robot remote control system will be described.
FIG. 1 is a diagram showing an outline of a robot remote control system 1 and an outline of work according to this embodiment. As shown in FIG. 1, the operator Us is wearing an HMD (head mounted display) 5 and a controller 6, for example. An environment sensor 7a is attached to the robot 2, and an environment sensor 7b is also installed in the working environment. Note that the environment sensor 7 may be attached to the robot 2 . The robot 2 also includes a gripper 222 (222a, 222b). The environment sensors 7 (7a, 7b) include, for example, an RGB camera and a depth sensor as described later. The operator Us remotely operates the robot 2 by moving the hand or fingers wearing the controller 6 while watching the image displayed on the HMD 5 . In the present embodiment, an operation target object obj such as a Pick or Place is estimated with high performance by comprehensively reasoning using the line of sight and hand motion of the operator.

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。 [Configuration example of robot remote control system]
Next, a configuration example of the robot remote control system 1 will be described.
FIG. 2 is a block diagram showing a configuration example of the robot remote control system 1 according to this embodiment. As shown in FIG. 2 , the robot remote control system 1 includes a robot 2 , a robot remote control device 3 , an HMD 5 , a controller 6 and an environment sensor 7 .

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。 The robot 2 includes, for example, a control unit 21, a drive unit 22, a sound pickup unit 23, a storage unit 25, a power supply 26, and a sensor 27.
The robot remote control device 3 includes, for example, an information acquisition unit 31, an intention estimation unit 33, a control command generation unit 34, a robot state image creation unit 35, a transmission unit 36, and a storage unit 37.

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。 HMD5 is provided with the image display part 51, the line-of-sight detection part 52 (operator sensor), the control part 54, and the communication part 55, for example. Note that the HMD 5 may include a sensor that detects, for example, the movement of the operator's line of sight.

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。 The controller 6 includes, for example, a sensor 61 (operator sensor), a control section 62, a communication section 63, and feedback means 64.

環境センサ７は、例えば、撮影装置７１、センサ７２、物体位置検出部７３、および通信部７４を備える。 The environment sensor 7 includes, for example, an imaging device 71 , a sensor 72 , an object position detection section 73 and a communication section 74 .

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。 The robot remote control device 3 and the HMD 5 are connected via a wireless or wired network, for example. The robot remote control device 3 and the controller 6 are connected via a wireless or wired network, for example. The robot remote control device 3 and the environment sensor 7 are connected via a wireless or wired network, for example. The robot remote control device 3 and the robot 2 are connected via a wireless or wired network, for example. Note that the robot remote control device 3 and the HMD 5 may be directly connected without going through a network. The robot remote control device 3 and the controller 6 may be directly connected without going through a network. The robot remote control device 3 and the environment sensor 7 may be directly connected without going through a network. The robot remote control device 3 and the robot 2 may be directly connected without going through a network.

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。 [Function example of robot remote control system]
Next, an example of functions of the robot remote control system will be described with reference to FIG.
The HMD 5 displays the robot state image received from the robot remote control device 3 . The HMD 5 detects the movement of the operator's line of sight, etc., and transmits the detected line-of-sight information (operator sensor value) to the robot remote control device 3 .

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。 The image display unit 51 displays the state image of the robot received from the robot remote control device 3 under the control of the control unit 54 .

視線検出部５２は、操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御部５４に出力する。 The line-of-sight detection unit 52 detects the line-of-sight of the operator and outputs the detected line-of-sight information (operator sensor value) to the control unit 54 .

制御部５４は、視線検出部５２が検出した視線情報（操作者センサ値）を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボット状態画像を、画像表示部５１に表示させる。 The control unit 54 transmits line-of-sight information (operator sensor value) detected by the line-of-sight detection unit 52 to the robot remote control device 3 via the communication unit 55 . The control unit 54 causes the image display unit 51 to display the robot state image transmitted by the robot remote control device 3 .

通信部５５は、ロボット遠隔操作制御装置３が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、視線情報をロボット遠隔操作制御装置３に送信する。 The communication unit 55 receives the robot state image transmitted by the robot remote control device 3 and outputs the received robot state image to the control unit 54 . The communication unit 55 transmits line-of-sight information to the robot remote control device 3 under the control of the control unit 54 .

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。 The controller 6 is, for example, a tactile data glove worn on the operator's hand. The controller 6 uses the sensor 61 to detect the orientation, motion of each finger, and motion of the hand, and transmits detected hand motion information (operator sensor values) to the robot remote control device 3 .

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、各指の動きや手の動きを検出し、検出した手動作情報（操作者センサ値）を制御部６２に出力する。 The sensor 61 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, or the like. Note that the sensor 61, which includes a plurality of sensors, tracks the movement of each finger using, for example, two sensors. The sensor 61 detects the motion of each finger and the motion of the hand, and outputs the detected hand motion information (operator sensor value) to the control unit 62 .

制御部６２は、センサ６１が検出した手動作情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。 The control unit 62 transmits hand motion information detected by the sensor 61 to the robot remote control device 3 via the communication unit 63 . The controller 62 controls the feedback means 64 based on the feedback information.

通信部６３は、制御部６２の制御に応じて、操作者動作情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。 The communication unit 63 transmits operator action information to the robot remote control device 3 under the control of the control unit 62 . The communication unit 63 acquires the feedback information transmitted by the robot remote control device 3 and outputs the acquired feedback information to the control unit 62 .

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。 The feedback means 64 feeds back feedback information to the operator under the control of the control section 62 . According to the feedback information, the feedback means 64 includes, for example, means for applying vibration (not shown), means for applying air pressure (not shown), and means for restraining hand movement (not shown) attached to the grip part 222 of the robot 2. (not shown), means for feeling temperature (not shown), means for feeling hardness or softness (not shown), or the like is used to feed back sensations to the operator.

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報（環境センサ値）をロボット遠隔操作制御装置３に送信する。 The environment sensor 7 is installed, for example, at a position where the work of the robot 2 can be photographed and detected. The environment sensor 7 may be provided in the robot 2 or may be attached to the robot 2 . Alternatively, a plurality of environment sensors 7 may be provided, and may be installed in the work environment and attached to the robot 2 as shown in FIG. The environment sensor 7 detects object position information based on the captured image and the detection result detected by the sensor, and transmits the detected object position information (environment sensor value) to the robot remote control device 3 .

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を物体位置検出部７３に出力する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。 The imaging device 71 is, for example, an RGB camera. The photographing device 71 outputs the photographed image to the object position detection section 73 . In addition, in the environment sensor 7, the positional relationship between the imaging device 71 and the sensor 72 is known.

センサ７２は、例えば深度センサである。センサ７２は、検出結果を物体位置検出部７３に出力する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。 Sensor 72 is, for example, a depth sensor. The sensor 72 outputs the detection result to the object position detection section 73 . Note that the imaging device 71 and the sensor 72 may be distance sensors.

物体位置検出部７３は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部７３は、物体位置検出部７３が記憶するパターンマッチングのモデル等を参照して、撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部７３は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部７３は、検出した物体位置情報（環境センサ値）を、通信部７４を介してロボット遠隔操作制御装置３に送信する。 The object position detection unit 73 detects the three-dimensional position, size, shape, etc. of the target object in the photographed image by a well-known method based on the photographed image and the detection result detected by the sensor. The object position detection unit 73 refers to the pattern matching model or the like stored in the object position detection unit 73, and performs image processing (edge detection, binarization processing, feature amount extraction, image enhancement processing, image extraction, pattern matching processing, etc.) to estimate the position of the object. Note that when a plurality of objects are detected from the captured image, the object position detection unit 73 detects the position of each object. The object position detection unit 73 transmits the detected object position information (environment sensor value) to the robot remote control device 3 via the communication unit 74 .

通信部７４は、物体位置情報をロボット遠隔操作制御装置３に送信する。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。 The communication unit 74 transmits object position information to the robot remote control device 3 . The data transmitted by the environment sensor 7 may be, for example, a point cloud having position information.

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。 The behavior of the robot 2 is controlled according to the control of the control unit 21 when it is not remotely operated. When the robot 2 is remotely operated, the behavior of the robot 2 is controlled according to the grasping plan information generated by the robot remote control device 3 .

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。 The control unit 21 controls the driving unit 22 based on control commands output from the robot remote control device 3 . Note that the control unit 21 may perform speech recognition processing (speech segment detection, sound source separation, sound source localization, noise suppression, sound source identification, etc.) on the acoustic signal collected by the sound collection unit 23 . The control unit 21 generates feedback information and transmits the generated feedback information to the controller 6 via the robot remote control device 3 .

駆動部２２は、制御部２１の制御に応じてロボット２の各部（把持部２２２、腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。 The driving section 22 drives each section of the robot 2 (grasping section 222 , arms, fingers, feet, head, torso, waist, etc.) under the control of the control section 21 . The drive unit 22 includes, for example, actuators, gears, artificial muscles, and the like.

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。 The sound pickup unit 23 is, for example, a microphone array including a plurality of microphones. The sound pickup unit 23 outputs the collected sound signal to the control unit 21 . The sound pickup unit 23 may have a speech recognition processing function. In this case, the sound pickup unit 23 outputs the speech recognition result to the control unit 21 .

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。 The storage unit 25 stores, for example, programs and threshold values used for control by the control unit 21, and temporarily stores voice recognition results, image processing results, control commands, and the like. Note that the storage unit 37 may also serve as the storage unit 25 . Alternatively, the storage unit 37 may also serve as the storage unit 25 .

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。 A power supply 26 supplies power to each part of the robot 2 . Power source 26 may comprise, for example, a rechargeable battery or charging circuit.

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５に出力する。 The sensor 27 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, each joint encoder, or the like. The sensor 27 is attached to each joint, head, etc. of the robot 2 . The sensor 27 outputs the detected result to the control unit 21 , the intention estimation unit 33 , the control command generation unit 34 , and the robot state image generation unit 35 .

ロボット遠隔操作制御装置３は、ＨＭＤ５が検出した視線情報と、コントローラー６が検出した手動作情報と、環境センサ７が検出した物体位置情報とに基づいて操作者の動作意図を推定し、ロボット２の制御指令を生成する。 The robot remote control device 3 estimates the operator's motion intention based on line-of-sight information detected by the HMD 5 , hand motion information detected by the controller 6 , and object position information detected by the environment sensor 7 . to generate control commands for

情報取得部３１は、ＨＭＤ５から視線情報（操作者センサ値）を取得し、コントローラー６から手動作情報（操作者センサ値）を取得し、環境センサ７から物体位置情報（環境センサ値）を取得する。情報取得部３１は、取得した視線情報と手動作情報と物体位置情報を意図推定部３３に出力する。なお、以下の説明では、視線情報（操作者センサ値）と手動作情報（操作者センサ値）と物体位置情報（環境センサ値）をセンサ値とも呼ぶ。 The information acquisition unit 31 acquires line-of-sight information (operator sensor value) from the HMD 5, acquires hand motion information (operator sensor value) from the controller 6, and acquires object position information (environment sensor value) from the environment sensor 7. do. The information acquisition unit 31 outputs the acquired line-of-sight information, hand motion information, and object position information to the intention estimation unit 33 . In the following description, line-of-sight information (operator sensor value), hand motion information (operator sensor value), and object position information (environment sensor value) are also referred to as sensor values.

意図推定部３３は、情報取得部３１が取得した視線情報と手動作情報と物体位置情報に基づいて、操作者が意図する対象物体に関する情報（対象物体名、対象物体の位置、対象物体の大きさ等）を推定する。作業空間に物体が複数ある場合、意図推定部３３は、物体毎に対象物体である確率を推定する。なお、操作者の意図と、推定方法については後述する。 Based on the line-of-sight information, the hand motion information, and the object position information acquired by the information acquiring unit 31, the intention estimating unit 33 obtains information related to the target object intended by the operator (target object name, target object position, target object size). etc.). When there are a plurality of objects in the work space, the intention estimation unit 33 estimates the probability that each object is the target object. The intention of the operator and the estimation method will be described later.

制御指令生成部３４は、意図推定部３３が推定した結果と、センサ２７が検出した検出結果、環境センサ７が検出した物体位置情報に基づいて、例えば物体を把持するための制御指令を生成する。制御指令生成部３４は、生成した制御指令情報を制御部２１に出力する。 The control command generation unit 34 generates a control command for gripping an object, for example, based on the result estimated by the intention estimation unit 33, the detection result detected by the sensor 27, and the object position information detected by the environment sensor 7. . The control command generator 34 outputs the generated control command information to the controller 21 .

ロボット状態画像作成部３５は、制御指令生成部３４が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。 The robot state image creation unit 35 creates a robot state image to be displayed on the HMD 5 based on the control command information generated by the control command generation unit 34 .

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。 The transmission unit 36 transmits the robot state image created by the robot state image creation unit 35 to the HMD 5 . The transmission unit 36 acquires feedback information output by the robot 2 and transmits the acquired feedback information to the controller 6 .

記憶部３７は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３７は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部３７は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。 The storage unit 37 stores the positional relationship between the imaging device 71 and the sensor 72 of the environment sensor 7 . The storage unit 37 stores information that restricts the degree of freedom to be controlled by the operator, that is, the controllable range, for each task to be assisted. The storage unit 37 stores programs used for controlling the robot remote control device 3 . Note that the program may be on the cloud or network.

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。 [Example of state in which the operator wears HMD 5 and controller 6]
Next, a state example in which the operator wears the HMD 5 and the controller 6 will be described.
FIG. 3 is a diagram showing an example of a state in which an operator wears the HMD 5 and the controller 6. As shown in FIG. In the example of FIG. 3, the operator Us wears the controller 6a on his left hand, the controller 6b on his right hand, and the HMD 5 on his head. Note that the HMD 5 and the controller 6 shown in FIG. 3 are examples, and the mounting method, shape, and the like are not limited to these.

［意図推定処理例］
次に、意図推定処理の概要を説明する。
図４は、本実施形態に係る意図推定処理の概要を示す図である。
図４のように、ロボット遠隔操作制御装置３は、ＨＭＤ５から視線情報とコントローラー６から手動作情報と、環境センサ７から物体位置情報と、を取得する。 [Example of intention estimation processing]
Next, an outline of the intention estimation process will be described.
FIG. 4 is a diagram showing an outline of intention estimation processing according to the present embodiment.
As shown in FIG. 4 , the robot remote control device 3 acquires line-of-sight information from the HMD 5 , hand motion information from the controller 6 , and object position information from the environment sensor 7 .

意図推定部３３は、視線情報に基づいて、ロボット世界における操作者の注視点を推定する。意図推定部３３は、手動作情報に基づいて、ロボット世界における操作者の手の位置を計算する。意図推定部３３は、注視点と操作候補の物体との間の距離と、手と操作候補の物体との間の距離を算出する。意図推定部３３は、算出した注視点と操作候補の物体との間の距離と、手と操作候補の物体との間の距離に基づく操作候補の物体全体に対して確率分布を算出する。 The intention estimation unit 33 estimates the gaze point of the operator in the robot world based on the line-of-sight information. The intention estimation unit 33 calculates the position of the operator's hand in the robot world based on the hand motion information. The intention estimation unit 33 calculates the distance between the gaze point and the operation candidate object and the distance between the hand and the operation candidate object. The intention estimation unit 33 calculates a probability distribution for the entire operation candidate object based on the calculated distance between the gaze point and the operation candidate object and the distance between the hand and the operation candidate object.

意図推定部３３は、手動作情報に基づいて、ロボット世界における操作者の手の動き、すなわち手の軌道を検出する。意図推定部３３は、手の軌道に基づく操作候補の物体全体に対して確率分布を算出する。 The intention estimating unit 33 detects the motion of the operator's hand in the robot world, that is, the trajectory of the hand, based on the hand motion information. The intention estimation unit 33 calculates a probability distribution for the entire operation candidate object based on the trajectory of the hand.

意図推定部３３は、注視点が操作候補の物体に重なった回数に基づいて、物体全体に対して確率分布を算出する。 The intention estimation unit 33 calculates a probability distribution for the entire object based on the number of times the gaze point overlaps the operation candidate object.

なお、意図推定部３３は、確率分布を、例えば次式（１）によって算出する。 In addition, the intention estimation unit 33 calculates the probability distribution by, for example, the following equation (1).

式（１）において、太字はベクトルを表す。ｇ（太字）はとりうる意図物体の集合、ｇは意図物体を表す確率変数であり、左辺のｂ_ｔ（ｇ_ｔ）は現在時刻の意図物体確率分布である。右辺のｂ_ｔ－１は前時刻ｔ－１の意図確率分布であり、Ｐ（ｇ_ｔ｜ｇ_ｔ－１）は遷移確率であり、Π（θ_ｔ｜ｇ_ｔ）は、尤度を表し、手や視線の観測値θと物体ｇの関係より求めることができる（参考文献１参照）。なお、意図推定部３３は、確率分布を式（１）以外の他の確率分布を求める式によって算出するようにしてもよい。 In equation (1), bold letters represent vectors. g (bold) is a set of possible intended objects, g is a random variable representing the intended objects, and b _t (g _t ) on the left side is the intended object probability distribution at the current time. b _t-1 on the right side is the intention probability distribution at the previous time t-1, P(g _t |g _t-1 ) is the transition probability, Π(θ _t |g _t ) represents the likelihood, It can be obtained from the relationship between the observed value θ of the hand and line of sight and the object g (see reference 1). Note that the intention estimating unit 33 may calculate the probability distribution using a formula for obtaining a probability distribution other than formula (1).

意図推定部３３は、算出した確率分布に重み付けして加算する。さらに、意図推定部３３は、重み付けして加算された確率分布の中で最も確率が大きい物体を意図物体であると推定する。 The intention estimation unit 33 weights and adds the calculated probability distribution. Furthermore, the intention estimation unit 33 estimates the object with the highest probability in the weighted and added probability distribution as the intended object.

参考文献１；Siddarth Jain, Brenna Argall, “Recursive Bayesian Human Intent Recognition in Shared-Control Robotics”, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),p3905-3912, 2018 Reference 1; Siddarth Jain, Brenna Argall, “Recursive Bayesian Human Intent Recognition in Shared-Control Robotics”, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), p3905-3912, 2018

このように、本実施形態では、意図推定部３３は、操作者の視線と手の動きを用いて統合的に操作者の意図を推定する。なお、意図推定部３３は、視線情報と、手の動き情報とテーブル上の物体の位置情報とを学習済みのモデルに入力して、操作者の意思を推定するようにしてもよい。 Thus, in the present embodiment, the intention estimation unit 33 comprehensively estimates the operator's intention using the operator's line of sight and hand motion. Note that the intention estimation unit 33 may input line-of-sight information, hand motion information, and position information of an object on the table into a learned model to estimate the intention of the operator.

［処理手順例］
次に、ロボット遠隔操作制御装置３が行う処理手順例を説明する。
図５は、本実施形態に係るロボット遠隔操作制御装置３が行う処理手順例のフローチャートである。 [Example of processing procedure]
Next, an example of a processing procedure performed by the robot remote control device 3 will be described.
FIG. 5 is a flow chart of an example of a processing procedure performed by the robot remote control device 3 according to this embodiment.

（ステップＳ１）情報取得部３１は、センサ値（視線情報、手動作情報、物体位置情報）を取得する。 (Step S1) The information acquisition unit 31 acquires sensor values (line-of-sight information, hand motion information, object position information).

（ステップＳ２）意図推定部３３は、操作者が例えば把持しようとしている対象物体である意図物体確率分布を任意の確率分布で初期化する。任意の確率分布とは、例えば、一様分布、カテゴリカル分布等である。 (Step S2) The intention estimation unit 33 initializes an intended object probability distribution, which is a target object that the operator is trying to grasp, for example, with an arbitrary probability distribution. An arbitrary probability distribution is, for example, a uniform distribution, a categorical distribution, or the like.

（ステップＳ３）意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の注視点と操作候補の物体との間の距離を算出する。続けて、意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の手の位置と操作候補の物体との間の距離を算出する。続けて、意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体との間の距離と、ロボット世界における操作者の手の位置と操作候補の物体との間の距離とに基づく第１の確率分布を計算する。 (Step S3) The intention estimation unit 33 calculates the distance between the gaze point of the operator and the operation candidate object in the robot world using the acquired sensor values. Subsequently, the intention estimation unit 33 uses the acquired sensor values to calculate the distance between the position of the operator's hand and the operation candidate object in the robot world. Subsequently, the intention estimation unit 33 determines the distance between the operator's gaze point and the operation candidate object in the robot world, and the distance between the operator's hand position and the operation candidate object in the robot world. Compute a first probability distribution based on

（ステップＳ４）意図推定部３３は、取得したセンサ値を用いてロボット世界における操作者の手の軌道を算出する。続けて、意図推定部３３は、ロボット世界における操作者の手の軌道に基づく第２の確率分布を計算する。 (Step S4) The intention estimation unit 33 calculates the trajectory of the operator's hand in the robot world using the acquired sensor values. Subsequently, the intention estimation unit 33 calculates a second probability distribution based on the trajectory of the operator's hand in the robot world.

（ステップＳ５）意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体とが重なった回数を検出する。続けて、意図推定部３３は、ロボット世界における操作者の注視点と操作候補の物体とが重なった回数に基づく第３の確率分布を計算する。 (Step S5) The intention estimating unit 33 detects the number of times the operator's gaze point and the operation candidate object overlap in the robot world. Subsequently, the intention estimating unit 33 calculates a third probability distribution based on the number of times the operator's gaze point and the operation candidate object overlap in the robot world.

（ステップＳ６）意図推定部３３は、第１の確率分布、第２の確率分布、および第３の確率分布に対して重み付けを行う。 (Step S6) The intention estimation unit 33 weights the first probability distribution, the second probability distribution, and the third probability distribution.

（ステップＳ７）意図推定部３３は、重み付けされた第１の確率分布、第２の確率分布、および第３の確率分布の総和を算出する。なお、意図推定部３３は、操作候補の物体毎にこの処理を行う。また、意図推定部３３は、必要に応じて、各確率分布を正規化した後に総和を算出するようにしてもよい。また、意図推定部３３は、必要に応じて、各確率分布に重み付けして総和を算出するようにしてもよい。 (Step S7) The intention estimation unit 33 calculates the sum of the weighted first probability distribution, second probability distribution, and third probability distribution. Note that the intention estimation unit 33 performs this process for each operation candidate object. In addition, the intention estimating unit 33 may calculate the sum after normalizing each probability distribution, if necessary. In addition, the intention estimating unit 33 may weight each probability distribution and calculate the sum as necessary.

（ステップＳ８）意図推定部３３は、算出した操作候補の物体の確率分布のうち、最も確率が高い物体を意図物体に決定する。 (Step S8) The intention estimation unit 33 determines the object with the highest probability as the intended object from the calculated probability distribution of the operation candidate objects.

（ステップＳ９）制御指令生成部３４は、意図推定部３３が推定した結果と、センサ値に基づいて、意図物体を例えば把持するための制御指令を生成する。 (Step S9) The control command generating unit 34 generates a control command for gripping the intended object, for example, based on the result estimated by the intention estimating unit 33 and the sensor value.

（ステップＳ１０）意図推定部３３は、センサ値に基づいて、操作者がロボット２によって物体を例えば把持しているか否かを判別する。意図推定部３３は、操作者がロボット２によって物体を例えば把持していると判別した場合、処理を終了する。意図推定部３３は、操作者がロボット２によって物体を例えば把持していないと判別した場合、ステップＳ１の処理に戻す。 (Step S10) The intention estimation unit 33 determines whether or not the operator is gripping an object with the robot 2 based on the sensor value. When the intention estimation unit 33 determines that the operator is gripping an object with the robot 2, for example, the process ends. When the intention estimating unit 33 determines that the operator does not grip the object with the robot 2, for example, the process returns to step S1.

なお、図６において、意図推定部３３は、ステップＳ３～Ｓ５の処理を並列に行ってもよく、時分割で行ってもよく、処理順番が異なっていてもよい。 In FIG. 6, the intention estimating unit 33 may perform the processing of steps S3 to S5 in parallel or in a time-division manner, or the processing order may be different.

［意図推定結果例］
次に、意図推定結果例を説明する。
図６は、本実施形態に係る意図推定結果例を示す図である。図６の例は、テーブルの上に３つの物体ｏｂｊ１～ｏｂｊ３が置かれていて、操作者がロボット２に左手で物体ｏｂｊ３を把持させようとしている状態例である。意図推定部３３が算出した物体毎の確率は、左手の把持部２２２ａから最も離れている第１の物体ｏｂｊ１が５％であり、左手の把持部２２２ａから最も近い第３の物体ｏｂｊ３が８０％であり、第１の物体ｏｂｊ１と第３の物体ｏｂｊ３との間にある第２の物体ｏｂｊ２が１５％であった。
この場合、意図推定部３３は、確率が高い第３の物体ｏｂｊ３を意図物体に決定する。 [Intention estimation result example]
Next, an intention estimation result example will be described.
FIG. 6 is a diagram showing an example of intention estimation results according to the present embodiment. The example of FIG. 6 is a state example in which three objects obj1 to obj3 are placed on a table, and the operator is causing the robot 2 to grasp the object obj3 with his left hand. The probability for each object calculated by the intention estimation unit 33 is 5% for the first object obj1, which is the farthest from the left hand grip 222a, and 80% for the third object obj3, which is the closest to the left hand grip 222a. and the second object obj2 between the first object obj1 and the third object obj3 is 15%.
In this case, the intention estimation unit 33 determines the third object obj3 with a high probability as the intended object.

［重み付けの例］
ここで、意図推定部３３が、確率分布に対して行う重み付け方法の一例を説明する。
例えば、意図推定部３３は、環境センサ値と操作者センサ値を用いて、ロボット２の把持部２２２と、各物体との位置とに基づいて、物体全体に対する確率分布に対して重み付けを行うようにしてもよい。重み付けは、例えば、事前に実験をして重要度が高そうな確率分布を検証し、重要度が高い分布に大きな重みを付けるようにしてもよい。または、例えば、手と物体の位置から算出される確率分布よりも、視線から算出される確率分布の方が高精度の場合は、後者に大きな重みをつけるようにしてもよい。
または、意図推定部３３が、環境センサ値と操作者センサ値を用いて、操作者の手の形状と、各物体と形状とに基づいて、物体全体に対する確率分布に対して重み付けを行うようにしてもよい。例えば、大きな物体を把持しようとしている場合と、小さな物体を把持しようとしている場合とでは、操作者が物体に手を近づける際の手の広げ方が異なる可能性がある。このような操作者の手の形状に物体を関連付けて、記憶部３７に記憶させておいてもよい。 [Example of weighting]
Here, an example of the weighting method that the intention estimation unit 33 performs on the probability distribution will be described.
For example, the intention estimating unit 33 may use the environment sensor value and the operator sensor value to weight the probability distribution for the entire object based on the gripping unit 222 of the robot 2 and the position of each object. can be For weighting, for example, an experiment may be performed in advance to verify probability distributions that are likely to be of high importance, and a large weight may be assigned to the distributions of high importance. Alternatively, for example, if the probability distribution calculated from the line of sight is more accurate than the probability distribution calculated from the positions of the hand and the object, the latter may be given a greater weight.
Alternatively, the intention estimating unit 33 may use the environment sensor value and the operator sensor value to weight the probability distribution for the entire object based on the shape of the operator's hand and the shape of each object. may For example, when the operator is trying to grasp a large object and when trying to grasp a small object, there is a possibility that the operator spreads his hand differently when bringing the hand closer to the object. The shape of the operator's hand may be associated with an object and stored in the storage unit 37 .

以上のように、本実施形態では、操作者の注視点と操作者の手の軌道から確率分布計算に基づき操作者の意図を推定するようにした。 As described above, in this embodiment, the intention of the operator is estimated based on the probability distribution calculation from the point of gaze of the operator and the trajectory of the operator's hand.

これにより、本実施形態によれば、視線と手の動きを用いて統合的に推論することで、高性能にＰｉｃｋ，Ｐｌａｃｅなどの操作対象物体を推定できる。 As a result, according to the present embodiment, it is possible to estimate an operation target object such as Pick and Place with high performance by comprehensively inferring using the line of sight and the motion of the hand.

なお、上述した例では、物体の位置を、環境センサ７が検出してロボット遠隔操作制御装置に送信する例を説明したが、これに限らない。例えば、意図推定部３３が、環境センサ７から取得したセンサ値を用いて、物体の位置情報を検出するようにしてもよい。 In the above example, the environment sensor 7 detects the position of the object and transmits the detected position to the robot remote control device, but the present invention is not limited to this. For example, the intention estimation unit 33 may detect the position information of the object using the sensor values acquired from the environment sensor 7 .

なお、意図推定部３３は、操作者状態情報と、ロボット２の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。 Note that the intention estimation unit 33 may predict in advance the future trajectory of the hand intended by the operator based on the operator state information and the state information of the robot 2 .

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、ロボット遠隔操作制御装置３は、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。 In addition, since the coordinate system differs between the environment operated by the operator and the operating environment of the robot, the robot remote control device 3 calibrates the operating environment of the operator and the operating environment of the robot when the robot 2 is activated, for example. may

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部２２２との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。 Further, when gripping, the robot remote control device 3 corrects an error in the gripping position at the time of gripping based on the gripping force of the robot 2, the frictional force between the object and the gripping part 222, etc., and adjusts the gripping position. You may make it decide.

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。 Further, the above-described robot 2 may be, for example, a bipedal walking robot, a stationary reception robot, or a working robot.

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。 Also, in the above-described example, an example in which the robot 2 is caused to grip by remote control has been described, but the present invention is not limited to this.

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。 Also, in the above example, an example in which the operator wears the HMD 5 has been described, but the present invention is not limited to this. Detection of line-of-sight information and provision of the robot state image to the operator may be performed by, for example, a combination of a sensor and an image display device.

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing all or part of the functions of the robot 2 and all or part of the functions of the robot remote control device 3 in the present invention is recorded on a computer-readable recording medium, and this recording All or part of the processing performed by the robot 2 and all or part of the processing performed by the robot remote control device 3 may be performed by causing the computer system to read and execute the program recorded on the medium. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. In addition, the "computer system" shall include a system built on a local network, a system built on the cloud, and the like. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. In addition, "computer-readable recording medium" means a volatile memory (RAM) inside a computer system that acts as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. , includes those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２２，２２２ａ，２２２ｂ…把持部、３１…情報取得部、３３…意図推定部、３４…制御指令生成部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…物体位置検出部、７４…通信部 DESCRIPTION OF SYMBOLS 1... Robot remote control system, 2... Robot, 3... Robot remote control device, 5... HMD, 6... Controller, 7... Environmental sensor, 21... Control part, 22... Drive part, 23... Sound pickup part, 25 Memory unit 26 Power supply 27 Sensors 222, 222a, 222b Grasping unit 31 Information acquiring unit 33 Intention estimating unit 34 Control command generating unit 35 Robot state image creating unit 36 Transmission unit 37 Storage unit 51 Image display unit 52 Line-of-sight detection unit 54 Control unit 55 Communication unit 61 Sensor 62 Control unit 63 Communication unit 64 Feedback means 71 ... imaging device, 72 ... sensor, 73 ... object position detection unit, 74 ... communication unit

Claims

In robot remote control, which recognizes the operator's movements and transmits the operator's movements to the robot to operate the robot,
an information acquisition unit that acquires an environment sensor value obtained by the robot or an environment sensor installed in the environment surrounding the robot and an operator sensor value that detects the movement of the operator;
An intention estimation unit for estimating the operator's intention based on the probability distribution calculated from the operator's gaze point in the robot world and the trajectory of the operator's hand in the robot world from the environment sensor value and the operator sensor value. When,
A robot remote control device comprising:

The probability distribution is a probability based on the distance between the gaze point of the operator and an operation candidate object in the robot world and the distance between the position of the operator's hand and the object in the robot world. is a distribution,
The robot remote control device according to claim 1.

The probability distribution is a probability distribution based on the trajectory of the operator's hand in the robot world,
The robot remote control device according to claim 1 or 2.

The probability distribution is a probability distribution based on the number of times the operator's gaze point and the operation candidate object in the robot world overlap,
The robot remote control device according to any one of claims 1 to 3.

The intention estimation unit
When there are a plurality of the probability distributions, each of the probability distributions is weighted and added based on the environmental sensor value and the operator sensor value to calculate a sum, and based on the calculated sum of the probability distributions, the operator's infer intent,
The robot remote control device according to any one of claims 1 to 4.

The intention estimation unit
When there are a plurality of the probability distributions, the plurality of probability distributions are normalized and then added to calculate a sum, and the intention of the operator is estimated based on the sum of the calculated probability distributions.
The robot remote control device according to any one of claims 1 to 4.

In a robot remote operation that recognizes the movement of an operator and transmits the movement of the operator to a robot to operate the robot,
The robot remote control device according to any one of claims 1 to 6;
a gripping part that grips an object;
an environment sensor installed in the robot or in the surrounding environment of the robot and detecting a robot environment sensor value;
an operator sensor that detects the movement of the operator as an operator sensor value;
A robot remote control system.

In robot remote control, which recognizes the operator's movements and transmits the operator's movements to the robot to operate the robot,
an information acquisition unit acquires an environment sensor value obtained by the robot or an environment sensor installed in the environment surrounding the robot and an operator sensor value for detecting movement of the operator;
An intention estimating unit estimates the operator's intention based on a probability distribution calculated from the operator's gaze point in the robot world and the trajectory of the operator's hand in the robot world from the environment sensor value and the operator sensor value. presume,
Robot remote control method.

In robot remote control, which recognizes the operator's movements and transmits the operator's movements to the robot to operate the robot,
to the computer,
Acquiring an environment sensor value obtained by the robot or an environment sensor installed in the environment surrounding the robot and an operator sensor value for detecting the movement of the operator;
estimating the intention of the operator based on a probability distribution calculated from the gaze point of the operator in the robot world and the trajectory of the operator's hand in the robot world from the environment sensor value and the operator sensor value;
program.