JP2022157123A - Robot remote operation control device, robot remote operation control system, robot remote operation control method and program - Google Patents

Robot remote operation control device, robot remote operation control system, robot remote operation control method and program Download PDF

Info

Publication number
JP2022157123A
JP2022157123A JP2021061170A JP2021061170A JP2022157123A JP 2022157123 A JP2022157123 A JP 2022157123A JP 2021061170 A JP2021061170 A JP 2021061170A JP 2021061170 A JP2021061170 A JP 2021061170A JP 2022157123 A JP2022157123 A JP 2022157123A
Authority
JP
Japan
Prior art keywords
robot
operator
unit
sensor
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021061170A
Other languages
Japanese (ja)
Inventor
直希 細見
Naoki Hosomi
コンダパッレィアニルドレッディ
Reddy Kondapally Anirudh
七海 塚本
Nanami TSUKAMOTO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021061170A priority Critical patent/JP2022157123A/en
Priority to US17/707,930 priority patent/US20220314449A1/en
Publication of JP2022157123A publication Critical patent/JP2022157123A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

To provide a robot remote operation control device, a robot remote operation control system, a robot remote operation control method and a program which can estimate what kind of action an operator is doing from information obtained by a sensor mounted on the body of the operator.SOLUTION: A robot remote operation control device, which performs robot remote operation control by which motion of an operator is recognized and the motion of the operator is transmitted to a robot to operate the robot, comprises: an information obtaining part that obtains an operator sensor value which is information showing sensed motion of the operator; and an intention estimating part that estimates motion of the operator which is motion instructed to the robot by using a learnt model from the operator sensor value.SELECTED DRAWING: Figure 2

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。 The present invention relates to a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a program.

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第1ユーザーの姿勢を示す第1ユーザー姿勢情報を取得する第1情報取得部と、第1ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第2情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第1情報取得部が取得した第1ユーザー姿勢情報とに基づいて、第1ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている(特許文献1参照)。特許文献1に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。 A control device has been proposed that allows a user to assist the operation of a robot. As such a control device, for example, a first information acquisition unit that acquires first user posture information indicating the posture of a first user who operates the robot, and a a second information acquiring unit for acquiring pre-change posture information indicating a pre-change posture which is the posture of the robot; A control device has been proposed that includes a determination unit that determines a target posture different from the posture of the first user as the posture of the robot based on the first user posture information acquired by the information acquisition unit (see Patent Document 1). ). The system described in Patent Literature 1 changes the posture of the robot to a posture that corresponds to the posture detected by the device worn by the operator.

このようなシステムでは、操作者が遠隔操作で物体の操作を行う際、操作者の体に装着したセンサ(視線、頭の回転、手の位置や角度などを取得するセンサ)から操作者がどのような行動を行ってロボットに遠隔指示している作業内容を推定する必要がある。 In such a system, when an operator manipulates an object by remote control, it is possible to determine what the operator does from sensors attached to the operator's body (sensors that acquire line of sight, head rotation, hand position and angle, etc.). It is necessary to estimate the work content of remote instructions to the robot by performing such actions.

特許第6476358号Patent No. 6476358

しかしながら、従来技術では、操作者が遠隔操作で物体の操作を行う際、操作者の体に装着したセンサ(例えば、視線、頭の回転、手の位置や角度などを取得するセンサ)から得られる時刻毎のセンサ値情報から、操作者がどのような行動をしているのか直接推定できなかった。 However, in the prior art, when an operator manipulates an object by remote control, the sensor attached to the operator's body (for example, a sensor that acquires the line of sight, head rotation, hand position and angle, etc.) It was not possible to directly estimate what the operator was doing from the sensor value information for each time.

本発明は、上記の問題点に鑑みてなされたものであって、操作者の体に装着したセンサから得られる情報から操作者がどのような行動をしているのか推定することができるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and provides a robot remote controller that can estimate what actions the operator is taking from information obtained from sensors attached to the operator's body. An object of the present invention is to provide an operation control device, a robot remote operation control system, a robot remote operation control method, and a program.

(1)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、検出された前記操作者の動きを示す情報である操作者センサ値を取得する情報取得部と、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する意図推定部と、を備える。 (1) In order to achieve the above objects, a robot remote operation control device according to an aspect of the present invention recognizes the movement of an operator and transmits the operator's movement to a robot to operate the robot. an information acquisition unit that acquires an operator sensor value that is information indicating the detected movement of the operator; and the operator that is an operation instruction to the robot using a model learned from the operator sensor value. and an intention estimating unit that estimates the motion of the

(2)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、前記意図推定部は、前記環境センサ値と前記操作者センサ値から学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定して、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成するようにしてもよい。 (2) In the robot remote control device according to the aspect of the present invention, the information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot, The intention estimating unit uses a model that has been learned from the environment sensor values and the operator sensor values to determine whether the operator is trying to align the gripped object gripped by the robot by operating the robot. It is also possible to estimate whether or not, and to generate a control command value for driving the robot based on the estimated result.

(3)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、意図推定部は、前記環境センサ値と前記操作者センサ値を用いて、前記操作者が前記把持物体に対して、どのような姿勢でアライメントしようとしているかの尤度を計算して、アライメントのサポートを行うようにしてもよい。 (3) In the robot remote operation control device according to the aspect of the present invention, the information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot, The intention estimating unit uses the environment sensor value and the operator sensor value to calculate the likelihood that the operator is going to align the gripped object in what kind of posture, thereby supporting alignment. may be performed.

(4)また、本発明の一態様に係るロボット遠隔操作制御装置において、意図推定部は、前記操作者センサ値から推定を行って値を安定化させるような処理後に前記操作者が前記把持物体に対して、前記尤度を計算するようにしてもよい。 (4) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit estimates from the operator sensor values, and after the processing for stabilizing the values, the operator is expected to hold the gripped object. , the likelihood may be calculated.

(5)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、前記意図推定部は、前記環境センサ値も学習済みのモデルに入力して、前記ロボットに対する動作指示である前記操作者の動作を推定するようにしてもよい。 (5) Further, in the robot remote operation control device according to the aspect of the present invention, the information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot, The intention estimating unit may input the environment sensor value into the learned model to estimate the operator's motion, which is the motion instruction to the robot.

(6)また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記操作者センサ値から特徴量を注出し、抽出した特徴量に基づいて前記ロボットに対する動作指示である前記操作者の動作を分類することで推定する、ようにしてもよい。 (6) Further, in the robot remote operation control device according to the aspect of the present invention, the intention estimating unit extracts a feature amount from the operator sensor value, and issues an operation instruction to the robot based on the extracted feature amount. It may be estimated by classifying the motion of a given operator.

(7)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、(1)から(6)のうちのいずれか1つに記載の前記遠隔操作時の操作者動作推定装置と、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、物体を把持する把持部と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、を備える。 (7) In order to achieve the above objects, a robot remote operation control system according to an aspect of the present invention includes the operator motion estimation during remote operation according to any one of (1) to (6). A device, a robot remote control for recognizing a movement of an operator and transmitting the movement of the operator to a robot to operate the robot, a gripping part for gripping an object, and a gripping part installed in the robot or in the surrounding environment of the robot. , an environment sensor for detecting a robot environment sensor value, an operator sensor for detecting the movement of the operator as the operator sensor value, and an image display device for displaying an image of the robot environment in the field of view of the operator. Prepare.

(8)上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、情報取得部が、検出された前記操作者の動きを示す情報である操作者センサ値を取得し、意図推定部が、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する。 (8) In order to achieve the above objects, a robot remote control method according to an aspect of the present invention is a robot remote control method for recognizing a motion of an operator and transmitting the motion of the operator to a robot to operate the robot. an information acquisition unit that acquires an operator sensor value that is information indicating the detected movement of the operator; The operator's motion, which is an instruction, is estimated.

(9)上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記操作者の動きを検知する操作者センサ値を取得させ、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定させる。 (9) In order to achieve the above object, a program according to an aspect of the present invention provides, in remote control of a robot for recognizing a motion of an operator and transmitting the motion of the operator to a robot to operate the robot, a computer, An operator sensor value for detecting the movement of the operator is acquired, and a learned model is used from the operator sensor value to estimate the operator's movement, which is a movement instruction to the robot.

(1)~(9)によれば、操作者の体に装着したセンサから得られる情報から操作者がどのような行動をしているのか推定することができる。
(2)によれば、操作者のアライメント意図を検出して先回りしてアライメントをサポートすることで、アライメントに掛かる時間を削減できる。
(3)~(4)によれば、操作者が把持物体をどのような角度でPlaceするか確率的に計算することで、Placeのサポートを実行し、操作者がアライメントに掛かる時間とストレスの削減につながる。
(4)によれば、手ブレの影響を低減することができる。
According to (1) to (9), it is possible to estimate what the operator is doing from the information obtained from the sensor attached to the operator's body.
According to (2), the time required for alignment can be reduced by detecting the alignment intention of the operator and proactively supporting alignment.
According to (3) and (4), by probabilistically calculating at what angle the operator places the gripped object, Place support is executed to reduce the time and stress required for the operator to align. lead to reduction.
According to (4), the influence of camera shake can be reduced.

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline|summary of the robot remote operation control system which concerns on embodiment, and the outline|summary of work. 実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。1 is a block diagram showing a configuration example of a robot remote control system according to an embodiment; FIG. 第1実施形態に係る分類部によって分類される行動の種類例を示す図である。It is a figure which shows the example of the kind of action classified by the classification|category part which concerns on 1st Embodiment. 第1実施形態に係る分類部の分類方法例を示す図である。FIG. 5 is a diagram showing an example of a classification method of a classification unit according to the first embodiment; 第1実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。4 is a flow chart of a processing procedure of the robot remote control device according to the first embodiment; 第2実施形態に係る把持物体のアライメントのサポートを説明するための図である。FIG. 11 is a diagram for explaining support for alignment of a gripped object according to the second embodiment; 第2実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。9 is a flow chart of a processing procedure of a robot remote control device according to a second embodiment; 第3実施形態に係る分類部の分類方法例を示す図である。FIG. 11 is a diagram illustrating an example of a classification method of a classification unit according to the third embodiment; 第2実施形態に係るロボット遠隔操作制御装置の処理手順のフローチャートである。9 is a flow chart of a processing procedure of a robot remote control device according to a second embodiment;

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in the drawings used for the following description, the scale of each member is appropriately changed so that each member has a recognizable size.

[概要]
まず、遠隔操作時の操作者動作推定システムで行う作業と処理の概要を説明する。
図1は、本実施形態に係るロボット遠隔操作制御システム1の概要と作業の概要を示す図である。図1のように、操作者Usは、例えばHMD(ヘッドマウントディスプレイ)5とコントローラー6を装着している。作業空間には、環境センサ7a、環境センサ7bが設置されている。なお、環境センサ7は、ロボット2に取り付けられていてもよい。また、ロボット2は、把持部222(222a、222b)を備える。環境センサ7(7a、7b)は、後述するように例えばRGBカメラと深度センサを備えている。操作者Usは、HMD5に表示された画像を見ながらコントローラー6を装着している手や指を動かすことで、ロボット2を遠隔操作する。
[Overview]
First, an outline of work and processing performed by the system for estimating the operator's motion during remote operation will be described.
FIG. 1 is a diagram showing an outline of a robot remote control system 1 and an outline of work according to this embodiment. As shown in FIG. 1, the operator Us is wearing an HMD (head mounted display) 5 and a controller 6, for example. An environment sensor 7a and an environment sensor 7b are installed in the work space. Note that the environment sensor 7 may be attached to the robot 2 . The robot 2 also includes a gripper 222 (222a, 222b). The environment sensors 7 (7a, 7b) include, for example, an RGB camera and a depth sensor as described later. The operator Us remotely operates the robot 2 by moving the hand or fingers wearing the controller 6 while watching the image displayed on the HMD 5 .

本実施形態では、例えば機械学習手法を用いて、操作者が装着している複数のセンサが検出した複数のセンサ値から、操作者がどのようなアクションをしているかを推定する。また、本実施形態では、操作者が物体に対してどのようにアライメント(行動)する確率が高いかを計算して、アライメントのサポートを実現する。また、本実施形態では、例えば機械学習手法を用いて、複数のセンサ値と遠隔操作時の操作者動作推定装置システムの状態から、操作者が物体に対してアライメントする前に、アライメントを行おうとしているのか否かを推定する。 In this embodiment, for example, a machine learning technique is used to estimate what kind of action the operator is taking from a plurality of sensor values detected by a plurality of sensors worn by the operator. Further, in this embodiment, alignment support is realized by calculating how the operator is likely to align (behavior) with respect to the object. In addition, in this embodiment, for example, using a machine learning method, from a plurality of sensor values and the state of the operator motion estimation device system during remote operation, before the operator aligns with the object, let's perform alignment. Estimate whether or not

[ロボット遠隔操作制御システムの構成例]
次に、ロボット遠隔操作制御システム1の構成例を説明する。
図2は、本実施形態に係るロボット遠隔操作制御システム1の構成例を示すブロック図である。図2のように、ロボット遠隔操作制御システム1は、ロボット2、ロボット遠隔操作制御装置3、HMD5(画像表示装置)、コントローラー6、および環境センサ7を備える。
[Configuration example of robot remote control system]
Next, a configuration example of the robot remote control system 1 will be described.
FIG. 2 is a block diagram showing a configuration example of the robot remote control system 1 according to this embodiment. As shown in FIG. 2 , the robot remote control system 1 includes a robot 2 , a robot remote control device 3 , an HMD 5 (image display device), a controller 6 and an environment sensor 7 .

ロボット2は、例えば、制御部21、駆動部22、収音部23、記憶部25、電源26、およびセンサ27を備える。
ロボット遠隔操作制御装置3は、例えば、情報取得部31、意図推定部33、制御指令生成部34、画像作成部35、送信部36、および記憶部37を備える。
The robot 2 includes, for example, a control unit 21, a drive unit 22, a sound pickup unit 23, a storage unit 25, a power supply 26, and a sensor 27.
The robot remote control device 3 includes, for example, an information acquisition unit 31, an intention estimation unit 33, a control command generation unit 34, an image generation unit 35, a transmission unit 36, and a storage unit 37.

意図推定部33は、動作推定部331、アライメントサポート部332、およびアライメント可否予測部333を備える。
動作推定部331は、特徴量抽出部3311、および分類部3312を備える。
The intention estimation unit 33 includes a motion estimation unit 331 , an alignment support unit 332 , and an alignment availability prediction unit 333 .
The motion estimation unit 331 includes a feature quantity extraction unit 3311 and a classification unit 3312 .

HMD5は、例えば、画像表示部51、視線検出部52(操作者センサ)、センサ53(操作者センサ)、制御部54、および通信部55を備える。なお、HMD5は、例えば操作者の視線の動き等を検出するセンサを備えていてもよい。 HMD5 is provided with the image display part 51, the line-of-sight detection part 52 (operator sensor), the sensor 53 (operator sensor), the control part 54, and the communication part 55, for example. Note that the HMD 5 may include a sensor that detects, for example, the movement of the operator's line of sight.

コントローラー6は、例えば、センサ61(操作者センサ)、制御部62、通信部63、およびフィードバック手段64を備える。 The controller 6 includes, for example, a sensor 61 (operator sensor), a control section 62, a communication section 63, and feedback means 64.

環境センサ7は、例えば、撮影装置71、センサ72、物体位置検出部73、および通信部74を備える。 The environment sensor 7 includes, for example, an imaging device 71 , a sensor 72 , an object position detection section 73 and a communication section 74 .

なお、ロボット遠隔操作制御装置3とHMD5は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3とコントローラー6は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3と環境センサ7は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置3とロボット2は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置3とHMD5は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置3とコントローラー6は、ネットワークを介さずに直接接続されてもよい。ロボット2と環境センサ7は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置3とロボット2は、ネットワークを介さずに直接接続されてもよい。 The robot remote control device 3 and the HMD 5 are connected via a wireless or wired network, for example. The robot remote control device 3 and the controller 6 are connected via a wireless or wired network, for example. The robot remote control device 3 and the environment sensor 7 are connected via a wireless or wired network, for example. The robot remote control device 3 and the robot 2 are connected via a wireless or wired network, for example. Note that the robot remote control device 3 and the HMD 5 may be directly connected without going through a network. The robot remote control device 3 and the controller 6 may be directly connected without going through a network. The robot 2 and the environment sensor 7 may be directly connected without going through a network. The robot remote control device 3 and the robot 2 may be directly connected without going through a network.

[ロボット遠隔操作制御システムの機能例]
次に、ロボット遠隔操作制御システムの機能例を、図1を参照しつつ説明する。
HMD5は、ロボット遠隔操作制御装置3から受信したロボットの状態画像を表示する。HMD5は、操作者の視線の動き、操作者の頭部の動き(回転、傾き)等を検出し、検出した操作者センサ値をロボット遠隔操作制御装置3に送信する。
[Function example of robot remote control system]
Next, an example of functions of the robot remote control system will be described with reference to FIG.
The HMD 5 displays the robot state image received from the robot remote control device 3 . The HMD 5 detects the movement of the operator's line of sight, the movement (rotation, tilt) of the operator's head, and the like, and transmits the detected operator sensor values to the robot remote control device 3 .

画像表示部51は、制御部54の制御に応じて、ロボット遠隔操作制御装置3から受信したロボットの状態画像を表示する。 The image display unit 51 displays the state image of the robot received from the robot remote control device 3 under the control of the control unit 54 .

視線検出部52は、操作者の視線を検出し、検出した操作者センサ値を制御部54に出力する。なお、視線情報は視線ベクトルである。 The line-of-sight detection unit 52 detects the line-of-sight of the operator and outputs the detected operator sensor value to the control unit 54 . Note that the line-of-sight information is a line-of-sight vector.

センサ53は、操作者の頭部の傾き、頭部の回転を検出し、検出した操作者センサ値を制御部54に出力する。 The sensor 53 detects the tilt and rotation of the operator's head, and outputs the detected operator sensor values to the controller 54 .

制御部54は、視線検出部52とセンサ53が検出した操作者センサ値を、通信部55を介してロボット遠隔操作制御装置3に送信する。制御部54は、ロボット遠隔操作制御装置3が送信したロボット状態画像を、画像表示部51に表示させる。 The control unit 54 transmits operator sensor values detected by the line-of-sight detection unit 52 and the sensor 53 to the robot remote control device 3 via the communication unit 55 . The control unit 54 causes the image display unit 51 to display the robot state image transmitted by the robot remote control device 3 .

通信部55は、ロボット遠隔操作制御装置3が送信したロボット状態画像を受信し、受信したロボット状態画像を制御部54に出力する。通信部55は、制御部54の制御に応じて、操作者センサ値をロボット遠隔操作制御装置3に送信する。 The communication unit 55 receives the robot state image transmitted by the robot remote control device 3 and outputs the received robot state image to the control unit 54 . The communication unit 55 transmits the operator sensor values to the robot remote control device 3 under the control of the control unit 54 .

コントローラー6は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー6は、センサ61によって方位や各指の動きや手の動きを検出し、検出した手動作情報(操作者センサ値)をロボット遠隔操作制御装置3に送信する。 The controller 6 is, for example, a tactile data glove worn on the operator's hand. The controller 6 uses the sensor 61 to detect the orientation, motion of each finger, and motion of the hand, and transmits detected hand motion information (operator sensor values) to the robot remote control device 3 .

センサ61は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ61は、複数のセンサを備えるセンサ61は、例えば2つのセンサによって各指の動きをトラッキングする。センサ61は、各指の動きや手の動きを検出し、検出した手動作情報(操作者センサ値)を制御部62に出力する。 The sensor 61 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, or the like. Note that the sensor 61, which includes a plurality of sensors, tracks the movement of each finger using, for example, two sensors. The sensor 61 detects the motion of each finger and the motion of the hand, and outputs the detected hand motion information (operator sensor value) to the control unit 62 .

制御部62は、センサ61が検出した手動作情報を、通信部63を介してロボット遠隔操作制御装置3に送信する。制御部62は、フィードバック情報に基づいて、フィードバック手段64を制御する。 The control unit 62 transmits hand motion information detected by the sensor 61 to the robot remote control device 3 via the communication unit 63 . The controller 62 controls the feedback means 64 based on the feedback information.

通信部63は、制御部62の制御に応じて、操作者動作情報をロボット遠隔操作制御装置3に送信する。通信部63は、ロボット遠隔操作制御装置3が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部62に出力する。 The communication unit 63 transmits operator action information to the robot remote control device 3 under the control of the control unit 62 . The communication unit 63 acquires the feedback information transmitted by the robot remote control device 3 and outputs the acquired feedback information to the control unit 62 .

フィードバック手段64は、制御部62の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段64は、フィードバック情報に応じて、例えば、ロボット2の把持部222に取り付けられている振動を与える手段(不図示)や空気圧を与える手段(不図示)や手の動きを拘束する手段(不図示)や温度を感じさせる手段(不図示)や堅さや柔らかさを感じさせる手段(不図示)等によって操作者に感覚をフィードバックする。 The feedback means 64 feeds back feedback information to the operator under the control of the control section 62 . According to the feedback information, the feedback means 64 includes, for example, means for applying vibration (not shown), means for applying air pressure (not shown), and means for restraining hand movement (not shown) attached to the grip part 222 of the robot 2. (not shown), means for feeling temperature (not shown), means for feeling hardness or softness (not shown), or the like is used to feed back sensations to the operator.

環境センサ7は、例えばロボット2の作業を撮影、検出できる位置に設置されている。なお、環境センサ7は、ロボット2が備えていてもよく、ロボット2に取り付けられていてもよい。または、環境センサ7は、2つ以上の複数であってもよい。環境センサ7は、撮影された画像とセンサによって検出された検出結果に基づいて物体の位置情報を検出し、検出した物体位置情報(環境センサ値)をロボット遠隔操作制御装置3に送信する。 The environment sensor 7 is installed, for example, at a position where the work of the robot 2 can be photographed and detected. The environment sensor 7 may be provided in the robot 2 or may be attached to the robot 2 . Alternatively, the number of environmental sensors 7 may be two or more. The environment sensor 7 detects object position information based on the captured image and the detection result detected by the sensor, and transmits the detected object position information (environment sensor value) to the robot remote control device 3 .

撮影装置71は、例えばRGBカメラである。撮影装置71は、撮影した画像を物体位置検出部73に出力する。なお、環境センサ7において、撮影装置71とセンサ72の位置関係が既知である。 The imaging device 71 is, for example, an RGB camera. The photographing device 71 outputs the photographed image to the object position detection section 73 . In addition, in the environment sensor 7, the positional relationship between the imaging device 71 and the sensor 72 is known.

センサ72は、例えば深度センサである。センサ72は、検出結果を物体位置検出部73に出力する。なお、撮影装置71とセンサ72は、距離センサであってもよい。 Sensor 72 is, for example, a depth sensor. The sensor 72 outputs the detection result to the object position detection section 73 . Note that the imaging device 71 and the sensor 72 may be distance sensors.

物体位置検出部73は、撮影された画像とセンサによって検出された検出結果に基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部73は、物体位置検出部73が記憶するパターンマッチングのモデル等を参照して、撮影装置71が撮影した画像に対して画像処理(エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等)を行って物体の位置を推定する。なお、物体位置検出部73は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部73は、検出した物体位置情報(環境センサ値)を、通信部74を介してロボット遠隔操作制御装置3に送信する。 The object position detection unit 73 detects the three-dimensional position, size, shape, etc. of the target object in the photographed image by a well-known method based on the photographed image and the detection result detected by the sensor. The object position detection unit 73 refers to the pattern matching model or the like stored in the object position detection unit 73, and performs image processing (edge detection, binarization processing, feature amount extraction, image enhancement processing, image extraction, pattern matching processing, etc.) to estimate the position of the object. Note that when a plurality of objects are detected from the captured image, the object position detection unit 73 detects the position of each object. The object position detection unit 73 transmits the detected object position information (environment sensor value) to the robot remote control device 3 via the communication unit 74 .

通信部74は、物体位置情報をロボット遠隔操作制御装置3に送信する。なお、環境センサ7が送信するデータは、例えば位置情報を有する点群であってもよい。 The communication unit 74 transmits object position information to the robot remote control device 3 . The data transmitted by the environment sensor 7 may be, for example, a point cloud having position information.

ロボット2は、遠隔操作されていない場合、制御部21の制御に応じて行動が制御される。ロボット2は、遠隔操作されている場合、ロボット遠隔操作制御装置3が生成した動作指令に応じて行動が制御される。 The behavior of the robot 2 is controlled according to the control of the control unit 21 when it is not remotely operated. When the robot 2 is remotely controlled, its action is controlled according to the action command generated by the robot remote control device 3 .

制御部21は、ロボット遠隔操作制御装置3が出力する制御指令に基づいて駆動部22を制御する。なお、制御部21は、収音部23が収音した音響信号に対して音声認識処理(発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等)を行うようにしてもよい。制御部21は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置3を介してコントローラー6に送信する。 The control unit 21 controls the driving unit 22 based on control commands output from the robot remote control device 3 . Note that the control unit 21 may perform speech recognition processing (speech segment detection, sound source separation, sound source localization, noise suppression, sound source identification, etc.) on the acoustic signal collected by the sound collection unit 23 . The control unit 21 generates feedback information and transmits the generated feedback information to the controller 6 via the robot remote control device 3 .

駆動部22は、制御部21の制御に応じてロボット2の各部(把持部222、腕、指、足、頭、胴、腰等)を駆動する。駆動部22は、例えば、アクチュエータ、ギア、人工筋等を備える。 The driving section 22 drives each section of the robot 2 (grasping section 222 , arms, fingers, feet, head, torso, waist, etc.) under the control of the control section 21 . The drive unit 22 includes, for example, actuators, gears, artificial muscles, and the like.

収音部23は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部23は、収音した音響信号を制御部21に出力する。収音部23は、音声認識処理機能を備えていてもよい。この場合、収音部23は、音声認識結果を制御部21に出力する。 The sound pickup unit 23 is, for example, a microphone array including a plurality of microphones. The sound pickup unit 23 outputs the collected sound signal to the control unit 21 . The sound pickup unit 23 may have a speech recognition processing function. In this case, the sound pickup unit 23 outputs the speech recognition result to the control unit 21 .

記憶部25は、例えば、制御部21が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部25は、記憶部37が兼ねていてもよい。または、記憶部37が記憶部25を兼ねていてもよい。 The storage unit 25 stores, for example, programs and threshold values used for control by the control unit 21, and temporarily stores voice recognition results, image processing results, control commands, and the like. Note that the storage unit 37 may also serve as the storage unit 25 . Alternatively, the storage unit 37 may also serve as the storage unit 25 .

電源26は、ロボット2の各部に電力を供給する。電源26は、例えば充電式のバッテリや充電回路を備えていてもよい。 A power supply 26 supplies power to each part of the robot 2 . Power source 26 may comprise, for example, a rechargeable battery or charging circuit.

センサ27は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ27は、ロボット2の各関節、頭部等に取り付けられている。センサ27は、検出した検出結果を、制御部21、意図推定部33、制御指令生成部34、画像作成部35に出力する。 The sensor 27 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic force sensor, each joint encoder, or the like. The sensor 27 is attached to each joint, head, etc. of the robot 2 . The sensor 27 outputs the detected result to the control unit 21 , the intention estimation unit 33 , the control command generation unit 34 and the image generation unit 35 .

ロボット遠隔操作制御装置3は、HMD5が検出した操作者センサ値と、コントローラー6が検出した操作者センサ値とに基づいて、ロボット2を遠隔操作するために操作者が行っている行動を推定し、ロボット2の制御指令を生成する。 Based on the operator sensor values detected by the HMD 5 and the operator sensor values detected by the controller 6, the robot remote control device 3 estimates the behavior of the operator to remotely control the robot 2. , to generate control commands for the robot 2 .

情報取得部31は、HMD5から操作者センサ値を取得し、コントローラー6から操作者センサ値を取得し、環境センサ7から環境センサ値を取得する。情報取得部31は、取得した操作者センサ値と環境センサ値を、意図推定部33に出力する。 The information acquisition unit 31 acquires operator sensor values from the HMD 5 , acquires operator sensor values from the controller 6 , and acquires environment sensor values from the environment sensor 7 . The information acquisition unit 31 outputs the acquired operator sensor values and environment sensor values to the intention estimation unit 33 .

特徴量抽出部3311は、取得された操作者センサ値と環境センサ値に基づいて、特徴量を抽出する。 A feature quantity extraction unit 3311 extracts a feature quantity based on the obtained operator sensor value and environment sensor value.

意図推定部33は、取得された環境センサ値に基づいて、作業対象の物体とその位置を推定する。 The intention estimation unit 33 estimates the object to be worked on and its position based on the acquired environmental sensor values.

分類部3312は、抽出された特徴量に基づいて、操作者の行動を分類する。なお、分類される行動については後述する。 The classification unit 3312 classifies the behavior of the operator based on the extracted feature amount. In addition, the behavior to be classified will be described later.

アライメントサポート部332は、操作者が把持物体をアライメント基準物体に対してどのようにアライメントする確率が高いかを計算し、アライメントのサポートを実現する。 The alignment support unit 332 implements alignment support by calculating how likely the operator aligns the gripped object with respect to the alignment reference object.

アライメント可否予測部333は、操作者センサ値から得られる情報を使って、操作者が物体を手に持って、任意の物体にリーチングしている段階で、アライメントしようとしているのか否かを事前に予測する。なお、アライメント可否予測部333は、物体に対してアライメントする前の時点に予測するようにしてもよく、物体のリリースが完了する前であればいつでもよい。 The alignment feasibility prediction unit 333 uses the information obtained from the operator sensor value to determine in advance whether or not the operator is about to align when the operator holds the object in his/her hand and reaches an arbitrary object. Predict. Note that the alignment feasibility prediction unit 333 may make the prediction at a time before the object is aligned, or at any time before the release of the object is completed.

制御指令生成部34は、意図推定部33が推定した結果と、センサ27が検出した検出結果、環境センサ7が検出した環境センサ値に基づいて、例えば物体を把持するための制御指令を生成する。制御指令生成部34は、生成した制御指令情報を制御部21に出力する。 The control command generator 34 generates, for example, a control command for gripping an object based on the result estimated by the intention estimator 33, the detection result detected by the sensor 27, and the environment sensor value detected by the environment sensor 7. . The control command generator 34 outputs the generated control command information to the controller 21 .

画像作成部35は、制御指令生成部34が生成した制御指令情報に基づいて、HMD5に表示させるロボット状態画像を作成する。 The image creation unit 35 creates a robot state image to be displayed on the HMD 5 based on the control command information generated by the control command generation unit 34 .

送信部36は、画像作成部35が作成したロボット状態画像を、HMD5に送信する。送信部36は、ロボット2が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー6へ送信する。 The transmission unit 36 transmits the robot state image created by the image creation unit 35 to the HMD 5 . The transmission unit 36 acquires feedback information output by the robot 2 and transmits the acquired feedback information to the controller 6 .

記憶部37は、意図推定部33が使用する所定の値や学習済みのモデルを記憶している。記憶部37は、環境センサ7の撮影装置71とセンサ72の位置関係を記憶している。記憶部37は、ロボット遠隔操作制御装置3の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。 The storage unit 37 stores predetermined values and learned models used by the intention estimating unit 33 . The storage unit 37 stores the positional relationship between the imaging device 71 and the sensor 72 of the environment sensor 7 . The storage unit 37 stores programs used for controlling the robot remote control device 3 . Note that the program may be on the cloud or network.

<第1実施形態>
本実施形態では、操作者が装着している複数のセンサが検出した複数のセンサ値から、操作者がどのようなアクションをしているかを推定する。
<First embodiment>
In this embodiment, what kind of action the operator is taking is estimated from a plurality of sensor values detected by a plurality of sensors worn by the operator.

[分類される行動の種類例]
まず、分類部3312によって分類される行動の種類例を説明する。
図3は、本実施形態に係る分類部3312によって分類される行動の種類例を示す図である。図3のように、分類部3312は、例えば4つのクラス(第1クラス~第4クラス)に分類する。分類される操作者の行動は、例えば、リーチ(Reach)、グラスプ(Grasp)、ムーブ(Move)、リリース(Release)である。なお、リーチ動作とは、目標とする地点に腕を折曲させる動作である。グラスプとは、物体を把持する動作である。ムーブ動作とは、物体を移動させる、運ぶ動作である。リリース動作とは、把持した物体を離す、置く動作である。なお、分類部3312は、他につまむ(pinch)等の動作も分類してもよい。
[Examples of types of behavior classified]
First, examples of behavior types classified by the classification unit 3312 will be described.
FIG. 3 is a diagram showing examples of types of actions classified by the classification unit 3312 according to this embodiment. As shown in FIG. 3, the classification unit 3312 classifies, for example, into four classes (first class to fourth class). The classified operator actions are, for example, Reach, Grasp, Move, and Release. Note that the reaching motion is a motion of bending the arm toward a target point. A grasp is the action of grasping an object. A move action is an action to move or carry an object. A release operation is an operation of releasing or placing a gripped object. Note that the classification unit 3312 may also classify other actions such as pinching.

[分類例]
次に、分類部3312の分類方法例を説明する。
図4は、本実施形態に係る分類部3312の分類方法例を示す図である。図4のように、分類部3312は、少なくともHMD5とコントローラー6から取得された操作者センサ値を、学習済みのモデルに入力して、操作者の行動の分類結果の出力を得る。なお、この場合、特徴量抽出部3311は、操作者センサ値から特徴量を抽出しなくてもよい。なお、学習済みのモデルは、操作者センサ値を入力とし、操作者の行動の分類結果の教師データを用いて、機械学習手法(例えばニューラルネットワーク等)で学習して作成されたモデルである。また、学習済みのモデルは、分類部3312または記憶部37が記憶している。なお、機械学習手法は、ニューラルネットワーク以外(例えば決定木ベースの手法など)であってもよい。
[Classification example]
Next, an example of the classification method of the classification unit 3312 will be described.
FIG. 4 is a diagram showing an example of a classification method of the classification unit 3312 according to this embodiment. As shown in FIG. 4, the classification unit 3312 inputs at least the operator sensor values acquired from the HMD 5 and the controller 6 to the learned model, and obtains the output of the classification result of the operator's actions. In this case, the feature quantity extraction unit 3311 does not have to extract the feature quantity from the operator sensor value. Note that the learned model is a model created by learning with a machine learning method (for example, a neural network, etc.) using operator sensor values as input and teacher data of classification results of the operator's actions. Also, the learned model is stored in the classification unit 3312 or the storage unit 37 . It should be noted that the machine learning method may be other than the neural network (for example, a decision tree-based method, etc.).

なお、図4に示した例では、分類部3312が操作者センサ値を学習済みのモデル3321に入力して操作者の行動の分類結果の出力を得る例を説明したが、これに限らない。例えば、特徴量抽出部3311が操作者センサ値から特徴量を抽出し、分類部3312が抽出された特徴量に基づいて、操作者の行動の分類を行うようにしてもよい。 In the example shown in FIG. 4, the classification unit 3312 inputs the operator sensor values to the learned model 3321 and obtains the output of the classification result of the operator's behavior. However, the present invention is not limited to this. For example, the feature amount extraction unit 3311 may extract feature amounts from the operator sensor values, and the classification unit 3312 may classify the operator's actions based on the extracted feature amounts.

また、上述した例では、学習と推定の際、操作者センサ値を用いる例を説明したが、これに限らない。学習と推定の際の入力には、環境センサ値も用いるようにしてもよい。 Also, in the above example, an example in which operator sensor values are used in learning and estimation has been described, but the present invention is not limited to this. Environmental sensor values may also be used as inputs for learning and estimation.

[処理手順]
次に、ロボット遠隔操作制御装置3の処理手順を説明する。
図5は、本実施形態に係るロボット遠隔操作制御装置3の処理手順のフローチャートである。
[Processing procedure]
Next, the processing procedure of the robot remote control device 3 will be described.
FIG. 5 is a flow chart of the processing procedure of the robot remote control device 3 according to this embodiment.

(ステップS1)情報取得部31は、HMD5から操作者センサ値(視線ベクトル)を取得し、コントローラー6から操作者センサ値を取得し、環境センサ7から環境センサ値を取得する。 (Step S<b>1 ) The information acquisition unit 31 acquires an operator sensor value (line-of-sight vector) from the HMD 5 , an operator sensor value from the controller 6 , and an environment sensor value from the environment sensor 7 .

(ステップS2)特徴量抽出部3311は、操作者センサ値から特徴量を抽出する。 (Step S2) The feature amount extraction unit 3311 extracts feature amounts from the operator sensor values.

(ステップS3)分類部3312は、抽出された特徴量に基づいて、操作者の行動の分類を行う。 (Step S3) The classification unit 3312 classifies the behavior of the operator based on the extracted feature amount.

(ステップS4)制御指令生成部34は、推定された操作者の行動に基づいて、制御指令を生成する。 (Step S4) The control command generator 34 generates a control command based on the estimated operator's behavior.

(ステップS5)制御部21は、制御指令生成部34が生成した制御指令に基づいて、駆動部22を制御してロボット2の把持部等を駆動する。制御部21は、処理後、ステップS1の処理に戻す。 (Step S5) Based on the control command generated by the control command generating unit 34, the control unit 21 controls the driving unit 22 to drive the grasping unit of the robot 2 and the like. After the processing, the control unit 21 returns to the processing of step S1.

以上のように、本実施形態では、複数のセンサ値から操作者がどのようなアクションをしているかを、例えば学習済みのモデル等によって分類するようにした。 As described above, in the present embodiment, what kind of action the operator is taking is classified, for example, by a learned model or the like, based on a plurality of sensor values.

これにより、本実施形態によれば、操作者の体に装着したセンサ(HMD5、コントローラー6)から得られる情報から操作者がどのようなアクション(Reach/Grasp/Move/Release)をしているのか推定することができる。この結果、本実施形態によれば、先回りしてアライメントをサポートできる。これにより、本実施形態によれば、アライメントに掛かる時間を削減できる。
なお、アクション推定結果をアライメントに活用することも可能である。ロボット遠隔操作制御装置3は、例えば、アライメントの可否推定で、アライメントすると予測され、且つアクション推定の結果がMoveだった場合、Move中にアライメントをサポートするような制御(ロボットアームの特定の軸の動きを固定する)を実施するようにしてもよい。
Thus, according to the present embodiment, it is possible to determine what action (Reach/Grasp/Move/Release) the operator is performing based on the information obtained from the sensors (HMD 5, controller 6) attached to the operator's body. can be estimated. As a result, according to this embodiment, it is possible to proactively support alignment. Thus, according to this embodiment, the time required for alignment can be reduced.
Note that it is also possible to utilize the action estimation result for alignment. For example, when it is predicted that alignment will be performed in the alignment possibility estimation and the result of the action estimation is Move, the robot remote control device 3 performs control to support alignment during the move (e.g., control of a specific axis of the robot arm). fixing the movement) may be implemented.

<第2実施形態>
遠隔操作では、把持物体を任意の物体(以下アライメント基準物体と呼ぶ)の隣に揃えて置く(以下、アライメントと呼ぶ)操作は困難である。さらに、操作者の体に装着したセンサ(視線、頭の回転、手の位置・角度などを取得するセンサ)から得られる情報からは、操作者が把持物体を物体に対してどのようにアライメントするかは直接推定することが困難である。
<Second embodiment>
In remote control, it is difficult to align (hereinafter referred to as alignment) a gripped object next to an arbitrary object (hereinafter referred to as alignment reference object). Furthermore, from the information obtained from sensors attached to the operator's body (sensors that acquire line of sight, head rotation, hand position and angle, etc.), it is possible to determine how the operator aligns the gripped object with respect to the object. is difficult to estimate directly.

このため、本実施形態では、操作者が把持している把持物体をアライメント基準物体に対してどのようにアライメントする尤度(確率)が高いか計算して、アライメントのサポートを実現する。 Therefore, in the present embodiment, alignment support is realized by calculating the likelihood (probability) of aligning the gripped object gripped by the operator with respect to the alignment reference object.

図6は、本実施形態に係る把持物体のアライメントのサポートを説明するための図である。アライメント基準物体KObjは、テーブルTb上に既に置かれている物体である。第1の置き方候補Objaは、把持物体Objの長手方向が、アライメント基準物体KObjと同じ角度(角度0度とする)の例である。第2の置き方候補Objbは、把持物体Objの長手方向が、アライメント基準物体KObjに対して90角度の例である。なお、アライメント基準物体KObjは、仮想的な物体であってもよい。 FIG. 6 is a diagram for explaining support for alignment of a grasped object according to this embodiment. The alignment reference object KObj is an object already placed on the table Tb. The first placement candidate Obja is an example in which the longitudinal direction of the grasped object Obj is at the same angle as the alignment reference object KObj (angle of 0 degrees). The second placement candidate Objb is an example in which the longitudinal direction of the grasped object Obj is 90 degrees with respect to the alignment reference object KObj. Note that the alignment reference object KObj may be a virtual object.

なお、ロボット遠隔操作制御装置3は、これらの置き方候補を予め生成して保持している。また、図6に示した置き方候補は一例であり、これに限らない。
ロボット遠隔操作制御装置3は、このアライメント基準物体KObjに対して、現在把持されている把持物体Objが、どのような状態で置かれるのかの尤度(確率)を計算する。そして、ロボット遠隔操作制御装置3は、計算結果に応じてアライメントをサポートする。
It should be noted that the robot remote control device 3 generates and holds these placement method candidates in advance. Further, the placement candidate shown in FIG. 6 is an example, and the present invention is not limited to this.
The robot remote control device 3 calculates the likelihood (probability) of how the gripped object Obj currently gripped is placed with respect to this alignment reference object KObj. Then, the robot remote control device 3 supports alignment according to the calculation result.

[処理手順]
次に、ロボット遠隔操作制御装置3の処理手順を説明する。
図7は、本実施形態に係るロボット遠隔操作制御装置3の処理手順のフローチャートである。
[Processing procedure]
Next, the processing procedure of the robot remote control device 3 will be described.
FIG. 7 is a flow chart of the processing procedure of the robot remote control device 3 according to this embodiment.

(ステップS101)情報取得部31は、HMD5から操作者センサ値(視線ベクトル)を取得し、コントローラー6から操作者センサ値を取得し、環境センサ7から環境センサ値を取得する。 (Step S<b>101 ) The information acquisition unit 31 acquires an operator sensor value (line-of-sight vector) from the HMD 5 , an operator sensor value from the controller 6 , and an environment sensor value from the environment sensor 7 .

(ステップS102)アライメントサポート部332は、取得された環境センサ値に基づいて、アライメント基準物体KObjの位置と置かれ方を検出する。 (Step S102) The alignment support section 332 detects the position and placement of the alignment reference object KObj based on the acquired environmental sensor values.

(ステップS103)アライメントサポート部332は、取得された操作者センサ値、環境センサ値と、センサ27が検出した検出結果に基づいて、操作者の遠隔操作によってロボット2が把持している把持物体の状態を検出する。 (Step S<b>103 ) The alignment support unit 332 aligns the gripped object gripped by the robot 2 by the operator's remote control based on the obtained operator sensor value, the environment sensor value, and the detection result detected by the sensor 27 . Detect condition.

(ステップS104)アライメントサポート部332は、把持物体の置き方候補を生成する。 (Step S104) The alignment support unit 332 generates candidates for how to place the gripped object.

(ステップS105)アライメントサポート部332は、全ての置き方候補と、把持物体の状態との相対関係から、置き方候補毎の尤度(確率)を計算する。尤度(確率)lの計算は、例えば任意の置き方候補に対する把持物体の相対角度d(-180°≦d≦180°)に対して、次式(1)で計算する。 (Step S105) The alignment support unit 332 calculates the likelihood (probability) of each placement candidate from the relative relationship between all the placement candidates and the state of the gripped object. The likelihood (probability) l is calculated by the following equation (1) for the relative angle d (−180°≦d≦180°) of the grasped object with respect to any placement candidate, for example.

l=exp(-k・|d|) …(1) l=exp(−k·|d|) (1)

(1)式において、kは角度の異なり(相対角度の大きさ)に対して、尤度(確率)をどれだけ大きく算出するかを調整する定数である。(1)式より、把持物体の置き方候補に対する相対角度が小さいほど尤度(確率)が高くなる。 In equation (1), k is a constant that adjusts how large the likelihood (probability) is to be calculated with respect to the difference in angle (magnitude of relative angle). (1), the likelihood (probability) increases as the relative angle to the orientation candidate of the gripped object decreases.

なお、アライメントサポート部332は、例えば、現在の把持物体から各置き方候補への遷移確率等に基づいて尤度(確率)を計算する。なお、アライメントサポート部332は、操作者の手がブレることを補正するため、取得されたセンサ値から推定を行って値を安定化させるような処理(例えばカルマンフィルタ)後に尤度(確率)の計算を行うようにしてもよい。 Note that the alignment support unit 332 calculates the likelihood (probability) based on, for example, the transition probability from the current gripped object to each placement candidate. Note that the alignment support unit 332 performs processing (for example, a Kalman filter) for stabilizing the values by estimating from the acquired sensor values in order to correct the shake of the operator's hand, and then calculates the likelihood (probability). You may make it calculate.

把持物体の姿勢は、手の姿勢に大きく影響される。把持物体の姿勢に対して例えばカルマンフィルタによる姿勢推定をすることで、実際の観測値よりも安定(手ブレなどの影響が少ない)した姿勢を出力することができる。本実施形態では、その値を制御指令生成に利用するようにしてもよい。 The posture of a grasped object is greatly affected by the posture of the hand. By estimating the posture of the grasped object using, for example, a Kalman filter, it is possible to output a posture that is more stable (less affected by camera shake, etc.) than the actual observed value. In this embodiment, the value may be used to generate the control command.

(ステップS106)制御指令生成部34は、計算された尤度(確率)が最も高い置き方候補の置き方をサポートするように、制御指令を生成する。 (Step S106) The control command generation unit 34 generates a control command so as to support the placement method of the placement method candidate with the highest calculated likelihood (probability).

(ステップS107)制御部21は、制御指令生成部34が生成した制御指令に基づいて、駆動部22を制御してロボット2の把持部等を駆動する。 (Step S<b>107 ) Based on the control command generated by the control command generation unit 34 , the control unit 21 controls the drive unit 22 to drive the grasping unit of the robot 2 and the like.

(ステップS108)制御部21は、操作者の遠隔操作に応じて、把持物体を例えばテーブル上に置いたか否かを判別する。制御部21は、把持物体を例えばテーブル上に置いたと判別した場合(ステップS108;YES)、処理を終了する。制御部21は、把持物体を例えばテーブル上に置いていないと判別した場合(ステップS108;NO)、ステップS101の処理に戻す。 (Step S108) The control unit 21 determines whether or not the gripped object is placed on, for example, a table, according to the operator's remote control. If the control unit 21 determines that the gripped object has been placed, for example, on the table (step S108; YES), the process ends. When the control unit 21 determines that the gripped object is not placed on, for example, the table (step S108; NO), the process returns to step S101.

以上のように、本実施形態では、操作者が把持物体をアライメント基準物体に対してどのようにアライメントする尤度(確率)が高いかを計算し、アライメントのサポートを実現するようにした。なお、上述した処理手順は一例であり、これに限らない。例えば、ステップS102~ステップS104の処理順番は、この順でなくてもよく、処理順番を入れ替えることも可能である。これらの処理は、例えば、ステップS102の処理後にステップS104の処理を行い、その後ステップS103の処理を行うようにしてもよい。これらの処理は、例えば、ステップS103の処理後にステップS102の処理を行い、その後ステップS104を行うようにしてもよい。 As described above, in the present embodiment, the likelihood (probability) of how the operator aligns the gripped object with respect to the alignment reference object is calculated to realize alignment support. Note that the processing procedure described above is an example, and is not limited to this. For example, the processing order of steps S102 to S104 does not have to be this order, and the processing order can be changed. As for these processes, for example, the process of step S104 may be performed after the process of step S102, and then the process of step S103 may be performed. As for these processes, for example, the process of step S102 may be performed after the process of step S103, and then step S104 may be performed.

これにより、本実施形態によれば、操作者が把持物体をどのような角度で離す(または置く、Place)するか確率的に計算することで、Placeのサポートを実行し、操作者がアライメントに掛かる時間とストレスの削減できる。 Thus, according to the present embodiment, by probabilistically calculating at what angle the operator releases (or places) the gripped object, Place support is executed, and the operator adjusts the alignment. It can save you time and stress.

なお、本実施形態は、上述した第1実施形態に適用することも可能である。 Note that this embodiment can also be applied to the first embodiment described above.

<第3実施形態>
遠隔操作による物体のPick&Placeなど、把持物体を(例えば机上などに存在する)任意の物体に対して近づけているとき(物体を把持してリーチングしているとき)、操作者の体に装着したセンサ(視線、頭の回転、手の位置・角度などを取得するセンサ)から得られる(時刻毎の)情報からは、操作者が把持物体を、任意の物体に対してアライメントをしようとしているのか否かをシステムが直接推定できない。
<Third Embodiment>
A sensor attached to the operator's body when a grasped object is approaching an arbitrary object (existing on a desk, etc.), such as when picking and placing an object by remote control (when grasping and reaching the object). From the information (at each time) obtained from (sensors that acquire line of sight, head rotation, hand position and angle, etc.), it is possible to determine whether the operator is trying to align the gripped object with an arbitrary object. The system cannot directly estimate whether

このため、本実施形態では、複数のセンサ値とロボット遠隔操作制御システムの状態から、操作者が把持させた物体を離す際に、離す処理の開始前に把持された物体に対してアライメントする前に、アライメントを行おうとしているのか否かを推定する。 For this reason, in the present embodiment, when releasing an object gripped by the operator based on a plurality of sensor values and the state of the robot remote operation control system, before starting the releasing process, before alignment is performed with respect to the gripped object. First, it estimates whether or not alignment is to be performed.

[分類例]
次に、分類部3312の分類方法例を説明する。
図8は、本実施形態に係る分類部3312の分類方法例を示す図である。図8のように、分類部3312は、少なくともHMD5とコントローラー6から取得された操作者センサ値を、学習済みのモデル3321Aに入力して、アライメントを行うか否かの分類結果の出力を得る。なお、この場合、意図推定部33の特徴量抽出部3311は、操作者センサ値から特徴量を抽出しなくてもよい。なお、学習済みのモデル3321Aは、操作者センサ値を入力とし、アライメントを行うか否かの教師データを用いて、機械学習手法(例えばニューラルネットワーク等)で学習して生成されたモデルである。また、学習済みのモデル3321Aは、分類部3312または記憶部37が記憶している。なお、機械学習手法は、ニューラルネットワーク以外(例えば決定木ベースの手法など)であってもよい。
[Classification example]
Next, an example of the classification method of the classification unit 3312 will be described.
FIG. 8 is a diagram showing an example of the classification method of the classification unit 3312 according to this embodiment. As shown in FIG. 8, the classification unit 3312 inputs at least the operator sensor values acquired from the HMD 5 and the controller 6 to the learned model 3321A, and obtains the output of the classification result as to whether or not to perform alignment. In this case, the feature quantity extraction unit 3311 of the intention estimation unit 33 does not have to extract the feature quantity from the operator sensor value. Note that the learned model 3321A is a model generated by learning by a machine learning method (for example, a neural network, etc.) using operator sensor values as input and teacher data indicating whether or not to perform alignment. Also, the learned model 3321A is stored in the classification unit 3312 or the storage unit 37 . It should be noted that the machine learning method may be other than the neural network (for example, a decision tree-based method, etc.).

なお、図8に示した例では、分類部3312が操作者センサ値を学習済みのモデル3321Aに入力してアライメントを行うか否かの分類結果の出力を得る例を説明したが、これに限らない。例えば、特徴量抽出部3311が操作者センサ値から特徴量を抽出し、分類部3312が抽出された特徴量に基づいて、アライメントを行うか否かの分類を行うようにしてもよい。 In the example shown in FIG. 8, the classifying unit 3312 inputs the operator sensor values to the learned model 3321A and outputs the classification result as to whether or not to perform alignment. do not have. For example, the feature quantity extraction unit 3311 may extract a feature quantity from the operator sensor values, and the classification unit 3312 may classify whether or not to perform alignment based on the extracted feature quantity.

また、上述した例では、学習と推定の際、操作者センサ値を用いる例を説明したが、これに限らない。学習と推定の際の入力には、環境センサ値も用いるようにしてもよい。 Also, in the above example, an example in which operator sensor values are used in learning and estimation has been described, but the present invention is not limited to this. Environmental sensor values may also be used as inputs for learning and estimation.

[処理手順]
次に、ロボット遠隔操作制御装置3の処理手順を説明する。
図9は、本実施形態に係るロボット遠隔操作制御装置3の処理手順のフローチャートである。
[Processing procedure]
Next, the processing procedure of the robot remote control device 3 will be described.
FIG. 9 is a flow chart of the processing procedure of the robot remote control device 3 according to this embodiment.

(ステップS201)情報取得部31は、HMD5から操作者センサ値(視線ベクトル)を取得し、コントローラー6から操作者センサ値を取得し、環境センサ7から環境センサ値を取得する。 (Step S<b>201 ) The information acquisition unit 31 acquires an operator sensor value (line-of-sight vector) from the HMD 5 , an operator sensor value from the controller 6 , and an environment sensor value from the environment sensor 7 .

(ステップS202)アライメント可否予測部333は、取得された操作者センサ値、環境センサ値と、センサ27が検出した検出結果に基づいて、操作者の遠隔操作によってロボット2が把持している把持物体の状態を検出する。 (Step S202) Based on the obtained operator sensor value, the environment sensor value, and the detection result detected by the sensor 27, the alignment availability prediction unit 333 determines whether the gripped object gripped by the robot 2 is remotely controlled by the operator. to detect the state of

(ステップS203)アライメント可否予測部333は、例えば、取得された操作者センサ値を学習済みの学習モデルに入力して、アライメントの事前予測(アライメントをしようとしているか否か)を行う。 (Step S203) The alignment feasibility prediction unit 333, for example, inputs the acquired operator sensor values into a learned learning model to perform pre-prediction of alignment (whether or not alignment is to be performed).

(ステップS204)制御指令生成部34は、アライメントをしようとしているか否かの予測結果に基づいて、制御指令を生成する。 (Step S204) The control command generator 34 generates a control command based on the prediction result as to whether alignment is to be performed.

(ステップS205)制御部21は、制御指令生成部34が生成した制御指令に基づいて、駆動部22を制御してロボット2の把持部等を駆動する。 (Step S205) Based on the control command generated by the control command generating unit 34, the control unit 21 controls the driving unit 22 to drive the grasping unit of the robot 2 and the like.

(ステップS206)制御部21は、操作者の遠隔操作に応じて、把持物体を例えばテーブル上に置いたか否かを判別する。制御部21は、把持物体を例えばテーブル上に置いたと判別した場合(ステップS206;YES)、処理を終了する。制御部21は、把持物体を例えばテーブル上に置いていないと判別した場合(ステップS206;NO)、ステップS201の処理に戻す。 (Step S206) The control unit 21 determines whether or not the gripped object is placed on, for example, a table according to the operator's remote control. If the control unit 21 determines that the gripped object has been placed, for example, on the table (step S206; YES), the process ends. When the control unit 21 determines that the gripped object is not placed on, for example, the table (step S206; NO), the process returns to step S201.

以上のように、本実施形態では、操作者の体に装着したセンサから得られる情報を使って、操作者が物体を手に持って、任意の物体にリーチングしている段階で、アライメントしようとしているのか否かを事前に予測するようにした。なお、アライメント可否予測部333は、物体に対してアライメントする前の時点に予測するようにしてもよく、物体のリリースが完了する前であればいつでもよい。 As described above, in the present embodiment, information obtained from the sensor attached to the body of the operator is used to perform alignment when the operator is holding an object in his hand and reaching an arbitrary object. I tried to predict in advance whether or not there would be. Note that the alignment feasibility prediction unit 333 may make the prediction at a time before the object is aligned, or at any time before the release of the object is completed.

これにより、本実施形態によれば、ロボット遠隔操作制御装置3が操作者のアライメント意図を検出して先回りしてアライメントをサポートすることで、アライメントに掛かる時間を削減できる。 As a result, according to the present embodiment, the robot remote control device 3 detects the operator's alignment intention and proactively supports alignment, thereby reducing the time required for alignment.

なお、本実施形態は、上述した第1実施形態、および第2実施形態のうちの少なくとも1つに適用することも可能である。 It should be noted that this embodiment can also be applied to at least one of the above-described first embodiment and second embodiment.

なお、意図推定部33は、操作者状態情報と、ロボット2の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に予測するようにしてもよい。 Note that the intention estimation unit 33 may predict in advance the future trajectory of the hand intended by the operator based on the operator state information and the state information of the robot 2 .

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、ロボット遠隔操作制御装置3は、例えば、ロボット2の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。 In addition, since the coordinate system differs between the environment operated by the operator and the operating environment of the robot, the robot remote control device 3 calibrates the operating environment of the operator and the operating environment of the robot when the robot 2 is activated, for example. may

また、把持の際、ロボット遠隔操作制御装置3は、ロボット2の把持力と、物体と把持部222との摩擦力等に基づいて、把持時の把持位置の誤差を補正して、把持位置を決定するようにしてもよい。 Further, when gripping, the robot remote control device 3 corrects an error in the gripping position at the time of gripping based on the gripping force of the robot 2, the frictional force between the object and the gripping part 222, etc., and adjusts the gripping position. You may decide.

また、上述したロボット2は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。 Further, the above-described robot 2 may be, for example, a bipedal walking robot, a stationary reception robot, or a working robot.

また、上述した例では、遠隔操作でロボット2に把持させる例を説明したが、これに限らない。 Also, in the above-described example, an example in which the robot 2 is caused to grip by remote control has been described, but the present invention is not limited to this.

また、上述した例では、操作者がHMD5を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。 Also, in the above example, an example in which the operator wears the HMD 5 has been described, but the present invention is not limited to this. Detection of line-of-sight information and provision of the robot state image to the operator may be performed by, for example, a combination of a sensor and an image display device.

なお、本発明におけるロボット遠隔操作制御装置3の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット遠隔操作制御装置3が行う全ての処理または一部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing all or part of the functions of the robot remote control device 3 of the present invention is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read by the computer system. , all or part of the processing performed by the robot remote control device 3 may be performed. It should be noted that the "computer system" referred to here includes hardware such as an OS and peripheral devices. In addition, the "computer system" shall include a system built on a local network, a system built on the cloud, and the like. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. In addition, "computer-readable recording medium" means a volatile memory (RAM) inside a computer system that acts as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. , includes those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Further, the above program may be transmitted from a computer system storing this program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in a transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be for realizing part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 As described above, the mode for carrying out the present invention has been described using the embodiments, but the present invention is not limited to such embodiments at all, and various modifications and replacements can be made without departing from the scope of the present invention. can be added.

1…ロボット遠隔操作制御システム、2…ロボット、3…ロボット遠隔操作制御装置、5…HMD、6…コントローラー、7…環境センサ、21…制御部、22…駆動部、23…収音部、25…記憶部、26…電源、27…センサ、222,222a,222b…把持部、31…情報取得部、33…意図推定部、331…動作推定部、3311…特徴量抽出部、3312…分類部、332…アライメントサポート部、333…アライメント可否予測部、34…制御指令生成部、35…画像作成部、36…送信部、37…記憶部、51…画像表示部、52…視線検出部、53…センサ、54…制御部、55…通信部、61…センサ、62…制御部、63…通信部、64…フィードバック手段、71…撮影装置、72…センサ、73…物体位置検出部、74…通信部 DESCRIPTION OF SYMBOLS 1... Robot remote control system, 2... Robot, 3... Robot remote control device, 5... HMD, 6... Controller, 7... Environmental sensor, 21... Control part, 22... Drive part, 23... Sound pickup part, 25 Memory unit 26 Power supply 27 Sensors 222, 222a, 222b Grasping unit 31 Information acquiring unit 33 Intention estimating unit 331 Motion estimating unit 3311 Feature amount extracting unit 3312 Classifying unit , 332... Alignment support unit, 333... Alignment availability prediction unit, 34... Control command generation unit, 35... Image creation unit, 36... Transmission unit, 37... Storage unit, 51... Image display unit, 52... Line of sight detection unit, 53 ... sensor 54 ... control section 55 ... communication section 61 ... sensor 62 ... control section 63 ... communication section 64 ... feedback means 71 ... photographing device 72 ... sensor 73 ... object position detection section 74 ... communication department

Claims (9)

操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
検出された前記操作者の動きを示す情報である操作者センサ値を取得する情報取得部と、
前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する意図推定部と、
を備えるロボット遠隔操作制御装置。
In a robot remote operation that recognizes the movement of an operator and transmits the movement of the operator to a robot to operate the robot,
an information acquisition unit that acquires an operator sensor value that is information indicating the detected movement of the operator;
an intention estimating unit for estimating a motion of the operator, which is a motion instruction to the robot, using a model that has been learned from the operator sensor values;
A robot remote control device comprising:
前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、
前記意図推定部は、前記環境センサ値と前記操作者センサ値から学習済みのモデルを用いて、前記操作者が前記ロボットを操作して前記ロボットに把持させた把持物体をアライメントしようとしているのか否かを推定して、前記推定した結果に基づいて前記ロボットを駆動する制御指令値を生成する、
請求項1に記載のロボット遠隔操作制御装置。
The information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot,
The intention estimating unit uses a model that has been learned from the environment sensor values and the operator sensor values to determine whether the operator is trying to align the gripped object gripped by the robot by operating the robot. estimating whether or not, and generating a control command value for driving the robot based on the estimated result;
The robot remote control device according to claim 1.
前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、
意図推定部は、前記環境センサ値と前記操作者センサ値を用いて、前記操作者が前記把持物体に対して、どのような姿勢でアライメントしようとしているかの尤度を計算して、アライメントのサポートを行う、
請求項2に記載のロボット遠隔操作制御装置。
The information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot,
The intention estimating unit uses the environment sensor value and the operator sensor value to calculate the likelihood that the operator is going to align the gripped object in what kind of posture, thereby supporting alignment. I do,
The robot remote control device according to claim 2.
意図推定部は、前記操作者センサ値から推定を行って値を安定化させるような処理後に前記操作者が前記把持物体に対して、前記尤度を計算する、
請求項3に記載のロボット遠隔操作制御装置。
The intention estimation unit estimates from the operator sensor value and calculates the likelihood with respect to the gripped object by the operator after processing for stabilizing the value.
The robot remote control device according to claim 3.
前記情報取得部は、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られた環境センサ値を取得し、
前記意図推定部は、前記環境センサ値も学習済みのモデルに入力して、前記ロボットに対する動作指示である前記操作者の動作を推定する、
請求項1に記載のロボット遠隔操作制御装置。
The information acquisition unit acquires an environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot,
The intention estimating unit also inputs the environment sensor value to the learned model to estimate the operator's motion, which is a motion instruction to the robot.
The robot remote control device according to claim 1.
前記意図推定部は、前記操作者センサ値から特徴量を注出し、抽出した特徴量に基づいて前記ロボットに対する動作指示である前記操作者の動作を分類することで推定する、
請求項1または請求項5に記載のロボット遠隔操作制御装置。
The intention estimation unit extracts a feature amount from the operator sensor value, and estimates by classifying the operator's motion, which is an operation instruction to the robot, based on the extracted feature amount.
The robot remote control device according to claim 1 or 5.
請求項1から請求項6のうちのいずれか1つに記載の前記ロボット遠隔操作制御装置と、
操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
物体を把持する把持部と、
前記ロボットあるいは前記ロボットの周辺環境に設置され、環境センサ値を検出する環境センサと、
前記操作者の動きを操作者センサ値として検出する操作者センサと、
前記操作者の視界にあるロボット環境の画像を表示する画像表示装置と、
を備えるロボット遠隔操作制御システム。
The robot remote control device according to any one of claims 1 to 6;
In a robot remote operation that recognizes the movement of an operator and transmits the movement of the operator to a robot to operate the robot,
a gripping portion that grips an object;
an environment sensor installed in the robot or in the surrounding environment of the robot and detecting an environment sensor value;
an operator sensor that detects the movement of the operator as an operator sensor value;
an image display device for displaying an image of the robot environment within the field of view of the operator;
A robot remote control system.
操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
情報取得部が、前記操作者の動きを検知する操作者センサ値を取得し、
意図推定部が、前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定する、
ロボット遠隔操作制御方法。
In a robot remote operation that recognizes the movement of an operator and transmits the movement of the operator to a robot to operate the robot,
an information acquisition unit acquires an operator sensor value for detecting the movement of the operator;
an intention estimating unit estimating a motion of the operator, which is a motion instruction to the robot, using a learned model from the operator sensor values;
Robot remote control method.
操作者の動きを認識し、ロボットに操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、
コンピュータに、
検出された前記操作者の動きを示す情報である操作者センサ値を取得させ、
前記操作者センサ値から学習済みのモデルを用いて、前記ロボットに対する動作指示である前記操作者の動作を推定させる、
プログラム。
In a robot remote operation that recognizes the movement of an operator and transmits the movement of the operator to a robot to operate the robot,
to the computer,
obtaining an operator sensor value, which is information indicating the detected movement of the operator;
estimating a motion of the operator, which is a motion instruction to the robot, using a learned model from the operator sensor values;
program.
JP2021061170A 2021-03-31 2021-03-31 Robot remote operation control device, robot remote operation control system, robot remote operation control method and program Pending JP2022157123A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021061170A JP2022157123A (en) 2021-03-31 2021-03-31 Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
US17/707,930 US20220314449A1 (en) 2021-03-31 2022-03-29 Robot remote operation control device, robot remote operation control system, robot remote operation control method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021061170A JP2022157123A (en) 2021-03-31 2021-03-31 Robot remote operation control device, robot remote operation control system, robot remote operation control method and program

Publications (1)

Publication Number Publication Date
JP2022157123A true JP2022157123A (en) 2022-10-14

Family

ID=83559156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021061170A Pending JP2022157123A (en) 2021-03-31 2021-03-31 Robot remote operation control device, robot remote operation control system, robot remote operation control method and program

Country Status (1)

Country Link
JP (1) JP2022157123A (en)

Similar Documents

Publication Publication Date Title
US11344374B2 (en) Detection of unintentional movement of a user interface device
CN110662631B (en) Control device, robot control method, and robot control system
US11787037B2 (en) Behavior estimation apparatus, behavior estimation method, and behavior estimation program
JP2016047591A (en) Robot teaching device and method, and robot system
CN111319044B (en) Article grabbing method and device, readable storage medium and grabbing robot
WO2008001793A1 (en) Robot device and robot device control method
JP7117237B2 (en) ROBOT CONTROL DEVICE, ROBOT SYSTEM AND ROBOT CONTROL METHOD
JP2013180380A (en) Control device, control method, and robot apparatus
CN113056315B (en) Information processing apparatus, information processing method, and program
Chen et al. A human–robot interface for mobile manipulator
US20230226698A1 (en) Robot teleoperation control device, robot teleoperation control method, and storage medium
US11986746B2 (en) Information processing device and information processing method
JP6067547B2 (en) Object recognition device, robot, and object recognition method
EP4316747A1 (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method, and program
JP2022157123A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
US20220314449A1 (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method, and non-transitory computer readable medium
JP2022164028A (en) Remote operation control system, remote operation control method, and program
JP2022157127A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
JP2022155623A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
JP2022157119A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
JP2022157101A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
JP2011235380A (en) Control device
JP2022157110A (en) Robot remote operation control device, robot remote operation control system, robot remote operation control method and program
JP7360158B2 (en) Control system and control program
US20230234231A1 (en) Teleoperation assist device, teleoperation assist method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240702