CN109983510A - 机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质 - Google Patents

机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质 Download PDF

Info

Publication number
CN109983510A
CN109983510A CN201780072485.7A CN201780072485A CN109983510A CN 109983510 A CN109983510 A CN 109983510A CN 201780072485 A CN201780072485 A CN 201780072485A CN 109983510 A CN109983510 A CN 109983510A
Authority
CN
China
Prior art keywords
robot
operator
display
processing
incarnation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780072485.7A
Other languages
English (en)
Inventor
松野文俊
村田谅介
远藤孝浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto University
Original Assignee
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto University filed Critical Kyoto University
Publication of CN109983510A publication Critical patent/CN109983510A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23148—Helmet display, mounted on head of operator

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作计算机使如头戴式显示器那样的显示器显示如下视野图像，该视野图像示出：假如处于第一空间的操作员处于机器人所存在的第二空间中，出现在操作员的视野中的情形。然后，对机器人进行控制使得按照操作员的动作进行任务。

Description

机器人控制系统、机械控制系统、机器人控制方法、机械控制 方法和记录介质
技术领域
本发明涉及使机器人等机械按照操作员的动作进行动作的技术。
背景技术
操作员在使机器人实时地执行任务的情况下，通常要对机器人进行操作。作为在对机器人进行操作时使用的技术，例如，已知有如下技术。
专利文献1所记载的视觉装置按照操作者的头部的运动使搭载于作为机器人的从动装置上的拍摄装置拍摄影像并投放到头戴式显示器上。
专利文献2所记载的远程操作系统在开始喷射作业之前，用喷射器1的左照相机、右照相机拍摄隧道的喷射对象面的图像，并存储到存储器中。在开始喷射作业时，对喷射喷嘴的位置、方向等进行计测，估计喷射对象面的喷射量、喷射厚度，生成被喷射的砂浆的图像，并写入存储器中。此外，用左照相机、右照相机拍摄正在进行喷射的喷射喷嘴的图像，用图像合成部对该喷射喷嘴的图像、从存储器发送的喷射对象面、和被喷射的砂浆的图像进行合成，利用立体图像显示部将它们立体显示出来。操作员在观察该图像的同时对喷雾器进行远程操作。
非专利文献1中公开了具有与人的身体类似的构造的仿人型机器人的操作方法。非专利文献2中公开了移动机械臂的远程操作系统。
非专利文献3中公开了一种方法：该方法将机器人所在的远处再现到虚拟空间中，并示出用于在该虚拟空间中实现人手的模型和任务的工具。
此外，以往，在操作员对具有与人的身体不同的构造的机器人进行操作的情况下，可以使用操纵杆或游戏控制器等输入装置。以下，将这样的机器人记作“非仿人型机器人”。
现有技术文献
专利文献
专利文献1：日本特开平05-228855号公报
专利文献2：日本特开平06-323094号公报
非专利文献
非专利文献1：C.L.Fernando,M.Furukawa,T.Kurogi,S.Kamuro,K.Sato,K.Minamizawa,and S.Tachi,"Design of telesar v for transferring bodilyconsciousness in telexistence,"in Intelligent Robots and Systems(IROS),2012IEEE/RSJ International Conference on.IEEE,2012,pp.5112-5118
非专利文献2：C.Ha,S.Park,J.Her,I.Jang,Y.Lee,G.R.Cho,H.I.So n,andD.Lee,"Whole body multi-modal semi-autonomous teleoperation system of mobilemanipulator,"in IEEE International Conference on Robotics and Automation(ICRA).Seattle,WA.MAY 26-30,2015.IEEE,2015
非专利文献3：A.Kheddar,"Teleoperation based on the hidden robotconcept,"Systems,Man and Cybernetics,Part A:Systems and Humans,IEEETransactions on,vol.31,no.1,pp.1-13,2001
发明内容
发明要解决的课题
根据现有技术，在使非仿人型机器人进行动作的情况下，操作员需要预先掌握对输入装置进行怎样的操作能够使非仿人型机器人进行怎样的动作。并且，需要掌握操作。
期望缩短掌握如何使非仿人型机器人进行动作所需要的时间。特别是在灾害现场和事故现场等需要尽快进行处理的场所、由初学者使用非仿人型机器人的情况下，期望尽快地掌握如何使非仿人型机器人进行动作。在使机器人以外的机械进行动作的情况也同样如此。
本发明鉴于这样的课题，其目的在于使得操作员能够在未意识到机器人等机械的存在的情况下使机器人等机械进行动作。
用于解决课题的手段
本发明的一个方式的机器人控制系统在使操作员观看显示器所显示的图像的同时，对机器人进行控制以执行任务，其中，该机器人控制系统具有：显示单元，其使所述显示器显示如下视野图像，该视野图像示出：假如所述操作员位于所述机器人存在的空间中，出现在所述操作员的视野中的情形；以及控制单元，其生成如下控制命令并发送到所述机器人，该控制命令用于使所述机器人执行与所述操作员的动作对应的任务。
“任务”不仅包含拿笔的任务或用笔画圆的任务等复杂任务，也包含如使特定的部位仅进行动作的任务那样的简单任务。此外，还包含用于实现任务的人的动作与机器人的动作不同的任务。例如，关于拍摄照片的任务，人是通过采用按下照相机的快门的行动来进行，但机器人是利用搭载在该机器人上的照相机捕捉影像并保存来进行。像这样，机器人进行的任务有时并没有明显地显现出来。
本发明的一个方式的机械控制系统对机械进行控制，其中，该机械控制系统具有：显示单元，其使显示器显示如下视野图像，该视野图像示出：假如操作员位于所述机械所存在的空间中的所述机械的附近位置，出现在所述操作员的视野中的情形；以及控制单元，其对所述机械进行控制，使得在所述操作员进行了动作的情况下，使所述机械产生如下变化：该变化是假如所述操作员位于所述空间中的所述位置，通过所述动作使所述机器人产生的变化。
发明效果
根据本发明，操作员能够在未意识到机器人等机械的存在的情况下对机器人等机械进行操作。
附图说明
图1是示出远程作业系统的整体结构的例子的图。
图2是示出第一空间、第二空间和虚拟空间的例子的图。
图3是示出操作计算机的硬件结构的例子的图。
图4是示出作业支持程序的结构的例子的图。
图5是示出机器人的硬件结构的例子的图。
图6是示出初始化时的数据的流程的例子的图。
图7是示出第二空间坐标系与机器人坐标系的位置关系的例子的图。
图8是示出角度θhip、长度Lleg和距离Dstep的例子的图。
图9是示出机器人的移动时的数据的流程的例子的图。
图10是示出角度θbody的例子的图。
图11是示出机器人的移动的方向和距离的例子的图。
图12是示出显示虚拟空间的情形的图像时的数据的流程的例子的图。
图13是示出显示在头戴式显示器上的图像的例子的图。
图14是示出使把持部进行动作时的数据的流程的例子的图。
图15是示出虚拟空间中的虚拟机器人的配置和化身的移位的例子的图。
图16是示出显示在头戴式显示器上的图像的例子的图。
图17是示出障碍物的对策时的数据的流程的例子的图。
图18是示出机器人和辅助机器人进行协作的例子的图。
图19是示出用于支持远处的作业的处理的流程的例子的流程图。
图20是示出用于支持远处的作业的处理的流程的例子的流程图。
图21是示出用于支持远处的作业的处理的流程的例子的流程图。
图22是示出动力辅助服为控制对象的情况下的、第一空间、第二空间和虚拟空间的例子的图。
图23是示出动力辅助服为控制对象的情况下的、第一空间、第二空间和虚拟空间的第二例子的图。
图24是示出实验结果的例子的图。
具体实施方式
图1是示出远程任务执行系统5的整体结构的例子的图。图2是示出第一空间51、第二空间52和虚拟空间53的例子的图。
图1所示的远程任务执行系统5为使得操作员40能够在位于第一空间51时远程地进行图2所示的第二空间52中的任务的系统。例如，能够进行如下任务：搜索位于第二空间52中的笔61和面板62，并用笔61在面板62上画画。
在第二空间52中配置有机器人3，机器人3对存在于第二空间52中的各种物体直接地进行处理。
虚拟空间53为由计算机对第二空间52进行虚拟再现而得到的虚拟空间。在虚拟空间53中配置有操作员40的化身41。操作员40能够利用头戴式显示器12观察到化身41的视线所观察到的虚拟空间53的情形。由此，能够感觉到自己转移到化身41并位于虚拟空间53中。
当操作员40进行动作时，化身41也同样进行动作，并且，机器人3也与其联动地进行动作。
利用远程任务执行系统5的这种功能，操作员40能够在位于第一空间51的同时、远程地且在未意识到机器人3的情况下进行第二空间52中的任务。以下，说明该构造。
如图1所示，远程任务执行系统5由操作计算机10、头戴式显示器12、多台色彩距离传感器14、动作捕捉计算机16、通信线路2和机器人3等构成。
通信线路2为以太网线路、互联网、公共线路或专用线等通信线路，用于进行操作计算机10与机器人3之间的通信等后述的各种通信。
操作员40位于第一空间51中。头戴式显示器12被佩戴于操作员40的头部。作为头戴式显示器12，可以使用非透射型的HMD或透射型的HMD等。非透射型的HMD例如为OculusVR公司的Oculus rift。透射型的HMD例如为微软公司的HoloLens和谷歌公司的GoogleGlass。以下，以使用非透射型的HMD作为头戴式显示器12的情况为例进行说明。
多台色彩距离传感器14以能够无死角地对配置于第一空间51的中央附近的物体的前表面、后表面和两个侧面进行计测的方式设置于第一空间51中。以下，以设置3台色彩距离传感器141～143作为色彩距离传感器14的情况为例进行说明。
机器人3位于第二空间52中。并且，第二空间52中放置有笔61和面板62等各种物体。也可以在所放置的物体上搭载RFID(Radio Frequency Identification)等标签，设想机器人能够读入物体的信息的环境。
利用笔61在面板62上描绘图画。作为面板62，可以使用白板，作为笔61，可以使用水性笔。或者，作为面板62，也可以使用静电电容方式的触摸面板显示器。在该情况下，作为笔61，可以使用触摸笔。
操作计算机10设置于能够与头戴式显示器12和动作捕捉计算机16进行通信的位置。可以设置于第一空间51中，也可以设置于第一空间51的外部。
动作捕捉计算机16配置于能够与操作计算机10和色彩距离传感器141～143进行通信的位置。可以设置于第一空间51中，也可以设置于第一空间51的外部。
〔各装置的概要〕
图3是示出操作计算机10的硬件结构的例子的图。图4是示出任务辅助程序10j的结构的例子的图。图5是示出机器人3的硬件结构的例子的图。
说明构成远程任务执行系统5的各装置的主要功能。之后说明各装置的处理的详细内容。
操作计算机10主要根据操作员40的动作来生成对机器人3的指令，以及将操作员40的化身41如图2所示那样配置于虚拟空间53中并生成表示虚拟空间53的情形的图像的图像数据。以下，以可以使用个人计算机作为操作计算机10的情况为例进行说明。
如图3所示，操作计算机10由CPU(Central Processing Unit：中央处理装置)10a、RAM(Random Access Memory：随机存取存储器)10b、ROM(Read Only Memory：只读存储器)10c、辅助存储装置10d、无线通信装置10e、液晶显示器10f、扬声器10g和输入装置10h等构成。
无线通信装置10e经由通信线路2的无线基站而与头戴式显示器12、动作捕捉计算机16和机器人3进行通信。
液晶显示器10f显示表示消息的画面等。扬声器10g利用声音输出消息。
输入装置10h为键盘或定点设备，用于供操作员40或管理者将数据或指令输入到操作计算机10。
ROM 10c或辅助存储装置10d中存储有任务辅助程序10j。任务辅助程序10j为用于对机器人3进行控制以及使操作员40观看虚拟空间53的情形的程序。
如图4所示，任务辅助程序10j由初始化模块101、化身生成模块102、虚拟空间运算模块103、移动信息运算模块104、移动指令模块105、操纵模块106和解决方案模块107等软件模块等构成。虽然在本实施方式中划分有移动指令模块和操纵模块，但也可以在机器人3具有冗余自由度的情况等下，将移动基座和操纵器作为一体的系统进行控制。
初始化模块101在开始任务之前或重新开始任务之前，进行初始化的处理。
化身生成模块102按照操作员40的三维形状的计测结果而对应地生成化身41的数据。
虚拟空间运算模块103运算位于虚拟空间53中的物体的位置和姿态。并且，生成在从虚拟空间53中的特定位置起沿特定方向观察的情况下表示虚拟空间53的情形的图像的图像数据。还能够生成在将化身41配置于虚拟空间53中的情况下示出虚拟空间53的情形的图像的图像数据。作为运算和生成的技术，可以使用SLAM(Simultaneous LocalizationAnd Mapping：即时定位与地图构建)。
移动信息运算模块104运算基于操作员40的动作的移动的量和方向。
移动指令模块105按照操作员40的动作对应地生成用于使机器人3移动的指令，并将该指令发送至机器人3。
操纵模块106按照操作员40的动作对应地生成用于使机器人3的臂进行动作的指令，并发送至机器人3。
解决方案模块107为用于作出机器人3遭遇障碍物时的对策的模块。
任务辅助程序10j加载到RAM 10b中，由CPU 10a执行。作为辅助存储装置10d，可以使用SSD(Solid State Drive：固态硬盘)或硬盘等。
头戴式显示器12如上所述那样佩戴于操作员40的头部。而且，从操作计算机10接收图像数据，显示表示虚拟空间53的情形的图像。
色彩距离传感器141～143为RGB-D照相机或深度照相机，每隔规定的时间Ta对操作员40的人体的表面的各个点的颜色、以及各个点与色彩距离传感器141～143本身的距离进行计测。由此，每隔规定的时间Ta便能够获得各个点的RGBD(Red Green Blue Depth：红、绿、蓝和深度)数据。规定的时间Ta可以根据对操作员40的动作的分析能力的高低来任意决定，例如为每0.1秒访问1次的时刻。
而且，色彩距离传感器141～143在每次获得RGBD数据时，向动作捕捉计算机16发送该数据。作为色彩距离传感器141～143，例如可以使用微软公司的kinect传感器。
动作捕捉计算机16在每次从色彩距离传感器141～143被发送来RGBD数据时，根据RGBD数据和色彩距离传感器141～143各自被设置的位置来计算操作员40的全身的三维形状。然后，向操作计算机10发送表示计算出的三维形状的三维数据。作为动作捕捉计算机16，例如，可以使用安装有微软公司的Kinect for Windows SDK的计算机。
这样，动作捕捉计算机16每隔规定的时间Ta计算操作员40的全身的三维形状。三维形状的变化代表操作员40的动作。因此，可以说动作捕捉计算机16正在捕捉操作员40的动作。
如图1或图5所示，机器人3由壳体30、机器人计算机31、机器人控制器32、马达33、移动驱动器34、2个或4个车轮35、机械臂36、机械臂驱动器37、致动器38和色彩距离传感器39等构成。
机器人计算机31为用于进行机器人3的整体管理的计算机。例如，在从操作计算机10接收到特定的数据之后，向机器人控制器32传送。或者，向操作计算机10传送由机械臂36获得的数据。
此外，机器人计算机31根据由色彩距离传感器39获得的RGBD数据等，进行机器人计算机31的周围物体的建模，并且，计算物体的位置和姿态。机器人计算机31内置于壳体30中。
色彩距离传感器39为RGB-D照相机或深度照相机。作为色彩距离传感器39，可以使用Kinect传感器。色彩距离传感器39设置于壳体30的上表面，使得能够对机器人3的前方进行计测。另外，也可以设置于壳体30的上表面以外的位置。例如，也可以设置于把持部362。或者，还可以设置多台色彩距离传感器39。例如，也可以在壳体30的上表面上以朝向前方、右方、左方和后方的方式分别设置有4台色彩距离传感器39。
机器人控制器32内置于壳体30中，并对移动驱动器34或机械臂驱动器37发送指令，使得机器人3按照操作员40的动作对应地进行动作。
机械臂36替代人的手和手臂抓握物体或者使物体进行动作。机械臂36设置于壳体30的上表面，由臂部361和把持部362等构成。
臂部361具有用于使手末端具有6个自由度以上的线性运动关节和旋转关节，能够通过使这些关节弯曲或者伸展来改变位置和姿态。把持部362具有多个手指，能够通过调整多个手指彼此间的距离来抓握物体或者与物体分离。
致动器38对臂部361和把持部362进行驱动。机械臂驱动器37根据来自机器人控制器32的指令对致动器38进行控制，以对臂部361或把持部362进行驱动。另外，把持部362相对于壳体30的位置例如通过利用旋转编码器等对各关节的角度进行计测而求出。
壳体30的上表面到地板的高度大约为50～100公分。臂部361的长度为稍微比从人的手臂的根部到手指的前端的长度长的程度，为大约60～100公分。把持部362的两端的指部分开后的距离为稍微比人的手展开时的大拇指与小指的距离长的程度，为大约20～30公分。
根据这样的结构，把持部362在人站立于与机器人3相同的位置时，能够在与人的手可到达的范围相同的范围内或比其大的范围内进行动作。操作员40的可动范围和机器人3的可动范围可以不同。虽然在之后会叙述，在操作员40的可动范围与机器人3的可动范围不同从而机器人3无法实现与操作员40的动作对应的任务的情况下，通过使机器人的CG(Computer Graphics：计算机图形)进入到虚拟空间中，使操作员40知晓机器人3无法实现任务，从而实施用于进行应对的恢复处理。
在壳体30的右侧面和左侧面上各设置有1个或2个车轮35。以下，以作为车轮35的右车轮351和左车轮352分别设置在壳体30的右侧面和左侧面上的情况为例进行说明。
马达33内置于壳体30中，其驱动右车轮351和左车轮352。移动驱动器34内置于壳体30中，根据来自机器人控制器32的指令对马达33进行控制，以对右车轮351和左车轮352进行驱动。由此，机器人3进行移动。
〔对于第二空间52中的物体的处理〕
接着，对操作员40在位于第一空间51中的同时对第二空间52中的物体进行处理时的，针对各装置的处理进行说明。
〔初始化〕
图6是示出初始化时的数据的流程的例子的图。图7是示出第二空间坐标系与机器人坐标系之间的位置关系的例子的图。
操作员40在开始任务之前，使右脚403和左脚404对齐地站立在第一空间51中的、被色彩距离传感器141～143包围的位置处。然后，将开始指令70输入到操作计算机10
然后，操作计算机10利用初始化模块101进行初始化。以下，参照图6来说明初始化。
操作计算机10在被输入了开始指令70时，向色彩距离传感器141～143发送计测指令71。
另外，在操作员40的不能到达操作计算机10的情况下，也可以由操作员40利用无线设备输入开始指令70，还可以由辅助者替代操作员40输入开始指令70。或者也可以是，在操作员40输入开始指令70之后，在经过规定时间、例如10秒之后，发送计测指令71。
此外，优选为，在初始化完成之前操作员40静止而不进行动作。特别优选脸部401、右手402、右脚403和左脚404静止。
色彩距离传感器141～143在分别接收到计测指令71时，开始对操作员40的人体表面的各个点的颜色、以及各个点与色彩距离传感器141～143本身的距离进行计测。如上所述，每隔规定的时间Ta便进行计测。而且，色彩距离传感器141～143在每次通过计测获得RGBD数据7A时，将该数据向动作捕捉计算机16发送。
动作捕捉计算机16在分别从色彩距离传感器141～143接收到RGBD数据7A时，根据这些RGBD数据7A来计算操作员40的全身的三维形状。然后，向操作计算机10发送表示计算出的三维形状的三维数据7B。
操作计算机10在接收到第1个三维数据7B时，根据该三维数据7B所示出的三维形状来分别检测右手402、右脚403和左脚404。然后，计算操作员坐标系中的右手402的位置。以下，将该计算出的位置记作“初始位置P0”。在进行使用了双手的作业的情况下，不仅检测右手402，还检测左手407的位置。
“操作员坐标系”为如图2所示的三维坐标系。即，“操作员坐标系”为如下三维坐标系：其中，设连接右脚403的脚尖与左脚404的脚尖的线40L的中心为原点，设从右脚403的脚尖朝向左脚404的脚尖的方向为X1轴方向，设铅垂向上的方向为Z1轴方向，并且设与X1轴和Z1轴垂直且从操作员40的正面朝向背后的方向为Y1轴方向。
而且，操作计算机10向机器人计算机31发送以初始位置P0作为参数的初始化指令72。
机器人计算机31在接收到初始化指令72时，对机器人控制器32进行指示使其进行把持部362的位置的初始化。这时，将初始化指令72所示的初始位置P0通知给机器人控制器32。
这时，机器人控制器32对机械臂驱动器37进行指示，以使把持部362移动到机器人坐标系中的与初始位置P0对应的位置。
“机器人坐标系”为如下的三维坐标系：其中，设连接右车轮351和左车轮352分别接地的位置的线的中心为原点，设从右车轮351朝向左车轮352的方向为X4轴方向，设铅垂向上的方向为Z4轴方向，并且设与X4轴和Z4轴垂直且从机器人3的正面朝向背后的方向为Y4轴方向。以下，将该中心记作"机器人原点O4”。
即，如果初始位置P0为(X1a，Y1a，Z1a)，则机器人控制器32对机械臂驱动器37进行指示，以使把持部362移动到机器人坐标系中的(X1a，Y1a，Z1a)的位置。
这时，机器人控制器32将机器人坐标系中的该位置通知给机械臂驱动器37。
然后，机械臂驱动器37对致动器38进行控制，使得把持部362移动到所通知的位置。并且，机械臂驱动器37对致动器38进行控制，使得把持部362成为完全打开的状态，即，使得把持部362的多个指部彼此间的距离成为可得到的最长距离。
此外，机器人计算机31在指示进行把持部362的位置的初始化的同时，使色彩距离传感器39开始对机器人3的前方进行计测。
然后，色彩距离传感器39每隔规定的时间Ta便进行计测，在每次通过计测获得RGBD数据7C时，将该数据向机器人计算机31发送。另外，在初始化之后，也可以仅在机器人3正在移动的期间内进行机器人3的前方的计测和RGBD数据7C的发送。
而且，机器人计算机31在每次接收到RGBD数据7C时，将该RGBD数据7C发送到操作计算机10。
另外，必须要确定第二空间52的原点O2、X2轴方向、Y2轴方向和Z2轴方向。因此，如图7的(A)所示，操作计算机10将第二空间52中的、与进行初始化的时刻的机器人原点O4的位置相同的位置确定为原点O2。并且，将该时刻下的、从右车轮351朝向左车轮352的方向确定为X2轴方向。将铅垂向上的方向确定为Z2轴方向。而且，将与X2轴和Z2轴垂直并且该时刻下的、从机器人3的正面朝向背后的方向确定为Y2轴方向。将由X2轴、Y2轴和Z2轴构成的坐标系记作“第二空间坐标系”。
另外，在初始化的时刻，第二空间坐标系的XYZ的各个轴、即X2轴、Y2轴和Z2轴分别与机器人坐标系的XYZ的各个轴、即X4轴、Y4轴和Z4轴一致。在第二空间坐标系中，机器人3朝向Y2轴的负方向并停止在原点O2处。但是，如图7的(B)所示，机器人坐标系相对于第二空间坐标系的位置伴随机器人3在第二空间52、即第二空间坐标系中进行移动而变化。
通过以上的处理，初始化模块101的初始化完成。在初始化之后，化身41和机器人3按照操作员40的动作对应地进行动作。即，操作员40、化身41和机器人3被链接。对操作员40来说，可感觉到化身41随着自身的动作进行动作，且机器人3伴随于化身41的动作而自主地进行动作。因此，操作员40能够在没有意识到机器人3并且没有直接接触的情况下经由机器人3处理第二空间52中的物体。同时进行用于显示虚拟空间53的图像的处理和用于机器人3的移动的处理。以下，说明这些处理。
〔机器人3的移动〕
图8是示出角度θhip、长度Lleg和距离Dstep的例子的图。图9是示出机器人3移动时的数据流的例子的图。图10是示出角度θbody的例子的图。图11是示出机器人3的移动的方向和距离的例子的图。
当操作员40在第一空间51中步行或踏步时，化身41移动，机器人3也移动。并且，能够通过改变自己的正面的朝向，改变机器人3前进的方向。首先，以操作员40进行踏步的情况为例，参照图8来说明机器人3前进时的处理。在后文叙述化身41的移动。关于在第一空间51中步行的情况下的处理也在后文中叙述。
操作计算机10利用移动信息运算模块104以如下方式计算应该使机器人3移动的距离和朝向。
如上所述，在初始化完成之后，也是每隔规定的时间Ta，从动作捕捉计算机16向操作计算机10发送三维数据7B。
另外，在操作员40进行1次抬脚的期间内，操作员40的右腿405和左腿406的角度θhip发生如下变化。当操作员40开始抬高左脚404时，角度θhip从0度起逐渐变大。如图9的(A)所示，在左脚404上升为最高时，角度θhip成为最大。而且，当使左脚404开始下降时，角度θhip逐渐变小，恢复成0度。
操作计算机10根据三维数据7B来判别右脚403或左脚404的位置是否存在变化，如果存在变化，则计算右腿405和左腿406各自的、每规定时间Ta的角度θhip。
并且，操作计算机10根据三维数据7B来计算右腿405或左腿406的长度Lleg。另外，长度Lleg仅计算1次即可。可以在初始化时预先计算。
而且，操作计算机10根据下述的(1)式，计算距离Dstep。
距离Dstep是如下距离：如果操作员40没有进行踏步而是进行了步行，则根据该距离推测出操作员进行前进。
即，操作计算机10根据长度Lleg和在规定的时间Ta中角度θhip的变化的比例来计算距离Dstep。另外，时刻Ti为第i个样本时刻，时刻(Ti-1)为前一个时刻(以时刻Ti为基准的时间Ta之前)。
操作计算机10也可以通过其他方法计算距离Dstep。例如，如图9的(B)所示，操作计算机10也可以在角度θhip处于最大时视作操作员40前进了一步，使用三角函数来计算距离Dstep。根据该方法，分辨率比使用(1)式的方法差，但能够减少计算量。
或者，操作员40或辅助者预先对操作员40实际上以各种步幅W步行时的双脚的最大角度θhmx进行计测，求出步幅W与角度θhmx的关系式：W＝f(θhmx)。而且，操作计算机10可以在操作员40进行踏步时，计算角度θhip的最大值，并将该最大值代入该式的θhmx中，由此，计算出步幅W作为距离Dstep。该方法的分辨率也比使用(1)式的方法差，但能够减少计算量。
此外，操作计算机10根据三维数据7B以如下方式计算操作员40的正面的朝向的变化。
操作计算机10在初始化之后，持续监视第一空间51中的线40L的朝向，即连接右脚403的脚尖与左脚404的脚尖的线的朝向。而且，如图10所示，在线40L的朝向产生变化时，计算变化后的朝向相对于变化前的朝向的角度θbody。由此，可计算操作员40在多大程度上改变了自己的正面的朝向。
利用移动信息运算模块104以上述的方式计算出应该使机器人3移动的距离和朝向。
另外，在操作员40通过抬高右腿405或左腿406来改变自己的正面的朝向时，存在操作计算机10错误检测成踏步的情况。因此，优选操作员40在将右脚403和左脚404与地板接触着的状态下改变朝向。或者，操作计算机10可以在角度θhip小于规定的角度的情况下，不计算距离Dstep。
操作计算机10在由移动信息运算模块104计算出距离Dstep或角度θhip时，利用移动指令模块105按照如下方式对机器人计算机31给出指令。
操作计算机10在利用移动信息运算模块104计算出距离Dstep的情况下，向机器人计算机31发送以该距离Dstep为参数的前进指令73。或者，在计算出角度θbody的情况下，向机器人计算机31发送以该角度θbody为参数的方向转换指令74。
机器人计算机31在接收到前进指令73或方向转换指令74时，向机器人控制器32传送这些指令。
机器人控制器32在初始化之后接收到前进指令73而未接收到方向转换指令74的情况下，对移动驱动器34进行指示，使得笔直前进前进指令73所示的距离Dstep。或者，在前一次前进了1步之后，与接收到前进指令73而未接收到方向转换指令74的情况同样，对移动驱动器34进行指示，使得前进前进指令73所示的距离Dstep。
然后，如图11的(A)所示，移动驱动器34对马达33进行控制，使得机器人3在不改变行进方向的情况下直线前进距离Dstep。
或者，在初始化之后，在接收到方向转换指令74之后接收到前进指令73的情况下，对移动驱动器34进行指示，使得向方向转换指令74所示的角度θbody的方向前进前进指令73所示的距离Dstep。
然后，如图11的(B)所示，移动驱动器34对右车轮351和左车轮352的朝向和马达33进行控制，使得机器人3向角度θbody的方向前进距离Dstep。
此外，移动驱动器34在机器人3正在移动的期间内，每隔规定的时间Ta对机器人3在第二空间52中的当前位置和姿态进行计算，并向机器人计算机31发送表示计算出的位置和姿态的状态数据7D。
机器人计算机31在每次接收到状态数据7D时，向操作计算机10传送该状态数据7D。
〔虚拟空间53的图像显示〕
图12是示出显示虚拟空间53的情形的图像时的数据流的例子的图。图13是示出头戴式显示器12所显示的图像的例子的图。
在初始化完成之后，以如下方式进行用于显示虚拟空间53中的图像的处理。以下，参照图12来说明该处理。
当输入了开始指令70时，如上所述那样，利用色彩距离传感器141～143开始RGBD的计测，利用动作捕捉计算机16开始三维形状的计算。
在初始化完成之后，色彩距离传感器141～143依然继续RGBD的计测，动作捕捉计算机16也依然继续三维形状的计算。由此，每隔规定的时间Ta，从动作捕捉计算机16向操作计算机10发送三维数据7B。
操作计算机10在每次被发送了三维数据7B时，通过使用化身生成模块102对三维数据7B实施加工而生成化身41的化身数据7E。作为加工，例如实施三维形状的圆滑化的处理。
或者，动作捕捉计算机16也可以先计算操作员40的三维形状并生成三维数据7B，在将三维数据7B发送到操作计算机10之后，不继续生成并发送三维数据7B，而是向操作计算机10通知操作员40的表面的点中的、发生了变化的点的变化后的坐标。
在该情况下，操作计算机10在最初被通知了变化后的坐标时，通过按照该坐标而对应地校正三维数据7B，生成化身数据7E。然后，每当被通知了变化后的坐标时，与该坐标对应地校正化身数据7E。
如上所述，操作计算机10每隔规定的时间Ta便从机器人计算机31被发送RGBD数据7C。在初始化之后，存在进一步被发送状态数据7D的情况。
操作计算机10在每次接收RGBD数据7C、生成或校正化身数据7E时，利用虚拟空间运算模块103进行以下的处理。
操作计算机10在接收到RGBD数据7C时，根据RGBD数据7C来再现第二空间52，由此来计算位于虚拟空间53中的虚拟物体的位置和姿态。由此，笔61和面板62等第二空间52中的各物体在保持着各物体的相对关系的状态下在虚拟空间53中被虚拟出来。
另外，由于机器人原点O4与色彩距离传感器39的位置不一致，因此操作计算机10也可以按照二者之差而对应地校正物体的位置和姿态。
此外，直到机器人3开始移动为止、即、直到接收到状态数据7D为止，操作计算机10都是以机器人3朝向Y2轴的负方向并位于原点O2的前提下对第二空间52进行再现的。在接收到状态数据7D之后，则以机器人3处于该状态数据7D所示的位置和朝向为前提对第二空间52进行再现。位置和姿态能够通过微软公司的kinect的技术来计算。
或者，操作计算机10在利用化身生成模块102生成或校正了化身数据7E时，以与第二空间52中的、机器人3的当前位置和朝向相匹配的方式、根据该化身数据7E来在虚拟空间53中配置化身41或使化身41移动。
化身41的初始位置为虚拟空间坐标系的原点。虚拟空间坐标系为虚拟空间53的坐标系，且为如下三维坐标系：设从初始时的化身41的右脚的脚尖朝向左脚的脚尖的方向为X3轴方向、设铅垂向上的方向为Z3轴方向、并且设与X3轴和Z3轴垂直且从化身41的正面朝向背后的方向为Y3轴方向。
在已经完成了化身41的配置的情况下，操作计算机10对化身41进行更新，使之成为该化身数据7E所示的三维形状。
虚拟空间53中的化身41的配置和化身41的更新可以通过SLAM(SimultaneousLocalization And Mapping：即时定位与地图构建)的技术来进行。
并且，操作计算机10利用虚拟空间运算模块103每隔规定的时间Ta检测虚拟空间53中的化身41的双眼的位置，并计算从该位置起的视线的方向。以下，将虚拟空间53中的化身41的双眼的位置记作“双眼位置”。也可以不检测化身41的双眼，而检测头戴式显示器12的位置来作为双眼位置。然后，生成从双眼位置起沿视线的方向观察的情况下的、表示虚拟空间53中的物体的外观的图像的图像数据7F，并将该图像数据7F发送到头戴式显示器12。可以说该图像表示出现在操作员40的视野中的外观。
头戴式显示器12在每次接收图像数据7F时显示图像数据7F所表示的图像。
根据以上的处理，当操作员40使脸部401移动时，化身41的双眼位置和视线的方向也伴随脸部401的移动而改变，虚拟空间53中的物体的外观的图像也伴随脸部401的移动而改变。因此，操作员40能够通过每隔规定的时间Ta观察所显示的图像，而感觉到自己位于第二空间52或虚拟空间53中。由于图像每隔规定的时间Ta改变，因此可以说头戴式显示器12显示的是动态图像。
此外，所显示的图像是从双眼位置观察到的图像。因此，这些图像中没有示出化身41的整体，如图13所示，例如，仅示出手臂和手。
为了抑制遮挡的问题，也可以使化身41的图像为半透明。或者，在操作员40没有执行任务时、即没有使右手402进行动作时，可以不显示化身41的图像。或者，也可以设置成能够通过指令对化身41的图像的不透过显示、半透明显示和不显示进行切换。在使用透射型的HMD作为头戴式显示器12的情况下，预先默认不显示化身41的图像，通过指令对化身41的图像的不透过显示、半透明显示和非显示进行切换即可。
〔手的动作〕
图14是示出使把持部362进行动作时的数据流的例子的图。
操作员40能够通过使右手402移动而使把持部362移动。以下，参照图14来说明使把持部362移动的处理。
操作计算机10在初始化之后，利用操纵模块106进行以下的处理。
操作计算机10在每次接收三维数据7B时，计算操作员坐标系中的右手402的位置，对位置是否存在变化进行监视。
而且，在检测到右手402的位置存在变化时，操作计算机10向机器人计算机31发送以右手402的最新的位置的坐标为参数的操纵指令75。
机器人计算机31在接收到操纵指令75时，将该操纵指令75传送到机器人控制器32。
机器人控制器32对机械臂驱动器37进行指示，使得使把持部362移动到操纵指令75所示的在机器人坐标系中的坐标的位置。
然后，机械臂驱动器37对致动器38进行控制，使得把持部362按照右手移动量来移动。
通过在每次右手402的位置改变时进行该处理，使把持部362如右手402的移动那样进行移动。臂部361也可以不像操作员40的右手臂的移动那样进行移动。
此外，如上述所说明那样，化身41的形状伴随操作员40的三维形状的变化而发生变化。因此，化身41的右手也像右手402的运动那样进行移动。
因此，当操作员40使右手402进行动作时，化身41也以相同的方式使右手进行动作，并且，机器人3也以相同的方式使把持部362进行动作。即，右手402、化身41的右手和把持部362各自的动作的矢量一致。
即使操作员40不想使把持部362进行动作，但在操作员40进行踏步时和改变自己的正面的朝向时，右手402有时也会进行动作。此时，把持部362会违背操作员40的意图而进行动作。
因此，操作计算机10可以仅在右脚403和左脚404未进行动作的情况下，监视右手402的位置的变化。
此外，操作计算机10监视右手402的位置的变化，并同时监视右手402的手指的开闭。而且，在检测到手指已合上的情况下，将封闭指令76发送到机器人计算机31。另一方面，在检测到手指已打开的情况下，将打开指令77发送到机器人计算机31。
机器人计算机31在接收到封闭指令76时，将该封闭指令76传送到机器人控制器32。
机器人控制器32在接收到封闭指令76时，对机械臂驱动器37进行指示，使把持部362关闭。
这时，机械臂驱动器37对致动器38进行控制，使得把持部362的多个手指彼此间的距离逐渐变小。另外，可以预先在任意一个手指上安装感压传感器，在感压传感器检测出恒定的压力的情况下，使这些手指的动作停止。
另一方面，在接收到打开指令77时，机器人计算机31对机械臂驱动器37进行指示，使得打开把持部362。
这时，机械臂驱动器37对致动器38进行控制，使得把持部362成为完全打开的状态。
利用操纵模块106，如上所述，能够与右手402的动作相匹配地改变把持部362的位置或者将把持部362关闭或打开。
〔物体的处理的具体例〕
操作员40在第一空间51中进行踏步、改变朝向、以及观察显示在头戴式显示器12上的图像的同时，在虚拟空间53中搜索笔61和面板62。在发现笔61和面板62之后，进行踏步或者改变朝向，并欲移动到笔61和面板62的附近。伴随着操作员40的动作，化身在虚拟空间53中移动，机器人3在第二空间52中移动。
并且，操作员40在认为右手402可以接触到笔61时，伸出右手402。在通过显示在头戴式显示器12上的图像确认了右手402已到达笔61之后，合上右手402。此时，化身41处于欲抓握笔61的状态。并且，在第二空间52中，机器人3利用把持部362抓握笔61。
而且，操作员40通过使右手402移动，使笔61移动至面板62的表面的位置，在认为笔61的尖接触到面板62的表面时，以画圆的方式使右手402移动。还可以使用触觉反馈设备向操作员提示触觉、力觉。然后，机器人3按照右手402的动作对应地使把持部362进行动作。由此，用笔61在面板62的表面上描绘出圆形。
显示在头戴式显示器12上的图像为从化身41的双眼位置起观察到的图像。因此，操作员40能够沉浸于虚拟空间53中，在未意识到机器人3的存在的情况下，获得用自己的腿移动并用自己的手处理物体的感觉。
在本例子中，以拿笔画圆的任务为例进行了说明，但如组装作业或加工作业的各种更加复杂的任务或如仅使特定的部位移动这样的简单任务也包含在本发明的“任务”中。此外，还包含伴随着操作员40用右手402按下快门的动作，机器人3利用机器人3所具备的数字照相机拍摄照片等机器人的动作并没有明显地显现出来的任务。
〔障碍物的对策〕
图15是示出为了在应对障碍物时改变化身40的视角而将虚拟机器人3A配置于虚拟空间53中并使化身41移位的例子的图。图16是示出显示在头戴式显示器12上的图像的例子的图。图17是示出障碍物的对策时的数据流的例子的图。图18是示出机器人3和辅助机器人3X进行协作的例子的图。
另外，机器人3在移动中有时会遇到障碍物。如果是操作员40和化身41的话，则能够跨越障碍物前进，但机器人3有时无法前进。此时，机器人3有时无法跟随化身41到达作为移动目的地的位置。
在这样的情况下，机器人3能够自动地进行迂回而移动到化身41的移动目的地的位置。
但是，有时机器人3即使使用自动迂回的功能，也无法移动到化身41的移动目的地的位置。因此，使用解决方案模块107。通过解决方案模块107，能够使机器人3越过障碍物或者从障碍物后退。
机器人3在无法移动到化身41的移动目的地的位置的情况下，向操作计算机10通知该情况。此时，在头戴式显示器12上显示该情况的消息和图像信息。
操作员40在利用该消息、图像信息通知虽然进行了抬脚但机器人3也不前进之后，输入解决方案指令81。
或者，可以使移动驱动器34检测即使持续接收到前进指令73但也不前进的情况。然后，移动驱动器34经由机器人计算机31向操作计算机10发送障碍通知信号82即可。
操作计算机10在被输入解决方案指令81或接收到障碍通知信号82之后，停止移动信息运算模块104、移动指令模块105和操纵模块106，以切断操作员40及化身41与机器人3的连接。
操作计算机10利用虚拟空间运算模块103，以如下方式执行虚拟空间53中的对象的配置的变更处理。
如图15所示，操作计算机10将对机器人3的三维形状进行虚拟而得到的虚拟机器人3A配置于虚拟空间53中的与第二空间52的机器人3的当前位置对应的位置。虚拟机器人3A的朝向也与机器人3的当前的朝向一致。
并且，操作计算机10使化身41从被配置的位置向虚拟机器人3A的正后方移位规定的距离。例如，从虚拟机器人3A的背面向后方移位20公分。另外，虚拟机器人3A的三维数据通过对机器人3进行三维计测来预先准备即可。也可以使用机器人的CAD(Computer-aidedDesign：计算机辅助设计)数据。
然后，操作计算机10在利用化身生成模块102生成或校正了化身数据7E时，将化身41配置于移位后的位置，而不是机器人3的当前位置。
然后，操作计算机10生成表示从化身41的移位后的双眼位置起沿视线方向观察到的情形的图像的图像数据7F，并发送到头戴式显示器12。
而且，头戴式显示器12在每次接收图像数据7F时，显示图像数据7F所表示的图像。但是，由于化身41的位置发生了移位，所以显示如图16那样的从虚拟机器人3A的背后观察到的环境的情形的图像。
操作计算机10利用解决方案模块107进行使机器人3越过障碍物或者从障碍物后退的处理。以下，参照图17来说明该处理。
操作员40通过观察图像来确认机器人3的周围的情形。如果机器人3看似能够越过障碍物，则将右手402和左手407向自己的前方伸出，推压按压机器人3的背面。
在使右手402和左手407伸出的中途，通过虚拟空间运算模块103的处理，将化身41的右手及左手与虚拟机器人3A的背面接触的情形的图像显示在头戴式显示器12上。操作员40继续使右手402和左手407进一步伸出。
操作计算机10在检测到化身41的右手和左手已到达虚拟机器人3A的背面时，向机器人计算机31发送提高输出指令83。
机器人计算机31在接收到提高输出指令83之后，将该提高输出指令83传送到机器人控制器32。
机器人控制器32在接收到提高输出指令83之后，指示移动驱动器34将转速提高至比平常高。
此时，移动驱动器34对马达33进行控制，使得右车轮351和左车轮352比通常更高速地旋转，或者，以比通常更高的加速度旋转。由此，机器人3有时可以越过障碍物，有时无法越过障碍物。或者，在机器人3为具有升降鳍的履带式机器人的情况下，与障碍物相匹配地调整升降鳍的角度，从而越过障碍物。
另外，也可以构成为，右车轮351和左车轮352的转速或加速度与右手402和左手407伸出的速度成比例地升高。在该情况下，只要将该速度作为参数预先添加到提高输出指令83中即可。然后，移动驱动器34只要对马达33进行控制使得右车轮351和左车轮352以与该参数对应的转速或加速度旋转即可。也可以构成为与接下来说明的、使机器人3后退的情况同样，右车轮351和左车轮352的转速或加速度与弯曲右手402的速度相对应地升高。
或者，在机器人3看似无法越过障碍物的情况或者未能越过的情况下，操作员40开始使右手402向自己的前方伸展，以抓住壳体30或机械臂36而使机器人3向后方后退。
在使右手402伸出的中途，通过虚拟空间运算模块103的处理，将化身41的右手与虚拟机器人3A的壳体或机械臂接触的情形显示在头戴式显示器12上。这里，操作员40以抓握壳体或机械臂的方式合上右手402，以将壳体或机械臂拉向自己的方式开始弯曲右手402。
此时，操作计算机10向机器人计算机31发送后退指令84。
机器人计算机31在接收到后退指令84时，将该后退指令84传送到机器人控制器32。
机器人控制器32在接收到后退指令84时，对移动驱动器34进行指示以进行后退。
此时，移动驱动器34对马达33进行控制，使得右车轮351和左车轮352进行反向旋转。由此，机器人3后退。
或者，操作员40也可以通过改变踏步或方向，使化身41从虚拟机器人3A的后方绕到前方，通过按压虚拟机器人3A的前表面使虚拟机器人3A后退。
操作员40在成功地使机器人3越过障碍物、或者、成功地使机器人3后退之后，将重新开始指令78输入到操作计算机10。
此时，操作计算机10从虚拟空间53删除虚拟机器人3A，结束解决方案模块107的处理。然后，利用初始化模块101再次进行初始化的处理。此外，在初始化之后，重新启动化身生成模块102、虚拟空间运算模块103、移动信息运算模块104、移动指令模块105和操纵模块106。由此，由于操作员40及化身41与机器人3再次连接，因此操作员40能够沉浸于虚拟空间53中并重新开始目标任务。对于在解决方案模块107启动之前由虚拟空间运算模块103计算出的、位于虚拟空间53中的物体的位置和姿态的数据，不将其删除，可以再次使用。
在本例子中，操作计算机10通过按照右手402或左手407的动作对应地将提高输出指令83或后退指令84发送到机器人3，而使机器人3进行动作。
但是，也可以使具有与机器人3相同的功能的辅助机器人到达第二空间52中的与化身41的位置对应的位置，并使辅助机器人进行越过障碍物或者从障碍物后退的任务。在该情况下，使操作员40和化身41不与机器人3连接，而与辅助机器人连接即可。连接的处理如上所述。而且，辅助机器人在完成任务之后，从机器人3的位置离开。操作计算机10利用初始化模块101再次进行初始化的处理。
这样，通过解决方案模块107，操作员40能够沉浸于虚拟空间53中并通过像与机器人3或虚拟机器人3A直接接触那样的感觉执行障碍物的对策。
在产生了除了遭遇障碍物以外的特定事件的情况下，操作计算机10可以以同样方式执行障碍物的对策的处理。例如，在把持部362未与右手402的移动联动的情况、或者、用于隐藏壳体30的内部的面板被打开的情况下，可以进行相同的处理。
或者，操作计算机10也可以使化身41不移位到虚拟机器人3A的后方，而是移动到前方、左方或右方。
或者，在操作员40进行了使机械臂36的关节屈伸的动作的情况下，操作计算机10和机器人计算机、机器人控制器32可以对机械臂驱动器37进行指示，使得机械臂36与该动作联动。
另外，机器人3在无法利用把持部362拿起物体的情况下，也可以使辅助机器人自动地出现，与辅助机器人合作拿起物体。例如，在虽然操作员40进行了拿起椅子63的动作，但仅利用机器人3无法拿起椅子63的情况下，利用辅助机器人3X，如图18所示那样，使机器人3和辅助机器人3X协作拿起椅子63即可。呼叫辅助机器人3X的单元可以设置于机器人计算机31，也可以设置于操作计算机10。
机器人3也可以单独或者与辅助机器人3X协作地将组装或加工等作业作为任务执行。
辅助机器人3X也可以为与机器人3不同的构造体。例如，也可以为带臂的无人机。
〔整体流程〕
图19～图21是示出用于支持远程地的任务的处理的流程的例子的流程图。
接着，参照流程图来说明操作计算机10的整体处理的流程。
操作计算机10根据任务辅助程序10j，按照图19～图21所示的顺序执行处理。
操作计算机10在被输入了开始指令70时，按照如下方式进行初始化(#801～#805)。
操作计算机10通过向色彩距离传感器141～143发送计测指令71，请求色彩距离传感器141～143开始操作员40的RGBD的计测(#801)。
此时，色彩距离传感器141～143开始对RGBD进行计测，动作捕捉计算机16根据计测结果计算出操作员40的三维形状，并将表示该三维形状的三维数据7B开始发送到操作计算机10。由此，操作计算机10开始接收三维数据7B(#802)。
操作计算机10根据三维数据7B开始检测操作员40的右手402、右脚403和左脚404等的位置(#803)。
然后，操作计算机10向机器人3发送初始化指令72(#804)。此时，机器人3开始进行第二空间52的RGBD的计测，操作计算机10使机器人3开始接收RGBD数据7C(#805)。另外，在初始化之后，还进一步开始接收状态数据7D。
操作计算机10在初始化完成之时，按照操作员40的动作对应地、以如下方式将与移动有关的指令发送给机器人3(#821～#828)。
操作计算机10监视右脚403或左脚404的位置的变化(#821)，在每次检测到变化时(#822中，“是”)，计算距离Dstep(#823)，向机器人3发送以该距离Dstep为参数的前进指令73(#824)。
此外，操作计算机10监视操作员40的朝向的变化(#825)，在检测到变化之时(#826中，“是”)，计算角度θhip(#827)，向机器人3发送以该角度θhip为参数的方向转换指令74(图20的#828)。
此外，操作计算机10以如下方式进行与虚拟空间53有关的处理(#841～#845)。
操作计算机10通过根据RGBD数据7C和状态数据7D对第二空间52进行再现，而虚拟出虚拟空间53(#841)。在每次获得RGBD数据7C和状态数据7D时，被再现的范围扩大。
并且，操作计算机10根据三维数据7B生成或校正化身41(#842)。然后，在虚拟空间53中配置化身41(#843)。另外，在已经完成化身41的配置的情况下，与最新的三维数据7B所示的三维形状相匹配地对化身41进行更新。
操作计算机10生成从化身41的双眼位置观察到的、表示虚拟空间53的情形的图像(#844)，并向头戴式显示器12发送该图像的图像数据7F(#845)。由此，在头戴式显示器12上显示图像。
此外，操作计算机10像如下那样进行用于使把持部362动作的处理(#861～#863)。
操作计算机10监视右手402的位置的变化和手指的6开闭(#861)。在检测到变化之时(#862中，“是”)，向机器人3发送与变化对应的指令(#863)。具体而言，在检测到右手402的位置的变化的情况下，发送以变化量为参数的操纵指令75。在检测到手指合上的情况下，发送封闭指令76。在检测到手指打开的情况下，发送打开指令77。
步骤#821～#824的处理、步骤#825～#828的处理、步骤#841～#845的处理和步骤#861～#863的处理被同时适当执行。
此外，操作计算机10在被输入解决方案指令81或从机器人3接收到障碍通知信号82时(#871中，“是”)，像如下那样执行用于障碍物的对策的处理(#872～#881)。
操作计算机10切断操作员40及化身41与机器人3的连接(#872)，将虚拟机器人3A配置于虚拟空间53中的、与第二空间52中的机器人3的当前位置对应的位置(#873)。虚拟机器人3A的朝向也与机器人3的当前的朝向一致。使化身41移动到虚拟机器人3A的后方(图21的#874)。
操作计算机10生成表示从化身41的移位后的双眼位置沿视线方向观察时的情形的图像的图像数据7F(#875)，并将该图像数据7F发送到头戴式显示器12(#876)。
并且，操作计算机10监视化身41的右手等部位的位置等(#877)。而且，在检测到化身41的部位与虚拟机器人3A的特定的部位接触时(#878)，向机器人3发送与对化身41的部位进行的之后的动作对应的指令(#879)。
具体而言，在化身41的右手和左手与虚拟机器人3A的背面接触，然后右手和左手还向按压虚拟机器人3A的方向移动时，操作计算机10将提高输出指令83发送到机器人3。或者，在化身41的右手与虚拟机器人3A的机械臂接触且欲使右手向化身41的身体的方向收回时，操作计算机10向机器人3发送后退指令84。
在输入了重新开始指令78时(#880中，“是”)，操作计算机10从虚拟空间53删除虚拟机器人3A(#881)，返回步骤#801并再次进行初始化。
根据本实施方式，操作员40以转移到化身41的感觉沉浸于虚拟空间53中，并且，能够在未意识到与人的身体不同的构造的机器人3的存在的情况下，经由机器人3来进行第二空间52中的任务。
在本实施方式中，与操作员40的踏步对应，化身41在虚拟空间53中移动，机器人3在第二空间52中移动，但是，也可以是，化身41和机器人3与操作员40在第一空间51中步行或者向后方后退而进行的移动对应地、进行移动。在该情况下，远程任务执行系统5的各部件进行如下处理即可。
操作计算机10的移动信息运算模块104将操作员40的初始位置规定为第一空间坐标系的原点。在初始化的时刻，第一空间坐标系的X1’轴、Y1’轴和Z1’轴(参照图2)分别与操作员坐标系的X1轴、Y1轴和Z1轴一致。但是，当操作员40移动时，操作员坐标系也相对于第一空间坐标系移动。
移动信息运算模块104根据由色彩距离传感器141～143所获得的值或由位置传感器所获得的值，计算操作员40在第一空间坐标系中的位置的坐标。
化身生成模块102使化身41移动到虚拟空间坐标系中的、由移动信息运算模块104计算出的坐标的位置。
移动指令模块105对机器人3进行指示，使其移动到第二虚拟空间坐标系中的、由移动信息运算模块104计算出的坐标的位置。此时，机器人3依照来自移动指令模块105的指令移动。
或者，也可以预先在操作计算机10中准备踏步模式和步行模式。而且，操作计算机10可以在指定了踏步模式的情况下，与踏步对应地使化身41和机器人3移动，在指定了步行模式的情况下，与第一空间坐标系中的操作员40的位置对应地使化身41和机器人3移动。
〔控制对象的变形例〕
图22是示出动力辅助服300为控制对象的情况下的、第一空间51、第二空间52和虚拟空间53的例子的图。图23是示出动力辅助服300为控制对象的情况下的、第一空间51、第二空间52和虚拟空间53的第二例的图。
在本实施方式中，在机器人3遭遇了障碍物的情况下，切断操作员40及化身41与机器人3的连接，利用解决方案模块107与操作员40的动作对应地使机器人3越过障碍物或从障碍物后退。这时，操作员40沉浸于虚拟空间53中，通过与机器人3或虚拟机器人3A直接接触的感觉使机器人3进行动作。
也可以将解决方案模块107的处理应用于使位于第二空间52中的其他物体进行动作。例如，也可以应用于使动力辅助服300进行动作。
以下，以如下的情况为例，对远程任务执行系统5的各要素的结构进行说明，该情况是：作为动力辅助服300，可以使用像CYBERDYNE(サイバーダイン)公司的HAL(HybridAssistive Limb：混合辅助肢)医疗用下肢类型或HAL福利用下肢类型那样的支持下肢的动力辅助服，操作员40作为熟练者教导作为初学者的人物46进行高尔夫的挥杆时的下半身的动作。关于与上述结构重复的内容，省略说明。
〔准备〕
在第二空间52中配置多台色彩距离传感器39A～39C。人物46穿着动力辅助服300站在第二空间52中。色彩距离传感器39A～39C对人物46及其周围的物体的RGBD进行计测，并将计测结果发送到操作计算机10。
操作计算机10在从色彩距离传感器39A～39C分别接收到计测结果时，通过利用虚拟空间运算模块103根据这些计测结果对第二空间52进行再现，而虚拟出虚拟空间53。由此，人物46的化身47在穿着动力辅助服300的状态下出现在虚拟空间53中。以下，将出现在虚拟空间53中的动力辅助服300记作“虚拟动力辅助服301”。
操作计算机10利用化身生成模块102生成化身41，利用虚拟空间运算模块103将化身41配置于虚拟空间53中的、从化身47的后背离开了规定距离的位置。例如，配置于离开50公分的位置。
或者，也可以通过对动力辅助服300进行三维计测，预先准备好虚拟动力辅助服301的三维数据。而且，也可以使用该三维数据来配置虚拟动力辅助服301。
在将化身41和化身47配置于虚拟空间53中之后，操作计算机10生成从化身41的双眼位置起沿视线方向在虚拟空间53中观察到的图像的图像数据7F，并发送到头戴式显示器12。然后，头戴式显示器12根据图像数据7F来显示图像。由此，操作员40能够感觉到自己位于人物46的背后。
一般的动力辅助服按照生物体的电位信号对应地进行动作。但是，动力辅助服300构成为设置有无线LAN的装置，替代生物体的电位信号，而与从操作计算机10发送来的指令对应地进行动作。
〔动力辅助服300的控制〕
操作员40能够以感觉触摸到虚拟动力辅助服301的方式使动力辅助服300进行动作。
在人物46挥杆时，由头戴式显示器12显示化身47正在挥杆的图像。
操作员40通过观察该图像，确认人物46的姿态。如果在下半身的动作中发现了问题，则请人物46慢慢地挥杆。这时，能够像直接触摸动力辅助服300并使其移动那样使右手402和左手407移动以指导如何使下半身进行动作。
此时，操作计算机10在检测到化身41的右手及左手与虚拟动力辅助服301在虚拟空间53中进行了接触时，向动力辅助服300发送以右手402和左手407各自的之后的动作为参数的动作指令86。例如利用操纵指令模块106进行接触的检测和动作指令86的发送即可。或者，也可以准备与操纵指令模块106不同的模块，利用该模块来进行接触的检测和动作指令86的发送。
动力辅助服300在接收到动作指令86时，如动作指令86所示的动作那样进行动作。
例如，如果发现人物46的右膝伸展这样的问题，则操作员40以把持着虚拟动力辅助服301的右膝或该附近的部分来使人物46的右膝弯曲的方式，使右手402和左手407进行动作。此时，从操作计算机10向动力辅助服300发送以该动作为参数的动作指令86。然后，动力辅助服300如动作指令86所示的动作那样进行动作。
或者，如果认为人物46的腰的扭转方法存在问题，则操作员40以把持着虚拟动力辅助服301的腰的部分使人物46的腰以正确的扭转方法进行扭转的方式，使右手402和左手407进行动作。此时，从操作计算机10向动力辅助服300发送以该动作为参数的动作指令86。然后，动力辅助服300如动作指令86所示的动作那样进行动作。
另外，动力辅助服300的上述控制方法只不过是一例。例如，也可以预先通过实验求出用双手使动力辅助服300的哪个部位以怎样的方式进行动作能够产生怎样的电位信号，并将表示双手的动作、动力辅助服300的部位和电位信号的关系的数据登记到数据库中。
而且，操作计算机10可以在化身41的双手与虚拟动力辅助服301接触之后，根据接触的部位、右手402和左手407的动作及其数据来计算电位信号并通知给动力辅助服300。动力辅助服300根据被通知的电位信号进行动作。
通过将本实施方式的技术应用于动力辅助服300，操作员40能够在位于远离人物46的位置的同时、实时地且比以往更安全地针对人物46指导姿态。
作为动力辅助服300，也可以使用支撑上半身的动力辅助服。此外，还可以为了传达高尔夫的挥杆以外的技术而应用本变形例。例如，还可以应用于陶艺、建筑或雕刻等工匠的技术、或者舞蹈、戏剧或书画艺术的传承。
本变形例还可以应用于除了动力辅助服300以外的机械。例如，也可以应用于具有自动驾驶功能的交通工具。
或者，如图23所示，操作员40也可以穿着动力辅助服302。而且，动力辅助服302在检测到操作员40的动作时，通知给动力辅助服300。然后，动力辅助服300与操作员40的动作对应地进行动作。或者，动力辅助服300也可以在检测到人物46的动作时，通知给动力辅助服302。而且，动力辅助服302与人物46的动作对应地进行动作即可。由此，操作员40能够感觉到人物46的动作，并判断人物46的动作的习惯或好坏。
〔其他变形例〕
在本实施方式中，初始化模块101或解决方案模块107(参照图4)为软件模块。但是，也可以由硬件模块实现这些模块的全部或一部分。
在本实施方式中，利用色彩距离传感器14计算出操作员40的三维形状，利用动作捕捉计算机16计算出RGBD，但也可以利用三维计测装置进行计测。
在本实施方式中，以由把持部362抓握笔61的情况为例进行了说明。但是，在抓握比把持部362所能够拿起的重量重的物体的情况下，操作员40无法如想象那样处理该物体。因此，在这样的情况下，机器人3也可以使辅助机器人到达机器人3的位置，与辅助的机器人共同地拿起该物体或者使该物体移动。
在本实施方式中，操作员40是在机器人3没有像自己所想象地那样前进的情况下输入解决方案指令81的，但也可以随时输入。例如，也可以在想要确认机器人3的样子的情况下输入。由此，操作员40能够容易地确认车轮35和机械臂36等操作员40及化身41与机器人3连接时难以确认的部分。
在本实施方式中，操作计算机10在操作员40及化身41与机器人3被连接时，未将虚拟机器人3A配置于虚拟空间53中，但可以在用户输入了配置指令以确认机器人3的状态时，临时将虚拟机器人3A配置在虚拟空间53中，或者将虚拟机器人3A配置在虚拟空间53中直到输入解除指令为止。由此，操作员40能够确认右手402与把持部362是否良好地联动。由此，操作员40能够在监视机器人3的实际动作的同时实现任务。
虽然在本实施方式中，利用虚拟空间53的图像向操作员40传达了第二空间52的情形，但也可以通过其他手段传递情形。
例如，也可以在机器人3与障碍物接触等与物体发生了干涉时，从操作计算机10的扬声器10g输出接触音。利用机器人3的传感器检测与障碍物发生了接触的情况即可。或者，也可以根据由虚拟空间运算模块103计算出的机器人3的位置和物体的位置来检测。接触音可以是预先录制或合成的声音，也可以是预先在机器人3中设置麦克风并在实际发生接触时收集到的声音。也可以由色彩距离传感器14或液晶显示器10f来显示表示发生了接触的消息。也可以由色彩距离传感器14显示障碍物损坏的情形。
或者，预先在把持部362的手指上设置力觉传感器，测量抓握物体时的力或力矩。或者，预先在把持部362上设置触感传感器，使其检测物体的滑动感或粗糙感。然后，操作计算机10利用头戴式显示器12或液晶显示器10f显示计测结果或检测结果。或者，预先在操作员40的右手402上套上触觉手套，并根据计测结果或检测结果，利用触觉手套向操作员40传递抓握物体的感觉。作为触觉手套，可以使用Dexta Robotics公司的Dexmo或SensoDevices公司的Senso Glove等。
在本实施方式中，以为了用笔61在面板62上画画而使用机器人3的情况为例进行了说明，但还可以在灾害现场、事故现场或宇宙空间等中使用机器人3。
虽然化身41是与操作员40的动作相匹配地直接进行动作的，但有时在化身41的动作与机器人3的动作之间会产生时间差。例如，在机器人3配置于月球表面而操作员40在地球上进行作业的情况下，在经过指令到达所需的时间之后，机器人3才会在月球表面上进行动作。此外，在机器人3的动作速度比化身41的动作速度慢的情况下，机器人3会迟于操作员40或化身41的动作而进行动作。例如，在机器人3的移动速度比操作员40的移动速度慢的情况下，当操作员40移动并拿起椅子时，机器人3会相应地延迟移动所花费的时间的量，然后拿起椅子。在该情况下，预先取得操作员40的动作的日志，根据日志对机器人3进行控制。
或者，在虚拟空间中以不存在延迟的方式进行动作，由物理模拟器对机器人3的运动进行模拟，使用模拟结果来使操作员40与化身41在虚拟空间内同步地进行动作。而且，预先将表示化身的41的运动的数据存储到存储器中，并依次发送到机器人3。在模拟器中的机器人3或实际空间中的机器人3作业失败的情况下，向操作员40通知该情况，利用存储器的数据使化身41的状态返回作业即将失败之前的时刻的状态，并恢复虚拟空间的状况，由此能够开始复原动作。
在本实施方式中，以在机器人3上设置两个车轮35以作为移动单元的情况为例进行了说明，但也可以设置4个或6个车轮35。或者，也可以设置履带。或者，也可以在机器人3的底部设置螺旋桨，使得机器人3能够在水上或水中移动。也可以准备各种机器人，根据灾害现场或事故现场的状况而对应地分别使用机器人。
在本实施方式中，机器人3的把持部362与操作员40的右手402的动作联动，但在机器人3存在2根机械臂36的情况下，使右侧的机械臂36的把持部362与操作员40的右手402联动，使左侧的机械臂36的把持部362与操作员40的左手407联动即可。
或者，也可以在机器人3具备右脚和左脚的情况下，使机器人的右脚和左脚分别与操作员40的右脚403和左脚联动。
在本实施方式中，将化身41在没有放大也没有缩小的情况下配置于虚拟空间53中，但也可以进行放大或者缩小、然后配置。例如，如果机器人3为与如老鼠那样的小动物相同程度的大小，则也可以匹配该大小而将化身41缩小配置。然后，使化身41和机器人3按照操作员40的动作的如下比例来进行动作即可，该比例是化身41的大小相对于操作员40的大小的比例。或者，也可以不变更化身41的大小，而是按照该比例对应地变更化身41和机器人3的动作的尺度。
在本实施方式中，机器人3根据由色彩距离传感器39获得的RGBD数据7C等检测出存在于第二空间52中的物体。但是，也可以预先针对每个物体粘贴记录了各物体的位置、三维形状和特性等的IC(Integrated Circuit：电路)标签，通过从IC标签读取这些信息来进行检测。
〔实验结果的例子〕
图24是示出实验结果的例子的图。
接着，对使用远程任务执行系统5进行的实验例进行说明。面板62上预先描绘有外径为400毫米、内径为300毫米的带状的圆。圆的中心到地板面的高度为大约0.6米。本实验的任务为使机器人3从距面板62大约为1.7米的位置起移动到面板62并用笔61画圆。在本实验中，笔61已经被把持部362抓握。操作员40预先佩戴有头戴式显示器12。
操作员40通过在该场所进行抬脚来使机器人3移动到面板62的附近，在感觉到右手402到达面板62时，使笔61与面板62接触并使右手402移动，使得针对预先描绘好的圆进行描画。另外，在本实施方式中，通过在接近面板62之后，将虚拟机器人3A配置于虚拟空间53中，使得操作员40容易掌握虚拟机器人3A的把持部的位置。
作为本实验的比较实验，进行了如下的实验。在虚拟空间53中配置虚拟机器人3A而不配置化身41，不在头戴式显示器12上而在23英寸的普通的液晶显示器上显示表示虚拟空间53的情形的图像。并且，受验者、即操作员40一边观看该图像，一边使用具有棒和按钮的游戏控制器对机器人3进行了操作。从而操作员40通过鼠标在任意时刻都能够自由地变更观察显示的图像、即虚拟空间53的视角。而且，用笔61针对由游戏控制器预先描绘出的圆进行描画。
通过本实验和比较实验，获得了如图24所示的结果。图24所示的星状的标记表示通过在显著水平α＝0.05这样的对应存在的情况下的两侧t检定，确认了本实验与比较实验存在显著区别。
根据图24的(A)和(B)可知，操作员40感觉到化身41好像是自己的身体。根据图24的(C)和(D)可知，本实验的情况与比较实验的情况相比，操作员40感觉到好像位于虚拟空间53中。根据图4的(E)、(F)和(G)可知，本实验的情况与比较实验的情况相比，操作员40能够获得如平时一样的感觉。
产业上的可利用性
本发明用于经由机器人等机械而使操作员远程地进行作业或者将熟练者的技能传达给初学者。
标号说明
5：远程任务执行系统(机器人控制系统、机械控制系统)；10a：CPU；10b：RAM；10h：扬声器(通知单元)；103：虚拟空间运算模块(显示单元)；104：移动信息运算模块(第二控制单元)；105：移动指令模块(第二控制单元)；106：操纵指令模块(控制单元)；107：解决方案模块(第三控制单元)；12：头戴式显示器(显示器)；3：机器人；3A：虚拟机器人；362：把持部(第一部位)；300：动力辅助服(机械)；40：操作员；402：右手(第二部位)；41：化身；52：第二空间(空间)；53：虚拟空间；61：笔(物体)；63：椅子(物体)。

Claims (42)

1.一种机器人控制系统，其在使操作员观看显示器所显示的图像的同时，对机器人进行控制以执行任务，其中，该机器人控制系统具有：
显示单元，其使所述显示器显示如下的视野图像，该视野图像示出：假如所述操作员处于所述机器人存在的空间中则会出现在所述操作员的视野中的情形；以及
控制单元，其生成如下控制命令并将该控制命令发送到所述机器人，该控制命令用于使所述机器人执行与所述操作员的动作对应的任务。
2.根据权利要求1所述的机器人控制系统，其中，
所述机器人具有处理物体的第一部位，
所述操作员具有第二部位，
所述控制单元生成根据所述第二部位的动作使所述第一部位进行动作的命令以作为所述控制命令，并将该控制命令发送至所述机器人。
3.根据权利要求2所述的机器人控制系统，其中，
所述控制单元对所述机器人进行控制，使得当所述操作员使所述第二部位进行了动作时，所述第一部位与如下轨迹相匹配地进行动作，该轨迹是假如所述操作员处于所述空间中，所述第二部位在所述空间中移动的轨迹。
4.根据权利要求2或3所述的机器人控制系统，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述显示单元在虚拟地再现了所述空间的虚拟空间中配置与所述操作员的动作相匹配地进行动作的化身，将表示从所述化身的眼睛起沿视线方向观察到的情形的图像作为所述视野图像显示于所述显示器。
5.根据权利要求4所述的机器人控制系统，其中，
所述显示单元使用通过对所述操作员进行计测而求出的三维形状和根据由设置于所述机器人的计测装置所获得的数据而求出的三维形状，将所述化身配置于所述空间中。
6.根据权利要求4或5所述的机器人控制系统，其中，
该机器人控制系统具有第二控制单元，该第二控制单元使得伴随着所述操作员进行踏步而使所述机器人移动，
所述显示单元将所述化身配置于所述机器人在所述虚拟空间中被再现的位置，使所述显示器显示所述视野图像。
7.根据权利要求6所述的机器人控制系统，其中，
所述显示单元将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，使所述显示器显示所述视野图像。
8.根据权利要求6所述的机器人控制系统，其中，
所述显示单元在被输入了特定的指令或在所述机器人中产生了特定的事件的情况下，将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，将所述化身重新配置于所述位置的附近，使所述显示器显示所述视野图像。
9.根据权利要求8所述的机器人控制系统，其中，
该机器人控制系统具有第三控制单元，该第三控制单元对所述机器人进行控制，使得在重新配置所述化身之后所述操作员进行了动作的情况下，在所述操作员和所述机器人的位置关系与所述化身和所述虚拟机器人的位置关系相同时，通过所述动作使所述机器人产生变化。
10.根据权利要求2～9中的任意一项所述的机器人控制系统，其中，
该机器人控制系统具有通知单元，该通知单元在所述机器人与所述物体接触或与所述空间中的障碍物发生了干涉的情况下，通过将力觉、触觉或听觉传达给所述操作员来通知与所述物体接触或者与所述障碍物发生了干涉的情况。
11.根据权利要求2～10中的任意一项所述的机器人控制系统，其中，
该机器人控制系统具有协作单元，该协作单元进行如下处理：该处理用于在无法如所述操作员所期望地那样利用所述第一部位处理物体的情况下，与其他机器人协作处理该物体。
12.根据权利要求4～9中的任意一项所述的机器人控制系统，其中，
所述显示单元在使所述化身进行动作以执行与所述操作员的动作对应的任务的同时，使所述显示器显示所述视野图像。
13.一种机械控制系统，其对机械进行控制，其中，该机械控制系统具有：
显示单元，其使显示器显示如下的视野图像，该视野图像示出：假如操作员处于所述机械所存在的空间中的所述机械的附近位置，则会出现在所述操作员的视野中的情形；以及
控制单元，其对所述机械进行控制，使得如果所述操作员进行了动作的情况下，假如所述操作员处于所述空间中的所述位置，通过所述动作使所述机械产生变化。
14.根据权利要求13所述的机械控制系统，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述机械为动力辅助服。
15.一种机器人控制方法，其在使操作员观看显示器所显示的图像的同时对机器人进行控制以执行任务，在该机器人的控制方法中进行以下处理：
显示处理，在该显示处理中使所述显示器显示如下视野图像，该视野图像示出：假如所述操作员处于所述机器人存在的空间中、出现在所述操作员的视野中的情形；以及
控制处理，在该控制处理中，生成如下控制命令并将该控制命令发送到所述机器人，该控制命令用于使所述机器人执行与所述操作员的动作对应的任务。
16.根据权利要求15所述的机器人控制方法，其中，
所述机器人具有处理物体的第一部位，
所述操作员具有第二部位，
所述控制处理为如下处理：生成根据所述第二部位的动作使所述第一部位进行动作的命令以作为所述控制命令，并将该控制命令发送至所述机器人。
17.根据权利要求16所述的机器人控制方法，其中，
所述控制处理为如下处理：对所述机器人进行控制，使得当所述操作员使所述第二部位进行了动作时，所述第一部位与如下轨迹相匹配地进行动作，该轨迹是假如所述操作员处于所述空间中，所述第二部位在所述空间中移动的轨迹。
18.根据权利要求16或17所述的机器人控制方法，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述显示处理为如下处理：在虚拟地再现了所述空间的虚拟空间中，配置与所述操作员的动作相匹配地进行动作的化身，将表示从所述化身的眼睛起沿视线方向所能够观察到的情形的图像作为所述视野图像显示于所述显示器。
19.根据权利要求18所述的机器人控制方法，其中，
所述显示处理为如下处理：使用通过对所述操作员进行计测而求出的三维形状和根据由设置在所述机器人上的计测装置获得的数据而求出的三维形状将所述化身配置于所述虚拟空间中，并使所述显示器显示所述视野图像。
20.根据权利要求18或19所述的机器人控制方法，其中，
在该机器人控制方法中进行第二控制处理，在该第二控制处理中，伴随着所述操作员进行踏步而使所述机器人移动，
所述显示处理为如下处理：将所述化身配置于所述机器人在所述虚拟空间中被再现的位置，使所述显示器显示所述视野图像。
21.根据权利要求20所述的机器人控制方法，其中，
所述显示处理为如下处理：将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，使所述显示器显示所述视野图像。
22.根据权利要求20所述的机器人控制方法，其中，
所述显示处理为如下处理：在被输入了特定的指令或所述机器人产生了特定的事件的情况下，将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，将所述化身重新配置于所述位置的附近，使所述显示器显示所述视野图像。
23.根据权利要求22所述的机器人控制方法，其中，
在该机器人控制方法中进行第三控制处理，在该第三控制处理中，对所述机器人进行控制，使得在重新配置了所述化身之后所述操作员进行了动作的情况下，使所述机器人产生如下变化：该变化是在所述操作员和所述机器人的位置关系与所述化身和所述虚拟机器人的位置关系相同的情况下，通过所述动作使所述机器人产生的变化。
24.根据权利要求16～23中的任意一项所述的机器人控制方法，其中，
在该机器人控制方法中，进行通知处理，在该通知处理中，在所述机器人与所述物体接触或与所述空间中的障碍物发生了干涉的情况下，通过将力觉、触觉或听觉传达给所述操作员来通知与所述物体接触或者与所述障碍物发生了干涉的情况。
25.根据权利要求16～24中的任意一项所述的机器人控制方法，其中，
在该机器人控制方法中，进行协作处理，该协作处理用于在无法如所述操作员所期望地那样利用所述第一部位处理所述物体的情况下，与其他机器人协作处理该物体。
26.根据权利要求18～23中的任意一项所述的机器人控制方法，其中，
所述显示处理为如下处理：在使所述化身进行动作以执行与所述操作员的动作对应的任务的同时，使所述显示器显示所述视野图像。
27.一种机械控制方法，对机械进行控制，其中，进行如下处理：
显示处理，在该显示处理中，使显示器显示如下的视野图像，该视野图像示出：假如操作员处于所述机械所存在的空间中的所述机械的附近位置，则会出现在所述操作员的视野中的情形；以及
控制处理，在该控制处理中，对所述机械进行控制，使得如果所述操作员进行了动作的情况下，假如所述操作员处于所述空间中的所述位置，通过所述动作使所述机械产生变化。
28.根据权利要求27所述的机械控制方法，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述机械为动力辅助服。
29.一种记录介质，其存储有在如下计算机中使用的计算机程序，并能够供该计算机进行访问，该计算机在使操作员观看显示器所显示的图像的同时，对机器人进行控制以执行任务，其中，
所述计算机程序使所述计算机执行如下处理：
显示处理，在该显示处理中，使所述显示器显示如下视野图像，该视野图像示出：假如所述操作员处于所述机器人存在的空间中、出现在所述操作员的视野中的情形；以及
控制处理，在该控制处理中，生成如下控制命令并将该控制命令发送给所述机器人，该控制命令用于使所述机器人执行与所述操作员的动作对应的任务。
30.根据权利要求29所述的记录介质，其中，
所述机器人具有处理物体的第一部位，
所述操作员具有第二部位，
所述控制处理为如下处理：生成根据所述第二部位的动作使所述第一部位进行动作的命令以作为所述控制命令，并将该控制命令发送至所述机器人。
31.根据权利要求30所述的记录介质，其中，
所述控制处理为如下处理：对所述机器人进行控制，使得当所述操作员使所述第二部位进行了动作时，所述第一部位与如下轨迹相匹配地进行动作，该轨迹是假如所述操作员处于所述空间中，所述第二部位在所述空间中移动的轨迹。
32.根据权利要求30或权利要求31所述的记录介质，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述显示处理为如下处理：在虚拟地再现了所述空间的虚拟空间中，配置与所述操作员的动作相匹配地进行动作的化身，将表示从所述化身的眼睛起沿视线方向所能够观察到的情形的图像作为所述视野图像显示于所述显示器。
33.根据权利要求32所述的记录介质，其中，
所述显示处理为如下处理：使用通过对所述操作员进行计测而求出的三维形状和根据由设置在所述机器人上的计测装置获得的数据而求出的三维形状将所述化身配置于所述虚拟空间中，并使所述显示器显示所述视野图像。
34.根据权利要求32或33所述的记录介质，其中，
使所述计算机执行第二控制处理，在该第二控制处理中，伴随所述操作员进行踏步而使所述机器人移动，
所述显示处理为如下处理：将所述化身配置于所述机器人在所述虚拟空间中被再现的位置，使所述显示器显示所述视野图像。
35.根据权利要求34所述的记录介质，其中，
所述显示处理为如下处理：将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，使所述显示器显示所述视野图像。
36.根据权利要求34所述的记录介质，其中，
所述显示处理为如下处理：在被输入了特定的指令或所述机器人产生了特定的事件的情况下，将对所述机器人进行虚拟而得到的虚拟机器人配置于所述虚拟空间中的所述位置，将所述化身重新配置于所述位置的附近，使所述显示器显示所述视野图像。
37.根据权利要求36所述的记录介质，其中，
使所述计算机执行第三控制处理，在该第三控制处理中，对所述机器人进行控制，使得在重新配置了所述化身之后所述操作员进行了动作的情况下，使所述机器人产生如下变化：该变化是在所述操作员和所述机器人的位置关系与所述化身和所述虚拟机器人的位置关系相同的情况下，通过所述动作使所述机器人产生的变化。
38.根据权利要求30～37中的任意一项所述的记录介质，其中，
使所述计算机执行通知处理，在该通知处理中，在所述机器人与所述物体接触或与所述空间中的障碍物发生了干涉的情况下，通过将力觉、触觉或听觉传达给所述操作员来通知与所述物体接触或者与所述障碍物发生了干涉的情况。
39.根据权利要求30～38中的任意一项所述的记录介质，其中，
使计算机执行协作处理，该协作处理用于在无法如所述操作员所期望地那样利用所述第一部位处理所述物体的情况下，与其他机器人协作处理该物体。
40.根据权利要求32～37中的任意一项所述的记录介质，其中，
所述显示处理为如下处理：在使所述化身进行动作以执行与所述操作员的动作对应的任务的同时，使所述显示器显示所述视野图像。
41.一种记录介质，其存储有在对机械进行控制的计算机中使用的计算机程序，能够供所述计算机进行访问，其中，
所述计算机程序使所述计算机执行如下处理：
显示处理，在该显示处理中，使显示器显示如下的视野图像，该视野图像示出：假如操作员处于所述机械所存在的空间中的所述机械的附近位置，则会出现在所述操作员的视野中的情形；以及
控制处理，在该控制处理中，对所述机械进行控制，使得如果所述操作员进行了动作的情况下，假如所述操作员处于所述空间中的所述位置，通过所述动作使所述机械产生变化。
42.根据权利要求41所述的记录介质，其中，
所述显示器为用于供所述操作员佩戴的头戴式显示器，
所述机械为动力辅助服。
CN201780072485.7A 2016-11-24 2017-11-24 机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质 Withdrawn CN109983510A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016227546 2016-11-24
JP2016-227546 2016-11-24
PCT/JP2017/042155 WO2018097223A1 (ja) 2016-11-24 2017-11-24 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体

Publications (1)

Publication Number Publication Date
CN109983510A true CN109983510A (zh) 2019-07-05

Family

ID=62196236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072485.7A Withdrawn CN109983510A (zh) 2016-11-24 2017-11-24 机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质

Country Status (5)

Country Link
US (1) US20190278295A1 (zh)
EP (1) EP3547267A4 (zh)
JP (1) JP6940879B2 (zh)
CN (1) CN109983510A (zh)
WO (1) WO2018097223A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347163A (zh) * 2019-08-07 2019-10-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN110465956A (zh) * 2019-07-31 2019-11-19 东软集团股份有限公司 一种车辆机器人、车机、方法及机器人系统
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN111716365A (zh) * 2020-06-15 2020-09-29 山东大学 基于自然行走的沉浸式远程交互系统及方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US10901687B2 (en) 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
US10692294B1 (en) * 2018-12-17 2020-06-23 Universal City Studios Llc Systems and methods for mediated augmented physical interaction
TWI723309B (zh) * 2018-12-19 2021-04-01 國立臺北科技大學 加工控制系統以及加工控制方法
US20220214685A1 (en) * 2019-03-29 2022-07-07 Ihi Corporation Remote operating device
DE102019109740A1 (de) * 2019-04-12 2020-10-15 Volkswagen Aktiengesellschaft Fahrzeugfensterscheibeneinrichtung und Verfahren zum Betreiben einer Fahrzeugfensterscheibeneinrichtung
WO2020235541A1 (ja) * 2019-05-20 2020-11-26 国立大学法人東京大学 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
US11461867B2 (en) * 2019-09-19 2022-10-04 Sanctuary Cognitive Systems Corporation Visual interface and communications techniques for use with robots
AU2020417826A1 (en) * 2019-12-31 2022-06-16 Human Mode, LLC Proxy controller suit with optional dual range kinematics
WO2021166973A1 (ja) * 2020-02-19 2021-08-26 ファナック株式会社 産業機械の操作システム
CN111833669B (zh) * 2020-07-13 2022-07-22 孙学峰 一种中国书法用笔教学系统及教学方法
WO2022049707A1 (ja) * 2020-09-03 2022-03-10 株式会社Abal 体感型インターフェースシステム、及び、動作体感システム
CN112526983B (zh) * 2020-09-11 2022-10-28 深圳银星智能集团股份有限公司 一种机器人的路径规划方法、主控芯片及机器人
EP4198691A1 (en) * 2021-12-15 2023-06-21 Deutsche Telekom AG A method and system of teleoperation with a remote streoscopic vision-through mixed reality

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070171194A1 (en) * 2005-12-22 2007-07-26 Francois Conti Workspace expansion controller for human interface systems
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102356373A (zh) * 2009-03-20 2012-02-15 微软公司 虚拟对象操纵
US20130211592A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co., Ltd. Tele-operation system and control method thereof
JP2015077354A (ja) * 2013-10-18 2015-04-23 国立大学法人 和歌山大学 パワーアシストロボット装置
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
US20160046023A1 (en) * 2014-08-15 2016-02-18 University Of Central Florida Research Foundation, Inc. Control Interface for Robotic Humanoid Avatar System and Related Methods
US20160046021A1 (en) * 2011-01-28 2016-02-18 Irobot Corporation Interfacing with a mobile telepresence robot

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228855A (ja) 1992-02-19 1993-09-07 Yaskawa Electric Corp テレイグジスタンス視覚装置
JP2642298B2 (ja) 1993-05-11 1997-08-20 鹿島建設株式会社 仮想現実感を用いた遠隔操作システム
JP5613126B2 (ja) * 2011-09-09 2014-10-22 Kddi株式会社 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070171194A1 (en) * 2005-12-22 2007-07-26 Francois Conti Workspace expansion controller for human interface systems
CN101273688A (zh) * 2008-05-05 2008-10-01 江苏大学 柑橘采摘机器人的柔性采摘装置和方法
CN102356373A (zh) * 2009-03-20 2012-02-15 微软公司 虚拟对象操纵
US20160046021A1 (en) * 2011-01-28 2016-02-18 Irobot Corporation Interfacing with a mobile telepresence robot
US20130211592A1 (en) * 2012-02-15 2013-08-15 Samsung Electronics Co., Ltd. Tele-operation system and control method thereof
JP2015077354A (ja) * 2013-10-18 2015-04-23 国立大学法人 和歌山大学 パワーアシストロボット装置
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
WO2015105572A1 (en) * 2014-01-07 2015-07-16 Irobot Corporation Remotely operating a mobile robot
US20160046023A1 (en) * 2014-08-15 2016-02-18 University Of Central Florida Research Foundation, Inc. Control Interface for Robotic Humanoid Avatar System and Related Methods

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110465956A (zh) * 2019-07-31 2019-11-19 东软集团股份有限公司 一种车辆机器人、车机、方法及机器人系统
CN110347163A (zh) * 2019-08-07 2019-10-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN111026277A (zh) * 2019-12-26 2020-04-17 深圳市商汤科技有限公司 一种交互控制方法及装置、电子设备和存储介质
CN111716365A (zh) * 2020-06-15 2020-09-29 山东大学 基于自然行走的沉浸式远程交互系统及方法

Also Published As

Publication number Publication date
JPWO2018097223A1 (ja) 2019-10-17
JP6940879B2 (ja) 2021-09-29
US20190278295A1 (en) 2019-09-12
WO2018097223A1 (ja) 2018-05-31
EP3547267A1 (en) 2019-10-02
EP3547267A4 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
CN109983510A (zh) 机器人控制系统、机械控制系统、机器人控制方法、机械控制方法和记录介质
US11772266B2 (en) Systems, devices, articles, and methods for using trained robots
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
Riley et al. Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids
Liu et al. High-fidelity grasping in virtual reality using a glove-based system
Fang et al. A robotic hand-arm teleoperation system using human arm/hand with a novel data glove
EP3098783B1 (en) Information processing device, information processing system, block system, and information processing method
Fritsche et al. First-person tele-operation of a humanoid robot
CN103112007A (zh) 基于混合传感器的人机交互方法
US10471343B2 (en) Information processing apparatus, information processing system, assembled device, and information processing method
Hirschmanner et al. Virtual reality teleoperation of a humanoid robot using markerless human upper body pose imitation
Ibrahimov et al. Dronepick: Object picking and delivery teleoperation with the drone controlled by a wearable tactile display
KR102131097B1 (ko) 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법
US20180216959A1 (en) A Combined Motion Capture System
EP3098782B1 (en) Information processing device and information processing method
CN212421309U (zh) 一种足式机器人的远程操控装置
Wasielica et al. Interactive programming of a mechatronic system: A small humanoid robot example
Asami et al. Teleoperation system with virtual 3D diorama for moving operation of a tracked rescue robot
Wang et al. Intuitive and versatile full-body teleoperation of a humanoid robot
CN210377375U (zh) 体感交互装置
Park et al. A Whole-Body Integrated AVATAR System: Implementation of Telepresence With Intuitive Control and Immersive Feedback
Kato et al. Development of direct operation system for mobile robot by using 3D CG diorama
JP6177147B2 (ja) 情報処理装置および情報処理方法
JP2023009642A (ja) 遠隔操作システム、操作器及び遠隔操作支援方法
Yuan et al. Humanoid robot shadow system based on kinect depth camera detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190705

WW01 Invention patent application withdrawn after publication