CN110678300A - 感觉赋予装置、机器人控制系统、机器人控制方法以及程序 - Google Patents

Abstract

终端装置(21)具有：发送部(131)，其向机器人发送表示操作机器人的用户(11)的状态的操作者状态信息；接收部(132)，其从机器人接收表示机器人的状态的机器人状态信息；感觉赋予部(114)，其将规定的感觉赋予给用户(11)；以及控制部(115)，在从发送部(131)发送操作者状态信息起至接收部(132)接收到机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，该控制部(115)控制感觉赋予部(114)使其将基于机器人状态信息的感觉赋予给用户(11)，在延迟时间比规定的时间长的情况下，该控制部(115)控制感觉赋予部(114)使其将基于表示估计出的机器人的状态的虚拟状态信息的感觉赋予给用户(11)。

Description

感觉赋予装置、机器人控制系统、机器人控制方法以及程序

技术领域

本发明涉及一种感觉赋予装置、机器人控制系统、机器人控制方法以及程序。

背景技术

作为虚拟现实(virtual reality)的一个领域，已知的是远程存在系统(Telexistence)。远程存在系统也可以说是使人产生远距离临场感或远距离存在感的技术。远程存在系统提供一种使用户感受到远处存在的物体或人像是在附近那样并由用户实时地对物体或人进行操作的环境。

为了利用远程存在系统经由网络实时地操作机器人，而需要高速的网络，并要求网络延时(latency)非常低以及不产生数据消失。然而，根据传输数据的网络，有时产生传输延迟或产生数据消失。

在所传送的数据向一个方向被传输且所传送的数据为一个数据的情况下，通过使用动态地控制速率的流式算法来将该数据和流暂时存储到缓冲器中，由此能够减轻传输延迟和数据消失的影响。另外，通过使用WebRTC(Web Real-Time Communication：网页实时通信)或HLS(HTTP Live Streaming：HTTP实时流)之类的流协议，能够将高品质的音频和影像的媒体(media)同步地向一个方向进行发送。

现有技术文献

专利文献

专利文献1：日本特公昭62-29196号公报

非专利文献

非专利文献1：Charith Lasantha Fernando,Masahiro Furukawa,TadatoshiKurogi,Sho Kamuro,Katsunari Sato,Kouta Minamizawa and Susumu Tachi,“Design ofTELESAR V for Transferring Bodily Consciousness in Telexistence”,2012IEEE/RSJInternational Conference on Intelligent Robots and Systems(Portugal),October7-12,2012.

发明内容

发明要解决的问题

在远程存在系统中，为使用户能够以宛如身在机器人中那样的感觉操作机器人，而要求在因特网上的多个端点(end point)之间使多个流媒体双向同步地进行发送或接收。多个媒体例如是表示运动的数据、音频、影像或触觉的数据等。

在以往的技术中，在远程存在系统中，在从机器人的操作者进行操作起至机器人进行动作为止产生了延迟的情况下，有时难以进行机器人的控制。例如，如果延迟大，则操作者所设想的状况与操作者经由设置于机器人的摄像装置看到的状况不一致，从而导致操作者眩晕，并导致操作者难以继续进行机器人的控制。延迟例如为在经由网络的数据通信中产生的延迟、由于进行数据的编码和解码的处理而产生的延迟、由于对数据进行A/D(Analog to Digital：模拟数字)变换的处理而产生的延迟(例如采样产生的延迟)、机械方面的延迟(机械延迟)等。

本发明是考虑像这样的情形而完成的，本发明的课题在于提供一种能够提高远程存在系统中的操作性的感觉赋予装置、机器人控制系统以及机器人控制方法。

用于解决问题的方案

本发明的第一方式的感觉赋予装置具有：发送部，其向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；接收部，其从所述机器人接收表示所述机器人的状态的机器人状态信息；感觉赋予部，其将规定的感觉赋予给所述操作者；以及控制部，在从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，所述控制部控制所述感觉赋予部使其将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，所述控制部控制所述感觉赋予部使其将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

也可以是，所述控制部控制所述感觉赋予部使其在对所述操作者赋予基于所述虚拟状态信息的感觉之后，将基于所述接收部接收到的所述机器人状态信息的感觉赋予给所述操作者。

也可以是，在基于所述虚拟状态信息的第一感觉与基于在将基于所述虚拟状态信息的感觉赋予给所述操作者之后由所述接收部接收到的所述机器人状态信息的第二感觉之间存在规定的大小以上的差异的情况下，所述控制部控制所述感觉赋予部使其将在所述第一感觉与所述第二感觉之间插值所得到的感觉赋予给所述操作者。

也可以是，还具有缓冲器部，所述缓冲器部在暂时存储了由所述接收部接收到的一个以上的所述机器人状态信息之后，将一个以上的所述机器人状态信息依次输出到所述感觉赋予部，在所述缓冲器部中储存的一个以上的所述机器人状态信息的量小于阈值的情况下，所述控制部控制所述感觉赋予部使其将基于虚拟状态信息的感觉赋予给所述操作者。

也可以是，还具有缓冲器部，所述缓冲器部在暂时存储了由所述接收部接收到的一个以上的所述机器人状态信息之后，将一个以上的所述机器人状态信息依次输出到所述感觉赋予部，所述控制部对暂时存储到所述缓冲器部中的所述机器人状态信息的量进行控制，以使从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间的变动量收敛于规定的范围内。

也可以是，所述控制部具有存储与各个不同状态的所述机器人对应的多个所述虚拟状态信息的存储部，所述控制部控制所述感觉赋予部使其将基于根据所述操作者状态信息从多个所述虚拟状态信息中选择出的虚拟状态信息的感觉赋予给所述操作者。

也可以是，所述存储部存储包括与由各个不同状态的所述机器人拍摄到的图像相当的虚拟图像的多个所述虚拟状态信息，所述控制部控制所述感觉赋予部使其将基于多个所述虚拟状态信息中的、包括与根据所述操作者状态信息所表示的操作内容确定出的所述机器人的位置对应的所述虚拟图像的虚拟状态信息的感觉赋予给所述操作者。

也可以是，所述控制部为了从多个所述虚拟状态信息中选择一个虚拟状态信息，而基于紧挨着的之前的所述操作者状态信息所表示的所述操作者的状态和最新的所述操作者状态信息所表示的所述操作者的状态，估计在所述操作者进行了操作之后所述机器人成为什么样的状态，并选择与估计出的所述机器人的状态对应的一个虚拟状态信息。

也可以是，所述控制部使所述存储部存储表示所述感觉赋予部赋予过的基于所述机器人状态信息的感觉的内容的感觉历史信息，基于紧挨着的之前存储的所述感觉历史信息所表示的感觉的内容，从多个所述虚拟状态信息中选择为了对所述操作者赋予感觉而使用的虚拟状态信息。

也可以是，所述控制部确定从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止的延迟的因素，基于确定出的所述因素决定是控制所述感觉赋予部使其将基于所述存储部中存储的所述虚拟状态信息的感觉赋予给所述操作者，还是控制所述感觉赋予部使其将基于经由网络接收到的所述虚拟状态信息的感觉赋予给所述操作者。

本发明的第二方式的机器人控制系统具备：感觉赋予装置，其将表示操作机器人的操作者的状态的操作者状态信息发送到网络上；机器人控制装置，其基于经由所述网络接收到的所述操作者状态信息来控制所述机器人；以及管理装置，其与所述机器人控制装置及所述感觉赋予装置之间能够经由所述网络进行通信。所述感觉赋予装置具有：发送部，其向所述机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；接收部，其从所述机器人接收表示所述机器人的状态的机器人状态信息；感觉赋予部，其将规定的感觉赋予给所述操作者；以及控制部，在从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，所述控制部控制所述感觉赋予部使其将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，所述控制部控制所述感觉赋予部使其将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。所述管理装置具有：延迟确定部，其用于确定所述延迟时间；以及通知部，其将由所述延迟确定部确定出的所述延迟时间通知给所述控制部。

也可以是，所述延迟确定部确定产生所述延迟时间的因素，在由所述延迟确定部确定出的所述因素为所述网络的传输延迟的情况下，所述通知部对所述感觉赋予装置进行指示以将基于所述虚拟状态信息的感觉赋予给所述操作者，所述感觉赋予装置的所述控制部控制所述感觉赋予部使其将基于所述虚拟状态信息的感觉赋予给所述操作者。

也可以是，在由所述延迟确定部确定出的所述因素为所述机器人的动作延迟的情况下，所述通知部对所述机器人控制装置进行指示以将虚拟状态信息发送到所述感觉赋予装置，所述感觉赋予装置的所述控制部控制所述感觉赋予部使其将基于从所述机器人控制装置接收到的所述虚拟状态信息的感觉赋予给所述操作者。

本发明的第三方式的机器人控制方法具有使计算机执行的以下步骤：向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；判定从发送所述操作者状态信息起至接收到表示所述机器人的状态的机器人状态信息为止所需要的延迟时间是否为规定的时间以下；以及在所述延迟时间为所述规定的时间以下的情况下，将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

本发明的第四方式的程序使计算机执行以下步骤：向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；判定从发送所述操作者状态信息起至接收到表示所述机器人的状态的机器人状态信息为止所需要的延迟时间是否为规定的时间以下；以及在所述延迟时间为所述规定的时间以下的情况下，将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

发明的效果

根据本发明，能够提高远程存在系统中的操作性。

附图说明

图1是示出本发明的一个实施方式所涉及的机器人系统的概要结构的框图。

图2是示出本发明的一个实施方式所涉及的终端装置的概要结构的框图。

图3是示出本发明的一个实施方式所涉及的机器人控制装置的概要结构的框图。

图4是用于说明本发明的一个实施方式所涉及的终端装置和机器人控制装置中的利用缓冲器进行的延迟时间的调整方法的图。

图5是示出本发明的一个实施方式所涉及的机器人系统中的虚拟的机器人的图像的框图。

图6A是用于说明在本发明的一个实施方式所涉及的机器人系统中提供的虚拟状态信息的图。

图6B是用于说明在本发明的一个实施方式所涉及的机器人系统中提供的虚拟状态信息的图。

图7是示出本发明的一个实施方式所涉及的通信帧的概要结构的框图。

图8是示出本发明的一个实施方式所涉及的分时的通信帧的概要结构的框图。

图9是示出能够与终端装置及机器人控制装置经由网络进行通信的管理装置的图。

图10是用于说明在本发明的一个实施方式所涉及的机器人系统中提供的虚拟状态信息的图。

具体实施方式

下面，参照附图说明本发明的实施方式。

[机器人系统的概要]

图1是示出本发明的一个实施方式所涉及的机器人系统1的概要结构的框图。

机器人系统1具备：n(设n为2以上的整数。)个终端装置21-1～21-n、n个机器人31-1～31-n、n个机器人控制装置41-1～41-n以及网络51。网络51例如是因特网，但是也可以是其它任意的网络。网络51例如可以使用有线网络，也可以使用无线网络，或者还可以使用包括有线和无线双方的网络。

在图1中示出n个用户11-1～11-n和n个机器人31-1～31-n(n为1以上的整数)。各个机器人31-1～31-n例如是整体呈人型的机器人或局部呈人型的机器人。局部呈人型的机器人例如是如上半身的部分、下半身的部分或手臂的部分等那样整体的一部分呈人型且其它的部分不呈人型的机器人。各个机器人31-1～31-n也可以是其它任意形态的机器人。此外，机器人31-1～31-n例如也可以具有ROS(Robot Operating System：机器人操作系统)的功能。

在此，在图1的例子中，将各个用户11-1～11-n与各个终端装置21-1～21-n进行对应。另外，在图1的例子中，将各个机器人31-1～31-n与各个机器人控制装置41-1～41-n进行对应。另外，在图1的例子中，将各个终端装置21-1～21-n与各个机器人控制装置41-1～41-n进行对应。像这样，在图1的例子中，将一个用户11-i(设i为1以上且n以下的任意的整数。)、一个终端装置21-i、一个机器人31-i以及一个机器人控制装置41-i进行对应。

在本实施方式中，n个终端装置21-1～21-n具有同等的功能，n个机器人控制装置41-1～41-n具有同等的功能，n个机器人31-1～31-n具有同等的功能。另外，n个用户11-1～11-n分别是不同的人，但是在操作对应的各个机器人31-1～31-n这一点上具有同等的功能。因此，下面以一个用户11-1、一个终端装置21-1、一个机器人31-1以及一个机器人控制装置41-1的组合为例进行说明。

[终端装置的概要]

图2是示出本发明的一个实施方式所涉及的终端装置21-1的概要结构的框图。终端装置21-1检测用户11-1的状态，并且作为对用户11-1赋予各种感觉的感觉赋予装置发挥功能。终端装置21-1对用户11-1赋予的感觉是任意的，例如为视觉、听觉、触觉或力觉。终端装置21-1将基于经由机器人控制装置41-1获取到的机器人31-1的状态的感觉赋予给用户11-1。

终端装置21-1具备检测部111、缓冲器112、通信部113、感觉赋予部114以及控制部115。通信部113具备发送部131和接收部132。控制部115具备包括ROM(Read Only Memory：只读存储器)和RAM(Random Access Memory：随机存取存储器)的存储部151。

检测部111检测用户11-1的状态。由检测部111检测的状态例如是用户11-1的手指的运动、用户11-1的躯干的运动或用户的眼睛(例如视线)的运动。

检测部111例如具有对检测对象的状态进行检测的传感器。作为一例，检测部111具备头部用的传感器、手指部用的传感器以及躯干部用的传感器。头部用的传感器例如被配置于对用户11-1提供影像和音频的头戴式显示器(head mount display)。头戴式显示器例如具有检测用户的眼睛(例如视线)的运动的传感器。该传感器可以分开地检测左眼的运动和右眼的运动。

传感器例如是安装于用户11-1的传感器形态的传感器，但是也可以是不安装于用户11-1的形态的传感器。不安装于用户11-1的形态的传感器例如是拍摄用户11-1的局部或全部的图像(例如影像)的摄像装置(例如摄像机)。

缓冲器112是暂时存储数据的存储器。在本实施方式中，缓冲器112具有暂时存储要由发送部131发送的发送对象数据的功能和暂时存储由接收部132接收到的数据的功能。此外，也可以针对这两个功能分别具备不同的缓冲器。缓冲器112在暂时存储由接收部132接收到的一个以上的机器人状态信息之后，将一个以上的机器人状态信息依次输出到感觉赋予部114。机器人状态信息是表示机器人31-1的状态的信息，例如是表示由机器人31-1拍摄到的图像、由机器人31-1检测出的压力或由机器人31-1检测出的温度的信息。

另外，缓冲器112在暂时存储了表示由检测部111检测出的操作者的状态的操作者状态信息之后，将一个以上的操作者状态信息依次输出到发送部131。操作者状态信息例如是表示使用安装于用户11-1的身体的传感器检测出的用户11-1的身体的位置的信息。

通信部113与同终端装置21-1对应的机器人控制装置41-1之间进行通信。通信部113与机器人控制装置41-1之间经由网络51进行通信。另外，通信部113利用WebRTC进行通信。通信部113能够利用WebRTC例如低延迟且高帧频地进行通信。

发送部131从缓冲器112获取表示操作机器人31-1的用户11-1的状态的操作者状态信息，并向机器人31-1发送所获取到的操作者状态信息。具体地说，发送部131将包括操作者状态信息的发送对象数据发送到机器人控制装置41-1。

接收部132接收作为从机器人控制装置41-1发送的数据的表示机器人31-1的状态的机器人状态信息。接收部132将所接收到的机器人状态信息输入到缓冲器112。

感觉赋予部114将基于由接收部132接收到的机器人状态信息的感觉赋予给用户11-1。即，感觉赋予部114将与由接收部132接收到的表示机器人31-1的状态的机器人状态信息对应的感觉赋予给用户11-1。

感觉赋予部114例如具有对用户11-1赋予感觉的设备。作为一例，感觉赋予部114可以具备为了对用户11-1赋予视觉而显示影像(Video)的影像显示器、为了对用户11-1赋予听觉而输出音频(Audio)的扬声器、为了对用户11-1赋予触觉(Haptics)而产生压力或振动的动作发生器。影像显示器和扬声器例如被配置于头部的设备(例如头戴式显示器)。对用户11-1赋予感觉的设备可以是佩戴于用户11-1的设备，也可以是不佩戴于用户11-1的设备。检测部111和感觉赋予部114的一部分或全部可以包括在同一设备内。

控制部115进行终端装置21-1中的各种控制。控制部115例如具备CPU(CentralProcessing Unit：中央处理单元)和存储数据的存储部151。控制部115例如通过使用存储于存储部151的参数并执行存储于存储部151的程序来进行各种控制。

在本实施方式中，控制部115能够调整由缓冲器112暂时存储发送对象数据的时间的长度，并且能够调整由缓冲器112暂时存储所接收到的数据的时间的长度。

在此，终端装置21-1可以由多个设备构成，例如可以将图2所示的检测部111、缓冲器112、通信部113、感觉赋予部114以及控制部115分散配置于两个以上的设备。另外，发送部131和接收部132也可以配置于不同的设备。作为一例，终端装置21-1可以使用具备检测部111的设备、具备感觉赋予部114的设备以及具备缓冲器112、通信部113及控制部115的设备来构成。另外，也可以将具备检测部111的设备与具备感觉赋予部114的设备的一部分或全部一体化。

[机器人控制装置的概要]

图3是示出本发明的一个实施方式所涉及的机器人控制装置41-1的概要结构的框图。机器人控制装置41-1具备通信部211、缓冲器212、机器人驱动部213、检测部214以及控制部215。通信部211具备接收部231和发送部232。控制部215具备CPU以及包括ROM和RAM的存储部251。

通信部211与同机器人控制装置41-1对应的终端装置21-1之间进行通信。在本实施方式中，通信部211经由网络51进行通信。通信部211例如利用WebRTC进行通信。接收部231接收从终端装置21-1发送的操作者状态信息等数据。发送部232将发送对象的机器人状态信息等数据发送到终端装置21-1。

缓冲器212是暂时存储数据的存储器。在本实施方式中，缓冲器212具有暂时存储要由发送部232发送的发送对象的机器人状态信息的功能和暂时存储由接收部231接收到的操作者状态信息的功能。此外，缓冲器212可以针对这两个功能分别具有不同的缓冲器。

机器人驱动部213基于从终端装置21-1接收到的操作者状态信息，使与机器人控制装置41-1对应的机器人31-1的驱动部驱动。在此，机器人31-1的驱动部例如是驱动头部的驱动部、驱动手指部的驱动部或驱动躯干部的驱动部。

检测部214检测机器人31-1的运动。检测部214检测的运动例如是机器人31-1的手指的运动、机器人31-1的躯干的运动或机器人31-1的眼睛(例如视线)的运动。

检测部214例如具有对检测对象的状态进行检测的传感器。作为一例，检测部214具备头部用的传感器、手指部用的传感器、躯干部用的传感器。头部用的传感器例如是拍摄影像的摄像装置(摄像机)或输入音频的麦克风。检测部214例如可以对与左眼对应的影像及与右眼对应的影像分别进行处理。

传感器可以是安装于机器人31-1的形态的传感器，也可以是不安装于机器人31-1的形态的传感器。不安装于机器人31-1的形态的传感器例如是设置在机器人31-1的附近并拍摄图像(例如影像)的摄像装置。例如通过利用A/D变换的采样来取得各种数据。在本实施方式中，由检测部214检测出的数据为发送对象的机器人状态信息。此外，机器人驱动部213和检测部214例如可以是一部分或全部共同的设备。

控制部215进行机器人控制装置41-1中的各种控制。控制部215例如具备CPU和存储数据的存储部251。控制部215例如通过使用存储于存储部251的参数并执行存储于存储部251的程序来进行各种控制。在本实施方式中，控制部215能够调整在缓冲器212中暂时存储发送对象的机器人状态信息等数据的时间的长度，并且能够调整在缓冲器212中暂时存储所接收到的操作者状态信息等数据的时间的长度。

在此，机器人控制装置41-1可以由多个设备构成，例如可以将图3所示的通信部211、缓冲器212、机器人驱动部213、检测部214以及控制部215分散配置于两个以上的设备。另外，接收部231和发送部232可以配置于不同的设备。作为一例，机器人控制装置41-1可以使用具备机器人驱动部213的设备、具备检测部214的设备、具备通信部211、缓冲器212及控制部215的设备来构成。另外，也可以将具备机器人驱动部213的设备与具备检测部214的设备的一部分或全部一体化。

[终端装置和机器人控制装置中的动作的概要]

终端装置21-1通过检测部111来检测用户11-1的状态，并将包括检测出的数据的操作者状态信息经由网络51发送到机器人控制装置41-1。机器人控制装置41-1经由网络51接收从终端装置21-1发送的操作者状态信息，基于所接收到的操作者状态信息通过机器人驱动部213来驱动机器人31-1。机器人31-1被机器人控制装置41-1的机器人驱动部213驱动来进行动作。

机器人控制装置41-1通过检测部214来检测机器人31-1的状态，并将包括检测出的数据的机器人状态信息经由网络51发送到终端装置21-1。终端装置21-1经由网络51接收从机器人控制装置41-1发送的机器人状态信息，基于所接收到的机器人状态信息通过感觉赋予部114来对用户11-1赋予感觉。

在此，在本实施方式中，在由用户11-1使用之前，或者在由用户11-1使用时，将终端装置21-1与机器人控制装置41-1进行对应。在终端装置21-1中存储与自装置(该终端装置21-1)对应的机器人控制装置41-1的地址信息，在机器人控制装置41-1中存储与自装置(该机器人控制装置41-1)对应的终端装置21-1的地址信息。而且，相互对应的终端装置21-1与机器人控制装置41-1使用所存储的地址信息，例如通过将该地址信息包括在发送对象的信号中来将彼此作为通信对象进行通信。

[终端装置和机器人控制装置中的利用缓冲器进行的延迟时间的调整]

图4是用于说明本发明的一个实施方式所涉及的终端装置21-1和机器人控制装置41-1中的利用缓冲器进行的延迟时间的调整方法的图。图4示出用户11-1、作为终端装置21-1的结构部的头部设备311、手指部设备312-1～312-2及躯干部设备313-1～313-2、以及作为终端装置21-1的结构部的缓冲器112。另外，图4示出机器人31-1、作为机器人控制装置41-1的结构部的视觉设备411、音频设备412-1～412-2及手指部设备413-1～413-2、以及作为机器人控制装置41-1的结构部的缓冲器212。

用户11-1将头部设备311佩戴于头部，将手指部设备312-1佩戴于右手的手指，将手指部设备312-2佩戴于左手的手指，将躯干部设备313-1佩戴于躯干部的右侧，将躯干部设备313-2佩戴于躯干部的左侧。头部设备311在与用户11-1的双眼对应的位置具备视觉部331，在与用户11-1的右耳对应的位置具备音频部332-1，在与用户11-1的左耳对应的位置具备音频部332-2。头部设备311例如为头戴式显示器。视觉部331针对右眼和左眼分别进行数据处理。

在此，头部设备311、手指部设备312-1～312-2以及躯干部设备313-1～313-2具有终端装置21-1的检测部111的功能。头部设备311检测头部的运动。手指部设备312-1～312-2分别检测左右手指的运动。躯干部设备313-1～313-2检测躯干部的运动。终端装置21-1实现基于由头部设备311、手指部设备312-1～312-2以及躯干部设备313-1～313-2检测出的各部的运动来检测用户11-1的运动(姿势的变化)的运动捕捉的功能。

此外，在图4的例子中，用户11-1分开地具备左右的躯干部设备313-1～313-2，但是也可以是用户11-1具备一个躯干部设备来取代左右的躯干部设备313-1～313-2。另外，图4是一例，作为检测部111，可以使用检测用户的状态的其它任意的设备，例如可以使用对利用人的手指等进行的操作内容进行检测的触摸面板。

手指部设备312-1～312-2、躯干部设备313-1～313-2、视觉部331以及音频部332-1～332-2具有终端装置21-1的感觉赋予部114的功能。手指部设备312-1～312-2具有对各自的手指赋予触觉的功能。躯干部设备313-1～313-2具有对躯干部赋予触觉的功能。视觉部331具有对用户11-1的双眼(左眼和右眼)提供视觉的功能，例如显示影像。音频部332-1～332-2具有对用户11-1的双耳(左耳和右耳)提供听觉的功能，例如输出音频。图4是一例，感觉赋予部114可以是对用户赋予其它感觉的任意的设备。

机器人31-1在与人的双眼对应的位置安装有视觉设备411，在与人的右耳对应的位置安装有音频设备412-1，在与人的左耳对应的位置安装有音频设备412-2，在与人的右手手指对应的位置安装有手指部设备413-1，在与人的左手手指对应的位置安装有手指部设备413-2。

在此，视觉设备411、音频设备412-1～412-2以及手指部设备413-1～413-2具有机器人控制装置41-1的检测部214的功能。视觉设备411例如具有摄像装置，生成影像数据来作为与视觉相关的数据。在本实施方式中，视觉设备411针对右眼和左眼分别进行影像数据的处理。音频设备412-1～412-2生成音频数据来作为与听觉相关的数据。

手指部设备413-1～413-2生成与各自的手指的触觉相关的数据。与触觉相关的数据是表示手指部设备413-1～413-2所接触的场所的硬度和凹凸的程度的数据。检测部214可以包括与机器人31-1之间能够进行安装和拆卸的设备。另外，作为其它的结构例，检测部214也可以包括与机器人31-1一体化而无法进行安装和拆卸的设备。在该情况下，可以理解为该设备是机器人31-1的一部分。

此外，在图4的例子中，省略了关于终端装置21-1的通信部113和控制部115的图示。另外，在图4的例子中，省略了关于机器人控制装置41-1的通信部211、机器人驱动部213以及控制部215的图示。另外，在图4的例子中，为了便于说明，将缓冲器112和缓冲器212分别以单个部件的形式示出，但是并不限于该结构，可以是缓冲器112配置于终端装置21-1，缓冲器212配置于机器人控制装置41-1。

在图4的例子中，表示由终端装置21-1的检测部111检测出的用户11-1的状态的操作者状态信息通过传输会话P1、传输会话P2以及传输会话P3被传送至机器人控制装置41-1的控制部215或机器人驱动部213。传输会话P1是从终端装置21-1的控制部115或检测部111到终端装置21-1的缓冲器112的会话。传输会话P2是从终端装置21-1的缓冲器112到机器人控制装置41-1的缓冲器212的会话。传输会话P3是从机器人控制装置41-1的缓冲器212到机器人控制装置41-1的控制部215或机器人驱动部213的会话。

另外，表示由机器人控制装置41-1的检测部214检测出的机器人31-1～31-n的状态的机器人状态信息通过传输会话P11、传输会话P12以及传输会话P13被传送至终端装置21-1的控制部115或感觉赋予部114。传输会话P11是到机器人控制装置41-1的缓冲器212的会话。传输会话P12是从机器人控制装置41-1的缓冲器212到终端装置21-1的缓冲器112的会话。传输会话P13是从终端装置21-1的缓冲器112到终端装置21-1的控制部115或感觉赋予部114的会话。

在此，通过终端装置21-1的通信部113和机器人控制装置41-1的通信部211来经由网络51进行终端装置21-1的缓冲器112与机器人控制装置41-1的缓冲器212之间的数据传输。

如图4所示，在本实施方式中，作为终端装置21-1与机器人控制装置41-1之间的双向的数据通信，主要有两个会话。第一会话是包括从终端装置21-1去向机器人控制装置41-1的传输会话P1～P3的会话。在第一会话中，例如传输表示用户11-1的状态的操作者状态信息。操作者状态信息例如是包括表示用户的眼睛的运动、手指的运动、或躯干的运动的数据的信息。

第二会话是包括从机器人控制装置41-1去向终端装置21-1的传输会话P11～P13的会话。在第二会话中，例如传输包括表示机器人31-1的状态的影像数据、音频数据以及触觉数据的机器人状态信息。

机器人31-1与用户11-1的运动一致地进行动作。用户11-1观看机器人31-1的位置处的影像、听到音频并感受触觉来进行动作。机器人31-1和用户11-1重复进行这些动作。

本实施方式的机器人系统1对第一会话和第二会话中的双向通信的延迟进行补偿。控制部115例如对暂时存储到缓冲器112中的机器人状态信息的量进行控制以使从发送部131发送用户11-1状态信息起至接收部132接收到机器人状态信息为止所需要的延迟时间的变动量收敛于规定的范围内。在此，例如有时在用户11-1侧与机器人31-1侧关于各个会话存在不同的延迟时间。在这样的情况下，机器人系统1针对第一会话和第二会话分别补偿不同大小的延迟时间以实现在用户11-1侧与机器人31-1侧取得了同步的运动。

在本例中，用LatM表示从用户11-1侧(终端装置21-1)去向机器人31-1侧(机器人控制装置41-1)的传输会话P1～P3的总延迟时间。另外，用LatN表示从机器人31-1侧(机器人控制装置41-1)去向用户11-1侧(终端装置21-1)的传输会话P11～P13的总延迟时间。另外，用LatMu表示传输会话P1的延迟时间，用LatMr表示传输会话P3的延迟时间，用LatNr表示传输会话P11的延迟时间，用LatNu表示传输会话P13的延迟时间。

另外，用LatMm表示检测用户11-1的运动的机构(在本实施方式中为终端装置21-1)中的延迟时间，用LatNm表示使机器人31-1驱动的机构(在本实施方式中为机器人控制装置41-1)中的延迟时间。在该情况下，式(1)和式(2)成立。

[数1]

LatM＝LatMu+LatMr+LatMn··(1)

[数2]

LatN＝LatNr+LatNu+LatNm··(2)

当用RTT表示从用户11-1侧(作为一例，终端装置21-1的控制部115侧)来看机器人31-1侧的情况下的包括传输会话P1～P3和传输会话P11～P13的整体的往返延迟时间(往返的延迟时间)时，式(3)成立。

[数3]

RTT＝LatM+LatN··(3)

当该RTT变大时，存在用户11-1因眩晕而感到不适的情况。在RTT的变动量大的情况下，也存在用户11-1感到不适的情况。

因此，本实施方式的机器人系统1构成为在作为网络51的一侧的用户11-1侧具备缓冲器112，并且在作为该网络51的另一侧的机器人31-1侧具备缓冲器212，能够对缓冲器112和缓冲器212各自的数据的延迟时间进行调整。即，机器人系统1能够在用户11-1侧和机器人31-1侧分别调整延迟时间。

在用户11-1侧，终端装置21-1的控制部115实时地控制缓冲器112中的数据的延迟时间以使式(4)成立。在机器人31-1侧，机器人控制装置41-1的控制部215实时地控制缓冲器212中的数据的延迟时间以使式(5)成立。

[数4]

LatMu～LatNu··(4)

[数5]

LatMr～LatNr··(5)

在此，在式(4)和式(5)中，“～”表示相同或相近。也就是说，终端装置21-1的控制部115控制延迟时间以使传输会话P1的延迟时间LatMu与传输会话P13的延迟时间LatNu之差处于规定的第一时间以内来使式(4)成立。另外，机器人控制装置41-1的控制部215控制延迟时间以使传输会话P3的延迟时间LatMr与传输会话P11的延迟时间LatNr之差处于规定的第二时间以内来使式(5)成立。规定的第一时间和规定的第二时间例如是不妨碍用户11-1对机器人31-1进行操作的时间的最大值。

在此，在本例中设为从机器人控制装置41-1发送到终端装置21-1的影像的数据与其它媒体的数据(音频的数据、触觉的数据等)相比需要较多的传输时间。控制部115和控制部215不依据媒体种类地控制缓冲器112和缓冲器212中的延迟时间以使用户11-1侧与机器人31-1侧之间的往复的延迟时间(在本例中为RTT)之差收敛于规定的范围内(规定的时间内)。该规定的时间是基于需要最长的传输时间的影像的数据决定的，例如为40ms。关于延迟时间的差收敛于该规定的时间内的媒体的数据，控制部115和控制部215也可以不提供延迟时间地使该数据通过(Pass through)缓冲器112和缓冲器212。

[虚拟感觉的赋予]

即使通过抑制用户11-1侧与机器人31-1侧之间的往复的延迟时间的变动来提高操作性，也存在如果延迟时间长则用户11-1感觉不适的情况。特别是，如果从用户11-1进行操作起至用户11-1看到机器人31-1以根据用户11-1的操作改变后的姿势拍摄到的影像为止的延迟时间长，则用户11-1容易感到眩晕。因此，终端装置21构成为能够将虚拟感觉赋予给用户11-1。下面，例示终端装置21将通过估计由机器人31-1视觉识别的图像而生成的虚拟的视觉识别图像作为虚拟感觉来使用户11-1看到的实施方式。虚拟感觉不限于虚拟的视觉，也可以是虚拟的听觉、虚拟的触觉或虚拟的力觉等其它感觉。

图5是示出在本发明的一个实施方式所涉及的机器人系统1中赋予虚拟感觉的结构的图像的框图。图5示出佩戴着头部设备311等的用户11-1和虚拟机器人711。虚拟机器人711是能够利用存储于终端装置21-1的缓冲器112的数据来提供虚拟感觉的机器人，具备虚拟地再现机器人31-1的状况的计算机。在本例中，终端装置21-1的控制部115宛如与虚拟机器人711之间发送数据那样进行动作。

在从发送部131发送操作者状态信息起至接收部132接收机器人状态信息为止所需要的延迟时间(例如RTT)为规定的时间以下的情况下，控制部115控制感觉赋予部114使其将基于机器人状态信息的感觉赋予给作为操作者的用户11-1。另一方面，在延迟时间比规定的时间长的情况下，控制部115控制感觉赋予部114使其将基于表示所估计出的机器人31-1的状态的虚拟状态信息的感觉赋予给用户11-1。虚拟状态信息与机器人状态信息同样地包括表示视觉、听觉、触觉以及力觉的数据。

图6A是用于说明延迟时间小于规定的时间的情况下的机器人系统1的动作的图。图6B是用于说明延迟时间比规定的时间长的情况下的机器人系统1的动作的图。在如图6A所示那样延迟时间小到不妨碍用户11-1的操作的程度的情况下，经由终端装置21-1的缓冲器112将机器人状态信息赋予给用户11-1。与此相对地，在如图6B所示那样延迟时间长到妨碍用户11-1的操作的程度的情况下，从终端装置21-1朝向用户11-1，例如将存储于存储部151的虚拟状态信息赋予给用户11-1。下面，对终端装置21-1赋予虚拟状态信息的动作的详细内容进行说明。

控制部115控制感觉赋予部114使其将例如存储于存储部151的与各个不同状态的虚拟的机器人对应的多个虚拟状态信息中的至少一部分的虚拟状态信息赋予给用户11-1。具体地说，控制部115控制感觉赋予部114使其将基于根据操作者状态信息从多个虚拟状态信息中选择出的虚拟状态信息的感觉赋予给用户11-1。

更具体地说，存储部151存储有包括与由各个不同状态的机器人31-1拍摄到的图像相当的虚拟图像的多个虚拟状态信息。虚拟图像是预先由机器人31-1所具有的视觉设备411或安装于同等的其它机器人的摄像装置生成的摄像图像，关联有表示进行了拍摄的时间点的机器人的状态(例如机器人的各部的位置)的信息。控制部115控制感觉赋予部114使其将基于多个虚拟状态信息中的、包括与根据操作者状态信息所表示的操作内容确定出的机器人31-1的位置对应的虚拟图像的虚拟状态信息的感觉赋予给操作者。

控制部115为了从多个虚拟状态信息中选择一个虚拟状态信息，而基于紧挨着的之前的操作者状态信息所表示的用户11-1的状态和最新的操作者状态信息所表示的用户11-1的状态，来估计在用户11-1进行了操作之后机器人31-1成为什么样的状态。然后，控制部115选择与估计出的机器人31-1的状态对应的一个虚拟状态信息。通过这样，即使从机器人控制装置41-1发送的机器人状态信息发生了延迟，控制部115也能够在接收部132接收到机器人状态信息之前将基于虚拟状态信息的感觉赋予给操作者。因而，用户11-1容易操作机器人31-1。

控制部115也可以提取紧挨着的之前提供给用户11-1的作为机器人状态信息的图像中包括的机器人31-1的图像，并将用虚拟状态信息所表示的机器人的图像置换提取出的图像所得到的图像提供给用户11-1。通过这样，例如在机器人31-1进行抓物体的动作的情况下，控制部115能够将包括正要抓物体的虚拟的机器人的图像的图像提供给用户11-1。

控制部115也可以将表示感觉赋予部114赋予过的基于机器人状态信息的感觉的内容的感觉历史信息存储到存储部151。在该情况下，控制部115基于紧挨着的之前存储于存储部151的感觉历史信息所表示的感觉的内容，来从多个虚拟状态信息中选择为了对操作者赋予感觉而使用的虚拟状态信息。控制部115例如选择使感觉相对于紧挨着的之前存储的感觉历史信息所表示的感觉的变化量收敛于规定的范围内的虚拟状态信息。通过这样，对用户11-1赋予的感觉不会骤然变化，因此终端装置21-1能够不使用户11-1感到不适。

控制部115控制感觉赋予部114使其在将基于虚拟状态信息的感觉赋予给用户11-1之后将基于由接收部132接收到的机器人状态信息的感觉赋予给用户11-1。具体地说，控制部115例如在判定为在从发送部131发送操作者状态信息起至接收部132接收到机器人状态信息为止所需要的延迟时间内机器人31-1的运动小于用户11-1能够感知的量的情况下，将基于机器人31-1的实际状态的感觉赋予给用户11-1。更具体地说，控制部115在判定为延迟时间内的机器人状态信息的变化量小于阈值的情况下，停止基于虚拟状态信息的第一感觉的赋予，并切换为基于机器人状态信息的第二感觉的赋予。通过这样，用户11-1能够在机器人31-1的运动停止的时间点掌握机器人31-1的实际的状态。

在此，虚拟状态信息所表示的状态与实际的机器人31-1的状态未必完全一致。因而，当停止基于虚拟状态信息的第一感觉的赋予且开始基于机器人状态信息的第二感觉的赋予时，存在因第一感觉与第二感觉的差异大而使用户11-1感到不适的情况。因此，也可以是在基于虚拟状态信息的第一感觉与基于在对用户11-1赋予基于虚拟状态信息的感觉之后由接收部132接收到的机器人状态信息的第二感觉之间存在规定大小以上的差异的情况下，控制部115控制感觉赋予部114使其对用户11-1赋予在第一感觉与第二感觉之间插值得到的感觉。

控制部115例如生成用于在第一感觉与第二感觉之间插值的多个虚拟状态信息，并控制感觉赋予部114以从第一感觉逐渐地成为第二感觉。在第一感觉和第二感觉为视觉的情况下，控制部115对用户11-1提供多个虚拟的图像使得对用户11-1提供的图像中的在与第一感觉对应的位置处包括的机器人31-1的指尖的图像逐渐地朝向与第二感觉对应的位置移动。通过这样，控制部115能够防止由于被赋予的感觉骤然变化而使用户11-1感到不适。

也可以是，控制部115控制感觉赋予部114使其在缓冲器112中储存的一个以上的机器人状态信息的量为阈值以上的情况下，将基于机器人状态信息的感觉赋予给用户11-1，在缓冲器112中储存的一个以上的机器人状态信息的量小于阈值的情况下，将基于虚拟状态信息的感觉赋予给用户11-1。通过这样，即使在减少了暂时存储到缓冲器112中的机器人状态信息的量的状态下产生机器人状态信息的传输延迟，也能够对用户11-1赋予基于虚拟状态信息的感觉。因而，能够减少从发送部131发送操作者状态信息起至接收部132接收到机器人状态信息为止所需要的延迟时间，易于用户11-1控制机器人31-1。

控制部115也可以确定从发送部131发送用户11-1状态信息起至接收部132接收到机器人状态信息为止的延迟的因素。控制部115基于所确定出的因素来决定是控制感觉赋予部114使其将基于存储部151中存储的虚拟状态信息的感觉赋予给用户11-1、还是控制感觉赋予部114使其将基于经由网络51接收到的虚拟状态信息的感觉赋予给用户11-1。经由网络51接收到的虚拟状态信息例如是从监视机器人31-1的状态并基于机器人31-1的状态生成虚拟状态信息的机器人控制装置41-1或云端的服务器提供的虚拟状态信息。

在机器人控制装置41-1或云端的服务器的处理能力或存储容量比终端装置21-1优秀的情况下，认为机器人控制装置41-1或云端的服务器能够生成相比于存储部151中存储的虚拟状态信息而言更高精度(即，更接近实际的机器人31-1的状态)的虚拟状态信息。因此，在网络51中的延迟时间为阈值以下的情况下，控制部115通过使用从机器人控制装置41-1或云端的服务器提供的虚拟状态信息，能够对用户11-1赋予接近于实际的机器人31-1的状态的感觉。

此外，终端装置21-1的控制部115与机器人控制装置41-1的控制部215以经由网络51传输自己侧的处理延迟时间的信息的方式相互进行通信。处理延迟时间是从用户11-1进行操作起至终端装置21-1发送操作者状态信息为止的时间以及从机器人31-1改变状态起至机器人控制装置41-1发送机器人状态信息为止的时间。控制部115和控制部215基于所获取到的另一方的延迟时间来确定用户11-1侧与机器人31-1侧的往复的延迟时间RTT的值。控制部115基于所确定出的延迟时间的值来决定是将基于虚拟状态信息的感觉赋予给用户11-1、还是将基于机器人状态信息的感觉赋予给用户11-1。

另外，机器人系统1也可以基于估计用户11-1的状态而生成的虚拟操作者状态信息来控制机器人31-1。例如，在从终端装置21-1的发送部131发送操作者状态信息起至该操作者状态信息到达机器人控制装置41-1的接收部231为止的延迟时间为规定的阈值以上的情况下，机器人控制装置41-1的控制部215基于虚拟操作者状态信息来控制机器人31-1。虚拟操作者状态信息例如是通过基于紧挨着的之前的一个以上的操作者状态信息估计操作者的最新的状态而生成的信息。通过这样，能够加快机器人31-1针对用户11-1所进行的操作的响应，因此操作性进一步提高。

此外，控制部215使用的虚拟操作者状态信息可以是从存储于存储部251的多个虚拟操作者状态信息中选择的虚拟操作者状态信息，也可以是基于由计算机图形(CG：Computer Graphics)生成的用户11-1的模型而生成的虚拟操作者状态信息。

[网络中的多流数据的同步]

在本实施方式中，从机器人控制装置41-1去向终端装置21-1的第二会话包括影像数据、音频数据以及触觉数据。根据各个媒体的数据的处理速度不同，而各个媒体的数据的延迟时间可能不同。在这些媒体中，影像数据的延迟时间最大。因此，在本实施方式中，终端装置21-1的控制部115和机器人控制装置41-1的控制部215将对影像数据中包括的各图像帧赋予的时间信息作为延迟时间的参照值来使用。

作为一例，机器人控制装置41-1的控制部215将音频数据和触觉数据包含在传输影像数据的各个图像帧中。通过这样，针对没有被赋予时间信息的音频数据和触觉数据也能够关联时间信息。

作为其它的例子，机器人控制装置41-1的控制部215也可以使用时间戳来使影像数据、音频数据以及触觉数据同步。在该情况下，机器人控制装置41-1的控制部215对各媒体的数据或通信帧赋予表示时刻的时间戳。另外，终端装置21-1的控制部115和机器人控制装置41-1的控制部215可以使用从共同时钟源提供的时钟信号来作为参照时间戳时的时钟。作为共同时钟源，例如可以使用由第三方提供的共同时钟源，也可以使用由机器人系统1所具备的任意的装置(例如，作为与网络51连接的管理装置的服务器)提供的共同时钟源。

图7是示出本发明的一个实施方式所涉及的通信帧F1～Fj(设j为2以上的整数)的概要结构的框图。图7示出从机器人控制装置41-1发送的连续的多个(j个)通信帧F1～Fj。

在本实施方式中，设通信帧F1～Fj的通信速度为60[fps(帧/秒)]。当将通信帧F1的发送时刻T1设为0[ms]时，通信帧Fj的发送时刻Tj约为{16.6666×(j-1)}[ms]。在各个通信帧F1～Fj中包括影像数据、被图像化的音频数据、被图像化的触觉数据。在影像数据中例如包括左眼的影像数据和右眼的影像数据。在音频数据中例如包括左耳的音频数据和右耳的音频数据。在触觉数据中例如包括指尖的数据。

在各个通信帧F1～Fj中包括按发送顺序连续的序列号(帧编号)的信息。终端装置21-1和机器人控制装置41-1能够基于像这样的序列号(帧编号)的信息来确定各个通信帧F1～Fj的定时。此外，也可以替代通信帧而使用通信数据包。

即使在从机器人控制装置41-1去向终端装置21-1的第二会话中产生通信帧F1～Fj的一部分的损失，控制部115和控制部215也能够基于已经过超时时间，而以包括所有媒体(影像、音频、触觉)的数据的通信帧为单位将数据丢弃或者对数据进行再次传输控制。也可以是，控制部115和控制部215在延迟时间为规定的阈值以下的情况下再次传输该数据，在延迟时间大于规定的阈值的情况下将该数据丢弃。

[运动的缓存]

在终端装置21-1与机器人控制装置41-1之间发送和接收的数据有时会在传输过程中消失。在这样的情况下，终端装置21-1的控制部115也可以使用缓冲器112中存储的数据来插值得到所消失的数据以使机器人31-1按用户11-1的意图进行动作，并且提高用户11-1的操作性。由此，终端装置21-1的控制部115例如在一部分数据消失了的情况下，也能够基于未消失的其它数据来估计已消失的数据并进行再现。

同样地，机器人控制装置41-1的控制部215通过使用缓冲器212中存储的数据来对数据进行插值，由此能够补偿任意的中间数据。由此，机器人控制装置41-1的控制部215例如在一部分数据消失了的情况下，也能够基于未消失的其它数据来估计已消失的数据并进行再现。像这样的插值例如也可以应用于第一会话的数据和第二会话的数据中的任意一方或两方。

[机器人系统1的结构和动作的总结]

如以上那样，本实施方式所涉及的机器人系统1通过在远程存在系统中使用缓冲器112和缓冲器212对延迟进行补偿由此能够实现高品质的机器人控制。机器人系统1例如将操作者状态信息和机器人状态信息暂时储存到缓冲器112和缓冲器212中，由此能够将从发送部131发送操作者状态信息起至接收部132接收到机器人状态信息为止所需要的延迟时间的变动量抑制在规定的范围内。通过这样，使用机器人系统1的用户11-1易于操作机器人31-1。

另外，在从发送部131发送操作者状态信息起至接收部132接收到机器人状态信息为止所需要的延迟时间比规定的时间长的情况下，机器人系统1将基于虚拟状态信息的感觉赋予给用户11-1。通过机器人系统1具有像这样的结构，即使是网络51中的数据传输的延迟时间长的情况，也能够缩短从用户11-1进行操作起至获得与机器人31-1的状态相应的感觉为止的时间。其结果是，用户11-1能够舒适地控制机器人31-1。

此外，机器人系统1也可以通过其它方式来控制用户11-1侧的缓冲器112和机器人31-1侧的缓冲器212各自的延迟时间。作为一例，可以是机器人系统1进行如下控制：在用户11-1侧的缓冲器112和机器人31-1侧的缓冲器212中分别将双方向的数据(第一会话的数据、第二会话的数据)保持规定期间，每隔该规定期间输出该数据。该规定期间例如根据延迟时间最长的媒体来决定，在本例中，基于从机器人控制装置41-1发送到终端装置21-1的影像数据的延迟时间来决定。

在此，用户11-1～11-n的数量、终端装置21-1～21-n的数量、机器人控制装置41-1～41-n的数量、机器人31-1～31-n的数量的各个数量可以是任意的数量。例如，用户11-1～11-n的数量与机器人31-1～31-n的数量可以相同，也可以不同。

另外，在本实施方式中，示出在用户11-1侧缓冲器112和对缓冲器112中的延迟时间进行控制的控制部115配置于终端装置21-1的结构，但是作为其它的结构例，也可以是缓冲器112以及缓冲器112中的延迟时间的控制功能中的一方或两方配置于与终端装置21-1不同的控制装置。

同样地，在本实施方式中，示出在机器人31-1侧缓冲器212和对缓冲器212中的延迟时间进行控制的控制部215配置于机器人控制装置41-1的结构，但是不限于这样的结构。作为其它的结构例，也可以是缓冲器212以及缓冲器212中的延迟时间的控制功能中的一方或两方配置于与终端装置21-1不同的控制装置。

在此，在机器人系统1中，也可以是在用户11-1侧通过终端装置21-1来检测影像、音频、触觉等中的一个以上的数据并发送到机器人31-1侧，在机器人31-1侧通过机器人控制装置41-1接收该数据并再现基于该数据的感觉(视觉、听觉、触觉等)。在该情况下，终端装置21-1例如具备检测影像的传感器(例如摄像装置(摄像机))、检测音频的传感器(例如麦克风)以及检测触觉的传感器(例如压力传感器)等来作为检测部111。

另外，机器人控制装置41-1例如具备将基于从终端装置21-1接收到的影像、音频、触觉等数据的感觉进行再现的感觉再现部。感觉再现部的功能例如可以配置于机器人驱动部213，也可以与机器人驱动部213分开地配置。感觉再现部的功能的一部分或全部也可以安装于机器人31-1。该情况下的感觉再现部例如是再现影像的影像显示器、再现音频的扬声器以及再现触觉的压力等的发生器(动作发生器)等。

[变形例1]

在机器人系统1中，也可以由多个用户控制一个共同的机器人。作为一例，示出三个用户11-1～11-3控制一个机器人31-1的情况。在本例中，三个用户11-1～11-3各自的终端装置21-1～21-3通过分时地与机器人控制装置41-1进行通信，来控制机器人31-1。例如，机器人31-1具备多个可动部分，三个用户11-1～11-3分别控制不同的可动部分。多个可动部分例如是多个手臂。

图8是示出本发明的一个实施方式所涉及的分时的通信帧Z1～Z6的概要结构的框图。图8示出多个连续的通信帧Z1～Z6。在本例中，例如第一个用户11-1的终端装置21-1使用第一个通信帧Z1来与机器人控制装置41-1进行通信。第二个用户11-2的终端装置21-2使用第二个通信帧Z2来与机器人控制装置41-1进行通信。第三个用户11-3的终端装置21-3使用第三个通信帧Z3来与机器人控制装置41-3进行通信。像这样通过多个终端装置21-1～21-3分时地与共同的机器人控制装置41-1进行通信，来控制共同的机器人31-1。

[变形例2]

在机器人系统1中，也可以由一个用户控制多个机器人。作为一例，示出一个用户11-1控制三个机器人31-1～31-3的情况。在本例中，一个用户11-1的终端装置21-1通过与三个机器人控制装置41-1～41-3分时地进行通信，来控制三个机器人31-1～31-3。

利用图8的例子进行说明。在本例中，例如一个用户11-1的终端装置21-1使用第一个通信帧Z1来与第一个机器人31-1的机器人控制装置41-1进行通信。终端装置21-1使用第二个通信帧Z2来与第二个机器人31-2的机器人控制装置41-2进行通信。终端装置21-1使用第三个通信帧Z3来与第三个机器人31-3的机器人控制装置41-3进行通信。像这样通过一个终端装置21-1分时地与多个机器人控制装置41-1～41-3进行通信，来控制多个机器人31-1～31-3。

[变形例3]

机器人系统1也可以还具备经由网络51而与终端装置21-1～21-n和机器人控制装置41-1～41-n连接的管理装置。管理装置例如是服务器。

管理装置61与网络51连接，对终端装置21-1～21-n与机器人控制装置41-1～41-n之间的通信进行中继。也就是说，管理装置61接收从终端装置21-1～21-n发送到网络51的信号，并将该信号发送到该信号的目的地的机器人控制装置41-1～41-n，并且接收从机器人控制装置41-1～41-n发送到网络51的信号，并将该信号发送到该信号的目的地的终端装置21-1～21-n。

像这样，也可以是机器人系统1在云端具备管理装置61，对终端装置21-1～21-n与机器人控制装置41-1～41-n之间的通信进行管理。例如，管理装置61存储相互对应的终端装置21-1～21-n与机器人控制装置41-1～41-n各自的地址信息，基于该地址信息来对在它们之间进行通信的信号进行中继。管理装置61可以具备机械学习的功能，基于机械学习的结果来校正用户11-1～11-n控制机器人31-1～31-n的操作。

在参照图2～图6说明的实施方式中，终端装置21-1具有缓冲器112和对该缓冲器112中的数据的延迟时间进行调整的功能。另外，机器人控制装置41-1具有缓冲器212和对该缓冲器212中的数据的延迟时间进行调整的功能。可以将这两个功能中的任意一方或两方配置于管理装置61。

作为一例，管理装置61也可以替代终端装置21-1而具备缓冲器112和对该缓冲器112中的数据的延迟时间进行调整的功能(在本例中，为了便于说明而称为功能C1。)。在该情况下，在终端装置21-1中也可以不具备像这样的功能C1。

作为其它的例子，管理装置61也可以替代机器人控制装置41-1而具备缓冲器212和对该缓冲器212中的数据的延迟时间进行调整的功能(在本例中，为了便于说明而称为功能C2。)。在该情况下，在机器人控制装置41-1中也可以不具备像这样的功能C2。

并且，作为其它的例子，管理装置61也可以具备功能C1和功能C2双方。特别是认为在通信的延迟小的情况下，优选由管理装置61具备功能C1或功能C2。例如可以是，在从终端装置21-1经由网络51向机器人控制装置41-1进行的数据通信的延迟比从机器人控制装置41-1经由网络51向终端装置21-1进行的数据通信的延迟小的情况下，使用终端装置21-1具备功能C1且管理装置61具备功能C2的结构。

图9是示出能够经由网络51来与终端装置21-1和机器人控制装置41-1进行通信的管理装置61的图。管理装置61具有延迟确定部611和通知部612。延迟确定部611基于从终端装置21-1接收到操作者状态信息的时刻和从机器人控制装置41-1接收到机器人状态信息的时刻，来确定从终端装置21-1发送操作状态信息起至接收到机器人状态信息为止的延迟时间。通知部612将由延迟确定部611确定出的延迟时间通知给终端装置21-1的控制部115。

控制部115可以基于来自管理装置的指示来决定是否将基于虚拟状态信息的感觉赋予给用户11-1。在该情况下，管理装置的延迟确定部611确定产生延迟时间的因素，在由延迟确定部611确定出的因素为网络51的传输延迟的情况下，通知部612对终端装置21-1的控制部115发出指示以将基于虚拟状态信息的感觉赋予给用户11-1。控制部115基于来自通知部612的指示来控制感觉赋予部114使其将基于虚拟状态信息的感觉赋予给用户11-1。像这样，控制部115根据来自管理装置的指示来赋予基于虚拟状态信息的感觉，由此能够赋予基于虚拟状态信息和机器人状态信息中的更适合于网络51的延迟状态的信息的感觉。

此外，通知部612也可以在由延迟确定部611确定出的因素为机器人的动作延迟的情况下，对机器人控制装置41-1发出指示以将虚拟状态信息发送到终端装置21-1。图10是示出机器人控制装置41-1将虚拟状态信息提供给用户11-1的机器人系统1的图。机器人控制装置41-1例如将从存储于存储部251的多个虚拟状态信息中选择的虚拟状态信息提供给终端装置21-1。通过机器人系统1具有这样的结构，即使在终端装置21-1没有存储虚拟状态信息的情况下，终端装置21-1也能够将基于虚拟状态信息的感觉赋予给用户11-1。

[实施方式的总结]

在机器人系统1中，终端装置(在图1的例子中为终端装置21-1～21-n)将与用户(在图1的例子中为用户11-1～11-n)相关的数据经由网络(在图1的例子中为网络51)发送到机器人控制装置(在图1的例子中为机器人控制装置41-1～41-n)。然后，机器人控制装置基于该数据控制机器人(在图1的例子中为机器人31-1～31-n)。

另外，机器人控制装置将与机器人相关的数据经由网络发送到终端装置，终端装置基于该数据来对用户赋予感觉。终端装置和机器人控制装置中的至少一方具备存储发送对象数据和所接收到的数据中的至少一方的数据的缓冲器(在图2、图3的例子中为缓冲器112、212)以及对由缓冲器存储的数据的延迟时间进行控制的控制部(在图2、图3的例子中为控制部115、215)。通过机器人系统1具有这样的结构，机器人系统1能够调整数据的传输延迟以不妨碍用户对机器人进行操作，因此，能够提高远程存在系统中的机器人的操作性。

作为一个结构例，控制部在传输发送对象数据和所接收到的数据时，将网络与用户之间或网络与机器人之间的规定的传输的延迟时间控制在规定的范围内。

作为一个结构例，与用户相关的数据包括与用户的运动相关的数据，与机器人相关的数据包括机器人中的图像数据、音频数据、触觉数据，机器人控制装置将图像数据、音频数据、触觉数据包含在共同的通信帧中进行通信。作为一个结构例，关于终端装置和机器人控制装置中的至少一方，使用存储于缓冲器的数据来进行数据插值。

作为一个结构例，在从发送操作者状态信息起至接收到机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，终端装置将基于机器人状态信息的感觉赋予给用户，在延迟时间比规定的时间长的情况下，将基于表示估计出的机器人的状态的虚拟状态信息的感觉赋予给用户。通过终端装置像这样进行动作，即使在延迟时间长的情况下，也能够使用户迅速地产生与机器人的状态相应的感觉，因此操作性提高。

也可以是将用于实现以上所示的实施方式所涉及的各装置(例如终端装置21-1～21-n或机器人控制装置41-1～41-n等)的功能的程序记录在计算机能够读取的记录介质(存储介质)中，并通过使计算机系统读入并执行记录于该记录介质的程序来进行处理。

此外，在此所说的“计算机系统”可以包括操作系统(OS：Operating System)或周边设备等硬件。另外，“计算机能够读取的记录介质”是指软盘、磁光盘、ROM、快闪存储器等能够写入的非易失性存储器、DVD(Digital Versatile Disc：数字通用光盘)等便携式介质、内置于计算机系统的硬盘等存储装置。此外，作为记录介质，例如可以是与计算机之间能够安装和拆卸的记录介质。另外，作为记录介质，例如也可以是暂时记录数据的记录介质。

并且，“计算机能够读取的记录介质”设为还包括如成为经由因特网等网络或电话线路等通信线路被发送程序的情况下的服务器、客户端的计算机系统内部的易失性存储器(例如DRAM(Dynamic Random Access Memory：动态随机存取存储器))那样以固定时间保持程序的介质。

另外，上述的程序也可以从将该程序保存于存储装置等的计算机系统经由传输介质或利用传输介质中的传输波传输到其它的计算机系统。在此，传输程序的“传输介质”是指如因特网等网络(通信网)或电话线路等通信线路(通信线)那样具有传输信息的功能的介质。

另外，上述的程序也可以是用于实现上述功能的一部分的程序。并且，上述的程序也可以是能够通过与已经记录于计算机系统中的程序组合来实现上述的功能的所谓的差分文件(差分程序)。

以上参照附图详细记述了本发明的实施方式，但是具体的结构不限于该实施方式，也包括不脱离本发明的主旨的范围内的设计变更等。

附图标记说明

1：机器人系统；11-1～11-n：用户；21-1～21-n：终端装置；31-1～31-n：机器人；41-1～41-n：机器人控制装置；51：网络；111、214：检测部；112、212：缓冲器；113、211：通信部；114：感觉赋予部；115、215：控制部；151、251：存储部；131、232：发送部；132、231：接收部；213：机器人驱动部；311：头部设备；312-1～312-2、413-1～413-2：手指部设备；313-1～313-2：躯干部设备；331：视觉部；332-1～332-2：音频部；411：视觉设备；412-1～412-2：音频设备；711：虚拟机器人；F1～Fj、Z1～Z6：通信帧；P1～P3、P11～P13：传输会话。

Claims (15)

1.一种感觉赋予装置，具有：

发送部，其向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；

接收部，其从所述机器人接收表示所述机器人的状态的机器人状态信息；

感觉赋予部，其将规定的感觉赋予给所述操作者；以及

控制部，在从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，所述控制部控制所述感觉赋予部使其将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，所述控制部控制所述感觉赋予部使其将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

2.根据权利要求1所述的感觉赋予装置，其特征在于，

所述控制部控制所述感觉赋予部使其在将基于所述虚拟状态信息的感觉赋予给所述操作者之后，将基于所述接收部接收到的所述机器人状态信息的感觉赋予给所述操作者。

3.根据权利要求2所述的感觉赋予装置，其特征在于，

在基于所述虚拟状态信息的第一感觉与基于在对所述操作者赋予基于所述虚拟状态信息的感觉之后由所述接收部接收到的所述机器人状态信息的第二感觉之间存在规定的大小以上的差异的情况下，所述控制部控制所述感觉赋予部使其将在所述第一感觉与所述第二感觉之间插值所得到的感觉赋予给所述操作者。

4.根据权利要求1至3中的任一项所述的感觉赋予装置，其特征在于，

还具有缓冲器部，所述缓冲器部在暂时存储了由所述接收部接收到的一个以上的所述机器人状态信息之后，将一个以上的所述机器人状态信息依次输出到所述感觉赋予部，

在所述缓冲器部中储存的一个以上的所述机器人状态信息的量小于阈值的情况下，所述控制部控制所述感觉赋予部使其将基于虚拟状态信息的感觉赋予给所述操作者。

5.根据权利要求1至3中的任一项所述的感觉赋予装置，其特征在于，

还具有缓冲器部，所述缓冲器部在暂时存储了由所述接收部接收到的一个以上的所述机器人状态信息之后，将一个以上的所述机器人状态信息依次输出到所述感觉赋予部，

所述控制部对暂时存储到所述缓冲器部中的所述机器人状态信息的量进行控制，以使从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间的变动量收敛于规定的范围内。

6.根据权利要求1至5中的任一项所述的感觉赋予装置，其特征在于，

所述控制部具有存储与各个不同状态的所述机器人对应的多个所述虚拟状态信息的存储部，所述控制部控制所述感觉赋予部使其将基于根据所述操作者状态信息从多个所述虚拟状态信息中选择出的虚拟状态信息的感觉赋予给所述操作者。

7.根据权利要求6所述的感觉赋予装置，其特征在于，

所述存储部存储包括与由各个不同状态的所述机器人拍摄到的图像相当的虚拟图像的多个所述虚拟状态信息，

所述控制部控制所述感觉赋予部使其将基于多个所述虚拟状态信息中的、包括与根据所述操作者状态信息所表示的操作内容确定出的所述机器人的位置对应的所述虚拟图像的虚拟状态信息的感觉赋予给所述操作者。

8.根据权利要求6或7所述的感觉赋予装置，其特征在于，

所述控制部为了从多个所述虚拟状态信息中选择一个虚拟状态信息，而基于紧挨着的之前的所述操作者状态信息所表示的所述操作者的状态和最新的所述操作者状态信息所表示的所述操作者的状态，估计在所述操作者进行了操作之后所述机器人成为什么样的状态，并选择与估计出的所述机器人的状态对应的一个虚拟状态信息。

9.根据权利要求6至8中的任一项所述的感觉赋予装置，其特征在于，

所述控制部使所述存储部存储表示所述感觉赋予部赋予过的基于所述机器人状态信息的感觉的内容的感觉历史信息，基于紧挨着的之前存储的所述感觉历史信息所表示的感觉的内容，从多个所述虚拟状态信息中选择为了对所述操作者赋予感觉而使用的虚拟状态信息。

10.根据权利要求7至9中的任一项所述的感觉赋予装置，其特征在于，

所述控制部确定从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止的延迟的因素，基于确定出的所述因素决定是控制所述感觉赋予部使其将基于所述存储部中存储的所述虚拟状态信息的感觉赋予给所述操作者，还是控制所述感觉赋予部使其将基于经由网络接收到的所述虚拟状态信息的感觉赋予给所述操作者。

11.一种机器人控制系统，具备：

感觉赋予装置，其将表示操作机器人的操作者的状态的操作者状态信息发送到网络上；

机器人控制装置，其基于经由所述网络接收到的所述操作者状态信息来控制所述机器人；以及

管理装置，其与所述机器人控制装置及所述感觉赋予装置之间能够经由所述网络进行通信，

所述感觉赋予装置具有：

发送部，其向所述机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；

接收部，其从所述机器人接收表示所述机器人的状态的机器人状态信息；

感觉赋予部，其将规定的感觉赋予给所述操作者；以及

控制部，在从所述发送部发送所述操作者状态信息起至所述接收部接收到所述机器人状态信息为止所需要的延迟时间为规定的时间以下的情况下，所述控制部控制所述感觉赋予部使其将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，所述控制部控制所述感觉赋予部使其将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者，

所述管理装置具有：

延迟确定部，其用于确定所述延迟时间；以及

通知部，其将由所述延迟确定部确定出的所述延迟时间通知给所述控制部。

12.根据权利要求11所述的机器人控制系统，其特征在于，

所述延迟确定部确定产生所述延迟时间的因素，

在由所述延迟确定部确定出的所述因素为所述网络的传输延迟的情况下，所述通知部对所述感觉赋予装置进行指示以将基于所述虚拟状态信息的感觉赋予给所述操作者，

所述感觉赋予装置的所述控制部控制所述感觉赋予部使其将基于所述虚拟状态信息的感觉赋予给所述操作者。

13.根据权利要求12所述的机器人控制系统，其特征在于，

在由所述延迟确定部确定出的所述因素为所述机器人的动作延迟的情况下，所述通知部对所述机器人控制装置进行指示以将虚拟状态信息发送到所述感觉赋予装置，

所述感觉赋予装置的所述控制部控制所述感觉赋予部使其将基于从所述机器人控制装置接收到的所述虚拟状态信息的感觉赋予给所述操作者。

14.一种机器人控制方法，具有使计算机执行的以下步骤：

向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；

判定从发送所述操作者状态信息起至接收到表示所述机器人的状态的机器人状态信息为止所需要的延迟时间是否为规定的时间以下；以及

在所述延迟时间为所述规定的时间以下的情况下，将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

15.一种程序，用于使计算机执行以下步骤：

向机器人发送表示操作所述机器人的操作者的状态的操作者状态信息；

判定从发送所述操作者状态信息起至接收到表示所述机器人的状态的机器人状态信息为止所需要的延迟时间是否为规定的时间以下；以及

在所述延迟时间为所述规定的时间以下的情况下，将基于所述机器人状态信息的感觉赋予给所述操作者，在所述延迟时间比所述规定的时间长的情况下，将基于表示估计出的所述机器人的状态的虚拟状态信息的感觉赋予给所述操作者。

Images