CN115225682B - 管理服务器、远程操作系统、远程操作方法以及存储介质 - Google Patents

Abstract

本发明提供管理服务器、远程操作系统、远程操作方法以及存储介质，能够使机器人更适当运行。实施方式的管理服务器包括：通信部，经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个；获取部，获取通过所述操作终端而输入的操作内容；意图推测部，基于由所述获取部所获取的操作内容来推测所述操作终端的操作者的意图；以及动作控制部，基于由所述意图推测部所推测出的意图结果来控制所述机器人装置的动作。

Description

管理服务器、远程操作系统、远程操作方法以及存储介质

技术领域

本发明涉及一种管理服务器、远程操作系统、远程操作方法以及存储介质。

背景技术

以往，已知有一种技术：根据从监控用终端或其他终端发送的数据，远程操作机器人等远程操作对象，以操作实验器具或实验装置。例如，已知：切换远程操作的权限，从而由多个操作者交替地远程操作同一机器人(例如参照专利文献1)。而且，以往，已知有一种关于下述情况的技术：使同学(classmate)的写实图像排列显示于各人的评估区域，或者显示视线方向的座席(例如参照专利文献2、专利文献3)。

[现有技术文献]

[专利文献]

[专利文献1]日本专利特开2003-092749号公报

[专利文献2]日本专利特开平10-171337号公报

[专利文献3]日本专利第6007377号公报

发明内容

[发明所要解决的问题]

但是，以往的技术中，能够从终端装置指示的内容存在限制，因此只能使机器人进行特定的作业，有时无法使机器人适当地运行。另外，无法由多人操作同一远程操作对象，从而感受其他操作者对同一远程操作对象的操作。而且，在远程操作中，由于是一个人的作业，因此有时会感到孤独感。而且，在远程操作中，对于如何犹如实际存在般感受到其他人活动的样子等未作研讨。

本发明的实施例是考虑到此种情况而完成，目的之一在于提供一种管理服务器、远程操作系统、远程操作方法以及程序，能够使机器人更适当运行，并能够感受其他操作者对同一远程操作对象的操作，或者能够提供即便在远程操作时也能让人感到如同处在作业空间内的信息。

[解决问题的技术手段]

本发明的管理服务器、远程操作系统、远程操作方法以及程序采用了以下的结构。

(1)：本发明的一实施例的管理服务器包括：通信部，经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个；获取部，获取通过所述操作终端而输入的操作内容；意图推测部，基于由所述获取部所获取的操作内容来推测所述操作终端的操作者的意图；以及动作控制部，基于由所述意图推测部所推测出的意图结果来控制所述机器人装置的动作。

(2)：所述(1)的实施例中，所述获取部获取与所述机器人装置的动作相关的机器人控制信息、以及由设于所述机器人装置的传感器所检测出的传感器信息，所述管理服务器还包括管理部，所述管理部对于由所述获取部所获取的所述机器人控制信息与所述传感器信息设定各不相同的访问权，在确认了所设定的访问权时，能够获取所述机器人控制信息与所述传感器信息的任一个。

(3)：所述(2)的实施例中，所述管理部使所述传感器信息的访问权的强度大于所述机器人控制信息。

(4)：所述(1)至(3)中的任一实施例中，所述动作控制部在基于从多个操作终端获取的操作内容来控制一个机器人装置的动作的情况下，基于对所述操作终端进行操作的操作者的优先级来生成所述机器人装置的动作控制信息。

(5)：所述(4)的实施例中，所述动作控制部在由所述获取部从所述多个操作终端获取了相同或类似的操作内容的情况下，使来自所述优先级高的操作者的操作内容优先地控制所述机器人装置的动作。

(6)：所述(4)或(5)的实施例中，所述意图推测部推测对所述一个机器人装置进行操作的多个操作终端各自的操作者的意图，所述管理服务器还包括输出控制部，所述输出控制部使由所述意图推测部所推测出的所述各个操作者的意图推测结果输出至所述多个所述操作终端的各个。

(7)：本发明的另一实施例是一种远程操作系统，包括：所述(1)～(6)中任一项所述的管理服务器；所述一个以上的机器人装置；以及所述一个以上的操作终端。

(8)：本发明的另一实施例是一种远程操作方法，由计算机经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个，获取通过所述操作终端而输入的操作内容，基于所获取的操作内容来推测所述操作终端的操作者的意图，基于所推测出的意图结果来控制所述机器人装置的动作。

(9)：本发明的另一实施例是一种程序，使计算机经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个，获取通过所述操作终端而输入的操作内容，基于所获取的操作内容来推测所述操作终端的操作者的意图，基于所推测出的意图结果来控制所述机器人装置的动作。

(10)：本发明的一实施例的管理服务器包括：通信部，经由网络而与一个以上的操作终端进行通信；获取部，获取与所述操作终端的操作者的行动相关的信息；意图推测部，基于由所述获取部所获取的信息来推测所述操作终端的操作者的意图；管理部，对空间上的所述操作者的配置场所进行管理；以及输出控制部，基于由所述意图推测部所推测出的意图结果，将基于表示所述操作者的信息和与所述行动相关的信息的信息配置在由所述管理部所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

(11)：所述(10)的实施例中，所述管理部生成供所述操作者选择配置场所的图像，将所生成的图像发送至所述操作终端，基于使用所述图像而选择的配置场所来管理所述操作者的配置场所。

(12)：所述(10)或(11)的实施例中，所述操作终端包含对一个以上的机器人装置进行远程操作的终端。

(13)：所述(10)至(12)中的任一实施例中，所述管理部获取在实际空间上由所述操作者所操作的机器人装置的配置位置，在将包含配置在所获取的配置位置的机器人装置的图像输出至所述操作终端时，使表示所述操作者的图像重叠于所述机器人装置的显示区域。

(14)：所述(10)～(12)的实施例中，所述管理部对应于预先分配至虚拟空间上的座席信息来管理所述操作者的配置场所，在使表示所述虚拟空间的图像输出至所述操作终端时，使表示所述操作者的图像对应于所述虚拟空间上的座席的图像的位置而重叠。

(15)：所述(10)～(14)中任一项所述的实施例中，所述输出控制部获取所述操作者的语音，使所获取的语音声像定位至所述配置场所而输出。

(16)：本发明的另一实施例是一种远程操作系统，包括：所述(10)～(15)中任一项所述的管理服务器；所述一个以上的操作终端；以及一个以上的机器人装置，通过所述一个以上的操作终端进行远程操作。

(17)：本发明的另一实施例是一种远程操作方法，由计算机经由网络来与一个以上的操作终端进行通信，获取与所述操作终端的操作者的行动相关的信息，基于所获取的信息来推测所述操作终端的操作者的意图，对空间上的所述操作者的配置场所进行管理，基于所推测出的意图结果，将基于表示所述操作者的信息和与所述行动相关的信息的信息配置在所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

(18)：本发明的另一实施例是一种程序，使计算机经由网络来与一个以上的操作终端进行通信，获取与所述操作终端的操作者的行动相关的信息，基于所获取的信息来推测所述操作终端的操作者的意图，对空间上的所述操作者的配置场所进行管理，基于所推测出的意图结果，将基于表示所述操作者的信息和与所述行动相关的信息的信息配置在所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

(19)：本发明的一实施例的远程操作控制系统由操作者对作为现实物体或者虚拟世界的虚拟物体的远程操作对象进行远程操作，所述远程操作控制系统包括：信息获取部，获取第一操作信息与第二操作信息，所述第一操作信息表示由第一操作者经由受理对所述远程操作对象的操作的第一控制器而输入的操作，所述第二操作信息表示由第二操作者经由受理对所述远程操作对象的操作的第二控制器而输入的操作；控制信息生成部，基于所述信息获取部所获取的所述第一操作信息与所述第二操作信息，来生成使所述远程操作对象运行的控制信息；以及反馈信息生成部，基于所述控制信息，生成将所述远程操作对象的动作内容反馈给所述第一控制器的第一反馈信息，并生成将所述远程操作对象的动作内容反馈给所述第二控制器的第二反馈信息。

(20)：所述(19)的实施例中，所述反馈信息生成部所述反馈信息生成部根据基于由所述第一操作者所输入的操作的、所述远程操作对象的动作，生成用于将所述第一操作者所进行的操作内容经由所述第二控制器而传递给所述第二操作者的第一反馈信息，根据基于由所述第二操作者所输入的操作的、所述远程操作对象的动作，生成用于将所述第二操作者所进行的操作内容经由所述第一控制器而传递给所述第一操作者的第二反馈信息。

(21)：所述(19)或者(20)的实施例中，还包括：比较图像生成部，生成比较图像，所述比较图像是显示于用于所述第一操作者的第一显示部、或者用于所述第二操作者的第二显示部的图像数据，且表示由所述第一操作者所输入的操作与由所述第二操作者所输入的操作的比较结果。

(22)：所述(19)至(21)中的任一实施例中，所述控制信息生成部基于将所述第一操作者所进行的远程操作的内容与所述第二操作者所进行的远程操作的内容合成的结果，来生成所述控制信息。

(23)：所述(22)的实施例中，所述控制信息生成部在对所述第一操作者所进行的远程操作的内容与所述第二操作者所进行的远程操作的内容进行合成时，生成使所述第二操作者的操作比所述第一操作者优先的所述控制信息。

(24)：所述(19)～(23)中的任一实施例中，所述反馈信息生成部基于搭载于所述远程操作对象的传感器得出的检测结果，来生成用于将在远程操作对象侧获得的感觉或者感触经由所述第一控制器而传递至所述第一操作者的第三反馈信息，基于搭载于所述远程操作对象的传感器得出的检测结果，生成用于将在所述远程操作对象侧获得的感觉或者感触经由所述第二控制器而传递至所述第二操作者的第四反馈信息。

(25)：本发明的另一实施例的远程操作控制方法是在由操作者对作为现实物体或者虚拟世界的虚拟物体的远程操作对象进行远程操作的远程操作控制中，由计算机获取第一操作信息与第二操作信息，所述第一操作信息表示由第一操作者经由受理对所述远程操作对象的操作的第一控制器而输入的操作，所述第二操作信息表示由第二操作者经由受理对所述远程操作对象的操作的第二控制器而输入的操作，基于所获取的所述第一操作信息与所述第二操作信息，来生成使所述远程操作对象运行的控制信息，基于所述控制信息，生成将所述远程操作对象的动作内容反馈给所述第一控制器的第一反馈信息，并生成将所述远程操作对象的动作内容反馈给所述第二控制器的第二反馈信息。

(26)：本发明的另一实施例的程序是在由操作者对作为现实物体或者虚拟世界的虚拟物体的远程操作对象进行远程操作的远程操作控制中，使计算机获取第一操作信息与第二操作信息，所述第一操作信息表示由第一操作者经由受理对所述远程操作对象的操作的第一控制器而输入的操作，所述第二操作信息表示由第二操作者经由受理对所述远程操作对象的操作的第二控制器而输入的操作，基于所获取的所述第一操作信息与所述第二操作信息，来生成使所述远程操作对象运行的控制信息，基于所述控制信息，生成将所述远程操作对象的动作内容反馈给所述第一控制器的第一反馈信息，并生成将所述远程操作对象的动作内容反馈给所述第二控制器的第二反馈信息。

[发明的效果]

根据所述(1)～(9)的实施例，能够使机器人更适当运行。

根据所述(2)～(3)的实施例，数据的机密性得以保护。因此，例如能够防止被不具备访问权的企业盗取或串改传感器信息，从而能够提高系统整体的安全。而且，通过利用访问权来对所提供的信息进行管理，从而能够使各种企业等安心地利用服务。

根据所述(4)～(5)的实施例，即便在由多个操作者进行操作的情况下，也能够适当地操作机器人。

根据所述(5)的实施例，能够使多个操作者更准确地掌握正在由其他操作者进行操作的状况。因此，能够输入更适当的操作内容来使机器人装置运行。

根据所述(10)～(18)的实施例，能够提供即便在远程操作时也能让人感到如同处在作业空间内的信息。

根据所述(11)的实施例，能够使基于表示操作者的信息和与所述行动相关的信息的信息配置于空间上的操作者所期望的位置。

根据所述(12)、(13)的实施例，在显示机器人装置的位置，显示表示操作者的图像，因此能够防止产生孤独感。

根据所述(14)的实施例，即便是虚拟空间上的作业场所，也能够掌握周围的状况，从而能够提供让人感到如同处在作业空间内的信息。

根据所述(15)的实施例，能够使操作者听到与配置场所相应的语音，因此能够让人更现实地感到如同处在作业空间内。

根据所述(19)～(26)的实施例，能够感受其他操作者对同一远程操作对象的操作。

根据所述(20)，能够将其中一个操作者的远程操作所引起的机器人等的动作传递给另一个操作者。

根据所述(21)，其中一个操作者能够通过图像来确认由另一个操作者进行了修正的自身的误操作、或自己的操作与另一个操作者的操作的差异等。

根据所述(22)，能够通过两位以上的操作者所进行的远程操作来使远程操作对象运行，从而例如能够由熟练者来实时指导新人的作业。

根据所述(23)，较之其中一个操作者所进行的远程操作，能够将另一个操作者所进行的远程操作反映至远程操作对象的动作，从而能够将其中一个操作者所进行的远程操作修正为另一个操作者所进行的远程操作。

根据所述(24)，能够将并非使用远程操作对象的远程操作，而是操作者实际对操作物体进行操作时获得的感觉或感触传递给操作者。

附图说明

图1A及图1B是表示实施方式的远程操作系统1的结构的一例的图。

图2是表示实施方式的管理服务器100的结构的一例的图。

图3是表示实施方式的管理服务器100的存储部170的另一结构的一例的图。

图4是用于对意图推测信息174的内容进行说明的图。

图5是用于对按企业分类的利用者信息171A的内容进行说明的图。

图6是用于对按企业分类的传感器信息175A的内容进行说明的图。

图7是用于说明利用者信息171的内容的图。

图8是用于对传感器信息175的内容进行说明的图。

图9是用于说明利用状况信息172的内容的图。

图10是表示实施方式的机器人装置200的结构的一例的图。

图11是表示实施方式的操作终端300的结构的一例的图。

图12是用于对本实施方式的机器人装置200的远程操作进行说明的图。

图13是表示操作终端300所显示的图像IM10的一例的图。

图14是表示在执行基于优先级的作业时显示于操作终端300的图像IM20的一例的图。

图15是表示向操作者询问要使机器人装置执行的动作的图像IM30的一例的图。

图16是表示显示于机器人装置200的监视器214的图像IM40的一例的图。

图17是用于对由实施方式中的远程操作系统1所执行的处理进行说明的序列图。

图18是表示用于让利用者选择座席的图像IM50的一例的图。

图19是表示由机器人装置200所拍摄的图像IM60的一例的图。

图20是用于对使利用者的图像信息重叠于位于周边的其他机器人装置200(U4)的情况进行说明的图。

图21是表示位于周边的作业员或机器人装置200的图像已被删除的图像IM80的一例的图。

图22是表示将基于表示操作者的信息和与行动相关的信息的信息配置于虚拟空间上的示例的图。

图23是用于对由实施方式中的远程操作系统1所执行的处理进行说明的序列图。

图24是表示本实施方式的远程操作控制系统的概要的图。

图25是被设置在第一操作者进行作业的作业空间内的结构的功能框图。

图26是机器人的功能框图。

图27是机器人远程操作控制装置的功能框图。

图28是表示比较图像的一例的图。

图29是表示机器人远程操作控制系统中的处理的一例的序列图。

图30是表示机器人远程操作控制装置所进行的处理的一例的流程图。

图31是表示机器人远程操作控制系统中的处理的另一例的序列图。

图32是表示机器人远程操作控制装置所进行的处理的另一例的流程图。

[符号的说明]

1：远程操作系统

2：远程操作控制系统

10：第一HMD

20：第一控制器

30：第一环境传感器

40：第一终端装置

50：第二HMD

60：第二控制器

70：第二环境传感器

80：第二终端装置

100：管理服务器

110、202、310：通信部

120：通信控制部

130：获取部

140：管理部

150：控制部

170：存储部

200：机器人装置

204：传感器

206：摄像机

208：麦克风

210：驱动部

214：监视器

216：扬声器

240：控制装置

260：存储部

300：操作终端

320：HMD

330：操作装置

340：环境传感器

360：控制装置

380：存储部

400：机器人

500：第三环境传感器

600：机器人远程操作控制装置

651：信息获取部

652：意图推测部

653：机器人操作决定部

654：控制信息生成部

655：反馈信息生成部

656：机器人状态图像生成部

657：比较图像生成部

658：通信控制部

具体实施方式

以下，参照附图来说明本发明的管理服务器、远程操作系统、远程操作方法以及程序的实施方式。

[系统结构]

图1A及图1B是表示实施方式的远程操作(信息提供)系统1的结构的一例的图。图1A及图1B所示的远程操作系统1例如包括管理服务器(信息提供服务器)100、机器人装置200以及操作终端300。而且，管理服务器100除了所述结构以外，也可还包括机器人制造商终端800以及通信企业终端900。管理服务器100经由网络NW可通信地连接于机器人装置200、操作终端300、机器人制造商终端800以及通信企业终端900。网络NW例如包含国际互联网、蜂窝网、无线保真(Wireless Fidelity，Wi-Fi(注册商标))网、广域网(Wide AreaNetwork，WAN)、局域网(Local Area Network，LAN)、提供者(provider)装置、无线基站等。在远程操作系统1中，机器人装置200以及操作终端300也可各自包括一个以上。图1A及图1B的示例中，示出了机器人装置200A、机器人装置200B以及机器人装置200C，但关于机器人装置的数量或种类，并不限定于此。而且，图1A的示例中，示出了对应于多个企业A、B的每一个受到管理的操作终端300A-1～操作终端300A-n(n为2以上的自然数)、操作终端300B-1～操作终端300B-n，但关于数量等，并不限定于此。而且，图1B的示例中，表示了多个操作终端300-1～300-n(n为2以上的自然数)。以下，在无须分别特别地识别机器人装置以及操作终端的情况下，简称作“机器人装置200”、“操作终端300”来进行说明。管理服务器100为“服务器”的一例。

管理服务器100将一个以上的操作终端300与作为操作对象的一个以上的机器人装置200相关联地进行管理。此时，管理服务器100既可针对每个操作终端300关联一台机器人装置200，也可对多个操作终端300关联一台机器人装置200，还可对一个操作终端300关联多个机器人装置200。而且，管理服务器100获取从操作终端300输入的操作内容，将与操作内容对应的动作控制信息发送至机器人装置200，由此来执行机器人装置200的远程操作。而且，管理服务器100将由机器人装置200所获取的信息发送至操作终端300。而且，作为管理服务器的管理服务器100生成用于即便在远程操作时也让人感到如同处在作业空间内(例如进行远程操作的机器人装置200的周围)的信息，并将所生成的信息提供给操作终端300。

机器人装置200基于经由网络NW而从管理服务器100发送的控制信息来执行规定的动作。机器人装置200例如包括能够通过使车轮或台车、履带(crawler)、吊车等驱动而移动的移动机构。图1A及图1B的示例中，机器人装置200A是至少可通过吊车而移动的包括两臂的机器人。机器人装置200B是可通过设在下部的车轮而移动的包括两臂的机器人。机器人装置200C是可通过双脚步行动作而移动的包括两臂的机器人。而且，机器人装置200包括对物体执行握持或移动、操作等的作业的臂部。而且，在机器人装置200中，设有多个振动或温度、压力、触觉传感器等的各种传感器，将由各传感器所检测出的数据以规定周期或者在受理了请求的时机发送至管理服务器100。而且，机器人装置200也可包括拍摄周边的摄像机或显示图像的监视器、输出声音的扬声器、获取周边的声音的麦克风等。

操作终端300例如针对利用机器人装置200的每个企业而设有一个以上。操作终端300输入机器人装置200的操作内容，或者将由机器人装置200所获取的信息通知给操作者。操作终端300可操作一台或多台机器人装置200。而且，操作终端300也可操作机器人装置200的一部分部件(例如右手臂或左手臂等)。而且，操作终端300例如也可设有头戴显示器(Head Mount Display，HMD)或者对操作装置、操作者的活动进行检测的环境传感器。另外，操作终端300并不限定于设在企业内设施中，也可为设在操作者的自家中的终端，还可为设在远程工作站(telework station)的终端，所述远程工作站被设置在车站或百货公司、公共设施、网咖(net cafe)等。

机器人制造商终端800例如是机器人装置200的制造业者或管理公司所利用的终端。机器人制造商终端800例如对搭载于各机器人装置200的软件(程序)的版本进行更新，或者获取来自机器人装置200的错误信息，并基于所获取的错误信息来进行机器人装置200的远程操作或停止控制等。

通信企业终端900例如是对网络NW上的通信进行管理的通信从业者等所利用的终端。通信企业终端900对于远程操作系统1，对为了进行远程操作而通信的数据量进行管理，或者对通信的延迟等进行管理，进行系统内的通信环境的维护等。而且，通信企业终端900也可进行在网络NW上发生了故障时的应对等。

接下来，具体说明管理服务器100、机器人装置200以及操作终端300的功能。

[管理服务器]

图2是表示实施方式的管理服务器100的结构的一例的图。管理服务器100例如包括通信部110、通信控制部120、获取部130、管理部140、控制部150以及存储部170。通信控制部120、获取部130、管理部140以及控制部150分别通过例如中央处理器(CentralProcessing Unit，CPU)等硬件处理器执行程序(软件)而实现。这些构成元件中的一部分或全部也可通过大规模集成电路(Large Scale Integration，LSI)或专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、图形处理器(Graphics Processing Unit，GPU)等硬件(电路部；包含电路(circuitry))来实现，还可通过软件与硬件的协作来实现。这些构成元件的功能中的一部分或全部也可通过专用的LSI来实现。程序既可预先保存在管理服务器100所包括的硬盘驱动器(Hard Disk Drive，HDD)或快闪存储器等存储装置(包括非一次性的存储介质的存储装置)中，也可保存在数字多功能光盘(Digital Versatile Disc，DVD)或只读光盘(Compact Disc Read Only Memory，CD-ROM)等可装卸的存储介质(非一次性的存储介质)中，并通过将存储介质安装至管理服务器100所包括的驱动装置，而安装到管理服务器100所包括的HDD或快闪存储器中。管理服务器100也可通过被装入云计算系统中的服务器装置或存储装置来实现。此时，也可通过云计算系统中的多个服务器装置或存储装置来实现管理服务器100的功能。

通信部110通过通信控制部120的控制，经由网络NW而与一个以上的机器人装置200、对一个以上的机器人装置200进行远程操作的操作终端300、其他外部装置进行通信。通信控制部120对通信部110中的通信进行控制。

通信控制部120控制通信部110中的通信。通信控制部120例如接收从操作终端300输入的机器人装置200的操作内容，或者将与操作内容相应的动作控制信息发送至机器人装置200。而且，通信控制部120接收从机器人装置200发送的传感器等的检测结果或摄像机图像等的信息，或者将基于所接收的信息的提供信息发送至操作终端。

获取部130从机器人装置200或操作终端300获取各种信息。例如，获取部130从操作终端300获取用于操作机器人装置200的操作信息。与行动相关的信息例如包含与操作者的动作相关的信息或者与操作者的语音相关的信息等。而且，获取部130获取来自机器人装置200中所设的传感器或摄像机的信息。而且，获取部130也可从连接于网络NW的外部装置获取信息。

管理部140例如包括认证管理部142、信息管理部144与利用状况管理部146。认证管理部142对操作机器人装置200的操作者(系统利用者)的认证或利用权限等进行管理。而且，认证管理部142基于认证结果，将操作终端300所操作的机器人装置200相关联地进行管理。

信息管理部144针对每个利用者来管理可利用的信息。例如，信息管理部144将用于控制机器人的机器人控制信息或从设于机器人装置200的传感器所获取的信息(传感器信息)存储至存储部170，并且，例如设定各不相同的访问权，在确认了所设定的访问权时，将信息发送至具有对应的可提供权限的操作终端300。而且，信息管理部144例如也可使传感器信息的访问权的强度大于机器人控制信息。所谓使访问权的强度大，例如是指：存储到若未被许可规定的认证便无法访问的存储区域；或者对数据其自身进行加密管理，或者增多用于获取数据的密码等认证条件的数量或种类。由此，数据的机密性得以保护。因此，例如能够防止被不具备访问权的企业盗取或串改传感器信息，从而能够提高系统整体的安全。而且，通过利用访问权来对所提供的信息进行管理，从而能够使各种企业等安心地利用远程操作系统1。

利用状况管理部146对每个利用者的远程操作系统1的利用状况进行管理。例如，利用状况管理部146对每个利用者在空间上的配置场所进行管理。所谓空间上，例如是指作业空间，既可为实际空间上，也可为虚拟空间上。以下，主要以实际空间为中心来进行说明。而且，利用状况管理部146对操作者相对于预先分配至空间上的座席的配置位置进行管理，或者对提供给操作终端300的信息的利用状况等进行管理。

控制部150例如包括机器人信息控制部151、自定义数据控制部152、意图推测部153、动作控制部154、动作取消部155以及输出控制部156。机器人信息控制部151例如对下述内容等进行管理，即，相对于由动作控制部154所生成的针对机器人装置200的动作控制信息，机器人装置200实际上进行怎样的操作。而且，机器人信息控制部151基于存储在存储部170中的机器人控制信息173，来使机器人装置200执行基本的动作。所谓基本的动作，例如是指使机器人装置200移动或改变姿势，或者使机器人装置200拿起或放下物体的动作。这些基本动作的控制信息被保存在机器人控制信息173中。

自定义数据控制部152例如针对每个企业而生成自定义数据，所述自定义数据用于使机器人装置200执行特定的动作(例如，进行装配物体的作业或焊接作业、螺固，或者烹饪中的各种工序作业等)。

意图推测部153根据通过操作终端300而输入的操作内容的至少一部分的信息来推测操作者的意图。操作者的意图例如不仅包含操作者想要让机器人装置200进行的行动(动作)的意图，还包含对行动等进行预测或者对机器人装置200的驱动进行辅助。例如，在远程操作中操作者通过通信等所指示的感觉与机器人装置200的动作产生偏离。因此，意图推测部153并非使机器人装置200直接执行来自操作者的操作内容，而是基于操作内容来推测操作者的意图，基于推测结果来生成机器人装置200的动作控制信息，由此，能够更适当地辅助机器人装置200的活动，实现不协调感少的远程操作。意图推测部153例如参照使用教学数据而学习的学习模型(意图推测信息174)，来推测与操作内容对应的意图。另外，在学习时，例如使用教学数据来进行学习，所述教学数据用于输入操作内容，而输出作业者等针对所述操作内容所设定的正解的意图信息。

而且，意图推测部153也可基于从操作者输入的操作内容以及表示机器人装置200的实际的动作内容的历史信息来更新意图推测信息174。由此，能够实现更适当的意图推测。

而且，意图推测部153例如也可通过抓取分类(GRASP Taxonomy)法(例如参照参考文献1)来推测操作者的动作意图。实施方式中，例如通过抓取分类法来对操作者或者机器人装置200的姿势即握持姿势进行分类，由此来对操作者状态进行分类，以推测操作者的动作意图。

参考文献1：托马斯·费克斯(Thomas Feix)、哈维尔·罗梅罗(Javier Romero)等，“人类抓取类型的抓取分类(The GRASP Taxonomy of Human Grasp Types)”IEEE人机系统汇刊(IEEE Transactions on Human-Machine Systems)(第46卷，第1期，2016年2月)，IEEE，第66页-第77页

动作控制部154基于由意图推测部153所推测出的操作者的意图来生成用于使作为对象的机器人装置200运行的动作控制信息，将所生成的动作控制信息发送至作为操作对象的机器人装置200，对机器人装置200的动作进行控制。而且，动作控制部154也可除了操作者的意图以外(或者取代操作者的意图)，而获取由机器人信息控制部151或自定义数据控制部152等所获得的与机器人装置200的动作相关的信息，并基于所获取的信息来生成动作控制信息。而且，动作控制部154例如在多个操作者同时操作两个臂的情况下，也可基于触觉等的传感器信息等来进行力的相加或相减等的合成处理，以进行用于协调地进行作业的动作控制。由此，即便在由多个操作者来操作一台机器人装置200的情况下，也能够实现平衡性良好的动作。

动作取消部155选择由动作控制部154使机器人装置200执行的动作中的、与操作者的意图不同的动作，取消所选择的动作的执行。此时，动作取消部155向操作者询问从操作者输入的操作内容是否为使机器人装置200运行的内容，并基于询问结果来使动作控制部154生成动作控制信息或者更新意图推测信息174。

输出控制部156基于从机器人装置200获取的声音或图像，来生成向对操作终端300进行操作的操作者提供的信息。所提供的信息包含图像或声音。而且，输出控制部156基于认证管理部142所进行的认证处理的结果来输出传感器信息等。而且，输出控制部156基于由利用状况管理部146所管理的内容，生成提供给每个用户的信息。

存储部170也可通过所述的各种存储装置或者固态硬盘(Solid State Drive，SSD)、电可擦可编程只读存储器(Electrically Erasable Programmable Read OnlyMemory，EEPROM)、只读存储器(Read Only Memory，ROM)或随机存取存储器(Random AccessMemory，RAM)等来实现。存储部170例如保存利用者信息171、利用状况信息172、机器人控制信息173、意图推测信息174、传感器信息175、程序以及其他信息。

图3是表示实施方式的管理服务器100的存储部170的另一结构的一例的图。图3的示例中，存储部170例如包括第一存储部170A与第二存储部170B。第一存储部170A以及第二存储部170B是访问权的强度各不相同的存储区域。第一存储部170A例如保存远程操作系统1的所有利用者能够使用的信息。而且，第二存储部170B例如保存只有经确认了预先设定的访问权的企业或利用者才能获取的信息。而且，第二存储部170B例如也可为针对每个企业来保存经加密的数据，且若不利用分配给每个企业的密钥等来执行解码便无法浏览的区域。关于对第一存储部170A以及第二存储部170B的访问权的设定，由认证管理部142予以管理。而且，第一存储部170A以及第二存储部170B也可为各不相同的存储部，其中一者或两者也可由数据服务器等外部装置予以管理。

例如，在第一存储部170A中，例如保存机器人控制信息173或意图推测信息174。所谓机器人控制信息173，是指用于使机器人装置200执行规定的动作的基本的控制信息。所谓规定的动作，例如是指移动、改变方向、使臂活动、拿起(握持)物体、放下物体等动作。这些动作例如也可对应于机器人装置200的每个种类而设定。

图4是用于对图2以及图3的意图推测信息174的内容进行说明的图。意图推测信息174例如是与由意图推测部153所推测出的意图推测结果相关的信息。图4是用于对意图推测信息174的内容进行说明的图。意图推测信息174例如将与推测意图相关的信息关联于从操作终端300获取的操作内容。这些信息既可针对每个操作者来进行管理，也可对多个操作者的意图推测信息174进行统合而仅保存与频率高的意图推测相关的信息，还可基于历史信息等来进行更新。

第二存储部170B保存经确认了规定的访问权的利用者可访问的信息。在第二存储部170B中，例如保存按企业分类的利用者信息171A或者按企业分类的传感器信息175A等。

图5是用于对按企业分类的利用者信息171A的内容进行说明的图。图5的示例中，保存有每个企业的利用者信息，各个信息被管理为，若各企业的访问权未得到确认便无法访问。按企业分类的利用者信息171A例如将姓名、权限、优先级、图像信息等的信息关联于在借助远程操作系统1的服务利用等时对利用者进行认证的认证信息。认证信息中例如包含对利用者进行识别的识别信息即利用者ID或密码等。而且，认证信息中也可包含指纹信息或虹膜信息等的生物认证信息。权限例如包含对利用者所分配的访问权等的权限信息。基于所述权限信息，能够获取由机器人装置200所获取的传感器信息等。信息管理部144通过参照保存在权限中的信息，能够对谁能对哪个数据进行访问、对哪个数据无法访问等进行管理。优先级信息例如保存有多个操作者对机器人装置200进行远程操作且各自的操作内容相同或类似时的优先级。所谓图像信息，是指表示利用者的图像信息，是用于识别利用者的图像。例如包含利用者的脸部图像或整体图像、模仿利用者而制作以便能够识别利用者的头像(avatar)图像或插图图像等。而且，图像信息也可包含从360度拍摄利用者的图像或仅各部位(例如臂或腿)的图像。

图6是用于对按企业分类的传感器信息175A的内容进行说明的图。图6的示例中，保存有每个企业的传感器信息，各个信息被管理为，若各企业的访问权未得到确认便无法访问。在按企业分类的传感器信息175A中，在对机器人装置200进行识别的识别信息即机器人ID中保存有日期时间、操作者ID、操作部件、传感器信息等。在操作者ID中保存进行操作的操作者的利用者ID。在操作部件中保存操作者所操作的机器人ID的部件。由此，即便在一台机器人装置200由多个操作者进行操作的情况下，也能够对各自的操作历史进行管理。

图7是用于说明图2的利用者信息171的内容的图。利用者信息171例如是将在利用远程操作系统1所提供的服务等时对利用者进行认证的认证信息中关联有姓名、权限、优先级、图像信息等的信息者。基本上，利用者信息171的内容类似于按企业分类的利用者信息171A的内容。

图8是用于对图2的传感器信息175的内容进行说明的图。在传感器信息175中，在对机器人装置200进行识别的识别信息即机器人ID中，保存有日期时间、操作者ID、操作部位、传感器信息等。基本上，传感器信息175的内容类似于按企业分类的传感器信息175A的内容。

图9是用于说明图2的利用状况信息172的内容的图。利用状况信息172例如对于利用者ID关联有日期时间、座席信息、对机器人装置200进行识别的识别信息即机器人ID、部位信息。日期时间例如既可为利用开始日期时间，也可包含利用时间等的信息。座席信息是配置在机器人装置200进行作业的空间内的座席中的、利用者所利用的座席信息。所述座席也可保存并非机器人装置200而是实际的作业者进行作业的场所(座席)的信息。部位信息是与通过多个利用者(操作者)来使机器人装置运行时的负责部位相关的信息。利用状况信息172由利用状况管理部146予以管理并根据状况进行更新。

[机器人装置]

图10是表示实施方式的机器人装置200的结构的一例的图。机器人装置200例如包括通信部202、传感器204、摄像机(拍摄部的一例)206、麦克风208、驱动部210、监视器214、扬声器216、控制装置240以及存储部260。驱动部210例如包括臂部210A与移动用驱动部210B。控制装置240例如包括通信控制部242、获取部244、驱动控制部246以及输出控制部248。通信控制部242、获取部244、驱动控制部246以及输出控制部248分别通过例如CPU等硬件处理器执行程序(软件)而实现。这些构成元件中的一部分或全部也可通过LSI或ASIC、FPGA、GPU等硬件(电路部；包含电路(circuitry))来实现，还可通过软件与硬件的协作来实现。这些构成元件的功能中的一部分或全部也可通过专用的LSI来实现。程序既可预先保存在机器人装置200所包括的HDD或快闪存储器等存储装置(包括非一次性的存储介质的存储装置)中，也可保存在DVD或CD-ROM等可装卸的存储介质(非一次性的存储介质)中，并通过将存储介质安装至机器人装置200所包括的驱动装置，而安装到机器人装置200所包括的HDD或快闪存储器中。

通信部202通过后述的通信控制部242的控制，经由网络NW而与管理服务器100、其他外部装置进行通信。而且，通信部202也可与其他机器人装置200进行通信，还可与操作终端300进行通信。

传感器204包含对机器人装置200的位置进行检测的位置传感器、对速度进行检测的速度传感器、对机器人装置200的周边或臂部210A的前端部等特定位置的温度进行检测的温度传感器等。位置传感器例如从全球定位系统(Global Positioning System，GPS)接收装置接收信息，基于所接收的信息来求出位置信息(经度/纬度信息)。而且，传感器204也可包含对周围的湿度进行检测的湿度传感器、或对由机器人装置200所操作的物体的振动进行检测的振动传感器。而且，传感器204也可包含对周边的物体进行探测的物体探测传感器。所谓周边的物体，例如是指其他机器人装置200或人物、障碍物等。

摄像机206例如是利用电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)等固态摄像元件的数字摄像机。摄像机206例如以规定的时机拍摄机器人装置200的周边。摄像机206并不限于一台，也可在机器人装置200设置多台摄像机206。例如，摄像机206被设在机器人装置200的头部。而且，摄像机206也可被设在臂部210A的前端附近。由此，能够近距离拍摄作为作业对象的物体，因此能够容易地进行更精细的作业。

机器人装置200周边的声音被输入至麦克风208。麦克风208将基于所输入的声音的信息输出至控制装置240。

臂部210A握持对象物体，或者对于对象物体进行规定的作业。臂部210A例如为多关节机械臂，例如包括致动器、齿轮、人工肌肉等。例如，臂部210A包括：多关节机械臂的一端连接于机器人装置本体的右侧附近的第一臂部、以及另一多关节机械臂的一端连接于机器人装置本体的左侧附近的第二臂部。而且，臂部210A除了第一臂部以及第二臂部以外，还可包括其他的臂部。以下，在不区分各个臂的情况下，简称作“臂部210A”。臂部的另一端构成可握持规定物体的握持部。臂部210A是基于控制装置240的控制来驱动。而且，臂部可进行与人的臂的活动同等的活动。

移动用驱动部210B是供机器人装置200在地板面或地面移动的驱动部。移动用驱动部210B例如也可为两个脚部，还可设有车轮、台车、履带等移动机构。例如，在移动用驱动部210B为脚部的情况下，脚部基于控制装置240的控制来运行，以使机器人装置200步行。而且，移动用驱动部210B也可为通过使吊车等驱动而可沿着天花板或轨道移动的结构。通过这些结构，机器人装置200能够朝所期望的方向移动。另外，驱动部210除了臂部210A或移动用驱动部210B以外，还设有使腰或头等的其他关节等驱动的机构。驱动部210基于驱动控制部246的控制来执行驱动。

监视器214例如为液晶显示器(Liquid Crystal Display，LCD)或有机电致发光(Electro Luminescence，EL)显示装置等。监视器214将由输出控制部248所输出的信息显示为图像。监视器214也可在机器人装置200中设有多个。监视器214例如也可设在头部，还可设在腹部或背面。扬声器216将由输出控制部248所输出的信息输出为声音。

控制装置240例如包括通信控制部242、获取部244、驱动控制部246以及输出控制部248。通信控制部242、获取部244、驱动控制部246、输出控制部248例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成元件中的一部分或全部也可通过LSI或ASIC、FPGA、GPU等硬件(电路部)来实现，还可通过软件与硬件的协作来实现。程序既可预先保存在HDD或快闪存储器等存储装置(非一次性存储介质)中，也可保存在DVD或CD-ROM等可装卸的存储介质(非一次性存储介质)中，并通过将存储介质安装至驱动装置而安装。

通信控制部242例如经由通信部202而通过无线通信来与管理服务器100进行通信，进行信息的收发。而且，通信控制部242也可经由通信部202来与其他机器人装置200进行通信。

获取部244获取设于机器人装置200的传感器204的检测结果(传感器信息)。而且，获取部244获取由摄像机206所拍摄的图像。而且，获取部244获取基于从麦克风208输入的声音的信息。

驱动控制部246基于从管理服务器100获取的动作控制信息来使臂部210A以及移动用驱动部210B运行。而且，驱动控制部246基于动作控制信息来使机器人装置200的其他部件(例如头、身体、腰等)驱动，以变更姿势等。而且，驱动控制部246也可基于存储在存储部260中的基本动作信息262以及自定义动作信息264来使机器人装置200驱动。基本动作信息262是用于根据机器人装置200的种类等来使其执行基本的动作的驱动控制信息。所谓自定义动作信息264，例如是指用于使机器人装置200执行针对每个操作者而预先登记的特定动作的驱动控制信息。

输出控制部248使监视器214输出基于从管理服务器100获取的信息的图像。而且，输出控制部248使扬声器216输出基于从管理服务器100获取的信息的声音或警告声等。

存储部260例如是通过HDD、快闪存储器、EEPROM、ROM或RAM等来实现。在存储部260中，例如保存有基本动作信息262、自定义动作信息264、程序、其他信息。

[操作终端]

图11是表示实施方式的操作终端300的结构的一例的图。操作终端300例如包括通信部310、视觉装置(HMD)320、操作装置330、环境传感器340、控制装置360以及存储部380。HMD320、操作装置330以及环境传感器340是“人机接口(Human Machine Interface，HMI)”的一例。

通信部310通过控制装置360所执行的控制而经由网络NW来与管理服务器100进行通信。而且，通信部310也可与其他操作终端300或机器人装置200进行通信。

HMD320例如包括图像显示部322、视线检测部324、传感器326、扬声器328以及控制部329。HMD320输出控制装置360从管理服务器100接收的机器人装置200的状态图像或声音等，或者检测操作者的视线的动向等。

图像显示部322例如是LCD或有机EL显示器等。图像显示部根据控制部329的控制，显示通过后述的输出控制部368而输出的图像。

视线检测部324通过控制部329的控制，对佩戴着HMD320的操作者的视线进行检测，并将所检测出的视线信息(操作者传感器值)输出至控制装置360。所谓视线信息，例如是指包含视线向量的信息。

传感器326例如是加速度传感器、陀螺仪传感器、磁传感器等。传感器326对佩戴着HMD320的操作者的头部的倾斜、头部的旋转进行检测，并将检测出的头部动作信息(操作者传感器值)输出至控制装置360。

扬声器328输出通过输出控制部368而输出的声音或警告声等。

控制部329基于来自控制装置360的控制信息，控制视线检测部324对视线检测的执行，或者控制通过传感器326进行的检测，或者控制对图像显示部322的图像显示，或者受理经由HMD320的、来自操作者的信息输入。

操作装置330例如包括传感器(操作者传感器)332、控制部334、反馈部336以及输入部338。操作装置330例如包含佩戴在操作者的手上的触觉数据手套。

传感器332例如为加速度传感器、陀螺仪传感器、磁传感器等。另外，传感器332包括多个传感器。传感器332例如通过两个传感器来追踪(tracking)各指的活动。传感器332例如通过控制部334的控制来检测操作者臂部信息(操作者传感器值)，所述操作者臂部信息是与操作者的各指的方位或活动、手的活动等的操作者的臂部的姿势或位置相关的信息。另外，操作者臂部信息(操作者传感器值)中包含指尖位置/姿势信息、各指的角度信息、肘的位置/姿势信息、对各部的活动进行追踪的信息等的涉及到人的整个臂部的信息。

控制部334将传感器332所检测出的操作者臂部信息输出至控制装置360。而且，控制部334基于从控制装置360获取的反馈信息来控制反馈部336。

反馈部336根据控制部334的控制，将反馈信息反馈给操作者。反馈部336根据反馈信息，例如通过安装在机器人装置200的臂部210A的给予振动的部件(未图示)、给予空气压力的部件(未图示)、限制手的活动的部件(未图示)、让人感知到温度的部件(未图示)、让人感知到坚硬度或柔软度的部件(未图示)或者让人感知到振动的部件(未图示)等，来对操作者反馈感觉。

输入部338例如是触觉数据手套以外的键盘或鼠标、操纵杆、触控面板、麦克风等的各输入装置。输入部338通过各输入装置来受理针对机器人装置200的操作内容的输入。

环境传感器340例如检测操作者的动作。环境传感器340例如包括摄像机(拍摄部的一例)342、传感器344以及物体位置检测部346。摄像机342拍摄包含操作者的图像。摄像机342例如为红绿蓝(Red Green Blue，RGB)摄像机。摄像机342将所拍摄的图像输出至物体位置检测部346。另外，在环境传感器340中，摄像机342与传感器344的位置关系是已知的。

传感器344例如为深度传感器。传感器344将检测结果输出至物体位置检测部346。另外，摄像机342与传感器344也可为距离传感器。

物体位置检测部346基于由摄像机342所拍摄的图像与由传感器344所检测出的检测结果，通过众所周知的方法来检测所拍摄的图像中的对象物体的三维位置与大小形状等。物体位置检测部346参照物体位置检测部346所存储的图案匹配的模型等，对摄像机342所拍摄的图像进行图像处理(边缘检测、二值化处理、特征量提取、图像增强处理、图像提取、图案匹配处理等)而推测物体的位置。另外，物体位置检测部346在从所拍摄的图像中检测到多个物体的情况下，针对每个物体来检测位置。物体位置检测部346将所检测出的物体位置信息发送给控制装置360。另外，环境传感器340所发送的数据例如也可为具有位置信息的点阵。

控制装置360例如包括通信控制部362、获取部364、操作内容生成部366以及输出控制部368。通信控制部362、获取部364、操作内容生成部366以及输出控制部368例如通过CPU等硬件处理器执行程序(软件)而实现。这些构成元件中的一部分或全部也可通过LSI或ASIC、FPGA、GPU等硬件(电路部)来实现，还可通过软件与硬件的协作来实现。程序既可预先保存在HDD或快闪存储器等存储装置(非一次性存储介质)中，也可保存在DVD或CD-ROM等可装卸的存储介质(非一次性存储介质)中，并通过将存储介质安装至驱动装置而安装。

通信控制部362例如经由通信部310而通过无线通信来与管理服务器100进行通信，进行信息的收发。而且，通信控制部362也可经由通信部310来与其他操作终端300进行通信。而且，通信控制部362进行与HMD320或操作装置330、环境传感器340的通信。

获取部364获取从HMD320、操作装置330、环境传感器340获得的信息。操作内容生成部366基于由获取部364所获取的信息，来生成针对机器人装置200的操作内容。例如，操作内容生成部366基于从HMD320所获取的信息，生成与视线信息或头的方向相关的操作内容。而且，操作内容生成部366基于从操作装置330所获取的信息，生成与机器人装置200的臂部210A的动作相关的操作内容。而且，操作内容生成部366基于从环境传感器340所获取的信息，生成与机器人装置200的姿势或移动方向、移动量相关的操作内容。由操作内容生成部366所生成的信息经由通信部310被发送至管理服务器100。

输出控制部368将从管理服务器100获取的提供信息输出至HMD320或操作装置330。例如，使HMD320的图像显示部322输出从管理服务器100获取的图像。而且，输出控制部368使扬声器328输出基于从管理服务器100获取的信息的声音或警告声等。而且，输出控制部368使操作装置330输出用于将从管理服务器100获取的与触觉相关的信息传达给操作者的反馈信息。

存储部380例如通过HDD、快闪存储器、EEPROM、ROM或RAM等来实现。在存储部380中，例如保存有程序、其他信息。

[关于实施方式的机器人装置的远程操作]

接下来，具体说明通过实施方式的远程操作系统1所进行的机器人装置200的远程操作。图12是用于对本实施方式的机器人装置200的远程操作进行说明的图。图12中，表示了基于两位操作者U1、U2的操作内容来操作一台机器人装置200的示例。操作者U1以及操作者U2分别如图12所示，佩戴有HMD320和操作装置330。操作终端300A-1、操作终端300A-2为同一企业(例如企业A)的终端，但也可设置在不同的场所。而且，也可取代操作终端300A-1、操作终端300A-2，而为图1B的操作终端300-1、操作终端300-2。

而且，对于操作者U1与操作者U2，设置有对操作者的动作或周边环境进行测定的环境传感器340。另外，例如也可在机器人装置200安装有与环境传感器340同样的结构。而且，操作装置330例如包含佩戴在操作者的左手的操作装置330a与佩戴在右手的操作装置330b。从操作装置330a、操作装置330b分别输入的操作内容被用于机器人装置200的左手LH以及右手RH的动作控制。操作者的臂的位置或脸部的方向等是通过环境传感器340来予以检测。各个检测出的数据经由网络而发送至管理服务器100。

管理服务器100基于从操作终端300A-1、操作终端300A-2获得的操作内容来推测各个用户的意图。此处，具体说明意图推测部153所推测的信息例。意图推测部153基于所获取的来自操作者的操作内容，推测操作者的动作意图。意图推测部153基于操作终端300的操作者传感器值，对操作者的臂部的姿势进行分类，由此，对包含机器人装置的握持部的臂的姿势进行分类。而且，意图推测部153基于分类结果来推测操作者想要让机器人装置200进行的动作意图。意图推测部153例如将想要让机器人装置200进行的作业目的、作业内容、每个时刻的手或指的活动等推测为操作者的动作意图。作业目的例如是物体的握持、物体的移动等。作业内容例如是握持物体并抬起、握持物体使其移动等。

而且，意图推测部153例如也可对存储在存储部170中的学习完毕模型或意图推测信息174输入操作内容，以推测操作者的动作意图。实施方式中，通过握持姿势的分类来进行意图推测，由此，能够高精度地推测操作者的动作意图。另外，对于握持姿势的分类，也可使用其他方法。

而且，意图推测部153也可使用视线与臂部的活动来统合地推测。此时，意图推测部153也可将视线信息、手的活动信息与平台TB上的物体OB的位置信息输入至学习完毕的模型，以推测操作者的动作意图。

图12的示例中，意图推测部153例如基于视线信息来推测想要握持的物体。接下来，意图推测部153基于所推测出的想要握持的物体，来推测操作者的手的姿势。而且，意图推测部153例如也可基于操作内容来首先推测操作者的手的姿势，接下来根据所推测出的操作者的手的姿势来推测想要握持的物体。另外，在从操作者U1、操作者U2输入了相同或类似的操作内容的情况下，基于来自优先级高的操作者的操作内容来进行意图推测。而且，在对每个操作者U1、操作者U2分配有不同部位的操作的情况下，意图推测部153推测基于各自的操作内容的意图。以下，设操作者U1操作右手的臂部210A，操作者U2操作左手的臂部210A来进行说明。

例如在图12所示的平台TB上放置有物体OB的情况下，意图推测部153基于手的姿势来推测为要握持物体OB。而且，意图推测部153也可基于操作内容与机器人装置200的状态信息，来事先推测操作者所意图的指尖的未来轨迹。另外，意图推测部153也可还使用由传感器所检测出的检测结果、对环境传感器340所拍摄的图像进行图像处理所得的结果等，来推测想要握持的物体与物体的位置。

而且，在操作者进行操作的环境与机器人动作环境中坐标系不同，因此例如也可在机器人装置200的启动时，进行操作者的操作环境与机器人动作环境的校准。而且，在握持时，管理服务器100也可基于机器人装置的握持力和物体与握持部的摩擦力等，考虑握持时的握持位置的误差来决定握持位置。

机器人装置200在未受到远程操作的情况下，根据控制装置240的控制来控制动作，在受到远程操作的情况下，根据基于管理服务器100所推测出的意图等而生成的动作控制信息来控制动作。

机器人装置200的控制装置240基于来自管理服务器100的动作控制信息来控制驱动部210。而且，机器人装置200将由传感器204所检测出的传感器信息、由摄像机206所拍摄的图像、或由麦克风208所输出的声音等的信息输出至管理服务器100。管理服务器100基于所获取的传感器信息、图像、声音等，生成向企业操作终端300A-1、企业操作终端300A-2(或操作终端300-1、操作终端300-2)提供的提供信息。此时，管理服务器100也可生成将传感器信息的至少一部分重叠于图像的图像。管理服务器100生成将用于通过触觉来传递的信息也包括在内的提供信息。而且，由于机器人装置200可由多个操作者来进行操作，因此也可生成将用于确定机器人装置200的各部位的操作者的信息重叠于摄像机图像的图像。操作终端300显示从管理服务器100输出的图像。由此，在多个操作者对机器人装置200进行操作的情况下，能够掌握由其他操作者所操作的机器人的状况。

图13是表示操作终端300所显示的图像IM10的一例的图。另外，关于图像IM10的布局或显示内容等的显示实施例，并不限定于图13的示例。关于下文说明的其他图像的显示实施例也同样。在图13所示的图像IM10中，在包含由摄像机206所拍摄的机器人装置200的臂部(左手LH、右手RH)的图像IM10上重叠显示有传感器信息显示区域A11、操作者信息显示区域A12与作业状况显示区域A13。而且，图13的示例中，在位于机器人装置200的正面的平台TB上放置有物体OB1。而且，假设机器人装置200的左手LH正以握持的状态抬起物体OB2，机器人装置200的右手RH正以握持的状态抬起物体OB3。传感器信息显示区域A11、操作者信息显示区域A12以及作业状况显示区域A13可以规定的透射率予以显示，以免遮挡实际空间上的物体。

图13的示例中，在传感器信息显示区域A11L，显示有与机器人装置200的左手相关的传感器信息。而且，在传感器信息显示区域A11R，显示有与机器人装置200的右手相关的传感器信息(例如位置、压力、温度等)。而且，图13的示例中，在操作者信息显示区域A12L，显示有与机器人装置200的左手的操作者相关的信息。在操作者信息显示区域A12R，显示有与机器人装置200的右手的操作者相关的信息。由此，例如在由多人操作机器人装置200的情况下，能够使其他操作者准确地掌握机器人装置200的各部件的操作者。而且，不仅能够掌握自己正在操作的部分的传感器信息，还能够掌握与其他操作者的操作相关的信息，因此能够执行更准确的处理。

在作业状况显示区域A13，显示各个意图推测的结果等。图13的示例中，显示与根据操作者U1、操作者U2各自的操作内容而推测出的意图相关的信息。而且，管理服务器100在通过意图推测而推测出各个操作者要进行相同或类似的处理的情况下，基于优先级信息来优先执行其中一个意图。而且，此时，对于其他操作者，也可通过显示于作业状况显示区域A13并且使声音或显示实施例发生变化，来进行警告等的提示。图13的示例中，操作者U1与操作者U2均想要将所握持的物体放置于物体OB1上，因此提示警告信息。警告实施例也可根据危险程度而不同。

此时，动作控制部154例如参照每个操作者的优先级，基于优先级高的操作者的意图来使机器人装置200执行动作。而且，管理服务器100在基于优先级来执行处理的情况下，使操作终端300的显示部显示包含处理内容的图像。

图14是表示在执行基于优先级的作业时显示于操作终端300的图像IM20的一例的图。图14的示例中，若与图13所示的图像IM10进行比较，则显示于作业状况显示区域A13的内容有所不同。因此，以下，主要对作业状况显示区域A13进行说明。图14的示例中，在作业状况显示区域A13，显示有表示基于优先级来优先执行操作者U2的指示的信息。由此，操作者U1、操作者U2能够更准确地掌握对于各个操作指示的意图推测结果与实际的作业状况。

而且，意图推测部153也可将所推测出的结果存储至存储部，以在下次以后的意图推测时加以利用。而且，意图推测部153在检测出不明的动作时，也可向操作者询问是否使机器人装置200执行所述动作。

图15是表示向操作者询问要使机器人装置执行的动作的图像IM30的一例的图。图像IM30例如包含动作询问信息显示区域A31与开关显示区域A32。在动作询问信息显示区域A31，显示下述信息，所述信息用于询问通过操作装置330而输入的操作内容中是否必须使机器人装置200执行。例如，在检测到触摸头的动作但未能推测出所述动作的意图的情况下，意图推测部153如图15的动作询问信息显示区域A31所示那样，使操作终端300显示表示“检测到触摸头的动作。是否使机器人执行所述动作？”等文字信息的图像。

在开关显示区域A32，例如显示有图标IC31以及IC32。图标IC31以及IC32例如是图形用户接口(Graphical User Interface，GUI)开关。在图标IC31受到选择的情况下，管理服务器100生成用于使机器人装置200执行所指示的操作内容的动作控制信息。而且，在图标IC32受到选择的情况下，管理服务器100不使机器人装置200执行所指示的操作内容。而且，管理服务器100也可执行如下所述的处理，即，即便今后输入了同一操作的情况下，也不使其输入至机器人装置。由此，能够抑制使机器人执行因操作者的习惯等而无意识地执行的动作等，从而能够避免进行多余的动作。

而且，位于机器人装置200周围的操作者并不知晓机器人装置200正在被谁操作，因此有可能感觉到不安。因此，管理服务器100也可使与机器人装置200的操作者相关的信息显示于机器人装置200的监视器。此时，若机器人装置200正由多个操作者进行操作，则也可提示各部件的每个部件的操作者。

图16是表示显示于机器人装置200的监视器214的图像IM40的一例的图。图像IM40中例如包含操作者信息显示区域A41、操作者信息显示区域A42中的其中一者或两者。在操作者信息显示区域A41，显示与操作机器人装置200的操作者相关的文字信息。而且，在操作者信息显示区域A41，也可包含与操作者所操作的机器人装置200的部件相关的信息。图16的示例中，在操作者信息显示区域A41，显示有“所述机器人的右手正由操作者U2进行操作，左手正由操作者U1进行操作。”这一文字信息。而且，在操作者信息显示区域A42，显示有登记在利用者数据库(DB)中的头像图像。由此，周围的操作者能够更准确地认识到正在远程操作机器人的人或所负责的部件。

[处理序列]

接下来，使用序列图来说明由实施方式中的远程操作系统所执行的处理。图17是用于对由实施方式中的远程操作系统1所执行的处理进行说明的序列图。图17的示例中，使用管理服务器100、机器人装置200与操作终端300-1、操作终端300-2来进行说明。而且，图17中，对通过两个操作终端300-1、300-2来操作机器人装置200的示例进行说明。

操作终端300-1以及操作终端300-2为了远程操作机器人装置200，而分别访问管理服务器100(步骤S100、步骤S102)。管理服务器100基于从操作终端300-1以及操作终端300-2输入的认证信息等，来进行是否可利用远程操作系统1的认证处理(步骤S104)。以下，对通过认证而利用被许可的情况进行说明。在利用被许可的情况下，管理服务器100的管理部对通过操作终端300-1以及操作终端300-2来操作的机器人装置200进行分配(步骤S106)，并对所分配的机器人装置进行启动控制的请求(步骤S108)。

机器人装置200基于来自管理服务器100的启动请求而启动机器(步骤S110)，并将机器人装置200的传感器的检测结果或由摄像机所拍摄的图像等输出至管理服务器100(步骤S112)。

管理服务器100获取从机器人装置200发送的信息，并基于所获取的信息而生成向操作终端300-1、操作终端300-2提供的信息(提供信息)(步骤S114)。接下来，管理服务器100将所生成的提供信息分别发送给操作终端300-1、操作终端300-2(步骤S116、步骤S118)。

操作终端300-1、操作终端300-2各自接收从管理服务器100发送的提供信息，并从HMD以及操作装置等输出所接收的信息，以提供信息(步骤S120，S122)。

接下来，操作终端300-1、操作终端300-2将与机器人装置200相关的操作内容发送至管理服务器100(步骤S124、步骤S126)。管理服务器100基于从操作终端300-1、操作终端300-2分别获得的操作内容来进行意图推测(步骤S128)，生成基于各个意图推测结果的动作控制信息(步骤S130)，并将所生成的动作控制信息发送至机器人装置200(步骤S132)。

机器人装置200基于动作控制信息来进行动作(步骤S134)，在动作中或动作结果中，将从传感器等获得的信息(传感器信息)或摄像机图像等发送给管理服务器100(步骤S136)。

管理服务器100使所接收的信息存储至存储部170(步骤S138)，生成用于将所获取的信息发送给操作终端300-1、操作终端300-2的提供信息(步骤S140)，并将所生成的提供信息发送至操作终端300-1、操作终端300-2(步骤S142、步骤S144)。操作终端300-1、操作终端300-2分别输出所获得的信息，对操作者进行信息提供(步骤S146、步骤S148)。以后，继续进行步骤S124～步骤S148的处理，直至对机器人装置200的操作完成为止。

而且，在执行远程操作时，由于操作者操作各不相同的场所的操作终端300，因此有时会感到孤独。因此，管理服务器100生成让人感到(错觉、模拟体验)操作者位于机器人装置200所处的作业空间内的信息，并将所生成的图像提供给操作终端300。

例如，管理服务器100在从利用者有机器人装置200的远程操作的指示时，将用于选择使机器人装置200进行作业的空间上的配置场所的信息(图像)发送至操作终端300。配置场所例如是基于空间上的座席信息而定位。图18是表示用于使利用者选择座席的图像IM50的一例的图。另外，关于图像IM50的布局或显示内容等的显示实施例，并不限定于图18的示例。下文说明的其他图像的显示实施例也同样。而且，图像IM50的内容例如是由输出控制部156所生成。

图像IM50中例如包含文字显示区域A51与座席选择区域A52。在文字显示区域A51，显示敦促利用者选择座席的文字信息。图18的示例中，显示有“要在哪个座席进行作业？”这一文字信息。另外，管理服务器100也可生成相当于文字信息的语音数据，并使所生成的数据从操作终端300输出。

在座席选择区域A52，例如显示有与处于利用者所操作的机器人装置200进行操作的作业空间内的座席的利用状况相关的信息。图18的示例中，例如对应于实际空间的座席的位置而显示有六个座席S1～S6。另外，在虚拟空间上设定座席的情况下，此种座席位置例如也可根据通常的业务模式、会议模式等，而使座席的配置或大小、数量等不同。座席配置例如在会议模式下，也可将座席配置成圆形。而且，座席配置例如既可使用与公司的座席配置相同的配置，也可通过在正在上班的员工的座席处显示上班中等而使现实世界与虚拟世界混合。管理服务器100参照由利用状况管理部146所管理的利用状况信息172，使与利用中的座席相关的信息也包含在内而显示于座席选择区域A52。图18的示例中，在座席选择区域A52，显示有表示座席S2、座席S5为利用中，而座席S1、座席S3、座席S4、座席S6为空席的图像。而且，管理服务器100也可在座席选择区域A52显示对当前利用中的利用者进行识别的信息。图18的示例中，表示了利用者U4正在利用座席S2，利用者U3正在利用座席S5。由此，利用者能够基于利用中的状况来选择自己所期望的座席。以下，设利用者选择了座席S4来进行说明。

管理服务器100在座席被确定时，更新利用状况信息172，并且生成使利用者所移动的机器人装置200移动到座席S4的位置的动作控制信息，将所生成的动作控制信息发送至机器人装置200。机器人装置200基于所接收的动作控制信息而移动至S4的位置，将由摄像机206所拍摄的图像等发送至管理服务器100。管理服务器100将从机器人装置200获得的图像发送至操作终端300，并使其显示于视觉装置320。

图19是表示由机器人装置200所拍摄的图像IM60的一例的图。图像IM60是从座席S4观察右侧的虚拟空间上的图。图19的示例中，显示有利用者U3与利用者U4所操作的另一机器人装置200(U4)。由此，能够掌握位于周边的作业者或其他机器人装置。

而且，只是观察图像IM60，无法掌握其他机器人装置200(U4)正在被谁操作。进而，当使用其他机器人装置200的远程工作今后推进时，也有时在周边仅存在多个机器人装置200，从而有时会产生孤独感。因此，管理服务器100从保存于利用者信息171的图像信息中获取表示正在操作其他机器人装置200(U4)的利用者U4的图像，生成使所获取的图像重叠于其他机器人装置200(U4)的图像。

图20是用于对使利用者的图像信息重叠于位于周边的其他机器人装置200(U4)的情况进行说明的图。图20的示例中，生成将操作其他机器人装置200(U4)的利用者U4的图像IM(U4)重叠于图像IM60的图像IM70。例如，管理服务器100对由机器人装置200的摄像机206所拍摄的图像中所含的其他机器人装置200(U4)的方向进行检测，并从利用者信息171中获取以与所检测出的角度对应的角度而拍摄的图像信息。而且，对所获取的图像进行放大或缩小等，使其对应于图像IM60中所含的其他机器人装置200(U4)的大小而重叠，以遮盖其他机器人装置200(U4)。而且，管理服务器100根据其他机器人装置200(U4)的行动(臂或腿的动作)等来使利用者U4的图像的臂或腿的位置等局部地活动，以显示与操作者的行动相关的信息。如上所述，在提供给操作终端300的图像中包含其他机器人装置200的情况下，使表示操作其他机器人装置200的利用者的图像一边根据行动来活动一边进行重叠显示，由此，能够让人感到犹如操作者正在此位置进行动作一般，即便在远程操作中，也不会有孤独感，能够一边掌握周围的作业者的情况一边进行作业。而且，由于显示与行动相关的信息，因此能够根据图像来判别忙碌的状态、闲暇的状态。

而且，管理服务器100不仅将图像，也如图20所示，获取周边的对话等的语音，并将所获取的语音提供给操作终端300。此时，管理服务器100例如使从操作其他机器人装置200(U4)的操作终端获取的语音声像定位于其他机器人装置200(U4)的配置场所而输出。而且，作业者U3的语音是输出通过麦克风208而输入的语音。由此，能够使操作者听到与配置场所相应的语音，因此能够让人更现实地感到如同处在作业空间内。而且，在实际空间上，其他机器人装置200(U4)或作业员所进行的作业能够根据图像来识别，因此利用者能够一边直接确认其他作业员的作业状况，一边管理自己的作业或进展。

而且，管理服务器100在机器人装置的视线方向(脸部的方向)发生了改变的情况下，对于配置在位于所改变的方向的座席的其他机器人装置，也提供所述图像或语音等的信息。由此，不仅在转向左右，而且在回头看向后方的情况下，也能够显示对位于周边的机器人装置200进行操作的操作者。

而且，当在作业中提供其他作业者的图像或语音时，也有可能会让人感到厌烦这些信息。因此，管理服务器100在从操作终端300有要求的情况下，也可提供删除了位于周边的作业员或机器人装置的图像。图21是表示位于周边的作业员或机器人装置200的图像已被删除的图像IM80的一例的图。图21的示例中，显示了在区域A61、区域A62内显示的其他机器人装置200或作业员已被删除的图像IM80。在所删除的区域A61、区域A62中，既可重叠在不存在其他机器人装置200或作业员时所拍摄的背景图像，也可显示其他屏蔽图像。而且，管理服务器100也可根据利用者的要求来仅删除其他机器人装置，还可仅删除特定的利用者(作业者)。而且，除了图像以外，也可删除对应的语音(静音(mute)功能)。由此，能够根据作业状况等来切换周边状况的提供内容，从而在自己喜欢的环境下进行作业。

另外，实施方式中，在假想区间上预先分配有座席的情况下，也可对应于所分配的座席信息来管理操作者的配置场所，并将表示所管理的虚拟空间的图像输出至操作终端。图22是表示在虚拟空间上配置有基于表示操作者的信息和与行动相关的信息的信息的示例的图。管理服务器100如图22所示那样生成图像IM90，所述图像IM90是在表示虚拟空间上的座席的位置的图像上，使表示操作者U3、操作者U4的图像IM(U3)、图像IM(U4)重叠在与表示各自利用的座席的图像的位置对应的位置而成。而且，管理服务器100从操作终端300输出使各个操作者的语音声像定位于重叠有图像IM(U3)、图像IM(U4)的位置的信息。由此，能够提供即便在虚拟空间上也能让人感到如同处在作业空间内的信息。

[处理序列]

接下来，对于由实施方式中的远程操作系统所执行的处理，使用序列图来进行说明。图23是用于对由实施方式中的远程操作系统1所执行的处理进行说明的序列图。图23的示例中，使用管理服务器100、机器人装置200与操作终端300来进行说明。

操作终端300为了对机器人装置200进行远程操作而访问管理服务器100(步骤S200)。管理服务器100基于从操作终端300输入的认证信息等，来进行是否能够利用远程操作系统1的认证处理(步骤S202)。以下，对通过认证而利用被许可的情况进行说明。在利用被许可的情况下，管理服务器100生成选择座席的图像(例如图像IM50)(步骤S204)。使所生成的图像IM50显示于操作终端300(步骤S206)。而且，管理服务器100获取通过操作终端300所选择的座席信息(步骤S208)，并对利用状况进行管理(步骤S210)。而且，管理服务器100生成移动至所选择的座席的动作控制信息，并将所生成的动作控制信息发送至机器人装置200(步骤S212)。

机器人装置200基于来自管理服务器100的动作控制信息，移动到所选择的座席的位置(步骤S214)。机器人装置200的传感器的检测结果或由摄像机所拍摄的图像等输出至管理服务器100(步骤S216)。

管理服务器100获取从机器人装置200发送的信息，并基于所获取的信息而生成提供给操作终端300的信息(提供信息)(步骤S218)。然后，管理服务器100将所生成的提供信息发送至操作终端300(步骤S220)。

操作终端300接收从管理服务器100发送的提供信息，并从视觉装置320以及操作装置330等输出所接收的信息，以提供信息(步骤S222)。接下来，操作终端300将与机器人装置200相关的操作内容发送至管理服务器100(步骤S224)。

管理服务器100基于从操作终端300分别获得的操作内容来进行意图推测(步骤S226)，生成基于意图推测结果的动作控制信息(步骤S228)，并将所生成的动作控制信息发送至机器人装置200(步骤S230)。

机器人装置200基于动作控制信息来进行动作(步骤S232)，将在动作中或动作结果中从传感器等获得的信息(传感器信息)或摄像机图像等发送至管理服务器100(步骤S234)。

管理服务器100使所接收的信息存储至存储部170(步骤S236)，生成用于将所获取的信息发送至操作终端300的提供信息(步骤S238)，并将所生成的提供信息发送至操作终端300(步骤S240)。操作终端300输出所获得的信息，以对操作者进行信息提供(步骤S242)。以后，继续进行步骤S224～步骤S242的处理，直至对机器人装置200的操作完成为止。

以下，参照附图来说明本发明的远程操作控制系统、远程操作控制方法以及程序的另一实施方式。另外，在以下的说明中所用的附图中，为了将各构件设为可识别的大小，适当变更了各构件的比例尺。

图24是表示本实施方式的远程操作控制系统2的概要的图。远程操作控制系统2例如包括第一HMD(头戴显示器)10、第一控制器20、第一环境传感器30、第一终端装置40、第二HMD50、第二控制器60、第二环境传感器70、第二终端装置80、机器人400、第三环境传感器500以及机器人远程操作控制装置600。

例如，第一HMD10、第一控制器20以及第一环境传感器30经由近距离无线通信而与第一终端装置40连接。第一终端装置40经由网络NW而与机器人400、第三环境传感器500以及机器人远程操作控制装置600连接。而且，第二HMD50、第二控制器60以及第二环境传感器70例如经由近距离无线通信而与第二终端装置80连接。第二终端装置80经由网络NW而与机器人400、第三环境传感器500以及机器人远程操作控制装置600连接。网络NW例如包含国际互联网、广域网(Wide Area Network，WAN)、局域网(Local1 Area Network，LAN)、提供者装置、无线基站等。

另外，并不限于此结构，也可省略第一终端装置40与第二终端装置80。此时，第一HMD10、第一控制器20、第一环境传感器30、第二HMD50、第二控制器60以及第二环境传感器70也可经由网络NW而与机器人400、第三环境传感器500以及机器人远程操作控制装置600直接连接。

机器人400、第三环境传感器500以及机器人远程操作控制装置600例如经由无线或有线的通信网络而连接。并不限于此，机器人400、第三环境传感器500以及机器人远程操作控制装置600也可不经由通信网络而直接通过有线来连接。

第一HMD10与第一控制器20例如是新人A(第一操作者的一例)所佩戴的装置，第二HMD50与第二控制器60例如是熟练者B(第二操作者的一例)所佩戴的装置。第一控制器20与第二控制器60例如为触觉数据手套，被佩戴在操作者的手上。第一控制器20与第二控制器60通过各自包括的传感器来对方位、各指的活动、手的活动或者臂的活动等进行检测，并将表示检测结果的信息(以下称作操作信息)发送至机器人远程操作控制装置600。操作信息包含表示新人A所进行的操作的信息或表示熟练者B所进行的操作的信息等。

在新人A进行作业的作业空间内，例如设置有第一环境传感器30与第一终端装置40。第一环境传感器30例如是包括通信功能、RBG摄像机及深度传感器的专用装置。第一环境传感器30被设置在能够对新人A的作业进行拍摄、检测的位置。第一终端装置40例如是具备通信功能的平板终端或个人计算机。并不限于此，第一环境传感器30例如也可被安装于第一终端装置40，还可为第一环境传感器30具备第一终端装置40的功能的结构。

在熟练者B进行作业的作业空间内，例如设置有第二环境传感器70与第二终端装置80。第二环境传感器70例如是包括通信功能、RBG摄像机及深度传感器的专用装置。第二环境传感器70被设置在能够对熟练者B的作业进行拍摄、检测的位置。第二终端装置80例如是具备通信功能的平板终端或个人计算机。并不限于此，第二环境传感器70例如也可被安装于第二终端装置80，还可为第二环境传感器70具备第二终端装置80的功能的结构。

第三环境传感器500例如是包括通信功能、RBG摄像机及深度传感器的专用装置，被设置在能够对机器人400的作业进行拍摄、检测的位置。另外，第三环境传感器500也可由机器人400所包括，还可被安装于机器人400。

例如，新人A一边观看显示于第一HMD10的图像一边活动佩戴有第一控制器20的手或手指，由此来远程操作机器人400。而且，熟练者B一边观看显示于第二HMD50的图像一边活动佩戴有第二控制器60的手或手指，由此来远程操作机器人400。本实施方式中，新人A是远程操作机器人400，进行对制作需要技术的工艺品等的物体进行制作的作业的作业者。熟练者B是在新人A的操作中或操作的前后，通过远程操作机器人400来让新人A感受到熟练者B的示范，进行修正新人A所进行的作业等的指导的指导者。另外，在远程操作中，新人A与熟练者B为无法直接看到机器人400的动作，但能够通过第一HMD10或第二HMD50间接看到机器人400侧的影像的状态。

机器人400是作为现实物体的远程操作对象的一例。远程操作对象并不限于此，也可为虚拟世界的虚拟物体。例如，在二维或者三维的动画等的虚拟世界中出现的作为虚拟物体的机器人或头像也可为远程操作对象。以下，对远程操作对象为机器人400的示例进行说明。关于远程操作对象为虚拟物体的示例，只要将用于使机器人400进行动作的处理换读为用于在虚拟世界中使虚拟物体进行动作的处理即可。即，也可为，机器人远程操作控制装置600包括用于在虚拟世界中使虚拟物体进行动作的图像处理部等的结构，第一控制器20或第二控制器60包括用于对虚拟世界中的虚拟物体进行操作的结构。

机器人远程操作控制装置600将由新人A或熟练者B远程操作的机器人400的动作反馈给第一控制器20或第二控制器60。由此，第一控制器20再现熟练者B的远程操作所引起的机器人400的动作，第二控制器60再现新人A的远程操作所引起的机器人400的动作。例如，在新人A进行使操作物体发生变形的远程操作时，熟练者B指导其使出更大的力的场景中，机器人400根据熟练者B的远程操作，执行在将机械臂附于机器人400的操作物体时对操作物体使出更大的力的动作。通过将此种机器人400所执行的动作反馈给第一控制器20或第二控制器60，从而能够将熟练者B所进行的远程操作的内容反馈给新人A，能够对新人A给予熟练者B正手把手地直接指导新人A的作业般的感觉或感触。

借此，熟练者B能够经由第二控制器60来感受新人A的操作，熟练者B能够将对新人A的操作进行修正的操作输入至第二控制器60。因而，新人A能够经由第一控制器20来感受熟练者B的操作，从而一边位于远离熟练者B或机器人400的场所，一边接受熟练者B的指导，一边远程操作机器人400。

另外，详细将后述，但机器人远程操作控制装置600也可将在机器人400侧获得的感觉或感触反馈给新人A或熟练者B。

图25是被设置在第一操作者进行作业的作业空间内的结构的功能框图。另外，设置在熟练者B进行作业的作业空间内的各结构也具备同样的功能，省略关于它们的详细说明。

＜HMD＞

第一HMD10例如包括显示部11、视线检测部12、传感器13、控制部14、通信部15、拾音部16以及扬声器17。第一HMD10基于从机器人远程操作控制装置600接收的图像数据，来显示用于对机器人400进行远程操作的图像。例如，第一HMD10显示机器人400的状态图像。所谓机器人400的状态图像，是指表示机器人400所进行的动作的图像，例如包含对机器人400的手头进行拍摄的图像等。

显示部11例如是LCD或有机EL显示装置等。视线检测部12检测新人A的视线的动向。视线检测部12也可包括对新人A的视线信息进行检测的视线检测器。传感器13例如为加速度传感器、陀螺仪等。传感器13检测新人A的头部的活动或倾斜。

例如，控制部14基于机器人远程操作控制装置600所发送的图像数据，例如使机器人的状态图像显示于显示部11。

例如，控制部14基于视线检测部12得出的检测结果，生成表示新人A的视线的动向的信息(以下称作视线信息)。而且，控制部14基于传感器13得出的检测结果，生成表示新人A的头部的活动或倾斜的信息(以下称作头部动作信息)。视线信息或头部动作信息是包含在后述的操作者传感器值中的信息。控制部14将所生成的视线信息与头部动作信息经由第一终端装置40而发送至机器人远程操作控制装置600。

通信部15例如是用于利用蓝牙(Bluetooth(注册商标))等的无线模块，具有天线以及收发装置等。通信部15依据控制部14所进行的控制，经由近距离无线通信而与第一终端装置40进行通信。并不限于此，通信部15也可包含网络接口卡(Network InterfaceCard，NIC)等的通信接口，经由网络NW来与第一终端装置40、机器人400或机器人远程操作控制装置600进行通信。

拾音部16例如为麦克风，将所拾取的音响信号输出至控制部14。控制部14使用通信部15，将音响信号发送至机器人远程操作控制装置600。控制部14在从机器人远程操作控制装置600收到语音信息时，从扬声器17予以输出。机器人远程操作控制装置600例如在经由第一HMD10而获取了新人A的对话的音响信号时，将新人A的对话的语音信号经由第二HMD50而提供给熟练者B。而且，机器人远程操作控制装置600例如在经由第二HMD50而获取了熟练者B的对话的音响信号时，将熟练者B的对话的语音信号经由第一HMD10而提供给新人A。

＜控制器＞

第一控制器20例如包括传感器21、控制部22、通信部23以及反馈部件24。

传感器21例如是加速度传感器、陀螺仪传感器、磁传感器等。控制部22例如基于由传感器21中所含的多种传感器所检测出的检测结果来追踪各指的活动。而且，控制部22基于传感器21得出的检测结果，获取表示方位、各指的活动或手的活动等的操作者的臂部的姿势或位置的信息(以下称作操作者臂部信息)。操作者臂部信息中，例如包含指尖位置/姿势信息、各指的角度信息、肘的位置/姿势信息、对各部的活动进行追踪的信息等的涉及到人的整个臂部的信息。操作者臂部信息为操作信息的一例。控制部22将所获取的操作者臂部信息经由第一终端装置40而发送至机器人远程操作控制装置600。

通信部23是用于利用蓝牙(Bluetooth(注册商标))等的利用的无线模块，具有天线以及收发装置等。通信部23依据控制部22所进行的控制，经由近距离无线通信而与第一终端装置40进行通信。并不限于此，通信部23也可包含NIC等的通信接口，经由网络NW来与第一终端装置40、机器人400或机器人远程操作控制装置600进行通信。

反馈部件24根据控制部22的控制，将来自机器人400的末端执行器的反馈信息(压力、温度等)反馈给操作者。

反馈部件24例如包括对在机器人400侧获得的感觉或感触进行再现的部件、以及对机器人400所进行的动作进行再现的部件。对在机器人400侧获得的感觉或感触进行再现的部件例如是对机器人400进行作业时机械手接触到物体等时的感触或感觉进行再现的部件。对机器人400所进行的动作进行再现的部件例如是对机器人400的机械臂活动的方向或速度等进行再现的部件。

例如，反馈部件24包括给予振动的部件(未图示)、给予空气压力的部件(未图示)、限制手的活动的部件(未图示)、让人感知到温度的部件(未图示)、让人感知到坚硬度或柔软度的部件(未图示)等。反馈部件24根据控制部22所进行的控制，对从机器人400反馈的在机器人400侧获得的感觉或感触、或者机器人400所进行的动作进行再现。借此，第一控制器20能够将新人A或熟练者B的远程操作传递给新人A。

控制部22基于从机器人远程操作控制装置600接收的反馈信息来控制反馈部件24。关于反馈信息的详细将后述。

＜环境传感器＞

第一环境传感器30例如包括拍摄装置31、传感器32、物体位置检测部33、控制部34以及通信部35。另外，第二环境传感器70或第三环境传感器500也具备同样的功能，省略关于它们的详细说明。

拍摄装置31例如为RGB摄像机，传感器32例如为深度传感器。另外，拍摄装置31与传感器32也可为距离传感器。在第一环境传感器30中，拍摄装置31与传感器32的位置关系为已知。

物体位置检测部33基于由拍摄装置31所拍摄的图像与由传感器32所检测出的检测结果，通过众所周知的方法来检测拍摄图像中的对象物体的三维位置与大小形状等。例如，物体位置检测部33参照物体位置检测部33所存储的图案匹配的模型等，对拍摄装置31所拍摄的图像进行图像处理(边缘检测、二值化处理、特征量提取、图像增强处理、图像提取、图案匹配处理等)而推测物体的位置。另外，物体位置检测部33在从所拍摄的图像中检测到多个物体的情况下，针对每个物体来检测位置。

控制部34将由物体位置检测部33所检测出的表示物体位置的信息、由拍摄装置31所拍摄的图像、以及由传感器32所检测出的传感器值经由第一终端装置40而发送至机器人远程操作控制装置600。表示物体位置的信息、由拍摄装置31所拍摄的图像、以及由传感器32所检测出的传感器值包含在后述的环境传感器值中。

通信部35是用于利用蓝牙(Bluetooth(注册商标))等的无线模块，具有天线以及收发装置等。通信部35经由近距离无线通信来与第一终端装置40进行通信。并不限于此，通信部35也可包含NIC等的通信接口，经由网络NW来与第一终端装置40、机器人400或机器人远程操作控制装置600进行通信。

另外，第一环境传感器30也可为运动捕捉器装置，也可通过运动捕捉器来检测物体的位置信息，还可在物体安装有包括位置信息发送部的GPS接收装置(未图示)。此时，GPS接收装置也可将位置信息发送至机器人远程操作控制装置600。

＜机器人的结构例＞

图26是机器人400的功能框图。机器人400例如包括通信部410、拾音部420、传感器430、驱动部440、机械臂450、电源460、存储部470以及控制部480。

通信部410例如包含NIC等的通信接口。通信部410依据控制部480所进行的控制，经由网络NW而与第一终端装置40、第二终端装置80、第三环境传感器500以及机器人远程操作控制装置600连接。通信部410也可为用于利用蓝牙(Bluetooth(注册商标))等的无线模块，具有天线以及收发装置等，经由近距离无线通信来与第三环境传感器500以及机器人远程操作控制装置600进行通信。

拾音部420例如是包括多个麦克风的麦克风阵列。拾音部420将所拾取的音响信号输出至控制部480。拾音部420也可具备语音识别处理功能。此时，拾音部420将语音识别结果输出至控制部480。

传感器430例如为加速度传感器、陀螺仪传感器、磁传感器、各关节编码器等。例如，传感器430被安装于机器人400的各关节或头部等。传感器430将表示所检测出的检测结果的信息输出至控制部480。

驱动部440根据控制部480所进行的控制，来驱动机器人400的各部(臂、手指、腿、头、躯干、腰等)。驱动部440例如驱动机械臂450。机械臂450例如包括致动器、齿轮、人工肌肉等。而且，机械臂450包括手传感器451。手传感器451例如包括感知温度的部件(未图示)、感知坚硬度或柔软度的部件(未图示)等。

电源460对机器人400的各部供给电力。电源460例如也可包括充电式的电池或充电电路。

存储部470例如通过随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、硬盘驱动器(Hard Disk Drive，HDD)等而实现。存储部470除了保存处理器所执行的程序以外，还保存用于使机器人400运行的动作参数等的各种信息。

控制部480执行通过远程操作来使机器人400运行的控制与不依赖远程操作而使机器人400运行的控制。前者的情况下，控制部480根据由机器人远程操作控制装置600所生成的控制信息来使机器人400运行。

后者的情况下，控制部480对拾音部420所拾取的音响信号进行语音识别处理(说话区间检测、音源分离、音源定位、噪声抑制、音源辨识等)。在语音识别的结果中包含对机器人400的动作指示时，控制部480基于通过语音发出的动作指示来控制机器人400的动作。而且，控制部480也可基于存储部470所存储的信息来对第三环境传感器500等所拍摄的图像进行图像处理(边缘检测、二值化处理、特征量提取、图像增强处理、图像提取、图案匹配处理等)，并基于语音识别结果与图像处理结果来控制机器人400的动作。

＜机器人远程操作控制装置600的结构例＞

图27是机器人远程操作控制装置600的功能框图。机器人远程操作控制装置600例如包括通信部610、输入部620、输出部630、存储部640以及处理部650。

通信部610例如包含NIC等的通信接口。通信部610依据处理部650所进行的控制，经由网络NW来与第一终端装置40、第二终端装置80、机器人400以及第三环境传感器500进行通信。

输入部620例如包含各种键、按钮、拨盘开关、鼠标等中的一部分或全部。输出部630例如包含LCD或有机EL显示装置、扬声器或者投影仪等。存储部640例如通过RAM、ROM、HDD等而实现。存储部640除了保存处理器所执行的程序以外，还保存机器人信息641、反馈参数信息642等。关于各信息的详细将后述。

处理部650例如包括信息获取部651、意图推测部652、机器人操作决定部653、控制信息生成部654、反馈信息生成部655、机器人状态图像生成部656、比较图像生成部657以及通信控制部658。这些功能部中的一部分或全部例如是通过中央处理器(CentralProcessing Unit，CPU)或图形处理器(Graphics Processing Unit，GPU)等的处理器执行程序(软件)而实现。而且，这些构成元件中的一部分或全部也可通过大规模集成电路(Large Scale Integration，LSI)或专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)等硬件(电路部；包含电路(circuitry))来实现，还可通过软件与硬件的协作来实现。程序既可被预先保存在机器人远程操作控制装置600的存储部640中，也可被保存DVD或CD-ROM等可装卸的存储介质中，并通过将存储介质安装至驱动装置而安装到存储部640中。

例如，信息获取部651经由网络NW而从第一终端装置40获取第一操作信息。所谓第一操作信息，是指表示由新人A经由受理对作为远程操作对象的机器人400的操作的第一控制器20而输入的操作的信息。而且，信息获取部651经由网络NW而从第二终端装置80获取第二操作信息。所谓第二操作信息，是指表示由熟练者B经由受理对作为远程操作对象的机器人400的操作的第二控制器60而输入的操作的信息。第一操作信息与第二操作信息例如包含操作者臂部信息等。

而且，信息获取部651经由网络NW而从第一终端装置40获取第一操作者传感器值信息。所谓第一操作者传感器值信息，是指表示通过传感器对作为第一操作者的新人A的状态变化进行检测的检测结果的信息，例如包含表示被搭载于第一HMD10或第一控制器20的传感器的检测结果的信息。而且，信息获取部651经由网络NW而从第二终端装置80获取第二操作者传感器值信息。所谓第二操作者传感器值信息，是指表示通过传感器对作为第二操作者的熟练者B的状态变化进行检测的检测结果的信息，例如包含表示被搭载于第二HMD50或第二控制器60的传感器的检测结果的信息。第一操作者传感器值信息与第二操作者传感器值信息例如包含由第一HMD10或者第二HMD50所检测出的视线信息或头部动作信息等。

而且，信息获取部651经由网络NW而从第一终端装置40获取第一环境传感器值信息。所谓第一环境传感器值信息，是指表示通过传感器对作为第一操作者的新人A远程操作机器人400的周边的环境变化进行检测的检测结果的信息，例如包含表示被搭载于第一环境传感器30的传感器的检测结果的信息。而且，信息获取部651经由网络NW而从第二终端装置80获取第二环境传感器值信息。所谓第二环境传感器值信息，是指表示通过传感器对作为第二操作者的熟练者B远程操作机器人400的周边的环境变化进行检测的检测结果的信息，例如包含表示被搭载于第二环境传感器70的传感器的检测结果的信息。而且，信息获取部651经由网络NW而从第三环境传感器500获取第三环境传感器值信息。所谓第三环境传感器值信息，是指表示通过传感器对由第一操作者或第二操作者等远程操作的机器人400周边的环境变化进行检测的检测结果的信息，例如包含表示被搭载于第三环境传感器500的传感器的检测结果的信息。第一环境传感器值信息、第二环境传感器值信息以及第三环境传感器值信息例如包含物体位置信息、由拍摄装置31所拍摄的图像以及由传感器32所检测出的传感器值等。

意图推测部652基于信息获取部651所获取的信息来推测操作者的动作意图。例如，意图推测部652使用视线信息、操作者臂部信息以及头部动作信息中的至少一个来推测操作者的动作意图。另外，意图推测部652也可还使用环境传感器值来进行意图推测。

而且，意图推测部652也可将信息获取部651所获取的操作者传感器值与视线信息输入至学习完毕的模型，由此来推测操作者将要进行的动作的意图。基于此种推测结果来生成控制信息，并基于所生成的控制信息来控制机器人400，由此，即便在操作者未进行准确对位的远程操作的情况下，机器人400也能够执行准确的对位。因而，能够以高精度来使机器人400进行作业。另外，学习完毕的模型例如是预先输入操作者传感器值与视线信息，并将操作者将要进行的作业作为教学数据而进行学习的数据。

机器人操作决定部653基于由意图推测部652所推测出的动作意图、由机器人400的传感器430所检测出的检测结果、对第三环境传感器500的拍摄装置所拍摄的图像进行图像处理的结果等，来决定对机器人400所操作的操作物体的操作方法。对操作物体的操作方法例如包含握持操作物体的握持方法、用于移动操作物体的移动方法、用于使操作物体变形的变形方法等各种操作方法。

控制信息生成部654参照存储部640，基于由信息获取部651所获取的第一操作信息或者第二操作信息，来生成使作为远程操作对象的机器人400运行的控制信息。例如，控制信息生成部654参照机器人信息641，获取与操作者所进行的操作相应的动作参数，基于所获取的动作参数来生成使机器人400运行的控制信息。机器人信息651例如是关联有与操作量相应的动作参数的信息。

控制信息生成部654也可基于由机器人操作决定部653所决定的操作方法，来生成使机器人400运行的控制信息。借此，能够推测操作者的意图，并基于推测结果来使机器人400执行更接近操作者的意图的动作。

而且，控制信息生成部654除了第一操作信息以外，还可基于第一操作者传感器信息或第一环境传感器值信息而生成使机器人400运行的控制信息。而且，控制信息生成部654除了第二操作信息以外，还可基于第二操作者传感器信息或第二环境传感器值信息而生成使机器人400运行的控制信息。

进而，控制信息生成部654也可基于将作为第一操作者的新人A所进行的远程操作的内容与作为第二操作者的熟练者B所进行的远程操作的内容合成的结果，来生成使机器人400运行的控制信息。例如，控制信息生成部654基于与第一操作信息相应的动作参数和与第二操作信息相应的动作参数的合计值而生成控制信息。并不限于此，控制信息生成部654也可基于从与第一操作信息相应的动作参数减去与第二操作信息相应的动作参数所得的值，来生成控制信息。另外，对作为第一操作者的新人A所进行的远程操作的内容与作为第二操作者的熟练者B所进行的远程操作的内容进行合成的手法并不限于此，可采用现有的各种方法。借此，能够通过两位以上的操作者所进行的远程操作来使机器人400运行。因而，熟练者B能够实时地指导新人A的作业。

而且，控制信息生成部654在对第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容进行合成时，也可生成使第二操作者的操作比第一操作者优先的控制信息。例如，控制信息生成部654在同时执行第一操作者所进行的操作与第二操作者所进行的操作的情况下，对基于第一操作者所进行的操作的动作参数执行第一加权，对基于第二操作者所进行的操作的动作参数执行比第一加权大的第二加权，从而生成控制信息。第一加权也可为0，也可不将第一操作者所进行的操作反映至控制信息。而且，在第一操作者的操作方向与第二操作者的操作方向不同的情况下，控制信息生成部654也可以朝第二操作者的操作方向运行的方式来生成控制信息。借此，能够将第二操作者所进行的远程操作较之第一操作者所进行的远程操作而反映至机器人400的动作，从而能够将第一操作者所进行的远程操作修正为第二操作者所进行的远程操作。

而且，控制信息生成部654在对第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容进行合成时，也可连续地执行第一操作者的远程操作时机与第二操作者的远程操作时机。例如，控制信息生成部654也可生成在执行了与第一操作者所进行的远程操作相应的动作后立即执行与第二操作者所进行的远程操作相应的动作的控制信息。借此，能够在第一操作者所进行的远程操作之后立即修正为第二操作者所进行的远程操作。

反馈信息生成部655根据基于由作为第一操作者的新人A所输入的操作的、机器人400的动作，生成用于将第一操作者所进行的操作内容经由第二控制器60而传递至第二操作者的第二反馈信息。而且，反馈信息生成部655根据基于由作为第二操作者的熟练者B所输入的操作的、远程操作对象的动作，生成用于将第二操作者所进行的操作内容经由第一控制器20而传递至第一操作者的第一反馈信息。借此，能够将其中一个操作者的远程操作所引起的机器人等的动作传递至另一个操作者。

例如，反馈信息生成部655参照存储部640的反馈参数信息642，基于由控制信息生成部654所生成的控制信息，生成将作为远程操作对象的机器人400的动作内容反馈给第一控制器20的第一反馈信息。而且，反馈信息生成部655参照存储部640的反馈参数信息652，基于由控制信息生成部654所生成的控制信息，生成将作为远程操作对象的机器人400的动作内容反馈给第二控制器60的第二反馈信息。反馈信息生成部655参照反馈参数信息642，获取与控制信息相应的反馈参数，并基于所获取的反馈参数来生成反馈信息。反馈参数信息642例如是关联有机器人400的动作参数或与操作量相应的反馈参数的信息。

例如，在由第一操作者对机器人400进行远程操作的情况下，反馈信息生成部655为了将基于第一操作者所进行的远程操作的内容的、机器人400的动作反馈给第二操作者，而生成用于使第二控制器60再现受到远程操作的机器人400的动作的第二反馈信息。另一方面，在由第二操作者对机器人400进行远程操作的情况下，反馈信息生成部655为了将基于第二操作者所进行的远程操作的内容的、机器人400的动作反馈给第一操作者，生成用于使第一控制器20再现受到远程操作的机器人400的动作的第一反馈信息。

另外，如上所述，在控制信息生成部654基于第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容的合成结果而生成控制信息的情况下，反馈信息生成部655为了将基于合成结果的机器人400的动作反馈给第一操作者与第二操作者，也可生成用于使第一控制器20再现受到远程操作的机器人400的动作的第一反馈信息、与用于使第二控制器60再现受到远程操作的机器人400的动作的第二反馈信息。

而且，如上所述，在对第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容进行合成时，在控制信息生成部654生成使第二操作者所进行的远程操作比第一操作者优先的控制信息的情况下，反馈信息生成部655也可生成将机器人400的动作比第二操作者优先反馈给第一操作者的第一反馈信息。例如，反馈信息生成部655生成使对第一操作者的反馈的内容比对第二操作者的反馈的内容得到增强的第一反馈信息与第二反馈信息。对反馈内容进行增强例如包含给予振动、以更强的压力来给予空气压力、限制手的活动等。

而且，反馈信息生成部655基于由机器人400的传感器430或手传感器451所检测出的检测结果，生成用于将在机器人400侧获得的感觉或感触经由第一控制器20而传递至第一操作者的第三反馈信息。而且，反馈信息生成部655基于由机器人400的传感器430或手传感器451所检测出的检测结果，生成用于将在机器人400侧获得的感觉或感触经由第二控制器60而传递至第二操作者的第四反馈信息。借此，能够将并非使用机器人400的远程操作，而是操作者实际操作远程操作对象时获得的感觉或感触传递给操作者。

机器人状态图像生成部656例如对第三环境传感器500的拍摄装置31所拍摄的图像进行图像处理(边缘检测、二值化、特征量提取、图像增强、图像提取、聚类处理等)。

而且，机器人状态图像生成部656基于表示所述图像处理的结果的信息(以下称作图像处理结果信息)与由控制信息生成部654所生成的控制信息等，来推测机器人400的手的位置或活动，并推测操作者的手的活动，且基于所推测出的结果来制作在第一HMD10或第二HMD50上显示的机器人状态图像。

另外，在机器人状态图像中，也可包含与机器人远程操作控制装置600将要进行的处理相关的信息、错误信息与表示系统的状态的系统状态信息。

比较图像生成部657生成表示由第一操作者所输入的操作与由第二操作者所输入的操作的比较结果的比较图像的图像数据。比较图像的图像数据是在用于第一操作者的第一显示部(例如第一HMD10的显示部)、或者用于第二操作者的第二显示部(例如第二HMD50的显示部)上显示的图像数据。比较图像例如包含：显示第一操作者所进行的远程操作与第二操作者所进行的远程操作的差异的图像、或较第一操作者所进行的远程操作而对第二操作者所进行的远程操作进行增强的图像等。借此，第一操作者能够通过图像来确认由第二操作者进行了修正的自身的误操作、或自己的操作与第二操作者所进行的操作的差异等。

通信控制部658控制通信部610，经由网络NW来与第一终端装置40、第二终端装置80、机器人400以及第三环境传感器500进行通信。

＜比较图像的一例＞

图28是表示比较图像的一例的图。图示的比较图像例如是通过新人A与熟练者B执行使操作物体700变形时的远程操作而生成的比较图像的一例。另外，图示的比较图像中，显示了机器人400的左手的机械臂150L，而省略了机器人400的右手的机械臂或其他的图像。

例如，新人A远程操作机器人400来进行使用转盘的茶杯制作。熟练者B远程操作机器人400来支持新人A的茶杯制作。操作物体700例如设为放在转盘上的粘土。另外，新人A与熟练者B所执行的作业并不限于此，例如包含车床加工、碟子的彩绘、玻璃工艺品制作等各种作业。

机械臂图像LA1是表示在第一时机由新人A远程操作时的机械臂150L的状况的图像。机械臂图像LA2是表示在第二时机由新人A远程操作时的机械臂150L的状况的图像。机械臂图像LB3是表示在第三时机由熟练者B远程操作时的机械臂150L的状况的图像。第一时机是最为过去的时机，第二时机是继第一时机之后的时机，第三时机是继第二时机之后的时机。

根据图示的比较图像可知，熟练者B将第一时机或第二时机时的新人A的操作修正为第三时机时的位置。通过使所述比较图像显示于第一HMD10，从而新人A能够简单地认识到自己的远程操作与熟练者B所进行的远程操作的差异。而且，通过使所述比较图像显示于第二HMD50，从而熟练者B能够一边与新人A共享比较图像，一边通过口头来传达作业的关键点或修正部位。

另外，图示中，表示了在比较图像上显示有两个由新人A远程操作时的臂图像的示例，但并不限于此，也可为一个。而且，表示了在比较图像上显示有一个由熟练者B远程操作时的臂图像的示例，但并不限于此，也可为两个以上。

＜序列图(其一)＞

图29是表示图24的机器人远程操作控制系统2中的处理的一例的序列图。此处，对在第一操作者进行了远程操作后，第二操作者进行远程操作的示例，且基于操作信息来控制机器人400的示例进行说明。

首先，第一控制器20基于从第一操作者输入的操作来生成第一操作信息(步骤S301)，并经由第一终端装置40而将第一操作信息发送至机器人远程操作控制装置600(步骤S302)。机器人远程操作控制装置600基于所接收的第一操作信息来生成控制信息(步骤S303)，并发送至机器人400(步骤S304)。机器人400基于所接收的控制信息来使机械臂350等运行(步骤S305)。另一方面，机器人远程操作控制装置600基于在步骤S303中生成的控制信息来生成第二反馈信息(步骤S306)，并将所生成的第二反馈信息经由第二终端装置80而发送至第二控制器60(步骤S307)。第二控制器60基于所接收的反馈信息，对步骤S301中的第一操作者的远程操作所引起的机器人400的动作进行再现(步骤S308)。

接下来，第二控制器60基于从第二操作者输入的操作来生成第二操作信息(步骤S311)，并经由第二终端装置80而将第二操作信息发送至机器人远程操作控制装置600(步骤S312)。机器人远程操作控制装置600基于所接收的第二操作信息来生成控制信息(步骤S313)，并发送至机器人400(步骤S314)。机器人400基于所接收的控制信息来使机械臂350等运行(步骤S315)。另一方面，机器人远程操作控制装置600基于在步骤S313中生成的控制信息来生成第一反馈信息(步骤S316)，并将所生成的第一反馈信息经由第一终端装置40而发送至第一控制器20(步骤S317)。第一控制器20基于所接收的反馈信息，对步骤S311中的第二操作者的远程操作所引起的机器人400的动作进行再现(步骤S318)。

＜流程图(其一)＞

图30是表示机器人远程操作控制装置600所进行的处理的一例的流程图。此处，对在第一操作者进行了远程操作后，第二操作者进行远程操作的示例，且基于操作信息来控制机器人400的示例进行说明。而且，省略了意图推测部652与机器人操作决定部653所进行的处理、或机器人状态图像生成部656所进行的处理。

首先，信息获取部651判定是否已获取了第一操作信息(或者第二操作信息)(步骤S401)。若已获取了第一操作信息(或者第二操作信息)，则控制信息生成部654基于所获取的第一操作信息(或者第二操作信息)来生成使机器人400运行的控制信息(步骤S402)，并将所生成的控制信息发送至机器人400(步骤S403)。

接下来，反馈信息生成部655在基于第一操作信息而生成控制信息时，生成第二反馈信息，在基于第二操作信息而生成控制信息时，生成第一反馈信息(步骤S404)。接下来，通信控制部658将第二反馈信息发送至第二控制器60，将第一反馈信息发送至第一控制器20(步骤S405)。

接下来，比较图像生成部657在基于第一操作信息而生成控制信息、且在此前基于第二操作信息而生成控制信息的情况下，生成表示这些由第一操作者所输入的操作与由第二操作者所输入的操作的比较结果的第一比较图像的图像数据(步骤S406)。另一方面，在基于第二操作信息而生成控制信息、且在此前基于第一操作信息而生成控制信息的情况下，比较图像生成部657生成表示这些由第二操作者所输入的操作与由第一操作者所输入的操作的比较结果的第二比较图像的图像数据。接下来，通信控制部658将第一比较图像的图像数据发送至第一HMD10，将第二比较图像的图像数据发送至第二HMD50(步骤S407)。

＜序列图(其二)＞

图31是表示图24的机器人远程操作控制系统2中的处理的另一例的序列图。此处，对在相同的时机进行第一操作者所进行的远程操作与第二操作者所进行的远程操作的示例，且基于操作信息来控制机器人400的示例进行说明。相同的时机并不限于同时，也包含存在数秒钟的时间差的时机。

首先，第一控制器20基于从第一操作者输入的操作来生成第一操作信息(步骤S321)，并经由第一终端装置40而将第一操作信息发送至机器人远程操作控制装置600(步骤S322)。在相同的时机，第二控制器60基于从第二操作者输入的操作来生成第二操作信息(步骤S323)，并经由第二终端装置80而将第二操作信息发送至机器人远程操作控制装置600(步骤S324)。

接下来，机器人远程操作控制装置600基于所接收的第一操作信息与第二操作信息，生成将第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容合成的控制信息(步骤S325)，并发送至机器人400(步骤S326)。机器人400基于所接收的控制信息来使机械臂450等运行(步骤S327)。

接下来，机器人远程操作控制装置600基于在步骤S325中生成的控制信息来生成第二反馈信息(步骤S328)，并将所生成的第二反馈信息经由第二终端装置80而发送至第二控制器60(步骤S329)。第二控制器60基于所接收的反馈信息，对步骤S321中的第一操作者的远程操作所引起的机器人400的动作进行再现(步骤S330)。

而且，机器人远程操作控制装置600基于在步骤S325中生成的控制信息来生成第一反馈信息(步骤S331)，并将所生成的第一反馈信息经由第一终端装置40而发送至第一控制器20(步骤S332)。第一控制器20基于所接收的反馈信息，对步骤S323中的第二操作者的远程操作所引起的机器人400的动作进行再现(步骤S333)。

＜流程图(其二)＞

图32是表示机器人远程操作控制装置600所进行的处理的另一例的流程图。此处，对在相同的时机进行第一操作者所进行的远程操作与第二操作者所进行的远程操作的示例，且基于操作信息来控制机器人400的示例进行说明。而且，省略了意图推测部652与机器人操作决定部653所进行的处理、或机器人状态图像生成部656所进行的处理。

首先，信息获取部651判定是否已获取了第一操作信息以及第二操作信息(步骤S501)。若已获取了第一操作信息以及第二操作信息，则控制信息生成部654基于所获取的第一操作信息以及第二操作信息，生成将第一操作者所进行的远程操作的内容与第二操作者所进行的远程操作的内容合成的控制信息(步骤S502)，并将所生成的控制信息发送至机器人400(步骤S503)。

接下来，反馈信息生成部655基于在步骤S502中生成的控制信息来生成第一反馈信息以及第二反馈信息(步骤S504)。接下来，通信控制部658将第一反馈信息发送至第一控制器20，并将第二反馈信息发送至第二控制器60(步骤S505)。

接下来，比较图像生成部657基于在步骤S501中获取的第一操作信息与第二操作信息来生成比较图像的图像数据(步骤S506)。接下来，通信控制部658将所生成的比较图像的图像数据发送至第一HMD10以及第二HMD50(步骤S507)。

根据所述的实施方式，在由操作者对作为现实物体或者虚拟世界的虚拟物体的远程操作对象进行远程操作的远程操作控制系统中，包括：信息获取部651，获取第一操作信息与第二操作信息，所述第一操作信息表示由第一操作者经由受理对远程操作对象的操作的第一控制器20而输入的操作，所述第二操作信息表示由第二操作者经由受理对远程操作对象的操作的第二控制器60而输入的操作；控制信息生成部654，基于信息获取部651所获取的第一操作信息与第二操作信息，生成使远程操作对象运行的控制信息；以及反馈信息生成部655，基于控制信息，生成将远程操作对象的动作内容反馈给第一控制器20的第一反馈信息，并生成将远程操作对象的动作内容反馈给第二控制器60的第二反馈信息，由此，能够感受其他操作者对同一远程操作对象的操作。

＜变形例＞

实施方式中的管理服务器100、机器人装置200以及操作终端300的处理的一部分或全部也可通过人工智能(Artificial Intelligence，AI)技术来实现。而且，管理服务器100、机器人装置200以及操作终端300中所含的功能部或存储于存储部的信息中的、一部分或全部的功能部或信息也可包含在其他装置中。

而且，所述的实施方式中，将表示操作者的信息或与行动相关的信息等配置在空间上所配置的场所而输出，但例如在网络(WEB)会议模式等中，在虚拟空间上的座席上配置有利用者的情况下，也可进行配置的变更，以使得从自己看来只有指定的人物位于前方。

而且，管理服务器100也可将与操作相关的历史信息或意图推测信息等发送至机器人制造商终端800。由此，能够利用于机器人制造商终端800、商品的开发或程序的更新等。此时，对于进行机器人装置200的环保节能优化(Ecology ConservationOptimization，ECO)运转(例如低功率运转或低负载运转、低通信量运转)的企业、操作者或者提供了适合于远程办公特性的机器人控制方法的企业等，也可进行系统利用的打折或优惠服务。由此，能够推进来自利用者的信息提供，因此能够有助于服务的提高。

而且，所述的实施方式中，主要对多个操作者操作一台机器人装置200的情况进行了说明，但也可由一位操作者操作多个机器人装置200。此时，将在多个机器人装置200的各自中检测出的传感器信息等显示于HMD320的图像显示部322。而且，管理服务器100也可将与操作相关的历史信息或意图推测信息等发送至机器人制造商终端800。由此，能够利用于机器人制造商终端800、商品的开发或程序的更新等。此时，对于进行机器人装置200的环保节能优化(Ecology Conservation Optimization，ECO)运转(例如低功率运转或低负载运转、低通信量运转)的企业、操作者或者提供了适合于远程工作特性的机器人控制方法的企业等，也可进行系统利用的打折或优惠服务。由此，能够推进来自利用者的信息提供，因此能够有助于服务的提高。

而且，所述的实施方式中，表示了在由多个操作者来操作一台机器人装置200的情况下，显示各自的操作意图或作业状况的示例，但例如也可在位于规定距离以内的多个机器人装置200或正在进行共同作业的机器人装置间，提供所述的意图推测结果、作业状况或与操作者相关的信息。由此，通过使用机器人彼此的意图推测功能，从而比起由人彼此进行，更能实现意识的共享。而且，能够获取到周边的机器人装置200的状况，因此也能顺利地进行团体工作(group work)等。

以上说明的实施方式中，例如在管理服务器中包括：通信部110，经由网络NW而与一个以上的机器人装置200以及一个以上的操作终端300进行通信，所述一个以上的操作终端300远程操作一个以上的机器人装置200中的至少一个；获取部130，获取通过操作终端300而输入的操作内容；意图推测部，基于由获取部所获取的操作内容来推测操作终端300的操作者的意图；以及动作控制部，基于由意图推测部所推测出的意图结果来控制机器人装置200的动作，由此，能够使机器人更适当地运行。

以上说明的实施方式中，在管理服务器100中包括：通信部110，经由网络NW来与一个以上的操作终端300进行通信；获取部130，获取与操作终端300的操作者的行动相关的信息；管理部140，对空间上的操作者的配置场所进行管理；以及输出控制部156，将基于表示操作者的信息和与行动相关的信息的信息配置于由管理部140所管理的操作者在空间上的配置场所，并将所配置的信息输出至操作终端300，由此，能够提供即便在远程操作时也能让人感到如同处在作业空间内的信息。

而且，根据所述的实施方式，当通过远程操作机器人来进行远程工作时，能够更通用地使用各种装置，或者在组群(team)中运用它。而且，以往，即便进行远程操作，也只能利用有限的专用机器人来进行有限的作业，但根据本实施方式，任何人都能利用通用性高的机器人来简单地进行远程工作。

具体而言，根据所述的实施方式，例如对虚拟空间(工作场所)内的操作者的位置(配置场所)进行协调(coordinate)，基于所述位置来配置表示作业者在虚拟空间内进行作业的情况的信息，由此，能够在操作者所看到的图像(视觉装置的图像)上输出从虚拟空间上的自己的位置看到的情况(在相同的空间内工作的人正在工作的情况)。而且，根据所述的实施方式，当通过远程操作机器人装置来进行远程办公时，能够更通用地使用各种装置，或者将其运用在团队中。而且，以往，即便进行远程操作，也只能利用有限的专用机器人来进行有限的作业，但根据本实施方式，任何人都能通过通用性高的机器人装置来简单地进行远程办公。

而且，根据实施方式，能够分开管理机器人的信息与传感器的信息(可能包含企业机密的信息)，从而能够提供可应对机密的服务器。而且，进行远程操作的操作者能够访问同一服务器，并能够共享同一机器人或者不同机器人的操作权或传感器信息。例如，在操作同一机器人装置的情况下，通过多个操作者操作不同的臂，能够由前辈与后辈同时操作同一机器人的同一臂，并在也共享了触觉等的传感器信息的基础上，进行力的相加、相减。而且，在操作其他机器人的情况下，能够共享意图推测功能，通过公开他人的意图，能够以心传心。而且，通过利用意图推测功能，能够在朝相同的方向前进或者想要拿取相同的东西时发出警告，以免撞到。而且，根据实施方式，一位操作者能够操作两台机器人。此时，例如在想要利用两台机器人来搬运大的桌子时，预先将一台机器人带到桌子的一端，并与另一机器人进行同步处理。而且，将另一机器人带到另一端，当想要进行抬起的动作时，通过同步处理来一起抬起。进而，实施方式中，能够实现比由人彼此吆喝着进行动作更准确的作业。而且，实施方式中，当一位操作者使大量的机器人进行相同的作业时，通过受支持的遥操作(supported tele operation)功能，能够吸收机器人个体差异与作业对象物的个体差异。

上文说明的实施方式能够如下述那样表达。

一种服务器，其构成为，

进行移动体与所述移动体的利用者的移动终端的通信的服务器的计算机包括：

存储装置，存储有程序；以及

硬件处理器，

通过所述硬件处理器执行存储在所述存储装置中的程序，

从而经由网络而与一个以上的机器人装置、以及对所述一个以上的机器人装置中的至少一个进行远程操作的一个以上的操作终端进行通信，

获取通过所述操作终端而输入的操作内容，

基于所获取的操作内容来推测所述操作终端的操作者的意图，

基于所推测出的意图结果来控制所述机器人装置的动作。

上文说明的实施方式能够如下述那样表达。

一种管理服务器，其构成为，

进行移动体与所述移动体的利用者的移动终端的通信的服务器的计算机包括：

存储装置，存储有程序；以及

硬件处理器，

所述硬件处理器执行存储在所述存储装置中的程序，由此，

经由网络来与一个以上的操作终端进行通信，

获取与所述操作终端的操作者的行动相关的信息，

对空间上的所述操作者的配置场所进行管理，

将基于表示所述操作者的信息和与所述行动相关的信息的信息配置在所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

上文说明的实施方式能够如下述那样表达。

一种远程操作控制系统，包括：

存储装置，存储有程序；以及

硬件处理器，

所述硬件处理器执行存储在所述存储装置中的程序，由此，

由操作者对作为现实物体或者虚拟世界的虚拟物体的远程操作对象进行远程操作，所述远程操作控制系统构成为，

获取第一操作信息与第二操作信息，所述第一操作信息表示由第一操作者经由受理对远程操作对象的操作的第一控制器而输入的操作，所述第二操作信息表示由第二操作者经由受理对远程操作对象的操作的第二控制器而输入的操作；

基于所获取的第一操作信息与第二操作信息，来生成使远程操作对象运行的控制信息，

基于控制信息，生成将远程操作对象的动作内容反馈给第一控制器的第一反馈信息，并生成将远程操作对象的动作内容反馈给第二控制器的第二反馈信息。

以上，使用实施方式来说明了用于实施本发明的实施例，但本发明并不受此种实施方式任何限定，可在不脱离本发明的主旨的范围内实施各种变形以及替换。

Claims (18)

1.一种管理服务器，包括：

通信部，经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个；

获取部，获取通过所述操作终端而输入的操作内容；

意图推测部，基于由所述获取部所获取的操作内容来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测；以及

动作控制部，基于由所述意图推测部所推测出的意图结果和更新意图推测信息，来生成用于使作为对象的所述机器人装置运行的动作控制信息，以控制所述机器人装置的动作。

2.根据权利要求1所述的管理服务器，其中

所述获取部获取与所述机器人装置的动作相关的机器人控制信息、以及由设于所述机器人装置的传感器所检测出的传感器信息，

所述管理服务器还包括管理部，所述管理部对于由所述获取部所获取的所述机器人控制信息与所述传感器信息设定各不相同的访问权，在确认了所设定的访问权时，能够获取所述机器人控制信息与所述传感器信息的任一个。

3.根据权利要求2所述的管理服务器，其中

所述管理部使所述传感器信息的访问权的强度大于所述机器人控制信息。

4.根据权利要求1至3中任一项所述的管理服务器，其中

所述动作控制部在基于从多个操作终端获取的操作内容来控制一个机器人装置的动作的情况下，基于对所述操作终端进行操作的操作者的优先级来生成所述机器人装置的动作控制信息。

5.根据权利要求4所述的管理服务器，其中

所述动作控制部在由所述获取部从所述多个操作终端获取了相同的操作内容的情况下，使来自所述优先级高的操作者的操作内容优先地控制所述机器人装置的动作。

6.根据权利要求4所述的管理服务器，其中

所述意图推测部推测对所述一个机器人装置进行操作的多个操作终端各自的操作者的意图，

所述管理服务器还包括输出控制部，所述输出控制部使由所述意图推测部所推测出的各个操作者的意图推测结果输出至所述多个所述操作终端的各个。

7.一种远程操作系统，包括：

如权利要求1至6中任一项所述的管理服务器；

所述一个以上的机器人装置；以及

所述一个以上的操作终端。

8.一种远程操作方法，由计算机

经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个，

获取通过所述操作终端而输入的操作内容，

基于所获取的操作内容来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测，

基于所推测出的意图结果和更新意图推测信息，来生成用于使作为对象的所述机器人装置运行的动作控制信息，以控制所述机器人装置的动作。

9.一种存储介质，其存储有一种程序，使计算机

经由网络而与一个以上的机器人装置以及一个以上的操作终端进行通信，所述一个以上的操作终端远程操作所述一个以上的机器人装置中的至少一个，

获取通过所述操作终端而输入的操作内容，

基于所获取的操作内容来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测，

基于所推测出的意图结果和更新意图推测信息，来生成用于使作为对象的所述机器人装置运行的动作控制信息，以控制所述机器人装置的动作。

10.一种管理服务器，包括：

通信部，经由网络而与一个以上的操作终端进行通信，以对一个以上的机器人装置进行控制；

获取部，获取与所述操作终端的操作者的行动相关的信息；

意图推测部，基于由所述获取部所获取的信息来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测；

管理部，对空间上的所述操作者的配置场所进行管理；以及

输出控制部，基于由所述意图推测部所推测出的意图结果和更新意图推测信息，将基于表示所述操作者的信息和与所述行动相关的信息配置在由所述管理部所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

11.根据权利要求10所述的管理服务器，其中

所述管理部生成供所述操作者选择配置场所的图像，将所生成的图像发送至所述操作终端，基于使用所述图像而选择的配置场所来管理所述操作者的配置场所。

12.根据权利要求10或11所述的管理服务器，其中

所述操作终端包含对一个以上的机器人装置进行远程操作的终端。

13.根据权利要求10或11所述的管理服务器，其中

所述管理部获取在实际空间上由所述操作者所操作的机器人装置的配置位置，在将包含配置在所获取的配置位置的机器人装置的图像输出至所述操作终端时，使表示所述操作者的图像重叠于所述机器人装置的显示区域。

14.根据权利要求10或11所述的管理服务器，其中

所述管理部对应于预先分配至虚拟空间上的座席信息来管理所述操作者的配置场所，在使表示所述虚拟空间的图像输出至所述操作终端时，使表示所述操作者的图像对应于所述虚拟空间上的座席的图像的位置而重叠。

15.根据权利要求10或11所述的管理服务器，其中

所述输出控制部获取所述操作者的语音，使所获取的语音声像定位至所述配置场所而输出。

16.一种远程操作系统，包括：

如权利要求10至15中任一项所述的管理服务器；

所述一个以上的操作终端；以及

一个以上的机器人装置，通过所述一个以上的操作终端进行远程操作。

17.一种远程操作方法，由计算机

经由网络来与一个以上的操作终端进行通信，以对一个以上的机器人装置进行控制，

获取与所述操作终端的操作者的行动相关的信息，

基于所获取的信息来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测，

对空间上的所述操作者的配置场所进行管理，

基于所推测出的意图结果和更新意图推测信息，将基于表示所述操作者的信息和与所述行动相关的信息配置在所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。

18.一种存储介质，其存储有一种程序，使计算机

经由网络来与一个以上的操作终端进行通信，以对一个以上的机器人装置进行控制，

获取与所述操作终端的操作者的行动相关的信息，

基于所获取的信息来推测所述操作终端的操作者的意图，并且更新意图推测信息，其中所述意图包含操作者想要让所述机器人装置进行的行动的意图以及对所述行动进行预测，

对空间上的所述操作者的配置场所进行管理，

基于所推测出的意图结果和更新意图推测信息，将基于表示所述操作者的信息和与所述行动相关的信息配置在所管理的所述操作者在空间上的配置场所，并将所配置的信息输出至所述操作终端。