CN113940043A - 控制装置、网络控制方法以及程序 - Google Patents
控制装置、网络控制方法以及程序 Download PDFInfo
- Publication number
- CN113940043A CN113940043A CN202080026402.2A CN202080026402A CN113940043A CN 113940043 A CN113940043 A CN 113940043A CN 202080026402 A CN202080026402 A CN 202080026402A CN 113940043 A CN113940043 A CN 113940043A
- Authority
- CN
- China
- Prior art keywords
- slave
- slave robot
- communication
- robot
- operation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000004891 communication Methods 0.000 claims abstract description 203
- 230000006870 function Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims 12
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000035807 sensation Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/58—Association of routers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/123—Evaluation of link metrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/22—Alternate routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/42—Centralised routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/58—Association of routers
- H04L45/586—Association of routers of virtual routers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2661—Milking robot
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40174—Robot teleoperation through internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/124—Shortest path evaluation using a combination of metrics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
在对具备从机器人和操作装置的远程呈现系统的通信进行控制的控制装置(1)中,状态获取部(110)在操作装置与从机器人之间建立着通信的期间,从操作装置、从机器人以及将操作装置与从机器人连接的多个虚拟路由器分别重复获取状态报告。路径决定部(111)以状态获取部(110)获取到状态报告为契机,基于获取到的状态报告,来决定用于向从机器人传递用于对从机器人的动作进行控制的控制指示的通信路径。指示发送部(112)向多个虚拟路由器分别发送用于构建由路径决定部(111)决定出的通信路径的指示。
Description
技术领域
本发明涉及一种控制装置、网络控制方法以及程序,特别是涉及一种远程呈现系统中的从机器人与操作装置之间的通信网络的控制技术。
背景技术
远程呈现(Telexistence)是用于通过由操作者对存在于与操作者分开的场所的从机器人(Slave Robot)进行远程操作来使操作者体验到若操作者存在于实际未存在的场所则能够获得的视觉、听觉以及触觉等感觉的技术(例如,参照非专利文献1)。此外,由于从机器人在远离操作者的远程场所代替操作者来与人会面或者进行作业,因此有时也被称作代表者(Surrogate;代理人)。
在远程呈现中,使用被称作驾驶舱(cockpit)的操作装置来实时地对远距离的从机器人进行操作。为此,要求操作装置与机器人之间无延迟地发送接收影像、声音、触觉信息、操作指示等。
现有技术文献
非专利文献
非专利文献1:T.Kurogi,M.Nakayama,K.Sato,S.Kamuro,C.L.Fernando,M.Furukawa,K.Minamizawa,and S.Tachi,“Haptic Transmission System to RecognizeDifferences in Surface Textures of Objects for Telexistence(用于远程呈现的识别物体表面纹理差异的触觉传输系统)”,IEEE Virtual Reality 2013,pp.137-138.
发明内容
发明要解决的问题
提出了用于经由因特网等现有网络来实时地进行点对点通信的各种技术。在这样的技术中,例如有用于使用网页浏览器来点对点地实时交换声音、影像的WebRTC技术。
在WebRTC这样的技术中,2个网页浏览器之间一旦建立了通信路径则通信路径被固定。通过根据该通信路径中的通信量、带宽等变更网页浏览器之间交换的数据的比特率、数据量(例如影像的分辨率),来确保通信的实时性。
在远程呈现中,操作者基于从存在于远程场所的从机器人发送来的声音、影像以及触觉信息等的流数据,来对该从机器人进行控制。因此,例如当在从机器人的操作中影像的分辨率有变更时,有可能妨碍从机器人的操作。因而,寻求在远程呈现系统的应用中将要优先的特定项目的值维持为一定值以上地进行通信的技术。
本发明是鉴于这些问题点而完成的,其目的在于提供一种能够在远程呈现系统的应用中将特定项目的值维持为一定值以上地进行通信的技术。
用于解决问题的方案
本发明的第一方式是一种控制装置,在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中,所述控制装置对所述操作装置与所述1个或多个从机器人之间的通信进行控制,所述操作装置用于控制所述1个或多个从机器人的动作,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径。该装置具备:状态获取部,其在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;路径决定部,其以所述状态获取部获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及指示发送部,其向所述多个虚拟路由器分别发送用于构建由所述路径决定部决定出的通信路径的指示。
也可以是,所述路径决定部从所述多个虚拟路由器中决定用于组播传输所述控制指示以向所述多个从机器人传递所述控制指示的虚拟路由器。
也可以是,所述控制装置还具备优先机器人获取部,所述优先机器人获取部在所述远程呈现系统具备多个从机器人的情况下获取用于从所述多个从机器人中确定优先机器人的优先机器人信息,所述优先机器人是向所述操作装置发送流数据的从机器人。
本发明的第二方式是一种控制装置,在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中,所述控制装置对所述多个操作装置与所述从机器人之间的通信进行控制,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径。该装置具备:优先操作装置获取部,其获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;状态获取部,其在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;路径决定部,其以所述状态获取部获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及指示发送部,其向所述多个虚拟路由器分别发送用于构建由所述路径决定部决定出的通信路径的指示。
也可以是,所述路径决定部从所述多个虚拟路由器中决定用于向所述多个操作装置组播传输所述从机器人所发送的流数据的虚拟路由器。
也可以是,所述路径决定部以所述优先操作装置获取部获取到新的优先操作装置信息为契机,重新决定通信路径。
也可以是,所述路径决定部具备:得分计算部,其针对将所述操作装置与所述从机器人之间连接的多个通信路径的候选中的各个候选,基于所述状态报告来计算表示各通信路径的通信能力的得分;以及路径选择部,其将被计算出表示所述通信能力高的得分的通信路径的候选优先于被计算出表示所述通信能力低的得分的通信路径的候选地选择为将所述操作装置与所述从机器人之间连接的通信路径。
也可以是,所述状态报告至少包含与所述操作装置同所述从机器人之间的通信有关的带宽、延迟时间、抖动、丢包率、包乱序率以及纠错率各自所相关的统计量,也可以是,所述得分计算部基于所述统计量来计算所述得分。
也可以是,所述统计量包含与所述带宽、所述延迟时间、所述抖动、所述丢包率、包乱序率及所述纠错率的各个项目有关的最大值、最小值以及平均值,也可以是,所述得分计算部针对各项目计算将用最大值与最小值之差使平均值与最小值之差标准化得到的值乘以按项目而不同的权重系数所得到的值,并将计算出的值的总和计算为所述得分。
也可以是,所述控制装置还具备情景信息获取部,所述情景信息获取部获取表示使用所述操作装置来操作所述从机器人的目的的操作情景信息,也可以是,所述得分计算部基于所述操作情景信息来变更所述权重系数。
本发明的第三方式是是由在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中对所述操作装置与所述1个或多个从机器人之间的通信进行控制的控制装置的处理器执行的网络控制方法,所述操作装置用于对所述1个或多个从机器人的动作进行控制,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径。在该方法中,所述处理器执行以下步骤:在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;以获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
本发明的第四方式是由在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中对所述多个操作装置与所述从机器人之间的通信进行控制的控制装置的处理器执行的网络控制方法,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径。在该方法中,所述处理器执行以下步骤:获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;以获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
本发明的第五方式是程序。该程序是使在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中对所述操作装置与所述1个或多个从机器人之间的通信进行控制的计算机实现以下功能的程序,所述操作装置用于对所述1个或多个从机器人的动作进行控制,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径,所述功能包括:在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;以获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
本发明的第六方式是程序。该程序是使在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中对所述多个操作装置与所述从机器人之间的通信进行控制的计算机实现以下功能的程序,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径,所述功能包括:获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;以获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
为了提供该程序、或者为了更新程序的一部分,也可以提供记录有该程序的计算机可读记录介质,另外,该程序也可以通过通信线路传输。
此外,将以上的构成要素的任意的组合、本发明的表现在方法、装置、系统、计算机程序、数据结构、记录介质等之间进行变换所得到的方式也作为本发明的方式而有效。
发明的效果
根据本发明,能够在远程呈现系统的应用中将特定项目的值维持为一定值以上地进行通信。
附图说明
图1是示意性地示出远程呈现系统的构成要素的外观的图。
图2是示意性地示出远程呈现系统的构成要素以及各构成要素之间交换的信息的流动的图。
图3是用于说明第一实施方式所涉及的远程呈现系统的概要的图。
图4是示意性地示出第一实施方式所涉及的控制装置的功能结构的图。
图5是示出第一实施方式所涉及的状态获取部获取的统计量的一览的图。
图6是示意性地示出将情景信息与权重系数相对应地保存的权重系数数据库的数据结构的图。
图7是用于说明第一实施方式所涉及的控制装置执行的通信路径的控制处理的流程的流程图。
图8是用于说明第二实施方式所涉及的远程呈现系统的概要的图。
图9是示意性地示出第二实施方式所涉及的控制装置的功能结构的图。
图10是用于说明第二实施方式所涉及的控制装置执行的通信路径的控制处理的流程的流程图。
具体实施方式
<远程呈现系统的概要>
图1是示意性地示出远程呈现系统S的构成要素的外观的图。另外,图2是示意性地示出远程呈现系统S的构成要素以及各构成要素之间交换的信息的流动的图。下面,参照图1和图2,首先说明作为本实施方式的前提的远程呈现系统S的概要。
远程呈现系统S包括操作装置C、从机器人R以及对操作装置C与从机器人R之间的信息的流动进行控制的控制装置1。一般来说,操作装置C所在的场所与从机器人R所在的场所相距较远。如图1所示,利用远程呈现系统S的操作者U穿戴各种呈现装置2(头戴式显示器2a、触觉呈现装置2b、头戴式耳机2c以及摄像元件2d)。利用未图示的捕获装置来追踪操作者U的身体的动作,并将身体的动作以表示操作者U的身体的姿势的捕获信息的形式发送到控制装置1。
从机器人R具备各种传感器3(摄像元件3a、触觉传感器3b以及麦克风3c),各传感器3获取到的传感器信息被发送到控制装置1。此外,触觉传感器3b包括温度传感器31、加速度传感器32以及压力传感器33。
如图1所示,从机器人R是模拟出人的形状的机器。因此,摄像元件3a配置于相当于从机器人R的眼睛的位置。同样,触觉传感器3b配置于相当于从机器人R的指尖的位置,麦克风3c配置于相当于从机器人R的耳朵的位置。
控制装置1是存在于通信网络N上的云服务器。如图2所示,控制装置1基于捕获信息来分析操作者U的姿势的变化。控制装置1基于操作者U的姿势的变化,来生成用于使从机器人R动作的动作信号,并向从机器人R发送该动作信号。从机器人R在颈部、肩部、肘部等各部具备致动器,控制装置1生成的动作信号是用于使这些致动器动作的信号。由此,从机器人R能够与操作者U的姿势的变化联动地进行动作。
操作者U基于呈现装置2所呈现出的信息使姿势变化来基于该信息使从机器人R动作意味着远程呈现系统S中的呈现装置2和捕获装置如图2所示那样作为从机器人R的操作装置C来发挥功能。虽未图示,但是捕获装置有时也具备用于拍摄穿戴着呈现装置2的操作者U的摄像机。在该情况下,捕获装置被配置在远离操作者U的位置,但是为了便于说明,有时将操作者U使用操作装置C记载为“操作者U穿戴操作装置C”。
控制装置1基于自从机器人R具备的传感器3获取到的传感器信息,来生成用于使操作者U穿戴的呈现装置2动作的呈现信号,并向呈现装置2发送该呈现信号。例如,摄像元件3a进行拍摄所获取到的图像信息通过通信网络N和控制装置1被流式传输到头戴式显示器2a。由此,操作者U能够隔着头戴式显示器2a的监视器看到由作为从机器人R的“眼睛”的摄像元件3a捕捉到的影像。图1示出了在头戴式显示器2a的监视器映出了从机器人R的右手和从机器人R的右手保持的作为接触对象O的立方体的情形。
同样,触觉传感器3b获取到的包括温度、振动以及压力的触觉信息通过控制装置1被变换为用于使触觉呈现装置2b动作的触觉呈现信号。由此,操作者U能够借由触觉呈现装置2b感受到从机器人R的“指尖”捕捉到的触觉。
在实施方式所涉及的远程呈现系统S中,头戴式显示器2a是遮蔽型的头戴式显示器。因此,当操作者U借由头戴式显示器2a观察摄像元件3a拍摄到的影像时,能够获得宛如操作者U身处从机器人R的存在场所那样的沉浸感。
另一方面,一旦操作者U穿戴上头戴式显示器2a,则操作者U无法再看到自身的周围。由于头戴式显示器2a还作为捕获装置的一部分进行动作,因此操作者U需要在使操作者U的动作与从机器人R的动作同步之前穿戴头戴式显示器2a。由于操作者U要在控制装置1向头戴式显示器2a发送图像信号之前穿戴头戴式显示器2a,因此直到操作者U的动作与从机器人R的动作之间的同步完成为止操作者U不能看到周围,这是不便利的。
因此,如图1所示,头戴式显示器2a具备摄像元件2d,该摄像元件2d用于在被穿戴于操作者U时拍摄操作者U的视线方向。由此,操作者U能够在穿戴着头戴式显示器2a的状态下观察周围。
像这样,从机器人R与操作者U的姿势的变化联动地进行动作,并且从机器人R具备获取用于使操作者U穿戴的呈现装置2动作的信号的传感器组。操作者U能够通过使用实施方式所涉及的远程呈现系统S,来体验若存在于实际未存在的场所即从机器人R的存在场所则能够获得的视觉、听觉以及触觉等感觉。
<第一实施方式所涉及的远程呈现系统S的概要>
上述说明了在远程呈现系统S中操作装置C和从机器人R各自只有1个的情况。与此相对,在第一实施方式所涉及的远程呈现系统S中,存在一个操作装置C以及1个或多个从机器人R。第一实施方式所涉及的远程呈现系统S是在一位操作者U使用1台操作装置C来控制多个从机器人R的情况下使用的系统。
图3是用于说明第一实施方式所涉及的远程呈现系统S的概要的图。图3所示的远程呈现系统S具备:多个从机器人R;1个操作装置C,其用于控制多个从机器人R的动作;以及多个虚拟路由器V,其用于构建用于在操作装置C与多个从机器人R之间传递信息的通信路径。此外,为了便于图示,图3仅图示了2个从机器人R(第一从机器人R1和第二从机器人R2),但是从机器人R的数量也可以为1个,还可以为3个以上。同样,图3图示了4个虚拟路由器V(第一虚拟路由器V1、第二虚拟路由器V2、第三虚拟路由器V3以及第四虚拟路由器V4),但是虚拟路由器V的数量并不限于4个。
控制装置1对操作装置C与多个从机器人R之间的通信进行控制。虚拟路由器V是用于虚拟地实现路由功能的技术,由于是已知的技术,因此省略详细说明。虚拟路由器V将网络交换机(network switch)的功能虚拟化,构成为能够通过控制装置1来被控制数据的传送目的地。因此,即使在操作装置C与从机器人R之间通过若干个虚拟路由器V建立了通信路径之后,也能够事后变更构建操作装置C与从机器人R之间的通信路径的虚拟路由器V。控制装置1通过控制虚拟路由器V的动作,来控制操作装置C与多个从机器人R之间的通信。
例如,假设在操作装置C与从机器人R之间通过虚拟路由器V建立了通信路径之后由于一些原因而使该通信路径的通信质量下降了。在该情况下,控制装置1控制虚拟路由器V来变更通信路径,以提高操作装置C与从机器人R之间的通信质量。作为另一例,在操作者U向控制装置1发送了表示从同时操作2台从机器人R的状态、即同时建立了操作装置C与第一从机器人R1之间的通信路径以及操作装置C与第二从机器人R2之间的通信路径的状态转变为仅操作第一从机器人R1的状态的指示的情况下,控制装置1控制虚拟路由器V来切断操作装置C与第二从机器人R2之间的通信路径。
像这样,在第一实施方式所涉及的远程呈现系统S中,控制装置1通过控制虚拟路由器V,来动态地变更操作装置C与从机器人R之间的通信路径。其结果为,远程呈现系统S中的操作装置C和从机器人R能够将流数据的比特率、数据的比特率、数据量等特定项目的值维持为一定值以上地进行通信。另外,操作者U能够根据操作从机器人R来执行的任务,自由地变更多个从机器人R中的要使用操作装置C来操作的从机器人R。
<第一实施方式所涉及的控制装置1的功能结构>
图4是示意性地示出第一实施方式所涉及的控制装置1的功能结构的图。控制装置1具备存储部10和控制部11。在图4中,箭头表示主要的数据的流动,也可以存在图4中未示出的数据的流动。在图4中,各功能模块表示以功能为单位的结构,而不是以硬件(装置)为单位的结构。因此,图4所示的功能模块可以安装在单一装置内,或者也可以分开安装在多个装置内。功能模块间的数据的发送接收也可以借由数据总线、网络、便携式存储介质等任意的单元来进行。另外,图4仅图示了与操作装置C同从机器人R之间的通信路径的控制有关的功能模块,省略了将捕获信息变换为动作信号的功能、将传感器信息变换为呈现信号的功能。
存储部10是保存实现控制装置1的计算机的BIOS(Basic Input Output System:基本输入输出系统)等的ROM(Read Only Memory:只读存储器)、成为控制装置1的作业区域的RAM(Random Access Memory:随机存取存储器)、保存OS(Operating System:操作系统)、应用程序、在执行该应用程序时参照的各种信息的HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态驱动器)等大容量存储装置。
控制部11是控制装置1的CPU(Central Processing Unit:中央处理单元)、GPU(Graphics Processing Unit:图形处理单元)等处理器,控制部11通过执行存储部10中存储的程序,来作为状态获取部110、路径决定部111、指示发送部112、优先机器人获取部113以及情景信息获取部114发挥功能。
此外,图4示出了控制装置1由单一装置构成的情况的例子。然而,控制装置1例如也可以如云计算系统那样通过多个处理器、存储器等计算资源来实现。在该情况下,构成控制部11的各部通过多个不同的处理器中的任意的至少一个处理器执行程序来实现。
状态获取部110在操作装置C与多个从机器人R之间建立着通信的期间,从操作装置C、多个从机器人R以及多个虚拟路由器V分别重复获取状态报告。在此,虚拟路由器V的状态报告是指为了估计构建将操作装置C与从机器人R连结的通信路径的各设备的通信质量的好坏而使用的测定值、或者基于测定值计算出的统计量。此外,在后面记述虚拟路由器V的状态报告的具体内容。
另外,也存在操作装置C和从机器人R的状态报告。操作装置C的状态报告是表示上述的捕获信息的大小、呈现装置2的动作状况的信息。从机器人R的状态报告是表示上述的传感器信息的大小、构成从机器人的各种致动器和传感器3的动作状况的信息。下面,在本说明书中,将虚拟路由器V的状态报告、操作装置C的状态报告以及从机器人R的状态报告在不进行区分的情况下仅记载为“状态报告”。
路径决定部111以状态获取部110获取到状态报告为契机,基于获取到的状态报告,来决定用于向多个从机器人R传递控制指示的通信路径,该控制指示是用于对从机器人R的动作进行控制的动作信号。更具体地说,路径决定部111基于状态获取部110获取到的状态报告,来选择用于构建操作装置C与从机器人R之间的通信路径的虚拟路由器V。
指示发送部112将用于构建路径决定部111决定出的通信路径的指示分别发送到构建该通信路径的多个虚拟路由器V。各虚拟路由器V按照从控制装置1接收到的指示设定虚拟交换机,来建立通信路径。
控制装置1在操作装置C与从机器人R之间建立着通信的期间,持续进行状态报告的获取以及基于获取到的状态报告的通信路径的决定处理。由此,在操作装置C与从机器人R之间的通信路径的通信质量在操作装置C与从机器人R之间建立着通信的期间下降了的情况下,控制装置1能够适当地变更通信路径以提高通信质量。结果是,控制装置1能够维持远程呈现系统S中的操作装置C与从机器人R之间的流数据的比特率、数据量。
如图3所示,在第一实施方式所涉及的远程呈现系统S中,有时对于1台操作装置C存在多个从机器人R。因此,根据操作者U执行的任务,也可能发生操作者U使用操作装置C来同时操作多个从机器人R的情况。在该情况下,控制装置1需要将基于捕获信息生成的从机器人R的动作信号向多个从机器人R发送。
因此,路径决定部111从多个虚拟路由器V中决定用于组播传输控制指示的虚拟路由器V,以向多个从机器人R传递用于对从机器人R的动作进行控制的控制指示。由此,控制装置1能够将用于对从机器人R的动作进行控制的动作信号发送到多个从机器人R。
操作者U穿戴的操作装置C按照基于由从机器人R具备的各传感器获取并被流式传输的传感器信息生成的触觉呈现信号,来对操作者U呈现视觉、听觉以及触觉等感觉。在第一实施方式所涉及的远程呈现系统S中,由于也可能对于1台操作装置C存在多个从机器人R,因此在这种情况下,控制装置1要基于由哪个从机器人R具备的各传感器获取到的传感器信息来生成触觉呈现信号成为问题。
因此,优先机器人获取部113在远程呈现系统S具备多个从机器人R的情况下获取用于从多个从机器人R中确定优先机器人的优先机器人信息,该优先机器人是向操作装置C发送流数据的从机器人。路径决定部111从多个虚拟路由器V中决定要废弃优先机器人以外的其它从机器人R发送的流数据的虚拟路由器。由此,向操作者U穿戴的操作装置C仅发送基于优先机器人具备的传感器3获取到的信息的呈现信号。
接下来,对路径决定部111执行的路径决定处理的详细内容进行说明。
如图4所示,路径决定部111具备得分计算部1110和路径选择部1111。得分计算部1110基于状态获取部110获取到的状态报告,来针对将操作装置C与从机器人R之间连接的多个通信路径的候选分别计算表示各通信路径的通信能力的得分。
路径选择部1111将被计算出表示通信能力高的得分的通信路径的候选优先于被计算出表示通信能力低的得分的通信路径的候选地选择为将操作装置C与从机器人R之间连接的通信路径。由此,路径选择部1111能够基于构建将操作装置C与从机器人R之间连接的多个通信路径中的各个通信路径的设备的状态报告,来选择通信质量相对良好的通信路径。
如上所述,状态获取部110获取的状态报告是为了估计构建将操作装置C与从机器人R连结的通信路径的各设备的通信质量的好坏而使用的测定值、或基于测定值计算出的统计量。具体地说,状态获取部110获取的状态报告至少包含与操作装置C同从机器人R之间的通信有关的带宽、延迟时间、抖动、丢包率、包乱序率以及纠错率各自相关的统计量。得分计算部1110基于被状态获取部110以状态报告的形式获取到的这些统计量来计算得分。
图5是示出第一实施方式所涉及的状态获取部110获取的统计量的一览的图。如图5所示,状态获取部110获取的统计量包含与带宽、延迟时间、抖动、丢包率、包乱序率以及纠错率的各个项目有关的最大值、最小值以及平均值。
得分计算部1110按照下面示出的式(1)来计算表示各通信路径的通信能力的得分RS。
[数1]
如式(1)所示,得分计算部1110针对各项目计算将用最大值与最小值之差使平均值与最小值之差标准化得到的值乘以按项目而不同的权重系数而得到的值,并将计算出的值的总和计算为得分RS。“权重系数”是表示各项目对得分RS的贡献率的正的实数值。
例如,远程呈现系统S的设计者考虑从机器人R的操作目的来通过实验决定权重系数即可。因此,情景信息获取部114获取表示使用操作装置C来操作从机器人R的目的的操作情景信息。情景信息是表示操作者U利用远程呈现系统S的目的的信息,例如“虚拟旅行”、“店铺的盘货作业”、“危险地带的作业”等。在决定了远程呈现系统S的操作目的的情况下,情景信息获取部114读出并获取预先存储在存储部10中的操作情景信息。远程呈现系统S是通用的系统,在每次利用远程呈现系统S时操作情景都不同的情况下,情景信息获取部114经由未图示的用户界面来从远程呈现系统S的操作者U获取操作情景信息。
图6是示意性地示出将情景信息与权重系数相对应地保存的权重系数数据库的数据结构的图。权重系数数据库被保存在存储部10中,由得分计算部1110对权重系数数据库进行管理。得分计算部1110基于由情景信息获取部114获取到的操作情景信息,参照权重系数数据库来对各操作情景变更权重系数。由此,路径选择部1111能够根据操作者U利用远程呈现系统S的目的来适当地选择通信路径。
此外,得分计算部1110也可以在计算出的得分RS超过规定的阈值的情况下,在控制装置1的显示部显示表示通信状态良好的信息。例如,在控制装置1的显示部为监视器的情况下,得分计算部1110在显示部显示“通信状态:良好”那样的字符串。或者,在控制装置1具备用于呈现通信状态的好坏的LED(Light Emitting Diode:发光二极管)的情况下,得分计算部1110也可以使LED发出绿色的光以表示通信状态良好。
另外,得分计算部1110也可以在计算出的得分RS为规定的阈值以下的情况下,在控制装置1的显示部显示表示通信状态不良的信息。例如,在控制装置1的显示部为监视器的情况下,得分计算部1110在显示部显示“通信状态:不良”那样的字符串。或者,在控制装置1具备用于呈现通信状态的好坏的LED的情况下,得分计算部1110也可以使LED发出红色的光以表示通信状态不良。
并且,在多个通信路径的得分RS为阈值以下的情况下,得分计算部1110也可以使LED闪烁、或者变更在显示部显示的字体的大小、颜色来向控制装置1的管理者进行通知。
像这样,路径选择部1111基于得分计算部1110计算出的得分RS来选择通信路径。更具体地说,在关于其它通信路径的得分RS大于关于当前所选择的通信路径的RS的情况下,路径选择部1111将其它通信路径选择为新的通信路径。
在此,路径选择部1111也可以对在选择通信路径时所参照的得分RS设置滞后,来维持通信路径。具体地说,路径选择部1111也可以决定表示不灵敏区的规定值,在将关于其它通信路径的得分RS加上规定值得到的值大于将关于当前所选择的通信路径的RS加上规定值得到的值的情况下,将其它通信路径选择为新的通信路径。由此,能够抑制在操作者U操作从机器人R的过程中伴随路径选择部1111对通信路径的选择而产生的波动(频繁的变更)。
或者,路径选择部1111也可以设置将所选择的通信路径切换为其它通信路径时的待机期间。由此,至少能够抑制通信路径的切换间隔比待机期间短。另外,路径选择部1111也可以基于通信路径选择时的得分RS的长度来变更通信路径切换时的待机期间。具体地说,路径选择部1111可以设为通信路径选择时的得分RS越大则使通信路径切换时的待机期间越长。由此,得分计算部1110计算出的得分RS越大,则使待机期间越长,从而能够更有效地抑制伴随通信路径的选择而产生的波动。
<控制装置1执行的通信路径的控制方法的处理流程>
图7是用于说明第一实施方式所涉及的控制装置1执行的通信路径的控制处理的流程的流程图。本流程图中的处理例如在控制装置1启动时开始。
状态获取部110从构成远程呈现系统S的操作装置C、1个或多个从机器人R以及多个虚拟路由器V分别获取状态报告(S2)。路径决定部111以状态获取部110获取到状态报告为契机,基于状态获取部110获取到的状态报告,来决定用于向1个或多个从机器人R传递用于对从机器人R的动作进行控制的控制指示的通信路径(S4)。
指示发送部112向多个虚拟路由器V分别发送用于构建所决定出的通信路径的指示(S6)。控制装置1在操作装置C与1个或多个从机器人R建立着通信的期间重复执行上述的处理。由此,能够在远程呈现系统S中维持流数据的比特率、数据量。
<第一实施方式所涉及的控制装置1所起到的效果>
如以上说明的那样,根据第一实施方式所涉及的控制装置1,能够在远程呈现系统S中维持流数据的比特率、数据量。另外,在对于1台操作装置C存在多个从机器人R的远程呈现系统S中,能够向操作装置C仅发送基于由优先机器人具备的传感器3获取到的信息的呈现信号,该优先机器人是向操作装置C发送流数据的从机器人。
<第二实施方式>
第二实施方式所涉及的远程呈现系统S与第一实施方式所涉及的远程呈现系统S不同,从机器人R为1台,另一方面,包括多个操作装置C。下面说明第二实施方式所涉及的远程呈现系统S,适当地省略或简化与第一实施方式相同的部分来进行说明。
<第二实施方式所涉及的远程呈现系统S的概要>
第二实施方式所涉及的远程呈现系统S是在由多个操作装置C对1台从机器人R进行控制的情况下使用的系统。
图8是用于说明第二实施方式所涉及的远程呈现系统S的概要的图。图8所示的远程呈现系统S具备:多个操作装置C;1个从机器人R,通过多个操作装置C中的任一个操作装置C对该1个从机器人R的动作进行控制;以及多个虚拟路由器V,所述多个虚拟路由器V用于构建用于在多个操作装置C与从机器人R之间传递信息的通信路径。此外,为了便于图示,图8仅图示了2个操作装置C(第一操作装置C1和第二操作装置C2),但是操作装置C的数量也可以为3个以上。同样,图8图示了4个虚拟路由器V(第一虚拟路由器V1、第二虚拟路由器V2、第三虚拟路由器V3以及第四虚拟路由器V4),但是虚拟路由器V的数量并不限于4个。
控制装置4对多个操作装置C与从机器人R之间的通信进行控制。控制装置4通过控制虚拟路由器V的动作,来对从机器人R与多个操作装置C之间的通信进行控制。例如,假设在操作装置C与从机器人R之间通过虚拟路由器V建立了通信路径之后由于一些原因而使该通信路径的通信质量下降了。在该情况下,控制装置4控制虚拟路由器V来变更通信路径,以提高操作装置C与从机器人R之间的通信质量。作为另一例,在第二操作装置C2的操作者U向控制装置4发送了表示从正在通过第一操作装置C1控制从机器人R的状态转变为通过第二操作装置C2来控制从机器人R的状态的指示的情况下,控制装置4对虚拟路由器V进行控制,来切断第一操作装置C1与从机器人R之间的通信路径,并且建立第二操作装置C2与从机器人R之间的通信路径。
像这样,在第二实施方式所涉及的远程呈现系统S中,控制装置4通过控制虚拟路由器V,来变更操作装置C与从机器人R之间的通信路径。其结果为,远程呈现系统S中的操作装置C与从机器人R能够将流数据的比特率、数据量等特定项目的值维持为一定值以上地进行操作装置C与从机器人R之间的通信。另外,控制装置4能够自如地切换用于对从机器人R进行操作的操作装置C。
<第二实施方式所涉及的控制装置4的功能结构>
图9是示意性地示出第二实施方式所涉及的控制装置4的功能结构的图。控制装置4具备存储部40和控制部41。在图9中,箭头表示主要的数据的流动,也可以存在图9中未示出的数据的流动。在图9中,各功能模块表示以功能为单位的结构,而不是以硬件(装置)为单位的结构。因此,图9所示的功能模块可以安装在单一装置内,或者也可以分开安装在多个装置内。功能模块间的数据的发送接收也可以借由数据总线、网络、便携式存储介质等任意的单元来进行。另外,图9仅图示了与操作装置C同从机器人R之间的通信路径的控制有关的功能模块,省略了将捕获信息变换为动作信号的功能、将传感器信息变换为呈现信号的功能。
存储部40是保存实现控制装置4的计算机的BIOS等的ROM、成为控制装置4的作业区域的RAM、保存OS、应用程序、在执行该应用程序时参照的各种信息的HDD、SSD等大容量存储装置。
控制部41是控制装置4的CPU、GPU等处理器,控制部41通过执行存储部40中存储的程序,来作为状态获取部410、路径决定部411、指示发送部412、优先操作装置获取部413以及情景信息获取部414发挥功能。
此外,图9示出了控制装置4由单一装置构成的情况的例子。然而,控制装置4例如也可以如云计算系统那样通过多个处理器、存储器等计算资源来实现。在该情况下,构成控制部41的各部通过多个不同的处理器中的任意的至少一个处理器执行程序来实现。
优先操作装置获取部413从远程呈现系统S具备的多个操作装置C中确定优先操作装置,该优先操作装置是用于对从机器人R的动作进行控制的操作装置C。例如,在某个情景中,优先操作装置按照预先决定的计划表而变更。在其它情景中,最后上线的操作装置C成为优先操作装置。在另一情景中,具有高级权限的操作装置C在上线的情况下成为优先操作装置。像这样,优先操作装置的决定方式根据操作从机器人R的目的而不同,除上述的例子以外还存在各种方式。
状态获取部410在多个操作装置C与从机器人R之间建立着通信的期间,从多个操作装置C、从机器人R以及多个虚拟路由器V分别重复获取状态报告。
路径决定部411以状态获取部410获取到状态报告为契机,基于获取到的状态报告以及表示优先操作装置的优先操作信息,来决定用于向从机器人R传递用于对从机器人R的动作进行控制的控制指示的通信路径。具体地说,路径决定部411决定将作为优先操作装置的操作装置C与从机器人R之间连结的通信路径。
指示发送部412向多个虚拟路由器V分别发送用于构建路径决定部411所决定出的通信路径的指示。由此,控制装置4能够抑制在存在能够对1台从机器人R进行操作的多个操作装置C的远程呈现系统S中来自不同的操作装置C的多个控制指示被同时发送到1台从机器人R。
另一方面,若多个操作装置C能够共享由1台从机器人R具备的传感器3获取到的传感器信息则是便利的。例如,在远程呈现系统S被使用于虚拟旅行的情况下,考虑将基于在观光地存在的1台从机器人R的传感器3获取到的信息的呈现信号发送到参加该虚拟旅行的多个操作者U各自穿戴的多个呈现装置2。在该情况下,虽未限定,但优先操作装置为虚拟旅行的领队持有的操作装置C,虚拟旅行的参加者各自能够使用穿戴的操作装置C来观看在观光地处的从机器人R的摄像元件3a捕捉到的影像、或者收听麦克风3c拾取到的声音。
为了实现该功能,路径决定部411从多个虚拟路由器V中决定用于组播传输流数据以向多个操作装置C传递由从机器人R发送的流数据的虚拟路由器V。由此,控制装置4能够向多个操作装置C发送基于由从机器人R获取到的传感器信息的呈现信号。
如上所述,在第二实施方式所涉及的远程呈现系统S运行的过程中(正在通过某个操作装置C对从机器人R进行操作的状态),能够改变优先操作装置。因此,路径决定部411以优先操作装置获取部413获取到新的优先操作装置信息为契机,重新决定通信路径。由此,控制装置4能够不使操作装置C以及操作装置C对从机器人R的操作中断地灵活地置换优先操作装置。
<控制装置4执行的通信路径的控制方法的处理流程>
图10是用于说明第二实施方式所涉及的控制装置4执行的通信路径的控制处理的流程的流程图。本流程图中的处理例如在控制装置4启动时开始。
优先操作装置获取部413获取用于从远程呈现系统S具备的多个操作装置C中确定优先操作装置的优先操作装置信息,该优先操作装置是用于对从机器人R的动作进行控制的操作装置(S10)。
状态获取部410从多个操作装置C、从机器人R以及多个虚拟路由器V分别获取状态报告(S12)。路径决定部411以状态获取部410获取到状态报告为契机,基于获取到的状态报告和优先操作装置信息,来决定用于向从机器人R传递用于对从机器人R的动作进行控制的控制指示的通信路径(S14)。
指示发送部412将用于构建路径决定部411所决定出的通信路径的指示分别发送到多个虚拟路由器V。控制装置4在多个操作装置C与从机器人R之间建立着通信的期间重复执行上述的处理。
此外,得分计算部4110、路径选择部4111以及情景信息获取部414的功能分别与第一实施方式所涉及的得分计算部1110、路径选择部1111以及情景信息获取部114相同,因此省略说明。
<第二实施方式所涉及的控制装置4所起到的效果>
如以上说明的那样,根据第二实施方式所涉及的控制装置4,能够在远程呈现系统S的应用中将特定项目的值维持为一定值以上的状态地进行通信。另外,在对于1台从机器人R存在多个操作装置C的远程呈现系统S中,能够向从机器人R仅发送来自能够向从机器人R发送动作信号的优先操作装置的控制信号。
以上使用实施方式说明了本发明,但是本发明的技术范围不限定于上述实施方式所记载的范围,能够在其主旨的范围内进行各种变形和变更。例如,装置的全部或一部分能够以任意的单位在功能上或物理上分散/合并地构成。另外,通过多个实施方式的任意的组合产生的新的实施方式也包含在本发明的实施方式中。通过组合产生的新的实施方式的效果兼具原实施方式的效果。
<第一变形例>
在上述中,说明了对于1台操作装置C具备多个从机器人R的远程呈现系统S、以及对于1台从机器人R具备多个操作装置C的远程呈现系统S。然而,远程呈现系统S也可以具备多台操作装置C和多台从机器人R。
在该远程呈现系统S中,存在第一实施方式所涉及的优先机器人以及第二实施方式所涉及的优先操作装置。在该情况下,通过从多个操作装置C中选择出的优先操作装置来控制各从机器人R的动作,并且基于由从多个从机器人R中选择出的优先机器人的传感器3获取到的传感器信息,来生成各操作装置C的呈现信号。由此,例如,能够由多个操作者U轮流着控制多个作业用的从机器人R。
<第二变形例>
在上述中,说明了控制装置1具备根据捕获信息生成动作信号的功能、根据传感器信息生成呈现信号的功能以及基于状态报告来控制虚拟路由器V的功能的情况。然而,不需要是1台控制装置1具备这些功能的全部,可以通过多个装置来分担各功能。例如,可以是,由1台服务器负责根据捕获信息生成动作信号的功能和根据传感器信息生成呈现信号的功能,由其它服务器负责控制虚拟路由器V的功能。在该情况下,前者是所谓的操作装置/机器人控制装置,后者是所谓的网络控制装置。在按用于使远程呈现系统S动作的功能来实现负荷分散方面是有效的。
<第三变形例>
在上述中,说明了基于得分计算部1110或得分计算部4110计算出的得分RS来选择通信路径的情况。取而代之,或者除此以外,也可以是,根据得分RS的大小来变更从机器人R的操作模式。
具体地说,第三变形例所涉及的控制装置具备未图示的操作模式变更部。在计算出的得分RS未达到规定的基准值的情况下,操作模式变更部设定为使从机器人R自动操纵的自动操纵模式。是在从机器人R在自动操纵模式中未被操作者U持有的操作装置C发送动作信号的情况下从机器人R自动地进行动作的模式。在被操作者U持有的操作装置C发送了动作信号的情况下,从机器人R按照动作信号进行动作。由此,即使发生了因通信路径的通信状态变差而使得动作信号无法到达从机器人R的状况,也能够抑制因从机器人R停止而引起的不良状况。
此外,在计算出的得分RS超过规定的基准的情况下,操作模式变更部将从机器人R设定为手动操作模式。由此,在通信路径的通信状态良好的情况下,从机器人R能够在操作者U的控制下进行动作。
附图标记说明
1:控制装置;10:存储部;11:控制部;110:状态获取部;111:路径决定部;1110:得分计算部;1111:路径选择部;112:指示发送部;113:优先机器人获取部;114:情景信息获取部;2:呈现装置;2a:头戴式显示器;2b:触觉呈现装置;2c:头戴式耳机;2d:摄像元件;3:传感器;3a:摄像元件;3b:触觉传感器;3c:麦克风;4:控制装置;40:存储部;41:控制部;410:状态获取部;411:路径决定部;4110:得分计算部;4111:路径选择部;412:指示发送部;413:优先操作装置获取部;414:情景信息获取部;C:操作装置;N:通信网络;R:从机器人;V:虚拟路由器;S:远程呈现系统。
Claims (14)
1.一种控制装置,在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中,所述控制装置对所述操作装置与所述1个或多个从机器人之间的通信进行控制,所述操作装置用于控制所述1个或多个从机器人的动作,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径,所述控制装置具备:
状态获取部,其在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;
路径决定部,其以所述状态获取部获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
指示发送部,其向所述多个虚拟路由器分别发送用于构建由所述路径决定部决定出的通信路径的指示。
2.根据权利要求1所述的控制装置,其中,
所述路径决定部从所述多个虚拟路由器中决定用于组播传输所述控制指示以向所述多个从机器人传递所述控制指示的虚拟路由器。
3.根据权利要求1或2所述的控制装置,其中,
所述控制装置还具备优先机器人获取部,所述优先机器人获取部在所述远程呈现系统具备多个从机器人的情况下获取用于从所述多个从机器人中确定优先机器人的优先机器人信息,所述优先机器人是向所述操作装置发送流数据的从机器人。
4.一种控制装置,在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中,所述控制装置对所述多个操作装置与所述从机器人之间的通信进行控制,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径,所述控制装置具备:
优先操作装置获取部,其获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;
状态获取部,其在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;
路径决定部,其以所述状态获取部获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
指示发送部,其向所述多个虚拟路由器分别发送用于构建由所述路径决定部决定出的通信路径的指示。
5.根据权利要求4所述的控制装置,其中,
所述路径决定部从所述多个虚拟路由器中决定用于向所述多个操作装置组播传输所述从机器人所发送的流数据的虚拟路由器。
6.根据权利要求4或5所述的控制装置,其中,
所述路径决定部以所述优先操作装置获取部获取到新的优先操作装置信息为契机,重新决定通信路径。
7.根据权利要求1至6中的任一项所述的控制装置,其中,
所述路径决定部具备:
得分计算部,其针对将所述操作装置与所述从机器人之间连接的多个通信路径的候选中的各个候选,基于所述状态报告来计算表示各通信路径的通信能力的得分;以及
路径选择部,其将被计算出表示所述通信能力高的得分的通信路径的候选优先于被计算出表示所述通信能力低的得分的通信路径的候选地选择为将所述操作装置与所述从机器人之间连接的通信路径。
8.根据权利要求7所述的控制装置,其中,
所述状态报告至少包含与所述操作装置同所述从机器人之间的通信有关的带宽、延迟时间、抖动、丢包率、包乱序率以及纠错率各自所相关的统计量,
所述得分计算部基于所述统计量来计算所述得分。
9.根据权利要求8所述的控制装置,其中,
所述统计量包含与所述带宽、所述延迟时间、所述抖动、所述丢包率、包乱序率及所述纠错率的各个项目有关的最大值、最小值以及平均值,
所述得分计算部针对各项目计算将用最大值与最小值之差使平均值与最小值之差标准化得到的值乘以按项目而不同的权重系数所得到的值,并将计算出的值的总和计算为所述得分。
10.根据权利要求9所述的控制装置,其中,
还具备情景信息获取部,所述情景信息获取部获取表示使用所述操作装置来操作所述从机器人的目的的操作情景信息,
所述得分计算部基于所述操作情景信息来变更所述权重系数。
11.一种网络控制方法,是由在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中对所述操作装置与所述1个或多个从机器人之间的通信进行控制的控制装置的处理器执行以下步骤的方法,所述操作装置用于对所述1个或多个从机器人的动作进行控制,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径,所述步骤包括:
在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;
以获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
12.一种网络控制方法,是由在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中对所述多个操作装置与所述从机器人之间的通信进行控制的控制装置的处理器执行以下步骤的方法,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径,所述步骤包括:
获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;
在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;
以获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
13.一种程序,是使在具备1个或多个从机器人、1个操作装置以及多个虚拟路由器的远程呈现系统中对所述操作装置与所述1个或多个从机器人之间的通信进行控制的计算机实现以下功能的程序,所述操作装置用于对所述1个或多个从机器人的动作进行控制,所述多个虚拟路由器用于构建用于在所述操作装置与所述1个或多个从机器人之间传递信息的通信路径,所述功能包括:
在所述操作装置与所述1个或多个从机器人之间建立着通信的期间,从所述操作装置、所述1个或多个从机器人以及所述多个虚拟路由器分别重复获取状态报告;
以获取到所述状态报告为契机,基于获取到的状态报告,来决定用于向所述1个或多个从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
14.一种程序,是使在具备多个操作装置、1个从机器人以及多个虚拟路由器的远程呈现系统中对所述多个操作装置与所述从机器人之间的通信进行控制的计算机实现以下功能的程序,所述从机器人的动作由所述多个操作装置中的某一个操作装置进行控制,所述多个虚拟路由器用于构建用于在所述多个操作装置与所述从机器人之间传递信息的通信路径,所述功能包括:
获取用于从所述多个操作装置中确定优先操作装置的优先操作装置信息,所述优先操作装置是用于对所述从机器人的动作进行控制的操作装置;
在所述多个操作装置与所述从机器人之间建立着通信的期间,从所述多个操作装置、所述从机器人以及所述多个虚拟路由器分别重复获取状态报告;
以获取到所述状态报告为契机,基于获取到的状态报告和所述优先操作装置信息,来决定用于向所述从机器人传递用于对所述从机器人的动作进行控制的控制指示的通信路径;以及
向所述多个虚拟路由器分别发送用于构建所决定的所述通信路径的指示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070968A JP2020170934A (ja) | 2019-04-03 | 2019-04-03 | 制御装置、ネットワーク制御方法、及びプログラム |
JP2019-070968 | 2019-04-03 | ||
PCT/JP2020/015027 WO2020204072A1 (ja) | 2019-04-03 | 2020-04-01 | 制御装置、ネットワーク制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113940043A true CN113940043A (zh) | 2022-01-14 |
CN113940043B CN113940043B (zh) | 2023-05-09 |
Family
ID=72667872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080026402.2A Active CN113940043B (zh) | 2019-04-03 | 2020-04-01 | 控制装置、网络控制方法以及计算机可读记录介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220019216A1 (zh) |
EP (1) | EP3952230A4 (zh) |
JP (1) | JP2020170934A (zh) |
CN (1) | CN113940043B (zh) |
WO (1) | WO2020204072A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101973031A (zh) * | 2010-08-24 | 2011-02-16 | 中国科学院深圳先进技术研究院 | 云机器人系统及实现方法 |
US9042234B1 (en) * | 2012-10-31 | 2015-05-26 | Big Switch Networks, Inc. | Systems and methods for efficient network traffic forwarding |
CN104794214A (zh) * | 2015-04-27 | 2015-07-22 | 广州大学 | 一种设计大数据驱动云机器人的方法 |
JP2016192732A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 経路制御装置、経路制御方法及び経路制御システム |
CN106358256A (zh) * | 2016-10-26 | 2017-01-25 | 上海电机学院 | 一种多机器人控制协调者产生方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5304813B2 (ja) * | 2011-02-22 | 2013-10-02 | 沖電気工業株式会社 | 通信ノード装置 |
JP6237397B2 (ja) * | 2014-03-27 | 2017-11-29 | 富士通株式会社 | 制御装置、および、通信方法 |
GB201409883D0 (en) * | 2014-06-03 | 2014-07-16 | Ocado Ltd | Methods, systems, and apparatus for controlling movement of transporting devices |
JP2017022548A (ja) * | 2015-07-10 | 2017-01-26 | 株式会社日立製作所 | 通信経路選択方法、ネットワークシステム、及びサーバ |
EP3626403A4 (en) * | 2017-05-17 | 2021-03-10 | Telexistence Inc. | SENSOR DEVICE, ROBOT CONTROL SYSTEM AND ROBOT CONTROL METHOD, AND PROGRAM |
-
2019
- 2019-04-03 JP JP2019070968A patent/JP2020170934A/ja active Pending
-
2020
- 2020-04-01 EP EP20784218.8A patent/EP3952230A4/en active Pending
- 2020-04-01 WO PCT/JP2020/015027 patent/WO2020204072A1/ja unknown
- 2020-04-01 CN CN202080026402.2A patent/CN113940043B/zh active Active
-
2021
- 2021-10-01 US US17/491,879 patent/US20220019216A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101973031A (zh) * | 2010-08-24 | 2011-02-16 | 中国科学院深圳先进技术研究院 | 云机器人系统及实现方法 |
US9042234B1 (en) * | 2012-10-31 | 2015-05-26 | Big Switch Networks, Inc. | Systems and methods for efficient network traffic forwarding |
JP2016192732A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 経路制御装置、経路制御方法及び経路制御システム |
CN104794214A (zh) * | 2015-04-27 | 2015-07-22 | 广州大学 | 一种设计大数据驱动云机器人的方法 |
CN106358256A (zh) * | 2016-10-26 | 2017-01-25 | 上海电机学院 | 一种多机器人控制协调者产生方法 |
Non-Patent Citations (1)
Title |
---|
MARTINEZ VICTIOR M GARCIA等: "Ultra Reliable Communication for Robot Mobility", 《2018 IEEE SYMPOSIYM ON COMPUTERS AND COMMUNICATIONS》 * |
Also Published As
Publication number | Publication date |
---|---|
EP3952230A4 (en) | 2022-05-18 |
US20220019216A1 (en) | 2022-01-20 |
EP3952230A1 (en) | 2022-02-09 |
CN113940043B (zh) | 2023-05-09 |
JP2020170934A (ja) | 2020-10-15 |
WO2020204072A1 (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180218543A1 (en) | Hybrid rendering for a wearable display attached to a tethered computer | |
JP6179927B2 (ja) | 遠隔行動誘導システム及びその処理方法 | |
US10871822B2 (en) | Image generation apparatus, image generation system, and image generation method | |
WO2018225187A1 (ja) | 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法 | |
US20220353555A1 (en) | Image display system, moving image distribution server, image processing apparatus, and moving image distribution method | |
US12017351B2 (en) | Remote control system, information processing method, and non-transitory computer-readable recording medium | |
WO2018225218A1 (ja) | 情報処理装置および画像生成方法 | |
CN110678300A (zh) | 感觉赋予装置、机器人控制系统、机器人控制方法以及程序 | |
US10869013B2 (en) | Method and apparatus for buffer management in cloud based virtual reality services | |
US20220345721A1 (en) | Image data transfer apparatus, image display system, and image compression method | |
JP2023502552A (ja) | ウェアラブルデバイス、インテリジェントガイド方法及び装置、ガイドシステム、記憶媒体 | |
US20230076335A1 (en) | Remote control system, and remote operation apparatus, video image processing apparatus, and computer-readable medium | |
CN113940043B (zh) | 控制装置、网络控制方法以及计算机可读记录介质 | |
CN111448536B (zh) | 数据替换装置、终端及数据替换程序 | |
US20220329772A1 (en) | Image processing apparatus, image display system, image data transfer apparatus, and image processing method | |
KR101892022B1 (ko) | 몰입형 콘텐츠의 개선된 스트리밍 방법 및 장치 | |
CN107251527A (zh) | 共享的场景对象同步 | |
US20230069407A1 (en) | Remote operation apparatus and computer-readable medium | |
JP7166983B2 (ja) | 端末およびプログラム | |
KR102103430B1 (ko) | 클라우드에 기반한 가상현실 서비스의 레이턴시 측정방법 및 시스템 | |
US20240193218A1 (en) | Offloading slam processing to a remote device | |
KR102420166B1 (ko) | 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템 | |
JP7420585B2 (ja) | Ar表示制御装置及びそのプログラム、並びに、ar表示システム | |
JP7111645B2 (ja) | 制御プログラム | |
US20240070958A1 (en) | 3d stream processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |