CN112437642A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

为了使得在要操作的装置可以经由信息处理设备以主从控制方案来控制的情况下，能够确认运行要操作的装置的安全性，信息处理设备(50)被配置成包括运行请求确认单元(57)，该运行请求确认单元(57)基于如下来控制对装置做出的运行请求的执行：基于包括指示在第一时间点处装置的状态的装置状态信息以及指示经受操纵的状态的对象状态信息的所述运行请求；以及更新的装置侧信息，其在直到在第一时间点之后接收到运行请求的第二时间点的时间段期间更新。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开内容涉及信息处理设备、信息处理方法和计算机程序。

背景技术

在通过主从控制方法控制存在于远程区域中的从装置的系统中，提出了插入模拟从装置的动作的模拟装置的技术。

引用列表

专利文献

专利文献1：PCT国际申请公开第2017-510826号的日文译文

专利文献2：日本专利申请特开第H7-84640号

发明内容

技术问题

在上述现有技术中，用于从装置的虚拟环境由模拟装置生成并呈现给主装置侧。为此，该结构的问题在于，没有考虑对存在于远程区域中的从装置执行动作请求的结果的安全性。

为此，本公开内容提出了信息处理设备、信息处理方法和计算机程序，其在用作操作目标的装置可以通过主从控制方法经由信息处理设备来控制的情况下，能够验证用作操作目标的装置的动作的安全性。

问题的解决方案

根据本公开内容，提供了一种信息处理设备，该信息处理设备包括动作请求验证单元，该动作请求验证单元基于以下来控制针对装置的动作请求的执行：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

发明的有利效果

本公开内容在用作操作目标的装置可以通过主从控制方法经由信息处理设备来控制的情况下，实现用作操作目标的装置的动作的安全性。本文中描述的效果并不总是限制性的，而是可以是本公开内容中公开的任何效果。

附图说明

图1是示出应用了根据本公开内容的实施方式的信息处理设备的远程操作系统的示意性配置的示例的图。

图2是示意性地示出根据本公开内容的实施方式的远程操作系统的功能配置的框图。

图3是示出从环境观察装置中的处理的示例的流程图。

图4是示出从装置中的处理过程的示例的流程图。

图5是示出模拟装置中的信息处理方法的处理过程的示例的流程图。

图6是示出主装置中的处理过程的示例的流程图。

图7是示出根据实施方式的远程操作系统中的信息处理方法的过程的示例的序列图。

图8A是示意性地示出患者的患部与从装置的动作执行部之间的位置关系的图。

图8B是示意性地示出患者的患部与从装置的动作执行部之间的位置关系的图。

图8C是示意性地示出患者的患部与从装置的动作执行部之间的位置关系的图。

图8D是示意性地示出患者的患部与从装置的动作执行部之间的位置关系的图。

图9是示出模拟装置中的动作请求验证处理的细节的图。

图10A是示意性地示出根据实施方式的远程操作系统中的信息的流动的示例的图。

图10B是示意性地示出根据实施方式的远程操作系统中的信息的流动的示例的图。

图10C是示意性地示出根据实施方式的远程操作系统中的信息的流动的示例的图。

图11是示出实现根据实施方式的信息处理设备的功能的计算机的示例的硬件配置图。

具体实施方式

现在将参照附图在下文中详细描述本公开内容的实施方式。在下面的实施方式中，相同的元素由相同的相应附图标记表示，并且省略其重复说明。

根据实施方式的系统的配置

图1是示出应用了根据本公开内容的实施方式的信息处理设备的远程操作系统的示意性配置的示例的图。在下面的说明中，作为远程操作系统1的示例，示出了用作操作者的外科医生71通过远程操作对用作治疗目标的患者72执行治疗的远程医疗系统。

远程操作系统1包括主控制台10、主装置20、从装置30、从环境观察装置40和模拟装置50。主控制台10和主装置20经由例如通信线路60连接。主装置20和模拟装置50经由第一网络61连接。从装置30、从环境观察装置40和模拟装置50经由第二网络62连接。主装置20和主控制台10安装在相对于从装置30、从环境观察装置40和模拟装置50的远程区域中。例如，主装置20和主控制台10安装在与安装有从装置30、从环境观察装置40和模拟装置50的建筑物不同的建筑物中。

具有比第一网络61的通信延迟小的通信延迟的稳定网络被用作第二网络62。例如，第二网络62是具有比第一网络61的更新周期短的更新周期的网络。第一网络61例如是包括以太网(注册商标)的局域网(LAN)、广域网(WAN)或因特网。第二网络62是在工厂自动化(FA)网络中使用的实时网络，或第五代(5G)无线通信网络等。该结构在模拟装置50、从装置30和从环境观察装置40之间实现具有短更新周期和低延迟的通信。

主控制台10是与主装置20连接并且为执行手术操作的外科医生71实现用户接口功能的输入/输出装置。主控制台10包括例如显示装置(例如，用于外科医生71识别从环境的立体显示器和用于呈现信息的指示器)以及输入装置(例如，触觉装置、脚踏板和紧急停止按钮)。将用作经历手术操作的患者72的患部的虚拟目标环境的虚拟从环境呈现给外科医生71，并且外科医生71基于所呈现的信息发出后续动作请求。

主装置20是使主控制台10与远程模拟装置50和从装置30协作的装置。主装置20基于来自模拟装置50的信息重建虚拟从环境，并且将从主控制台10输入的用于从装置30的动作请求发送至模拟装置50或从装置30。主装置20将诸如紧急停止的预定动作请求直接发送至从装置30，并且将其他动作请求发送至模拟装置50。

从装置30是包括根据来自主装置20或模拟装置50的动作请求对患者72执行治疗的动作执行单元的装置。动作执行单元是驱动机器，例如工作台和臂。臂的远端设置有用于操作的夹持器和/或用于激光照射的工具。可以出于不同的用途提供多个动作执行单元。从装置30还利用感测单元(传感器)观察用作动作执行单元的状态的从动作信息，并且将该从动作信息发送至模拟装置50。从动作信息是一种装置状态信息。

从环境观察装置40观察用作患者72的状态或患者72的患部的状态的从环境信息，并且将从环境信息发送至模拟装置50。从环境观察装置40可以独立于从装置30安装，或者可以附接至从装置30。如上所述的从环境观察装置40的示例包括：对患者72进行成像，特别地，对手术区进行成像的摄像装置；对患者72的微小位置进行成像的显微镜；以及对患者72的生物信息进行测量的生物信息测量单元。生物信息例如是血压、心率和/或血流。附接至从装置30的从环境观察装置40的示例包括在从装置30的工具的远端处的触感传感器和力传感器。从环境信息是指示要操作的目标的状态的一种目标状态信息。装置侧信息是包括装置状态信息和目标状态信息的信息。

主装置20与从装置30之间的系统可以是单向控制系统或双向控制系统。在双向控制系统的情况下，利用从环境观察装置40的特定结构，通过主控制台10的输入装置中的触觉装置向外科医生71呈现在利用动作执行单元操作治疗目标的情况下的力感和触感。

模拟装置50通过使用包括来自从装置30的从动作信息和来自从环境观察装置40的从环境信息的装置侧信息的模拟，来生成用于治疗对象的虚拟从环境。虚拟从环境包括手术区的状态改变和从装置30的位置。使用生成的虚拟从信息，模拟装置50确定在生成虚拟从信息的时间点处是否停止从装置30的动作。在应当停止从装置30的动作时，模拟装置50控制从装置30，使得患者72进入安全状态。另外，在模拟装置50从主装置20接收到动作请求时，模拟装置50使用在该时间点处的最新的虚拟从环境来执行动作请求的模拟，并且在验证了患者72的安全性之后将动作请求发送至从装置30。在未验证安全性时，模拟装置50控制从装置30，使得患者72进入安全状态。另外，模拟装置50根据先前生成的虚拟从信息针对生成的虚拟从环境来生成差异信息，并且将差异信息和从动作信息发送至主装置20。该结构减少了从模拟装置50发送至主装置20的数据，减少了第一网络61中的通信延迟，并且增加了通信周期。

如上所述，为了无时间延迟地模拟虚拟从环境，模拟装置50优选地配备有具有非常高的算术动作性能的中央处理单元(CPU)/图形处理单元(GPU)。另外，如上所述，由于模拟装置50通过第一网络61与主装置20连接，并且通过第二网络62与从装置30连接，因此模拟装置50以比主装置20低的延迟实现与从装置30的通信，并且实现稳定的连接。模拟装置50可以相邻于从装置30安装，或者可以安装在服务器室或边缘云中，只要满足上述条件即可。

下面是形成远程操作系统1的装置的功能的详细说明。图2是示意性地示出根据本公开内容的实施方式的远程操作系统的功能配置的框图。主控制台10包括信息呈现单元11和操作输入单元12。

信息呈现单元11是向外科医生71呈现与患者72的手术区有关的信息的显示装置。与患者72的手术区有关的信息例如是利用主装置20重建的虚拟从环境或通过对患者72的手术区进行成像而获得的图像。信息呈现单元11可以同时显示两者，或者可以显示其中之一。在利用信息呈现单元11显示通过对手术区进行成像而获得的图像时，仅呈现利用从环境观察装置40成像的部分的信息。相比之下，在利用信息呈现单元11显示虚拟从环境时，由于虚拟从环境是通过在三维空间中对患者72的手术区的信息进行重建而获得的，因此虚拟从信息可以以不同的角度显示，或者以更近的视图显示。作为另一示例，信息呈现单元11可以以覆盖在与手术区相关的信息上的状态，显示用作目标的患者72的解剖信息或与患部或医学治疗有关的信息。

操作输入单元12是在治疗患者72时对从装置30发出动作请求的输入装置。

主装置20包括通信单元21、从环境模型存储单元22和虚拟从环境重建单元23。通信单元21执行与模拟装置50或从装置30的通信。通信单元21将主控制台10中的输入细节发送至模拟装置50或从装置30作为至从装置30的动作请求。当从主控制台10输入紧急停止的指令时，通信单元21将紧急停止请求发送至从装置30。当从主控制台10输入除了紧急停止之外的指令时，通信单元21将指令作为正常动作请求发送至模拟装置50而非从装置30。

在利用虚拟从环境重建单元23重建虚拟从环境的情况下，从环境模型存储单元22存储与模拟装置50共享的从环境模型。从环境模型是通过对利用三维断层图像获取装置(例如，计算机断层(CT)装置)获得的患者72的身体数据进行处理而获得的模型信息。

针对存储在从环境模型存储单元22中的从环境模型，虚拟从环境重建单元23使用从模拟装置50发送的差异信息和从动作信息来重建虚拟从环境。在本说明书中，假设虚拟从环境的重建包括使用差异信息和从动作信息的更新。本文中重建的虚拟从环境被输出至主控制台10的信息呈现单元11。

从环境观察装置40包括环境观察单元41和通信单元42。环境观察单元41是对作为用作从环境的患者72的状态的从环境信息进行观察的观察装置。从环境包括用作目标的患者72的视觉信息和非视觉信息。视觉信息的示例包括患者72的外观的状态和患部的状态等。获取视觉信息的环境观察单元41例如是对患者72的手术区进行成像的摄像装置。非视觉信息的示例包括患者72的血压和心率。获取非视觉信息的环境观察单元41例如是血压计或心率计。

通信单元42将利用环境观察单元41观察到的从环境信息发送至模拟装置50。

从装置30包括通信单元31和动作请求执行单元32。通信单元31执行与主装置20或模拟装置50的通信。例如，通信单元31接收包括来自主装置20或模拟装置50的紧急停止请求的动作请求。通信单元31还从设置在动作执行单元中的感测单元获取作为从装置30的动作执行单元的状态的从动作信息，并且将从动作信息发送至模拟装置50。从动作信息是动作执行单元的位置和动作状态。例如，当动作执行单元是臂时，从动作信息是臂的角度以及臂的远端距患部的距离等。

模拟装置50包括主通信单元51、从通信单元52、从环境模型存储单元53、虚拟从环境重建单元54、差异信息提取单元55、动作停止感测单元56、动作请求验证单元57和安全状态转变单元58。

主通信单元51执行与主装置20的通信。具体地，主通信单元51从主装置20接收除了紧急停止请求之外的动作请求。主通信单元51还将从动作信息和差异信息发送至主装置20。

从通信单元52执行与从装置30和从环境观察装置40的通信。具体地，从通信单元52接收来自从环境观察装置40的从环境信息和来自从装置30的从动作信息。当安全状态转变单元58确定需要转变至安全状态时，从通信单元52将动作切换指令发送至从装置30。另外，当在动作请求验证单元57中验证了关于动作请求的安全性时，从通信单元52将动作请求发送至从装置30。

在利用虚拟从环境重建单元54重建虚拟从环境时，从环境模型存储单元22在其中存储与主装置20共享的从环境模型。

针对存储在从环境模型存储单元22中的从环境模型，虚拟从环境重建单元54使用从从装置30发送的从动作信息和从从环境观察装置40发送的从环境信息来重建虚拟从环境。虚拟从环境重建单元54与虚拟目标环境重建单元对应。

当预先在主装置20与模拟装置50之间共享模型信息时，差异信息提取单元55提取虚拟从环境在先前时间与当前时间之间的时间序列中改变的差异信息，并且将差异信息发送至主装置20。具体地，差异信息提取单元55提取利用虚拟从环境重建单元54重建的第一虚拟从环境与利用虚拟从环境重建单元54重建的在第一虚拟从环境之前的第二虚拟从环境之间的差异作为差异信息。差异信息经由主通信单元51发送至主装置20。

在利用虚拟从环境重建单元54重建虚拟从环境时，动作停止感测单元56感测从装置30的动作要停止的情况的发生。动作停止感测单元56例如从重建的虚拟从环境确定从装置30是否满足指示停止从装置30的动作的条件的动作停止条件，并且在满足动作停止条件时，向安全状态转变单元58通知停止条件发生通知。动作停止感测单元56还经由主通信单元51向主装置20通知停止条件发生通知。

动作停止条件的示例包括以下状态：从装置30的动作执行单元不根据动作请求移动的状态，从装置30的动作执行单元侵入除了患者72的患部之外的地方的状态，患部周围的部分偏离正常状态的状态(例如，患部周围的部分极度变形的状态)，以及患者72的生物信息超过假定范围的状态。患者72的生物信息例如是心率、血压、血氧水平和出血。

在动作请求验证单元57从主装置20接收到动作请求时，动作请求验证单元57使用在接收到动作请求时的时间点已经被重建的虚拟从环境来执行动作请求的模拟，并且验证患者72的安全性。使用安全性确定标准来验证患者72的安全性。安全性确定标准的示例包括以下状态：从装置30的动作执行单元在位置、速度和加速度的预设范围内移动的状态，从装置30的动作执行单元在预设的力范围内接触患部的状态，以及从装置30的动作执行单元的动作不使患部周围的部分极度变形的状态。

作为模拟的结果，在验证了患者72的安全性时，动作请求验证单元57通过从通信单元52将来自主装置20的动作请求发送至从装置30。另外，在作为模拟的结果而未验证患者72的安全性时，动作请求验证单元57不将来自主装置20的动作请求发送至从装置30，而是向安全状态转变单元58通知停止条件发生通知。另外，动作请求验证单元57经由主通信单元51向主装置20通知停止条件发生通知。

在安全状态转变单元58从动作停止感测单元56或动作请求验证单元57接收到停止条件发生通知时，安全状态转变单元58向从装置30发送动作切换指令，以使从装置30执行确保安全性的动作。动作切换指令是执行从根据从主装置20发送的动作请求执行的处理切换至确保患者72的安全性的动作的指令。动作切换指令的内容根据从装置30的动作执行单元相对于患者72的位置而不同。例如，当动作执行单元被定位在远离患者72的地方时，动作执行单元停止在该状态下。作为另一示例，当动作执行单元与患者72接触时，移动动作执行单元使其与患者72分开，并且此后停止。

根据实施方式的处理

下面是在形成远程操作系统1的从环境观察装置40、从装置30、模拟装置50和主装置20中执行的处理的说明。

图3是示出在从环境观察装置中执行的处理的示例的流程图。从环境观察装置40的环境观察单元41获取用作患者72的信息的从环境信息(步骤S11)。如上所述，从环境信息是患者72的患部的成像数据和/或患者72的生物信息，例如血压和心率。此后，通信单元42将获取的从环境信息发送至模拟装置50(步骤S12)。上述处理在远程操作系统1工作的同时执行。

图4是示出从装置中的处理过程的示例的流程图。首先，从装置30的通信单元31从动作执行单元中包括的感测单元获取指示动作执行单元的动作状态的从动作信息(步骤S31)，并且将从动作信息发送至模拟装置50(步骤S32)。

此后，动作请求执行单元32确定是否从主装置20接收到紧急停止请求(步骤S33)。在已经接收到紧急停止请求时(在步骤S33处为是)，动作请求执行单元32执行动作执行单元的紧急停止(步骤S34)。以这种方式，从装置30停止动作，并且处理结束。

相比之下，在没有接收到紧急停止请求时(在步骤S33处为否)，动作请求执行单元32确定是否从模拟装置50接收到动作切换指令(步骤S35)。在已经接收到动作切换指令时(在步骤S35处为是)，动作请求执行单元32执行将从装置30的动作改变成安全状态的处理(步骤S36)。将动作改变成安全状态的处理的示例包括：停止从装置30的动作执行单元，以及将动作执行单元撤回到动作执行单元不接触患者72的位置。此后，处理结束。

另外，在没有接收到动作切换指令时(在步骤S35处为否)，动作请求执行单元32确定是否接收到动作请求(步骤S37)。在已经接收到动作请求时(在步骤S37处为是)，动作请求执行单元32执行动作请求(步骤S38)。此后或者在步骤S37处没有接收到动作请求时(在步骤S37处为否)，处理返回至步骤S31。

图5是示出模拟装置中的信息处理方法的处理过程的示例的流程图。首先，模拟装置50的从通信单元52从从装置30接收从动作信息(步骤S51)，并且从从环境观察装置40接收从环境信息(步骤S52)。此后，虚拟从环境重建单元54使用包括接收到的从动作信息和从环境信息的装置侧信息来重建虚拟现实的虚拟从环境(步骤S53)。在该状态下，在从环境模型存储单元53中存储有从环境模型的情况下，也使用从环境模型。

此后，使用重建的虚拟从环境，动作停止感测单元56执行确定是否停止从装置30的动作的动作停止感测处理(步骤S54)。例如，动作停止感测单元56通过确定虚拟从环境是否满足动作停止条件来确定是否停止从装置30的动作。因此，在不需要停止从装置30的动作时(在步骤S55处为否)，差异信息提取单元55提取重建的虚拟从环境与先前重建的虚拟从环境之间的差异信息(步骤S56)。此后，主通信单元51将从动作信息和差异信息发送至主装置20(步骤S57)。

此后，主通信单元51确定是否从主装置20接收到动作请求(步骤S58)。在已经从主装置20接收到动作请求时(在步骤S58处为是)，动作请求验证单元57针对当前虚拟从环境、即在步骤S53处重建的虚拟从环境执行接收到的动作请求的模拟(步骤S59)。此后，动作请求验证单元57确定作为模拟的结果是否已经验证了动作请求的安全性(步骤S60)。例如，动作请求验证单元57通过确定模拟的结果是否满足安全性确定标准来确定动作请求的安全性。

在已经验证了动作请求的安全性时(在步骤S60处为是)，从通信单元52将从主装置20接收的动作请求发送至从装置30(步骤S61)。此后或者在步骤S58处没有从主装置20接收到动作请求时(在步骤S58处为否)，处理返回至步骤S51。

在未验证动作请求的安全性时(在步骤S60处为否)或者在步骤S55处应当停止动作时(在步骤S55处为是)，安全状态转变单元58向从装置30发送动作切换指令(步骤S62)。另外，安全状态转变单元58向主装置20通知从装置30的动作已经停止(步骤S63)。此后，处理结束。

如上所述，使用在接收到动作请求的时间点处的最新的虚拟从环境来模拟动作请求的执行，并且基于模拟的结果来控制是否向从装置30发送动作请求。该结构使得在当在主控制台10处指示请求时为安全的动作请求已经改变成当利用模拟装置接收到请求时不能被验证安全性的动作请求的情况下，处理能够中断而无需作为主装置20的操作者的外科医生71的验证。该结构还能够确保患者72在实际空间中的安全性。

图6是示出主装置中的处理过程的示例的流程图。首先，主装置20的通信单元21从模拟装置50接收差异信息和从动作信息(步骤S71)。此后，虚拟从环境重建单元23使用接收到的从动作信息和接收到的差异信息来重建虚拟现实的虚拟从环境(步骤S72)。在该步骤处，在从环境模型存储单元22中存储有从环境模型的情况下，还使用从环境模型。

此后，主控制台10的信息呈现单元11显示重建的虚拟从环境(步骤S73)。作为操作者的外科医生71在查看显示在信息呈现单元11上的虚拟从环境的同时对操作输入单元12进行操作。主装置20的通信单元21确定是否已经从主控制台10的操作输入单元12请求了紧急停止请求的发送(步骤S74)。

在已经请求了紧急停止请求的发送时(在步骤S74处为是)，通信单元21将紧急停止请求发送至从装置30(步骤S75)，并且处理结束。

在未请求紧急停止请求的发送时(在步骤S74处为否)，通信单元21确定是否已经从主控制台10的操作输入单元12请求了动作请求的发送(步骤S76)。在已经请求了动作请求的发送时(在步骤S76处为是)，通信单元21将动作请求发送至模拟装置50(步骤S77)。

此后或者在未请求动作请求的发送时(在步骤S76处为否)，处理返回至步骤S71。

下面是形成远程操作系统1的从环境观察装置40、从装置30、模拟装置50、主装置20和主控制台10之间的处理的流程的说明。图7是示出根据实施方式的远程操作系统中的信息处理方法的过程的示例的序列图。图8A至图8D是示意性地示出患者的患部与从装置的动作执行部之间的位置关系的图。图9是示出模拟装置中的动作请求验证处理的细节的图。

首先，在时间t1处，从环境观察装置40观察患者72的状态，并且从装置30观察(获取)动作执行单元的状态。例如，获取图9中的从环境331中示出的从装置30的动作执行单元35和患者72的患部721的状态。获取患部721的形状作为从环境信息，并且获取动作执行单元35的远端位置和速度等作为从动作信息。

此后，从装置30经由第二网络62将从动作信息发送至模拟装置50，并且从环境观察装置40经由第二网络62将从环境信息发送至模拟装置50(图7中的SQ11)。

此后，模拟装置50使用接收到的从动作信息和从环境信息来重建如图9所示的虚拟从环境710t1(图7中的SQ12)。如上所述，当存在患者72的从环境模型时，基于从环境模型使用从动作信息和从环境信息来重建虚拟从环境。

此后，模拟装置50提取用作重建的虚拟从环境与先前重建的虚拟从环境之间的差异的差异信息(图7中的SQ13)。在该示例中，差异信息例如是时间t1处的虚拟从环境710t1与时间t0处的虚拟从环境之间的差异(未示出)。

另外，模拟装置50使用重建的虚拟从环境来执行动作停止感测处理(图7中的SQ14)。图8A至图8D示出了动作停止感测处理的示例。例如，图8A示出了从装置30的动作执行单元35存在于如之前接收的动作请求所请求的位置中并且患者72的患部721未被动作执行单元35侵入的状态。如上所述，在动作执行单元35根据动作请求移动且未侵入除了患者72的患部721之外的地方并且患部721周围的部分没有极度变形而是处于正常状态时，不满足停止动作的条件，并且从装置30的动作继续而没有任何改变。

图8B示出了在从装置30的动作执行单元35没有根据动作请求移动的情况下的示例，以及图8C示出了在从装置30的动作执行单元35没有根据动作请求移动并且动作执行单元35侵入除了患者72的患部721之外的地方722的情况下的示例。图8D示出了在患部721周围的部分极度变形并且偏离正常状态的情况下的示例。在状态与图8B至图8D中的状态中的任何状态对应的情况下，满足停止动作的条件，模拟装置50将从装置30改变至安全状态。在该示例中，假设从装置30不满足停止动作的条件，如图8A所示。

再次参照图7，模拟装置50经由第一网络61将从动作信息和差异信息发送至主装置20(图7中的SQ15)。此后，主装置20使用接收到的从动作信息和接收到的差异信息来重建虚拟从环境(图7中的SQ16)，并且将信息呈现给主控制台10(图7中SQ17)。如图9所示，在主控制台10的信息呈现单元11上显示虚拟从环境710t1。

患部721每时每刻地改变，并且从装置30的动作执行单元35需要时间来改变至动作请求的状态。为此，从装置30和从环境观察装置40例如以一定周期获取从动作信息和从环境信息，并且将信息发送至模拟装置50(图7中的SQ21)。在该示例中，获取图9中的时间t2处的从环境332中示出的从装置30的动作执行单元35和患者72的患部721的状态作为从环境信息和从动作信息，并且将其发送至模拟装置50。

此后，如图9所示，模拟装置50使用在时间t2处的从动作信息和从环境信息来重建虚拟从环境710t2(图7中的SQ22)。该结构基于以下前提：第一网络61的更新周期比第二网络62的更新周期长，虚拟从环境710t2不被发送至主装置20。另外，模拟装置50使用重建的虚拟从环境710t2来执行动作停止感测处理(图7中的SQ23)。假设从装置30在该步骤处也不满足停止动作的条件。

相比之下，外科医生71在观看在SQ17处显示在主控制台10上的虚拟从环境710t1的同时在时间t3处执行操作(图7中的SQ18)。外科医生71对主控制台10的操作输入单元12的操作作为来自主装置20的动作请求被发送至模拟装置50(图7中的SQ31)。例如，在图9中，在外科医生71在观看显示在信息呈现单元11上的虚拟从环境710t1的同时对操作输入单元12进行操作以将动作执行单元35移动至期望位置时，生成动作请求150。

在模拟装置50接收到动作请求时，模拟装置50验证在利用从装置30执行接收到的动作请求时是否确保患者72的安全性(图7中的SQ32)。在该操作中，假设在时间t2之后接收到动作请求。

如图9所示，在时间t1处已经基于虚拟从环境710t1发出外科医生71的动作请求，但是直到模拟装置50接收到动作请求150，虚拟从环境已经被更新为虚拟从环境710t2。为此，在本实施方式中，模拟装置50使用虚拟从环境710t2而非虚拟从环境710t1执行验证安全性的处理。在验证安全性的处理中，可以使用在虚拟从环境710t1的重建之后直到接收到动作请求150时的时间点重建的虚拟从环境710ti(i是2或更大的自然数)。然而，期望在接收到动作请求150时的时间点处使用最新的虚拟从环境(在该情况下是虚拟从环境710t2)。

例如，下面考虑以下情况：模拟装置50使用在发送动作请求150时与主装置20一起使用的虚拟从环境710t1来执行模拟，而不使用在接收到动作请求150时的时间点处的最新的虚拟从环境710t2。

假设患者72的患部721的形状在时间t1与时间t2之间已经快速改变。在该情况下，在使用时间t1的虚拟从环境710t1对动作请求执行模拟时，模拟装置50确定不存在安全性问题。然而，如上所述，由于在时间t2处患部721的形状的快速改变，在实际执行动作请求150时，动作执行单元35接触形状快速改变的患部721。具体地，动作执行单元35无意地接触患部的部分，并且很有可能失去安全性。

相比之下，当在接收到动作请求150时的时间点处使用最新的虚拟从环境710t2对动作请求150执行模拟时，患部721的形状的快速改变已经反映在虚拟从环境710t2中。另外，在执行针对动作执行单元35的动作请求150时，模拟产生的结果是动作执行单元35侵入形状快速改变的患部721。具体地，模拟装置50确定不能确保安全性。该结构使得模拟装置50能够在执行针对患者72的动作请求150之前采取转变至安全状态的措施，而无需执行针对主装置20的验证。

虽然该示例示出了患部721的形状的快速改变作为示例，但是在从装置30的动作执行单元35不在位置、速度和/或加速度的预设范围内移动的情况下，动作执行单元35不在预设的力的范围内接触患部721的情况下，以及/或者模拟装置50与主装置20之间的通信断开的情况下，也可以在执行针对患者72的动作请求之前采取转变至安全状态的措施。

再次参照图7，当在SQ32处验证了安全性时，模拟装置50将具有经验证的安全性的动作请求发送至从装置30(图7中的SQ33)。此后，从装置30执行动作请求(图7中的SQ34)。上述处理是在主装置20发送动作请求时的时间处用作基础的虚拟从环境不同于在模拟装置50接收动作请求时的时间处的最新虚拟从环境的情况下验证安全性的处理。尽管未示出，但是在SQ32处未验证安全性的情况下，模拟装置50将动作切换指令发送至从装置30，并且执行转变至安全状态的处理。

图10A至图10C是示意性地示出根据实施方式的远程操作系统中的信息的流动的示例的图。在动作停止感测处理或动作请求验证处理中，在未执行向安全状态的转变时，在从环境观察装置40、从装置30、模拟装置50和主装置20之间发送和接收信息，如图10A所示。具体地，从环境观察装置40将从环境信息401发送至模拟装置50，并且从装置30将从动作信息301发送至模拟装置50。模拟装置50将差异信息和从动作信息501发送至主装置20。相比之下，主装置20将除了紧急停止请求之外的动作请求101发送至模拟装置50。模拟装置50将已验证安全性的动作请求101发送至从装置30。

相比之下，如图10B所示，在与主装置20的通信断开或由于通信延迟而引起状态改变时，模拟装置50将安全状态转变指令发送至从装置30。

另外，如图10C所示，在发出紧急停止请求102时，主装置20将紧急停止请求102直接发送至从装置30而不经过模拟装置50。这是因为，对于从装置30的动作执行单元的动作的停止，可以在不通过模拟装置50验证安全性的情况下安全地停止处理。

上述说明示出了外科医生71对患者72远程地执行治疗的远程医疗系统作为远程操作系统1的示例。然而，本实施方式不限于此，而是对于要确保安全性的应用是有用的。其示例包括利用服务机器人从远程地方执行护理和照料，以及从远程地方操作移动机器人。更具体地，本实施方式还能够应用于基础设施检查或在人们无法工作的场所工作，例如桥梁和核电站、用于在灾难中救援的远程碎石移除的工作和/或在采矿场所或建筑工地中的工作。本实施方式也能够应用于难以实现完全自动化并且需要人从远程地方进行操作的场景，例如，诸如陈列、清洁和守卫的商店中的工作支持，以及诸如烹饪和清洗的生活支持。从装置30可以具有适合于其使用的任何形式，例如臂式、轮行进式和飞行(无人机)式。

在实施方式中，模拟装置50接收针对从装置30的动作请求，并且动作请求利用主装置20基于针对治疗目标的第一从环境信息和针对从装置30的动作执行单元的第一从动作信息来生成。模拟装置50被配置成基于在接收到第一从环境信息和第一从动作信息之后并且在接收到动作请求之前的时间期间更新的第二从环境信息和第二从动作信息来发出动作请求。该结构使得能够感测在接收到作为动作请求的基础的第一从环境信息和第一从动作信息之后生成的治疗目标或从装置30的异常。在由于异常而难以确保动作请求的执行中的治疗目标的安全性时，该结构使得能够在不发出动作请求的情况下指示转变至安全状态。具体地，由于仅执行已验证安全性的动作请求，因此使得模拟装置50能够避免由于通信延迟等而不能在主装置20侧感测的风险。该结构还使得能够在模拟装置50与从装置30之间自主地确保安全性。

即使在直到来自主装置20的动作请求到达从装置30的时间延迟发生，并且在从装置30侧的环境的改变被反馈至主装置20侧时的时间延迟发生的环境中，该结构也确保控制的稳定性和工作环境的安全性。具体地，该结构使得能够避免在外科治疗中通过从远程地方进行治疗来执行微小外科工具操作时对患者的不慎损害。另外，即使当物理上远离的主装置20与从装置30之间的通信状态不稳定时，该结构也使得能够感测从装置30与模拟装置50之间的风险并且转变至安全状态。

另外，模拟装置50基于从环境信息和从动作信息来重建虚拟从环境，并且在虚拟从环境中模拟动作请求。该结构使得能够高精度地预测伴随动作请求而发生的现象。

此外，主装置20将一些请求例如紧急停止请求直接发送至从装置30，而无需中继模拟装置50。利用该结构，在模拟装置50中不对紧急停止请求执行模拟。该结构使得能够更迅速地将风险避免操作从主装置20侧发送至从装置30。

另外，主装置20使用从环境信息和从动作信息来重建虚拟现实的虚拟从环境。该结构使得能够向主装置20呈现实现简单的操作的自由视点图像。另外，由于在主装置20与模拟装置50之间共享预先建模的从环境模型，因此满足模拟装置50将重建的虚拟从环境与先前重建的虚拟从环境之间的差异信息发送至主装置20侧。该结构使得能够减少执行期间的通信数据。

上述远程操作系统1的从装置30可以具有在动作执行单元上设置动作请求执行单元32的结构，或者为多个动作执行单元提供动作请求执行单元32的结构。具体地，远程操作系统1可以设置有其中的每一个中动作执行单元和动作请求执行单元32一对一地彼此关联的多个从装置30，或者其中多个动作执行单元与动作请求执行单元32相关联的从装置30。上述说明示出了在远程操作系统1中设置一个模拟装置50的情况，但是也可以设置多个模拟装置50。

硬件配置

图11是示出实现根据实施方式的信息处理设备的功能的计算机的示例的硬件配置图。利用计算机1000实现上述实施方式中的信息处理设备，例如主装置20和模拟装置50。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的单元经由总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的计算机程序进行操作，并且控制单元中的每一个。例如，CPU 1100将存储在ROM 1300或HDD 1400中的计算机程序开发到RAM1200，并且执行与各个计算机程序对应的处理。

ROM 1300存储有启动程序比如在计算机1000启动时与CPU 1100一起执行的基本输入输出系统(BIOS)，以及取决于计算机1000的硬件的计算机程序等。

HDD 1400是计算机可读记录介质，其非临时地记录用CPU 1100执行的计算机程序和与该计算机程序一起使用的数据等。具体地，HDD 1400是记录根据本公开内容的信息处理程序(作为程序数据1450的示例)的记录介质。

通信接口1500是将计算机1000与外部网络1550(例如，因特网)连接的接口。例如，CPU 1100经由通信接口1500从另一装置接收数据并且将使用CPU 1100生成的数据发送至另一装置。

输入/输出接口1600是将输入/输出设备1650与计算机1000连接的接口。例如，CPU1100经由输入/输出接口1600从诸如键盘和鼠标的输入设备接收数据。另外，CPU 1100经由输入/输出接口1600将数据发送至输出设备，例如显示器、扬声器和打印机。输入/输出接口1600还可以用作读取记录在特定记录介质(媒介)上的计算机程序等的介质接口。介质是光学记录介质(例如，数字多功能盘(DVD)和相变可重写盘(PD))、磁光记录介质(例如，磁光盘(MO))、磁带介质、磁记录介质或半导体存储器等。

例如，在计算机1000用作根据实施方式的模拟装置50时，计算机1000的CPU 1100通过执行加载到RAM 1200上的信息处理程序，实现虚拟从环境重建单元54、差异信息提取单元55、动作停止感测单元56、动作请求验证单元57和安全状态转变单元58的功能。另外，HDD 1400存储有根据本公开内容的信息处理程序和在从环境模型存储单元53中的数据。CPU 1100从HDD 1400读取程序数据1450并且执行程序数据1450，但是作为另一示例，这些计算机程序可以经由外部网络1550从另一装置获取。

本说明书中描述的效果仅是示例并且不限于此，但是结构可以包括其他效果。

本技术还可以具有以下结构。

(1)

一种信息处理设备，包括动作请求验证单元，所述动作请求验证单元基于以下来控制针对装置的动作请求的执行：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

(2)

根据(1)所述的信息处理设备，还包括：

虚拟目标环境重建单元，其使用针对所述目标的环境模型、所更新的目标状态信息和所更新的装置状态信息来重建虚拟目标环境，其中，

所述动作请求验证单元基于在所述虚拟目标环境中的针对所述动作请求的模拟结果来控制所述动作请求的执行。

(3)

根据(2)所述的信息处理设备，其中，在针对所述动作请求的所述模拟结果妨碍所述目标的安全时，所述动作请求验证单元不执行所述动作请求。

(4)

根据(1)至(3)中的任意一项所述的信息处理设备，还包括基于所更新的装置侧信息来感测是否要停止所述装置的动作的动作停止感测单元。

(5)

根据(2)所述的信息处理设备，还包括基于所述虚拟目标环境中所述装置与所述目标之间的关系来感测是否要停止所述装置的动作的动作停止感测单元。

(6)

根据(1)至(5)中的任意一项所述的信息处理设备，其中，所述装置侧信息的更新周期比所述动作请求的接收间隔短。

(7)

根据(1)至(6)中的任意一项所述的信息处理设备，其中，

所述目标是患者，

所述装置是对所述患者执行治疗的动作执行单元，

所述装置状态信息指示所述动作执行单元的位置和动作状态，以及

所述目标状态信息是所述患者的患部的状态和生物信息。

(8)

一种信息处理方法，包括基于以下来控制针对装置的动作请求的执行：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

(9)

一种计算机程序，用于使计算机实现基于以下来控制针对装置的动作请求的执行的功能：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

附图标记列表

1 远程操作系统

10 主控制台

11 信息呈现单元

12 操作输入单元

20 主装置

21，31，42 通信单元

22，53 从环境模型存储单元

23，54 虚拟从环境重建单元

30 从装置

32 动作请求执行单元

35 动作执行单元

40 从环境观察装置

41 环境观察单元

50 模拟装置

51 主通信单元

52 从通信单元

55 差异信息提取单元

56 动作停止感测单元

57 动作请求验证单元

58 安全状态转变单元

Claims (9)

1.一种信息处理设备，包括动作请求验证单元，所述动作请求验证单元基于以下来控制针对装置的动作请求的执行：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

2.根据权利要求1所述的信息处理设备，还包括：

虚拟目标环境重建单元，其使用针对所述目标的环境模型、所更新的目标状态信息和所更新的装置状态信息来重建虚拟目标环境，其中，

所述动作请求验证单元基于在所述虚拟目标环境中的针对所述动作请求的模拟结果来控制所述动作请求的执行。

3.根据权利要求2所述的信息处理设备，其中，在针对所述动作请求的所述模拟结果妨碍所述目标的安全时，所述动作请求验证单元不执行所述动作请求。

4.根据权利要求1所述的信息处理设备，还包括基于所更新的装置侧信息来感测是否要停止所述装置的动作的动作停止感测单元。

5.根据权利要求2所述的信息处理设备，还包括基于所述虚拟目标环境中所述装置与所述目标之间的关系来感测是否要停止所述装置的动作的动作停止感测单元。

6.根据权利要求1所述的信息处理设备，其中，所述装置侧信息的更新周期比所述动作请求的接收间隔短。

7.根据权利要求1所述的信息处理设备，其中，

所述目标是患者，

所述装置是对所述患者执行治疗的动作执行单元，

所述装置状态信息指示所述动作执行单元的位置和动作状态，以及

所述目标状态信息是所述患者的患部的状态和生物信息。

8.一种信息处理方法，包括基于以下来控制针对装置的动作请求的执行：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

9.一种计算机程序，用于使计算机实现基于以下来控制针对装置的动作请求的执行的功能：基于包括指示在第一时间点处所述装置的状态的装置状态信息和指示操作目标的状态的目标状态信息的装置侧信息的所述动作请求；以及在所述第一时间点之后并且接收到所述动作请求的第二时间点之前的时间期间更新的装置侧信息。

Images