CN115607294A - 手术机器人系统和数据处理方法 - Google Patents

Abstract

本说明书涉及手术机器人技术领域，具体地公开了一种手术机器人系统和数据处理方法，其中，该系统包括：混合现实装置，第一混合现实装置采集执行者视角的第一图像数据；第二混合现实装置采集助手视角的第二图像数据；机械臂，末端安装有手术操作器械和第三图像采集装置；手术操作器械在机械臂的控制下执行手术操作；第三图像采集装置采集机械臂末端视角的第三图像数据；数据处理器获取并整合处理第一图像数据、第二图像数据和第三图像数据；第一混合现实装置获取并显示第一图像数据、第二图像数据和第三图像数据；第二混合现实装置获取并显示第二图像数据和第三图像数据。上述系统可以提供多重视角，解决手术视野的限制。

Description

手术机器人系统和数据处理方法

技术领域

本说明书涉及手术机器人技术领域，特别涉及一种手术机器人系统和数据处理方法。

背景技术

在机械臂辅助手术操作中，除了操作手术操作器械的医生，助手也是手术中重要的参与者，助手和医生的配合对手术的成功十分重要。然而，现有的手术操作器械操作中，没有考虑到执行者的视野局限性，也没有考虑术中助手的需求、复杂环境的适应性以及对远程协作的支持。在可能的远程操作场合，仅依赖机械臂末端的视角，不足以应对实际的手术现场环境，也可能无法发现机械臂运行过程中和周围环境可能的干涉。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种手术机器人系统和数据处理方法，以解决现有技术中手术机器人操作方法无法满足手术需求的问题。

本说明书实施例提供了一种应用于手术机器人系统，包括：

混合现实装置，包括第一混合现实装置和第二混合现实装置；所述第一混合现实装置由执行者佩戴，设置有第一图像采集装置，用于采集执行者视角的第一图像数据；所述第二混合现实装置由助手佩戴，设置有第二图像采集装置，用于采集助手视角的第二图像数据；

机械臂，所述机械臂末端安装有手术操作器械和第三图像采集装置；所述手术操作器械用于在所述机械臂的控制下执行手术操作；所述第三图像采集装置用于采集所述机械臂末端视角的第三图像数据；

数据处理器，与所述机械臂和所述混合现实装置通信连接，用于获取并整合处理所述第一图像数据、所述第二图像数据和所述第三图像数据；所述第一混合现实装置用于获取并显示所述数据处理器处理后的第一图像数据、第二图像数据和第三图像数据；所述第二混合现实装置用于获取并显示所述数据处理器处理后的第二图像数据和第三图像数据。

在一个实施例中，所述手术机器人系统还包括：

力反馈遥操作装置，与所述数据处理器通信连接，用于接收所述手术操作器械经由所述机械臂发送至所述数据处理器的手术操作过程中的受力信息，以基于所述受力信息向使用者提供手术操作过程中的触觉反馈；所述力反馈遥操作装置还用于捕捉使用者的操作指令，并将捕捉到的操作指令发送至所述数据处理器，使得所述数据处理器基于所述操作指令生成机械臂执行指令并将所述机械臂执行指令发送至所述机械臂。

在一个实施例中，所述手术机器人系统还包括：

场景扫描装置，用于扫描操作对象和所述机械臂所处的环境信息，并将扫描得到的环境信息发送至所述数据处理器，使得所述数据处理器根据所述环境信息建立对应的虚拟场景；所述第一混合现实装置和所述第二混合现实装置还用于接收并显示所述虚拟场景。

在一个实施例中，所述数据处理器还用于接收操作对象规划数据；所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据；所述数据处理器还用于基于所述环境信息和所述操作对象规划数据建立虚拟场景。

在一个实施例中，所述场景扫描装置包括自然光相机组和运动捕捉相机组；

所述自然光相机组用于采集环境图像数据；

所速运动捕捉相机组用于采集包含可识别标识的对象的运动图像数据；所述第一混合现实装置、所述第二混合现实装置、所述机械臂和操作对象上均设置有所述可识别标识。

在一个实施例中，所述混合现实装置还包括第三混合现实装置，由旁观者佩戴，所述第三混合现实装置用于接收并显示所述数据处理器处理后的第一图像数据、第二图像数据、第三图像数据和所述虚拟场景。

在一个实施例中，所述手术机器人系统还包括：

手术评估装置，用于从所述数据处理器获取所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息，并基于所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息，对所述手术操作对应的手术进行评估。

在一个实施例中，所述手术评估装置基于训练好的机器学习模型对所述手术操作对应的手术进行评估，输出手术评价结果。

本说明书实施例还提供了一种应用于手术机器人系统的数据处理方法，包括：

获取第一图像数据、第二图像数据和第三图像数据；所述第一图像数据为执行者视角采集到的图像数据；所述第二图像数据为助手视角采集到的图像数据；所述第三图像数据为机械臂末端视角采集到的图像数据；

对所述第一图像数据、所述第二图像数据和所述第三图像数据进行整合处理，得到第一整合数据；对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据；

将所述第一整合数据发送至执行者佩戴的第一混合现实装置进行显示；将所述第二整合数据发送至助手佩戴的第二混合现实装置进行显示。

在一个实施例中，所述数据处理方法还包括：

获取手术操作器械在手术操作过程中的受力信息；

将所述受力信息发送至力反馈遥操作装置，使得所述力反馈遥操作装置基于所述受力信息向使用者提供手术操作过程中的触觉反馈。

在一个实施例中，所述数据处理方法还包括：

接收力反馈遥操作装置发送的操作指令；

基于所述操作指令生成机械臂执行指令，并将所述机械臂执行指令发送至所述机械臂。

在一个实施例中，所述数据处理方法还包括：

获取操作对象和机械臂所处环境的环境信息和操作对象规划数据；所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据；

根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，并将将所述虚拟场景发送至第一混合现实装置和第二混合现实装置进行显示。

在一个实施例中，所述环境信息包括环境图像数据和运动图像数据，所述运动图像数据包括多个可识别标识中各可识别标识对应的对象的位姿信息；所述多个可识别标识包括：机械臂标识、操作对象标识、第一混合现实装置标识和第二混合现实装置标识；

相应的，根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，包括：

通过标定确定所述环境图像数据对应的坐标系与所述运动图像数据对应的坐标系之间的第一变换关系；

通过机械臂注册建立机械臂的坐标系与所述运动图像数据的坐标系之间的第二变换关系；通过操作对象注册建立操作对象的坐标系与所述运动图像数据的坐标系之间的第三变换关系；通过第一混合现实装置注册建立第一混合现实装置的坐标系与所述运动图像数据的坐标系之间的第四变换关系；通过第二混合现实装置注册建立第二混合现实装置的坐标系与所述运动图像数据的坐标系之间的第五变换关系；

基于所述环境图像数据、所述运动图像数据、所述第一变换关系、所述第二变换关系、所述第三变换关系、所述第四变换关系、所述第五变换关系和所述操作对象规划数据，建立对应的虚拟场景。

本说明书实施例还提供了一种应用于手术机器人系统的数据处理装置，包括：

获取模块，用于获取第一图像数据、第二图像数据和第三图像数据；所述第一图像数据为执行者视角采集到的图像数据；所述第二图像数据为助手视角采集到的图像数据；所述第三图像数据为机械臂末端视角采集到的图像数据；

处理模块，用于对所述第一图像数据、所述第二图像数据和所述第三图像数据进行整合处理，得到第一整合数据；对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据；

发送模块，用于将所述第一整合数据发送至执行者佩戴的第一混合现实装置进行显示；将所述第二整合数据发送至助手佩戴的第二混合现实装置进行显示。

本说明书实施例还提供一种医疗设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的应用于手术机器人系统的数据处理方法的步骤。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的应用于手术机器人系统的数据处理方法的步骤。

在本说明书实施例中，提供了一种手术机器人系统，包括混合现实装置、机械臂和数据处理器，混合现实装置可以包括由执行者佩戴的第一混合现实装置和由助手佩戴的第二混合现实装置，第一混合现实装置上设置有第一图像采集装置，可以采集执行者视角的第一图像数据，第二混合现实装置上设置有第二图像采集装置，可以采集助手视角的第二图像数据，机械臂末端安装有手术操作器械和第三图像采集装置，所述手术操作器械可以在所述机械臂的控制下执行手术操作，第三图像采集装置可以采集所述机械臂末端视角的第三图像数据，数据处理器与所述机械臂和所述混合现实装置通信连接，可以获取并整合处理所述第一图像数据、所述第二图像数据和所述第三图像数据，所述第一混合现实装置可以获取并显示所述数据处理器处理后的第一图像数据、第二图像数据和第三图像数据，第二混合现实装置可以获取并显示所述数据处理器处理后的第二图像数据和第三图像数据。上述方案中，可以将助手视角和机械臂末端视角引入至执行者的视角，机械臂末端视角可以展示待手术区域的实际情况，助手视角可以补充执行者视角的可见范围，有效拓宽了执行者的视野范围，使得执行者及时发现机械臂运行过程中和周围环境可能的干涉，避免机械臂和环境、助手或者操作对象发生干涉，可以便于执行者控制机械臂执行手术，提高手术的精度，改善操作对象手术体验。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：

图1示出了本说明书一实施例中手术机器人系统的示意图；

图2示出了本说明书一实施例中单个场景扫描装置的原理示意图；

图3示出了本说明书一实施例中场景扫描装置组的原理示意图；

图4示出了本说明书一实施例中力反馈遥操作装置的示意图；

图5示出了本说明书一实施例中手术机器人系统的结构示意图；

图6示出了本说明书一实施例中手术机器人系统的布局示意图；

图7示出了本说明书一实施例中手术机器人系统的布局示意图；

图8示出了图6所示的布局情况下场景扫描装置组的布局示意图；

图9示出了本说明书一实施例中虚拟场景视角的建立示意图；

图10示出了本说明书一实施例中第一混合现实装置、第二混合现实装置和第三混合现实装置可现实内容的示意图；

图11示出了本说明书一实施例中现场操作模式下的系统数据流示意图；

图12示出了本说明书一实施例中远程操作模式下的系统数据流示意图；

图13示出了本说明书一实施例中现场协作模式下的系统数据流示意图；

图14示出了本说明书一实施例中远程协作模式下的系统数据流示意图；

图15示出了本说明书一实施例中评估模式下的系统数据流示意图；

图16示出了本说明书一实施例中的应用于手术机器人系统的数据处理方法的流程图；

图17示出了本说明书一实施例中的应用于手术机器人系统的数据处理装置的示意图；

图18示出了本说明书一实施例中的计算机设备的示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

本说明书实施例提供了一种手术机器人系统。请参考图1，示出了手术机器人系统的结构示意图。如图1所示，手术机器人系统10可以包括混合现实装置101、机械臂102和数据处理器103。

混合现实装置101可以包括第一混合现实装置111和第二混合现实装置112。所述第一混合现实装置111可以由执行者佩戴，设置有第一图像采集装置。第一图像采集装置可以用于采集执行者视角的第一图像数据。所述第二混合现实装置112可以由助手佩戴，设置有第二图像采集装置。第二图像采集装置可以用于采集助手视角的第二图像数据。在一个实施例中，混合现实装置可以是头戴式混合现实眼镜。图像采集装置可以邻近头戴式混合现实眼镜的镜片设置。

所述机械臂102的末端安装有手术操作器械和第三图像采集装置。所述手术操作器械可以在所述机械臂102的控制下执行手术操作。所述第三图像采集装置可以采集所述机械臂末端视角的第三图像数据。

在本说明书一些实施例中，手术机器人系统可以包括机械臂牙种植系统。相应的，手术操作器械为种植操作器械，手术操作为牙种植操作。在本说明书一些实施例中，手术机器人系统还可以应用于其他的一些外科手术，在这些外科手术中，机械臂可能会与环境或者助手或者操作对象发生干涉，例如部分骨科手术、部分神经外科手术等。相应的，手术操作器械为骨科手术操作器械或者神经外科手术操作器械，手术操作为骨科手术操作或者神经外科手术操作。

数据处理器103可以与所述机械臂102和所述混合现实装置101通信连接。数据处理器103可以获取并整合处理所述第一图像数据、所述第二图像数据和所述第三图像数据。在一个实施例中，数据处理器103可以将第一图像数据、第二图像数据和第三图像数据中的关键点进行匹配，以进行坐标系之间的变换和整合，得到第一整合数据。在一个实施例中，数据处理器103可以将第二图像数据和第三图像数据中的关键点进行匹配，以进行坐标系之间的变换和整合，得到第二整合数据。所述第一混合现实装置111可以获取并显示所述第一整合数据。所述第二混合现实装置112可以获取并显示所述第二整合数据。

上述实施例中，可以将助手视角和机械臂末端视角引入至执行者的视角，机械臂末端视角可以展示待手术区域的实际情况，助手视角可以补充执行者视角的可见范围，有效拓宽了执行者的视野范围，使得执行者及时发现机械臂运行过程中和周围环境可能的干涉，避免机械臂和环境、助手或者操作对象发生干涉，可以便于执行者控制机械臂执行手术，提高手术的精度，改善操作对象手术体验。

请继续参考图1，如图1所示，在本说明书的一些实施例中，所述手术机器人系统还可以包括场景扫描装置104。场景扫描装置104可以用于扫描操作对象(即，手术操作的对象，例如患者)和所述机械臂102所处的环境信息。场景扫描装置104可以将扫描得到的环境信息发送至所述数据处理器103。所述数据处理器103可以根据所述环境信息建立对应的虚拟场景。所述第一混合现实装置111和所述第二混合现实装置112还用于接收并显示所述虚拟场景。第一混合现实装置111可以将虚拟场景和第一整合数据进行叠加显示。第二混合现实装置112可以将虚拟场景和第二整合数据进行叠加显示。本实施例中，通过场景扫描装置可以为助手和执行者提供更多的场景信息，以便于执行者和助手协作完成手术。

在本说明书的一些实施例中，所述场景扫描装置104可以包括自然光相机组和运动捕捉相机组。所述自然光相机组用于采集环境图像数据。所述运动捕捉相机组用于采集包含可识别标识的对象的运动图像数据。所述第一混合现实装置、所述第二混合现实装置、所述机械臂和操作对象上均设置有所述可识别标识。

请参考图2，示出了单个场景扫描装置的原理示意图。手术机器人系统10可以包含至少一个场景扫描装置。如图2所示，每个场景扫描装置包括2个摄像头组，2个摄像头组扫描操作对象和机械臂所在的环境，建立对应的虚拟场景。可以对不同的摄像头组所获得的场景进行图像拼接，建立对应的虚拟场景。

如图2所示，场景扫描装置可以集成有自然光相机组和姿态采集相机组。在一个实施例中，自然光相机组可以包含至少2个相机，用于扫描随时间变化相对较小的环境。姿态采集相机组的作用则是忽略环境中的大部分目标，只捕捉指定标记或标记物快速运动的轨迹，对标记或标记物的轨迹的实时性有要求。在一个实施例中，姿态采集相机组可以包含两个红外相机和红外发光阵列，以能自主发射或被动反射红外光的对象构成的阵列作为可追踪标记。在另一个实施例中，姿态采集相机组可以包含两个高速相机，以可快速识别的视觉特征作为可追踪标记。

自然光相机组和姿态采集相机组可以被集成在单个场景扫描装置中，相互之间的相对位置关系已知，再通过对两个相机组的标定，就可以实现自然光相机组坐标系和姿态采集相机组坐标之间的变换。通过自然光相机组建立的虚拟环境场景，就可以与姿态采集相机组获得的标记或标记物的实时姿态统一在一个坐标系下。

在本说明书一些实施例中，手术机器人系统10中可以集成多个场景扫描装置，如图3所示。图3示出了场景扫描装置组的原理示意图。如图3所示，场景扫描装置组可以包括两个场景扫描装置。场景扫描装置中的不同场景扫描装置建立的虚拟场景和多个可追踪标记的实时位姿信息，可以统一到同一个坐标系中，形成最终的虚拟场景。通过设置多个场景扫描装置可以获取更多的场景信息，从而可以为执行者、助手和旁观者提供更多的场景信息。

请继续参考图1，如图1所示，在本说明书的一些实施例中，所述混合现实装置还可以包括第三混合现实装置113。第三混合现实装置113可以由旁观者佩戴。所述第三混合现实装置113可以用于接收并显示所述数据处理器103处理后的第一图像数据、第二图像数据、第三图像数据和所述虚拟场景，即，将虚拟场景和第一整合数据进行叠加显示。

请继续参考图1，如图1所示，在本说明书的一些实施例中，所述手术机器人系统还可以包括：力反馈遥操作装置105。力反馈装置可以适用于手术操作器械与硬组织直接接触的手术场景。力反馈遥操作装置105可以与所述数据处理器103通信连接，用于接收所述手术操作器械经由所述机械臂发送至所述数据处理器103的手术操作过程中的受力信息。力反馈遥操作装置105可以基于所述受力信息向其使用者提供手术操作过程中的触觉反馈。在一个实施例中，力反馈遥操作装置的使用者可以是旁观者。在另一个实施例中，力反馈遥操作装置的使用者可以是执行者。

所述力反馈遥操作装置105还可以用于捕捉其使用者的操作指令，并将捕捉到的操作指令发送至所述数据处理器103。所述数据处理器103可以基于所述操作指令生成机械臂执行指令，并将所述机械臂执行指令发送至所述机械臂102，使得机械臂102基于该执行指令控制手术操作器械执行手术操作。

力反馈遥操作装置105可以用于机械臂的间接操作，也可供执行者或者旁观者直观感受机械臂关联的手术操作器械在施行手术操作时的受力情况。

在一个实施例中，旁观者可以使用力反馈遥操作装置105，以接收手术操作过程中的触觉反馈。旁观者还可以通过佩戴第三混合现实装置113，以获取手术操作过程中的视觉反馈。在一些实施例中，可以存在多位旁观者，对应的，各旁观者可以佩戴对应的第三混合现实装置113以及使用对应的反馈遥操作装置105。旁观者可以是实习医生，通过视觉反馈和触觉反馈可以实现更好的学习效果。旁观者也可以是专家，通过视觉反馈和触觉反馈可以更好地对手术进行评估。在旁观者为专家的情况下，专家还可以通过反馈遥操作装置105对机械臂102进行控制，以协助执行者和助手执行手术操作。通过上述方式，可以便于旁观者进行手术的学习、评估或者远程协助。

在另一个实施例中，执行者可以使用力反馈遥操作装置105，以远程执行手术操作。具体地，在远程执行手术时，执行者可以通过佩戴第一混合现实装置111，获取手术操作过程中的视觉反馈。执行者可以通过力反馈遥操作装置105对机械臂102进行操作，从而控制机械臂102上安装的手术操作器械执行手术操作。此外，执行者还可以通过力反馈遥操作装置获得触觉反馈。通过上述方式，可以便于执行者远程进行手术。

在本说明书一些实施例中，手术操作为牙种植操作，牙种植操作可以包括以下操作中的一种或多种。可以使用种植体配套的扩孔钻逐级备孔，配合充分的冲洗冷却，直至种植窝预备完成。可以植入埋入式牙种植体，使牙种植体上缘与牙槽嵴顶骨面保持水平。在另一个实施例中，还可以实现上颌窦内提升。

力反馈遥操作装置105可以是一个由并联机构和腕关节机构组成的6自由度机构，也可以是一个6自由度的串联机构，用于捕捉执行者或旁观者的手部动作，并将捕捉到的动作，映射为机械臂的运动，同时向执行者或旁观者反馈机械臂关联的手术操作器械的受力情况。

请参考图4，示出了力反馈遥操作装置的示意图。如图4所示，力反馈遥操作装置105是一个由并联机构和腕关节机构组成的6自由度机构，包含并联部分、串联部分和手术操作器械模拟端，其中，并联部分实现了力反馈遥操作装置105在三个方向上的平移，串联部分实现力反馈遥操作装置105绕三个方向的旋转，手术操作器械模拟端则是对手术操作器械握持端的仿真。力反馈遥操作装置105可以捕捉执行者或旁观者操作手术操作器械模拟端的动作，并将捕捉到的动作，映射为机械臂102的运动。同时力反馈遥操作装置105也可以向执行者或旁观者反馈机械臂关联的手术操作器械的受力情况，为使用者提供触觉反馈。

请参考图5，示出了本说明书实施例中的手术机器人系统的结构示意图。如图5所示，系统中佩戴混合现实装置的可以有三类角色，分别是执行者，助手和旁观者。执行者可以佩戴第一混合现实装置111，直接操作机械臂102或通过力反馈遥操作装置105间接操作机械臂102。助手可以佩戴第二混合现实装置112，可以接触操作对象、配合执行者或配合执行者间接操作的机械臂102完成手术操作。旁观者可以佩戴第三混合现实装置113，可以是通过力反馈遥操作装置105感受机械臂102的操作，或通过力反馈遥操作装置105间接操作机械臂102。

场景扫描装置104可以扫描操作对象和机械臂102所在的环境，将所获数据传递至数据处理器103，建立对应的虚拟场景。同时第一混合现实装置111、第二混合现实装置112、机械臂102、操作对象均带有可被场景扫描装置104识别的标志，这样，在虚拟场景中，执行者或助手的位置、机械臂102的姿态、操作对象在虚拟场景中的相对位置均可见。可以将操作对象规划数据导入数据处理器103，从而可以出现在虚拟场景中。

机械臂102的末端安装手术操作器械，手术操作器械在手术过程中产生的力反馈信息，通过机械臂102传递至数据处理器103。机械臂102的姿态信息以机械臂102各个关节参数的形式传递至数据处理器103，再结合数据处理器103中保存的机械臂模型，就可以在虚拟场景中实时复现机械臂102的姿态。机械臂102的末端装有摄像装置，可以将机械臂102的末端视角信息传递至数据处理器103。机械臂102可由执行者直接操作，也可以根据数据处理器103下发的执行指令运动。

力反馈遥操作装置105可以捕捉使用者的动作，形成操作指令，传递至数据处理器103，作为机械臂102执行指令的建立依据。同时，力反馈遥操作装置105也会根据数据处理器103下发的力反馈信息，向使用者提供触觉反馈。

请继续参考图5，如图5所示，在本说明书的一些实施例中，所述数据处理器103还可以用于接收操作对象规划数据。所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据。所述数据处理器103还可以用于基于所述环境信息和所述操作对象规划数据建立虚拟场景。通过上述方式，可以在虚拟场景中显示操作对象规划数据，可以为手术执行者提供进一步的参考，从而提高手术效率，改善手术体验。

请继续参考图1，在本说明书的一些实施例中，所述手术机器人系统10还可以包括手术评估装置106。手术评估装置106可以用于从所述数据处理器103获取所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息。之后，手术评估装置106可以基于所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息，对所述手术操作对应的手术进行评估。通过上述方式，可以实现对手术的技术评估。

在本说明书的一些实施例中，所述手术评估装置106可以基于训练好的机器学习模型对所述手术操作对应的手术进行评估，输出手术评价结果。通过上述方式，可以提高手术评估的效率和客观性。

请参考图6，示出了本说明书实施例中的手术机器人系统的布局示意图。如图6所示，执行者、助手和操作对象可以位于同一个手术现场。执行者佩戴第一混合现实装置111，助手佩戴第二混合现实装置112。场景扫描装置104对手术现场环境、机械臂102、操作对象、第一混合现实装置111、第二混合现实装置112进行扫描，建立对应的虚拟场景。操作对象采取躺姿。执行者直接操作机械臂102进行手术操作，助手则辅助执行者施行手术。旁观者佩戴第三混合现实装置113，不在手术现场。通过力反馈遥操作装置105，感受执行者在施行手术时，手术操作器械的力反馈信息。而在当前布局实施例中，旁观者也可以通过力反馈遥操作装置105，对手术现场的机械臂进行间接操控。

请参考图7，示出了本说明书另一个实施例中的手术机器人系统的布局示意图。如图7所示，助手和操作对象位于手术现场，执行者则在远程。执行者佩戴第一混合现实装置111，助手佩戴第二混合现实装置112。场景扫描装置104对手术现场环境、机械臂102、操作对象、第二混合现实装置112进行扫描，建立对应的虚拟场景。操作对象采取躺姿。远程的执行者通过力反馈遥操作装置105，间接操作机械臂102进行手术操作，助手则配合机械臂102施行手术。旁观者佩戴第三混合现实装置113，不在手术现场。旁观者通过力反馈遥操作装置105，感受安装在机械臂102末端的手术操作器械，在手术过程中的受力情况。而在当前布局实施例中，旁观者也可以通过力反馈遥操作装置105，对手术现场的机械臂102进行间接操控。

请参考图8，示出了图6所示的布局情况下场景扫描装置组的布局示意图。如图8所示，执行者佩戴第一混合现实装置111，而第一混合现实装置111上附带着可追踪标记。助手佩戴第二混合现实装置112，第二混合现实装置112上同样附带着可追踪标记。操作对象佩戴可追踪标记，位置靠近待手术区域。机械臂102的末端和基座，均带着可追踪标记。场景扫描装置104获得的环境场景信息，和这些可追踪标记的实时位姿信息，都将作为虚拟场景建立所必需的输入。

图9示出了虚拟场景视角的建立示意图。如图9所示，自然光相机组对环境进行扫描，得到环境场景。快速运动捕捉相机组则实时输出各个可追踪标记的位姿信息。通过标定，可以确定自然光相机组对应的坐标系和快速运动捕捉相机组的坐标系之间的变换关系。可追踪标记包括机械臂末端标记、机械臂基座标记、操作对象标记、第一混合现实装置标记、第二混合现实装置标记。

通过机械臂注册，可以建立机械臂坐标系和快速运动捕捉相机组坐标系之间的变换关系。机械臂注册的一个实施例可以是：以机械臂坐标系为基准，控制机械臂运动至若干指定位置，机械臂到达指定位置后，分别记录机械臂末端标记、机械臂基座标记在快速运动捕捉相机组坐标系中的位姿信息，根据这些信息，计算得到机械臂坐标系和快速运动捕捉相机组坐标系之间的变换关系。机械臂可以实时输出各个关节的参数，再结合已知的机械臂模型参数，基于机械臂注册的结果，就可以输出机械臂在虚拟场景中的实时位姿信息。

操作对象注册的一个实施例可以是：操作对象佩戴的可追踪标记关联若干在影像数据中可见的显影标志，且显影标志和可追踪标记之间的位置关系已知，这样，通过影像数据中显影标志的信息，就可以得到操作对象影像坐标系和快速运动捕捉相机组坐标系之间的变换关系。基于操作对象注册的结果，可以输出操作对象影像数据和关联的手术计划在虚拟场景中的位姿。

环境场景、机械臂姿态、操作对象影像数据及手术计划、混合现实装置虚拟位姿，这些信息汇总至数据处理器，最终生成可在混合现实装置中观察到的虚拟场景视角信息。

请参考图10，示出了本说明书实施例中第一混合现实装置、第二混合现实装置和第三混合现实装置可现实内容的示意图。如图10所示，第一混合现实装置111可以叠加显示助手视角、虚拟场景视角、机械臂末端执行器视角，其中虚拟场景视角包含信息如图9所示。在如图7所示的远程情况中，执行者可以基于虚拟场景视角规划机械臂102末端执行器进入口腔附近区域的轨迹，避免机械臂102和环境、助手或操作对象发生干涉；机械臂102末端视角可以展现待手术区域的实际情况；助手视角可以补充机械臂102末端视角的可见范围。第二混合现实装置112可以叠加显示虚拟场景视角和机械臂末端执行器视角；虚拟场景视角可以帮助助手发现机械臂可能的干涉，执行者视角的局限，确保能够有效拓展执行者的视野。第三混合现实装置113可以显示执行者视角、助手视角、虚拟场景视角、机械臂末端视角。第一混合现实装置111、第二混合现实装置112和第三混合现实装置113，均可以根据需要，显示机械臂102关联的各项量化指标，比如机械臂102末端关联的手术操作器械相对于操作对象的相对位置关系、及手术施行过程中的受力情况。

下面对本实施例中的工作模式进行阐述。本说明书实施例中的手术机器人系统可以工作在操作模式、协作模式和评估模式下。

在操作模式下，执行者可以和助手、操作对象处于同一空间内，此时系统数据流如图11所示。如图11所示，执行者佩戴第一混合现实装置111，向数据处理器103传输执行者视角信息，而数据处理器103则向通过第一混合现实装置111向执行者提供视觉反馈。助手佩戴第二混合现实装置112，向数据处理器103传输助手视角信息，而数据处理器103则向通过第二混合现实装置112向助手提供视觉反馈。场景扫描装置104则为数据处理器103提供了虚拟场景视角信息。操作对象规划数据输入数据处理器103后，也会成为虚拟场景视角的一部分。机械臂102直接由执行者操作，向数据处理器103实时传输机械臂姿态信息、力反馈信息和末端视角信息。旁观者可以实时或非实时地通过第三混合现实装置113，获得视觉反馈，通过旁观者端的力反馈遥操作装置105获得手术过程中手术操作器械的触觉反馈。在非实时情况下，旁观者端的力反馈遥操作装置105提供的触觉反馈和第三混合现实装置113提供的视觉反馈仍需要保持同步。且系统支持不止一位旁观者接收数据处理器提供的视觉反馈和触觉反馈。

在操作模式下，执行者也可以和助手、操作对象不在同一空间内，以远程的形式施行手术。远程操作模式下，系统的数据流如图12所示，基本过程和图11中的现场情况下类似。如图12所示，虚拟场景视角只包含第二混合现实装置112、操作对象、机械臂在场景中的相对位置。执行者则在远程获得视觉反馈，通过力反馈遥操作装置105，输出动作指令到数据处理器103，并获得力反馈信息。机械臂102在该种情况下，接受数据处理器103发出的操作指令后，执行相应的操作。在操作模式(远程)的情况下，执行者通过力反馈遥操作装置105输出的动作指令、接收到的视觉反馈和触觉反馈，必须保证和手术现场产生的数据之间的实时性和同步性。

请参考图13和图14，分别示出了在现场协作模式下以及在远程协作模式下的数据流示意图。如图13和图14所示，在协作模式下，执行者、助手、机械臂、场景扫描装置104产生的数据流和操作模式一致。旁观者需要实时地通过第三混合现实装置113获得数据处理器103提供的视觉反馈。旁观者通过力反馈遥操作装置105，获得触觉反馈；当旁观者判断执行者在现场或远程的操作存在问题或隐患时，旁观者可通过数据处理器103，和执行者、助手进行沟通指导，也可以根据手术现场的实际情况，接替执行者，操作力反馈遥操作装置105，输出动作指令到数据处理器103，再由数据处理器103输出机械臂操作指令，实现旁观者对机械臂的间接操作，助手此时将配合由旁观者间接操作的机械臂102进行手术。此时，旁观者通过力反馈遥操作装置105输出的动作指令、从数据处理器103接收到的视觉反馈和触觉反馈，必须保证和手术现场间的实时性和同步性。

请参考图15，分别示出了在评估模式下的数据流示意图。如图15所示，在评估模式下，执行者、助手、机械臂102、场景扫描装置104产生的数据流和操作模式一致。旁观者可以实时或非实时地根据数据处理器提供的视觉反馈和触觉反馈，对被评估对象，执行者和助手的操作进行评估。在旁观者评估过程中，视角信息(即视觉反馈)需要和力反馈信息(即触觉反馈)同步；旁观者可以根据获得的各种反馈信息，对执行者和助手操作的合理性进行评估。进行评估的旁观者可以是医学专家，也可以是AI模型，其中，AI模型进行评估时可以不需要第三混合现实装置113和力反馈遥操作装置105，直接基于数据处理器提供的数据进行评估。

上述实施例中的手术机器人系统，通过提供多重视角，解决手术视野的限制；.机械臂既可以保证手术操作的精准，也可以提供术中手术操作器械的受力情况；通过考虑术中助手的需求和对环境的扫描，提升系统应对复杂现场的能力；旁观者视角可以满足使用者学习的需要，也可以满足对使用者进行评估的需要。

本说明书实施例提供了一种应用于手术机器人系统的数据处理方法。图16示出了本说明书一实施例中应用于手术机器人系统的数据处理方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体地，如图16所示，本说明书一种实施例提供的应用于手术机器人系统的数据处理方法可以包括以下步骤：

步骤S161，获取第一图像数据、第二图像数据和第三图像数据；所述第一图像数据为执行者视角采集到的图像数据；所述第二图像数据为助手视角采集到的图像数据；所述第三图像数据为机械臂末端视角采集到的图像数据。

本实施例中的方法可以应用于手术机器人系统中的数据处理器。

数据处理器可以获取执行者视角的第一图像数据。第一图像数据可以由执行者佩戴的第一混合现实装置中的第一图像采集装置采集到的。数据处理器还可以获取助手视角的第二图像数据。第二图像数据可以由助手佩戴的第二混合现实装置中的第二图像采集装置采集到的。数据处理器还可以获取机械臂视角采集到的第三图像数据。第三图像数据可以是由机械臂末端安装的第三图像采集装置采集到的。

步骤S162，对所述第一图像数据、所述第二图像数据和所述第三图像数据进行整合处理，得到第一整合数据；对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据。

在获得第一图像数据、第二图像数据和第三图像数据之后，数据处理器可以对第一图像数据、第二图像数据和第三图像数据进行整合处理，得到第一整合数据。在一个实施例中，数据处理器可以以第一图像数据、第二图像数据、第三图像数据中均存在的对象为基准，将第一图像数据、第二图像数据和第三图像数据对齐，统一到一个坐标系中，得到第一整合数据。在另一个实施例中，数据处理器可以设置第一图像数据、第二图像数据和第三图像数据的显示位置。例如，可以将第一图像数据设置为占据可显示区域的主要部分，第二图像数据、第三图像数据以动态缩略视图的形式，叠加于第一图像数据显示区域之上。

数据处理器还可以对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据。在一个实施例中，数据处理器可以以第二图像数据、第三图像数据中均存在的对象为基准，将第二图像数据和第三图像数据对齐，统一到一个坐标系中，得到第二整合数据。在另一个实施例中，数据处理器可以设置第二图像数据和第三图像数据的显示位置。例如，可以将第二图像数据设置为占据可显示区域的主要部分，第三图像数据以动态缩略视图的形式，叠加于第二图像数据显示区域之上。

步骤S163，将所述第一整合数据发送至执行者佩戴的第一混合现实装置进行显示；将所述第二整合数据发送至助手佩戴的第二混合现实装置进行显示。

数据处理器可以将第一整合数据发送至执行者佩戴的第一混合现实装置进行显示。执行者可以通过第一混合现实装置发起切换视图指令，执行者可以切换主显示区域中的内容为对齐后的图像数据、第一图像数据、第二图像数据或第三图像数据。数据处理器可以将第二整合数据发送至执行者佩戴的第二混合现实装置进行显示。助手可以通过第二混合现实装置发起切换视图指令，根据需要切换到不同的视角，对对齐后的第二图像数据和第三图像数据进行观察。

上述实施例中，可以将助手视角和机械臂末端视角引入至执行者的视角，机械臂末端视角可以展示待手术区域的实际情况，助手视角可以补充执行者视角的可见范围，有效拓宽了执行者的视野范围，使得执行者及时发现机械臂运行过程中和周围环境可能的干涉，避免机械臂和环境、助手或者操作对象发生干涉，可以便于执行者控制机械臂执行手术，提高手术的精度，改善操作对象手术体验。

在本说明书的一些实施例中，所述数据处理方法还包括：获取手术操作器械在手术操作过程中的受力信息；将所述受力信息发送至力反馈遥操作装置，使得所述力反馈遥操作装置基于所述受力信息向使用者提供手术操作过程中的触觉反馈。

具体地，力反馈遥操作装置在手术过程中接收到的受力信息在空间中是有方向性的。使用者在握持着力反馈遥操作装置时，力反馈遥操作装置根据受力方向和力的大小，通过握持端，在相同的方向上给使用者提供触觉反馈。在应用于培训或评估时，结合力反馈信息，可以提供更全面的学习感受或评估建议。

在本说明书的一些实施例中，所述数据处理方法还包括：接收力反馈遥操作装置发送的操作指令；基于所述操作指令生成机械臂执行指令，并将所述机械臂执行指令发送至所述机械臂。

具体地，数据处理器可以接收力反馈遥操作装置发送的操作指令，操作指令中可以包括力操作装置在一个或多个时刻的位姿数据。之后，数据处理器可以基于操作指令生成机械臂执行指令，并将其发送至机械臂。在一个实施例中，使用者在操作力反馈遥操作装置后，系统会以固定的间隔，记录操作过程中力反馈遥操作装置在各个时刻的位置和姿态。数据处理器可以实时接收力反馈遥操作装置在各个时刻的位置和姿态数据。数据处理器可以根据力反馈遥操作装置当前时刻和前一时刻之间的位置和姿态数据的变化量，确定当前时刻机械臂位置和姿态对应的变化量。由于固定时间间隔已知，系统根据变化量可确定机械臂的运动速度；根据位置和姿态的变化量以及运动速度，系统可生成机械臂执行指令。通过上述方式，可以通过力反馈遥操作装置远程执行手术。

在本说明书的一些实施例中，所述数据处理方法还包括：获取操作对象和机械臂所处环境的环境信息和操作对象规划数据；所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据；根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，并将将所述虚拟场景发送至第一混合现实装置和第二混合现实装置进行显示。

具体地，操作对象和机械臂所处环境的环境信息可以是由场景扫描装置采集到的场景图像数据。场景扫描装置可以包括多个相机，分别用于采集随时间变化相对较小的环境图像数据以及随时间变化快的运动图像数据。这里的运动图像数据可以包括机械臂、操作对象、第一混合现实装置和第二混合现实装置对应的运动图像数据。数据处理器可以基于这些数据以及操作对象规划数据建立对应的虚拟场景。所述操作对象规划数据可以包括操作对象影像数据和/或手术操作计划数据。数据处理器还可以将建立的虚拟场景发送至第一混合现实装置和第二混合显示装置进行显示。第一混合现实装置可以将虚拟场景和第一整合数据进行叠加显示。第二混合现实装置可以将虚拟场景和第二整合数据进行叠加显示。本实施例中，通过构建和显示虚拟场景可以为助手和执行者提供更多的场景信息，以便于执行者和助手协作完成手术。

在本说明书的一些实施例中，所述环境信息包括环境图像数据和运动图像数据，所述运动图像数据包括多个可识别标识中各可识别标识对应的对象的位姿信息；所述多个可识别标识包括：机械臂标识、操作对象标识、第一混合现实装置标识和第二混合现实装置标识；相应的，根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，包括：通过标定确定所述环境图像数据对应的坐标系与所述运动图像数据对应的坐标系之间的第一变换关系；通过机械臂注册建立机械臂的坐标系与所述运动图像数据的坐标系之间的第二变换关系；通过操作对象注册建立操作对象的坐标系与所述运动图像数据的坐标系之间的第三变换关系；通过第一混合现实装置注册建立第一混合现实装置的坐标系与所述运动图像数据的坐标系之间的第四变换关系；通过第二混合现实装置注册建立第二混合现实装置的坐标系与所述运动图像数据的坐标系之间的第五变换关系；基于所述环境图像数据、所述运动图像数据、所述第一变换关系、所述第二变换关系、所述第三变换关系、所述第四变换关系、所述第五变换关系和所述操作对象规划数据，建立对应的虚拟场景。

具体地，执行者佩戴第一混合现实装置，而第一混合现实装置上附带着可追踪标记。助手佩戴第二混合现实装置，第二混合现实装置上同样附带者可追踪标记。操作对象佩戴可追踪标记，位置靠近待手术区域。机械臂末端和基座，均带着可追踪标记。场景扫描装置获得的环境场景信息，和这些可追踪标记的实时位姿信息，都将作为虚拟场景建立所必须的输入。环境场景、机械臂姿态、操作对象影像数据及手术计划、混合现实装置虚拟位姿，这些信息汇总至数据处理器，最终生成可在混合现实装置中观察到的虚拟场景视角信息。所述环境信息包括环境图像数据和运动图像数据，所述运动图像数据包括多个可识别标识中各可识别标识对应的对象的位姿信息，所述环境图像数据包括场景中位置相对变化较少的对象的图像数据。通过相机标定，可以得到环境图像数据与运动图像数据之间的坐标系变换关系。通过机械臂注册可以确定机械臂坐标系与运动图像数据的坐标系之间的坐标系变换关系。通过操作对象注册可以建立操作对象的坐标系与运动图像数据之间的坐标变换关系。通过第一混合装置注册可以建立第一混合装置与运动图像数据之间的坐标变换关系。通过第二混合装置注册可以建立第二混合装置与运动图像数据之间的坐标系变换关系。之后，基于上述坐标系变换关系，对环境图像数据和运动图像数据进行对齐，得到虚拟图像数据，再将操作对象规划数据叠加显示至虚拟图像数据，得到虚拟场景。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，本说明书实施例中还提供了一种应用于手术机器人系统的数据处理装置，如下面的实施例所述。由于应用于手术机器人系统的数据处理装置解决问题的原理与应用于手术机器人系统的数据处理方法相似，因此应用于手术机器人系统的数据处理装置的实施可以参见应用于手术机器人系统的数据处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图17是本说明书实施例的应用于手术机器人系统的数据处理装置的一种结构框图，如图17所示，包括：获取模块171、处理模块172和发送模块173，下面对该结构进行说明。

获取模块171用于获取第一图像数据、第二图像数据和第三图像数据；所述第一图像数据为执行者视角采集到的图像数据；所述第二图像数据为助手视角采集到的图像数据；所述第三图像数据为机械臂末端视角采集到的图像数据。

处理模块172用于对所述第一图像数据、所述第二图像数据和所述第三图像数据进行整合处理，得到第一整合数据；对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据。

发送模块173用于将所述第一整合数据发送至执行者佩戴的第一混合现实装置进行显示；将所述第二整合数据发送至助手佩戴的第二混合现实装置进行显示。在本说明书一些实施例中，

本说明书实施方式还提供了一种医疗设备，具体可以参阅图18所示的基于本说明书实施例提供的应用于手术机器人系统的数据处理方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备181、处理器182、存储器183。其中，所述存储器183用于存储处理器可执行指令。所述处理器182执行所述指令时实现上述任意实施例中所述的应用于手术机器人系统的数据处理方法的步骤。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本说明书实施方式中还提供了一种基于应用于手术机器人系统的数据处理方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述应用于手术机器人系统的数据处理方法的步骤。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

Claims (12)

1.一种手术机器人系统，其特征在于，包括：

混合现实装置，包括第一混合现实装置和第二混合现实装置；所述第一混合现实装置由执行者佩戴，设置有第一图像采集装置，用于采集执行者视角的第一图像数据；所述第二混合现实装置由助手佩戴，设置有第二图像采集装置，用于采集助手视角的第二图像数据；

机械臂，所述机械臂末端安装有手术操作器械和第三图像采集装置；所述手术操作器械用于在所述机械臂的控制下执行手术操作；所述第三图像采集装置用于采集所述机械臂末端视角的第三图像数据；

数据处理器，与所述机械臂和所述混合现实装置通信连接，用于获取并整合处理所述第一图像数据、所述第二图像数据和所述第三图像数据；所述第一混合现实装置用于获取并显示所述数据处理器处理后的第一图像数据、第二图像数据和第三图像数据；所述第二混合现实装置用于获取并显示所述数据处理器处理后的第二图像数据和第三图像数据。

2.根据权利要求1所述的手术机器人系统，其特征在于，还包括：

力反馈遥操作装置，与所述数据处理器通信连接，用于接收所述手术操作器械经由所述机械臂发送至所述数据处理器的手术操作过程中的受力信息，以基于所述受力信息向使用者提供手术操作过程中的触觉反馈；所述力反馈遥操作装置还用于捕捉使用者的操作指令，并将捕捉到的操作指令发送至所述数据处理器，使得所述数据处理器基于所述操作指令生成机械臂执行指令并将所述机械臂执行指令发送至所述机械臂。

3.根据权利要求2所述的手术机器人系统，其特征在于，还包括：

场景扫描装置，用于扫描操作对象和所述机械臂所处的环境信息，并将扫描得到的环境信息发送至所述数据处理器，使得所述数据处理器根据所述环境信息建立对应的虚拟场景；所述第一混合现实装置和所述第二混合现实装置还用于接收并显示所述虚拟场景。

4.根据权利要求3所述的手术机器人系统，其特征在于，所述数据处理器还用于接收操作对象规划数据；所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据；所述数据处理器还用于基于所述环境信息和所述操作对象规划数据建立虚拟场景。

5.根据权利要求3所述的手术机器人系统，其特征在于，所述场景扫描装置包括自然光相机组和运动捕捉相机组；

所述自然光相机组用于采集环境图像数据；

所速运动捕捉相机组用于采集包含可识别标识的对象的运动图像数据；所述第一混合现实装置、所述第二混合现实装置、所述机械臂和所述操作对象上均设置有所述可识别标识。

6.根据权利要求3所述的手术机器人系统，其特征在于，所述混合现实装置还包括第三混合现实装置，由旁观者佩戴，所述第三混合现实装置用于接收并显示所述数据处理器处理后的第一图像数据、第二图像数据、第三图像数据和所述虚拟场景。

7.根据权利要求3所述的手术机器人系统，其特征在于，还包括：

手术评估装置，用于从所述数据处理器获取所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息，并基于所述第一图像数据、所述第二图像数据、所述第三图像数据、所述虚拟场景以及所述受力信息，对所述手术操作对应的手术进行评估。

8.一种应用于手术机器人系统的数据处理方法，其特征在于，包括：

获取第一图像数据、第二图像数据和第三图像数据；所述第一图像数据为执行者视角采集到的图像数据；所述第二图像数据为助手视角采集到的图像数据；所述第三图像数据为机械臂末端视角采集到的图像数据；

对所述第一图像数据、所述第二图像数据和所述第三图像数据进行整合处理，得到第一整合数据；对所述第二图像数据和所述第三图像数据进行整合处理，得到第二整合数据；

将所述第一整合数据发送至执行者佩戴的第一混合现实装置进行显示；将所述第二整合数据发送至助手佩戴的第二混合现实装置进行显示。

9.根据权利要求8所述的数据处理方法，其特征在于，还包括：

获取手术操作器械在手术操作过程中的受力信息；

将所述受力信息发送至力反馈遥操作装置，使得所述力反馈遥操作装置基于所述受力信息向使用者提供手术操作过程中的触觉反馈；

接收力反馈遥操作装置发送的操作指令；

基于所述操作指令生成机械臂执行指令，并将所述机械臂执行指令发送至所述机械臂。

10.根据权利要求8所述的数据处理方法，其特征在于，还包括：

获取操作对象和机械臂所处环境的环境信息和操作对象规划数据；所述操作对象规划数据包括操作对象影像数据和/或手术操作计划数据；

根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，并将将所述虚拟场景发送至第一混合现实装置和第二混合现实装置进行显示。

11.根据权利要求10所述的数据处理方法，其特征在于，所述环境信息包括环境图像数据和运动图像数据，所述运动图像数据包括多个可识别标识中各可识别标识的位姿信息；所述多个可识别标识包括：机械臂标识、操作对象标识、第一混合现实装置标识和第二混合现实装置标识；

相应的，根据所述环境信息和所述操作对象规划数据建立对应的虚拟场景，包括：

通过标定确定所述环境图像数据对应的坐标系与所述运动图像数据对应的坐标系之间的第一变换关系；

通过机械臂注册建立机械臂的坐标系与所述运动图像数据的坐标系之间的第二变换关系；通过操作对象注册建立操作对象的坐标系与所述运动图像数据的坐标系之间的第三变换关系；通过第一混合现实装置注册建立第一混合现实装置的坐标系与所述运动图像数据的坐标系之间的第四变换关系；通过第二混合现实装置注册建立第二混合现实装置的坐标系与所述运动图像数据的坐标系之间的第五变换关系；

基于所述环境图像数据、所述运动图像数据、所述第一变换关系、所述第二变换关系、所述第三变换关系、所述第四变换关系、所述第五变换关系和所述操作对象规划数据，建立对应的虚拟场景。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求8至11中任一项所述方法的步骤。

Images