CN115089302A - 手术机器人系统及方法 - Google Patents

Abstract

本申请涉及一种手术机器人系统及方法，包括：手术装置，搭载有机械臂；导航系统，用于基于机械臂的起始位姿和目标手术位姿，确定真实手术空间中的机械臂的规划运动路径，规划运动路径包括运动路径和机械臂沿运动路径运动的位姿变化信息；以及增强现实装置，增强现实装置与导航系统通信连接，用于获取规划运动路径，并根据规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿，以展示与真实手术空间物体的相对位置关系。用户可直观了解以当前规划运动路径控制机械臂运动，是否会发生碰撞以及机械臂到达奇异点位置，控制机械臂运动前可避免该情况。

Description

手术机器人系统及方法

技术领域

本申请涉及机器人控制技术领域，特别是涉及一种手术机器人系统及方法。

背景技术

手术机器人在手术过程中承担了将机械臂末端的工具准确对准患者的待手术部位的自动化操作。但目前的机器人机械臂路径规划方案在术中常因为末端的工具碰到障碍物或牵引末端工具的机械臂到达奇异点位置，需要进行多次调整，造成手术效率低下。

发明内容

基于此，有必要针对上述技术问题，提供一种无需在术中进行多次定位操作的手术机器人系统及方法，从而提高手术操作效率。

第一方面，提供了一种手术机器人系统，包括：

手术装置，搭载有机械臂；

导航系统，用于基于机械臂的起始位姿和目标手术位姿，确定真实手术空间中的机械臂的规划运动路径，规划运动路径包括运动路径和机械臂沿运动路径运动的位姿变化信息；以及

增强现实装置，增强现实装置与导航系统通信连接，用于获取规划运动路径，并根据规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

在其中一个实施例中，增强现实装置还用于响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；

根据修正后的规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程。

在其中一个实施例中，增强现实装置用于响应对虚拟机械臂模型的位姿变化过程进行调整操作，形成修正后的规划运动路径的过程包括：

显示位姿调整界面；

响应于在位姿调整界面对虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。

在其中一个实施例中，对虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

在其中一个实施例中，增强现实装置用于响应于在显示虚拟机械臂模型的位姿变化过程后所进行的路径确认动作，发送虚拟运动路径和虚拟位姿至目标对象，目标对象为导航系统或手术装置；

目标对象还用于：

基于机械臂在真实手术空间下的当前起始位姿、虚拟运动路径、虚拟位姿和增强现实装置的显示空间坐标系和真实手术空间的转换关系，计算在真实手术空间下机械臂的最终规划运动路径；

在真实手术空间中，机械臂按照最终规划运动路径运动至目标手术位姿。

在其中一个实施例中，真实手术空间包括手术坐标系，增强现实装置用于：

基于显示界面定义显示空间坐标系并发送至所述导航系统；

获取所述显示界面中待识别的所述手术装置上的识别图案的坐标信息并发送至所述导航系统；

所述导航系统还用于：

基于待手术实体上的光学靶标定义所述手术坐标系，并获取所述手术坐标系下所述待手术实体上的光学靶标的坐标信息和所述手术装置上基座靶标的光学靶标的坐标信息；

基于所述手术坐标系下所述手术装置上基座靶标的光学靶标的坐标信息和所述显示界面中待识别的识别图案的坐标信息进行对应点坐标的特征匹配，确定所述手术坐标系和所述显示空间坐标系的坐标转换关系。

在其中一个实施例中，

所述机械臂末端设置有医疗器械，所述真实手术空间还包括机械臂运动坐标系，所述手术装置包括医疗器械，所述手术装置上的光学靶标还包括工具靶标，所述工具靶标设置于所述机械臂末端，所述导航系统还用于：

以所述医疗器械一端面的至少四个点的中心点为原点建立机械臂运动坐标系；

获取在所述机械臂运动坐标系下所述端面上至少四个点的坐标；

获取在所述手术坐标系下所述工具靶标的坐标；

将所述端面上的至少四个点的坐标与所述工具靶标的坐标进行匹配，确定所述手术坐标系与所述机械臂运动坐标系的坐标转换关系。

在其中一个实施例中，导航系统还用于：

基于机械臂的起始位姿和目标手术位姿，确定机械臂运动坐标系下的规划运动路径；

增强现实装置用于：

根据虚拟手术空间和手术坐标系的坐标转换关系、手术坐标系与机械臂运动坐标系的坐标转换关系、手术坐标系和显示空间坐标系的坐标转换关系以及机械臂运动坐标系下的规划运动路径，在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

在其中一个实施例中，导航系统还用于：

根据虚拟手术空间和手术坐标系的坐标转换关系、手术坐标系与机械臂运动坐标系的坐标转换关系以及手术坐标系和显示空间坐标系的坐标转换关系，确定机械臂运动坐标系和显示空间坐标系的坐标转换关系；

基于机械臂在机械臂运动坐标系下的当前起始位姿、显示空间坐标系下的虚拟运动路径和虚拟位姿以及机械臂运动坐标系和显示空间坐标系的坐标转换关系，得到在机械臂运动坐标系下机械臂的最终规划运动路径；

控制机械臂在机械臂运动坐标系下按照最终规划运动路径运动至目标手术位姿。

第二方面，本申请还提供了一种控制方法，应用于上述手术机器人系统，该方法包括：

获取导航系统确定的真实手术空间下的规划运动路径；其中，规划运动路径包括运动路径和机械臂沿运动路径运动的位姿变化信息，机械臂搭载在手术装置上；

根据规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

在其中一个实施例中，上述方法还包括：

响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；

根据修正后的规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程。

在其中一个实施例中，响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，包括：

显示位姿调整界面；

响应于在位姿调整界面对虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。

在其中一个实施例中，对虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

在其中一个实施例中，响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，包括：

对虚拟机械臂模型的位姿变化过程的虚拟机械臂模型进行标记；

响应对虚拟机械臂模型的标记区域的位姿调整操作，形成修正后的规划运动路径。

在其中一个实施例中，上述方法还包括：

响应于在显示虚拟机械臂模型的位姿变化过程后所进行的路径确认动作，发送虚拟运动路径和虚拟位姿至目标对象，使目标对象基于虚拟运动路径和虚拟位姿确定最终规划运动路径；

其中，最终规划运动路径用于指示机械臂按照最终规划运动路径运动至目标手术位姿，目标对象为导航系统或手术装置。

上述手术机器人系统及方法，至少具有以下有益效果：

该手术机器人系统包括手术装置、导航系统和增强现实装置，手术装置上搭载有机械臂，且导航系统可基于机械臂的起始位姿和目标手术位姿，确定真实手术空间下机械臂的规划运动路径，增强现实装置与该导航系统连接，其可以根据导航系统规划的机械臂运动路径和位姿变化信息，在自身上显示虚拟机械臂模型的位姿变化过程，以展示虚拟机械臂模型的虚拟运动路径和虚拟位姿，同时，由于增强现实装置可以同时显示真实手术空间下的物体，所以用户通过增强现实装置，可以在术前，看到虚拟机械臂模型在虚拟运动路径上与真实手术空间下物体的相对位置关系。从而直观地了解若以当下导航系统计算的规划运动路径进行真实手术空间下机械臂的运动控制，是否会与周围物体发生碰撞以及机械臂是否会因为到达奇异点导致无法继续运动，基于展示的具体情况，用户可进一步调整机械臂的起始位姿、规划运动路径等，以便能够一次性控制机械臂运动至用户手术所期望的目标截骨位置。

该系统，通过利用增强现实装置的虚实结合显示能力，进行虚拟机械臂模型在增强现实装置显示空间下的运动轨迹预演，帮助用户在术前直观地判断是否会发生机械臂碰撞事件或机械臂运动到达奇异点的情况，并进行术前调整，以预防机械臂在自动定位过程中发生碰撞。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中手术机器人系统的结构示意图；

图2为一个实施例中位姿调整界面的示意图；

图3为一个实施例中对虚拟运动路径上显示的虚拟机械臂模型的位姿调整操作的示意图；

图4为一个实施例中虚拟机械臂模型碰撞到障碍物情况下，显示空间坐标系下调整前后虚拟运动轨迹的示意图；

图5为一个实施例中虚拟机械臂模型在虚拟运动轨迹上出现机械臂到达奇异点位置的情况下，显示空间坐标系下调整前后虚拟运动轨迹的示意图以及显示报警信息的示意图；

图6为一个实施例中显示空间坐标系下的虚拟运动轨迹发生障碍物碰撞的情况下，基于在显示空间坐标系下确定的拐点进行机械臂运动坐标系下机械臂的位姿调整的示意图；

图7为一个实施例中进行手术坐标系和显示空间坐标系的坐标转换关系的示意图；

图8为一个实施例中进行手术坐标系与机械臂运动坐标系的坐标转换关系的示意图；

图9为一个实施例中各空间坐标系的坐标转换关系示意图；

图10为一个实施例中机械臂的多轴结构示意图；

图11为一个实施例中展示显示空间坐标系下基于虚拟手术模型进行机械臂虚拟运动轨迹上以虚拟位姿到达虚拟手术模型的目标截骨面的示意图；

图12为一个实施例中控制方法的流程示意图；

图13为一个实施例中控制方法的流程示意图；

图14为又一个实施例中控制方法的流程示意图；

图15为再一个实施例中控制方法的流程示意图；

图16为一个实施例中控制装置的结构框图；

图17为一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。

骨科手术机器人在手术过程中承担了将截骨导板准确对准患者骨骼的截骨面位置的自动化操作。在手术过程中，根据经术中配准得到的虚拟手术模型和手术床上的患者的骨骼实体的映射关系，可在骨骼实体上确定目标截骨面的位置，机器人利用光学定位系统(例如：光学相机)所提供的机械臂的起始位置和起始姿态以及目标截骨面的位置，构建机械臂从起始位置和起始姿态移动至目标姿态和目标位置的移动路径以及姿态变化方式，并驱动机械臂按照移动路径以姿态变化方式自主移动。

但机械臂在预定规划的移动路径自动定位时，机械臂关节臂身或截骨导板都有可能会碰撞到真实手术场景下的障碍物，还有可能会达到机械臂的奇异点位置，机械臂一旦碰撞到障碍物或者处于机械臂的奇异点位置，则需要医生停下机械臂，然后手动操作机械臂至另一位置后，再重复执行机械臂截骨面自动定位过程，造成手术效率低下，而且还可能发生二次碰撞或达到机械臂奇异点位置的事件。

而依赖光学定位系统(例如：光学相机)进行机械臂自动定位移动的方案，不会为机械臂移动过程中提供实时避障检测，使得机械臂无法选择合适路径和姿态变化方式。

针对上述问题，在一个实施例中，如图1所示，提供了一种手术机器人系统，该系统包括：手术装置，搭载有机械臂12；导航系统61，用于基于机械臂12的起始位姿和目标手术位姿，确定真实手术空间中的机械臂12的规划运动路径，规划运动路径包括运动路径和机械臂12沿运动路径运动的位姿变化信息；以及增强现实装置91，增强现实装置91与导航系统61通信连接，用于获取规划运动路径，并根据规划运动路径在增强现实装置91上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

其中，机械臂12的末端可以机械连接一些医疗器械，例如骨科手术场景下，医疗器械可以是如图1所示的截骨导板31等。导航系统61可以实现定位和配准，例如，可配准虚拟机械臂模型和导航系统61上的实体机械臂12，也可以配准虚拟骨骼模型和待手术骨骼实体(例如，如图所示的股骨71和胫骨72)，即可以实现虚拟手术空间和真实手术空间转换关系的确定。导航系统还可以基于机械臂12的起始位姿和目标手术位姿确定机械臂12规划运动路径，该规划运动路径除了运动路径之外，还包括在运动路径上运动时机械臂的位姿变化信息。

手术装置是指能够驱动机械臂12自主移动的装置。例如，其可以如图1所示，在手术装置11的上表面机械连接有机械臂12，机械臂12可以具有多个关节，可进行多轴运动，以便带动截骨导板31等医疗器械准确到达目标手术位姿。手术装置11还可以设置有多个靶标(例如，如图所示的工具靶标21、股骨靶标22、胫骨靶标23和基座靶标24)，导航系统(可搭载光学定位系统(例如：光学相机51等光学追踪系统)进行手术装置11上基座、机械臂12和截骨导板31的坐标获取，以实现多个坐标系之间的转换关系的确定。配准的过程可以是将虚拟机械臂模型和机械臂实体12建立映射关系的过程，例如，两者坐标的映射关系建立。其中，虚拟机械臂模型可以预先建立也可以通过激光扫描得到的。机械臂12的起始位姿和目标手术位姿可以基于手术方案确定。考虑到不同手术场景下，其采用的医疗器械有所差异，所以机械臂12与医疗器械可以是可拆卸连接，用户可根据需要进行医疗器械的选用和安装。

其中，增强现实装置91可以是AR(AugmentedReality)眼镜或AR头盔等可以为用户呈现虚实结合画面的设备。所述增强现实装置91和导航系统61以及手术装置11之间可以采用无线连接方式，提高手术装置移动时的便捷性，避免移动过程中因布线导致的磕绊。位姿变化信息是指机械臂从起始位置移动至目标截骨位置的过程中，机械臂各关节的位置和姿态的变化情况。真实手术空间下物体包括但不限于上述手术装置、手术床81、机械臂12、待手术骨骼实体对应的患者73以及医生92等。

真实手术空间是指进行手术实际操作的机械臂和被治疗的患者所在的空间。真实手术空间下可以包括手术坐标系和机械臂运动坐标系，对于机械臂末端安装有医疗器械的情况下，该医疗器械的运动可基于一独立的机械臂运动坐标系下进行，与骨骼实体的手术坐标系可以是两个独立的坐标系，但也可以是基于同一个空间坐标系进行的位置标定，其取决于真实手术空间下坐标系的定义。本领域技术人员应当理解，此处所指代的真实手术空间是指具有真实物体的场景，其内物体可处于同一坐标系下也可以处于不同的坐标系下，但不同坐标系可以进行坐标转换，最终均可将坐标全部转换为机械臂所在坐标系下的物体坐标，以便手术装置基于此坐标驱动机械臂12的移动。

具体的，导航系统61基于手术装置11上机械臂12的起始位姿和目标手术位姿确定规划运动路径。然后基于和增强现实装置91的通信连接，增强现实装置91获取导航系统61得到的规划运动路径，在术前，增强现实装置91基于运动路径和位姿变化信息，在其显示空间下确定并显示机械臂12对应的虚拟机械臂模型在虚拟运动路径上的虚拟位姿变化情况，以展示虚拟机械臂模型在虚拟运动路径上与真实手术空间下物体的相对位置关系。用户92可直观了解若以原来得到的规划运动路径进行真实手术空间下机械臂12的运动控制，机械臂12是否会与真实手术空间下的物体发生碰撞以及机械臂12是否会因为到达奇异点导致无法继续运动，基于展示的具体情况，用户92可进一步调整机械臂12的起始位姿、规划运动路径等，以便能够一次性控制机械臂12运动至用户92手术所期望的目标截骨位置。

通过利用增强现实装置91的虚实结合显示能力，进行虚拟机械臂模型在显示空间坐标系下的运动轨迹预演，帮助用户92在术前直观地判断是否会发生机械臂12碰撞事件或机械臂12运动到达奇异点的情况，并进行术前调整，以预防机械臂12在自动定位过程中发生碰撞。

在其中一个实施例中，虚拟手术模型可以是基于术前进行待手术骨骼实体(如71和72)的扫描图像所得到的。虚拟机械臂模型也可以是术前由导航系统基于对实体机械臂12的拍摄、扫描等得到的。

在其中一个实施例中，增强现实装置91还用于响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；并根据修正后的规划运动路径在增强现实装置91上显示虚拟机械臂模型的位姿变化过程。对虚拟机械臂模型的位姿变化过程进行调整操作的实现方式，可以是用户在真实手术空间调整机械臂的起始位姿、目标手术位姿等去实现的，也可以是用户基于增强现实装置91的界面，在增强现实装置91的视觉范围内对显示的虚拟机械臂模型进行位姿调整实现的。不管是基于真实手术空间下的机械臂位姿调整还是对虚拟运动路径上的虚拟机械臂模型的位姿进行的调整，增强现实装置91均可以基于该调整操作，重新规划一条虚拟运动路径并确定该虚拟运动路径上虚拟机械臂模型的位姿变化情况，称之为修正后的规划运动路径，该规划运动路径是指增强现实装置91的显示空间坐标系下的规划路径，根据该规划运动路径增强现实装置91显示虚拟机械臂模型在新的虚拟运动路径上的新位姿变化情况，以展示基于该调整操作后，按照该修正后的规划运动路径，机械臂12是否会与真实手术空间内的物体发生碰撞或机械臂12本身运动至奇异点。

在其中一个实施例中，如图2所示，增强现实装置91用于响应对虚拟机械臂模型的位姿变化过程进行调整操作，形成修正后的规划运动路径的过程包括：

显示位姿调整界面94；

响应于在位姿调整界面94对虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。虚拟机械臂模型可以基于导航系统上搭载的光学追踪系统的定位扫描功能预先建立的。也可以基于其他扫描设备进行预先扫描构建的，本领域技术人员应当理解其可以是预先获知的。上述虚拟机械臂模型和虚拟手术模型均属于虚拟手术空间下，其坐标确定，可基于虚拟手术坐标系确定。但需要理解的是，若强调的是在增强现实装置91上显示的虚拟机械臂模型则指代虚拟机械臂模型从虚拟手术空间下转换到增强现实装置91的显示空间坐标系下所实现的模型显示。

操作时，医生92可使用手指93或触控笔等触发位姿调整界面94左侧的上、下、左、右平移箭头以及旋转的箭头，通过手势识别等技术，即可响应该调整操作，相应的改变机械臂位姿。还可在示意图右侧栏目触发对应的命令按钮更改机械臂12起始位置的调整距离和角度的调节幅度等。当然，此处示例给出两种交互实现界面的具体情况，也可以采用其他显示图标，能够响应机械臂位姿调整动作的界面均属于本申请要保护的范围。

在其中一个实施例中，对虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

具体的，可以是位姿调整界面上显示有机械臂的起始位姿、路径上的机械臂姿态和目标手术位姿中的至少一种位姿调整区域；路径上的机械臂姿态调整区域(用于实现路径上机械臂位姿调整动作)可显示有用于调整运动路径上任意点或多点处机械臂姿态的调控图标，对于那些在运动过程中机械臂发生到达奇异点位置的情况，可通过调整其在运动路径上该点处的机械臂的姿态来避免该奇异点问题。目标手术位姿调整区域(用于实现目标手术位姿调整动作)中可显示有目标截骨位置和截骨导板截骨姿态的图标。机械臂的起始位姿调整区域(用于实现起始位姿调整动作)可显示有调整机械臂的起始位置和姿态的图标，以便通过得到修正后的规划运动路径，并基于修正的规划运动路径再次预演机械臂运动过程，直至达到满足手术要求，从而避免发生机械臂自主移动过程中发生碰撞或机械臂关节到达奇异点的情况。

在其中一个实施例中，如图3所示，增强现实装置还用于对虚拟机械臂模型的位姿变化过程的虚拟机械臂模型进行标记；并响应对虚拟机械臂模型的标记区域的位姿调整操作，形成修正后的规划运动路径；然后根据修正后的规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程。

以图3所示的示例进行说明，增强现实装置可对医生的手势抓取动作进行获取和识别，并基于识别结果调整机械臂的位姿。例如，如图所示，医生可用手抓取标记区域(虚拟长方体框部分95)的机械臂，并抓取后配合手部动作调整机械臂的上、下、左、右平移以及旋转。当然，此处举例的虚拟长方体框只是其中一种方式，也可以直接抓取虚拟机械臂模型进行位姿调整，增强现实装置可基于用户的位姿调整操作，基于该交互动作的识别，调整机械臂的位姿，并基于调整后机械臂的位姿优化虚拟运动路径和虚拟位姿。

当然该优化虚拟运动路径和虚拟位姿的过程也可以是先基于位姿调整操作，确定真实手术空间下机械臂需要调整的起始位姿和目标手术位姿，然后重新进入基于所述机械臂的起始位姿和目标手术位姿确定规划运动路径和位姿变化信息的步骤，增强现实装置91基于重新确定的运动路径和位姿变化信息生成新的虚拟运动路径和虚拟位姿并进行预演。

预演即指代增强现实装置91展示虚拟机械臂模型在虚拟运动路径上的位姿变化情况，可以是如附图所示的，在运动路径上间隔显示虚拟机械臂模型和虚拟截骨导板的虚拟位姿，也可以是以动画的形式展示。若预演过程中发现，虚拟机械臂模型不会发生碰撞事件也不会到达奇异点位置，再基于修正后的规划运动路径进行坐标系转换，得到真实手术空间下机械臂12到达目标手术位姿所需要的规划运动路径。

如图4所示，医生可通过增强现实装置91显示的基于机械臂12起始位姿101和目标手术位姿106下的虚拟运动路径103和该虚拟运动路径103上间隔显示的虚拟机械臂模型34的虚拟位姿，可肉眼判断出机械臂基于当前起始位姿和目标手术位姿下运动会造成碰撞到障碍物105。

此时可通过上述实施例提供的机械臂位姿调整方案，将机械臂12起始位置移动到合适的位置102，通过判断基于新起始位置下的虚拟运动路径104和路径104中间隔显示的虚拟机械臂模型的虚拟位姿，机械臂基于调整后的起始位置下运动不会碰撞到障碍物。通过术前进行预演，在真实机械臂12自动定位移动前就确保了运动路径的安全性。

另外，如图5所示，对于基于机械臂12的起始位姿和目标手术位姿规划的虚拟运动路径显示机械臂12运动过程中到达奇异点位置的情况，如下描述：

如图5所示，医生可通过增强现实装置91显示的虚拟机械臂模型在虚拟运动路径103上运动时的位姿变化情况，由此可看到在该路径103下虚拟机械臂模型的奇异点位置姿态36，并在增强现实装置91的显示界面中弹出报警提示框107。

此时可通过响应上述实施例中的位姿调整动作，将机械臂起始位姿调整到合适的位置102，通过判断基于新的机械臂起始位姿102下的虚拟运动路径104和路径104中间隔显示的虚拟机械臂模型34可知，机械臂12基于调整后的初末位置下运动不会再次报警提示。同样地，在真实机械臂12自动定位移动前就确保了运动路径的安全性。

在其中一个实施例中，所述增强现实装置91还用于：

选取并记录路径调整后的在显示空间坐标系下虚拟运动路径的至少两个拐点的坐标位置；其中，可利用手势识别功能实现拐点的选取；

通过各空间坐标系的坐标转换关系(坐标转换关系的确定可基于其他实施例中的描述)将至少两个拐点的坐标位置转换至机械臂运动坐标系下；

基于机械臂运动坐标系下上述拐点的坐标，规划机械臂12在机械臂运动坐标系下的规划运动路径。

以图6为例进行说明，医生可通过增强现实装置91显示的基于机械臂起始位姿101和目标手术位姿106下的虚拟运动路径103中间隔显示的虚拟机械臂模型34，可用肉眼判断出机械臂基于当前初末位置下运动会造成碰撞到障碍物105。

此时可通过增强现实装置的手势识别模块选取并记录路径调整后的拐点E和拐点F在显示空间坐标系下的坐标位置，并通过各空间坐标系的坐标转换关系转换至机械臂运动坐标系，从而得到拐点E和拐点F在机械臂运动坐标系的坐标，基于该坐标调整虚拟运动路径107计算并显示，通过判断基于新的虚拟运动路径107和路径107中间隔显示的虚拟机械臂模型可知，机械基于调整后的运动路径107不会碰撞到障碍物。在真实机械臂12自动定位移动前就确保了运动路径的安全性。

在其中一个实施例中，增强现实装置91用于响应于在显示虚拟机械臂模型的位姿变化过程后，所进行的路径确认动作，发送虚拟运动路径和虚拟位姿至目标对象，目标对象为导航系统或手术装置；目标对象还用于：基于机械臂12在真实手术空间下的当前起始位姿、虚拟运动路径、虚拟位姿和增强现实装置的显示空间坐标系和真实手术空间的转换关系，计算在真实手术空间下机械臂的最终规划运动路径；并用于在真实手术空间中，机械臂12按照最终规划运动路径运动至目标手术位姿。

其中，路径确认动作可以是用户基于增强现实装置91显示的虚拟机械臂模型和虚拟截骨导板在虚拟运动路径上的虚拟位姿，判断机械臂12按照该路径规划，不会发生碰撞和机械臂12关节到达奇异点位置的情况下所触发的。该路径确认动作可以是用户基于增强现实装置91显示界面上的确认命令图标所触发的，也可以是基于在导航系统61上的显示屏62上操作所触发的，还可以是导航系统61上的键盘63输入信息所触发的，也可以是其他的触发方式。真实手术空间和机械臂运动坐标系可以是一个坐标系，例如，可以以手术室内一不动的物体上一点为坐标原点构建一手术坐标系，机械臂的坐标也可以基于该坐标系确定。

当用户基于增强现实装置91显示的虚拟机械臂模型在虚拟运动路径上的虚拟位姿，确定不会与真实手术空间下的物体发生碰撞，且机械臂自身也不会发生奇异点情况时，用户可进行路径确认动作。此时，增强现实装置91可以基于该路径确认动作，将当前的虚拟运动路径和虚拟位姿(即上述修正的规划运动路径)，发送给导航系统或手术装置，让导航系统或手术装置基于多个坐标系之间的转换关系，将显示空间坐标系下的修正的规划运动路径，转换到真实手术空间下的机械臂最终规划运动路径，机械臂12按照该最终规划运动路径运动至目标手术位姿(若中途有调整该目标手术位姿，则此处的目标手术位姿是指最后一次调整后的目标手术位姿)，在这一过程中，机械臂12不会碰撞周围物体，也不会发生运动至奇异点的情况。

在其中一个实施例中，真实手术空间包括手术坐标系，增强现实装置91用于：基于显示界面定义显示空间坐标系并发送至导航系统61；并获取显示界面中待识别的机械臂末端的光学靶标的坐标信息并发送至导航系统61。导航系统61还用于：获取手术坐标系下待手术实体(例如：患者骨骼)上的光学靶标(股骨靶标22和胫骨靶标23，股骨靶标22和胫骨靶标23又可称为患者靶标)的坐标信息和手术装置11上的基座靶标24的坐标信息；并基于手术坐标系下待手术实体(例如：患者骨骼)上的光学靶标(股骨靶标22和胫骨靶标23)的坐标信息配准虚拟手术模型和待手术实体(患者骨骼)，配准确定虚拟手术空间和手术坐标系的坐标转换关系，虚拟手术空间为术前医学图像所处的空间；获取手术坐标系下，手术装置11的机械臂12上的工具靶标21的坐标信息，并以机械臂12末端的截骨导板31上的截骨槽面32上的中心点为原点建立机械臂运动坐标系，建立手术坐标系和机械臂运动坐标系的转换关系；最后，基于手术坐标系下手术装置11上的光学靶标(基座靶标24)的坐标信息和增强现实装置91的显示界面中待识别的识别图案242的中心点坐标信息进行对应坐标的匹配，确定手术坐标系和显示空间坐标系的坐标转换关系。

导航系统61可以包括光学追踪系统，与手术装置11和增强现实装置91通信连接。光学追踪系统用于定义一手术坐标系，并获取手术坐标系下待手术骨骼实体上的光学靶标(如图示的股骨靶标22和胫骨靶标23)的坐标信息，以及获取手术坐标系下，手术装置11的机械臂12上的工具靶标21的坐标信息，并以机械臂12末端的截骨导板31上的截骨槽面32上的中心点为原点建立机械臂运动坐标系，获取手术坐标系和机械臂运动坐标系的转换关系。光学追踪系统用于定义一手术坐标系，并获取手术坐标系下手术装置61上的基座靶标24的坐标信息，结合从增强现实装置91处获取的显示空间坐标系和其显示界面中待识别的识别图案242的中心点坐标信息，计算出手术坐标系和显示空间坐标系的坐标转换关系。进一步，间接建立显示空间坐标系和机械臂运动坐标系的转换关系。

光学追踪系统可以包括光学相机51、辅助显示器52等设备。可以进行坐标测量，当其包括光学相机51时，可以自我定位构建光学定位系统坐标系，对应为手术坐标系。

在其中一个实施例中，机械臂12末端设置有医疗器械，真实手术空间还包括机械臂运动坐标系，手术装置11上设有工具靶标21，工具靶标21设置于机械臂12的末端，导航系统61还用于：以机械臂31末端的截骨导向工具31的截骨槽面32的中心点为原点建立机械臂12的机械臂运动坐标系，具体的，获取手术坐标系下，尖头靶标241(探针)对应到截骨槽面32上A1B1C1D1四个点(或者至少四个点)的坐标，以并转换到真实手术空间的导航系统61的光学相机51的工具靶标21坐标系下；基于尖头靶标241得到的截骨槽面32上A1B1C1D1四个点的坐标位置和真实手术空间的光学相机51的工具靶标21的坐标位置，确定手术坐标系(工具靶标21坐标系)与机械臂运动坐标系(截骨槽面32坐标系)的坐标转换关系。

通过这种光学靶标定位和尖头靶标(探针)坐标点匹配的方式，确定手术坐标系与机械臂运动坐标系的坐标转换关系，无需对现有的导航系统61做较大改变，仅需要对其作以软件改进即可。可通过增加增强现实装置91来进行机械臂运动过程的预演，成本低，且效果好，利于大规划推广应用。

在其中一个实施例中，如图1所示，光学追踪系统用于定义一手术坐标系的过程可以是获取手术装置11的基座靶标24在光学定位系统(例如：光学相机51)坐标系下的坐标，并将该点为坐标原点，构建手术坐标系。

在其中一个实施例中，导航系统61还用于基于手术坐标系下光学靶标物(股骨靶标22和胫骨靶标23)的坐标信息配准虚拟手术模型(如术前医学图像的骨骼模型)和待手术骨骼实体。

增强现实装置91用于基于显示界面定义显示空间坐标系，并基于手术坐标系下手术装置11上的光学靶标(基座靶标24)的坐标信息，显示界面中待识别的识别图案242中心点为原点建立显示空间坐标系。

在其中一个实施例中，可以在手术装置11的基座上设置基座靶标24，以便光学追踪系统进行定位，具体的，光学追踪系统的光学相机51识别基座靶标24构建手术坐标系。

进一步，构建手术坐标系(基座靶标24坐标系)和显示空间坐标系(识别图案242坐标系)。

上述构建手术坐标系和显示空间坐标系的坐标转换关系的过程可以是，以增强现实装置91的显示视野中的识别图像242的中心点为原点建立图像坐标系，并如图7所示，利用光学定位系统(光学相机51)获取尖头靶标241对应到识别图像242上至少四个点，例如ABCD四个点的坐标，并转换到手术坐标系(基座靶标24坐标系)下。

再以前两步得到的对应点的坐标，利用匹配算法即可得到图像坐标系与手术坐标系两者之间的坐标转换关系。

然后利用图像识别算法得到显示空间坐标系下ABCD四个点的坐标；

再以ABCD四个点在图像坐标系下的坐标和显示空间坐标系下ABCD四个点的坐标得到的对应点坐标，利用匹配算法即可得到图像坐标系与显示空间坐标系两者之间的坐标转换关系。

进一步的，根据图像坐标系与手术坐标系两者之间的坐标转换关系以及图像坐标系与显示空间坐标系两者之间的坐标转换关系，可得到手术坐标系(基座靶标24坐标系)和显示空间坐标系的坐标转换关系。

需要说明的是，关于真实手术空间下包括手术坐标系(基座靶标24坐标系)和机械臂运动坐标系(工具靶标21所在坐标)两个坐标系的情况下，上述实施例中对于真实手术空间下机械臂12的运动控制实现均可以理解为基于机械臂12在机械臂运动坐标系下的规划运动路径所进行的。而机械臂运动坐标系下的规划运动路径的获取可以基于几个坐标系之间的转换关系来确定。

在其中一个实施例中，导航系统还用于：基于机械臂的起始位姿和目标手术位姿，确定机械臂运动坐标系下的规划运动路径。增强现实装置91用于：根据虚拟手术空间和手术坐标系的坐标转换关系、手术坐标系与机械臂运动坐标系的坐标转换关系、手术坐标系和显示空间坐标系的坐标转换关系以及机械臂运动坐标系下的规划运动路径，在增强现实装置91上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

基于虚拟手术空间和手术坐标系的坐标转换关系、手术坐标系与机械臂运动坐标系的坐标转换关系，可以确定虚拟手术空间和机械臂运动坐标系的坐标转换关系，然后利用该坐标转换关系，可以根据规划运动路径得到虚拟运动路径和虚拟位姿。然后可进一步利用虚拟手术空间和显示空间坐标系的坐标转换关系(以手术坐标系为中间转换媒介实现两个坐标系的转换)，将虚拟运动路径和虚拟位姿转换到增强现实装置91的显示空间坐标系下进行显示。

对于手术室内真实存在的物体，也可以基于其所处的坐标系与显示空间坐标系的转换关系，将其转换到显示空间坐标系下进行显示。通过这种虚实融合，在增强现实装置91上显示虚拟机械臂模型在虚拟运动路径上的虚拟位姿变化情况，展示虚拟机械臂与手术室内真实存在的物体之间的相对位置关系。

在其中一个实施例中，导航系统还用于：根据虚拟手术空间和手术坐标系的坐标转换关系、手术坐标系与机械臂运动坐标系的坐标转换关系以及手术坐标系和显示空间坐标系的坐标转换关系，确定机械臂运动坐标系和显示空间坐标系的坐标转换关系；基于机械臂12在机械臂运动坐标系下的当前起始位姿、显示空间坐标系下的虚拟运动路径和虚拟位姿以及机械臂运动坐标系和显示空间坐标系的坐标转换关系，得到在机械臂运动坐标系下机械臂的最终规划运动路径；控制机械臂在机械臂运动坐标系下按照最终规划运动路径运动至目标手术位姿。

用户通过增强现实装置91所显示的虚拟机械臂的位姿变化过程，若确定不会发生机械臂碰撞事件或运动至奇异点的情况，此时可利用反变换，基于显示空间坐标系下的虚拟运动路径和虚拟位姿将该运动路径和位姿转换到机械臂运动坐标系下的运动路径和位姿，转换后得到的运动路径和位姿即为最终规划运动路径。机械臂12基于该最终规划运动路径运动至目标手术位姿，进行后续手术操作，机械臂12运动过程中未发生碰撞事件或无法继续移动的情况。

对于骨科手术应用场景来说，为了进一步提高定位导航的精确度，考虑到光学追踪系统不容易在固定位置获取到截骨导板31各部位的具体位置坐标，所以，在其中一个实施例中，光学追踪系统还用于：

以截骨导板31上一截骨槽面32的中心点为原点建立机械臂12的机械运动空间的坐标系；

获取在机械运动空间的坐标系下截骨槽面32上至少四个点的坐标；

获取手术装置的机械臂末端上的工具靶标21上另一尖头靶标241上的至少四个点在手术坐标系的坐标系下的坐标；

将截骨槽面32上的点与工具靶标21上点进行特征匹配；匹配的过程是将对应标记的点进行匹配。

然后基于特征匹配结果和截骨槽面32上的点的坐标以及工具靶标21上点的坐标，确定手术坐标系与机械臂运动坐标系的坐标转换关系。实现手术坐标系与机械臂运动坐标系的坐标转换关系，上述实施例中在手术坐标系下进行的机械臂运动，都可转换到机械臂运动坐标系进行。且上述增强现实装置显示的虚拟机械臂模型和虚拟截骨导板的在虚拟运动路径上的虚拟位姿，皆可以是基于机械臂运动坐标系和显示空间坐标系的坐标转换关系所建立的。

在其中一个实施例中，如图8所示，机械臂末端可设置有工具靶标21，光学追踪系统可基于工具靶标21的位置获取所建立的手术坐标系下，确定工具靶标21在手术坐标系下的坐标。

上述确定手术坐标系与机械臂运动坐标系的坐标转换关系的计算过程可以是：

可借助光学追踪系统以机械臂末端的截骨导板31的其中一个截骨槽面32的中心点为原点建立坐标系，得到该坐标系下如图8所示的至少四个点，例如A1B1C1D1四个点的坐标；

然后获取截骨导板31上截骨槽面32对应的如图8所示的另一尖头靶标241在光学定位系统(例如：光学相机)坐标系下的A1B1C1D1四个点坐标，并转换到手术坐标系(工具靶标21所在坐标系)下；

以前两步得到的对应点的坐标，利用匹配算法即可得到机械臂12末端的截骨槽面32所在机械臂运动坐标系与工具靶标21所在手术坐标系之间的坐标转换关系。

如图9所示，各空间坐标系的坐标转换关系可如图所示的关系进行确定。具体的，各空间坐标系的转换关系计算过程可以是：

虚拟手术坐标系V到机械臂运动坐标系R的坐标转换关系可以通过下式计算得到，用于将虚拟目标截骨面信息转换到机械臂运动坐标系下：

RT_V＝CT_V*RT_C

其中，虚拟手术坐标系V和手术坐标系C的变换关系CT_V可通过CT(ComputedTomography，电子计算机断层扫描)图像坐标系中三维重建的虚拟手术模型表面的点云数据和光学追踪系统记录的患者待手术骨骼实体表面上的特征点云数据的坐标转换关系得到的。

手术坐标系C与机械臂运动坐标系R的变换关系RT_C可通过上述实施例中的描述过程实现。

另外，显示空间坐标系D到机械臂运动坐标系R的坐标转换关系可以通过下式计算得到，用于增强现实装置显示机械臂位姿变化与机械臂位姿调整：

RT_D＝DT_C*RT_C

其中，显示空间坐标系D和手术坐标系C的变换关系CT_V可通过上述实施例中的计算过程得到。

在其中一个实施例中，确定虚拟运动轨迹的过程可以是：

根据上述各空间坐标系的坐标转换关系，获取机械臂末端的截骨导板的各截骨面槽(用于引导医生将图1的摆锯41定位至目标截骨面)与对应的虚拟目标截骨面之间的转换矩阵；

根据该转换矩阵、机械臂12的起始位姿以及目标手术位姿，利用机器人逆运动学计算从机械臂起始位置运动到目标截骨位置下的各机械臂12关节的运动参数；

根据各机械臂12关节的运动参数，生成虚拟运动轨迹。

在其中一个实施例中，机械臂12可选用5轴机械臂12，如图10所示，当然，需要说明的，本申请的控制系统也同样适用于其他轴数的机械臂12。

截骨导板31通过接口33安装在机械臂12末端，转动截骨导板31可通过控制机械臂12轴的转动实现，以带动截骨导板31对准目标截骨面，进行截骨导向。

为进一步提高机械臂定位导航的精度，可基于截骨导板建立一机械臂运动坐标系，区别于骨骼实体所处的手术坐标系，基于上述坐标系变换，基于机械臂运动坐标系和显示空间坐标系的坐标转换关系，在显示空间坐标系下展示虚拟机械臂模型和虚拟截骨导板在虚拟路径上的虚拟位姿，该虚拟路径和虚拟位姿的生成过程，由于是基于机械臂运动坐标系下的坐标所确定的，所以其更加精准，当以截骨导板面的导向槽为基础建立机械臂运动坐标系时，在显示空间坐标系预演的机械臂和截骨导板的运动轨迹，更加精准地反映真实手术空间下机械臂末端截骨导板的运动情况。

上述系统，如图11所示，医生根据增强现实装置91显示的机械臂虚拟运动路径与路径中的虚拟位姿，可以在机械臂运动之前提前判断机械臂基于当前初末位姿下进行截骨定位时机械臂12是否会碰撞到干扰物，是否会达到机械臂12的奇异点位置，提高手术截骨定位的安全性。另外，可引导医生可无接触地操作机械臂12至合适的初始位置及运动路径再去执行自动截骨定位操作，可避免重复自动定位，提高了手术截骨定位的效率。此外，引导医生可无接触地操作机械臂12的方式，节省了人力，提高了手术的智能化水平，并减少了污染无菌区域的风险。

第二方面，本申请实施例还提供了一种控制方法，应用于上述手术机器人系统，如图12所示，该方法包括：

S200：获取导航系统确定的真实手术空间下的规划运动路径；其中，规划运动路径包括运动路径和机械臂沿运动路径运动的位姿变化信息，机械臂搭载在手术装置上；

S400：根据规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

在其中一个实施例中，如图13所示，上述控制方法还包括：

S600：响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；

S800：根据修正后的规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程。

关于该方法实施例中，各名词释义以及其实现过程，均可参照上述系统实施例中的描述，在此不做赘述。需要说明的是，关于该方法的执行主体可以是上述系统实施例中描述的主体执行的，也可以是单独的控制器实现的，若是单独的控制器实现的情况下，该控制器可以与上述手术装置和增强现实装置通信，可获取其生成的数据，也可以控制手术装置驱动机械臂的运动。

在其中一个实施例中，响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，如图14所示，包括：

S620：显示位姿调整界面；

S640：响应于在位姿调整界面对虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。

在其中一个实施例中，对虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

在其中一个实施例中，如图14所示，响应对虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，包括：

S660：对虚拟机械臂模型的位姿变化过程的虚拟机械臂模型进行标记；

S680：响应对虚拟机械臂模型的标记区域的位姿调整操作，形成修正后的规划运动路径。

在其中一个实施例中，如图15所示，上述方法还包括：

S900：响应于在显示虚拟机械臂模型的位姿变化过程后所进行的路径确认动作，发送虚拟运动路径和虚拟位姿至目标对象，使目标对象基于虚拟运动路径和虚拟位姿确定最终规划运动路径；

其中，最终规划运动路径用于指示机械臂按照最终规划运动路径运动至目标手术位姿，目标对象为导航系统或手术装置。

在其中一个实施例中，基于所述机械臂的起始位姿和目标手术位姿确定规划运动路径和位姿变化信息的步骤之前可以包括：

获取CT图像；所述CT图像数据包括待手术骨骼实体；

对所述CT图像进行骨骼分割；

基于骨骼分割结果进行骨骼三维重建；

在所述CT图像上标记解剖学标志点；

基于所述解剖学标志点进行假体摆位，以获取目标截骨面等手术方案的信息。

在术中，将机械臂搭载的手术装置和搭载有光学追踪系统的导航系统放置在病床81旁边合适位置，以上述实施例中的描述，在实体骨骼和机械臂、手术装置上安装光学靶标，以便进行光学追踪，实现关键位置的定位，构建坐标系。然后采集骨骼实体上的光学靶标的位置数据，进而根据实际采集的真实空间下的骨骼实体的特征点与虚拟手术空间下虚拟手术模型的特征点数据，利用特征匹配算法将真实手术空间与虚拟手术空间匹配，构建两个空间之间的坐标转换关系。

进而进行术中方案调整，执行上述实施例中基于增强现实装置显示的虚拟机械臂模型和虚拟截骨导板在虚拟运动路径下的虚拟位姿的显示方案。基于该显示内容判断是否需要进行机械臂起始位姿的调整或目标手术位姿的调整等，在判断不会发生碰撞或机械臂运动过程中到达奇异点位置的情况下，驱动机械臂按照最新生成的规划运动路径和位姿变化信息进行自动移动，进行截骨操作，然后医生进行假体安装，完成手术。术中过程，无需多次停下机械臂进行位姿调整，可大大提高操作效率。

关于上述方法实施例中的方案实现过程，均可参见上述系统实施例中的描述，在此不做赘述。

另外，需要强调的是，本申请实施例提供的控制方法，还包括上述系统实施例中手术装置、增强现实装置以及光学追踪系统所执行的各个步骤，并实现相应的有益效果。当然执行该步骤也可以是单独的控制器实现的，如上实施例中所述，在此不做赘述。

需要说明的是，上述实施例中，关于空间坐标系的坐标转换关系的确认即指代各个空间之间的坐标转换关系的确认。

应该理解的是，虽然图示的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

第三方面，本申请实施例还提供了一种控制装置，应用于上述手术机器人系统，如图16所示，该装置包括：

路径规划模块200，用于获取导航系统确定的真实手术空间下的规划运动路径；其中，规划运动路径包括运动路径和机械臂沿运动路径运动的位姿变化信息，机械臂搭载在手术装置上；

预演模块400，用于根据规划运动路径在增强现实装置上显示虚拟机械臂模型的位姿变化过程，虚拟机械臂模型的位姿变化过程包括虚拟机械臂模型的虚拟运动路径和虚拟位姿。

关于控制装置的具体限定可以参见上文中对于控制方法的限定，在此不再赘述。上述控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。计算机设备可以是上述手术装置、增强现实装置和光学追踪系统中的至少一个。也可以是独立的控制器。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述控制方法的任意步骤，然后实现相应的有益效果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述控制方法的部分或全部步骤，并实现相应的有益效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种手术机器人系统，其特征在于，包括：

手术装置，搭载有机械臂；

导航系统，用于基于所述机械臂的起始位姿和目标手术位姿，确定真实手术空间中的机械臂的规划运动路径，所述规划运动路径包括运动路径和所述机械臂沿所述运动路径运动的位姿变化信息；以及

增强现实装置，所述增强现实装置与所述导航系统通信连接，用于获取所述规划运动路径，并根据所述规划运动路径在所述增强现实装置上显示虚拟机械臂模型的位姿变化过程，所述虚拟机械臂模型的位姿变化过程包括所述虚拟机械臂模型的虚拟运动路径和虚拟位姿。

2.根据权利要求1所述的手术机器人系统，其特征在于，所述增强现实装置还用于响应对所述虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；

根据所述修正后的规划运动路径在所述增强现实装置上显示所述虚拟机械臂模型的位姿变化过程。

3.根据权利要求2所述的手术机器人系统，其特征在于，所述增强现实装置用于响应对所述虚拟机械臂模型的位姿变化过程进行调整操作，形成修正后的规划运动路径的过程包括：

显示位姿调整界面；

响应于在所述位姿调整界面对所述虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。

4.根据权利要求3所述的手术机器人系统，其特征在于，对所述虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

5.根据权利要求1-4中任一项所述的手术机器人系统，其特征在于，所述增强现实装置用于响应于在显示所述虚拟机械臂模型的位姿变化过程后所进行的路径确认动作，发送所述虚拟运动路径和所述虚拟位姿至目标对象，所述目标对象为所述导航系统或所述手术装置；

所述目标对象还用于：

基于所述机械臂在所述真实手术空间下的当前起始位姿、所述虚拟运动路径、所述虚拟位姿和所述增强现实装置的显示空间坐标系和所述真实手术空间的转换关系，计算在所述真实手术空间下所述机械臂的最终规划运动路径；

在真实手术空间中，所述机械臂按照所述最终规划运动路径运动至所述目标手术位姿。

6.根据权利要求1所述的手术机器人系统，其特征在于，所述真实手术空间包括手术坐标系，所述增强现实装置用于：

基于显示界面定义显示空间坐标系并发送至所述导航系统；

获取所述显示界面中待识别的所述手术装置上的识别图案的坐标信息并发送至所述导航系统；

所述导航系统还用于：

基于待手术实体上的光学靶标定义所述手术坐标系，并获取所述手术坐标系下所述待手术实体上的光学靶标的坐标信息和所述手术装置上基座靶标的光学靶标的坐标信息；

基于所述手术坐标系下所述手术装置上基座靶标的光学靶标的坐标信息和所述显示界面中待识别的识别图案的坐标信息进行对应点坐标的特征匹配，确定所述手术坐标系和所述显示空间坐标系的坐标转换关系。

7.根据权利要求6所述的手术机器人系统，其特征在于，所述机械臂末端设置有医疗器械，所述真实手术空间还包括机械臂运动坐标系，所述手术装置包括医疗器械，所述手术装置上的光学靶标还包括工具靶标，所述工具靶标设置于所述机械臂末端，所述导航系统还用于：

以所述医疗器械一端面的至少四个点的中心点为原点建立机械臂运动坐标系；

获取在所述机械臂运动坐标系下所述端面上至少四个点的坐标；

获取在所述手术坐标系下所述工具靶标的坐标；

将所述端面上的至少四个点的坐标与所述工具靶标的坐标进行匹配，确定所述手术坐标系与所述机械臂运动坐标系的坐标转换关系。

8.根据权利要求7所述的手术机器人系统，其特征在于，所述导航系统还用于：

基于所述机械臂的起始位姿和目标手术位姿，确定所述机械臂运动坐标系下的规划运动路径；

所述增强现实装置用于：

根据虚拟手术空间和所述手术坐标系的坐标转换关系、所述手术坐标系与所述机械臂运动坐标系的坐标转换关系、所述手术坐标系和所述显示空间坐标系的坐标转换关系以及所述机械臂运动坐标系下的规划运动路径，在所述增强现实装置上显示所述虚拟机械臂模型的位姿变化过程，所述虚拟机械臂模型的位姿变化过程包括所述虚拟机械臂模型的虚拟运动路径和虚拟位姿。

9.根据权利要求8所述的手术机器人系统，其特征在于，所述导航系统还用于：

根据所述虚拟手术空间和所述手术坐标系的坐标转换关系、所述手术坐标系与所述机械臂运动坐标系的坐标转换关系以及所述手术坐标系和所述显示空间坐标系的坐标转换关系，确定所述机械臂运动坐标系和所述显示空间坐标系的坐标转换关系；

基于机械臂在所述机械臂运动坐标系下的当前起始位姿、所述显示空间坐标系下的所述虚拟运动路径和所述虚拟位姿以及所述机械臂运动坐标系和所述显示空间坐标系的坐标转换关系，得到在所述机械臂运动坐标系下所述机械臂的最终规划运动路径；

控制所述机械臂在所述机械臂运动坐标系下按照所述最终规划运动路径运动至所述目标手术位姿。

10.一种控制方法，其特征在于，应用于权利要求1-9中任一项所述的手术机器人系统，所述方法包括：

获取导航系统确定的真实手术空间下的规划运动路径；其中，所述规划运动路径包括运动路径和机械臂沿所述运动路径运动的位姿变化信息，所述机械臂搭载在手术装置上；

根据所述规划运动路径在所述增强现实装置上显示虚拟机械臂模型的位姿变化过程，所述虚拟机械臂模型的位姿变化过程包括所述虚拟机械臂模型的虚拟运动路径和虚拟位姿。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

响应对所述虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径；

根据所述修正后的规划运动路径在所述增强现实装置上显示所述虚拟机械臂模型的位姿变化过程。

12.根据权利要求11所述的方法，响应对所述虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，包括：

显示位姿调整界面；

响应于在所述位姿调整界面对所述虚拟机械臂模型的位姿变化过程进行的调整动作，形成修正后的规划运动路径。

13.根据权利要求12所述的方法，其特征在于，对所述虚拟机械臂模型的位姿变化过程进行的调整动作包括起始位姿调整动作、路径上机械臂位姿调整动作和目标手术位姿调整动作中的至少一种。

14.根据权利要求11所述的方法，其特征在于，所述响应对所述虚拟机械臂模型的位姿变化过程进行的调整操作，形成修正后的规划运动路径，包括：

对所述虚拟机械臂模型的位姿变化过程的虚拟机械臂模型进行标记；

响应对所述虚拟机械臂模型的标记区域的位姿调整操作，形成修正后的规划运动路径。

15.根据权利要求10-14中任一项所述的方法，其特征在于，所述方法还包括：

响应于在显示所述虚拟机械臂模型的位姿变化过程后所进行的路径确认动作，发送所述虚拟运动路径和所述虚拟位姿至所述目标对象，使所述目标对象基于所述虚拟运动路径和所述虚拟位姿确定最终规划运动路径；

其中，所述最终规划运动路径用于指示所述机械臂按照所述最终规划运动路径运动至目标手术位姿，所述目标对象为所述导航系统或所述手术装置。

Images