CN113456221B - 可移动设备的摆位指引方法及系统、手术机器人系统 - Google Patents

Abstract

本发明提供了一种可移动设备的摆位指引方法及系统、手术机器人系统，可移动设备的摆位指引方法包括：获取固定设备的三维坐标信息；根据固定设备的三维坐标信息、以及可移动设备的姿态规划可移动设备的目标摆放位置；获取可移动设备的三维模型；使可移动设备的三维模型处于目标摆放位置并叠加显示于现实场景中。将该摆位指引方法应用于手术机器人系统时，有利于帮助操作者快速且准确地完成手术机器人系统的各个设备的摆位，有利于缩短手术时间。

Description

可移动设备的摆位指引方法及系统、手术机器人系统

技术领域

本发明涉及医疗器械技术领域，具体涉及一种可移动设备的摆位指引方法及系统、手术机器人系统。

背景技术

随着人们对于医疗的逐步重视，手术机器人技术也在飞速发展。手术机器人不仅能够替代医生的眼睛，使医生能够看到病人体内的立体的脏器图像，帮组医生判断病灶组织位置，还能够替代医生的双手完成精准、复杂、灵活的手术操作。不仅于此，利用手术机器人执行微创伤手术还能够减少手术风险和术后并发症的发生概率。

手术机器人所包含的设备的体积均较大，需要在专门的手术室进行手术，若各种设备的摆放不当，极容易出现手术机器人与其他设备相碰撞、手术机器人的机械臂难以伸展的情况，从而影响操作的精确性，此时需要重新调整手术机器人各个设备的位置，延长手术时间。

发明内容

本发明的目的在于提供一种可移动设备的摆位指引方法及系统、手术机器人系统，旨在准确地引导操作者对各类可移动设备例如手术机器人系统的医生控制端设备、图像台车、患者操作端设备等进行摆位，缩短手术时间。

为实现上述目的，本发明提供了一种可移动设备的摆位指引方法，包括：

获取固定设备三维坐标信息；

根据所述固定设备的三维坐标信息以及可移动设备的姿态规划所述可移动设备的目标摆放位置；

获取所述可移动设备的三维模型；

使所述可移动设备的三维模型处于所述目标摆放位置并叠加显示于现实场景中。

可选地，所述摆位指引方法还包括：

获取所述可移动设备的三维坐标信息；

根据所述可移动设备的三维坐标信息、所述固定设备的三维坐标信息、所述可移动设备的姿态、以及所述可移动设备的目标摆放位置规划所述可移动设备的移动路径，以使所述可移动设备按照所述移动路径移动时抵达所述目标摆放位置且不与所述固定设备发生干涉；

将所述移动路径叠加显示于现实场景中。

可选地，所述摆位指引方法还包括：

实时地获取所述可移动设备的三维坐标信息；

根据所述可移动设备的实时的三维坐标信息、所述固定设备的三维坐标信息以及所述目标摆放位置的三维坐标信息的相对关系实时地更新所述可移动设备的移动路径；

将更新的移动路径叠加显示于现实场景中。

可选地，所述可移动设备的数量为多个，所述摆位指引方法还包括：

获取当前正在进行摆位的可移动设备的三维坐标信息；

根据所述当前正在进行摆位的可移动设备的三维坐标信息和目标摆放位置、所述固定设备的三维坐标信息、其他的可移动设备的三维坐标信息、所述当前正在进行摆位的可移动设备以及所述其他的可移动设备的姿态，规划所述当前正在进行摆位的可移动设备的移动路径，以使所述当前正在进行摆位的可移动设备沿所述移动路径移动时，抵达所述目标摆放位置且在移动过程中不与所述固定设备及所述其他可移动设备发生干涉；

将所述移动路径叠加显示于现实场景中。

可选地，所述摆位指引方法还包括：

实时地获取所述当前正在进行摆位的可移动设备及其他可移动设备的三维坐标信息；

根据所述当前正在进行摆位的可移动设备的实时的三维坐标信息、所述其他的可移动设备的实时的三维坐标信息、所述固定设备的三维坐标信息、以及所述当前正在进行摆位的可移动设备的目标摆放位置的三维坐标信息的相对关系实时地更新所述移动路径；

将更新的移动路径叠加显示于现实场景中。

可选地，所述摆位指引方法还包括：

通过所述可移动设备的三维坐标信息确定所述可移动设备的位姿；将所述可移动设备的三维模型与所述可移动设备的位姿进行虚实融合配准，并叠加显示于现实场景中。

可选地，所述摆位指引方法还包括：

实时获取所述可移动设备的三维坐标信息与所述目标摆放位置的三维坐标信息的偏差，并根据所述偏差判断所述可移动设备是否抵达所述目标摆放位置。

可选地，所述可移动设备的数量为多个，所述摆位指引方法还包括：根据预设规则规划多个所述可移动设备的摆位顺序。

为实现上述目的，本发明还提供了一种摆位指引系统，包括：

定位装置，用于获取固定设备的三维坐标信息及可移动设备的三维坐标信息；

增强现实装置，用于将可移动设备的三维模型、可移动设备的移动路径叠加显示于现实场景中；以及，

控制单元，与所述定位装置及所述增强现实装置通讯连接，并被配置用于执行如前任一项所述的可移动设备的摆位指引方法。

可选地，所述控制单元被配置用于基于所述定位装置建立所述增强现实装置的坐标系与所述可移动设备的坐标系及所述固定设备的坐标系之间的映射关系，进而在所述增强现实装置获取的现实场景中叠加显示所述可移动设备的三维模型和、所述可移动设备的移动路径。

可选地，所述控制单元被配置用于在世界坐标系中建立所述定位装置的坐标系与所述增强现实装置的坐标系的映射关系，建立所述定位装置的坐标系与所述可移动设备的坐标系的映射关系，以及建立所述定位装置的坐标系与所述固定设备的坐标系的映射关系，进而建立所述增强现实装置、所述可移动设备的坐标系以及所述固定设备的坐标系之间的映射关系。

可选地，所述定位装置设置于所述增强现实装置上；所述定位装置的坐标系通过机械位置与所述增强现实装置的坐标系建立映射关系。

可选地，所述定位装置与所述增强现实装置分离；通过所述定位装置获取所述增强现实装置的三维坐标信息，建立所述定位装置的坐标系与所述增强现实装置的坐标系的映射关系。

为实现上述目的，本发明还提供了一种手术机器人系统，包括如前任一项所述的摆位指引系统和可移动设备，所述可移动设备包括医生控制端设备、图像台车和患者操作端设备中的至少一者。

为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，执行如前任一项所述的可移动设备的摆位指引方法。

与现有技术相比，本发明的可移动设备的摆位指引方法及系统、手术机器人系统具有如下优点：

前述的可移动设备的摆位指引方法包括：获取固定设备的三维坐标信息；根据所述固定设备的三维坐标信息和可移动设备的姿态规划所述可移动设备的目标摆放位置；获取所述可移动设备的三维模型；使所述可移动设备的三维模型处于所述目标摆放位置并叠加显示于显示场景中。通过采用本发明提供的可移动设备的摆位指引方法，可使所述可移动设备的三维模型、所述目标摆放位置与实际场景相结合地显示，方便指引操作者将所述可移动设备移动至所述目标摆放位置而完成摆位操作。将该摆位指引方法应用手术所使用的医疗设备的摆位时，可快速准确地完成设备的摆位，避免在手术过程中出现各个设备之间相互干扰的情况，有利于节省手术时间。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明根据一实施例所提供的手术机器人系统的应用场景示意图；

图2是本发明根据一实施例所提供的手术机器人系统的应用场景示意图，图2与图1的区别之处在于观察方位不同；

图3是本发明根据一实施例所提供的可移动设备的摆位指引方法的流程图；

图4是本发明根据一实施例所提供的可移动设备的摆位指引方法中利用双目视觉装置获取可移动设备的三维模型时的示意图；

图5是本发明根据一实施例所提供的双目立体视觉三维测量的原理示意图；

图6是本发明根据一实施例所提供的可移动设备的摆位指引方法中对医生控制端设备进行摆位时，医生控制端设备的移动方向示意图；

图7是本发明根据一实施例所提供的可移动设备的摆位指引方法中对图像台车进行摆位时，图像台车的移动方向示意图；

图8是本发明根据一实施例所提供的可移动设备的摆位指引方法中对患者执行端设备进行摆位时，患者执行端的移动方向及支撑机构的移动方向的示意图；

图9是本发明根据一实施例所提供的可移动设备的摆位指引方法中获取可移动设备与其三维模型的空间映射关系时的示意图，图示中双目视觉设备与AR眼镜相互分离；

图10是本发明根据一实施例所提供的可移动设备的摆位指引方法中相互独立的双目视觉装置及AR眼镜的结构示意图；

图11是本发明根据一实施例所提供的可移动设备的摆位指引方法中获取可移动设备与其三维模型的空间映射关系时的示意图，图示中双目视觉装置集成于AR眼镜上；

图12是本发明根据一实施例所提供的可移动设备的摆位指引方法中双目视觉装置集成于AR眼镜时的结构示意图；

图13a是本发明根据一实施例所提供的可移动设备的摆位指引方法中判断医生控制端设备是否抵达目标摆放位置时的示意图；

图13b是本发明根据一实施例所提供的可移动设备的摆位指引方法中判断患者执行端设备是否抵达目标摆放位置时的示意图；

图13c是本发明根据一实施例所提供的可移动设备的摆位指引方法中判断图像台车是否抵达目标摆放位置时的示意图；

图14是本发明根据一实施例所提供的手术机器人系统中的医生控制端设备、患者执行端设备及图像台车的摆位流程图。

[附图标记说明如下]：

110-医生控制端设备，120-患者执行端设备，130-图像台车；

11-病床，12-手术照明灯，13-呼吸机，14-靶标；

200-定位装置，300-增强现实装置。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。

如在本说明书中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，复数形式“多个”包括两个以上的对象，除非内容另外明确指出外。如在本说明书中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外，以及术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的核心思想在于提供一种可移动设备的摆位指引方法、可移动设备的摆位指引系统、手术机器人系统及计算机可读存储介质，旨在帮助操作者快速准确地对手术机器人系统的各个设备进行摆放，避免在手术过程中发生设备干涉而不利于手术进行的情况，有利于缩短手术时间。

为实现上述思想，所述可移动设备的摆位指引方法包括：获取固定设备的三维坐标信息。根据所述固定设备的三维坐标信息和所述可移动设备的姿态规划所述可移动设备的目标摆放位置。获取所述可移动设备的三维模型。使所述可移动设备的三维模型处于所述目标摆放位置并叠加显示于现实场景中，从而指引操作者对所述可移动设备进行摆位。本发明实施例中通过增强现实装置使所述可移动设备的三维模型叠加显示于现实场景中。之后操作者可以根据所述增强现实装置中显示的所述可移动设备的三维模型和所述目标摆放位置进行所述可移动设备的摆位。应理解，针对不同的应用场景，所述可移动设备是指在执行一特定操作前需要通过对其位姿进行调整，以使其处于一合适位姿的设备，所述固定设备是指在执行该特定操作前，位姿已被固定的设备。本领域技术人员可以理解，位姿包括设备的位置和姿态。

本发明实施例中，初始获取的所述固定设备的三维坐标信息可以是所述固定设备在世界坐标系下的三维坐标信息，进而可以规划所可移动设备在世界坐标系下的目标摆放位置。

在规划所述可移动设备的目标摆放位置时，应以所述可移动设备处于所述目标摆放位置时与所述固定设备不发生干涉为基本标准。其中，所述可移动设备的姿态可以由本领域技术人员根据所述可移动设备的具体类型来确定，也可以根据所述可移动设备的长度、高度、宽度的尺寸(也即所述可移动设备的三维坐标信息)确定，相应地，所述目标摆放位置包括所述可移动设备在世界坐标系下的三维坐标信息，也即包括所述可移动设备在X、Y、Z三个方向上的具体位置。并且，一旦所述目标摆放位置规划完成，就可以获得在世界坐标系下所述目标摆放位置的三维坐标系与所述固定设备的三维坐标系之间的映射关系。

本发明实施例中可通过任意合适的方式获取所述可移动设备的三维模型，并通过在世界坐标系下建立所述增强现实装置的坐标系与所述可移动设备的三维模型的坐标系之间的映射关系，将所述可移动设备的三维模型和所述目标摆放位置统一至所述增强现实装置的坐标系中，并使得所述可移动设备的三维模型能够放置在所述目标摆放位置，且通过所述增强现实装置显示。

进一步地，在获取所述可移动设备的目标摆放位置后，还可以获取所述可移动设备的三维坐标信息，并根据所述可移动设备的三维坐标信息、所述固定设备的三维坐标信息、所述可移动设备姿态、以及所述可移动设备的目标摆放位置规划所述可移动设备的移动路径，以使所述可移动设备沿所述移动路径移动时，能够抵达所述目标摆放位置，并在移动过程中不与所述固定设备发生干涉。所述移动路径亦通过所述增强现实装置叠加显示于现实场景中。

本发明实施例中，获取的所述可移动设备的三维坐标信息可以是所述可移动设备在世界坐标系下的三维坐标信息。通过在世界坐标系下建立所述增强现实装置的坐标系与所述可移动设备的三维坐标系之间的映射关系，将所述可移动设备的三维模型与所述可移动设备的实际位置统一至所述增强现实装置的坐标系中，并通过所述增强现实装置显示。具体地，可根据所述可移动设备的三维坐标信息确定所述可移动设备的位姿，并将所述可移动设备的三维模型与所述可移动设备的位姿进行虚实融合配准。利用上述虚实融合配准技术，可指引操作者根据所述增强现实装置的显示，沿所述移动路径移动所述可移动设备，进行摆位。

不仅于此，为确保操作者能够顺利地将所述可移动设备移动至所述目标摆放位置，所述摆位指引方法还优选包括：实时地获取所述可移动设备的三维坐标信息，并根据所述可移动设备的实时三维坐标信息、所述固定设备的三维坐标信息以及所述目标摆放位置的三维坐标信息的相对关系实时更新所述可移动设备的移动路径，并利用所述增强现实装置使更新的移动路径叠加显示于现实场景中。

进一步地，对于应用场景包括多个可移动设备的情况，所述摆位指引方法还包括：根据当前正在进行摆位的可移动设备的三维坐标信息和目标摆放位置、所述固定设备的三维坐标信息、其他可移动设备的三维坐标信息、所述当前正在进行摆位的可移动设备以及其他可移动设备的姿态规划所述当前正在进行摆位的可移动设备的移动路径，以使所述当前正在进行摆位的可移动设备沿所述移动路径移动时，能够抵达目标摆放位置，并在移动过程中不与所述固定设备及其他可移动设备发生干涉。

更进一步地，对于应用场景包括多个可移动设备的情况，所述摆位指引方法还优选包括：实时地获取所述当前正在进行摆位的可移动设备及其他可移动设备的三维坐标信息，并根据所述当前正在进行摆位的可移动设备的实时三维坐标信息、其他可移动设备的实时三维坐标信息、所述固定设备的三维坐标信息以及所述当前正在进行摆位的可移动设备的目标摆放位置的三维坐标信息的相对关系实时更新移动路径。

再进一步地，所述摆位指引方法还可包括：实时地获取所述可移动设备的三维坐标信息与所述目标摆放位置的三维坐标信息的偏差，并根据所述偏差判断所述可移动设备是否抵达所述目标摆放位置。通过位置计算准确地判断所述可移动设备是否抵达所述目标摆放位置，避免人工判断时因主观误差而造成所述可移动设备的摆位不准确。

为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。附图中相同或相似的附图标记代表相同或相似的部件。

图1及图2示出了手术机器人系统时的应用场景示意图。如图1所示，所述手术机器人系统包括医生控制端设备110、患者执行端设备120、图像台车130等设备。所述医生控制端设备110上设置有主操作手。所述患者执行端设备120包括至少一个图像臂(图中为标注)和至少一个工具臂(图中为标注)，所述图像臂用于挂载内窥镜，所述工具臂用于挂载手术器械。所述内窥镜和所述手术器械分别用于从患者身体上的创口进入患者体内，其中，所述内窥镜用于获取人体组织信息、人体内的手术器械信息及手术环境信息，所述手术器械用于执行手术操作。进一步地，所述主操作手与所述工具臂及所述手术器械通信连接，且所述主操作手与所述工具臂及所述手术器械构成主从控制关系。即，所述工具臂在手术过程中根据主操作手的运动而运动，且所述手术器械执行所述主操作手相关的运动指令。也就是说，在手术过程中，医生操作主操作手，以使得所述手术器械执行相应手术操作。与此同时，所述图像台车130用于显示人体内的情况，便于护士观察。

如图2所示，在实际手术过程中，患者被支撑于病床11上，同时手术室内还设置有手术照明灯12、呼吸机13等设备。应理解，在术前准备阶段，所述病床11、所述手术照明灯12、所述呼吸机13等设备已处于固定的位姿，而所述手术机器人系统的所述医生控制端设备110、所述患者执行端设备120、所述图像台车130等设备需要根据所述病床11、所述手术照明灯12、所述呼吸机13等设备的位姿进行合理摆位，以确保在手术过程中所述患者执行端设备120的所述图像臂、所述工具臂能够充分施展，避免与手术室内的各个设备(包括固定设备及其他的可移动设备)产生干涉。

故而，在针对于手术机器人系统执行手术操作的这一特定应用场景中，所述固定设备至少包括病床11、所述手术照明灯12、所述呼吸机13等设备。在术前准备中，且所述医生控制端设备110、所述患者执行端设备120以及所述图像台车130均未摆放至目标摆放位置之前，所述可移动设备包括所述医生控制端设备110、所述患者执行端设备120、所述图像台车130。

接下去，本文以利用手术机器人系统执行手术操作的术前准备为例对本发明所提供的可移动设备的摆位指引方法的应用场景进行详细说明。但应理解，所述可移动设备的指引方法还可以应用于其他系统上，本发明对此不作限定。

图3示出了本发明根据一非限制性的实施例所提供的可移动设备的摆位指引方法的流程图。

请参考图3，在执行所述可移动设备的摆位指引方法时，首先执行步骤S110：获取所述固定设备和所述可移动设备的三维坐标信息。本步骤中，所述固定设备和所述可移动设备的三维坐标信息可以是世界坐标系下的三维坐标信息。所述病床11、所述手术照明灯12、所述呼吸机13、所述医生控制端设备110、所述患者执行端设备120以及所述图像台车130的三维坐标信息均可以基于一定位装置200(如图4所示)获取。具体来说，所述定位装置200用于获取所述固定设备及所述可移动设备的目标信息，所述目标信息用于获取所述相应设备的三维坐标信息。所述定位装置200例如是双目视觉装置。

通过双目视觉装置可基于视差原理由多幅图像获取被测物体的三维几何信息。在机器视觉系统中，双目视觉一般由双摄像机从不同角度同时获取被测物体的两幅数字图像，或由单摄像机在不同时刻从不同角度获取被测物体的两幅数字图像，并基于视差原理恢复出被测物体的三维几何信息，获取被测物体位置。也就是说，以所述双目视觉装置获取被测物体的三维坐标信息时，所述目标信息为所述被测物体的图像信息。

图5示意性地给出了双目视觉装置的三维测量的原理。请参考图5，点P(x,y,z)是被测物体上的一个特征点，O_l是左相机的光心，O_r是右相机的光心。如果用左相机观察点P，看到它在左相机的图像点位于P₁，但我们无法由P_l得知P的三维位置，事实上，在O₁P₁连线上任一点于左相机上的图像点都是P₁，因此，由P₁点的位置，只能知道空间点P位于直线O₁P₁上。同理，从右相机的角度观察，只能知道空间点P位于直线O_rP_r上。由此，当两台相机在同一时刻拍摄被测物体的同一特征点P(x,y,z)，直线O_lP_l与直线O_rP_r的交点即空间点P所处的位置，即空间点P的三维坐标是唯一确定的。

进一步地，两台相机的光心距离即基线b，两台相机的焦距均为f。两台相机在同一时刻拍摄被测物体的同一特征点P(x,y,z)，并根据相似三角形原理得到如下关系式：

进而得到：

由此，可以得到被测物体上的特征点P在所述双目视觉装置(即所述定位装置200)的坐标系下的三维坐标信息。基于同样的原理，得到被测物体上的其他特征点在所述双目视觉装置坐标系下的三维坐标信息，进而得到被测物体在所述双目视觉装置坐标系下的三维坐标信息。

所述定位装置200的坐标系与世界坐标系的映射关系可通过旋转矩阵R与平移向量t得到。被测的点P在所述定位装置200的坐标系下的坐标P(x_c,y_c,z_c)与其在世界坐标系下的坐标P(x_w,y_w,z_w)之间满足如下关系：

其中，R为3×3的矩阵，t为3×1的向量，0为(0,0,0)，M_b为4×4的矩阵，也被称为相机外部参数矩阵，所述相机外部参数矩阵可以通过现有的相机标定方法得到，本发明对此不再进行详细赘述。

由此，根据所述定位装置200的相机的外部参数矩阵和被测物体在所述定位装置200的坐标系下的坐标即可获取任一个被测物体在世界坐标系下的三维坐标信息。

应理解，本发明实施例中，所述病床11、所述手术照明灯12、所述呼吸机13、所述医生控制端设备110、所述患者执行端设备120及所述图像台车130上分别包括能够被所述定位装置200识别的靶标14(如图4所标注)，所述定位装置200获取所述靶标14的图像信息，之后可基于所述靶标14的图像信息获取所述医生控制端设备110、所述患者执行端120及所述图像台车130的三维坐标信息。可以理解，基于所述靶标14的图像信息获取相应设备的三维坐标信息的操作通常由计算机程序执行。

之后，执行步骤S120：规划所述可移动设备的目标摆放位置和所述可移动设备的移动路径。具体是根据所述固定设备的三维坐标信息、所述可移动设备的姿态规划所述可移动设备的目标摆放位置。并进一步根据所述固定设备的三维坐标信息、所述可移动设备的姿态、以及所述可移动设备的目标摆放位置规划所述可移动设备的移动路径。其中，所述可移动设备的姿态可以根据所述可移动设备的具体类型确定，或者根据所述可移动设备的三维坐标信息确定。所述目标摆放位置及所述可以动路径可由计算机程序根据任意合适的规划方法进行规划，替代性地，也可以由操作者人工规划。

本领域技术人员可以理解，当一个所述可移动设备摆放至与之对应的所述目标摆放位置时，这一个所述可移动设备不与所述固定设备及其他的可移动设备发生干扰。并且，当所述可移动设备的数量为多个时，在规划当前正在进行摆位的可移动设备的移动路径时，还应当考虑其他的可移动设备的三维坐标信息、所述当前正在进行摆位的可移动设备及所述其他的可移动设备的姿态，以使所述当前正在进行摆位的可移动设备沿所述移动路径移动时与所述其他的可移动设备不产生干涉。这里的“其他可移动设备”是指当存在多个可移动设备时，除当前正在进行摆位的所述可移动设备以外的可移动设备，举例来说，当所述可移动设备同时包括所述医生控制端设备110、所述患者执行端设备120以及所述图像台车130，且当其所述医生控制端设备110正在进行摆位，那么其他可移动设备则是指所述患者执行端设备120和所述图像台车130。当然，在其他的应用场景中，若只有一个可移动设备，且该可移动设备正在进行摆位，则不存在其他可移动设备。

本领域技术人员还可以理解，在对所述医生端控制设备110进行摆位时，主要是驱使所述医生端控制设备110在水平面上做前、后、左、右的水平移动(即沿图6中的X方向和/或Y方向移动)，以使其处于合适的水平位置。对所述图像台车130进行摆位时，主要是驱使所述图像台车110在水平面上做前、后、左、右的水平移动(沿图7中的X方向和/或Y方向移动)，以使其处于合适的水平位置。对所述患者执行端设备120进行摆位时，需要驱使所述患者执行端设备120在水平面上进行前、后、左、右的水平移动(沿图8所示的X方向和/或Y方向移动)，以使其处于合适的水平位置，以及驱使所述患者执行端设备120上的支撑机构在竖直平面做上、下移动(沿图8所示的Z方向移动)，以使所述图像臂和所述工具臂处于合适的高度。由此，本文所述及的“所述目标摆放位置”包括所述医生端控制设备110、所述患者端控制设备120及所述图像台车130在世界坐标系下的三维坐标信息(即，可移动设备在X、Y、Z三个方向上的具体位置)。并且，当所述目标摆放位置规划完成后，所述目标摆放位置在世界坐标系下的三维坐标信息已知，其与所述固定设备的坐标的相对关系已知。

随后，执行步骤S130：获取所述可移动设备的三维模型。

本发明实施例对所述可移动设备的三维模型的获取方式没有特别限定。本实施例中，可以预先建立并存储所述可移动设备的三维模型，在执行所述可移动设备的摆位指引方法时直接调用即可。替代性地，也可以在执行所述摆位指引方法时基于所述定位装置所获取的所述可移动设备的三维坐标信息建立所述可移动设备的三维模型，同时可以建立所述可移动设备的三维模型的坐标系与所述可移动设备的坐标系的映射关系。

调用所述三维模型之后，执行步骤S140：对所述可移动设备的三维模型与所述可移动设备的位姿进行虚实融合配准，并据此建立所述可移动设备的坐标系与所述可移动设备的三维模型的坐标系的映射关系。

之后，执行步骤S150：使所述可移动设备的三维模型处于所述目标摆放位置，并通过增强现实装置300(如图4及图9所标注)叠加显示于现实场景中，同时还利用所述增强现实装置300使所述可移动设备的移动路径也叠加显示于现实场景中。其中，所述可移动设备的位姿可以根据所述可移动设备的三维坐标信息确定。所述增强现实装置300例如是AR眼镜。

本步骤中，可先在世界坐标系下利用所述定位装置200建立所述增强现实装置300的坐标系与所述可移动设备的坐标系的映射关系，再结合所述可移动设备的坐标系与所述可移动设备的三维模型的坐标系的映射关系建立所述增强显示装置300的坐标系与所述可移动设备的三维模型的坐标系的映射关系。

利用所述定位装置200建立所述增强现实装置300的坐标系与所述可移动设备的坐标系的映射关系具体包括：在世界坐标系中，建立所述定位装置200与所述增强现实装置300的坐标系的映射关系，以及建立所述定位装置200的坐标系与所述可移动设备的坐标系的映射关系，进而使得所述增强现实装置300的坐标系与所述可移动设备的坐标系建立映射关系。

其中，如图9及图10所示，当所述增强现实装置300与所述定位装置200是两个相互分离的设备时，所述增强现实装置300包括靶标(图中未示出)，所述定位装置200拍摄所述靶标的数字图像，进而可以获取所述增强现实装置300在世界坐标系下的三维坐标信息，并进一步建立所述定位装置200的坐标系与所述增强现实装置300的坐标系的映射关系。或者，如图11及图12所示，所述定位装置200设置于所述增强现实装置300上，那么所述定位装置200与所述增强现实装置300之间的机械位置固定，由此可根据所述定位装置200与所述增强现实装置300的机械位置建立所述定位装置200的坐标系与所述增强现实装置300的坐标系的映射关系。

以及，根据所述目标摆放位置在世界坐标系下的三维坐标信息、以及所述定位装置200的坐标系与世界坐标系的转换关系，可以得到所述目标摆放位置在所述定位装置200的坐标系下的三维坐标信息。之后根据所述定位装置200的坐标系与所述增强现实装置300的坐标系的映射关系，可以得到所述目标摆放位置在所述增强现实装置300的坐标系下的三维坐标信息。

基于此，所述目标摆放位置、所述可移动设备的三维模型以及所述移动路径均统一至所述增强现实装置300的坐标系中，并能够在所述增强现实装置300的坐标系下，将所述可移动设备的三维模型放置在所述目标摆放位置并叠加显示于现实场景中，以及可以使所述可移动设备的移动路径通过所述增强现实装置300叠加显示于现实场景中。

需要说明的是，图3所示的所述步骤S110至所述步骤S150的顺序并不是固定不变的，例如所述步骤S110可分开执行。或者，在执行所述步骤S120之前，可以先执行所述步骤S130和所述步骤S140。或者，先执行所述步骤S130，再执行所述步骤S120，接着执行所述步骤S140。也就是说，只要最终能够在所述增强现实装置300中显示处于所述目标摆放位置的所述可移动设备的三维模型以及所述移动路径即可。

这样一来，操作者可根据所述增强现实装置300的显示对所述可移动设备进行摆位。

请继续参考图3，在摆位过程中，往往因各种原因造成所述可移动设备偏离所述移动路径，或者预先规划的移动路径不准确，因此为避免所述可移动设备与其他设备发生碰撞并提高摆位效率，所述可移动设备的摆位指引方法还包括步骤S160：更新所述可移动设备的移动路径。具体为：实时获取正在进行摆位的所述可移动设备的当前位置的三维坐标信息，并根据所述当前正在进行摆位的可移动设备的三维坐标信息、所述固定设备的三维坐标信息、其他可移动设备的三维坐标信息以及与正在进行摆位的可移动设备相对应的所述目标摆放位置的三维坐标信息更新所述可移动设备的移动路径，并利用所述增强现实装置300将更新的移动路径叠加显示于现实场景中。当所述正在进行摆位的可移动设备沿所述移动路径移动时，该可移动设备能够顺利抵达所述目标摆放位置，且在移动过程中不与所述固定设备、以及其他可移动设备发生干涉。

本领域技术人员可以理解，多个可移动设备的坐标系之间也可以基于所述定位装置200建立映射关系，具体是在世界坐标系下分别建立所述定位装置200的坐标系与各个所述可移动设备的坐标系的映射关系，然后建立各个所述可移动设备的坐标系之间的映射关系。

进一步地，所述可移动设备的摆位指引方法还包括步骤S170：实时获取当前正在进行摆位的可移动设备的三维坐标信息与所述目标摆放位置的三维坐标信息的偏差，并根据所述偏差判断所述可移动设备是否抵达所述目标摆放位置。

具体地，请参考图13a所示，以对所述医生控制端设备110的摆位指引为例，实线表示的为所述医生控制端设备110的当前位置，虚线所示为所述医生控制端设备110的所述目标摆放位置。若所述医生控制端设备110的当前位置与所述目标摆放位置不重合(即图13a所示的实线区域与虚线区域至少部分分离)，即所述医生控制端设备110的当前三维坐标信息与所述目标摆放位置的三维坐标信息存在偏差时，可确定所述医生控制端设备110未抵达所述目标摆放位置。当所述医生控制端设备110的位移为S1，并使所述医生控制端设备110的当前位置与所述目标摆放位置重合，即所述医生控制端设备110的当前三维坐标信息与所述目标摆位位置的三维坐标信息重合时，所述医生控制端设备110的摆位完成。通过对所述可移动设备的三维坐标信息与该可移动设备的目标摆放位置的比对，提高所述可移动设备的摆位准确性。所述患者执行端设备120、所述图像台车130是否完成摆位的判断过程与之类似(参考图13b及图13c)所示)，此处不再赘述。

需要说明的是，本发明实施例中，所述步骤S120可同时规划所述医生控制端设备110、所述患者执行端设备120、所述图像台车130的目标摆放位置和移动路径，且操作者可根据所述增强现实装置300所显示的多个目标摆放位置和多个移动路径，分别对所述医生控制端设备110、所述患者执行端设备120、所述图像台车130进行摆位。也就是说，操作者可根据实际需求，依次完成各个所述可移动设备的摆位。

优选地，可移动设备的摆位指引方法还包括步骤S151：根据预设规则规划所有所述可移动设备的摆位顺序。所述预设规则例如是根据多个所述可移动设备与所述固定设备的碰撞概率的大小来确定摆位顺序。具体可以是先对碰撞概率大的设备进行摆位，再对碰撞概率小的设备摆位。多个所述可移动设备的碰撞概率的大小可以由操作者预先确定，也可以有计算机程序根据所述可移动设备的体积或其他因素来判断。在一些具体的实施例中，可判定所述医生控制端设备110的碰撞概率、所述图像台车130的碰撞概率以及所述患者执行端设备120的碰撞概率依次减小。因此在对所述手术机器人系统的各个设备进行摆位时，首先对所述医生控制端设备110进行摆位，再对所述图像台车130进行摆位，最后对所述患者执行端设备120进行摆位。确保在患者执行端设备120的所述图像臂、所述工具臂皆能够充分伸展的同时，避免各个设备之间发生碰撞。

可选地，在图3所示的实施例中，所述步骤S151在所述步骤S150之后，以及所述步骤S160之前执行。如此，在确定了所述手术机器人系统的所述医生控制端设备110、所述患者执行端设备120、所述图像台车130各自的目标摆放位置之后，可根据图14所示的流程进行摆位：

步骤S210：对所述医生控制端设备110进行摆位。具体为对所述医生控制端设备110执行所述步骤S160并移动所述医生控制端设备110，且在移动所述医生控制端设备的过程中执行所述步骤S170，直至完成所述医生控制端设备110的摆位。

步骤S220：对所述图像台车130进行摆位。具体为对所述图像台车130执行所述步骤S160并移动所述图像台车130，且在移动所述图像台车130的过程中执行所述步骤S170，直至完成所述图像台车130的摆位。

步骤S230：对所述患者执行端设备120进行摆位。具体为对所述患者执行端设备120执行所述步骤S160并移动所述患者执行端设备120，且在移动所述患者执行端设备120的过程中执行所述步骤S170，直至完成所述患者执行端设备120的摆位。

当然，所述步骤S151的执行顺序也可以根据需要调整，例如可以在步骤S120之前执行。此外，所述步骤S120中也可仅规划一个所述可移动设备的目标摆放位置和移动路径，也即首先规划所述医生控制端设备110的目标摆放位置和移动路径，并完成所述医生控制端设备110的摆位指引之后，再规划所述图像台车130的目标摆放位置和移动路径，且完成所述图像台车130的摆位指引，最后规划所述患者执行端设备120的目标摆放位置和移动路径，并进行摆位指引。

前述的摆位指引方法的所有步骤(即所述步骤S110、所述步骤S120、所述步骤S130、所述步骤S140、所述步骤S150、所述步骤S151、所述步骤S160、步骤S170)均可由计算机程序执行，因此基于同一发明构思，本发明还提供了一种可移动设备的摆位指引系统，其包括前述的定位装置200、增强现实装置300及控制单元，所述控制单元被配置用于执行如前所述的摆位指引方法。本发明所提供的摆位指引系统，可以快速地进行可移动设备例如医生控制端设备110、患者执行端设备120、图像台车130的摆位，避免在手术过程中发生患者执行端设备120的图像臂和/或工具臂不能重复伸展，或多个设备之间发生碰撞干涉的情形，进而有利于缩短手术时间。

应理解，本发明所述的控制单元可以包括处理器，并通过所述处理器执行相应的操作。所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理其、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述手术机器人系统的控制中心，利用各种接口和线路连接整个手术机器人系统的各个部分。

所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述手术机器人系统的各种功能。

所述存储器可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明还提供了一种手术机器人系统，所述手术机器人系统包括前述的摆位指引系统和可移动设备，所述可移动设备包括所述医生控制端设备110、所述图像台车130及所述患者操作端设备120中的至少一者。

进一步地，本发明还提供了一种计算机可读存储，其上存储有程序，当程序被执行时，执行如前述的可移动设备的摆位指引方法。

本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种可移动设备的摆位指引方法，应用于手术所使用的医疗设备的术前摆位，其特征在于，包括：

获取固定设备三维坐标信息；

根据所述固定设备的三维坐标信息以及可移动设备的姿态规划所述可移动设备的目标摆放位置；

获取所述可移动设备的三维模型；

使所述可移动设备的三维模型处于所述目标摆放位置并叠加显示于现实场景中；

所述摆位指引方法还包括：

获取所述可移动设备的三维坐标信息；

根据所述可移动设备的三维坐标信息、所述固定设备的三维坐标信息、所述可移动设备的姿态、以及所述可移动设备的目标摆放位置规划所述可移动设备的移动路径，以使所述可移动设备按照所述移动路径移动时抵达所述目标摆放位置且不与所述固定设备发生干涉；

将所述移动路径叠加显示于现实场景中。

2.根据权利要求1所述的可移动设备的摆位指引方法，其特征在于，所述摆位指引方法还包括：

实时地获取所述可移动设备的三维坐标信息；

根据所述可移动设备的实时的三维坐标信息、所述固定设备的三维坐标信息以及所述目标摆放位置的三维坐标信息的相对关系实时地更新所述可移动设备的移动路径；

将更新的移动路径叠加显示于现实场景中。

3.根据权利要求1所述的可移动设备的摆位指引方法，其特征在于，所述可移动设备的数量为多个，所述摆位指引方法还包括：

获取当前正在进行摆位的可移动设备的三维坐标信息；

根据所述当前正在进行摆位的可移动设备的三维坐标信息和目标摆放位置、所述固定设备的三维坐标信息、其他的可移动设备的三维坐标信息、所述当前正在进行摆位的可移动设备以及所述其他的可移动设备的姿态，规划所述当前正在进行摆位的可移动设备的移动路径，以使所述当前正在进行摆位的可移动设备沿所述移动路径移动时，抵达所述目标摆放位置且在移动过程中不与所述固定设备及所述其他可移动设备发生干涉；

将所述移动路径叠加显示于现实场景中。

4.根据权利要求3所述的可移动设备的摆位指引方法，其特征在于，所述摆位指引方法还包括：

实时地获取所述当前正在进行摆位的可移动设备及其他可移动设备的三维坐标信息；

根据所述当前正在进行摆位的可移动设备的实时的三维坐标信息、所述其他的可移动设备的实时的三维坐标信息、所述固定设备的三维坐标信息、以及所述当前正在进行摆位的可移动设备的目标摆放位置的三维坐标信息的相对关系实时地更新所述移动路径；

将更新的移动路径叠加显示于现实场景中。

5.根据权利要求1-4中任一项所述的可移动设备的摆位指引方法，其特征在于，所述摆位指引方法还包括：

通过所述可移动设备的三维坐标信息确定所述可移动设备的位姿；将所述可移动设备的三维模型与所述可移动设备的位姿进行虚实融合配准，并叠加显示于现实场景中。

6.根据权利要求1所述的可移动设备的摆位指引方法，其特征在于，所述摆位指引方法还包括：

实时获取所述可移动设备的三维坐标信息与所述目标摆放位置的三维坐标信息的偏差，并根据所述偏差判断所述可移动设备是否抵达所述目标摆放位置。

7.根据权利要求1所述的可移动设备的摆位指引方法，其特征在于，所述可移动设备的数量为多个，所述摆位指引方法还包括：根据预设规则规划多个所述可移动设备的摆位顺序。

8.一种摆位指引系统，应用于手术所使用的医疗设备的术前摆位，其特征在于，包括：

定位装置，用于获取固定设备的三维坐标信息及可移动设备的三维坐标信息；

增强现实装置，用于将可移动设备的三维模型、可移动设备的移动路径叠加显示于现实场景中；以及，

控制单元，与所述定位装置及所述增强现实装置通讯连接，并被配置用于执行如权利要求1-7中任一项所述的可移动设备的摆位指引方法。

9.根据权利要求8所述的摆位指引系统，其特征在于，所述控制单元被配置用于基于所述定位装置建立所述增强现实装置的坐标系与所述可移动设备的坐标系及所述固定设备的坐标系之间的映射关系，进而在所述增强现实装置获取的现实场景中叠加显示所述可移动设备的三维模型和所述可移动设备的移动路径。

10.根据权利要求9所述的摆位指引系统，其特征在于，所述控制单元被配置用于在世界坐标系中建立所述定位装置的坐标系与所述增强现实装置的坐标系的映射关系，建立所述定位装置的坐标系与所述可移动设备的坐标系的映射关系，以及建立所述定位装置的坐标系与所述固定设备的坐标系的映射关系，进而建立所述增强现实装置、所述可移动设备的坐标系以及所述固定设备的坐标系之间的映射关系。

11.根据权利要求10所述的摆位指引系统，其特征在于，所述定位装置设置于所述增强现实装置上；所述定位装置的坐标系通过机械位置与所述增强现实装置的坐标系建立映射关系。

12.根据权利要求10所述的摆位指引系统，其特征在于，所述定位装置与所述增强现实装置分离；通过所述定位装置获取所述增强现实装置的三维坐标信息，建立所述定位装置的坐标系与所述增强现实装置的坐标系的映射关系。

13.一种手术机器人系统，其特征在于，包括如权利要求8-12中任一项所述的摆位指引系统和可移动设备，所述可移动设备包括医生控制端设备、图像台车和患者操作端设备中的至少一者。

14.一种计算机可读存储介质，其上存储有程序，其特征在于，当所述程序被执行时，执行如权利要求1-7中任一项所述的可移动设备的摆位指引方法。

Images