CN115836915A - 手术器械操控系统和手术器械操控系统的控制方法 - Google Patents

Abstract

本申请涉及一种手术器械操控系统和手术器械操控系统的控制方法。包括：多个操作控制台，各操作控制台包括显示模组和控制模组，各控制模组分别与待操作器械连接；主操作控制台的控制模组用于根据接收到的第一驱动控制信号控制待操作器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台的显示模组进行显示。从操作控制台的控制模组用于根据接收到的第二驱动控制信号控制虚拟器械运动，并在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台的显示模组进行显示。从而便于从操作控制台的操作者直观的观摩主操作控制台者的操作过程，且能够进行模拟练习，提高学习的效率。

Description

手术器械操控系统和手术器械操控系统的控制方法

技术领域

本申请涉及医疗器械技术领域，特别是涉及一种手术器械操控系统和手术器械操控系统的控制方法。

背景技术

随着医疗技术的发展，微创伤的手术越来越普及。微创伤外科手术与传统手术相比，具有创口小，术后并发症少，恢复快等优点，因此深受患者的青睐。然而对于微创手术来说，由于开口小，操作不便，因此采用传统腔镜手术的方式完成具备众多的体内缝合的微创手术相当困难，需要医生具有丰富的开腹手术经验和娴熟的传统腔镜手术技术。因此，引入了微创伤机器人手术系统，医生通过操作该系统能够精准的控制机械臂进行微创手术，精确度更高，手术效果更好，该系统满足了外科手术微创伤化及精细化的需求。然而，微创伤机器人手术系统目前是一种高端的医疗器械，许多欠发达地区的医生并没有接触该器械的条件，因此能够熟练操作微创伤机器人手术系统的医生的数量严重不足。

传统技术中，在进行机器人腔镜手术的培训时，通过导师根据图像或视频进行讲解的方式对学员进行培训。

然而，采用传统技术的方式进行培训，不直观且效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够便于对学员进行机器人腔镜手术教学的手术器械操控系统和手术器械操控系统的控制方法。

一种手术器械操控系统，包括：多个操作控制台，各所述操作控制台包括显示模组和控制模组，各所述控制模组分别与待操作器械连接；主操作控制台的控制模组用于根据接收到的第一驱动控制信号控制所述待操作器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，并将所述目标图像传输至所述主操作控制台的显示模组进行显示；其中，所述窥镜图像为所述待操作器械及所述待操作器械周围的预设范围内的实时影像，所述预设虚拟图像包括所述窥镜图像中的所有特征元素以及所述特征元素周围元素对应的虚拟仿真图像；从操作控制台的控制模组用于根据接收到的第二驱动控制信号控制虚拟器械运动，并根据所述窥镜图像和所述预设虚拟图像融合得到所述目标图像，并在所述目标图像中生成虚拟器械得到虚拟目标图像，并将所述目标图像或所述虚拟目标图像传输至所述从操作控制台的显示模组进行显示；其中，主操作控制台为多个所述操作控制台中的一个，除所述主操作控制台以外的所述操作控制台为所述从操作控制台。

在其中一个实施例中，各所述操作控制台通过总线连接；所述主操作控制台还用于接收切换指令，并根据所述切换指令切换为新的从操作控制台，并将所述切换指令通过所述总线发送至目标从操作控制台，以指示所述目标从操作控制台切换为新的主操作控制台；或者，目标从操作控制台还用于接收切换指令，并根据所述切换指令切换为新的主操作控制台，并将所述切换指令通过所述总线发送至所述主操作控制台，以指示所述主操作控制台切换为新的从操作控制台；其中，所述目标从操作控制台为至少一从操作控制台中的一个。

在其中一个实施例中，各所述操作控制台还包括：输入模组，所述输入模组包括操作端，所述输入模组与所述控制模组连接，所述输入模组用于根据所述操作端的姿态向所述控制模组发送所述驱动控制信号。

在其中一个实施例中，当前主操作控制台的控制模组将所述操作端的姿态通过所述总线传输至新的主操作控制台的控制模组，以将新的主操作控制台的操作端的姿态调整至目标姿态，其中，所述目标姿态与所述当前主操作控制台的所述操作端的姿态相同。

在其中一个实施例中，所述主操作控制台的控制模组用于根据所述窥镜图像，确定所述待操作器械的末端位置，根据所述第一驱动控制信号、所述待操作器械的末端位置、所述待操作器械在所述目标图像中的位置，建立所述第一驱动控制信号、所述待操作器械的末端位置、以及所述待操作器械在所述目标图像中的位置这三者之间的映射关系；各从操作控制台的控制模组用于导入所述映射关系，并根据所述映射关系和所述第二驱动控制信号对所述虚拟器械进行控制以及在所述目标图像中生成所述虚拟器械。

在其中一个实施例中，所述控制模组用于获取所述窥镜图像和医学影像，根据所述医学影像得到所述预设虚拟图像，所述预设虚拟图像包括由所述窥镜图像中的所有特征元素以及所述特征元素周围元素构建而成的三维模型，以及还用于根据所述窥镜图像确定所述待操作器械及待操作器械周围的预设范围内的三维点云数据，并将所述三维模型与所述三维点云数据融合得到所述目标图像。

在其中一个实施例中，所述控制模组还用于在所述三维模型中标记多个特征位置，在所述三维点云数据中确定与所述多个特征位置中的至少一个特征位置对应的特征点云数据，基于所述特征点云数据，将所述三维点云数据与所述三维模型配准融合，得到所述目标图像。

在其中一个实施例中，各所述操作控制台包括：告警模组，与所述控制模组连接，用于在所述待操作器械或所述虚拟器械移动至敏感位置时，发出提示信号，其中，所述敏感位置为敏感组织所在的位置。

在其中一个实施例中，各所述操作控制台包括：录像模组，与所述控制模组连接，用于录制所述待操作器械和/或所述虚拟器械的操作录像；所述显示模组还用于根据播放指令播放所述操作录像。

在其中一个实施例中，各所述操作控制台包括：评分模组，与所述控制模组连接，用于分别获取操作所述待操作器械的第一操作录像和操作所述虚拟器械的第二操作录像，并将所述第一操作录像与所述第二操作录像进行对比，确定操作所述虚拟器械的评价结果。

一种手术器械操控系统的控制方法，所述手术器械操控系统包括多个操作控制台，各所述操作控制台包括显示模组和控制模组，各所述控制模组分别与待操作器械连接，所述方法包括：

根据接收到的第一驱动控制信号通过主操作控制台的控制模组控制所述待操作器械运动；

根据窥镜图像和预设虚拟图像融合得到目标图像，并将所述目标图像传输至所述主操作控制台的显示模组进行显示；其中，所述窥镜图像为所述待操作器械及所述待操作器械周围的预设范围内的实时影像，所述预设虚拟图像包括所述窥镜图像中的所有特征元素以及所述特征元素周围元素对应的虚拟仿真图像；

根据接收到的第二驱动控制信号通过从操作控制台的控制模组控制虚拟器械运动；

根据所述窥镜图像和所述预设虚拟图像融合得到所述目标图像，并在所述目标图像中生成虚拟器械得到虚拟目标图像，并将所述目标图像或所述虚拟目标图像传输至所述从操作控制台的显示模组进行显示；其中，

主操作控制台为多个所述操作控制台中的一个，除所述主操作控制台以外的所述操作控制台为所述从操作控制台。

上述手术器械操控系统和手术器械操控系统的控制方法，通过设置多个操作控制台，操作控制台包括显示模组和控制模组，各控制模组分别与待操作器械连接，从而各操作控制台均可以控制待操作器械。主操作控制台的控制模组能够根据接收到的第一驱动控制信号控制待操作器械运动，从而主操作控制台即为控制待操作器械的控制台，主操作控制台的控制模组还能根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台的显示模组进行显示，从而在主操作控制台的显示模组上能够呈现出手术中的画面，便于操作者控制待操作器械进行手术。而且窥镜图像为待操作器械及待操作器械周围的预设范围内的实时影像，预设虚拟图像包括窥镜图像中的所有特征元素以及特征元素周围元素对应的虚拟仿真图像，从而显示模组中呈现出来的画面不仅仅包括窥镜能够看到的真实图像，还包括了窥镜图像附近的虚拟仿真图像，从而操作者能够看到的视野范围更大，使得操作者在操作待操作器械时能够完整的看到手术区域内的图像，可以避免误触碰到窥镜图像视野外部的敏感组织，从而提高手术的安全性。从操作控制台的控制模组能根据接收到的第二驱动控制信号控制虚拟器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，然后在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台的显示模组进行显示。即主操作控制台和从操作控制台的显示模组中均能呈现出同样的目标图像，区别在于从操作控制台的显示模组还可以呈现出在目标图像中包括虚拟器械的虚拟目标图像，而且从操作控制台还能够控制虚拟器械进行动作，从而便于从操作控制台的操作者能够直观的观摩主操作控制台者对待操作器械的操作过程，还能够通过操作虚拟器械进行模拟练习，从而能够直观且高效率的学习到主操作控制台的操作者的操作，便于提高学习的效率。综上，本申请的装置，一方面可以便于从操作控制台的操作者直观的观摩主操作控制台者对待操作器械的操作过程，且能够进行模拟练习，提高学习的效率，另一方面可以在显示模组上呈现出窥镜图像以及窥镜图像附近的虚拟仿真图像，得到了更大的手术视野，从而提高了手术的安全性。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中手术器械操控系统的结构示意图；

图2为一个实施例中手术器械操控系统的场景示意图；

图3为一个实施例中内窥镜成像系统的场景示意图；

图4为一个实施例中扫描成像系统的场景示意图；

图5为一个实施例中进入体内的器械的场景示意图；

图6为另一个实施例中手术器械操控系统的结构示意图；

图7为另一个实施例中手术器械操控系统的场景示意图；

图8为又一个实施例中手术器械操控系统的结构示意图；

图9为一个实施例中操作控制台的示意图；

图10为又一个实施例中手术器械操控系统的结构示意图；

图11为一个实施例中主操作控制台在录像模式下的流程图；

图12为一个实施例中从操作控制台在学习模式下的流程图；

图13为一个实施例中手术器械操控系统的控制方法的流程图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。此外，以下实施例中的“连接”，如果被连接的对象之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。

在一个实施例中，如图1所示，提供了一种手术器械操控系统，包括：多个操作控制台100，各操作控制台100包括显示模组11和控制模组10，各控制模组10分别与待操作器械200连接。

主操作控制台100的控制模组10用于根据接收到的第一驱动控制信号控制待操作器械200运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台100的显示模组11进行显示。其中，窥镜图像为待操作器械200及待操作器械200周围的预设范围内的实时影像，预设虚拟图像包括窥镜图像中的所有特征元素以及特征元素周围元素对应的虚拟仿真图像。

示例性地，如图2所示，手术器械操控系统包括操作控制台100、机械臂20、图像台车21、功能台车22，医生通过操作控制台100来控制机械臂20的动作以及图像台车21和功能台车22的工作。在机械臂20的上可以挂载有待操作器械200和内窥镜，从而医生通过操作控制台100来控制机械臂20的动作即可带动待操作器械200动作，内窥镜可以直接获取到窥镜图像。医生可以通过移动操作控制台100上的操作臂来控制机械臂20的动作，并且操作臂也会接受人体组织器官对器械的作用力信息并反馈至医生手部，以使医生能够更加直观的感受手术操作。在操作控制台100上的显示模组11与内窥镜通信连接，从而可以直接获取到窥镜图像。

具体地，窥镜图像是直接由内窥镜获取的待操作器械200及待操作器械200周围的预设范围内的实时影像，从而能够呈现出实时的手术场景，便于医生进行操作。预设虚拟图像是通过电子计算机断层扫描(Computed Tomography，CT)或磁共振成像(Magneticresonance imaging，MRI)得到的患者的目标部位的影像数据，然后根据影像数据，创建的三维模型。

示例性地，如图3所示，机械臂20的末端包括多个操作臂，其中一个操作臂上安装有内窥镜26，其中一个操作臂上安装有待操作器械200，待操作器械200和内窥镜26均可进入患者的体内，然后内窥镜拍摄到的窥镜图像能够直接通过图像台车21呈现出来。

示例性地，如图4所示，采用扫描成像设备23对患者25进行成像扫描，从而可以得到患者25的目标部位的图像信息，图像信息呈现在成像台车24的显示屏上，然后根据图像信息，可以进行三维建模，得到患者25的目标部位的三维模型，即得到了预设虚拟图像。

从操作控制台100的控制模组10用于根据接收到的第二驱动控制信号控制虚拟器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，并在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台100的显示模组11进行显示。

具体地，从操作控制台100的控制模组10可以在目标图像中以增强现实(Augmented Reality，AR)的方式生成虚拟器械，从而得到虚拟目标图像，从操作控制台100的显示模组11可以选择显示目标图像，或者显示虚拟目标图像，在显示目标图像时，从操作控制台100的操作者仅能观看主操作控制台100的操作者对待操作器械200的操作，在显示虚拟目标图像时，从操作控制台100的操作者除了能观看主操作控制台100的操作者对待操作器械200的操作之外，还能够控制虚拟器械动作，进行模拟练习。

示例性地，如图5所示，内窥镜26进入人体后，能够看到的视野范围(窥镜图像)即为图中的内窥镜视野300，而目标图像的视野范围即为图中的目标图像视野400，从而医生通过内窥镜，能够直接观察到内窥镜视野300内的真实画面，同时，通过目标图像能够看到内窥镜视野300外的目标图像视野400内的仿真画面。待操作器械200是真实的进入人体内部的器械，而虚拟器械27是通过AR的方式在图像中生成的器械，虚拟器械27可以执行的动作与待操作器械200完全一致，例如器械平移、器械自转、器械俯仰、器械偏摆、器械开合等。

其中，主操作控制台100为多个操作控制台100中的一个，除主操作控制台100以外的操作控制台100为从操作控制台100。在同一时刻仅能有一个主操作控制台100，从而避免同时有多个操作控制台100对待操作器械200进行控制而导致待操作器械200的控制出现混乱。

在本实施例中，通过设置多个操作控制台100，操作控制台100包括显示模组11和控制模组10，各控制模组10分别与待操作器械200连接，从而各操作控制台100均可以控制待操作器械200。主操作控制台100的控制模组10能够根据接收到的第一驱动控制信号控制待操作器械200运动，从而主操作控制台100即为控制待操作器械200的控制台，主操作控制台100的控制模组10还能根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台100的显示模组11进行显示，从而在主操作控制台100的显示模组11上能够呈现出手术中的画面，便于操作者控制待操作器械200进行手术。而且窥镜图像为待操作器械200及待操作器械200周围的预设范围内的实时影像，预设虚拟图像包括窥镜图像中的所有特征元素以及特征元素周围元素对应的虚拟仿真图像，从而显示模组11中呈现出来的画面不仅仅包括窥镜能够看到的真实图像，还包括了窥镜图像附近的虚拟仿真图像，从而操作者能够看到的视野范围更大，使得操作者在操作待操作器械200时能够完整的看到手术区域内的图像，可以避免误触碰到窥镜图像视野外部的敏感组织，从而提高手术的安全性。从操作控制台100的控制模组10能根据接收到的第二驱动控制信号控制虚拟器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，然后在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台100的显示模组11进行显示。即主操作控制台100和从操作控制台100的显示模组11中均能呈现出同样的目标图像，区别在于从操作控制台100的显示模组11还可以呈现出在目标图像中包括虚拟器械的虚拟目标图像，而且从操作控制台100还能够控制虚拟器械进行动作，从而便于从操作控制台100的操作者能够直观的观摩主操作控制台100者对待操作器械200的操作过程，还能够通过操作虚拟器械进行模拟练习，从而能够直观且高效率的学习到主操作控制台100的操作者的操作，便于提高学习的效率。综上，本申请的装置，一方面可以便于从操作控制台100的操作者直观的观摩主操作控制台100者对待操作器械200的操作过程，且进行模拟练习，提高学习的效率，另一方面可以在显示模组11上呈现出窥镜图像以及窥镜图像附近的虚拟仿真图像，得到了更大的手术视野，从而提高了手术的安全性。

在一个实施例中，如图6所示，各操作控制台100通过总线连接。主操作控制台100还用于接收切换指令，并根据切换指令切换为新的从操作控制台100，并将切换指令通过总线发送至目标从操作控制台100，以指示目标从操作控制台100切换为新的主操作控制台100。或者，目标从操作控制台100还用于接收切换指令，并根据切换指令切换为新的主操作控制台100，并将切换指令通过总线发送至主操作控制台100，以指示主操作控制台100切换为新的从操作控制台100。其中，目标从操作控制台100为至少一从操作控制台100中的一个。

具体地，各操作控制台100之间可以通过网络通讯线连接，也可以通过光纤连接，也可以通过无线信号连接。每个操作控制台100均可作为主操作控制台100，当前的主操作控制台100与任一从操作控制台100之间均可进行切换。可以是主操作控制台100接收切换指令，然后主操作控制台100根据切换指令切换为新的从操作控制台100，并将切换指令通过总线发送至目标从操作控制台100，目标从操作控制台100根据切换指令切换为新的主操作控制台100。也可以是目标从操作控制台100接收切换指令，并根据切换指令切换为新的主操作控制台100，并将切换指令通过总线发送至主操作控制台100，主操作控制台100根据切换指令切换为新的从操作控制台100。

示例性地，如图7所示，各操作控制台100通过通讯模块28连接，通过通讯模块28来控制机械臂20，进而带动设置在机械臂20上的待操作器械200动作。

在本实施例中，主操作控制台100和任一从操作控制台100之间均可进行切换，即待操作器械200的控制权是可以随时更换的，从而便于各操作控制台100的操作者均可以尝试控制待操作器械200进行手术，并且如果出现意外，也能够及时的切换为资深导师进行操作，一方面方便实践练习，一方面也保证安全。

在一个实施例中，如图8所示，各操作控制台100还包括：输入模组12，输入模组12包括操作端13，输入模组12与控制模组10连接，输入模组12用于根据操作端13的姿态向控制模组10发送驱动控制信号。

示例性地，如图9所示，医生可以通过操作控制台100上的显示模组11来观察手术中的图像，从而便于操作，医生通过改变操作端13的姿态来发出驱动控制信号，例如调整操作端13的俯仰角度等。同时在操作控制台100内还设置有反馈模块，能够根据人体组织器官对器械的作用力信息并反馈至操作端13，传递至医生手部，以使医生能够更加直观的感受手术操作。操作控制台100还包括踏板14，踏板14具体的控制功能可以根据实际需要确定。

示例性地，操作端13包括冗余传感器，操作端13的姿态变化所生成的驱动控制信号经过正向运动学算法，计算出驱动控制信号包含的笛卡尔位姿，然后通过映射关系，确定器械的笛卡尔位姿，然后根据确定的位姿来控制机械臂的移动和旋转，调整器械的位姿。

在本实施例中，通过设置输入模组12，从而操作者能够通过输入模组12的操作端13来向控制模组10发送驱动控制信号。实现对器械的控制。

在一个实施例中，请继续参见图7和图9，当前主操作控制台100的控制模组10将操作端13的姿态通过总线传输至新的主操作控制台100的控制模组10，以将新的主操作控制台100的操作端13的姿态调整至目标姿态，其中，目标姿态与当前主操作控制台100的操作端13的姿态相同。

具体地，在当前主操作控制台100和新的主操作控制台100进行切换时，除了将待操作器械200的控制权转移至新的主操作控制台100，同时也会将新的主操作控制台100的操作端13的姿态调整为与当前主操作控制台100相同。

示例性地，如图9所示，当前主操作控制台100和新的主操作控制台100切换的切换指令可以是通过当前操作控制台100上的踏板14发出，也可以是通过操作端13发出，也可以是通过外部的交互界面发出。然后在切换时，新的主操作控制台100的操作端13的姿态会自动的去匹配跟随当前主操作控制台100的操作端13的姿态。

在本实施例中，在切换主操作控制台100时，也将操作端13的姿态进行匹配同步，从而便于新的主操作控制台100的操作者进行操作。

在一个实施例中，请继续参见图1，主操作控制台100的控制模组10用于根据窥镜图像，确定待操作器械200的末端位置，根据第一驱动控制信号、待操作器械200的末端位置、待操作器械200在目标图像中的位置，建立第一驱动控制信号、待操作器械200的末端位置、以及待操作器械200在目标图像中的位置这三者之间的映射关系。

具体地，建立了第一驱动控制信号、待操作器械200的末端位置、待操作器械200在目标图像中的位置之间的映射关系后。就能够直接根据第一驱动控制信号和映射关系，就能够推断出待操作器械200的末端位置、待操作器械200在目标图像中的位置。

各从操作控制台100的控制模组10用于导入映射关系，并根据映射关系和第二驱动控制信号对虚拟器械进行控制以及在目标图像中生成虚拟器械。

具体地，通过映射关系和第二驱动控制信号，就能够直接得到与第二驱动控制信号对应的虚拟器械的末端位置以及虚拟器械在目标图像中的位置。

在本实施例中，首先建立起第一驱动控制信号、待操作器械的末端位置、以及待操作器械200在目标图像中的位置这三者之间的映射关系。然后将该映射关系导入从操作控制台100中，从而便于从操作控制台100能够以相同的方式来控制虚拟器械，使得从操作控制台100对虚拟器械的控制与主操作控制台100对待操作器械200的控制完全一致。并且能够根据映射关系和第二驱动控制信号即可推断出对应的虚拟器械的末端位置以及虚拟器械在目标图像中的位置，从而便于在目标图像中生成虚拟器械，且该虚拟器械的末端位置以及虚拟器械在目标图像中的位置均与接收到相同的驱动控制信号的待操作器械200一致。从而生成的虚拟器械的仿真度更高，从操作控制台100的操作者对该虚拟器械的操作也更加贴近真实的器械。

在一个实施例中，控制模组用于获取窥镜图像和医学影像，根据医学影像得到预设虚拟图像，预设虚拟图像包括由窥镜图像中的所有特征元素以及特征元素周围元素构建而成的三维模型，以及还用于根据窥镜图像确定待操作器械及待操作器械周围的预设范围内的三维点云数据，并将三维模型与三维点云数据融合得到目标图像。

具体地，医学影像是通过电子计算机断层扫描(Computed Tomography，CT)或磁共振成像(Magnetic resonance imaging，MRI)得到的患者的目标部位的影像数据。然后对医学影像进行三维有限元建模，即可得到患者的目标部位的三维模型，即预设虚拟图像。根据窥镜图像，采用双目视觉三维重建的方式，能够确定待操作器械及待操作器械周围的预设范围内的三维点云数据。

在本实施例中，将由窥镜图像中的所有特征元素以及特征元素周围元素构建而成的三维模型与根据窥镜图像确定待操作器械及待操作器械周围的预设范围内的三维点云数据进行融合，即将三维点云数据中的特征元素与三维模型中相同的特征元素进行匹配，即可实现三维模型与三维点云数据的融合，得到目标图像。

在一个实施例中，控制模组还用于在三维模型中标记多个特征位置，在三维点云数据中确定与多个特征位置中的至少一个特征位置对应的特征点云数据，基于特征点云数据，将三维点云数据与三维模型配准融合，得到目标图像。

在本实施例中，在构建完毕三维模型时，就在三维模型中标记多个特征位置，然后在三维点云数据中寻找与多个特征位置中的至少一个特征位置对应的特征点云数据，然后将特征点云数据与三维模型中对应的特征位置进行配准，从而将三维点云数据整体融入三维模型中，实现了三维点云数据与三维模型配准融合，得到目标图像。

在一个实施例中，如图10所示，各操作控制台100包括：告警模组30。告警模组30与控制模组10连接，用于在待操作器械200或虚拟器械移动至敏感位置时，发出提示信号，其中，敏感位置为敏感组织所在的位置。

具体地，由于控制模块内得到了目标图像，而目标图像包括内窥镜视野内能看到的人体内部的组织，以及内窥镜视野内看不到的内窥镜视野周边的人体组织，从而控制模块可以确定目标图像视野中所有的敏感组织的位置，将这些位置标记为敏感位置，敏感组织可以包括血管、神经、器官等。当待操作器械200或虚拟器械移动至敏感位置时，则有可能造成敏感组织的损伤，从而此时通过告警模组30来发出提示信号，提示操作者。

示例性地，告警模组30可以为声光告警，通过声音或者指示灯来提醒操作者，也可以是在显示模组11显示的图像上进行增强提示，对敏感位置进行颜色加深的标记等等。

在本实施例中，通过设置告警模块，能够在待操作器械200或虚拟器械移动至敏感位置时自动发出提示信号提示操作者，从而便于操作者及时的意识到危险，避免造成敏感组织的损伤。

在一个实施例中，请继续参见图10，各操作控制台100包括：录像模组32。录像模组32与控制模组10连接，用于录制待操作器械200和/或虚拟器械的操作录像。显示模组11还用于根据播放指令播放操作录像。

示例性地，资深导师与学员不同的操作控制台100开展手术操作，资深导师采用主操作控制台100进行手术操作，并通过录像模组32将手术操作录制下来得到操作录像。

学员可以随时查看操作录像，可以选择实时的跟随操作录像来通过从操作控制台控制虚拟器械开展模拟手术操作，也可以选择先看操作录像，再通过从操作控制台控制虚拟器械开展模拟手术操作，还也可以选择操作录像中的特定操作场景进行回放。

示例性地，如图11所示，在录像模式下，主操作控制台的流程如下：

步骤S1100，进行手术操作。

步骤S1110，录制手术操作，得到操作录像。

如图12所示，从操作控制台的流程如下：

步骤S1200，选择学习模式。若选择学习模式为异步模式，则执行步骤S1210。若选择学习模式为同步模式，则执行步骤S1230。

步骤S1210，选择操作录像中需要播放的场景。

步骤S1220，根据选择的场景的操作录像，模拟操作虚拟器械。

步骤S1230，根据操作录像，模拟操作虚拟器械。

在本实施例中，通过设置录像模组，能够将手术操作录制下来，便于学习。

在一个实施例中，请继续参见图10，各操作控制台包括：评分模组31。评分模组31与控制模组10连接，用于分别获取操作待操作器械的第一操作录像和操作虚拟器械的第二操作录像，并将第一操作录像与第二操作录像进行对比，确定操作虚拟器械的评价结果。

示例性地，资深导师与学员通过不同的操作控制台同时开展手术操作，资深导师采用主操作控制台进行手术操作，并指导学员进行手术操作动作分解，学员观察资深导师的实时操作动作，并通过从操作控制台控制虚拟器械开展模拟手术操作。资深导师可以实时为学员讲解手术操作要求，并让学员进行模拟操作。评分模组以资深导师的操作动作为基准，对学员控制虚拟器械的模拟手术操作步骤进行评估打分。

在本实施例中，通过设置评分模组，能够根据学员操作虚拟器械的操作录像和导师操作实际器械的操作录像的对比来进行打分，便于学员能够直观的了解到当前自己的操作熟练程度。

在一个实施例中，如图13所示，提供了一种手术器械操控系统的控制方法，手术器械操控系统包括多个操作控制台，各操作控制台包括显示模组和控制模组，各控制模组分别与待操作器械连接，方法包括：

步骤S1300，根据接收到的第一驱动控制信号通过主操作控制台的控制模组控制待操作器械运动。

步骤S1310，根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台的显示模组进行显示。其中，窥镜图像为待操作器械及待操作器械周围的预设范围内的实时影像，预设虚拟图像包括窥镜图像中的所有特征元素以及特征元素周围元素对应的虚拟仿真图像。

步骤S1320，根据接收到的第二驱动控制信号通过从操作控制台的控制模组控制虚拟器械运动。

步骤S1330，根据窥镜图像和预设虚拟图像融合得到目标图像，并在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台的显示模组进行显示。

其中，主操作控制台为多个操作控制台中的一个，除主操作控制台以外的操作控制台为从操作控制台。

在本实施例中，通过设置多个操作控制台，操作控制台包括显示模组和控制模组，各控制模组分别与待操作器械连接，从而各操作控制台均可以控制待操作器械。根据接收到的第一驱动控制信号能够通过主操作控制台的控制模组控制待操作器械运动，从而主操作控制台即为控制待操作器械的控制台，主操作控制台的控制模组还能根据窥镜图像和预设虚拟图像融合得到目标图像，并将目标图像传输至主操作控制台的显示模组进行显示，从而在主操作控制台的显示模组上能够呈现出手术中的画面，便于操作者控制待操作器械进行手术。而且窥镜图像为待操作器械及待操作器械周围的预设范围内的实时影像，预设虚拟图像包括窥镜图像中的所有特征元素以及特征元素周围元素对应的虚拟仿真图像，从而显示模组中呈现出来的画面不仅仅包括窥镜能够看到的真实图像，还包括了窥镜图像附近的虚拟仿真图像，从而操作者能够看到的视野范围更大，使得操作者在操作待操作器械时能够完整的看到手术区域内的图像，可以避免误触碰到窥镜图像视野外部的敏感组织，从而提高手术的安全性。根据接收到的第二驱动控制信号能够通过从操作控制台的控制模组控制虚拟器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，然后在目标图像中生成虚拟器械得到虚拟目标图像，并将目标图像或虚拟目标图像传输至从操作控制台的显示模组进行显示。即主操作控制台和从操作控制台的显示模组中均能呈现出同样的目标图像，区别在于从操作控制台的显示模组还可以呈现出在目标图像中包括虚拟器械的虚拟目标图像，而且从操作控制台还能够控制虚拟器械进行动作，从而便于从操作控制台的操作者能够直观的观摩主操作控制台者对待操作器械的操作过程，还能够通过操作虚拟器械进行模拟练习，从而能够直观且高效率的学习到主操作控制台的操作者的操作，便于提高学习的效率。综上，本申请的装置，一方面可以便于从操作控制台的操作者直观的观摩主操作控制台者对待操作器械的操作过程，且能够进行模拟练习，提高学习的效率，另一方面可以在显示模组上呈现出窥镜图像以及窥镜图像附近的虚拟仿真图像，得到了更大的手术视野，从而提高了手术的安全性。

应该理解的是，虽然图11、12、13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图11、12、13中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种手术器械操控系统，其特征在于，包括：多个操作控制台，各所述操作控制台包括显示模组和控制模组，各所述控制模组分别与待操作器械连接；

主操作控制台的控制模组用于根据接收到的第一驱动控制信号控制所述待操作器械运动，并根据窥镜图像和预设虚拟图像融合得到目标图像，并将所述目标图像传输至所述主操作控制台的显示模组进行显示；其中，所述窥镜图像为所述待操作器械及所述待操作器械周围的预设范围内的实时影像，所述预设虚拟图像包括所述窥镜图像中的所有特征元素以及所述特征元素周围元素对应的虚拟仿真图像；

从操作控制台的控制模组用于根据接收到的第二驱动控制信号控制虚拟器械运动，并根据所述窥镜图像和所述预设虚拟图像融合得到所述目标图像，并在所述目标图像中生成虚拟器械得到虚拟目标图像，并将所述目标图像或所述虚拟目标图像传输至所述从操作控制台的显示模组进行显示；其中，

主操作控制台为多个所述操作控制台中的一个，除所述主操作控制台以外的所述操作控制台为所述从操作控制台。

2.根据权利要求1所述的手术器械操控系统，其特征在于，各所述操作控制台通过总线连接；

所述主操作控制台还用于接收切换指令，并根据所述切换指令切换为新的从操作控制台，并将所述切换指令通过所述总线发送至目标从操作控制台，以指示所述目标从操作控制台切换为新的主操作控制台；或者，目标从操作控制台还用于接收切换指令，并根据所述切换指令切换为新的主操作控制台，并将所述切换指令通过所述总线发送至所述主操作控制台，以指示所述主操作控制台切换为新的从操作控制台；其中，所述目标从操作控制台为至少一从操作控制台中的一个。

3.根据权利要求2所述的手术器械操控系统，其特征在于，各所述操作控制台还包括：输入模组，所述输入模组包括操作端，所述输入模组与所述控制模组连接，所述输入模组用于根据所述操作端的姿态向所述控制模组发送所述驱动控制信号。

4.根据权利要求3所述的手术器械操控系统，其特征在于，当前主操作控制台的控制模组将所述操作端的姿态通过所述总线传输至新的主操作控制台的控制模组，以将新的主操作控制台的操作端的姿态调整至目标姿态，其中，所述目标姿态与所述当前主操作控制台的所述操作端的姿态相同。

5.根据权利要求3所述的手术器械操控系统，其特征在于，所述主操作控制台的控制模组用于根据所述窥镜图像，确定所述待操作器械的末端位置，根据所述第一驱动控制信号、所述待操作器械的末端位置、所述待操作器械在所述目标图像中的位置，建立所述第一驱动控制信号、所述待操作器械的末端位置、以及所述待操作器械在所述目标图像中的位置这三者之间的映射关系；

各从操作控制台的控制模组用于导入所述映射关系，并根据所述映射关系和所述第二驱动控制信号对所述虚拟器械进行控制以及在所述目标图像中生成所述虚拟器械。

6.根据权利要求1所述的手术器械操控系统，其特征在于，所述控制模组用于获取所述窥镜图像和医学影像，根据所述医学影像得到所述预设虚拟图像，所述预设虚拟图像包括由所述窥镜图像中的所有特征元素以及所述特征元素周围元素构建而成的三维模型，以及还用于根据所述窥镜图像确定所述待操作器械及待操作器械周围的预设范围内的三维点云数据，并将所述三维模型与所述三维点云数据融合得到所述目标图像。

7.根据权利要求6所述的手术器械操控系统，其特征在于，所述控制模组还用于在所述三维模型中标记多个特征位置，在所述三维点云数据中确定与所述多个特征位置中的至少一个特征位置对应的特征点云数据，基于所述特征点云数据，将所述三维点云数据与所述三维模型配准融合，得到所述目标图像。

8.根据权利要求1-7任一项所述的手术器械操控系统，其特征在于，各所述操作控制台包括：

告警模组，与所述控制模组连接，用于在所述待操作器械或所述虚拟器械移动至敏感位置时，发出提示信号，其中，所述敏感位置为敏感组织所在的位置。

9.根据权利要求1-7任一项所述的手术器械操控系统，其特征在于，各所述操作控制台包括：

录像模组，与所述控制模组连接，用于录制所述待操作器械和/或所述虚拟器械的操作录像；

所述显示模组还用于根据播放指令播放所述操作录像。

10.根据权利要求9所述的手术器械操控系统，其特征在于，各所述操作控制台包括：

评分模组，与所述控制模组连接，用于分别获取操作所述待操作器械的第一操作录像和操作所述虚拟器械的第二操作录像，并将所述第一操作录像与所述第二操作录像进行对比，确定操作所述虚拟器械的评价结果。

11.一种手术器械操控系统的控制方法，其特征在于，所述手术器械操控系统包括多个操作控制台，各所述操作控制台包括显示模组和控制模组，各所述控制模组分别与待操作器械连接，所述方法包括：

根据接收到的第一驱动控制信号通过主操作控制台的控制模组控制所述待操作器械运动；

根据窥镜图像和预设虚拟图像融合得到目标图像，并将所述目标图像传输至所述主操作控制台的显示模组进行显示；其中，所述窥镜图像为所述待操作器械及所述待操作器械周围的预设范围内的实时影像，所述预设虚拟图像包括所述窥镜图像中的所有特征元素以及所述特征元素周围元素对应的虚拟仿真图像；

根据接收到的第二驱动控制信号通过从操作控制台的控制模组控制虚拟器械运动；

根据所述窥镜图像和所述预设虚拟图像融合得到所述目标图像，并在所述目标图像中生成虚拟器械得到虚拟目标图像，并将所述目标图像或所述虚拟目标图像传输至所述从操作控制台的显示模组进行显示；其中，

主操作控制台为多个所述操作控制台中的一个，除所述主操作控制台以外的所述操作控制台为所述从操作控制台。

Images