CN115804652A - 手术操作系统及方法 - Google Patents

Abstract

本说明书提供一种手术操作系统及方法，应用于医疗器械技术领域。所述系统包括主端设备和从端设备；从端设备包括手术器械；主端设备包括操控装置和显示装置；操控装置用于获取医生的操作指令；显示装置对应有第一显示模式；第一显示模式用于展示对应于三维血管通路人体模型的血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述所述手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置。所述系统准确直观地对介入手术场景进行描述，通过三维立体的方式对手术器械在血管中的位姿进行确定，保证了手术的有效执行，优化了患者的手术体验。

Description

手术操作系统及方法

技术领域

本说明书实施例涉及医疗器械技术领域，特别涉及一种手术操作系统及方法。

背景技术

介入手术是近年来发展的一种新兴的手术方式。介入手术在血管造影机、CT、超声、核磁共振等影像设备的支持下，获取患者的血管分布状况，再利用穿刺针、导管、导丝等介入器材，经由人体表面的自然孔洞或微小创口伸入患者体内，最终导入病灶区域对患者进行微创治疗，具有创伤小、恢复快等优点。

由于介入手术环境具有一定的放射性，为了避免医生长期暴露于放射性环境下受到不良影响，优选地，可以将患者的手术环境和医生的操作环境设置为相互隔离的环境，通过远程操控的方式来执行手术过程。目前在执行介入手术时，一般通过拍摄到的二维图像来展示手术状况。但是，由于介入手术涉及针对患者血管的手术操作，而人体血管通路较为复杂，仅仅根据拍摄到的图像难以直观地掌握当前患者的状况以及手术器械的具体位置，进而影响手术效果，严重时可能会导致医疗事故。因此，目前亟需一种在介入手术的过程中能够直观有效地将手术状况展示给医生的方法。

发明内容

本说明书实施例的目的是提供一种手术操作系统和图像展示方法，以解决如何直观有效地将介入手术中的手术状况展示给医生的问题。

为了解决上述技术问题，本说明书实施例提出了一种针对介入手术的手术操作系统，包括主端设备和从端设备；所述从端设备包括手术器械；所述从端设备用于获取所述手术器械的位置信息；所述主端设备包括操控装置和显示装置；所述操控装置用于获取医生的操作指令，以使从端设备基于操作指令控制所述手术器械移动；所述显示装置对应有第一显示模式；所述第一显示模式用于展示对应于三维血管通路人体模型的血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述所述手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置。

在一些实施方式中，所述显示装置还对应有第二显示模式；所述第二显示模式用于展示三维导航图像；所述三维导航图像包括以所述手术器械的端部为视点的第一人称显示图像；所述三维导航图像用于描述所述手术器械前进路径上的血管分叉状况；所述显示装置还用于接收医生的切换指令以转换不同的显示模式。

在一些实施方式中，所述三维血管通路人体模型通过以下方式获取：根据对应于患者的手术场景图像构建人体三维模型；基于所述患者的血管造影图像构建血管通路模型；融合所述人体三维模型和血管通路模型得到三维血管通路人体模型。

基于上述实施方式，所述融合所述人体三维模型和血管通路模型得到三维血管通路人体模型，包括：针对所述人体三维模型和所述血管通路模型分别进行配准，得到模型相对位置信息；其中，包括：利用相机校准进行配准，和/或，基于空间坐标系和平面坐标系之间的传递关系进行配准，和/或，结合图像融合配准算法进行配准；基于所述模型相对位置信息融合所述人体三维模型和所述血管通路模型得到所述三维血管通路人体模型。

在一些实施方式中，所述手术器械的位置信息包括DSA图像；所述血管通路图像通过以下方式获取：在所述DSA图像中标识手术器械；针对所述DSA图像和所述三维血管通路人体模型分别标定配准点；基于所述配准点，将所标识的手术器械投射至所述三维血管通路人体模型中；基于投射后的三维血管通路人体模型，生成对应于所述手术器械的血管通路图像。

在一些实施方式中，所述操控装置包括操作手；所述操作手设置有位置传感器；所述位置传感器用于在所述操作手被医生操控而移动的情况下，获取所述操作手的运动信息，以使所述从端设备基于所述运动信息控制所述手术器械进行移动。

基于上述实施方式，所述从端设备还包括力传感器；所述力传感器用于获取所述手术器械的移动阻力；所述移动阻力包括推进力和旋转力；相应的，所述操作手用于在被医生操控时，反馈对应于所述移动阻力的阻力。

基于上述实施方式，所述显示装置还用于展示对应于所述手术器械的移动速度值和/或推进阻力值。

在一些实施方式中，所述显示装置还用于在血管通路图像和/或三维导航图像中识别病灶区域；相应的，还用于在血管通路图像和/或三维导航图像中放大所述病灶区域。

基于上述实施方式，所述操控装置用于在手术器械与所述病灶区域之间的距离小于预设警示距离时，向医生发出提示信息；所述提示信息包括基于振动单元产生的振动信息和/或基于扬声器产生的声音信息。

在一些实施方式中，所述手术器械包括导丝、导管和介入器械中的至少一种。

在一些实施方式中，所述血管通路模型中还包括利用脏器解剖图构建的脏器模型。

在一些实施方式中，所述显示装置还用于接收医生的交互指令，以对第一显示模式下的所述血管通路图像进行调节操作；所述调节操作包括旋转、缩放、透视、隐藏、图层叠加中的至少一种。

在一些实施方式中，所述主端设备还包括语音分析模块；所述语音分析模块用于获取医生的语音指令，并对语音指令进行解析得到操作指令，以使从端设备基于所述操作指令执行对应的操作。

本说明书还提出一种针对介入手术的图像展示方法，包括：利用显示装置展示血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述所述手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置；在接收到医生输入的显示模式切换指令后，生成三维导航图像；所述三维导航图像包括以手术器械的端部为视角的第一人称显示图像；所述三维导航图像用于描述手术器械前进路径上的血管分叉状况；利用显示装置展示所述三维导航图像。

在一些实施方式中，所述利用显示装置展示血管通路图像，包括：获取操控装置接收到的医生的操作指令；基于所述操作指令移动手术器械；基于移动后的手术器械的空间位姿更新所述血管通路图像；相应的，所述生成三维导航图像，包括：获取操控装置接收到的医生的操作指令；基于所述操作指令移动手术器械；确定移动后的手术器械的端部的目标空间位置；以所述目标空间位置为视点构造对应的三维导航图像。

由以上本说明书实施例提供的技术方案可见，上述针对介入手术的手术操作系统，医生能够利用主端设备上的操作手对从端设备进行控制的同时，通过显示装置也能够以不同显示模式展示手术场景图像。在第一显示模式下，能够展示血管通路模型，以对手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置进行描述；在第二显示模式下，能够展示三维导航图像，以展示对应于手术器械的第一人称视角显示图像，从而直观对手术器械的前进路径上的血管分叉状况进行描述。通过上述操作系统，能够针对手术场景的不同应用需求切换显示模式，例如在大血管中移动手术器械时采用第一显示模式以确定手术器械在血管中的整体分布状况，在细小复杂的血管中移动手术器械时采用第二显示模式以直观有效地控制手术器械在正确的移动路径上前进。通过切换显示模式能够有效满足医生不同的手术需求，保证了手术的有效执行，优化了患者的手术体验。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例一种手术操作系统的结构图；

图2为本说明书实施例一种从端设备的示意图；

图3为本说明书实施例一种主端设备的示意图；

图4为本说明书实施例一种人体三维模型的示意图；

图5为本说明书实施例一种血管造影图像的示意图；

图6为本说明书实施例一种血管通路模型的示意图；

图7为本说明书实施例一种展示血管通路图像的场景示意图；

图8为本说明书实施例一种针对血管通路图像进行操作的场景示意图；

图9为本说明书实施例一种手术操作方法的流程图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。针对上述问题，本说明书实施例提出一种手术操作系统100。如图1所示，所述手术操作系统100包括主端设备120和从端设备110。

从端设备为应用于患者端的设备，用于针对患者实施手术操作。如图2所示，为所述从端设备的示意图。所述从端设备包括手术器械，所述手术器械用于实现所述介入手术。具体的，所述手术器械可以包括导丝、导管、介入机械等。针对血管介入手术，所述介入器械可以是血管介入器械；针对脏器介入手术，所述介入器械可以是脏器介入器械。具体的手术器械可以根据实际应用中介入手术的需求进行设置，在此不再赘述。

从端设备还可以设置相应的传感器，用于对采集对应于手术器械或手术环境的参数。例如，所述传感器可以包括力传感器，用于采集手术器械在移动时所受的阻力，还可以设置位置传感器，用于获取手术器械的位置。

主端设备是提供给医生进行操作的设备。如图3所示，为所述主端设备的示意图。所述主端设备包括操控装置和显示装置。

操控装置可以被医生所操控，进而生成对应的操控指令，用于发送至从端设备，以使从端设备对机器人自身以及对应的手术器械等进行控制。所述操控装置可以是操作手的形式，医生可以握住操作手在三维空间中基于任意方向进行移动。相应的，在操作手中设置有位置传感器，可以获取到操作手的位移参数，例如包括移动方向、移动距离和移动速度等，并将所述移动参数发送至从端设备，使得从端设备能够控制手术器械基于操作手的移动参数相应地进行移动。例如，在医生前推操作手时，控制手术器械向前移动。

从端设备与主端设备之间可以相互进行通信，例如，主端设备可以发送相应的控制指令至从端设备，从端设备也可以将采集到的信息反馈至主端设备。显示装置可以用于展示对应于介入手术过程的图像。具体的，所述显示装置具有第一显示模式和第二显示模式，分别用于展示不同类型的图像。

在第一显示模式下，所述显示装置用于展示对应于三维血管通路人体模型的血管通路图像。三维血管通路人体模型用于描述患者的血管空间分布状况，血管通路图像即是在血管空间分布状况的基础上，描述手术器械在血管中的空间位姿。通过血管通路图像，能够在展示患者整体血管分布状况的同时，也展示手术器械在人体内，尤其是血管中的位置情况。优选的，所述血管通路图像为增强现实显示图像，即在真实场景图像的基础上添加标记、其他图层所得到的三维图像。

三维血管通路人体模型可以是预先构建的对应于患者的血管通路的模型，用于描述患者的血管的三维空间分布状态。在介入手术为血管介入手术的情况下，构建三维血管通路人体模型能够有效表征患者的血管分布状况，结合手术器械的位置即可模拟生成手术器械相较于患者的血管的相对位置信息。

具体的，构建所述三维血管通路人体模型时，可以先构建对应于患者的人体三维模型，再根据患者的血管造影图像构建血管通路模型，融合所述人体三维模型和血管通路模型即可得到三维血管通路人体模型。

人体三维模型是用于表征患者外在整体形态的模型。具体的，在手术开始之前，可以通过相机对患者进行拍照，获取患者图像和/或手术场景图像，综合所述患者图像和/或手术场景图像完成对应于患者的人体三维模型的构建。具体的构建方式例如可以是基于神经网络模型对拍摄到的图像进行标识来确定人体三维模型，或是获取对应于患者身体的点云数据，利用点云数据构建人体三维模型。如图4所示，为人体三维模型的示意图。

具体的构建人体三维模型的步骤可以基于实际应用的需求进行设置，在此不再赘述。

血管通路模型用于描述患者体内血管的空间分布状况。具体的，在手术开始之前，可以先获取患者的血管造影图像。血管造影图像是通过将显影剂注入患者血管内，再利用相应的血管造影设备对患者进行拍摄后所生成的图像。如图5所示，为血管造影图像的示意图。

具体的，所述血管造影图像可以包括DSA(Digital subtraction angiography，数字减影血管造影)和CTA(CT angiography，CT血管造影)等。基于血管造影图像可以完成血管通路模型的构建。如图6所示，为构建得到的血管通路模型的示意图。具体的构建血管通路模型的步骤可以基于实际应用的需求进行设置，在此不再赘述。

由于介入手术还可能是针对脏器进行的，因此，在一些实施方式中，所述血管通路模型中还包括利用脏器解剖图构建的脏器模型。例如，所述脏器可以是患者的心脏，从而也能够有效体现患者的脏器的空间分布位置在融合脏器模型的情况下，能够对不同类型的介入手术进行有效实时，保证了应用环境。

由于人体三维模型无法反映患者体内的血管分布状况，而血管通路模型只能反映血管的空间分布状况，难以直接与手术场景相关联，因此将这两个模型进行融合得到三维血管通路人体模型，再将所述三维血管通路人体模型应用至手术过程中以更好地掌握手术状况。

具体的，可以先对人体三维模型和血管通路模型进行标定，以对各个关键点进行标定。之后，基于所标定的点对这两个模型进行配准，以确定模型之间的模型相对位置信息。基于所获取的模型相对位置信息对这两个模型进行融合以得到三维血管通路人体模型。

配准过程主要是根据标定点之间的空间位置来确定模型整体的空间相对位置。具体的配准方式可以是利用相机校准进行配准，和/或，基于空间坐标系和平面坐标系之间的传递关系进行配准，和/或，结合图像融合配准算法进行配准。具体的配准过程可以基于实际应用的需求进行设置，在此不再赘述。

在获取到模型相对位置信息之后，即确定了模型的空间位置之间的相对关系，进而可以有效对这两个模型进行融合，以生成三维血管通路人体模型。三维血管通路人体模型不仅能够用于描述人体的外部三维状态，还能够确定人体内的血管分布状况。在手术过程中，利用相机获取到手术场景图像，即患者的外部体表图像后，结合三维血管通路人体模型即可直观地确定患者当前的血管分布状况。

上述构建三维血管通路人体模型的过程可以在手术开始之前预先完成，以使得在手术过程中能够直接进行应用。在手术过程中，从端设备上可以设置相应的传感器来获取手术器械的位置信息。所述位置信息可以是对应于手术器械的DSA图像，通过对DSA图像进行识别即可确定手术器械在手术环境或患者血管中对应的空间位置，也可以是利用其他传感器获取到的手术器械的空间位置，例如通过红外、声波等方式所确定的手术器械空间位置。相应的，所述手术器械的位置信息中还可以包含手术器械相较于周围环境的空间位置，例如，在手术器械位于患者体内时，通过拍摄图像中的环境信息可以确定手术器械相较于周围环境的位置；在利用其他传感器确定手术器械位置的同时也可以获取周围环境的分布状况。

在一些实施方式中，当手术器械的位置信息为DSA图像时，构建血管通路图像的过程可以是先在DSA图像中标识手术器械，具体的可以通过相应的图像识别算法实现，例如预先训练相应的神经网络模型用于对DSA图像中的手术器械进行识别。此外，针对手术器械图像和三维血管通路人体模型分别标定配准点，标定的过程可以参考前述构建三维血管通路人体模型的过程。上述两个步骤之间无固定的执行顺序。

针对所标定的配准点，可以将图像中标识的手术器械投射至三维血管通路人体模型中，即实现了手术器械与三维血管通路人体模型的融合。例如，可以预先构建手术器械的三维模型，待确定手术器械的空间分布位置后，也能够相应地在三维血管通路人体模型中体现手术器械的空间位置。

针对投射后的三维血管通路人体模型，即可生成对应于手术器械的血管通路图像。血管通路图像可以对手术器械和血管的颜色、亮度、灰度等数值进行调整，使得所展示的图像中能够明确对血管和手术器械进行区分。由于三维血管通路人体模型本身为三维模型，因此可以有效地根据三维血管通路人体模型生成三维的图像，进而能够直观地体现手术器械在人体中的分布位置信息。

获取到所述血管通路图像后，可以将所述血管通路图像发送至主端设备，以使主端设备通过显示装置展示所述血管通路图像给医生。如图7所示，为基于显示装置对血管通路图像进行展示的示意图。

相应的，在所述血管通路图像为增强现实图像的情况下，所述显示装置为AR显示装置，从而能够有效地对所述血管通路图像进行展示，进而能够更为直观地展示出手术器械的空间分布状况。

虽然血管通路图像是三维的增强现实图像，但一般情况下也只能在一个视角下对患者的血管分布状况和手术器械的位置进行展示。而人体血管整体较为复杂，因此，为了更好掌握血管的分布状况和手术器械的空间位姿，在一些实施方式中，所述显示装置还可以具有可交互的特性。例如，所述显示装置的屏幕可以是触摸屏，用于接收用户输入的相应指令。医生针对可交互的显示装置输入交互指令后，可以对所述增强现实显示图像进行调节操作。调节操作包括旋转、缩放、透视、隐藏、图层叠加中的至少一种，以使所展示的图像符合医生的观看需求。如图8所示，为基于不同的操作指令对增强现实显示图像进行操作的示意图。

但是，在针对血管进行介入手术时，可能需要深入较为细小的血管执行手术操作。当手术器械在大血管中移动时，直接通过上述血管通路图像能够较为清晰地掌握手术器械相较于血管的空间位姿。而当手术器械深入较为细小的血管时，通过血管通路图像可能无法及时有效地掌握手术状况，例如还需要对血管通路图像进行旋转、放大处理，从而干扰手术进度。

为了解决上述技术问题，医生在面对上述情况时，可以将显示装置的显示模式由第一显示模式切换为第二显示模式。在第二显示模式下，显示装置可以展示三维导航图像。所述三维导航图像包括以手术器械的端部为视点的第一人称显示图像，进而对手术器械前进路径上的血管分叉状况进行有效描述。

具体的构造所述三维导航图像的过程可以在确定手术器械的空间位置后，在三维血管通路人体模型中定位所述空间位置，进而确定手术器械的前进路径。基于所述前进路径可以对三维血管通路人体模型进行切片操作，以获取前进路径上多个位置处的切片图像。根据所述切片图像可以构造所述三维导航图像。相应的，所述三维导航图像也可以是增强显示图像，从而使得医生能够更为直观地掌握血管路径延伸状况。

需要说明的是，在获取切片图像时，可以忽略三维血管通路人体模型中血管壁的厚度，以保证能够有效完成三维导航图像的构建。

通过第二显示模式展示三维导航图像，使得医生在手术过程中面对复杂的血管分布区域或是血管出现较多分叉的区域时，能够通过第一人称视角的方式查看当前的血管延伸路径，进而直观地选取正确的前进方向，优化手术执行效果。

此外，医生根据需求，可以随时由第一显示模式切换至第二显示模式，或是由第二显示模式切换至第一显示模式，以适应不同的手术场景需求。

需要说明的是，对于所述三维血管通路人体模型的构造以及所述血管通路图像、三维导航图像的生成可以是以所述显示装置为主体而完成的，也可以是有其他独立的计算设备来完成，对此不做限制。

由于在当前所针对的手术环境中，医生无法直接操作从端设备上的手术器械，仅仅依据所展示的图像可能与传统的手术操作过程有一定的差别，进而可能影响医生的操作效果。因此，在一些实施方式中，所述从端设备上还可以设置有力传感器。所述力传感器可以获取手术器械在移动过程中所受的移动阻力，具体的，所述移动阻力可以包括推进力和旋转力等。相应的，从端设备可以根据力传感器采集到的信息，确定对应的阻力类型、阻力大小、阻力方向等参数，并将这些参数反馈至主端设备。

在主端设备是基于操作手来执行介入手术，即医生通过移动操作手来控制手术器械的移动的情况下，主端设备可以将所接受到的对应于移动阻力的信息反馈至操作手，使得医生能够基于操作手感受到当前手术器械的阻力变化情况。例如，当手术器械前进阻力增大时，则医生推动操作手前进时所受的阻力同样也会增大。通过将手术器械所受阻力实时反馈给医生，使得手术状况更为贴近传统的手术操作过程，医生能够有效掌握当前的手术状况，保证了手术的执行效果。

优选的，在主端设备包括显示装置的情况下，所述显示装置还可以展示当前手术器械的移动速度值和/或推进阻力值，使得医生不仅能够通过操作手的反馈确定阻力，还能够基于所展示的数值变化情况直观地确定手术过程中的阻力变动状况，进一步地优化手术效果。

在一些实施方式中，所述图像处理模块还可以在血管通路图像或三维导航图像中识别病灶区域。病灶区域可以是预先由医生或其他操作人员在模型中进行标识，也可以预先确定病灶区域的特征，并基于图像识别技术来确定血管通路图像或三维导航图像中的病灶区域。

在检测到病灶区域后，为了保证医生的手术执行效果，可以放大所述病灶区域。在展示放大后的增强现实显示图像至医生时，使得医生能够更清晰地掌握患者的病灶区域的状况，优化手术的执行效果。

在一些实施方式中，图像处理模块在识别到病灶区域后，还可以计算手术器械和病灶区域之间的距离。当检测到这一距离小于预设警示距离时，即表示手术器械当前与病灶区域较为接近，相应地可以向医生发出提示信息，以提醒医生手术器械接近病灶区域。提示信息可以是基于震动单元产生的震动信息，例如可以在操作手中设置震动单元，以对操作手进行震动来提醒医生；也可以在主端设备上设置扬声器，基于扬声器产生声音信息，来提醒医生当前手术器械接近病灶区域。

优选的，为了不对医生的手术过程进行干扰，所述提示信息可以仅维持较短的时间，防止医生在手术过程中收到操作手震动或语音干扰而影响手术正常进行。

在一些实施方式中，为了优化医生的手术操作过程，所述主端设备还可以包括语音分析模型。语音分析模块可以获取医生的语音指令，并基于语音识别技术对语音指令进行解析得到对应的操作指令。

所述操作指令可以是针对显示装置的操作指令，例如可以对显示装置所展示的图像进行旋转、放大等操作；所述操作指令也可以是针对从端设备的操作指令，例如发送至从端设备以使从端设备基于操作指令控制手术器械执行对应的手术操作。

通过设置语音指令采集和分析，使得医生在手术过程中不方便利用操作手进行控制或是对显示装置展示的图片进行调控时，能够直接通过语音的方式进行控制，改善了医生的手术操作体验。

基于上述实施例的介绍，所述针对介入手术的手术操作系统医生能够利用主端设备上的操作手对从端设备进行控制的同时，通过显示装置也能够以不同显示模式展示手术场景图像。在第一显示模式下，能够展示血管通路模型，以对手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置进行描述；在第二显示模式下，能够展示三维导航图像，以展示对应于手术器械的第一人称视角显示图像，从而直观对手术器械的前进路径上的血管分叉状况进行描述。通过上述操作系统，能够针对手术场景的不同应用需求切换显示模式，例如在大血管中移动手术器械时采用第一显示模式以确定手术器械在血管中的整体分布状况，在细小复杂的血管中移动手术器械时采用第二显示模式以直观有效地控制手术器械在正确的移动路径上前进。通过切换显示模式能够有效满足医生不同的手术需求，保证了手术的有效执行，优化了患者的手术体验。

基于上述针对介入手术的手术操作系统，介绍本说明书实施例的一种针对介入手术的图像展示方法。所述针对介入手术的图像展示方法的执行主体可以为所述针对介入手术的手术操作系统。如图9所示，所述手术机器人速度限制方法包括以下具体实施步骤。

S910：利用显示装置展示血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述所述手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置。

显示装置可以用于展示对应于介入手术过程的图像。具体的，所述显示装置具有第一显示模式和第二显示模式，分别用于展示不同类型的图像。

在第一显示模式下，所述显示装置用于展示对应于三维血管通路人体模型的血管通路图像。三维血管通路人体模型用于描述患者的血管空间分布状况，血管通路图像即是在血管空间分布状况的基础上，描述手术器械在血管中的空间位姿。通过血管通路图像，能够在展示患者整体血管分布状况的同时，也展示手术器械在人体内，尤其是血管中的位置情况。

优选的，所述血管通路图像为增强现实显示图像，即在真实场景图像的基础上添加标记、其他图层所得到的三维图像。

三维血管通路人体模型可以是预先构建的对应于患者的血管通路的模型，用于描述患者的血管的三维空间分布状态。在介入手术为血管介入手术的情况下，构建三维血管通路人体模型能够有效表征患者的血管分布状况，结合手术器械的位置即可模拟生成手术器械相较于患者的血管的相对位置信息。

具体的，构建所述三维血管通路人体模型时，可以先构建对应于患者的人体三维模型，再根据患者的血管造影图像构建血管通路模型，融合所述人体三维模型和血管通路模型即可得到三维血管通路人体模型。

人体三维模型是用于表征患者外在整体形态的模型。具体的，在手术开始之前，可以通过相机对患者进行拍照，获取患者图像和/或手术场景图像，综合所述患者图像和/或手术场景图像完成对应于患者的人体三维模型的构建。具体的构建方式例如可以是基于神经网络模型对拍摄到的图像进行标识来确定人体三维模型，或是获取对应于患者身体的点云数据，利用点云数据构建人体三维模型。如图4所示，为人体三维模型的示意图。

优选的，在构建人体三维模型时，也可以结合相应的血管造影图像来生成所述人体三维模型。例如，获取CT血管造影图像，基于CT血管造影图像和患者图像、手术场景图像一同生成所述人体三维模型。由于CT血管造影图像能够清晰显示全身各部位的血管细节，因此也能够有效体现患者的整体三维形态。

具体的构建人体三维模型的步骤可以基于实际应用的需求进行设置，在此不再赘述。

血管通路模型用于描述患者体内血管的空间分布状况。具体的，在手术开始之前，可以先获取患者的血管造影图像。血管造影图像是通过将显影剂注入患者血管内，再利用相应的血管造影设备对患者进行拍摄后所生成的图像。如图5所示，为血管造影图像的示意图。

具体的，所述血管造影图像可以包括DSA(Digital subtraction angiography，数字减影血管造影)和CTA(CT angiography，CT血管造影)等。基于血管造影图像可以完成血管通路模型的构建。如图6所示，为构建得到的血管通路模型的示意图。具体的构建血管通路模型的步骤可以基于实际应用的需求进行设置，在此不再赘述。

由于介入手术还可能是针对脏器进行的，因此，在一些实施方式中，所述血管通路模型中还包括利用脏器解剖图构建的脏器模型。例如，所述脏器可以是患者的心脏，从而也能够有效体现患者的脏器的空间分布位置在融合脏器模型的情况下，能够对不同类型的介入手术进行有效实时，保证了应用环境。

由于人体三维模型无法反映患者体内的血管分布状况，而血管通路模型只能反映血管的空间分布状况，难以直接与手术场景相关联，因此将这两个模型进行融合得到三维血管通路人体模型，再将所述三维血管通路人体模型应用至手术过程中以更好地掌握手术状况。

具体的，可以先对人体三维模型和血管通路模型进行标定，以对各个关键点进行标定。之后，基于所标定的点对这两个模型进行配准，以确定模型之间的模型相对位置信息。基于所获取的模型相对位置信息对这两个模型进行融合以得到三维血管通路人体模型。

配准过程主要是根据标定点之间的空间位置来确定模型整体的空间相对位置。具体的配准方式可以是利用相机校准进行配准，和/或，基于空间坐标系和平面坐标系之间的传递关系进行配准，和/或，结合图像融合配准算法进行配准。具体的配准过程可以基于实际应用的需求进行设置，在此不再赘述。

在获取到模型相对位置信息之后，即确定了模型的空间位置之间的相对关系，进而可以有效对这两个模型进行融合，以生成三维血管通路人体模型。三维血管通路人体模型不仅能够用于描述人体的外部三维状态，还能够确定人体内的血管分布状况。在手术过程中，利用相机获取到手术场景图像，即患者的外部体表图像后，结合三维血管通路人体模型即可直观地确定患者当前的血管分布状况。

上述构建三维血管通路人体模型的过程可以在手术开始之前预先完成，以使得在手术过程中能够直接进行应用。在手术过程中，从端设备上可以设置相应的传感器来获取手术器械的位置信息。所述位置信息可以是对应于手术器械的DSA图像，通过对DSA图像进行识别即可确定手术器械在手术环境或患者血管中对应的空间位置，也可以是利用其他传感器获取到的手术器械的空间位置，例如通过红外、声波等方式所确定的手术器械空间位置。相应的，所述手术器械的位置信息中还可以包含手术器械相较于周围环境的空间位置，例如，在手术器械位于患者体内时，通过拍摄图像中的环境信息可以确定手术器械相较于周围环境的位置；在利用其他传感器确定手术器械位置的同时也可以获取周围环境的分布状况。

在一些实施方式中，当手术器械的位置信息为DSA图像时，构建血管通路图像的过程可以是先在DSA图像中标识手术器械，具体的可以通过相应的图像识别算法实现，例如预先训练相应的神经网络模型用于对DSA图像中的手术器械进行识别。

此外，针对手术器械图像和三维血管通路人体模型分别标定配准点，标定的过程可以参考前述构建三维血管通路人体模型的过程。上述两个步骤之间无固定的执行顺序。

针对所标定的配准点，可以将图像中标识的手术器械投射至三维血管通路人体模型中，即实现了手术器械与三维血管通路人体模型的融合。例如，可以预先构建手术器械的三维模型，待确定手术器械的空间分布位置后，也能够相应地在三维血管通路人体模型中体现手术器械的空间位置。

针对投射后的三维血管通路人体模型，即可生成对应于手术器械的血管通路图像。血管通路图像可以对手术器械和血管的颜色、亮度、灰度等数值进行调整，使得所展示的图像中能够明确对血管和手术器械进行区分。由于三维血管通路人体模型本身为三维模型，因此可以有效地根据三维血管通路人体模型生成三维的图像，进而能够直观地体现手术器械在人体中的分布位置信息。

获取到所述血管通路图像后，可以将所述血管通路图像发送至主端设备，以使主端设备通过显示装置展示所述血管通路图像给医生。如图7所示，为基于显示装置对血管通路图像进行展示的示意图。

相应的，在所述血管通路图像为增强现实图像的情况下，所述显示装置为AR显示装置，从而能够有效地对所述血管通路图像进行展示，进而能够更为直观地展示出手术器械的空间分布状况。

此外，在展示血管通路图像的同时，若医生基于主端设备上的操控装置输入对应的操作指令，并基于操作指令对手术器械进行了移动，则手术器械的空间位姿进行了变化。因此，可以基于移动后的手术器械的空间位姿更新所述血管通路图像。具体的构建方式可以参照前述构建血管通路图像的过程，进而保证所展示的血管通路图像与实际应用状况相对应，保障手术的有效进行。

S920：在接收到医生输入的显示模式切换指令后，生成三维导航图像；所述三维导航图像包括以手术器械的端部为视角的第一人称显示图像；所述三维导航图像用于描述手术器械前进路径上的血管分叉状况。

虽然血管通路图像是三维的增强现实图像，但一般情况下也只能在一个视角下对患者的血管分布状况和手术器械的位置进行展示。而人体血管整体较为复杂，因此，为了更好掌握血管的分布状况和手术器械的空间位姿，在一些实施方式中，所述显示装置还可以具有可交互的特性。例如，所述显示装置的屏幕可以是触摸屏，用于接收用户输入的相应指令。医生针对可交互的显示装置输入交互指令后，可以对所述增强现实显示图像进行调节操作。调节操作包括旋转、缩放、透视、隐藏、图层叠加中的至少一种，以使所展示的图像符合医生的观看需求。如图8所示，为基于不同的操作指令对增强现实显示图像进行操作的示意图。

但是，在针对血管进行介入手术时，可能需要深入较为细小的血管执行手术操作。当手术器械在大血管中移动时，直接通过上述血管通路图像能够较为清晰地掌握手术器械相较于血管的空间位姿。而当手术器械和/或机器人深入较为细小的血管时，通过血管通路图像可能无法及时有效地掌握手术状况，例如还需要对血管通路图像进行旋转、放大处理，从而干扰手术进度。

为了解决上述技术问题，医生在面对上述情况时，可以将显示装置的显示模式由第一显示模式切换为第二显示模式。在第二显示模式下，显示装置可以展示三维导航图像。所述三维导航图像包括以手术器械的端部为视点的第一人称显示图像，进而对手术器械前进路径上的血管分叉状况进行有效描述。

具体的构造所述三维导航图像的过程可以在确定手术器械的空间位置后，在三维血管通路人体模型中定位所述空间位置，进而确定手术器械的前进路径。基于所述前进路径可以对三维血管通路人体模型进行切片操作，以获取前进路径上多个位置处的切片图像。根据所述切片图像可以构造所述三维导航图像。相应的，所述三维导航图像也可以是增强显示图像，从而使得医生能够更为直观地掌握血管路径延伸状况。

需要说明的是，在获取切片图像时，可以忽略三维血管通路人体模型中血管壁的厚度，以保证能够有效完成三维导航图像的构建。

通过第二显示模式展示三维导航图像，使得医生在手术过程中面对复杂的血管分布区域或是血管出现较多分叉的区域时，能够通过第一人称视角的方式查看当前的血管延伸路径，进而直观地选取正确的前进方向，优化手术执行效果。

S930：利用显示装置展示所述三维导航图像。

在获取到所述三维导航图像后，显示装置可以对其进行展示，以使医生直观地掌握手术器械的前进方向上的血管分布状况，保障手术的有效进行。

相应的，在展示三维导航图像的同时，若医生基于主端设备上的操控装置输入对应的操作指令，并基于操作指令对手术器械进行了移动，则手术器械的空间位姿进行了变化。因此，可以基于移动后的手术器械的空间位姿也可以对所述三维导航图像进行更新。

具体的构建方式可以参照前述构建三维导航图像的过程，进而保证所展示的三维导航图像与当前手术器械的位置相对应，保障手术的有效进行。

虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。

本申请是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种手术操作系统，其特征在于，包括主端设备和从端设备；

所述从端设备包括手术器械；所述从端设备用于获取所述手术器械的位置信息；

所述主端设备包括操控装置和显示装置；所述操控装置用于获取医生的操作指令，以使所述从端设备基于所述操作指令控制所述手术器械移动；所述显示装置对应有第一显示模式；所述第一显示模式用于展示对应于三维血管通路人体模型的血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述所述手术器械在所述三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置。

2.如权利要求1所述的手术操作系统，其特征在于，所述显示装置还对应有第二显示模式；所述第二显示模式用于展示三维导航图像；所述三维导航图像包括以所述手术器械的端部为视点的第一人称显示图像；所述三维导航图像用于描述所述手术器械前进路径上的血管分叉状况；

所述显示装置还用于接收医生的切换指令以转换不同的显示模式。

3.如权利要求1所述的手术操作系统，其特征在于，所述三维血管通路人体模型通过以下方式获取：

根据对应于患者的手术场景图像构建人体三维模型；

基于所述患者的血管造影图像构建血管通路模型；

融合所述人体三维模型和所述血管通路模型得到所述三维血管通路人体模型。

4.如权利要求3所述的手术操作系统，其特征在于，所述融合所述人体三维模型和所述血管通路模型得到所述三维血管通路人体模型，包括：

针对所述人体三维模型和所述血管通路模型分别进行配准，得到模型相对位置信息；其中，包括：利用相机校准进行配准，和/或，基于空间坐标系和平面坐标系之间的传递关系进行配准，和/或，结合图像融合配准算法进行配准；

基于所述模型相对位置信息融合所述人体三维模型和所述血管通路模型得到所述三维血管通路人体模型。

5.如权利要求1所述的手术操作系统，其特征在于，所述手术器械的位置信息包括DSA图像；所述血管通路图像通过以下方式获取：

在所述DSA图像中标识手术器械；

针对所述DSA图像和所述三维血管通路人体模型分别标定配准点；

基于所述配准点，将所标识的手术器械投射至所述三维血管通路人体模型中；

基于投射后的三维血管通路人体模型，生成对应于所述手术器械的血管通路图像。

6.如权利要求1所述的手术操作系统，其特征在于，所述操控装置包括操作手；所述操作手设置有位置传感器；所述位置传感器用于在所述操作手被医生操控而移动的情况下，获取所述操作手的运动信息，以使所述从端设备基于所述运动信息控制所述手术器械进行移动。

7.如权利要求6所述的手术操作系统，其特征在于，所述从端设备还包括力传感器；所述力传感器用于获取所述手术器械的移动阻力；所述移动阻力包括推进力和旋转力；

相应的，所述操作手用于在被医生操控时，反馈对应于所述移动阻力的阻力。

8.如权利要求7所述的手术操作系统，其特征在于，所述显示装置还用于展示对应于所述手术器械的移动速度值和/或推进阻力值。

9.如权利要求1或2所述的手术操作系统，其特征在于，所述显示装置还用于在所述血管通路图像和/或所述三维导航图像中识别病灶区域；相应的，还用于在所述血管通路图像和/或所述三维导航图像中放大所述病灶区域。

10.如权利要求9所述的手术操作系统，其特征在于，所述操控装置用于在所述手术器械与所述病灶区域之间的距离小于预设警示距离时，向医生发出提示信息；所述提示信息包括基于震动单元产生的震动信息和/或基于扬声器产生的声音信息。

11.如权利要求1所述的手术操作系统，其特征在于，所述显示装置还用于接收医生的交互指令，以对所述第一显示模式下的所述血管通路图像进行调节操作；所述调节操作包括旋转、缩放、透视、隐藏、图层叠加中的至少一种。

12.如权利要求1所述的手术操作系统，其特征在于，还包括语音分析模块；所述语音分析模块用于获取医生的语音指令，并对所述语音指令进行解析得到操作指令，以使从端设备基于所述操作指令执行对应的操作。

13.一种手术操作方法，其特征在于，包括：

利用显示装置展示血管通路图像；所述血管通路图像包括增强现实显示图像；所述血管通路图像用于描述手术器械在三维血管通路人体模型中的空间位姿和对应于血管的相对空间位置；

在接收到医生输入的显示模式切换指令后，生成三维导航图像；所述三维导航图像包括以手术器械的端部为视角的第一人称显示图像；所述三维导航图像用于描述手术器械的前进路径上的血管分叉状况；

利用显示装置展示所述三维导航图像。

14.如权利要求13所述的手术操作方法，其特征在于，利用显示装置展示血管通路图像，包括：

获取操控装置接收到的医生的操作指令；

基于所述操作指令移动手术器械；

基于移动后的手术器械空间位姿更新所述血管通路图像；

相应的，所述生成三维导航图像，包括：

获取操控装置接收到的医生的操作指令；

基于所述操作指令移动手术器械；

确定移动后的手术器械的端部的目标空间位置；

以所述目标空间位置为视点构造对应的三维导航图像。

Images