CN116650111A - 一种支气管异物清除手术的模拟和导航方法及系统 - Google Patents

Abstract

本说明书实施例提供一种支气管异物清除手术的模拟和导航方法及系统，该方法包括：基于目标对象的胸部的医学影像数据，生成胸部中的气管对应的气管树分割掩膜和胸部中的异物对应的异物分割掩膜；基于气管树分割掩膜和异物分割掩膜，生成虚拟场景，虚拟场景至少包括气管对应的虚拟气管、异物对应的虚拟异物、气管镜的行进路径对应的虚拟路径；以及基于虚拟场景，为异物的清除手术提供手术模拟和/或手术导航。

Description

一种支气管异物清除手术的模拟和导航方法及系统

技术领域

本说明书涉及手术模拟和导航领域，特别涉及一种支气管异物清除手术的模拟和导航方法及系统。

背景技术

支气管异物是常见的气管危重急症，其患者通常有较高的并发症发生率和致残致死率。支气管异物的检查和治疗往往需要对异物的位置、大小和类型进行快速检测。临床实践中，常常需要利用气管镜对患者进行异物检查和取出手术。由于气管镜检查受限于患者忍耐度、医生的经验及熟练度以及光学视野的局限性，其诊断效果和速度难以达到无侵入性的X光、CT成像检查的效果。此外，由于有些支气管比较细，且可能存在炎症、积液等并发症，气管镜的光学视野会受到明显限制，往往需要医生进行盲探，这无疑增加了手术的风险性。

因此，希望提供一种支气管异物清除手术的模拟和导航方法及系统，能够实现异物的快速准确定位，并提供沉浸式的手术模拟和导航服务。

发明内容

本说明书实施例之一提供一种支气管异物清除手术的模拟和导航方法，包括：基于目标对象的胸部的医学影像数据，生成所述胸部中的气管对应的气管树分割掩膜和所述胸部中的异物对应的异物分割掩膜；基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景，所述虚拟场景至少包括所述气管对应的虚拟气管、所述异物对应的虚拟异物、所述气管镜的行进路径对应的虚拟路径；以及基于所述虚拟场景，为所述异物的清除手术提供手术模拟和/或手术导航。

本说明书实施例之一提供一种支气管异物清除手术模拟和导航系统，其特征在于，包括：分割模块，用于基于目标对象的胸部的医学影像数据，生成所述胸部中的气管对应的气管树分割掩膜和所述胸部中的异物对应的异物分割掩膜；虚拟场景构建模块，用于基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景，所述虚拟场景至少包括所述气管对应的虚拟气管、所述异物对应的虚拟异物、所述气管镜的行进路径对应的虚拟路径；手术模拟模块，用于基于所述虚拟场景，为所述异物的清除手术提供手术模拟；手术导航模块，用于基于所述虚拟场景，为所述异物的清除手术提供手术导航。

本说明书实施例之一提供一种支气管异物清除手术模拟和导航装置，包括：处理器和存储设备，所述存储设备存储有指令，当所述处理器执行所述指令时，实现上述的任一项所述的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的支气管异物清除手术的模拟和导航系统的应用场景示意图；

图2是根据本说明书一些实施例所示支气管异物清除手术的模拟和导航系统的示例性模块图；

图3是根据本说明书一些实施例所示的支气管异物清除手术的模拟和导航方法的示例性流程图；

图4是根据本说明书一些实施例所示的确定异物分割掩膜的方法的示例性流程图；

图5a是根据本说明书一些实施例所示的确定气管的狭窄区域的方法的示例性流程图；

图5b是根据本说明书一些实施例所示的虚拟场景的示例性示意图；

图6是根据本说明书一些实施例所示的为异物的清除手术提供手术模拟的方法的示例性流程图；

图7是根据本说明书一些实施例所示的为异物的清除手术提供手术导航的方法的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的支气管异物清除手术模拟和导航系统(下文简称为手术系统)的应用场景示意图。手术系统可以用于为支气管异物清除手术提供手术模拟服务和手术导航服务。其中，支气管异物清除手术可以包括利用气管镜进行的异物检查手术，也可以包括利用气管镜和异物清除设备(如异物钳)进行的异物取出手术。手术模拟服务可以让用户在虚拟的手术模拟场景中执行虚拟的异物清除手术，以模拟真实的异物清除手术。手术导航服务可以用于引导用户对目标对象进行真实的异物清除手术。关于手术模拟和手术导航的相关内容参见图6和图7及其描述。

如图1所示，支气管异物清除手术模拟和导航系统的应用场景100可以包括成像设备110、处理设备120和交互设备130。

成像设备110可以用于采集目标对象的医学影像数据。在一些实施例中，成像设备110可以包括超声采集装置、X光扫描仪、CT扫描仪、PET扫描仪、MRI扫描仪等，用于采集目标对象(如患者)的胸部的医学影像数据(如肺、气管、异物等的医学图像)。在一些实施例中，成像设备110可以通过网络(图中未示出)将医学影像数据发送至处理设备120，以实现对医学影像数据的处理(如气管树、肺部器官的分割处理)。

处理设备120可以处理从成像设备110、交互设备130和/或任何其他组件(例如，存储设备)获得的数据和/或信息。在一些实施例中，处理设备120可以根据目标对象(如患者)的胸部的医学影像数据，生成其胸部中的气管对应的气管树分割掩膜和异物对应的异物分割掩膜，并基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景。在一些实施例中，处理设备120可以根据用户的手术模拟操作，指示交互设备130(如触觉组件)向用户提供关于手术模拟操作对应的触觉反馈(如震动、抖动)。

在一些实施例中，处理设备120可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式的也可以是分布式的。在一些实施例中，处理设备120可以由具有处理器、存储器、输入/输出(I/O)、通信端口等的计算设备实现。在一些实施例中，处理设备120可以在交互设备130(如VR设备)的处理电路(如处理器、CPU)上实现。在一些实施例中，处理设备120可以是本地的或远程的。处理设备120可以直接连接到成像设备110、交互设备130以访问存储的或获取的信息和/或数据。在一些实施例中，处理设备120可以在云平台上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

交互设备130可以指为用户提供虚拟现实服务的设备。交互设备130可以包括各类VR设备、键盘、鼠标、手柄等或它们的组合。如图1所示，交互设备130可以包括显示组件131和输入组件132。

显示组件131可以用于查看虚拟内容(例如，手术模拟场景或手术导航场景面)。在一些实施例中，显示组件131可以包括如图1所示的VR设备(如VR头盔、VR眼镜、裸眼3D显示装置)或其他的显示装置(如显示屏)等。

在一些实施例中，用户可以通过显示组件131与虚拟内容进行交互。例如，当用户佩戴显示组件131时，显示组件131可以跟踪用户的头部运动和/或注视方向，从而呈现相应的虚拟场景的画面，以响应用户位置和/或方向的变化，依此可以提供反映用户视角变化的沉浸式虚拟现实体验。

输入组件132可以使用户与显示组件131上显示的虚拟内容(例如，手术模拟或手术导航的虚拟场景)之间进行用户交互。例如，输入组件132可以包括VR设备(如VR手套)或者其他被配置为接收用户输入的装置(如键盘、鼠标、体感控制手柄、麦克风、触摸传感器等)。

输入组件132可以获取用户输入的数据和/或指令，以实现对虚拟内容(如手术模拟场景和/或手术导航场景)的控制。在一些实施例中，用户可以通过输入组件132实现手术模拟操作。例如，通过输入组件132控制虚拟气管镜移动，控制虚拟异物钳夹取虚拟异物等。

在一些实施例中，输入组件132可以包括一个或多个传感器(如GPS、加速度计、陀螺仪、电磁传感器)，用于跟踪和收集输入组件132的输入信号。输入信号可以表示输入组件132的位置(如三维坐标的形式)、角度(如三维旋转角度)等的变化信息。同时，显示组件131(或处理设备120)可以通过有线或无线网络接收输入组件132的输入信号，并对虚拟元素在虚拟场景中的位置、角度以及其他虚拟场景的内容(如虚拟气管镜视野范围的图像、虚拟气管的形变等)进行更新，以实现用户进行手术模拟和/或手术导航的交互过程。

在一些实施例中，输入组件132还可以包括能够向用户提供触觉反馈的触觉组件。例如，用户可以通过触觉组件提供的触觉反馈(如震动)感受到虚拟场景中的虚拟元素之间的相互作用(如虚拟异物钳夹取虚拟异物、虚拟异物钳与虚拟异物的碰撞、虚拟气管镜对虚拟气管壁的挤压等)。在一些实施例中，触觉组件可以包括多个传感器(如力传感器、位置传感器)。例如，力传感器可以获取施力和/或受力的大小和方向等测量值，并发送至处理设备120。处理设备120可以通过对前述测量值的分析处理，生成触觉反馈，以实现更加逼真的手术模拟和/或手术导航体验。

上述描述仅出于说明性目的，实际的应用场景可以有各种变化。

应当注意注应用场景100仅仅是为了说明的目的而提供的，并不意图限制本申请的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，例如，应用场景100中还可以包括除VR装置外的其他显示装置(如投屏设备)，用于呈现用户(如手术模拟操作员)的手术模拟和/或手术导航的画面。例如，显示装置呈现的画面可以与显示组件131呈现的画面一致。然而，这些变化和修改不会背离本申请的范围。

图2是根据本说明书一些实施例所示支气管异物清除手术的模拟和导航系统的示例性模块图。

如图2所示，手术系统200可以包括分割模块210、虚拟场景构建模块220、手术模拟模块230、手术导航模块240。在一些实施例中，手术系统200可以在处理设备120上实现。

分割模块210，可以用于基于目标对象的胸部的医学影像数据，生成胸部中的气管对应的气管树分割掩膜和胸部中的异物对应的异物分割掩膜。

在一些实施例中，分割模块210还可以用于利用异物检测模型对医学影像数据进行处理，确定异物的位置信息，异物检测模型为机器学习模型；并基于异物的位置信息和医学影像数据，确定异物的局部图像；以及基于异物分割模型对局部图像进行分割处理，确定异物分割掩膜。

虚拟场景构建模块220，可以用于基于气管树分割掩膜和异物分割掩膜，生成虚拟场景，虚拟场景至少包括气管对应的虚拟气管、异物对应的虚拟异物、气管镜的行进路径对应的虚拟路径。

在一些实施例中，虚拟场景构建模块220还可以用于基于气管树分割掩膜对异物分割掩膜进行校正处理，得到校正后的异物分割掩膜；以及基于气管树分割掩膜和校正后的异物分割掩膜，生成虚拟场景。

在一些实施例中，虚拟场景还包括对气管的狭窄区域的标记，虚拟场景构建模块220还可以用于确定所述虚拟路径上的路径点；并基于多个路径点对应的气管腔半径，确定每个路径点对应的半径变化梯度；以及基于每个路径点对应的半径变化梯度，确定狭窄区域。

在一些实施例中，虚拟场景构建模块220还可以用于对虚拟路径进行分段，以得到多个路径分段；对每个路径分段，基于路径分段对应的预设距离间隔，确定路径分段上的多个路径点，虚拟路径上的多个路径点包括每个路径分段上的多个路径点。

手术模拟模块230，可以用于基于虚拟场景，为异物的清除手术提供手术模拟。

在一些实施例中，虚拟场景还包括气管镜对应的虚拟气管镜和异物清除设备对应的虚拟异物清除设备；手术模拟模块230还可以用于基于虚拟场景，利用交互设备加载手术模拟场景，交互设备至少包括用于显示虚拟场景的显示设备、用于控制虚拟气管镜和虚拟异物清除设备进行手术模拟操作的输入设备；并基于有限元分析算法预测手术模拟操作对手术模拟场景的作用；基于预测的作用，更新手术模拟场景。

手术导航模块240，可以用于基于虚拟场景，为异物的清除手术提供手术导航。

在一些实施例中，手术导航模块240还可以用于基于虚拟场景，利用交互设备加载手术导航场景，虚拟气管镜在手术导航场景中具有初始位姿；基于气管镜在清除手术中的实时位姿，将虚拟气管镜从初始位姿调整为更新位姿；以及基于气管镜获取的实时图像和虚拟气管镜在更新位姿下获取的虚拟画面，进一步调整虚拟气管镜的位姿，以使调整后的虚拟气管镜的虚拟画面和实时画面一致。

关于上述模块的更多描述，可以参考图3及其相关描述。

图3是根据本说明书一些实施例所示的支气管异物清除手术的模拟和导航方法的示例性流程图。

在一些实施例中，流程300可以由手术系统(如手术系统200)执行。如图3所示，流程300包括下述步骤。

步骤310，基于目标对象的胸部的医学影像数据，生成胸部中的气管对应的气管树分割掩膜和胸部中的异物对应的异物分割掩膜。

目标对象可以指需要进行异物清除手术的对象。目标对象可以是人、动物等或其一部分。目标对象的气管指的是连接目标对象的喉部和肺部的通道，包括连接喉部和支气管的主气管(也可以称为呼吸道)、连接主气管和肺部的支气管等。

医学影像数据可以包括但不限于CT图像、超声图像、X光图像等医学图像。医学影像数据可以通过医学扫描设备(如CT设备)对目标对象的胸部进行扫描获得。在一些实施例中，医学影像数据可以包括三维医学图像。

医学影像数据包含有异物和/或目标对象的组织的信息，例如，医学影像数据可以包含异物在目标对象中的位置(如胸腔、主支气管、左肺下叶支气管等)、异物的形状、轮廓、大小等信息，还可以包含有异物周围的器官或组织(如心脏、血管、肋骨)的形状、轮廓等信息。

在一些实施例中，手术系统可以对医学影像数据进行预处理。预处理可以包括对医学影像数据的灰度变化、色彩畸变、去噪、归一化等处理，以得到预处理后的医学影像数据。出于示例目的，下文以医学影像数据为例展开描述。应当理解，下文描述的分割操作也可以对预处理后的医学影像数据执行。

气管树分割掩膜可以通过对医学影像数据进行气管分割后生成，其可以包括主气管、主支气管、肺叶支气管、肺段支气管等各类支气管的形状、尺寸和轮廓等信息。气管树分割掩膜可以是二值图像(其中0和1分别表示背景和气管)或多值图像(其中0表示背景，不同的数值表示不同类型的气管)的形式。

在一些实施例中，气管树分割掩膜可以通过对医学影像数据中的气管轮廓进行人工勾画或标注的方式确定。在一些实施例中，手术系统可以通过图像处理算法对医学影像数据进行处理，例如，可以利用包括但不限于阈值法、区域生长法等对医学影像数据进行分割处理，获得气管树分割掩膜。又例如，手术系统还可以通过气管树分割模型对医学影像数据进行分割处理，获得气管树分割掩膜。其中，气管树分割模型可以是训练好的机器学习模型。例如，基于VB-Net网络的深度学习模型。

异物分割掩膜可以通过对医学影像数据进行异物分割后生成，其可以包括异物的位置、形状、尺寸和轮廓等信息。其中，异物可以是吞入目标对象并在气管中卡住的各种类型的物体，如食物、骨头、玩具等。

异物分割掩膜可以是二值图像(其中0和1分别表示背景和异物)或多值图像(其中0表示背景，不同的数值表示不同类型的异物)的形式。

在一些实施例中，异物分割掩膜可以通过对医学影像数据中的异物的轮廓进行人工勾画或标注的方式确定。

在一些实施例中，手术系统可以通过先检测后分割的处理方法，对目标对象的医学影像数据进行处理，获得异物分割掩膜。相关内容参见图4及其描述。

步骤320，基于气管树分割掩膜和异物分割掩膜，生成虚拟场景，虚拟场景至少包括气管对应的虚拟气管、异物对应的虚拟异物、气管镜的行进路径对应的虚拟路径。

虚拟场景可以指通过计算技术对目标对象的气管内的环境进行仿真、模拟所构建的虚拟模型。例如，手术系统可以基于气管树分割掩膜和异物分割掩膜，通过虚拟现实(Virtual Reality，VR)技术、三维图形渲染技术等构建相对应的虚拟气管环境，以实现虚拟场景的生成。在一些实施例中，手术系统可以基于气管树分割掩膜和异物分割掩膜确定气管的参数信息(如气管的分支、长度、气管腔半径等)、异物的参数信息(如位置、形状、面积、大小等)，并据此生成虚拟场景。

虚拟场景可以包括物理空间中的多个实体对应的多个虚拟元素。虚拟元素可以是其对应的实体的三维模型，虚拟元素和其对应的实体可以具有相同或者相似的形态、位置等特征。虚拟元素可以是根据实际的需求(如手术模拟、手术导航)进行预先配置。例如，虚拟场景可以包括气管对应的虚拟气管、异物对应的虚拟异物、气管镜的行进路径对应的虚拟路径、异物清除设备(如异物钳)对应的虚拟异物清除设备等。虚拟气管可以基于气管树分割掩膜生成。虚拟异物可以基于异物分割掩膜生成。虚拟气管镜可以基于真实气管镜的信息(如类型、结构参数、图像等)生成。虚拟异物清除设备可以根据不同类型的异物钳(如钳形、针形异物钳)等真实异物清除设备的信息生成。

气管镜的行进路径指的是气管镜在气管中的移动轨迹。行进路径和对应的虚拟路径可以是一条或多条。在一些实施例中，行进路径可以通过各类预设路径搜索算法确定。例如，手术系统可以根据气管树分割掩膜中的起点(如主气管口)至异物的位置，在气管腔内通过预设路径规划算法(如最短路径算法)生成一条从起点到异物中心的平滑三维曲线作为气管镜行进路径。在一些实施例中，手术系统也可以从参考路径库中选择一条参考路径作为行进路径。例如，根据历史的手术模拟和/或手术导航生成的参考路径作为本次的行进路径。关于参考路径的相关内容详见下文描述。

在一些实施例中，虚拟场景还可以包括气管的狭窄区域的标记。

气管的狭窄区域可以包括气管腔半径(或直径)较小的气管分段或位置点。其标记的形式可以包括但不限于颜色、图形(如边界框)、符号、文字等形式。例如，可以不同狭窄程度、位于不同位置(如主支气管、分支气管)的狭窄区域进行不同颜色的标记。本说明书中的“气管腔半径较小”可以指半径小于阈值，也可以指半径相较于其附近区域的气管腔半径有明显的缩小。

在一些实施例中，手术系统可以根据虚拟路径上的多个路径点对应的气管腔半径的变化梯度确定狭窄区域。关于狭窄区域的确定方法的更多描述参见图5a及其描述。

步骤330，基于虚拟场景，为异物的清除手术提供手术模拟。

手术模拟可以协助用户在虚拟的手术模拟场景中执行虚拟的异物清除手术，以模拟真实异物清除手术。手术模拟可以帮助用户对即将进行的真实异物清除手术进行预演，也可以用于进行异物清除手术的教学、培训等。

在手术模拟过程中，用户(如医生、演练者等操作员)可以输入一系列的手术模拟操作。例如，手术模拟操作可以包括控制虚拟气管镜在虚拟气管腔内进行移动、控制虚拟异物钳夹取、剪切、移动虚拟异物等。手术系统可以预测用户输入的手术模拟操作对手术模拟场景中的虚拟元件的作用，并据此更新手术模拟场景。在一些实施例中，手术系统可以根据手术模拟的过程，生成相应的手术模拟记录。例如，可以将该手术模拟中虚拟气管镜的行径路径作为参考路径记录下来(如存储至参考路径库中)。关于手术模拟的相关内容参见图6及其描述。

步骤340，基于虚拟场景，为异物的清除手术提供手术导航。

手术导航可以用于引导用户(如医生)对目标对象进行真实的异物清除手术。示例性的，手术系统可以利用交互设备向用户显示手术导航场景，其中会显示指导用户进行手术操作的提示信息，例如，与气管镜的行径路径有关的信息、指导用户调整气管镜的行进路线的信息(如调整行进方向、速度、角度的提示)、指导用户控制异物钳的信息(如调整夹取力度、夹取方位的提示)、对狭窄区域的提示信息等。手术系统可以根据真实的异物清除手术的执行情况，实时更新手术导航场景。在一些实施例中，与手术模拟类似的，手术系统可以根据手术导航的过程，生成相应的手术导航记录。例如，可以将该手术导航中虚拟气管镜的行径路径作为参考路径记录下来(如存储至参考路径库中)。关于手术导航的相关内容参见图7及其描述。

在一些实施例中，手术系统还可以基于手术模拟和/或手术导航，生成数字化手术场景，并将数字化手术场景同步至数字化空间；同时，在数字化空间中为数字用户提供在线互动服务，其中，在线互动服务至少包括手术演练或手术教学。

数字化手术场景可以是根据手术模拟或手术导航形成的记录构建的数字化场景，其可以包括手术模拟或者手术导航的操作员的手术过程。数字化场景可以是通过虚拟现实(VR)技术、三维图形渲染技术等生成虚拟场景，也可以是教学视频、图像等形式。

在一些实施例中，手术系统可以将数字化场景同步至数字化空间。数字化空间可以是元宇宙空间，用于为数字用户提供在线互动服务。其中，数字用户可以为登录数字化空间的用户(如医生、医生助理、实习生或其他的网络观看人员)。数字用户可以在数字化空间中具有虚拟身份，例如虚拟医生、虚拟旁观者等。数字用户可以以其虚拟身份与某个手术模拟或导航对应的虚拟场景进行在线互动。例如，多个数字用户可以以各自的虚拟身份在虚拟场景中互相交流(如语音交流、手势比划等)。某个数字用户也可以作为虚拟操作员进行手术模拟操作，以实现手术演练或手术教学。此处仅作为示例，并不旨在于对在线互动服务及其实现方式进行限定，例如，在线互动服务也可以是根据手术记录构建的视频所进行的直播互动、视频字幕(如弹幕、文字)互动等方式。通过结合数字化元宇宙技术提供手术模拟演练、手术教学培训、手术实时直播等丰富的互动形式，能够实现对施术人员(如医生)的手术经验、熟练度的提升以及对手术方案的优化。

本说明书一些实施例中，可以结合数字化技术为用户提供异物清除手术的手术模拟和手术导航服务，以协助用户进行异物清除手术。与传统的让用户进行盲探的方式相比，本说明书中的方法可以提高手术的准确性，降低手术的风险。另一方面，元宇宙技术可以为用户提供逼真的沉浸式的互动体验，实现手术的演练、培训和教学等在线互动功能，且不受时空、资源因素的限制。

本说明书一些实施例，基于目标对象的气管树分割掩膜和异物分割掩膜，能够构建出符合实际情况的虚拟场景，使得手术模拟和/或手术导航场景更加准确和贴合实际场景，同时，也有利于规划出更加精确的手术路径，为真实手术提供有效的指导和规避手术风险。

图4是根据本说明书一些实施例所示的确定异物分割掩膜的方法的示例性流程图。

在一些实施例中，流程400可以由手术系统执行。如图4所示，流程400包括下述步骤。

步骤410，利用异物检测模型对医学影像数据进行处理，确定异物的位置信息，异物检测模型为机器学习模型。

异物检测模型可以指用于检测异物的模型。在一些实施例中，异物检测模型可以为训练好的机器学习模型。例如，其可以是卷积神经网络(Convolutional NeuralNetworks，CNN)模型，R-CNN(Region-CNN)、YOLO模型或其他自定义的深度学习网络模型。

在一些实施例中，异物检测模型的输入可以包括目标对象的医学影像数据，异物检测模型的输出包括异物的位置信息。

异物的位置信息可以表示医学图像数据中异物所在的区域。异物的位置信息可以包括异物的中心点、长度、宽度和高度等信息。在一些实施例中，异物的位置信息可以通过位置向量(x，y，length，width，height)的形式表示。例如，该位置向量中的元素x、元素y和元素z分别表示异物的中心点在医学图像数据中对应的x坐标、y坐标和z坐标；length表示异物的长度，width表示异物的宽度，height表示异常的高度。

在一些实施例中，异物检测模型的输出还可以包括异物类型。例如，异物类型可以包括金属物件、骨头、玩具、食物等预设异物类型。异物检测模型可以检测异物的类型，并连同异物的位置信息作为输出结果。示例性的，输出的结果可以为向量(type，x，y，length，width，height)，type表示异物的类型，x、y、length、width和height表示异物的位置信息。

异物检测模型可以通过训练获得。异物检测模型的训练样本可以包括样本医学影像数据(如包含有异物的多个患者的历史图像)。训练标签可以包括样本医学图像数据中的异物的金标准位置信息，其可以基于用户在样本医学图像数据中人工标注的异物确定。当异物检测模型需要输出异物类型时，训练标签还包括样本医学图像数据中的异物的类型，其可以由用户人工判断。

本说明书一些实施例，通过异物检测模型可以快速得到异物的位置以及范围。

步骤420，基于异物的位置信息和医学影像数据，确定异物的局部图像。

局部图像可以指从医学影像数据中截取的包含异物的区域。例如，局部图像可以是根据异物在医学影像数据中的位置信息，所确定的具有特殊形状(如矩形、圆形或其他形状)且包含异物的区域。

在一些实施例中，手术系统可以基于异物的位置信息，确定异物在医学影像数据中的中心点位置，并基于位置信息中的长度、宽度信息确定异物的局部图像。仅作为示例，局部图像可以是医学影像数据中截取的一个矩形区域，该矩形区域的中心点为(x，y，z)，长度为length，宽度为width，高度为height。又例如，该矩形区域的中心点为(x，y，z)，长度为(length+△L)，宽度为(length+△W)，高度为(height+△H)其中△L、△W和△H可以是预设的长度值、宽度值和高度值。

在一些实施例中，手术系统可以对局部图像进行后处理。例如，后处理可以包括对局部图像的缩放(如按照预设比例放大)、重采样(如重采样到128*128*128等固定大小)等处理，以获得处理后的局部图像。

步骤430，基于异物分割模型对局部图像进行分割处理，确定异物分割掩膜。

异物分割模型可以指用于分割异物的模型。在一些实施例中，异物分割模型可以为训练好的机器学习模型。例如，其可以是VB-Net或其他自定义的深度学习网络模型。

在一些实施例中，异物分割模型的输入可以包括异物对应的局部图像，异物分割模型的输出可以包括异物分割掩膜。关于异物分割掩膜的相关内容参见图3及其描述。

需要说明的是，通过异物分割模型对异物对应的局部图像进行分割处理，可以对异物的形状、轮廓或边界进行更精确的识别。例如，异物分割模型可以根据异物的图像特征，识别异物的边界点(像素点)，并基于边界点对局部图像进行分割，从而获取更精确的异物形状或轮廓。

异物分割模型可以通过训练获得。异物分割模型的训练样本可以是包含从样本医学影像数据中截取的样本局部图像。训练标签可以是样本局部图像对应的金标准异物分割掩膜，其可以基于用户在样本局部图像或样本医学图像数据中人工标注的异物确定。

在一些实施例中，异物检测模型与异物分割模型可以通过联合训练的方式训练获得。联合训练的训练样本可以包括样本医学影像数据。联合训练的标签可以包括样本医学数据中的异物对应的金标准异物分割掩膜。联合训练时，手术系统可以先将样本医学影像数据输入至初始的异物检测模型，得到异物的样本位置信息；然后，可以根据异物的样本位置信息，通过图像裁剪算法等对样本医学影像数据进行裁剪得到样本局部图像；并将该样本局部图像输入初始的异物分割模型，得到样本异物分割掩膜。基于初始异物分割模型的输出与标签确定损失函数的值，并基于损失函数的值同时迭代更新初始异物检测模型与初始异物分割模型的参数，直到预设条件被满足训练完成，得到训练好的异物检测模型和异物分割模型。其中，预设条件可以是损失函数的值小于阈值、收敛，或迭代次数达到阈值。

本说明书一些实施例中，通过异物检测模型与异物分割模型联合训练，可以降低获取训练样本的难度和成本，提高异物检测模型和异物分割模型的训练效率。

本说明书一些实施例中，可以先利用检测模型得到异物的局部图像，再对局部图像进行异物分割得到异物分割掩膜。与直接在原始的医学影像数据上进行异物分割相比，本说明书中的方法可以提高异物识别的精度，减少异物分割的数据处理量，提高异物分割效率。

在一些实施例中，流程400还可以包括步骤440。

步骤440，基于气管树分割掩膜对异物分割掩膜进行校正处理，得到校正后的异物分割掩膜。

在一些实施例中，由于异物分割掩膜中可能会存在假阳(即气管以外的区域被分割为异物)，手术系统可以基于气管树分割掩膜，识别异物分割掩膜中的待校正区域。例如，手术系统可以根据气管树分割掩膜对异物分割掩膜进行过滤处理(如过滤掉气管以外区域对应的像素点或体素点)，以实现对异物分割掩膜的校正。得到校正后的异物分割掩膜后，手术系统可以基于气管树分割掩膜和校正后的异物分割掩膜，生成虚拟场景。基于校正后的异物分割掩膜生成虚拟场景的方式与基于异物分割掩膜生成虚拟场景的方式类似，在此不在赘述。

本说明书一些实施例，通过气管树分割掩膜和对异物分割掩膜进行校正，可以获得更精确的异物分割掩膜，同时，也使得生成的虚拟场景更加准确。

图5a是根据本说明书一些实施例所示的确定气管的狭窄区域的方法的示例性流程图。

在一些实施例中，流程500可以由手术系统执行。如图5a所示，流程500包括下述步骤。

步骤510，确定虚拟路径上的多个路径点。

路径点可以指虚拟路径的起点位置与终点位置之间的位置点。一个路径点可以对应气管上的一个真实位置点。起点位置可以对应气管镜进入气管的起始点，例如，起点位置可以对应主气管口。终点位置可以是异物对应的位置点。虚拟路径可以通过预设的路径规划算法(如最短路径算法等)，也可以是从参考路径库中选出的一个参考路径作为虚拟路径。关于参考路径的相关内容参见图3及其描述。

在一些实施例中，手术系统可以基于预设的路径点采样算法确定虚拟路径上的多个路径点。例如，手术系统可以根据预设距离间隔(如10mm)在虚拟路径上采样得到多个路径点，其中相邻路径点之间的直线距离或路径距离可以等于预设距离间隔。

在一些实施例中，手术系统可以对虚拟路径进行分段，以得到多个路径分段。对每个路径分段，手术系统可以基于该路径分段对应的预设距离间隔，确定该路径分段上的多个路径点。虚拟路径上的多个路径点可以包括每个路径分段上的多个路径点。

路径分段可以是虚拟路径的一部分。在一些实施例中，手术系统可以根据气管的相关信息确定路径分段。例如，可以根据气管的解剖结构将虚拟路径分成主气管段、主支气管段、肺叶支气管段等。手术系统还可以根据年龄、性别、病情等目标对象的相关信息确定路径分段。例如，对于异物导致的炎症、积液等并发症较为严重的目标对象，路径分段的数量可以较大，以使得后续对目标对象的异物清除手术工作更加细致。

预设距离间隔可以指两个相邻的路径点之间的直线距离或路径距离，其可以反映路径点的采样密度。预设距离间隔越小，表示采样密度越大，所采集的路径点的数量越多。

在一些实施例中，不同路径分段对应的预设距离间隔相同。例如，预设距离间隔可以基于经验预先设置。示例性的，预设距离间隔可以为8mm、20mm等。又例如，预设距离间隔可以根据异物的危急程度设置。

异物的危急程度可以反映异物对目标对象的危害程度。在一些实施例中，手术系统可以基于气管树分割掩膜和/或异物分割掩膜，确定异物的危急程度。例如，可以根据异物在气管树的位置，异物的面积、体积、尺寸，异物的类型等异物相关信息，确定异物的危急程度。当危急程度越高时，预设距离间隔可以越小。通过基于异物的危急程度对路径分段的预设距离间隔进行设置或调整，能够为不同危急程度的异物对应的手术场景(如手术模拟场景或手术导航场景)提供不同细致程度的狭窄区域警示。尤其是在异物的危急程度较高的手术场景中，避免狭窄区域的漏检。

在一些实施例中，不同路径分段对应的预设距离间隔不同。在一些实施例中，属于不同类型的气管段的路径分段可以对应不同的预设距离阈值。在一些实施例中，路径分段对应的预设距离间隔可以与该路径分段与异物的距离有关。该距离越小时，预设距离间隔可以越小。例如，与异物接近的一个或多个路径分段，其预设距离间隔可以较小(如，4mm)，与异物的距离较远的路径分段，其对应的预设距离间隔可以较大(如，15mm)。通过对靠近异物的路径分段设置较小的预设距离间隔，可以提高对异物邻近区域中的狭窄区域的检测细致程度，更大程度地避免漏检。

步骤520，基于多个路径点对应的气管腔半径，确定每个路径点对应的半径变化梯度。

路径点对应的气管腔半径可以指该路径点对应的气管腔截面的半径。在一些实施例中，对于多个路径点中的每一个，手术系统可以获取该路径点对应的气管横截面，并基于该横截面的中心点与该路径点的距离确定气管腔半径。手术系统还可以基于提取气管的中心线，并基于该路径点与中心线的垂直距离，获得该路径点对应的气管腔半径。可以理解，手术系统可以通过多种可行的方式确定气管腔半径。

路径点对应的半径变化梯度可以反映气管在该路径点处气管腔半径的变化情况。在一些实施例中，手术系统可以确定各路径点对应的气管腔半径与相邻路径点(如前一个或下一个路径点)对应的气管腔半径之间的差值，并基于该差值与预设距离间隔的比值确定每个路劲点对应的半径变化梯度。仅作为示例，按照虚拟路径中路径点的先后顺序，以相邻路径点是前一个路径点进行前述计算，若半径变化梯度为0，表示气管在该路径点处的气管腔半径没有发生变化；若为负数时，表示气管在该路径点处的气管腔半径变小，进而表示该路径点所处的区域可能为狭窄区域；若为正数，则表示气管在该路径点处的管腔半径变大。

步骤530，基于每个路径点对应的半径变化梯度，确定狭窄区域。

在一些实施例中，手术系统可以确定半径变化梯度小于预设变化阈值(如-0.5)的多个路径点。并将这些路径点组成的连通域和/或这些路径点周围的预设区域(如该路径点与前一个相邻路径点之间的区域)确定为狭窄区域。

在一些实施例中，手术系统可以在虚拟路径上对狭窄区域进行标记，例如，通过标记框标记狭窄区域，或者将狭窄区域用特殊的颜色进行显示。在一些实施例中，在手术模拟或手术导航过程中，如果真实气管镜或者虚拟气管镜靠近狭窄区域，手术系统可以显示狭窄区域对应的标记。可选地，手术系统还可以生成狭窄区域警告。狭窄区域警示可以包括但不限于文字、语音、闪烁等信息提示。例如，“前方为即将进入气管狭窄区域，请注意谨慎操作！”。狭窄区域警示还可以包括手术操作的调整指示，例如，提示用户对真实气管镜或虚拟气管镜的角度、方向进行调整，以防止被挤压气管壁。

本说明书一些实施例，通过分析虚拟路径上的路径点的半径变化幅度，可以快速、自动地检测到气管的狭窄区域，从而为医生施术提供有效参考。通过对狭窄区域进行标识和警示，可以避免因手术实施者(如医生、实习生、演练人员)的操作不当造成的气管腔受损，有利异物清除手术的顺利进行。

需要说明的是，狭窄区域的确定方式还可以是其他各种可行的方式。例如，当某个路径点对应的气管腔半径小于预设的气管腔半径阈值(如5mm)时，手术系统即可以对其进行标记，并以该位置点为中心，预设半径范围(如10mm)内的气管区域设置为狭窄区域。又例如，可以分别确定不同路径分段对应的气管腔半径均值。若路径分段中的某个路径点的气管腔半径小于该路径分段的气管腔半径的均值，且该气管腔半径与均值的差值大于预设阈值，则可以对该路径点进行狭窄区域标记。本说明书一些实施例，考虑不同类型的路径分段(如主气管段、主支气管段、肺叶支气管段)的气管腔半径的差异性，使得狭窄区域的分析结果更加准确。

图5b是根据本说明书一些实施例所示的虚拟场景的示例性示意图。

如图5b所示，虚拟场景可以包括气管对应的虚拟气管。虚拟气管包括主气管和多个支气管(如主支气管、左支气管、右支气管等)；虚拟场景还包括异物对应的虚拟异物503(图中黑色实心点)和气管镜的行进路径对应的虚拟路径501(图中的折线)。其中，虚拟异物503表征虚拟路径501的终点位置，虚拟路径501还可以包括起点位置502(图中的空心点)和多个路径点(图中未示出)。虚拟场景中还包括虚拟气管中的狭窄区域504(图中虚线区域)。

在一些实施例中，用户可以基于如图5b所示的虚拟场景进行手术模拟和/或手术导航，虚拟气管镜(图中未示出)可以沿着虚拟路径501在虚拟气管中移动。在虚拟气管镜即将进入狭窄区域504时，手术系统可以提供狭窄区域警示。

图6是根据本说明书一些实施例所示的为异物的清除手术提供手术模拟的方法的示例性流程图。

在一些实施例中，流程600可以由手术系统执行。如图6所示，流程600包括下述步骤。

步骤610，基于虚拟场景，利用交互设备加载手术模拟场景，交互设备至少包括用于显示虚拟场景的显示设备、用于控制虚拟气管镜和虚拟异物清除设备进行手术模拟操作的输入设备。

例如，显示设备可以包括VR设备(如VR头盔、VR眼镜)、显示屏等。输入设备可以包括键盘、鼠标、手柄、VR手套等或它们的组合。关于交互设备的相关内容参见图1及其描述。

如上文所述，虚拟场景可以包括气管对应的虚拟气管、异物对应的虚拟异物、气管镜的行进路径对应的虚拟路径、异物清除设备(如异物钳)对应的虚拟异物清除设备等虚拟元件。手术系统可以先基于这些虚拟元件对手术模拟场景进行初始化。例如，初始化包括将各个虚拟元件按其对应的位置进行排布。仅作为示例，虚拟手术设备可以被放置于虚拟路径的起点位置处。又例如，初始化可以包括对各个虚拟元件进行扩展加工，根据其对应的实体的类型和材质等参数给虚拟元件赋予材质和纹理特征。例如，可以根据异物的类型(如刚性异物、不同形变特性的非刚性异物或者粘性可形变异物等)给虚拟异物赋予对应的材质和纹理特征。

手术系统可以在场景初始化完成后，将手术模拟场景匹配到显示设备上，同时将虚拟气管镜和虚拟异物清除设备与输入设备进行匹配，从而完成手术模拟场景的加载。在一些实施例中，手术模拟场景可以以虚拟气管镜的视角进行呈现，也就是说，用户可以查看模拟的气管镜拍摄画面，从而更真实地模拟操控气管镜的过程。在一些实施例中，手术模拟场景可以以上帝视角进行呈现(例如，如图5b所示)，也就是说，用户可以查看虚拟气管镜在虚拟气管中的位置、虚拟气管镜与虚拟异物的位置关系等，以更全面地了解整体手术情况。应当理解，显示设备上也可以同时显示虚拟气管镜视角和上帝视角的场景。

在手术模拟场景被加载后，用户可以通过输入设备控制虚拟气管镜和/或虚拟异物清除设备进行手术模拟操作。例如，手术模拟操作可以包括控制虚拟气管镜沿着虚拟气管前进、改变虚拟气管镜的朝向、移动速度、移动方向等。又例如，手术模拟操作可以包括控制虚拟异物钳夹取虚拟异物、改变虚拟异物钳夹取异物的力度、方向等。

步骤620，基于有限元分析算法预测手术模拟操作对手术模拟场景的作用。

用户对虚拟气管镜和/或虚拟异物清除装置的手术模拟操作会对手术模拟场景中的各个虚拟元素，包括虚拟气管镜、虚拟异物清除装置、虚拟气管、虚拟异物等产生特定的作用。例如，手术模拟操作可能会引起虚拟气管镜的视野(如视距、可见范围)的变化、虚拟气管镜与气管腔壁(如气管狭窄区域)的挤压与形变、虚拟异物被夹取或清除等。在一些实施例中，手术系统还可以预测手术模拟操作对虚拟目标对象的影响，例如，手术模拟操作对虚拟目标对象造成的疼痛、不适，或者对虚拟目标对象的机体组织造成的损伤等结果。

手术系统可以通过有限元分析技术或其他数学建模的方式，在用户进行手术模拟操作的过程中，对虚拟场景中各虚拟元素间的相互作用进行推演、仿真分析，以预测手术模拟操作的作用。其中，有限元分析技术可以包括非线性分析求解算法(如牛顿迭代法)等各类有限元分析算法，其可以用于在手术模拟操作的过程中，分析各虚拟元素之间的受力、几何形变等变化信息，进而对手术模拟操作的作用进行预测。

步骤630，基于预测的作用，更新手术模拟场景。

手术模拟场景的更新可以包括对手术模拟场景中的画面、声音、文字等信息进行更新。例如，手术系统可以根据虚拟气管镜对虚拟气管的挤压作用，更新手术模拟场景中的虚拟气管壁的形态。

在一些实施例中，手术模拟场景的更新还可以包括显示提示信息。例如，如果手术模拟操作会对虚拟气管壁、虚拟异物等造成的负面作用，可以显示提示信息以告知用户该负面作用(如显示“该操作会导致气管壁受损”)，也可以显示提示信息以指导用户进行下一步手术模拟操作(如显示“请向左移动气管镜”)。

在一些实施例中，手术系统可以记录手术模拟过程中虚拟气管镜的行进路径，并将该行径路径作为参考路径添加到参考路径库中，以便在其他手术模拟或手术导航中使用。关于手术导航的相关内容参见图7及其描述

本说明书一些实施例，可以利用有限元分析技术来预测手术模拟操作对手术模拟场景中虚拟元素的作用，并对手术模拟场景进行实时更新。相比于传统的作用预测方法(如基于规则形状包围盒的作用预测方法)，有限元分析法能够考虑气管环境的复杂性，例如，气管树的复杂性结构(如不同类型的支气气管的形态、气管腔半径等参数的不同)、异物的多样性结构(如不同异物的不规则形状、尺寸等参数具有较大差异)等，因此能够在手术模拟场景中，根据手术操作(如气管镜的行进操作、异物钳的清除夹取异物等操作)对气管、异物等对象的应力、几何形变等作用进行更精确的计算，从而提高预测的准确性，为用户提供更灵敏、真实的仿真效果和模拟反馈。

在一些实施例中，一个或多个其他用户(如医生、实习生、旁观者)可以通过其他显示设备观察手术模拟的过程，也可以通过数字用户的身份远程进入虚拟场景对应的数字化空间与手术模拟场景进行互动。关于数字用户和数字化空间的相关内容参见图3及其描述。

图7是根据本说明书一些实施例所示的为异物的清除手术提供手术导航的方法的示例性流程图。

在一些实施例中，流程700可以由手术系统执行。如图7所示，流程700包括下述步骤。

步骤710，基于虚拟场景，利用交互设备加载手术导航场景，虚拟气管镜在手术导航场景中具有初始位姿。

手术导航可以用于引导用户对目标对象进行真实的异物清除手术，其可以提供从气管镜的行径路径的起点位置至异物对应的终点位置的导航方案。例如，通过手术导航可以向用户提供导航操作指示，以引导用户对气管镜的移动方向、角度、速度等进行调整。又例如，通过手术导航，可以在气管镜靠近气管的狭窄区域时，提供对该狭窄区域的警示。

在进行异物清除手术前，手术系统可以基于虚拟场景，利用交互设备对手术导航场景进行加载处理。手术导航场景的加载类似于手术模拟场景的加载，需要对手术导航场景进行初始化。进一步地，手术系统需要将手术导航场景匹配到交互设备的显示设备上，同时将虚拟气管镜和真实气管镜进行匹配，以完成手术导航场景的加载。

真实气管镜上会安装有传感装置，其可以实时检测气管镜的位姿。位姿可以包括位置和姿态信息。手术前，用户会将气管镜放置到主气管口。手术系统可以从传感装置获取气管镜的当前位置和姿势信息，并基于该位置和姿势信息对虚拟气管镜进行调整，从而实现虚拟气管镜和真实气管镜的匹配。具体而言，可以基于真实气管镜的位置和手术导航场景与真实场景之间的空间位置映射关系，确定虚拟气管镜的初始位置。同时将虚拟气管镜的初始姿势根据真实气管镜的姿势信息进行调整。

步骤720，基于气管镜在清除手术中的实时位姿，将虚拟气管镜从初始位姿调整为更新位姿。

气管镜的实时位姿可以基于安装在气管镜上传感装置测量得到。手术系统可以基于手术导航场景与真实场景之间的空间位置映射关系，以确定虚拟气管镜的更新位姿。例如，根据气管镜的实时位置和空间位置映射关系，可以确定虚拟气管镜的更新位置。同时，根据气管镜的实时角度，可以确定虚拟气管镜的更新角度。

步骤730，基于气管镜获取的实时图像和虚拟气管镜在更新位姿下获取的虚拟画面，进一步调整虚拟气管镜的位姿，以使调整后的虚拟气管镜的虚拟画面和实时画面一致。

实时图像可以指真实气管镜在实时位姿下视野范围内的真实画面。虚拟画面可以指虚拟场景(手术导航场景)中虚拟气管镜在更新位姿下视野内的虚拟画面。例如，虚拟画面可以包括虚拟气管镜视野范围内的虚拟气管壁、虚拟异物画面或其他虚拟元素(如其他虚拟机体组织)等。虚拟图像可以根据虚拟气管镜的类型、视距、视野范围等参数确定。

在一些实施例中，手术系统可以基于实时图像和虚拟画面，对实时位姿进行进一步的调整。示例性的，可以采用图像配准算法(比如仿射变换配准、非刚性形变配准等)将虚拟气管镜获取的虚拟画面和真实气管镜获取的实时图像进行匹配。根据匹配结果，可以对虚拟气管镜的更新位姿进行微调(如对虚拟气管镜的位置、方向、旋转角度等进行微调)，以使调整后的虚拟气管镜视野下的虚拟画面与真实气管镜拍摄的实时画面尽可能一致(例如，图像相似度超过阈值)。

在一些实施例中，异物清除手术过程中可以反复执行步骤720和730，以使得虚拟气管镜和真实气管镜可以被实时匹配。进一步地，手术系统还可以根据真实气管镜和虚拟气管镜的位姿实时调整导航操作提示。例如，如果气管镜偏离了原本计划的行径路径，手术系统可以提示用户对气管镜进行移动以回到计划的行径路径上，或者手术系统可以重新基于气管镜的实时位置更新行径路径。在一些实施例中，手术导航场景可以以上帝视角呈现给用户，以方便用户可以了解气管镜在气管中的位置、与异物的相对位置关系等。

在一些实施例中，手术导航完成后，手术系统可以基于手术导航的过程(虚拟气管镜的行进过程)，生成相应的手术导航记录。例如，可以将该手术导航中虚拟气管镜的行径路径作为参考路径记录下来，并加入至预设的参考路径库中，以供后续的手术模拟或真实手术提供指导。

本说明书一些实施例，通过手术导航，可以协助用户顺利完成异物清除手术。在手术导航过程中，基于真实气管镜的传感器采集实时位姿对虚拟气管镜的位姿进行初步调整，再基于实时画面与虚拟画面的配准，进一步对虚拟气管镜的位姿进行精细调整，可以提高虚拟气管镜和真实气管镜的匹配程度，有助于手术导航中真实场景与虚拟场景的高度吻合，提升手术导航的质量以及良好的用户体验。

应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

本说明书实施例之一还提供一种支气管异物清除手术模拟和导航装置，包括：处理器和存储设备，存储设备存储有指令，当处理器执行指令时，实现上述的支气管异物清除手术的模拟和导航方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种支气管异物清除手术的模拟和导航方法，其特征在于，包括：

基于目标对象的胸部的医学影像数据，生成所述胸部中的气管对应的气管树分割掩膜和所述胸部中的异物对应的异物分割掩膜；

基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景，所述虚拟场景至少包括所述气管对应的虚拟气管、所述异物对应的虚拟异物、所述气管镜的行进路径对应的虚拟路径；以及

基于所述虚拟场景，为所述异物的清除手术提供手术模拟和/或手术导航。

2.根据权利要求1所述的方法，其特征在于，所述异物分割掩膜通过以下步骤生成：

利用异物检测模型对所述医学影像数据进行处理，确定所述异物的位置信息，所述异物检测模型为机器学习模型；

基于所述异物的位置信息和所述医学影像数据，确定所述异物的局部图像；以及

基于异物分割模型对所述局部图像进行分割处理，确定所述异物分割掩膜。

3.根据权利要求1所述的方法，其特征在于，所述基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景包括：

基于所述气管树分割掩膜对所述异物分割掩膜进行校正处理，得到校正后的异物分割掩膜；以及

基于所述气管树分割掩膜和所述校正后的异物分割掩膜，生成所述虚拟场景。

4.根据权利要求1所述的方法，其特征在于，所述虚拟场景还包括对所述气管的狭窄区域的标记，所述气管的狭窄区域基于以下步骤确定：

确定所述虚拟路径上的多个路径点；

基于所述多个路径点对应的气管腔半径，确定每个所述路径点对应的半径变化梯度；以及

基于每个所述路径点对应的半径变化梯度，确定所述狭窄区域。

5.根据权利要求1所述的方法，所述确定所述虚拟路径上的多个路径点包括：

对所述虚拟路径进行分段，以得到多个路径分段；

对每个所述路径分段，基于所述路径分段对应的预设距离间隔，确定所述路径分段上的多个路径点，所述虚拟路径上的多个路径点包括每个所述路径分段上的多个路径点。

6.根据权利要求1所述的方法，其特征在于，所述虚拟场景还包括气管镜对应的虚拟气管镜和异物清除设备对应的虚拟异物清除设备；所述基于所述虚拟场景，为所述异物的清除手术提供手术模拟包括：

基于所述虚拟场景，利用交互设备加载手术模拟场景，所述交互设备至少包括用于显示所述虚拟场景的显示设备、用于控制所述虚拟气管镜和所述虚拟异物清除设备进行手术模拟操作的输入设备；

基于有限元分析算法预测所述手术模拟操作对所述手术模拟场景的作用；

基于所述预测的作用，更新所述手术模拟场景。

7.根据权利要求1所述的方法，其特征在于，所述基于所述虚拟场景，为所述异物的清除手术提供手术导航包括：

基于所述虚拟场景，利用交互设备加载手术导航场景，所述虚拟气管镜在所述手术导航场景中具有初始位姿；

基于所述气管镜在所述清除手术中的实时位姿，将所述虚拟气管镜从初始位姿调整为更新位姿；以及

基于所述气管镜获取的实时图像和所述虚拟气管镜在所述更新位姿下获取的虚拟画面，进一步调整所述虚拟气管镜的位姿，以使调整后的虚拟气管镜的虚拟画面和所述实时画面一致。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述手术模拟和/或所述手术导航，生成数字化手术场景；

将所述数字化手术场景同步至数字化空间；

在所述数字化空间中为数字用户提供在线互动服务，所述在线互动服务至少包括手术演练或手术教学。

9.一种支气管异物清除手术模拟和导航系统，其特征在于，包括：

分割模块，用于基于目标对象的胸部的医学影像数据，生成所述胸部中的气管对应的气管树分割掩膜和所述胸部中的异物对应的异物分割掩膜；

虚拟场景构建模块，用于基于所述气管树分割掩膜和所述异物分割掩膜，生成虚拟场景，所述虚拟场景至少包括所述气管对应的虚拟气管、所述异物对应的虚拟异物、所述气管镜的行进路径对应的虚拟路径；

手术模拟模块，用于基于所述虚拟场景，为所述异物的清除手术提供手术模拟；

手术导航模块，用于基于所述虚拟场景，为所述异物的清除手术提供手术导航。

10.一种支气管异物清除手术模拟和导航装置，其特征在于，包括：处理器和存储设备，所述存储设备存储有指令，当所述处理器执行所述指令时，实现如权利要求1～8中任一项所述的方法。