CN116712167A - 一种肺结节手术导航方法和系统 - Google Patents

一种肺结节手术导航方法和系统 Download PDF

Info

Publication number
CN116712167A
CN116712167A CN202310701476.7A CN202310701476A CN116712167A CN 116712167 A CN116712167 A CN 116712167A CN 202310701476 A CN202310701476 A CN 202310701476A CN 116712167 A CN116712167 A CN 116712167A
Authority
CN
China
Prior art keywords
lung
lung nodule
nodule
target
segmentation mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310701476.7A
Other languages
English (en)
Inventor
魏向锴
郑介志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202310701476.7A priority Critical patent/CN116712167A/zh
Publication of CN116712167A publication Critical patent/CN116712167A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本说明书实施例提供一种肺结节手术导航方法和系统，包括基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜；基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节的病灶信息；生成肺部对应的三维虚拟模型，三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和目标肺结节对应的虚拟肺结节，其中，虚拟肺结节的显示方式基于病灶信息确定。

Description

一种肺结节手术导航方法和系统
技术领域
本说明书涉及手术导航领域，特别涉及一种肺结节手术导航方法和系统。
背景技术
肺结节是肺部常见病灶类型之一，在诊断中通常需要借助胸部计算机断层扫描(CT)影像来发现结节病灶并对其进行定位及量化评估。此外，在后续检查和治疗中，诸如进行肺部穿刺取样活检确定病灶性质，或者支气管内镜、胸腔镜等手术措施时，不仅需要对肺结节病灶和相关器官组织进行精准地勾画，还需要在此基础上规划出手术器具(穿刺针、内镜等)的进入路径。这意味着肺结节病灶和相关器官的勾画结果以及后续手术路径规划的效率和质量直接影响着患者的诊断治疗效果。
然而，现阶段临床环境中对于肺结节病灶及相关器官的勾画以及手术路径规划大多数依赖于医生的手工标注，存在效率和准确性低下的问题。由于真实患者的肺结节病灶情况普遍比较复杂，且结节个体间存在差异，这对临床诊断和治疗工作的效率和准确性有很大的影响。
因此提供一种肺结节手术导航方法和系统，能够自动快速地定位并勾画出肺结节病灶及相关器官，并基于勾画结果对肺结节手术进行精准导航，从而提高肺结节病灶的临床诊断、治疗的效率和准确性。
发明内容
本说明书实施例之一提供一种肺结节手术导航方法，包括：基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜；基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节的病灶信息；生成所述肺部对应的三维虚拟模型，所述三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和所述目标肺结节对应的虚拟肺结节，其中，所述虚拟肺结节的显示方式基于所述病灶信息确定。
本说明书实施例之一提供一种肺结节手术导航系统，包括：分割模块，用于基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜；确定模块，用于基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节的病灶信息；生成模块，用于生成所述肺部对应的三维虚拟模型，所述三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和所述目标肺结节对应的虚拟肺结节，其中，所述虚拟肺结节的显示方式基于所述病灶信息确定。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的肺结节手术导航系统的应用场景的示意图；
图2是根据本说明书一些实施例所示的肺结节手术导航系统的示例性模块图；
图3a是根据本说明书一些实施例所示的肺结节手术导航的方法的示例性流程图；
图3b是根据本说明书一些实施例所示的确定肺部器官分割掩膜的方法的示例性示意图；
图4是根据本说明书一些实施例所示的确定肺结节分割掩膜的方法的示例性示意图；
图5是根据本说明书一些实施例所示的确定目标肺结节的危急程度评分的方法的示例性流程图；
图6是根据本说明书一些实施例所示的生成三维虚拟模型的方法的示例性流程图；
图7是根据本说明书一些实施例所示的渲染后的三维虚拟模型的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的肺结节手术导航系统的应用场景的示意图。如图1所示，肺结节手术导航系统(后文简称手术系统)的应用场景100可以包括成像设备110、处理设备120和交互设备130。
成像设备110可以用于采集目标对象的医学影像数据。在一些实施例中，成像设备110可以包括超声采集装置、X光扫描仪、CT扫描仪、PET扫描仪、MRI扫描仪等，用于采集目标对象(如患者)的肺部的医学影像数据。在一些实施例中，成像设备110可以通过网络(图中未示出)将医学影像数据发送至处理设备120，以实现对医学影像数据的处理(如肺部器官和肺结节的分割处理)。
处理设备120可以处理从成像设备110和/或任何其他组件(例如，用于存储肺结节相关的数据和/或信息的存储设备，图中未示出)获得的数据和/或信息。例如，处理设备120可以基于目标对象的肺部的医学影像数据，确定目标对象的肺结节有关的信息，并据此生成肺部对应的三维虚拟模型。
在一些实施例中，处理设备120可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式的也可以是分布式的。在一些实施例中，处理设备120可以由具有处理器、存储器、输入/输出(I/O)、通信端口等的计算设备实现。在一些实施例中，处理设备120可以是本地的或远程的。处理设备120可以直接连接到成像设备110、交互设备130以访问存储的或获取的信息和/或数据。在一些实施例中，处理设备120可以在云平台上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
交互设备130可以实现用户和成像设备110和/或处理设备120的互动。交互设备130可以包括手机、平板、VR设备(如VR头盔、VR眼镜、裸眼3D显示装置)、AR设备、台式电脑等任何类型的终端。在一些实施例中，交互设备130可以呈现目标对象的肺结节相关信息。肺结节相关信息可以是诸如文字、图像、符号等形式。在一些实施例中，如图1所示，肺结节相关信息可以包括肺部对应的三维虚拟模型131和肺结节信息132。
在一些实施例中，三维虚拟模型131可以是表征目标对象的肺部的虚拟场景。该虚拟场景中包括物理空间中的多个实体对应的多个虚拟元素。虚拟元素可以是其对应的实体的三维模型，虚拟元素和其对应的实体可以具有相同或者相似的形态、位置等特征。例如，三维虚拟模型131中可以包括肺部器官对应的虚拟肺部器官和肺结节的对应的虚拟肺结节。
在一些实施例中，三维虚拟模型131可以是对应于肺结节手术的虚拟场景。其可以为用户提供肺部器官、肺结节在不同视角下的结构、形态等信息。其也可以用于为用户提供数字化的在线互动服务，例如，为用户提供手术模拟、手术导航、手术教学和手术演练等各种形式的在线互动服务。
肺结节信息132可以包括一个或多个肺结节的相关信息。如图1所示，肺结节信息132包括结节1、结节2、结节3和结节4的信息。其中，每个结节的信息可以包括但不限于该肺结节的解剖结构参数(如长短径、体积、最邻近气管半径)影像量化参数(如CT值)、恶性分类概率等。仅作为示例，如图1所示，结节1的信息包括：长径为12mm；短径为8mm；体积为2814mm3；恶性分类概率为0.93；平均CT值为156；最临近气管半径为0.8mm。
在一些实施例中，肺结节信息132还可以包括危急程度评分，用于表示多个不同的肺结节的危急程度。如图1所示，结节1、结节2、结节3和结节4的危急程度评分分别为0.93、0.85、0.55和0.27。关于危急程度评分的相关内容可以在本说明书的其他地方找到(如图3a)。
在一些实施例中，交互设备130上显示的肺结节相关信息可以根据处理设备120和/或用户经由交互设备130输入的控制指令进行调整。例如，三维虚拟模型131可以根据处理设备120确定的显示参数进行调整，该显示参数可以用于调节肺部器官的透明度(如全透明、半透明、不透明等)、灰度、亮度等。又例如，可以根据处理设备120的控制指令调整肺结节信息132中多个肺结节的排序、特异化显示形式(如高亮显示等)。
应当注意应用场景100仅仅是为了说明的目的而提供的，并不意图限制本申请的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。然而，这些变化和修改不会背离本申请的范围。
图2是根据本说明书一些实施例所示的肺结节手术导航系统的示例性模块图。
如图2所示，肺结节手术导航系统200可以包括分割模块210、确定模块220、生成模块230。
分割模块210可以用于：基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜。
在一些实施例中，分割模块210可以进一步用于：利用肺结节检测模型对医学影像数据进行处理，确定目标肺结节的位置信息，肺结节检测模型为机器学习模型；基于目标肺结节的位置信息，确定目标肺结节的局部图像；基于肺结节分割模型对局部图像进行分割处理，确定肺结节分割掩膜，肺结节分割模型为机器学习模型。
确定模块220可以用于：基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节的病灶信息。
在一些实施例中，病灶信息包括目标肺结节的危急程度评分，确定模块220还可以用于：基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节的多个定量参数值；基于多个定量参数值，确定目标肺结节对应的至少一个评分项，每个评分项基于多个定量参数中的至少部分定量参数值确定；基于至少一个评分项，确定目标肺结节的危急程度评分。
在一些实施例中，多个定量参数值包括解剖结构参数值、影像量化参数值和恶性分类概率，确定模块220还可以用于：基于肺部器官分割掩膜和肺结节分割掩膜，确定解剖结构参数值和影像量化参数值；基于良恶性分类模型对解剖结构参数值和影像量化参数值进行处理，确定目标肺结节对应的恶性分类概率，良恶性分类模型为机器学习模型。
生成模块230可以用于：生成肺部对应的三维虚拟模型，三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和目标肺结节对应的虚拟肺结节，其中，虚拟肺结节的显示方式基于病灶信息确定。
在一些实施例中，生成模块230还可以用于：确定显示界面的显示参数，显示参数包括目标肺结节的辐射区域半径、每个肺部器官的透明度；基于显示参数，利用交互设备对三维虚拟模型进行显示。
在一些实施例中，生成模块230可以进一步用于：基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节以及每个肺部器官的特征信息，特征信息至少包括尺寸信息；基于特征信息，调整每个肺部器官的透明度。
在一些实施例中，生成模块230还可以用于：确定肺结节手术对应的手术类型；基于手术类型、肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节对应的手术路径；以及基于肺部器官分割掩膜、肺结节分割掩膜和手术路径，生成三维虚拟模型，三维虚拟模型还包括手术路径对应的虚拟手术路径。
需要注意的是，以上对于系统200及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解的是，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。各个模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储设备，各个组成部分也可以分别具有各自的存储设备。诸如此类的变形，均在本说明书的保护范围之内。
图3a是根据本说明书一些实施例所示的肺结节手术导航的方法的示例性流程图。
在一些实施例中，流程300可以由手术系统执行。如图3a所示，流程300包括下述步骤。
步骤310，基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜。
目标对象可以指需要进行肺结节相关诊断和/或治疗的对象，其可以是人或动物等或其一部分。例如，目标对象可以是需要进行肺部穿刺取样检查，或者支气管内镜手术、胸腔镜手术等手术措施的患者。
医学影像数据可以指目标对象的肺部相关的影像数据，其可以包括但不限于CT图像、超声图像、X光图像等医学图像数据。医学影像数据可以通过医学扫描设备(如CT设备)对目标对象的肺部进行扫描获得。在一些实施例中，医学影像数据可以包括三维医学图像。
医学影像数据可以包含有肺部器官、肺结节病灶和/或机体组织的信息。例如，医学影像数据可以包含有肺部器官(如肺、气管、肺动脉和静脉)、肺结节在目标对象中的位置(如主支气管、左肺下叶支气管等)、肺结节的形状、轮廓、大小等信息，还可以包含有肺结节病灶周边的器官或机体组织(如心脏)及其形状、轮廓等信息。
在一些实施例中，手术系统可以对医学影像数据进行预处理。预处理可以包括对医学影像数据的灰度变化、色彩畸变、去噪、归一化等处理，以获得预处理后的医学影像数据。出于示例目的，下文以医学影像数据为例展开描述。应当理解，下文描述的分割操作也可以对预处理后的医学影像数据执行。
肺部器官分割掩膜可以通过对医学影像数据进行肺部器官分割后生成。其可以包括肺、气管、肺动脉和肺静脉等各类肺部器官的形状、尺寸和轮廓等信息。肺部器官分割掩膜可以是二值图像(其中0和1分别表示背景和肺部器官)或多值图像(其中0表示背景，不同的数值表示不同类型的肺部器官)的形式。在一些实施例中，肺部器官分割掩膜可以通过对医学影像数据中的肺部器官的轮廓进行人工勾画或标注的方式确定。
在一些实施例中，手术系统可以基于肺部器官分割模型对医学影像数据进行处理，以获得各个肺部器官对应的肺部器官分割掩膜。其中，肺部器官分割模型可以是训练好的机器学习模型。例如，基于VB-Net网络的深度学习模型或其他自定义的深度学习模型。
图3b是根据本说明书一些实施例所示的确定肺部器官分割掩膜的方法的示例性示意图。
如图3b所示，肺部器官分割模型312的输入包括医学影像数据311，肺部器官分割模型312的输出包括肺部器官分割掩膜313。
在一些实施例中，肺部器官分割模型312可以是多个肺部器官分割模型的组合模型。如图3b所示，肺部器官分割模型312可以包括肺分割模型3121、气管分割模型3122、血管分割模型3123、肋骨分割模型3124中的一种或多种的组合；相应的，肺部器官分割掩膜313可以包括分别对应于各肺部器官分割模型的肺分割掩膜3131、气管分割掩膜3132、血管分割掩膜3133和肋骨分割掩膜3134中的一种或多种的组合。
在一些实施例中，肺部器官分割模型可以基于标注有一个或多个肺部器官的样本医学影像数据训练而成。标注可以是人工标注或其他方式的标注。示例性的，一组标注有肺部轮廓的样本医学影像数据(如胸部或肺部的样本图像)，可以用于训练肺分割模型。气管分割模型、血管分割模型和肋骨分割模型等同理。
在一些实施例中，手术系统还可以根据实际的需求，利用其他分割模型对肺部周围的其他器官或机体组织进行分割。例如，可以用心脏分割模型获得心脏分割掩膜等。在一些实施例中，还可以利用能够同时分割多种肺部器官的分割模型处理医学影像数据，从而同时分割多种肺部器官。
本说明书一些实施例，通过肺部器官分割模型对医学影像数据进行处理，能够快速勾画出不同的肺部器官的轮廓信息，减少人工勾画带来的时间和精力的消耗，同时，也提高了获取肺部器官分割掩膜的准确性。
目标肺结节可以指一个或多个需要进行诊断或手术的肺结节。目标肺结节可以根据多种方式确定。例如，可以将多个肺结节中尺寸较大的肺结节作为目标肺结节，也可以是随机确定。在一些实施例中，目标对象的每一个肺结节都可以作为目标肺结节。也就是说，需要对目标对象的每个肺结节执行流程300。
肺结节分割掩膜可以通过对医学影像数据进行肺结节分割后生成，其可以是二维图像或三维图像的形式。肺结节分割掩膜可以包括目标肺结节的位置、形状、尺寸和轮廓等信息。肺结节分割掩膜可以通过人工勾画或标注的方式确定，也可以由处理设备120利用分割算法生成。
在一些实施例中，手术系统可以通过先检测后分割的处理方法，对目标对象的医学影像数据进行处理，获得肺结节分割掩膜。相关内容参见图4及其描述。
步骤320，基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节的病灶信息。
病灶信息可以指目标肺结节的病变信息。病灶信息可以包括目标肺结节的发展周期(如早期、中期、晚期等)、类型(如孤立性肺结节、多发性肺结节)、密度(如实性肺结节、亚实性肺结节)、病因等多种信息。病灶信息还可以包括解剖结构参数值、影像量化参数值、恶性分类概率等信息，关于解剖结构参数值、影像量化参数值、恶性分类概率的相关内容参见图5及其描述。
在一些实施例中，病灶信息可以包括目标肺结节的危急程度评分。
危急程度评分可以用于评估目标肺结节的危急程度。在一些实施例中，危急程度评分可以以一个(0，1)区间内的数值表示，其值越大，表示危急程度越高。
危急程度评分可以根据医学经验确定。例如，可以通过观察目标肺结节的尺寸大小、色泽或其病变周期等信息确定。也可以根据患者的反馈信息(如疼痛感、疲劳感等)确定。
在一些实施例中，手术系统可以基于目标肺结节的多个定量参数值对应的至少一个评分项确定目标肺结节的危急程度评分。更多关于确定目标肺结节的危急程度评分的内容参见图5及其描述。
步骤330，生成肺部对应的三维虚拟模型，三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和目标肺结节对应的虚拟肺结节，其中，虚拟肺结节的显示方式基于病灶信息确定。
三维虚拟模型可以指通过计算机技术对目标对象的肺部相关的人体空间进行仿真、模拟所构建的虚拟模型。例如，手术系统可以基于肺部器官分割掩膜和肺结节分割掩膜，通过虚拟现实(Virtual Reality，VR)技术、三维图形渲染技术等构建肺部对应的虚拟环境，以实现三维虚拟模型的生成。在一些实施例中，手术系统可以基于肺部器官分割掩膜确定肺部器官的参数信息(如各类肺部器官的长径、短径等)、肺结节的参数信息(如位置、尺寸、面积等)，生成该目标对象的肺部对应的三维虚拟模型。
三维虚拟模型可以包括物理空间中的多个实体对应的多个虚拟元素。虚拟元素可以是其对应的实体的三维模型，虚拟元素和其对应的实体可以具有相同或者相似的形态、位置等特征。虚拟元素可以是根据实际的需求(如手术导航)进行预先配置。例如，三维虚拟模型可以至少包括肺部器官对应的虚拟肺部器官和目标肺结节对应的虚拟肺结节。虚拟肺部器官可以基于肺部气管分割掩膜生成，虚拟肺结节可以基于肺结节分割掩膜生成。其中，虚拟肺部器官可以显示肺部器官的形态、结构、轮廓、大小、位置等信息，虚拟肺结节可以显示目标肺结节的病灶信息。
在一些实施例中，三维虚拟模型中的虚拟肺结节可以具有不同的显示方式，其可以基于目标肺结节的病灶信息确定。例如，显示方式可以基于目标肺结节的危急程度评分确定。其中，显示方式可以与显示的角度、颜色、透明度、亮度等有关。
在一些实施例中，手术系统可以确定目标肺结节的危急程度评分是否大于预设评分阈值，响应于危急程度评分大于预设评分阈值，将目标肺结节对应的虚拟肺结节进行特异化显示。
预设评分阈值可以指预先配置的危急评分的标准值。其可以根据医学经验或实际的需求确定。例如，预设评分阈值可以设置为0.7。
特异化显示可以指目标肺结节对应的虚拟肺结节的显示方式与其他肺结节(如危急评分小于预设评分阈值的肺结节)对应的虚拟肺结节的显示方式不同，以使得三维虚拟模型被显示时，用户可以快速找到目标肺结节对应的虚拟肺结节。特异化显示可以包括利用特殊的颜色对目标肺结节对应的虚拟肺结节进行渲染、利用特殊的标记(如红色的圆圈)对虚拟肺结节进行标记、将虚拟肺结节的轮廓进行标记等。在一些实施例中，除了对目标肺结节对应的虚拟肺结节进行特异化显示，手术系统也可以针对目标肺结节的病灶信息进行特异化显示。例如，可以将目标肺结节和虚拟肺结节对应的信息进行优先显示(排列在肺结节病灶信息列表前面)、高亮显示、文字加粗等。
本说明书一些实施例，通过将危急评分大于预设评分阈值的肺结节对应的虚拟肺结节和/或病灶信息进行特异化显示，有助于辅助用户(如医生)快速判别肺结节病灶的整体情况，并有效地引导用户关注危急程度较高的肺结节病灶，提高用户对患者进行诊断和治疗的效率。
在一些实施例中，手术系统可以确定肺结节手术对应的手术类型；基于手术类型、肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节对应的手术路径；以及基于肺部器官分割掩膜、肺结节分割掩膜和手术路径，生成三维虚拟模型。
手术类型可以指针对于目标肺结节需要进行手术的类型。例如，手术类型可以包括穿刺活检、支气管内镜切除手术、胸腔镜切除手术和化疗/放疗手术等。不同的手术类型可以对应不同的手术场景。
在一些实施例中，手术系统根据目标肺结节的病灶信息(如尺寸、大小、病发症状等)，确定手术类型。示例性的，对于直径(如20mm)较大、位置在支气管内的目标肺结节，可以采取支气管内镜切除手术。
在一些实施例中，手术类型可以基于目标肺结节的危急程度评分、目标肺结节的位置信息和目标对象的支气管的狭窄区域信息中的至少一个确定。
狭窄区域可以指气管腔半径(或直径)较小的一段支气管区域。本说明书中的“气管腔半径较小”可以指半径小于阈值，也可以指半径相较于其附近区域的气管腔半径有明显的缩小。例如，狭窄区域可以是支气管中气管腔半径小于预设半径阈值(如5mm)的两个(或多个)相邻的位置点之间的区域。
在一些实施例中，手术系统可以对气管腔半径小于预设的气管腔半径阈值(如5mm)的位置点进行标记，并以该位置点为中心，预设半径范围(如15mm)内的支气管区域设置为狭窄区域。
在一些实施例中，手术系统还可以基于预设间隔距离(如10mm)确定多个支气管位置点，并基于该多个位置点对应的气管腔半径的半径变化梯度，确定支气管上的一个或多个狭窄区域。
其中，半径变化梯度可以反映支气管上多个位置点的气管腔半径的变化情况(如变化的幅度、变化的方向)。手术系统可以根据半径变化梯度确定支气管整体的狭窄区域的分布，并对每个狭窄区域进行标记。在一些实施例中，手术系统可以确定各位置点对应的气管腔半径与其上一个相邻位置点对应的气管腔半径之间的差值，并基于该差值与预设距离间隔的比值确定每个位置点对应的半径变化梯度。进而确定半径变化梯度小于预设变化阈值(如-0.5)的多个位置点，并将这些位置点对应的区域(如该位置点与上一个相邻位置点之间的区域)确定为狭窄区域。
在一些实施例中，手术系统可以对危急程度评分、目标肺结节的位置信息和支气管的狭窄区域信息进行综合评估，以确定手术类型。仅作为示例性的，若危急程度评分较高，则可以确定需要执行切除类型(如支气管内镜切除手术或胸腔镜切除手术)的手术；若狭窄区域较多或者狭窄区域过于狭窄时，则不适合做支气管内镜切除手术，而采用胸腔镜切除手术。
本说明书一些实施例，通过基于危急程度评分、目标肺结节的位置信息和目标对象的支气管的狭窄区域信息对手术类型进行综合评估，可以自动快速地确定初步手术方案，以供用户(如医生)进行手术参考。应当理解，上述关于手术类型确定方式的描述仅是出于示例目的，手术类型还可以通过其他方式确定。例如，手术类型可以根据系统的默认设定确定。又例如，手术类型可以根据目标对象的检查报告确定，检查报告中会包含医生在诊断中确定的手术类型。
在一些实施例中，手术系统可以基于手术类型、肺部器官分割掩膜和肺结节分割掩膜，进行手术路径规划处理，以确定目标肺结节对应的手术路径。
例如，手术系统可以根据手术类型和肺部器官分割掩膜和肺结节分割掩膜，确定手术入路进入点。手术入路进入点可以表示为手术路径的起点位置。示例性的，若手术类型为穿刺或者胸腔镜切除手术，则可以将肺外肋骨区域中距离目标肺结节中心最近的点，确定手术入路进入点；若手术类型为支气管内镜切除手术，则可以将气管的咽喉入口的中心点，确定为手术入路进入点。
进一步地，手术系统可以利用预设路径搜索算法，以手术入路进入点为起点，生成到达目标肺结节的最短路径，并将该最短路径确定为手术路径。其中，预设路径搜索算法可以是迪杰斯特拉(Dijkstra)算法或其他路径搜索算法(如贪心算法等)。
在一些实施例中，手术系统可以基于肺部器官分割掩膜、肺结节分割掩膜和手术路径，生成三维虚拟模型，该三维虚拟模型包括虚拟肺部器官、虚拟肺结节，以及手术路径对应的虚拟手术路径。
虚拟手术路径可以为手术路径的虚拟表征，其可以显示手术路径的起点(手术入路进入点)、终点(目标肺结节的位置点)、走向等。在一些实施例中，三维虚拟模型中还可以包括狭窄区域的标记，用于为用户提供警示或指导。虚拟手术路径在三维虚拟模型中可以利用线条等方式进行标记。
在一些实施例中，肺部对应的三维虚拟模型可以用于为用户(如医生、施术者)提供肺结节手术对应的手术导航、手术模拟等。手术模拟可以协助用户在虚拟的手术模拟场景中执行虚拟的肺结节手术，以模拟真实的肺结节手术。手术模拟可以帮助用户对即将进行的真实肺结节手术进行预演，也可以用于进行肺结节手术的教学、培训等。手术导航可以用于引导用户(如医生)对目标对象进行真实的肺结节手术。示例性的，手术系统可以利用交互设备向用户显示手术导航场景，其中会显示指导用户进行手术操作的提示信息。
在一些实施例中，手术系统还可以基于三维虚拟模型，生成虚拟手术场景，并将虚拟手术场景同步至数字化空间，以实现在数字化空间中为数字用户提供在线互动服务。
在线互动服务可以包括手术导航、手术模拟或其他可以用于手术演练或手术教学的服务。
虚拟手术场景可以是根据三维虚拟模型构建的数字化场景。例如，虚拟手术场景可以是通过虚拟现实(VR)技术、三维图形渲染技术等，根据三维虚拟模型的相关信息(如虚拟肺部器官、虚拟肺结节、虚拟手术路径等)，构建的具有交互功能的手术模拟场景。
在一些实施例中，手术系统可以将虚拟手术场景同步至数字化空间。数字化空间可以是元宇宙空间，用于为数字用户提供在线互动服务。其中，数字用户可以是登录数字化空间的用户(如医生、医生助理、实习生或其他的网络观看人员)。数字用户可以在数字化空间中具有虚拟身份，例如虚拟医生、虚拟旁观者等。数字用户可以以其虚拟身份在虚拟手术场景进行各种在线互动。例如，数字用户可以在虚拟手术场景中进行手术模拟，以实现对手术的演练、手术教学等。又例如，多个数字用户可以以各自的虚拟身份在虚拟场景中互相交流(如语音交流、手势比划等)。在一些实施例中，用户可以通过虚拟现实设备(如VR眼镜、VR头盔、体感传感器、视觉传感器、感觉反馈设备等)与数字化空间中的数字用户进行互动。
本说明书一些实施例，结合数字化技术为用户提供肺结节手术的手术模拟和手术导航等服务，在为用户提供逼真的沉浸式肺结节手术的互动体验的同时，能够提升用户(如医生、实习生)的手术演练、培训和教学的质量。
本说明书一些实施例，基于目标对象的肺部器官分割掩膜和肺结节分割掩膜，能够构建出符合目标对象的肺结节病灶实际情况的三维虚拟模型，有利于规划出精确的手术路径，为真实手术提供有效的指导和规避手术风险。另外，通过结合数字化技术，能够提供手术模拟、手术导航等在线互动服务，能够实现对施术人员(如医生)的手术经验、熟练度的提升以及对手术方案的优化。
图4是根据本说明书一些实施例所示的确定肺结节分割掩膜的方法的示例性示意图。
在一些实施例中，手术系统可以基于以下步骤410至步骤430，生成肺结节分割掩膜。
步骤410，利用肺结节检测模型对医学影像数据进行处理，确定目标肺结节的位置信息，肺结节检测模型为机器学习模型。
肺结节检测模型可以指用于检测肺结节病灶的模型。在一些实施例中，肺结节检测模型可以为训练好的机器学习模型。例如，其可以是卷积神经网络(ConvolutionalNeural Networks，CNN)模型，R-CNN(Region-CNN)、YOLO模型或其他自定义的深度学习网络模型。
如图4所示，肺结节检测模型的输入可以包括目标对象的医学影像数据，肺结节检测模型的输出包括目标肺结节的位置信息。
目标肺结节的位置信息可以表示医学图像数据中目标肺结节所在的区域。位置信息可以包括目标肺结节的中心点、长度、宽度、高度等信息。在一些实施例中，目标肺结节的位置信息可以通过位置向量(x，y，z，length，width，height)的形式表示。例如，该位置向量中的元素x、元素y和元素z分别表示目标肺结节的中心点对应的x坐标、y坐标和z坐标，length表示目标肺结节的长度，width表示目标肺结节的宽度,height表示目标肺结节的高度。
肺结节检测模型可以通过训练获得。肺结节检测模型的训练样本可以包括样本医学影像数据(如包含有肺结节病灶的多个患者的历史图像)。训练标签可以包括样本医学图像数据中的目标肺结节的金标准位置信息，其可以基于用户在样本医学图像数据中人工标注的目标肺结节确定。
本说明书一些实施例，通过肺结节检测模型可以快速得到目标肺结节的位置以及范围。
步骤420，基于目标肺结节的位置信息，确定目标肺结节的局部图像。
局部图像可以指医学影像数据中截取的包含目标肺结节的区域。例如，其可以是根据目标肺结节在医学影像数据中的位置信息，所确定的具有特殊形状(矩形、圆形或其他形状)且包含目标肺结节的区域。
在一些实施例中，手术系统可以基于目标肺结节的位置信息，确定目标肺结节在医学影像数据中的中心点位置，并基于目标肺结节的位置信息中的长度、宽度信息确定目标肺结节的局部图像。仅作为示例，局部图像可以是医学影像数据的一个矩形区域，该矩形区域的中心点为(x，y，z)，长度为length，宽度为width，高度为height。又例如，该矩形区域的中心点为(x，y，z)，长度为(length+△L)，宽度为(length+△W)，高度为(height+△H)其中△L、△W和△H可以是预设的长度值、宽度值和高度值。
手术系统还可以对局部图像进行后处理。例如，后处理可以包括对局部图像的缩放(如按照预设比例放大)、重采样(如重采样到128*128*128等固定大小)等处理，以获得处理后的局部图像。
步骤430，基于肺结节分割模型对局部图像进行分割处理，确定肺结节分割掩膜，肺结节分割模型为机器学习模型。
肺结节分割模型可以指用于对肺结节的图像进行分割以得到肺结节分割掩膜的模型。在一些实施例中，肺结节分割模型可以为训练好的机器学习模型。例如，其可以是VB-Net或其他自定义的深度学习网络模型。
在一些实施例中，如图4所示，肺结节分割模型的输入可以包括目标肺结节对应的局部图像，肺结节分割模型的输出可以包括目标肺结节对应的肺结节分割掩膜。关于肺结节分割掩膜的相关内容参见图3a及其描述。
需要说明的是，通过肺结节分割模型对目标肺结节对应的局部图像进行分割处理，可以对目标肺结节的形状、轮廓或边界进行更精确的识别。例如，肺结节分割模型可以根据目标肺结节的图像特征，识别目标肺结节的边界点(像素点或体素点)，并基于边界点对局部图像进行分割，从而获取更精确的肺结节分割掩膜。
肺结节分割模型可以通过训练获得。肺结节分割模型的训练样本可以是从样本医学影像数据中截取的样本局部图像。训练标签可以是样本局部图像对应的金标准肺结节分割掩膜，其可以基于用户在样本局部图像或样本医学图像数据中人工标注的目标肺结节确定。
在一些实施例中，肺结节检测模型与肺结节分割模型可以通过联合训练的方式训练获得。联合训练的样本医学影像数据可以是包含肺结节的多个患者的历史医学影像数据。联合训练的标签可以包括样本医学数据中的肺结节对应的金标准肺结节分割掩膜。联合训练时，手术系统可以先将样本医学影像数据输入至初始的肺结节检测模型，得到肺结节的样本位置信息；然后，可以根据肺结节的样本位置信息，通过图像裁剪算法等方式对样本医学影像数据进行裁剪得到样本局部图像；并将该样本局部图像输入初始的肺结节分割模型，得到样本肺结节分割掩膜。基于初始肺结节分割模型的输出与标签确定损失函数的值，并基于损失函数的值同时迭代更新初始肺结节检测模型与肺结节分割模型的参数，直到预设条件被满足，得到训练好的肺结节检测模型和肺结节分割模型。其中，预设条件可以是损失函数的值小于阈值、收敛，或训练周期达到阈值。
本说明书一些实施例中，通过肺结节检测模型与肺结节分割模型联合训练，可以降低获取训练样本的难度和成本，提高肺结节检测模型和肺结节分割模型的训练效率。
本说明书一些实施例中，可以先利用肺结节检测模型得到肺结节的局部图像，再对局部图像进行肺结节分割得到肺结节分割掩膜。与直接在原始的医学影像数据上进行肺结节分割相比，本说明书中的方法可以提高肺结节识别的精度，减少肺结节分割的数据处理量，提高肺结节分割效率。
图5是根据本说明书一些实施例所示的确定目标肺结节的危急程度评分的方法的示例性流程图。
在一些实施例中，流程500可以由手术系统执行。如图5所示，流程500包括下述步骤。
步骤510，基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节的多个定量参数值。
定量参数值可以指目标肺结节相关的定量参数对应的参数值。
在一些实施例中，多个定量参数值包括解剖结构参数值、影像量化参数值和恶性分类概率等中的一个或多个。其中，解剖结构参数值可以指与目标肺结节的形态结构相关的参数值；影像量化参数值可以指与目标肺结节在扫描图像(CT图像)中的图像特征相关的参数值。例如，解剖结构参数值可以包括但不限于目标肺结节的长径、短径、体积、最邻近气管半径等；影像量化参数值可以包括但不限于CT值(如CT值的平均值、最大值、最小值等)。恶性分类概率可以表征目标肺结节为恶性的可能性。其值越大，表示目标肺结节为恶性肺结节的可能性越大，否则，为良性肺结节的可能性越大。
在一些实施例中，手术系统可以基于肺部器官分割掩膜和肺结节分割掩膜，确定解剖结构参数值和影像量化参数值。
示例性的，手术系统可以基于肺结节分割掩膜对应的轮廓信息，获取目标肺结节的边界上的体素点，并根据体素点及其位置信息(如坐标)，确定该目标肺结节的长径、短径、体积等解剖结构参数值；还可以根据肺结节分割掩膜在医学影像数据中找到肺结节的各体素点的CT值，从而确定影像量化参数值(如CT值的平均值)；还可以基于肺结节分割掩膜和肺部器官分割掩膜(如气管分割掩膜、血管分割掩膜)，确定目标肺结节的最邻近气管的气管腔半径、最邻近血管的血管腔半径等。
恶性分类概率可以根据目标肺结节的解剖结构参数值确定。例如，对于长径大于预设长径阈值(如8mm)的目标肺结节，手术系统可以将其恶性分类概率设置得较高，即认为该目标肺结节为疑似恶性肺结节的概率较高。
在一些实施例中，手术系统可以基于良恶性分类模型对解剖结构参数值和影像量化参数值进行处理，确定目标肺结节对应的恶性分类概率，其中，良恶性分类模型为机器学习模型。
良恶性分类模型可以用于对目标肺结节的良性或恶性的概率进行预测。在一些实施例中，良恶性分类模型可以是基于残差网络(Residual Neural Network，ResNet)的深度学习模型或其他自定义的深度学习模型。
良恶性分类模型可以通过训练获取。训练的样本可以包括标注有恶性或良性肺结节的多组样本医学影像数据。例如，良恶性分类模型的训练样本可以基于历史临床数据(如多个患者的历史肺部扫描图像)获得，恶性或良性肺结节(如良性为1，恶性为0)的标注可以是人工确定。
本说明书一些实施例，通过基于人工智能算法的良恶性分类模型，对恶性肺结节(或良性肺结节)的特征(如解剖结构参数值和影像量化参数值)进行深度学习，以获得恶性肺结节(或良性肺结节)的共性特征或规律，进而能够快速和准确地预测目标肺结节的恶性分类概率，减少了人工判断的时间和精力。
步骤520，基于多个定量参数值，确定目标肺结节对应的至少一个评分项，每个评分项基于多个定量参数中的至少部分定量参数值确定。
一个评分项可以对应为一个评价因子，用于评估目标肺结节的危急程度评分。多个评分项则可以从多个维度对目标肺结节的危急程度进行综合评估。
评分项可以基于多个定量参数值中的一个或多个定量参数值确定。示例性的，可以基于长径确定一个评分项，基于短径确定另一个评分项；也可以基于长径和短径两者的组合确定一个评分项。其中，当基于单个定量参数值确定评分项时，评分项可以等于该定量参数值，也可以通过对该定量参数进行特定运算后确定。当基于多个(如两个)定量参数值确定评分项时，评分项可以通过对这些定量参数值进行求和、乘积等各种多种运算后确定。例如，某评分项可以等于长径和短径的乘积。可以理解，不同的评分项或者评分项的数量可以根据定量参数值的类型、数量等进行预先配置。
需要说明的是，除了解剖结构参数值和/或影像量化参数值等定量参数值，评分项还可以与患者的年龄(如儿童、成年人、老年人)、性别、目标肺结节的病变周期等各种信息有关。
在一些实施例中，手术系统可以对评分项进行归一化等映射处理，以将评分项映射至[0，1]区间的数值范围内。其中，映射处理可以根据各种预设规则或算法实现。
步骤530，基于至少一个评分项，确定目标肺结节的危急程度评分。
手术系统可以通过各种计算方法，确定危急程度评分。例如，可以计算多个评分项的总和，以确定目标肺结节的危急程度评分。
在一些实施例中，手术系统可以确定每个评分项对应的权重系数，并基于权重系数对每个评分项进行处理，以确定目标肺结节的危急程度评分。
权重系数可以表征其对应的评分项对危急程度评分的贡献程度。例如，权重系数可以用[0，1]区间内的数值表示，值越大，表示评分项对危急程度评分的贡献程度越高。在一些实施例中，多个评分项的权重系数可以根据预设权重规则进行相对调整。例如，权重系数的总和为1。示例性的，当某个评分项的权重系数设置为1时，其他的评分项的权重系数则设置为0。
权重系数可以基于医学经验确定。例如，目标肺结节的尺寸信息(如长径、短径等)是危急程度评分的重要指标，则其权重系数可以设置得较大。
在一些实施例中，每个评分项对应的权重系数可以基于目标肺结节的恶性分类概率确定。
手术系统可以设置恶性分类概率与一个或多个评分项的对应关系。示例性的，对于良性肺结节，其危急程度评分更关注体积，则体积对应的评分项的权重系数可以较高，其他评分项的权重系数可以较低；对于恶性肺结节，其危急程度评分更关注长径、短径、CT值，则长径、短径、CT值对应的评分项的权重系数可以较高，其他评分项的权重系数可以较低。
可以理解，恶性分类概率不同，则各评分项的权重系数可以不同。根据上述对应关系，手术系统可以根据目标肺结节的恶性分类概率，调整各评分项的权重系数，以适配不同的目标肺结节的良恶性情况。
在一些实施例中，手术系统还可以利用权重确定模型对目标肺结节的多个定量参数值进行处理，确定每个评分项的权重系数。权重确定模型可以是训练好的机器学习模型，例如，其可以是深度神经网络(Deep Neural Networks，DNN)模型或其他自定义的模型结构中的任意一种或组合。权重确定模型的输入可以包括每个评分项对应的定量参数值，其输出可以包括每个评分项对应的权重系数。在一些实施例中，可以将每个评分项对应的定量参数值进行归一化处理，并将归一化后的定量参数值输入权重确定模型。
权重确定模型可以基于每个评分项对应的样本定量参数值和金标准权重系数训练获得。其中，样本定量参数值可以是根据历史临床数据确定，例如，一组样本定量参数值可以包括样本肺结节的长径和短径的组合、体积、CT均值和最邻近气管半径。金标准权重系数可以作为训练的标签，其可以由用户进行人工设定。
本说明书一些实施例，通过人工智能算法对多种不同的定量参数值与对应的评分项的权重系数的关系和规律进行深度学习，能够替代人工的分析工作，使得权重系数的确定能够自动化和准确。
在一些实施例中，手术系统可以基于至少一个评分项的权重系数，对至少一个评分项的评分值进行加权求和，以确定危急程度评分。示例性的，可以采用如下所示的公式(1)确定危急程度评分：
S＝ w1*(R1*R2)+ w2*V + w3*C + w4*R3 + w5*P (1)
其中，公式(1)中的S表示目标肺结节的危急程度评分；R1表示长径，R2表示短径，R1与R2的乘积(R1*R2)作为第一评分项；V表示体积，作为第二评分项；C表示CT均值，作为第三评分项；R3表示最邻近气管半径，作为第四评分项；P表示恶性分类概率，作为第五评分项；w1、w2、w3、w4和w5分别为第一评分项、第二评分项、第三评分项、第四评分项和第五评分项对应的权重系数。
本说明书一些实施例，根据多个定量参数值，确定目标肺结节的危急程度评分，使得目标肺结节的危急程度评分能够综合考虑多种不同因素的影响，使得确定的危急程度评分更加准确。
图6是根据本说明书一些实施例所示的生成三维虚拟模型的方法的示例性流程图。
在一些实施例中，流程600可以由手术系统执行。如图6所示，流程600包括下述步骤。
步骤610，确定显示界面的显示参数，显示参数包括目标肺结节的辐射区域半径、每个肺部器官的透明度。
显示参数可以用于配置三维虚拟模型中的虚拟元素的显示方式。其中，虚拟元素可以包括虚拟肺部器官、虚拟肺结节、虚拟手术路径等。关于三维虚拟模型、虚拟手术路径的相关内容参见图3a及其描述。
显示参数可以包括目标肺结节的辐射区域半径。辐射区域半径可以指以目标肺结节为中心点的局部区域，三维虚拟模型在该区域中的部分需要进行渲染。辐射区域半径的最大值可以为目标肺结节到三维虚拟模型边界(如胸腔边界)的最大距离。
显示参数还可以包括每个肺部器官掩膜的透明度。其可以表征每个肺部器官(如肺、气管、肺动脉、肺静脉、肋骨等)的可见程度。例如，透明度可以以一个[0，1]区间内的数值表示，值越大，表示该肺部器官的可见程度越小。例如，透明度为0，表示其不透明(即完全可见)，透明度为1，表示其完全透明(即不可见)。
显示参数还可以包括其他的参数。例如，显示参数还可以包括透视方式、灰度、亮度等。透视方式可以包括遮挡或无遮挡。其中，无遮挡表示三维视角中在观察点到目标肺结节的手术路径上的虚拟元素均全透明；遮挡则正常显示。
显示参数可以通过多种方式确定。例如，显示参数可以由用户设定，或者由手术系统通过数据分析确定。
在一些实施例中，手术系统可以基于肺部器官分割掩膜和肺结节分割掩膜，确定显示参数。例如，手术系统可以基于肺部器官分割掩膜和肺结节分割掩膜，确定目标肺结节以及每个肺部器官的特征信息，并基于特征信息，确定每个肺部器官的透明度。
其中，特征信息至少包括尺寸信息。尺寸信息可以包括目标肺结节、肺部器官的半径、直径、长径、短径等信息。例如，目标肺结节的尺寸信息可以包括其长径或短径；气管的尺寸信息可以包括气管腔半径/直径。特征信息还可以包括其他信息。例如，面积、体积、位置等信息。
肺部器官的特征信息可以用于确定在互动服务的场景(如手术模拟、手术导航等互动场景)中，该肺部器官对目标肺结节的显示的干扰情况(如对用户视野造成遮挡、对手术操作形成阻碍等)。例如，对于某个目标肺结节，若其辐射区域半径内的气管(或气管区域)的尺寸(如气管腔半径/直径)较小时，该气管对目标肺结节的显示干扰较小，则该气管的透明度可以设置为不透明；若该目标肺结节的辐射区域半径内存在肋骨，由于肋骨的尺寸较大，对目标肺结节造成的显示干扰(如遮挡)较大，则肋骨(或造成遮挡的肋骨区域)可以设置为全透明，以使得目标肺结节能够清晰可见。
需要说明的是，手术系统还可以根据目标肺结节以及每个肺部器官的特征信息，对三维虚拟模型的不同视角设置不同的显示参数。应当理解，当三维虚拟模型的显示视角改变时，肺部器官对目标肺结节的显示的干扰情况可能会发生改变，其透明度等显示参数可以进行实时调整。
本说明书一些实施例中，通过确定目标肺结节以及每个肺部器官的特征信息，能够评估肺部器官对目标肺结节的显示干扰情况；同时，对每个肺部器官透明度进行调整，有利于用户更清晰得观察目标肺结节的结构、形态等信息，另外；根据用户视角对显示参数进行实时动态调整，能够自动适配用户不同视角下的三维虚拟模型的显示，提升了互动服务的用户体验。
在一些实施例中，特征信息还可以包括目标肺结节的位置信息，例如目标肺结节距离肺部边界的距离等。手术系统可以根据目标肺结节的位置信息，确定目标肺结节的辐射区域半径。
步骤620，基于显示参数，利用交互设备对三维虚拟模型进行显示。
手术系统可以基于显示参数，利用三维图形渲染技术等对三维虚拟模型的全部或局部进行渲染。例如，手术系统可以以目标肺结节为中心，对该目标肺结节的辐射区域半径内的一个或多个肺部器官的透明度进行调整，进而生成前述肺部器官的透明度调整后的三维虚拟模型。进一步地，手术系统可以指示交互设备对渲染后的三维虚拟模型进行显示。
出于示例目的，图7是根据本说明书一些实施例所示的渲染后的三维虚拟模型的示意图。如图7中所示，三维虚拟模型可以包括虚拟肺部器官(如虚拟器官、虚拟肺动静脉等)、虚拟肺结节、虚拟手术路径等。在渲染后的三维虚拟模型中，虚拟肺部设置了较高的透明度，从而避免虚拟肺部对目标肺结节造成遮挡。
本说明书一些实施例，可以基于肺部器官分割掩膜和肺结节分割掩膜自动设置三维虚拟模型的显示参数，使得三维虚拟模型能够匹配肺部器官和肺结节的实际情况(如遮挡干扰)，有利于三维虚拟模型提供更友好的互动服务(如手术模拟、手术导航、手术演练等)体验。同时，也使得三维虚拟模型能够根据用户操作(如视角的调整、旋转等操作)自适应地进行更新。
应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种肺结节手术导航方法，其特征在于，包括：
基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜；
基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节的病灶信息；
生成所述肺部对应的三维虚拟模型，所述三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和所述目标肺结节对应的虚拟肺结节，其中，所述虚拟肺结节的显示方式基于所述病灶信息确定。
2.根据权利要求1所述的方法，其特征在于，所述肺结节分割掩膜通过以下步骤生成：
利用肺结节检测模型对所述医学影像数据进行处理，确定所述目标肺结节的位置信息，所述肺结节检测模型为机器学习模型；
基于所述目标肺结节的位置信息，确定所述目标肺结节的局部图像；
基于肺结节分割模型对所述局部图像进行分割处理，确定所述肺结节分割掩膜，所述肺结节分割模型为机器学习模型。
3.根据权利要求1所述的方法，其特征在于，所述病灶信息包括所述目标肺结节的危急程度评分，所述危急程度评分通过以下步骤确定：
基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节的多个定量参数值；
基于所述多个定量参数值，确定所述目标肺结节对应的至少一个评分项，每个所述评分项基于所述多个定量参数中的至少部分定量参数值确定；
基于所述至少一个评分项，确定所述目标肺结节的所述危急程度评分。
4.根据权利要求3所述的方法，所述多个定量参数值包括解剖结构参数值、影像量化参数值和恶性分类概率，所述确定所述目标肺结节的多个定量参数值包括：
基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述解剖结构参数值和所述影像量化参数值；
基于良恶性分类模型对所述解剖结构参数值和所述影像量化参数值进行处理，确定所述目标肺结节对应的恶性分类概率，所述良恶性分类模型为机器学习模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述至少一个评分项，确定所述目标肺结节的所述危急程度评分包括：
确定每个所述评分项对应的权重系数；
基于所述权重系数，对每个所述评分项进行处理，以确定所述目标肺结节的所述危急程度评分，其中，所述每个评分项对应的权重系数基于所述目标肺结节的恶性分类概率确定。
6.根据权利要求1所述的方法，其特征在于，生成所述肺部对应的三维虚拟模型包括：
确定显示界面的显示参数，所述显示参数包括所述目标肺结节的辐射区域半径、每个所述肺部器官的透明度；
基于所述显示参数，利用交互设备对所述三维虚拟模型进行显示。
7.根据权利要求6所述的方法，其特征在于，所述基于所述肺部器官分割掩膜和所述肺结节分割掩膜，对所述显示参数进行调整包括：
基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节以及每个所述肺部器官的特征信息，所述特征信息至少包括尺寸信息；
基于所述特征信息，调整每个所述肺部器官的透明度。
8.根据权利要求1所述的方法，其特征在于，所述生成所述肺部对应的三维虚拟模型包括：
确定所述肺结节手术对应的手术类型；
基于所述手术类型、所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节对应的手术路径；以及
基于所述肺部器官分割掩膜、所述肺结节分割掩膜和所述手术路径，生成所述三维虚拟模型，所述三维虚拟模型还包括所述手术路径对应的虚拟手术路径。
9.根据权利要求8所述的方法，其特征在于，所述手术类型基于所述目标肺结节的所述危急程度评分、所述目标肺结节的位置信息和所述目标对象的支气管的狭窄区域信息中的至少一个确定。
10.一种肺结节手术导航系统，其特征在于，包括：
分割模块，用于基于目标对象的肺部的医学影像数据，生成肺部器官分割掩膜和目标肺结节的肺结节分割掩膜；
确定模块，用于基于所述肺部器官分割掩膜和所述肺结节分割掩膜，确定所述目标肺结节的病灶信息；
生成模块，用于生成所述肺部对应的三维虚拟模型，所述三维虚拟模型至少包括肺部器官对应的虚拟肺部器官和所述目标肺结节对应的虚拟肺结节，其中，所述虚拟肺结节的显示方式基于所述病灶信息确定。
CN202310701476.7A 2023-06-13 2023-06-13 一种肺结节手术导航方法和系统 Pending CN116712167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310701476.7A CN116712167A (zh) 2023-06-13 2023-06-13 一种肺结节手术导航方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310701476.7A CN116712167A (zh) 2023-06-13 2023-06-13 一种肺结节手术导航方法和系统

Publications (1)

Publication Number Publication Date
CN116712167A true CN116712167A (zh) 2023-09-08

Family

ID=87867501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310701476.7A Pending CN116712167A (zh) 2023-06-13 2023-06-13 一种肺结节手术导航方法和系统

Country Status (1)

Country Link
CN (1) CN116712167A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117017486A (zh) * 2023-09-28 2023-11-10 天津佰旺达科技有限公司 一种基于医学影像的肺结节穿刺路径规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117017486A (zh) * 2023-09-28 2023-11-10 天津佰旺达科技有限公司 一种基于医学影像的肺结节穿刺路径规划方法
CN117017486B (zh) * 2023-09-28 2024-03-29 天津佰旺达科技有限公司 一种基于医学影像的肺结节穿刺路径规划方法

Similar Documents

Publication Publication Date Title
WO2021238438A1 (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
US10347033B2 (en) Three-dimensional image display apparatus, method, and program
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
CN114948199A (zh) 一种外科手术辅助系统及手术路径规划方法
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
CN116712167A (zh) 一种肺结节手术导航方法和系统
CN113197665A (zh) 一种基于虚拟现实的微创外科手术模拟方法、系统
JPWO2020027228A1 (ja) 診断支援システム及び診断支援方法
CN114649083A (zh) 一种三维模型处理方法、系统、装置及存储介质
US20230177681A1 (en) Method for determining an ablation region based on deep learning
Yang et al. Efficient catheter segmentation in 3D cardiac ultrasound using slice-based FCN with deep supervision and f-score loss
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
CN116650111A (zh) 一种支气管异物清除手术的模拟和导航方法及系统
US20230172428A1 (en) Endoscope image processing device
CN116012328A (zh) 腔道分支点的检测方法、装置、电子设备及可读存储介质
CN112137693B (zh) 四维超声引导穿刺的成像方法及装置
US11380060B2 (en) System and method for linking a segmentation graph to volumetric data
CN114757894A (zh) 一种骨肿瘤病灶分析系统
Tautz et al. Cardiac radiomics: an interactive approach for 4D data exploration
WO2021081839A1 (zh) 基于vrds 4d的病情分析方法及相关产品
CN114867427A (zh) 2d路径探测可视化
WO2021130572A1 (en) 3d pathfinder visualization
US20240021103A1 (en) Endoscopic training system
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统
US20230363730A1 (en) Airway mucus visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination