CN115423819A - 肺血管的分割方法及装置、电子设备和存储介质 - Google Patents

肺血管的分割方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115423819A
CN115423819A CN202210862097.1A CN202210862097A CN115423819A CN 115423819 A CN115423819 A CN 115423819A CN 202210862097 A CN202210862097 A CN 202210862097A CN 115423819 A CN115423819 A CN 115423819A
Authority
CN
China
Prior art keywords
lung
image
enhanced
segmentation
pulmonary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210862097.1A
Other languages
English (en)
Inventor
齐守良
王美欢
吴雅楠
杨英健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210862097.1A priority Critical patent/CN115423819A/zh
Publication of CN115423819A publication Critical patent/CN115423819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本公开涉及一种肺血管的分割方法及装置、电子设备和存储介质，涉及肺血管分割技术领域。所述的肺血管的分割方法，包括：获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图像对应的肺配准图像；对所述肺配准图像进行肺区域分割，得到肺区域图像；基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练；基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。本公开实施例可实现非增强肺图像的非增强肺图像。

Description

肺血管的分割方法及装置、电子设备和存储介质
技术领域
本公开涉及肺血管分割技术领域，尤其涉及一种肺血管的分割方法及装置、电子设备和存储介质。
背景技术
肺是人体呼吸系统的重要器官，是气体交换的场所。由于吸烟及空气污染等原因，肺部疾病连年 高发，严重威胁人们的身体健康。用于肺部检查的高空间分辨率胸部CT[4]图像可以诊断肺部疾病， 并提供病变位置和大小的良好特征。
从胸部CT图像中准确地分割肺血管是必要且复杂的。它可用于肺栓塞、肺动脉高压或肺结节的 筛查、诊断和治疗。此外，分段的肺血管可以作为辅助指南，用于切除肺癌肺叶和肺段。但是，由于 肺部血管形态复杂多变，血管直径粗细不一，血管灰度值不均等且与周围组织灰度较为接近，这给血 管的精确分割带来了一定的困难。
许多基于规则的方法被提出来分割肺血管。基于Hessian矩阵增强的方法大多显示出良好的性能。 但是，Hessian特征值在非规则管状结构的血管上增强效果不佳，需要经过进一步的分割才能提取出 最终的血管树。基于规则的方法还包括图割法等基于图的模型。图割法首先对血管进行建模，然后通 过使用优化方法找到整个图上的最佳切口，基于图的方法需要结合先验知识进行适当的预处理和参数 调整。
深度学习方法依赖于标注数据，标注的质量直接决定了模型的性能。由于复杂的解剖结构和与其 他组织(气道壁和结节)相似的CT值，尤其是在非增强CT(NCCT)肺图像中，肺血管的标注是一 个耗时费力的过程，标注样本稀少且不准确。通过静脉注射造影剂，增强CT(CECT)肺图像可以显 示肺血管。然而，对于一些有造影剂禁忌症的患者和没有CECT肺图像的患者，有必要从NCCT肺图 像中分割出肺血管。
发明内容
本公开提出了一种肺血管的分割方法及装置、电子设备和存储介质技术方案。
根据本公开的一方面，提供了一种肺血管的分割方法，包括：
获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图像对应的肺 配准图像；
对所述肺配准图像进行肺区域分割，得到肺区域图像；
基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练；
基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
优选地，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强肺图像进行血 管分割及肺区域分割，得到血管图像及肺区域图像；
根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像。
优选地，所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括：获取预设血 管分割模型及第一预设肺区域分割模型；
分别基于所述预设血管分割模型及所述第一预设肺区域分割模型，对所述获取增强肺图像进行血 管分割及肺区域分割，得到血管图像及肺区域图像；
以及/或，
所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像的方法，包括：
对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺血管图像。
优选地，所述对所述肺配准图像进行肺区域分割，得到肺区域图像的方法，包括：
获取第二预设肺区域分割模型；
基于所述第二预设肺区域分割模型，对所述肺配准图像进行肺区域分割，得到肺区域图像；
以及/或，
所述第一分割模型，包括：U-Net骨干网络，所述U-Net骨干网络在每次卷积操作后，得到多个特 征图；分别对所述多个特征图进行特征映射归一化；并利用激活函数对归一化的所述多个特征图进行 激活；
以及/或，
所述基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练的方法，包括：
在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失；根据所述每次解码后对 应的特征图的损失，得到训练过程中的总损失。
根据本公开的一方面，提供了一种肺血管的分割方法，包括：
获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图 像；
对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图像对应的肺区域 配准图像；
基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练；
基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
优选地，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强肺图像进行血 管分割及肺区域分割，得到血管图像及肺区域图像；
根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像；
以及/或，
所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括：获取预设血管分割模 型及第一预设肺区域分割模型；
分别基于所述预设血管分割模型及所述第一预设肺区域分割模型，对所述获取增强肺图像进行血 管分割及肺区域分割，得到血管图像及肺区域图像；
以及/或，
所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像的方法，包括：
对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺血管图像。
优选地，所述分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及 第二肺区域图像的方法，包括：
获取第三预设肺区域分割模型及第四预设肺区域分割模型；
分别基于所述第三预设肺区域分割模型及所述第四预设肺区域分割模型，对所述增强肺图像及所 述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像；
以及/或，
所述第一分割模型，包括：U-Net骨干网络，所述U-Net骨干网络在每次卷积操作后，得到多个特 征图；分别对所述多个特征图进行特征映射归一化；并利用激活函数对归一化的所述多个特征图进行 激活；
以及/或，
所述基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练的方法，包括：
在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失；根据所述每次解码后对 应的特征图的损失，得到训练过程中的总损失。
根据本公开的一方面，提供了一种肺血管的分割装置，包括：
第一获取单元，用于获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分 割模型；
第一配准单元，用于对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非 增强肺图像对应的肺配准图像；
第一肺区域分割单元，用于对所述肺配准图像进行肺区域分割，得到肺区域图像；
第一训练单元，用于基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练；
第一肺血管分割单元，用于基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管 分割。
根据本公开的一方面，提供了一种肺血管的分割方法，包括：
第二获取单元，获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模 型；
第二肺区域分割单元，分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区 域图像及第二肺区域图像；
第二配准单元，对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图 像对应的肺区域配准图像；
第二训练单元，基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练；
第二肺血管分割单元，基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述肺血管的分割方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算 机程序指令被处理器执行时实现上述肺血管的分割方法。
在本公开实施例中，解决的技术问题如下：由于复杂的解剖结构和与其他组织(气道壁和结节) 相似的值，尤其是在非增强肺图像中，肺血管的标注是一个耗时费力的过程，标注样本稀少且不准确； 通过静脉注射造影剂，增强肺图像可以显示肺血管。然而，对于一些有造影剂禁忌症的患者和没有增 强肺图像的患者，有必要从非增强肺图像中分割出肺血管。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并 与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的肺血管的分割方法的流程图；
图2示出根据本公开另一实施例的肺血管的分割方法的流程图；
图3示出根据本公开实施例中图1对应的肺血管的分割方法实施过程；
图4示出根据本公开实施例中的第一分割模型的网络示意图；
图5是根据一示例性实施例示出的一种电子设备的框图；
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示 功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘 制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实 施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少 一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种， 可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人 员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的 方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结 合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了肺血管的分割装置、电子设备、计算机可读存储介质、程序，上述均可用 来实现本公开提供的任一种肺血管的分割方法，相应技术方案和描述和参见方法部分的相应记载，不 再赘述。
图1示出根据本公开实施例的肺血管的分割方法的流程图。同时，图3示出根据本公开实施例中图 1对应的肺血管的分割方法实施过程。如图1及图3所示，所述肺血管的分割方法，包括：步骤S101： 获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；步骤S102：对所 述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图像对应的肺配准图像； 步骤S103：对所述肺配准图像进行肺区域分割，得到肺区域图像；步骤S104：基于所述肺血管图像 及所述肺区域图像，对所述预设第一分割模型进行训练；步骤S105：基于所述训练的预设第一分割模 型，对第二非增强肺图像进行肺血管分割。以解决对于一些有造影剂禁忌症的患者和没有增强肺图像 的患者，不能从非增强肺图像中较准确地分割出肺血管的问题。
步骤S101：获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型。
在本公开的实施例中，获取的增强肺图像及第一非增强肺图像为同一患者的第一非增强肺图像。
在本公开的实施例及其他可能的实施例中，可利用CT、PET、MR、超声、DR等常规影像设备的 一种或几种，对所述患者进行胸部成像，得到相应的肺图像，例如胸部CT增强肺图像及同一患者的 第一非增强肺图像、胸部PET增强肺图像及同一患者的第一非增强肺图像、胸部MR增强肺图像及同 一患者的第一非增强肺图像、胸部超声增强肺图像及同一患者的第一非增强肺图像、胸部PET-CT增 强肺图像及同一患者的第一非增强肺图像、胸部DR增强肺图像及同一患者的第一非增强肺图像。其 中，通过对患者注射造影剂，以实现上述增强肺图像的获取；同时，为注射造影剂对应的图像为非增 强肺图像。
血管内注射造影剂后，增大了血管组织与其他组织之间的强度差。在增强肺图像中，肺血管的 CT值明显大于其他周围组织(如气道壁)。与非增强肺图像相比，从视觉上更容易将其与增强肺图 像区分开来。在增强肺图像上标注肺血管有效地去除了其他非血管组织，确保了标注的准确性。
非增强肺图像在临床上得到广泛应用，在疾病筛查和初步评估中发挥着重要作用。通常，无法获 取或不需要增强肺图像。例如，有禁忌症和严重心肺疾病的患者不能进行胸部增强肺图像扫描。一些 呼吸系统疾病患者通常不需要增强肺图像，但需要分析肺血管变化(如COPD患者)。COPD患者表 现出肺血管裁剪，小于5mm2(BV5)的总血管体积与呼吸功能参数显著相关。最后，胸部CT中的对 比剂通常不需要用于检测肺实质病变。
在本公开的实施例中，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强 肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；根据所述血管图像及所述肺区域图 像，得所述增强肺图像对应的肺血管图像。
在本公开的实施例及其他可能的实施例中，两名经验丰富的放射科医生在原始的增强肺图像中对 17例患者的血管进行了标注。两例患者在原始的定义非增强肺图像中进行了标注，以评估我们的 CE-NC-VesselSegNet(预设第一分割模型)。首先，使用Mimics21.0(Materialise Corp,Belgium)在矢 状面半自动标记增强肺图像。其次，在重建的三维肺血管上进行反复验证和修改。最后，血管标记为 1，其他组织在二值化后标记为0。第一位放射科医生绘制了标注，第二位放射科医生对结果进行了轻 微修改和确认，得到了最终的血管标注图像。
在本公开的实施例中，所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括： 获取预设血管分割模型及第一预设肺区域分割模型；分别基于所述预设血管分割模型及所述第一预设 肺区域分割模型，对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像。
在本公开的实施例及其他可能的实施例中，所述预设血管分割模型可是基于传统算法的预设血管 分割模型，也可以是基于深度学习的预设血管分割模型。显然，本领人员可以利用上述血管标注图像， 对血管分割模型进行训练，得到预设血管分割模型。其中，所述血管分割模型可以为U-Net卷积神经 网络或者对其改进的卷积神经网络。
其中，所述基于所述预设血管分割模型，对所述获取增强肺图像进行血管分割及肺区域分割，得 到血管图像的方法，包括：基于所述预设血管分割模型，分别得到所述增强肺图像分别在N个视图下 对应的N个待处理的血管图像；对所述N个待处理的血管图像进行融合，得到血管图像。其中，N≥2。 在本公开的实施例及其他可能的实施例中，N个视图可为矢状面、冠状面以及横断面视图中至少2个 试图，同时也可以为矢状面、冠状面横断面视图以及任何角度下的视图中至少2个试图，例如任何角 度下的视图可为各种可能方位下的45°视图。
在本公开的实施例及其他可能的实施例中，在训练预设血管分割模型的过程中，确定所述N个视 图的方法，包括：基于所述预设血管分割模型，分别得到所述增强肺图像分别在M个视图下对应的M 个待处理的血管图像；根据所述M个待处理的血管图像的分割效果，确定所述N个视图。同样地，M 个视图可为矢状面、冠状面以及横断面视图中至少2个视图，同时也可以为矢状面、冠状面横断面视 图以及任何角度下的视图中至少2个试图，例如任何角度下的视图可为各种可能方位下的30°、45°、 60°视图。
在本公开的实施例及其他可能的实施例中，所述根据所述M个待处理的血管图像的分割效果，确 定所述N个视图的方法，包括：分别计算所述M个待处理的血管图像的M个分割效果；基于所述M个 分割效果及预设分割效果，从所述M个待处理的血管图像的分割效果，确定所述N个视图。本领域技 术人员可以根据实际需要对所述预设分割效果进行配置，例如，所述预设分割效果可选择dice系数， dice系数可配置为85％。
在本公开的实施例及其他可能的实施例中，所述分割效果，至少包括：交集与并集之比(the ratio of intersection over union，IoU)、dice系数(dice coefficient，Dice)、灵敏度(sensitivity)和精度(precision) 的一种或几种，每种分割效果都对应相应的预设分割效果(预设值)。
在本公开的实施例及其他可能的实施例中，所述对所述N个待处理的血管图像进行融合，得到血 管图像的方法，包括：分别对所述N个待处理的血管图像在N个视图方向进行投影，得到多个投影血 管图像；分别对在同一视图下的投影血管图像及待处理的血管图像进行对应位置的均值处理，得到N 个视图下的血管图像。具体地说，分别对在同一视图下的投影血管图像及待处理的血管图像进行对应 位置的均值处理的方法，包括：
获取所述在同一视图下的投影血管图像及待处理的血管图像进行对应位置；计算所述位置的均值。 例如，在同一视图下的投影血管图像及待处理的血管图像进行对应位置点分别为(x1,y1,z1)及 (x2,y2,z2)，该位置点的均值为((x1+x2)/2,(y1+y2)/2,(z1+x2)/2)。
例如，N＝2，分别为矢状面视图及冠状面视图下的待处理的血管图像A及血管图像B；分别对2个 待处理的血管图像在矢状面视图及冠状面视图方向进行投影，得到冠状面视图下的投影血管图像A1 及矢状面视图下的投影血管图像B1；分别对所述矢状面视图下的血管图像A及矢状面视图下的投影血 管图像B1进行对应位置的均值处理，得到矢状面视图下的血管图像；同时，分别对所述冠状面视图 下的血管图像B及冠状面视图下的投影血管图像A1进行对应位置的均值处理，得到冠状面视图下的血 管图像。
在本公开的实施例及其他可能的实施例中，在所述分别对在同一视图下的投影血管图像及待处理 的血管图像进行对应位置的均值处理之前，分别对所述同一视图下的投影血管图像及待处理的血管图 像进行配准，得到所述同一视图下的投影血管图像及待处理的血管图像的对应像素点，对所述对应像 素点的位置进行均值处理，得到N个视图下的血管图像。
在本公开的实施例及其他可能的实施例中，可以利用3D Slicer(www.slicer.org)中的配准(Elastix) 模块完成对所述同一视图下的投影血管图像及待处理的血管图像进行配准的操作。同时，本领域人员 也可以采用其他的配准方法，例如，SIFT配准方法、3DSIFT配准方法或SURF配准方法等。
在本公开的实施例及其他可能的实施例中，第一预设肺区域分割模型可为已经训练好的肺区域 (肺实质)分割模型，例如可以采用申请号：202010534722.0公开的肺叶分割方法、装置和存储介质， 得到左肺的肺叶或者右肺的肺叶；所有左肺的肺叶按照左肺解剖学结构进行拼接，得到左肺肺实质； 所有右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。对于没有进行肺叶切除的受试者来 说，左肺的肺叶为2个，右肺的肺叶为3个，2个左肺的肺叶按照左肺解剖学结构进行拼接，得到左肺 肺实质；3个右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。其中，在本公开的实施例 及其他可能的实施例中的肺实质，包括外周气道和肺血管。或者，也可以直接利用肺区域(肺实质) 分割模型，得到肺实质(左肺及右肺的肺实质)图像。
本公开的实施例及其他可能的实施例中，也考虑到了肺叶切除后的受试者，其中肺叶切除后的受 试者至少左上肺叶、左下肺叶、右上肺叶、右中肺叶以及右下肺叶中至少一个肺叶被切除。
基于上述，在本公开的实施例及其他可能的实施例中，肺分割，可包括：左肺分割模型、右肺分 割模型、左肺肺叶缺失分割模型及右肺肺叶缺失分割模型；因此，在本公开中，提出了一种左肺及右 肺分别进行分割的技术方案，分别对左肺及右肺进行分割。其中，所述左肺分割模型、右肺分割模型、 左肺肺叶缺失分割模型及右肺肺叶缺失分割模型可以是基于传统分割算法的肺分割模型，也可以是基 于深度学习的肺分割模型，例如基于U-Net，或U-ResNet的肺分割模型，其模型的训练方法为本领域 技术人员惯用的技术手段，本公开再此不再进行详细说明。但是，值得注意的是，分别对左肺及右肺 进行分割的方法是针对肺叶缺失的情况下提出的，目前没有肺叶切除术后剩余肺分割的方法。因此， 分别对左肺及右肺进行分割的方法并不是本领域技术人员管用的技术手段，是需要本领域人员付出相 应的创造性劳动。
在本公开的实施例中，所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血 管图像的方法，包括：对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺 血管图像。其中，所述增强肺图像对应的肺血管图像仅仅包含肺区域(肺实质)内的血管，去除了肺 区域(肺实质)外的心血管。
步骤S102：对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图 像对应的肺配准图像。
在本公开的实施例及其他可能的实施例中，可以利用3D Slicer(www.slicer.org)中的配准(Elastix) 模块完成所述增强肺图像和所述第一非增强肺图像的配准。同时，本领域人员也可以采用其他的配准 方法，例如，SIFT配准方法、3DSIFT配准方法或SURF配准方法等。
在本公开的实施例及其他可能的实施例中，将增强肺图像配置为固定图像，第一非增强肺图像配 置为运移动图像，利用配准算法，得到所述第一非增强肺图像对应的肺配准图像。
步骤S103：对所述肺配准图像进行肺区域分割，得到肺区域图像。
在本公开的实施例中，所述对所述肺配准图像进行肺区域分割，得到肺区域图像的方法，包括： 获取第二预设肺区域分割模型；基于所述第二预设肺区域分割模型，对所述肺配准图像进行肺区域分 割，得到肺区域图像。
在本公开的实施例及其他可能的实施例中，所述第二预设肺区域分割模型可为已经训练好的肺区 域(肺实质)分割模型，例如可以采用申请号：202010534722.0公开的肺叶分割方法、装置和存储介 质，得到左肺的肺叶或者右肺的肺叶；所有左肺的肺叶按照左肺解剖学结构进行拼接，得到左肺肺实 质；所有右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。对于没有进行肺叶切除的受试 者来说，左肺的肺叶为2个，右肺的肺叶为3个，2个左肺的肺叶按照左肺解剖学结构进行拼接，得到 左肺肺实质；3个右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。其中，在本公开的实 施例及其他可能的实施例中的肺实质，包括外周气道和肺血管。或者，也可以直接利用肺区域(肺实 质)分割模型，得到肺实质(左肺及右肺的肺实质)图像。
本公开的实施例及其他可能的实施例中，也考虑到了肺叶切除后的受试者，其中肺叶切除后的受 试者至少左上肺叶、左下肺叶、右上肺叶、右中肺叶以及右下肺叶中至少一个肺叶被切除。
基于上述，在本公开的实施例及其他可能的实施例中，肺分割，可包括：左肺分割模型、右肺分 割模型、左肺肺叶缺失分割模型及右肺肺叶缺失分割模型；因此，在本公开中，提出了一种左肺及右 肺分别进行分割的技术方案，分别对左肺及右肺进行分割。其中，所述左肺分割模型、右肺分割模型、 左肺肺叶缺失分割模型及右肺肺叶缺失分割模型可以是基于传统分割算法的肺分割模型，也可以是基 于深度学习的肺分割模型，例如基于U-Net，或U-ResNet的肺分割模型，其模型的训练方法为本领域 技术人员惯用的技术手段，本公开再此不再进行详细说明。但是，值得注意的是，分别对左肺及右肺 进行分割的方法是针对肺叶缺失的情况下提出的，目前没有肺叶切除术后剩余肺分割的方法。因此， 分别对左肺及右肺进行分割的方法并不是本领域技术人员管用的技术手段，是需要本领域人员付出相 应的创造性劳动。
在本公开的实施例及其他可能的实施例中，分别对左肺及右肺进行分割的方法，包括：获取所述 肺配准图像，确定所述肺配准图像中主支气管(1级气管)的位置，根据所述主支气管的位置将所述 肺配准图像划分为左肺图像及右肺图像；分别确定所述左肺图像及右肺图像是否存在肺叶缺失；若存 在肺叶缺失，判断所述肺叶缺失在左肺还是右肺；若所述肺叶缺失在左肺，则获取左肺肺叶缺失分割 模型及右肺分割模型，分别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左肺及不存 在缺失的右肺进行肺实质分割；若所述肺叶缺失在右肺，则获取右肺肺叶缺失分割模型及左肺分割模 型，分别利用所述右肺肺叶缺失分割模型及左肺分割模型对存在缺失的右肺及不存在缺失的左肺进行 肺实质分割；对分割后的左肺肺实质及右肺肺实质按照解剖学结构进行拼接，得到上述肺实质。其中， 所述主支气管为喉部到肺门的气管。
例如，所述肺配准图像中仅仅为左上肺叶或左下肺叶，则获取左肺肺叶缺失分割模型及右肺分割 模型，分别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左肺及不存在缺失的右肺进 行肺实质分割；最后，对分割后的左肺肺实质及右肺肺实质按照解剖学结构进行拼接，得到上述肺实 质。
在本公开的实施例及其他可能的实施例中，所述确定所述肺配准图像中主支气管(1级气管)的 位置，根据所述主支气管的位置将所述肺配准图像划分为左肺图像及右肺图像的方法，包括：获取气 道分割模型，对所述肺配准图像执行气道分割，得道气道树；在所述气道树中确定主支气管，并计算 所述主支气管的中心线；根据所述中心线将所述肺配准图像划分为左肺图像及右肺图像。同时，气道 分割模型可以选择现有的气道分割模型，气道的分割仅仅能分割出主支气管即可，不需要对气道进行 精细分割。例如，申请号：202010540322.0公开的基于肺叶及气管树的配准方法及装置、电子设备和 存储介质使用的气道分割模型。
步骤S104：基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练。
在本公开的实施例中，提出了一种第一分割模型CE-NC-VesselSegNet。图4示出根据本公开实施 例中的第一分割模型的网络示意图。如图4所示，所述第一分割模型，包括：U-Net骨干网络，所述 U-Net骨干网络在每次卷积操作后，得到多个特征图；分别对所述多个特征图进行特征映射归一化； 并利用激活函数对归一化的所述多个特征图进行激活。在本公开的实施例中，分别对所述多个特征图 进行特征映射归一化，以加速第一分割模型收敛，并且可以保持每个图像实例(特征图)之间的独立 性。同时，可利用Leaky ReLU(lReLU)激活函数对归一化的所述多个特征图进行激活。
在本公开的实施例中，所述基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进 行训练的方法，包括：在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失；根据 所述每次解码后对应的特征图的损失，得到训练过程中的总损失。
为了实现该第一分割模型，采用了训练验证测试策略。在数据集D1中，对于CE-NC-VesselSegNet 和CE-NC-VesselSegNet with fine-tuning(微调的CE-NC-VesselSegNet)，使用12个具有两个时期的 数据作为训练和验证数据集，并使用两个非增强肺图像作为测试集。对于CE-VesselSegNet，12例分 为两个时期的数据用于训练和验证，5例增强肺图像用于测试。
由于GPU内存有限，将整个肺图像输入第一分割模型进行训练是不切实际的。因此，输入第一 分割模型的图像被裁剪成大小为270×186×210的长方体，并用于训练网络。训练轮数设置为1000。 网络采用随机梯度下降法进行优化，Nesterov动量为0.99。初始学习率为0.01，学习率根据poly-LR (polynomial learning rate)衰减。
Figure BDA0003756391160000101
为了第一分割模型训练的稳定性和分割的准确性，nnU-Net使用dice and cross-entropy损失函数 之和作为损失函数。
Loss＝Lossdice+Losscross-entropy。
同时，第一分割型采用了深监督策略，以更好地训练网络并有效地使用隐藏层信息。采用滑动 窗口法对数据进行预测。滑动窗口大小是经过训练的patch大小，步长是patch大小的一半。此外， 使用高斯加权来抑制边缘误差。第一分割模型的训练是在CentOS操作系统中使用Python 3.9进行的， 使用PyTorch 1.9实现，并使用Nvidia GeForce RTX2080Ti GPU运行，内存为11GB。
在本公开的实施例及其他可能的实施例中，所述基于所述肺血管图像及所述肺区域图像，对所述 预设第一分割模型进行训练的方法，还包括：分别基于所述增强肺图像分别在多个视图下肺区域图像 及其对应的多个肺血管图像，对所述预设第一分割模型进行训练，得到多个视图下的第一分割模型； 基于所述多个视图下的第一分割模型的性能，从所述多个视图下的第一分割模型中选择至少2个视图 下的用于非增强肺图像进行肺血管分割的第一分割模型。
例如，分别基于所述增强肺图像分别在a个视图下肺区域图像及其对应的a个肺血管图像，对所述 预设第一分割模型进行训练，得到a个视图下的第一分割模型。其中，a个视图可为矢状面、冠状面以 及横断面视图中至少2个视图，同时也可以为矢状面、冠状面横断面视图以及任何角度下的视图中至 少2个试图，例如任何角度下的视图可为各种可能方位下的30°、45°、60°视图。
在本公开的实施例及其他可能的实施例中，所述基于所述多个视图下的第一分割模型的性能，至 少包括：交集与并集之比(the ratio of intersection over union，IoU)、dice系数(dice coefficient，Dice)、 灵敏度(sensitivity)和精度(precision)的一种或几种。
在本公开的实施例及其他可能的实施例中，所述基于所述多个视图下的第一分割模型的性能，从 所述多个视图下的第一分割模型中选择至少2个视图下的用于非增强肺图像进行肺血管分割的第一分 割模型的方法，包括：分别计算所述多个视图下的第一分割模型对应的性能；对所述多个视图下的第 一分割模型对应的性能按照从大到小进行排序，并根据获取的数目，从排序的所述多个视图下的第一 分割模型中选择至少2个视图下的用于非增强肺图像进行肺血管分割的第一分割模型；其中，所述数 目至少为2。
在本公开的实施例及其他可能的实施例中，所述对所述多个视图下的第一分割模型对应的性能按 照从大到小进行排序的方法，包括：获取所述多个视图下的第一分割模型对应的设定性能；对所述多 个视图下的第一分割模型对应的设定性能进行标准化/归一化；将标准化/归一化的所述设定性能进行 求和，得到评估性能；基于所述评估性能对所述多个视图下的第一分割模型对应的性能按照从大到小 进行排序。其中，所述的设定性能，至少包括：交集与并集之比(the ratio of intersection over union，IoU)、 dice系数(dice coefficient，Dice)、灵敏度(sensitivity)和精度(precision)的一种或几种。
步骤S105：基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
在本公开的实施例及其他可能的实施例中，第二非增强肺图像为待肺血管分割患者对应的非增强 肺图像。
在本公开的实施例及其他可能的实施例中，所述基于所述训练的预设第一分割模型，对第二非增 强肺图像进行肺血管分割的方法，包括：获取所述至少2个视图下的用于非增强肺图像进行肺血管分 割的第一分割模型；对所述第二非增强肺图像按照所述用于非增强肺图像进行肺血管分割的第一分割 模型的至少2个视图进行投影，得到对应的第二非增强肺投影图像；分别利用所述至少2个视图下的用 于非增强肺图像进行肺血管分割的第一分割模型，对所述第二非增强肺投影图像进行分割，得到对应 的待融合的肺血管分割图像；对所述待融合的肺血管分割图像进行融合，得到第二非增强肺图像对应 的肺血管图像。
例如，所述用于非增强肺图像进行肺血管分割的第一分割模型的至少2个视图分别为冠状面视图 以及横断面视图，对所述第二非增强肺图像按照冠状面视图以及横断面视图进行投影，得到对应的第 二非增强肺投影图像(第二非增强肺冠状面视图图像及第二非增强肺横断面视图图像)；利用冠状面 视图下的用于非增强肺图像进行肺血管分割的第一分割模型对第二非增强肺冠状面视图图像进行分 割，得到对应的待融合的肺血管分割冠状面视图图像；同时，利用横断面视图下的用于非增强肺图像 进行肺血管分割的第一分割模型对第二非增强肺横断面视图图像进行分割，得到对应的待融合的肺血 管分割横断面视图图像；对所述待融合的肺血管分割冠状面视图图像及待融合的肺血管分割横断面视图图像进行融合，得到第二非增强肺图像对应的肺血管图像。
在本公开的实施例及其他可能的实施例中，对所述待融合的肺血管分割图像进行融合，得到第二 非增强肺图像对应的肺血管图像的方法，包括：确定投影方向；基于所述投影方向，分别对所述待融 合的肺血管分割图像进行投影，得到肺血管分割投影图像；对所述待融合的肺血管分割图像进行配准， 得到对应的配准点对；对所述配准点对应的位置进行均值处理，得到第二非增强肺图像对应的肺血管 图像。具体地说，所述对所述配准点对应的位置进行均值处理，得到第二非增强肺图像对应的肺血管 图像的方法，包括：计算所述配准点对应位置的均值，得到第二非增强肺图像对应的肺血管图像。位 置点分别为(x1,y1,z1)及(x2,y2,z2)，该位置点的均值为((x1+x2)/2,(y1+y2)/2,(z1+x2) /2)。
在本公开的实施例及其他可能的实施例中，所述投影方向可配置为所述待融合的肺血管分割图像 对应的视图方向。例如，待融合的肺血管分割冠状面视图图像及待融合的肺血管分割横断面视图图像， 所述投影方向可配置为冠状面视图的方向或肺血管分割横断面视图的方向。
在本公开的实施例及其他可能的实施例中，可以利用3D Slicer(www.slicer.org)中的配准(Elastix) 模块完成对所述待融合的肺血管分割图像进行配准的操作。同时，本领域人员也可以采用其他的配准 方法，例如，SIFT配准方法、3DSIFT配准方法或SURF配准方法等。
图2示出根据本公开另一实施例的肺血管的分割方法的流程图。如图2所示，步骤S201：获取增强 肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；步骤S202：分别对所述增 强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像；步骤S203：对 所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图像对应的肺区域配准图 像；步骤S204：基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练；步 骤S205：基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。以解决对于一些 有造影剂禁忌症的患者和没有增强肺图像的患者，不能从非增强肺图像中较准确地分割出肺血管的问 题。
步骤S201：获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型。
在本公开的实施例中，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强 肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；根据所述血管图像及所述肺区域图 像，得所述增强肺图像对应的肺血管图像。具体方法可详见步骤S101：获取增强肺图像及其对应的肺 血管图像、第一非增强肺图像、及预设第一分割模型的详细描述。
在本公开的实施例中，所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括： 获取血管分割模型及第一预设肺区域分割模型；分别基于所述血管分割模型及所述第一预设肺区域分 割模型，对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像。具体方法 可详见步骤S101：获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型 的详细描述。
在本公开的实施例中，所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血 管图像的方法，包括：对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺 血管图像。具体方法可详见步骤S101：获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、 及预设第一分割模型的详细描述。
步骤S202：分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第 二肺区域图像。
在本公开的实施例中，所述分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一 肺区域图像及第二肺区域图像的方法，包括：获取第三预设肺区域分割模型及第四预设肺区域分割模 型；分别基于所述第三预设肺区域分割模型及所述第四预设肺区域分割模型，对所述增强肺图像及所 述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像。也就是说，基于所述第三预 设肺区域分割模型，对所述增强肺图像进行分割，得到第一肺区域图像；基于所述第四预设肺区域分 割模型，对第一非增强肺图像进行分割，得到第二肺区域图像。其中，所述第三预设肺区域分割模型 及所述第四预设肺区域分割模型可为基于深度学习的分割网络，例如U-Net卷积神经网络或其改进的 卷积神经网络，所述第三预设肺区域分割模型及所述第四预设肺区域分割模型分别利用增强肺图像及 非增强肺图像进行训练得到，其训练过程是本领域人员惯用的技术手段，再此不进行详细说明。
在本公开的实施例及其他可能的实施例中，所述第三预设肺区域分割模型及第四预设肺区域分割 模型也可为已经训练好的肺区域(肺实质)分割模型，例如可以采用申请号：202010534722.0公开的 肺叶分割方法、装置和存储介质，得到左肺的肺叶或者右肺的肺叶；所有左肺的肺叶按照左肺解剖学 结构进行拼接，得到左肺肺实质；所有右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。 对于没有进行肺叶切除的受试者来说，左肺的肺叶为2个，右肺的肺叶为3个，2个左肺的肺叶按照左 肺解剖学结构进行拼接，得到左肺肺实质；3个右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺 肺实质。其中，在本公开的实施例及其他可能的实施例中的肺实质，包括外周气道和肺血管。或者， 也可以直接利用肺区域(肺实质)分割模型，得到肺实质(左肺及右肺的肺实质)图像。
本公开的实施例及其他可能的实施例中，也考虑到了肺叶切除后的受试者，其中肺叶切除后的受 试者至少左上肺叶、左下肺叶、右上肺叶、右中肺叶以及右下肺叶中至少一个肺叶被切除。
基于上述，在本公开的实施例及其他可能的实施例中，肺分割，可包括：左肺分割模型、右肺分 割模型、左肺肺叶缺失分割模型及右肺肺叶缺失分割模型；因此，在本公开中，提出了一种左肺及右 肺分别进行分割的技术方案，分别对左肺及右肺进行分割。其中，所述左肺分割模型、右肺分割模型、 左肺肺叶缺失分割模型及右肺肺叶缺失分割模型可以是基于传统分割算法的肺分割模型，也可以是基 于深度学习的肺分割模型，例如基于U-Net，或U-ResNet的肺分割模型，其模型的训练方法为本领域 技术人员惯用的技术手段，本公开再此不再进行详细说明。但是，值得注意的是，分别对左肺及右肺 进行分割的方法是针对肺叶缺失的情况下提出的，目前没有肺叶切除术后剩余肺分割的方法。因此， 分别对左肺及右肺进行分割的方法并不是本领域技术人员管用的技术手段，是需要本领域人员付出相 应的创造性劳动。
在本公开的实施例及其他可能的实施例中，分别对左肺及右肺进行分割的方法，包括：获取所述 增强肺图像或所述第一非增强肺图像，确定所述增强肺图像或所述第一非增强肺图像中主支气管(1 级气管)的位置，根据所述主支气管的位置将所述增强肺图像或所述第一非增强肺图像划分为左肺图 像及右肺图像；分别确定所述左肺图像及右肺图像是否存在肺叶缺失；若存在肺叶缺失，判断所述肺 叶缺失在左肺还是右肺；若所述肺叶缺失在左肺，则获取左肺肺叶缺失分割模型及右肺分割模型，分 别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左肺及不存在缺失的右肺进行肺实 质分割；若所述肺叶缺失在右肺，则获取右肺肺叶缺失分割模型及左肺分割模型，分别利用所述右肺 肺叶缺失分割模型及左肺分割模型对存在缺失的右肺及不存在缺失的左肺进行肺实质分割；对分割后 的左肺肺实质及右肺肺实质按照解剖学结构进行拼接，得到上述肺实质。其中，所述主支气管为喉部 到肺门的气管。
例如，所述增强肺图像或所述第一非增强肺图像中仅仅为左上肺叶或左下肺叶，则获取左肺肺叶 缺失分割模型及右肺分割模型，分别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左 肺及不存在缺失的右肺进行肺实质分割；最后，对分割后的左肺肺实质及右肺肺实质按照解剖学结构 进行拼接，得到上述肺实质。
在本公开的实施例及其他可能的实施例中，所述确定所述增强肺图像或所述第一非增强肺图像中 主支气管(1级气管)的位置，根据所述主支气管的位置将所述增强肺图像或所述第一非增强肺图像 划分为左肺图像及右肺图像的方法，包括：获取气道分割模型，对所述增强肺图像或所述第一非增强 肺图像执行气道分割，得道气道树；在所述气道树中确定主支气管，并计算所述主支气管的中心线； 根据所述中心线将所述增强肺图像或所述第一非增强肺图像划分为左肺图像及右肺图像。同时，气道 分割模型可以选择现有的气道分割模型，气道的分割仅仅能分割出主支气管即可，不需要对气道进行 精细分割。例如，申请号：202010540322.0公开的基于肺叶及气管树的配准方法及装置、电子设备和 存储介质使用的气道分割模型。
步骤S203：对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图像对 应的肺区域配准图像。
在本公开的实施例及其他可能的实施例中，可以利用3D Slicer(www.slicer.org)中的配准(Elastix) 模块完成对所述第一肺区域图像及第二肺区域图像进行配准的操作。同时，本领域人员也可以采用其 他的配准方法，例如，SIFT配准方法、3DSIFT配准方法或SURF配准方法等。
配准前后非增强肺图像被从增强肺图像中提取的肺血管覆盖。配准前，增强肺图像绘制的肺血管 与非增强肺图像上肺血管之间存在明显偏差，但配准后可以准确覆盖。配准后，增强肺图像和非增强 肺图像之间的MAE从13.561显著下降至5.196(p<0.001)，RMSE从75.995显著下降至26.986(p<0.001)， SSIM从0.853显著上升至0.879(p＝0.001)，PSNR从31.831显著上升至37.505(p＝0.059)。
步骤S204：基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练。
在本公开的实施例中，提出了一种第一分割模型CE-NC-VesselSegNet。图4示出根据本公开实施 例中的第一分割模型的网络示意图。
在本公开的实施例及其他可能的实施例中，给出了CE-NC-VesselSegNet训练期间的损失和dice。 训练过程中的dice值不断增加，1000轮后达到0.87左右。同时，随着轮数的增加，训练和验证的损失 稳步下降至-0.88左右。训练和验证过程之间的损失没有明显差异，表明没有严重的过度拟合。
在本公开的实施例中，所述第一分割模型，包括：U-Net骨干网络，所述U-Net骨干网络在每次卷 积操作后，得到多个特征图；分别对所述多个特征图进行特征映射归一化；并利用激活函数对归一化 的所述多个特征图进行激活。具体方法可详见步骤S104：基于所述肺血管图像及所述肺区域图像(肺 区域配准图像)，对所述预设第一分割模型进行训练的详细描述。
在本公开的实施例中，所述基于所述肺区域配准图像及所述肺区域图像，对所述预设第一分割模 型进行训练的方法，包括：在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失； 根据所述每次解码后对应的特征图的损失，得到训练过程中的总损失。具体方法可详见步骤S104：基 于所述肺血管图像及所述肺区域图像(肺区域配准图像)，对所述预设第一分割模型进行训练的详细 描述。
在本公开的实施例及其他可能的实施例中，所述基于所述肺血管图像及所述肺区域配准图像，对 所述预设第一分割模型进行训练的方法，还包括：分别基于所述增强肺图像分别在多个视图下肺区域 配准图像及其对应的多个肺血管图像，对所述预设第一分割模型进行训练，得到多个视图下的第一分 割模型；基于所述多个视图下的第一分割模型的性能，从所述多个视图下的第一分割模型中选择至少 2个视图下的用于非增强肺图像进行肺血管分割的第一分割模型。
例如，分别基于所述增强肺图像分别在a个视图下肺区域配准图像及其对应的a个肺血管图像，对 所述预设第一分割模型进行训练，得到a个视图下的第一分割模型。其中，a个视图可为矢状面、冠状 面以及横断面视图中至少2个视图，同时也可以为矢状面、冠状面横断面视图以及任何角度下的视图 中至少2个试图，例如任何角度下的视图可为各种可能方位下的30°、45°、60°视图。
在本公开的实施例及其他可能的实施例中，所述基于所述多个视图下的第一分割模型的性能，至 少包括：交集与并集之比(the ratio of intersection over union，IoU)、dice系数(dice coefficient，Dice)、 灵敏度(sensitivity)和精度(precision)的一种或几种。
在本公开的实施例及其他可能的实施例中，所述基于所述多个视图下的第一分割模型的性能，从 所述多个视图下的第一分割模型中选择至少2个视图下的用于非增强肺图像进行肺血管分割的第一分 割模型的方法，包括：分别计算所述多个视图下的第一分割模型对应的性能；对所述多个视图下的第 一分割模型对应的性能按照从大到小进行排序，并根据获取的数目，从排序的所述多个视图下的第一 分割模型中选择至少2个视图下的用于非增强肺图像进行肺血管分割的第一分割模型；其中，所述数 目至少为2。
在本公开的实施例及其他可能的实施例中，所述对所述多个视图下的第一分割模型对应的性能按 照从大到小进行排序的方法，包括：获取所述多个视图下的第一分割模型对应的设定性能；对所述多 个视图下的第一分割模型对应的设定性能进行标准化/归一化；将标准化/归一化的所述设定性能进行 求和，得到评估性能；基于所述评估性能对所述多个视图下的第一分割模型对应的性能按照从大到小 进行排序。其中，所述的设定性能，至少包括：交集与并集之比(the ratio of intersection over union，IoU)、 dice系数(dice coefficient，Dice)、灵敏度(sensitivity)和精度(precision)的一种或几种。
步骤S205：基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
在本公开的实施例及其他可能的实施例中，第二非增强肺图像为待肺血管分割患者对应的非增强 肺图像。
在本公开的实施例及其他可能的实施例中，所述基于所述训练的预设第一分割模型，对第二非增 强肺图像进行肺血管分割的方法，包括：获取所述至少2个视图下的用于非增强肺图像进行肺血管分 割的第一分割模型；对所述第二非增强肺图像按照所述用于非增强肺图像进行肺血管分割的第一分割 模型的至少2个视图进行投影，得到对应的第二非增强肺投影图像；分别利用所述至少2个视图下的用 于非增强肺图像进行肺血管分割的第一分割模型，对所述第二非增强肺投影图像进行分割，得到对应 的待融合的肺血管分割图像；对所述待融合的肺血管分割图像进行融合，得到第二非增强肺图像对应 的肺血管图像。
例如，所述用于非增强肺图像进行肺血管分割的第一分割模型的至少2个视图分别为冠状面视图 以及横断面视图，对所述第二非增强肺图像按照冠状面视图以及横断面视图进行投影，得到对应的第 二非增强肺投影图像(第二非增强肺冠状面视图图像及第二非增强肺横断面视图图像)；利用冠状面 视图下的用于非增强肺图像进行肺血管分割的第一分割模型对第二非增强肺冠状面视图图像进行分 割，得到对应的待融合的肺血管分割冠状面视图图像；同时，利用横断面视图下的用于非增强肺图像 进行肺血管分割的第一分割模型对第二非增强肺横断面视图图像进行分割，得到对应的待融合的肺血 管分割横断面视图图像；对所述待融合的肺血管分割冠状面视图图像及待融合的肺血管分割横断面视图图像进行融合，得到第二非增强肺图像对应的肺血管图像。
在本公开的实施例及其他可能的实施例中，对所述待融合的肺血管分割图像进行融合，得到第二 非增强肺图像对应的肺血管图像的方法，包括：确定投影方向；基于所述投影方向，分别对所述待融 合的肺血管分割图像进行投影，得到肺血管分割投影图像；对所述待融合的肺血管分割图像进行配准， 得到对应的配准点对；对所述配准点对应的位置进行均值处理，得到第二非增强肺图像对应的肺血管 图像。具体地说，所述对所述配准点对应的位置进行均值处理，得到第二非增强肺图像对应的肺血管 图像的方法，包括：计算所述配准点对应位置的均值，得到第二非增强肺图像对应的肺血管图像。位 置点分别为(x1,y1,z1)及(x2,y2,z2)，该位置点的均值为((x1+x2)/2,(y1+y2)/2,(z1+x2) /2)。
在本公开的实施例及其他可能的实施例中，所述投影方向可配置为所述待融合的肺血管分割图像 对应的视图方向。例如，待融合的肺血管分割冠状面视图图像及待融合的肺血管分割横断面视图图像， 所述投影方向可配置为冠状面视图的方向或肺血管分割横断面视图的方向。
在本公开的实施例及其他可能的实施例中，可以利用3D Slicer(www.slicer.org)中的配准(Elastix) 模块完成对所述待融合的肺血管分割图像进行配准的操作。同时，本领域人员也可以采用其他的配准 方法，例如，SIFT配准方法、3DSIFT配准方法或SURF配准方法等。
在本公开的实施例及其他可能的实施例中，使用dice coefficient(Dice)、theratio of intersection over union(IoU)、sensitivity,and precision来评估不同分割方法对应的预设第一分割模型的性能。Dice和IoU 用于衡量网络分割结果与金标准之间的相似性。值的范围为0–1，其中1表示最佳性能。sensitivity表 示预测为阳性的实际阳性样本数。precision是模型预测的阳性样本的正确比例。在本研究中，阳性样 本区域是带有标注的肺血管，阴性样本区域表示其他组织。利用预测结果和金标准，计算TP(真阳 性)、TN(真阴性)、FP(假阳性)和FN(假阴性)。我们可以使用以下公式通过这四个区域计算 四个度量。
Figure BDA0003756391160000171
Figure BDA0003756391160000172
Figure BDA0003756391160000173
Figure BDA0003756391160000174
在本公开的实施例及其他可能的实施例中，数据集D1：该数据集来自北方战区总医院，由19名 受试者组成，包括12例三期CT图像：非增强期、动脉增强期和静脉增强期，5例仅动脉增强期CT图像， 2例仅非增强期CT图像。在本研究中，分别采用12组非增强和动脉增强CT扫描进行图像配准。这项研 究得到了北方战区总医院的批准。所有受试者根据赫尔辛基宣言(2000年)签署知情同意书。所有 CT扫描的厚度为1.0mm，切片数在591到741之间，切片大小为512×512。数据集D2：来自ISICDM 2021 挑战赛的公开数据集，此数据集(http://www.imagecomputing.org/2021/cn/challenges/)由覃教授的团队收 集和标注。该数据集包括12例非增强肺图像和12例增强肺图像(病例未配对)。增强肺图像的厚度在 0.625到1.25mm之间，切片数在285到533之间。非增强肺图像的厚度在0.75到1.5mm之间，切片数在204到577之间。所有CT图像的矩阵大小均为512×512。所有图像和标签均为PNG格式。
在本公开的实施例及其他可能的实施例中，在原始增强肺图像中绘制血管标签。自动分割所有 CT图像的肺区，并获得肺区内血管的标注。其次，通过将原始非增强肺图像配准到原始增强肺图像， 生成配准后的非增强肺图像。肺区分割后得到肺区内的NC图像。最后，将上述步骤的结果作为输入， 训练CE-NC-VesselSegNet，从非增强肺图像中自动分割出肺血管。
在本公开的实施例及其他可能的实施例中，在数据集D1中，通过我们的基于nnU-Net模型，从每 个CT图像病例中自动分割出肺区。为了解决类别不平衡的问题，保留了肺区最小边界框内的数据。
由于每个病例的体素间距和CT强度不同，因此进行了空间重采样和归一化。具体而言，我们将 数据重新采样到所有病例的中值体素间距(0.50×0.74×0.74mm3)。图像数据采用三次样条插值法， 标签采用最近邻插值法。在对训练数据集中CT图像中所有体素的强度进行统计分析后，去除CT图像 中前0.5％和后0.5％的值，并对其均值和方差进行z-score归一化。
Figure BDA0003756391160000181
其中，z是归一化数据，x是原始数据，μ是所有数据的平均值，σ是标准方差。
利用3D Slicer(www.slicer.org)中的配准(Elastix)模块完成增强肺图像和非增强肺图像的配准。 该模块最初由Andras Lasso(Queen’s University,PerkLab)开发，作为Elastix医学图像配准工具箱的前端。 具体来说，增强肺图像用作固定图像，非增强肺图像用作运移动图像。
在图像配准前后，计算并比较了最大误差(MAE)、均方根误差(RMSE)、结构相似性(SSIM) [27]和峰值信噪比(PSNR)。
Figure BDA0003756391160000182
Figure BDA0003756391160000183
Figure BDA0003756391160000184
其中，ci是增强肺图像，ni是非增强肺图像或配准后的非增强肺图像。N表示使用的图像数，max(·) 返回集合的最大值。MAX是图像的最大值，
Figure BDA0003756391160000185
CE-NC-VesselSegNet模型基于nnU-Net[28]，并遵循3D U网络，其中包含编码器和解码器。图2 描述了使用普通卷积层的编码器、下采样操作中的五步卷积和实现上采样转置卷积的解码器。执行跳 过连接以互连编码器和解码器。在每次卷积操作之后，使用LeakyReLU(lReLU)，分别对所述多个 特征图进行特征映射归一化。除此之外，其他解码器都采用了1×1×1卷积和softmax作为深监督策略。
在数据集D1上，我们训练了CE-VesselSegNet(增强肺图像的肺血管分割模型)andCE-NC-VesselSegNet with fine-tuning(微调的CE-NC-VesselSegNet)两个对比模型。这两种模型的预 处理和网络架构类似于CE-NC-VesselSegNet。不同的是CE-VesselSegNet使用肺区内的增强肺图像和肺 区内血管标注作为输入。CE-NC-VesselSegNet with fine-tuning采用预先训练好的CE-NC-VesselSegNet 作为初始化，利用肺区内配准的非增强肺图像和肺区内血管标注作为输入，对模型进行微调。
在ISICDM 2021挑战提供的数据集D2中，训练了NC-VesselSegNet(非增强肺图像的肺血管分割 模型)和CE-VesselSegNet(增强肺图像的肺血管分割模型)2两个模型进行比较。NC-VesselSegNet trained by D2使用原始非增强肺图像和血管标注作为输入。CE-VesselSegNet利用原始增强肺图像及其 血管标注作为输入。特别是，对于两个比较模型，八例数据被用作训练集，两例数据被用作验证集， 两例数据被用作测试集。
表1显示了内部数据集D1中不同模型的分割性能。在从非增强肺图像分割肺血管的两种模型中， CE-NC-VesselSegNet显示出与CE-NC-VesselSegNet with fine-tuning相似的性能，dice系数为0.854，IoU 为0.745，sensitivity为0.784，precision为0.939。这表明微调并不能改善分割效果。对于增强(CE)肺 图像的肺血管分割模型(CE-VesselSegNet)，dice系数为0.930，IoU为0.869，sensitivity为0.903，precision 为0.958。
表1内部数据集D1中不同模型的分割性能
Figure BDA0003756391160000191
表2列出了数据集D2中不同模型的分割性能。对于CE-NC-VesselSegNet和NC-VesselSegNet trained by D2(数据集D2训练的非增强肺图像肺血管分割模型NC-VesselSegNet)，测试集是D2中的 两例非增强(NC)肺图像。CE-NC-VesselSegNet在Dice,IoU,和Precision方面优于NC-VesselSegNet trained by D2(0.738和0.700，0.605和0.540，0.902和0.784)。然而，由NC-VesselSegNet trained by D2 的灵敏度值较高(分别为0.656和0.640)。通过视觉观察，我们可以发现D2中的标签比D1中的标签具 有更多的肺血管和更精细的形态，这可能解释了为什么我们模型的灵敏度略低。此外，我们的模型精度更高，表明我们的模型预测的更多肺血管是正确的。对于CE-VesselSegNet trained byD2(数据集D2 训练的增强肺图像肺血管分割模型CE-VesselSegNet)和CE-VesselSegNet，测试集是D2中增强(CE) 肺图像的两例。由我们的数据训练的模型的每个评价参数都高于D2训练的评价参数(Dice，0.837和 0.769；IoU，0.727和0.625；Sensitivity，0.800和0.718；Precision，0.902和0.830)。
表2数据集D2中不同模型的分割性能
Figure BDA0003756391160000192
不同研究的标注标准一般不相同。通过比较可以发现在ISICDM 2021挑战赛中比我们研究的数据 集D1中标注了更多的细终端血管。这种标注标准的差异部分解释了CE-NC-VesselSegNet的Dice从数据 集1的0.854下降到数据集2的0.738，CE-VesselSegNet的Dice从0.930下降到0.837，而且 CE-NC-VesselSegNet与D2训练的NC-VesselSegNet相比，灵敏度略低。
标注的质量决定了分割模型的性能。ISICDM 2021挑战赛(数据集2)中的两个标注例子，一个 是非增强肺图像，另一个是增强肺图像。用椭圆标记的肺实质被错误地标注成了肺血管，用矩形标记 的两个分离的血管被错误地标注为一个血管。用椭圆标记的气道壁被错误地标注了。然而，这三个错 误并没有出现在我们的CE-NC-VesselSegNet和CE-VesselSegNet的分割结果中。在我们对数据集D1的 标注中，这些类似的错误标注没有出现。因此，我们在数据集D1中的高标注质量被认为是优秀分割 性能的关键原因。
最后，尽管由D2训练的NC-VesselSegNet和由D2训练的CE-VesselSegNet分成了更小的血管，但这 些血管主要是断断续续的，不相通的。由我们的模型分割的D2数据集中的肺血管更完整，断开的部 分更少。
增强肺图像中标注的肺血管可以通过空间配准方法转移到非增强肺图像中，这种方法有可能解决 非增强肺图像中直接标注的低准确性问题。通过使用这些高质量的标注转移，CE-NC-VesselSegNet 可以被训练为从非增强肺图像中分割肺部血管。与用非增强肺图像中直接绘制的其他标注训练的模型 相比，CE-NC-VesselSegNet能够更准确和连续地分割肺血管。经过验证和必要的改进，所提出的方法 和模型可以应用于各种肺部血管疾病。
总之，从CT图像中自动分割肺血管具有重要意义。然而，在非增强CT(非增强肺图像)图像中 直接准确地标注肺血管是一项复杂而耗时的工作。本公开的实施例旨在利用增强CT(增强肺图像) 图像绘制标注，并训练一个从非增强肺图像分割肺血管的深度学习模型。我们收集了55个CT扫描的 两组数据集。数据集1包括17例增强肺图像标注的病例，2例非增强肺图像标注的病例和12例非增强肺 图像扫描。数据集2由12个增强肺图像和12例非增强肺图像扫描以及标注组成。首先，在增强肺图像 (数据集1)中绘制的标注通过配准方法转移到非增强肺图像。其次，提出并训练了一个 CE-NC-VesselSegNet，利用转移的标注数据从非增强肺图像中分割出肺血管。最后，对 CE-NC-VesselSegNet进行了评估，并与同类研究进行了比较。配准后，增强肺图像与非增强肺图像的 最大误差和均方根误差均减小，结构相似度和峰值信噪比增大。CE-NC-VesselSegNet可以从非增强肺 图像中准确地分割出肺血管，分割评价指标dice为0.854。在使用数据集2的外部验证中， CE-NC-VesselSegNet的dice为0.738，高于数据集2中训练的NC-VesselSegNet。视觉观察表明，CE-NC-VesselSegNet能够实现更精确和连续的分割。增强肺图像中绘制的肺血管标注可以通过空间配 准转换到非增强肺图像。通过使用这些高质量的转移标注，可以训练CE-NC-VesselSegNet从非增强肺 图像中分割肺血管。
肺血管的分割方法的执行主体可以是肺血管的分割装置，例如，肺血管的分割方法可以由终端设 备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设 备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手 持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该肺血管的分割方法可以 通过处理器调用存储器中存储的计算机可读指令的方式来实现。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的 执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
同时，本公开实施例提出了一种肺血管的分割装置，所述的肺血管的分割装置：包括：第一获取 单元，用于获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；第一 配准单元，用于对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图 像对应的肺配准图像；第一肺区域分割单元，用于对所述肺配准图像进行肺区域分割，得到肺区域图 像；第一训练单元，用于基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练； 第一肺血管分割单元，用于基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
同时，本公开实施例提出了另一种肺血管的分割装置，所述的肺血管的分割装置：包括：第二获 取单元，获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；第二肺 区域分割单元，分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第 二肺区域图像；第二配准单元，对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第 二肺区域图像对应的肺区域配准图像；第二训练单元，基于所述肺区域配准图像及所述肺血管图像， 对所述预设第一分割模型进行训练；第二肺血管分割单元，基于所述训练的预设第一分割模型，对第 二非增强肺图像进行肺血管分割。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施 例描述的肺血管的分割方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指 令被处理器执行时实现上述肺血管的分割方法。计算机可读存储介质可以是非易失性计算机可读存储 介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中， 所述处理器被配置为上述肺血管的分割方法。电子设备可以被提供为终端、服务器或其它形态的设备。
图5是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以是移动电话， 计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助 理等终端。
参照图5，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806， 多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和 记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法 的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间 的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于 在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频 等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取 存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)， 可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或 多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中， 屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为 触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸 面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动 操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。 当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部 的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦 能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)， 当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部 音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例 中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击 轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传 感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备 800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变， 用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。 传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传 感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实 施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度 传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可 以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信 组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例 中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射 频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他 技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理 器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、 控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存 储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图6是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为 一服务器。参照图6，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存 储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932 中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922 被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或 无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设 备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存 储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质， 其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读 存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导 体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括： 便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储 器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、 数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸 起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身， 诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤 电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者 通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以 包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。 每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机 可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、 机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源 代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程 式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执 行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通 过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部 计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程 序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可 编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了 本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合， 都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理 器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时， 产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可 读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设 备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/ 或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在 计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从 而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一 个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实 现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指 令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指 令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如， 两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能 而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以 用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合 来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露 的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来 说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际 应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种肺血管的分割方法，其特征在于，包括：
获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图像对应的肺配准图像；
对所述肺配准图像进行肺区域分割，得到肺区域图像；
基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练；
基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
2.根据权利要求1所述的分割方法，其特征在于，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；
根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像。
3.根据权利要求2所述的分割方法，其特征在于，所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括：获取预设血管分割模型及第一预设肺区域分割模型；
分别基于所述预设血管分割模型及所述第一预设肺区域分割模型，对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；
以及/或，
所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像的方法，包括：
对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺血管图像。
4.根据权利要求1-3任一项所述的分割方法，其特征在于，所述对所述肺配准图像进行肺区域分割，得到肺区域图像的方法，包括：
获取第二预设肺区域分割模型；
基于所述第二预设肺区域分割模型，对所述肺配准图像进行肺区域分割，得到肺区域图像；
以及/或，
所述第一分割模型，包括：U-Net骨干网络，所述U-Net骨干网络在每次卷积操作后，得到多个特征图；分别对所述多个特征图进行特征映射归一化；并利用激活函数对归一化的所述多个特征图进行激活；
以及/或，
所述基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练的方法，包括：
在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失；根据所述每次解码后对应的特征图的损失，得到训练过程中的总损失。
5.一种肺血管的分割方法，其特征在于，包括：
获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像；
对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图像对应的肺区域配准图像；
基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练；
基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
6.根据权利要求5所述的分割方法，其特征在于，在所述获取增强肺图像及其对应的肺血管图像之前，分别对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；
根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像；
以及/或，
所述分别对所述获取增强肺图像进行血管分割及肺区域分割的方法，包括：获取预设血管分割模型及第一预设肺区域分割模型；
分别基于所述预设血管分割模型及所述第一预设肺区域分割模型，对所述获取增强肺图像进行血管分割及肺区域分割，得到血管图像及肺区域图像；
以及/或，
所述根据所述血管图像及所述肺区域图像，得所述增强肺图像对应的肺血管图像的方法，包括：
对所述血管图像及所述肺区域图像执行乘法操作，得所述增强肺图像对应的肺血管图像。
7.根据权利要求5或6所述的分割方法，其特征在于，所述分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像的方法，包括：
获取第三预设肺区域分割模型及第四预设肺区域分割模型；
分别基于所述第三预设肺区域分割模型及所述第四预设肺区域分割模型，对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像；
以及/或，
所述第一分割模型，包括：U-Net骨干网络，所述U-Net骨干网络在每次卷积操作后，得到多个特征图；分别对所述多个特征图进行特征映射归一化；并利用激活函数对归一化的所述多个特征图进行激活；
以及/或，
所述基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练的方法，包括：
在所述第一分割模型解码过程中，计算每次解码后对应的特征图的损失；根据所述每次解码后对应的特征图的损失，得到训练过程中的总损失。
8.一种肺血管的分割装置，其特征在于，包括：
第一获取单元，用于获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
第一配准单元，用于对所述增强肺图像及所述第一非增强肺图像执行配准操作，得到所述第一非增强肺图像对应的肺配准图像；
第一肺区域分割单元，用于对所述肺配准图像进行肺区域分割，得到肺区域图像；
第一训练单元，用于基于所述肺血管图像及所述肺区域图像，对所述预设第一分割模型进行训练；
第一肺血管分割单元，用于基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割；
或，
第二获取单元，获取增强肺图像及其对应的肺血管图像、第一非增强肺图像、及预设第一分割模型；
第二肺区域分割单元，分别对所述增强肺图像及所述第一非增强肺图像进行分割，得到第一肺区域图像及第二肺区域图像；
第二配准单元，对所述第一肺区域图像及第二肺区域图像执行配准操作，得到所述第二肺区域图像对应的肺区域配准图像；
第二训练单元，基于所述肺区域配准图像及所述肺血管图像，对所述预设第一分割模型进行训练；
第二肺血管分割单元，基于所述训练的预设第一分割模型，对第二非增强肺图像进行肺血管分割。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的肺血管的分割方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的肺血管的分割方法。
CN202210862097.1A 2022-07-20 2022-07-20 肺血管的分割方法及装置、电子设备和存储介质 Pending CN115423819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210862097.1A CN115423819A (zh) 2022-07-20 2022-07-20 肺血管的分割方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210862097.1A CN115423819A (zh) 2022-07-20 2022-07-20 肺血管的分割方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115423819A true CN115423819A (zh) 2022-12-02

Family

ID=84196065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210862097.1A Pending CN115423819A (zh) 2022-07-20 2022-07-20 肺血管的分割方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115423819A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309042A (zh) * 2022-12-23 2023-06-23 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116758096A (zh) * 2023-07-03 2023-09-15 强联智创（北京）科技有限公司 动脉瘤分割方法、电子设备及存储介质
CN117541733A (zh) * 2024-01-10 2024-02-09 广东欧谱曼迪科技股份有限公司 胸肺重建方法、装置、电子设备及存储介质
CN117541733B (zh) * 2024-01-10 2024-05-14 广东欧谱曼迪科技股份有限公司 胸肺重建方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309042A (zh) * 2022-12-23 2023-06-23 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116309042B (zh) * 2022-12-23 2024-03-22 南方医科大学南方医院 近红外光谱胸内血管显像系统、方法及电子设备
CN116758096A (zh) * 2023-07-03 2023-09-15 强联智创（北京）科技有限公司 动脉瘤分割方法、电子设备及存储介质
CN117541733A (zh) * 2024-01-10 2024-02-09 广东欧谱曼迪科技股份有限公司 胸肺重建方法、装置、电子设备及存储介质
CN117541733B (zh) * 2024-01-10 2024-05-14 广东欧谱曼迪科技股份有限公司 胸肺重建方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20210158533A1 (en) Image processing method and apparatus, and storage medium
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
CN115423819A (zh) 肺血管的分割方法及装置、电子设备和存储介质
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
US20160292855A1 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric mri models
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
CN111899268A (zh) 图像分割方法及装置、电子设备和存储介质
CN114820584B (zh) 肺部病灶定位装置
JP2013051988A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
WO2021259390A2 (zh) 一种冠脉钙化斑块检测方法及装置
CN112927239A (zh) 图像处理方法、装置、电子设备及存储介质
CN112070763A (zh) 一种图像数据处理方法及装置、电子设备和存储介质
CN111724364B (zh) 基于肺叶及气管树的方法及装置、电子设备和存储介质
CN113012146A (zh) 血管信息获取方法及装置、电子设备和存储介质
WO2021082517A1 (zh) 神经网络训练及图像分割方法、装置、设备、介质和程序
CN114418931A (zh) 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN116797554A (zh) 图像处理方法以及装置
Rao et al. The role of artificial intelligence based systems for cost optimization in colorectal cancer prevention programs
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
KR20220012407A (ko) 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체
CN114387436B (zh) 壁冠状动脉检测方法及装置、电子设备和存储介质
CN115565666A (zh) 脑梗死评估方法及装置、电子设备和存储介质
Hung et al. Weakly-and Semisupervised Probabilistic Segmentation and Quantification of Reverberation Artifacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination