CN116152278A - 医疗图像的分割方法及装置、非易失性存储介质 - Google Patents

医疗图像的分割方法及装置、非易失性存储介质 Download PDF

Info

Publication number
CN116152278A
CN116152278A CN202310406858.7A CN202310406858A CN116152278A CN 116152278 A CN116152278 A CN 116152278A CN 202310406858 A CN202310406858 A CN 202310406858A CN 116152278 A CN116152278 A CN 116152278A
Authority
CN
China
Prior art keywords
lung
image
processing module
lobe
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310406858.7A
Other languages
English (en)
Other versions
CN116152278B (zh
Inventor
楚琴
李楠宇
陈日清
徐宏
余坤璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kunbo Biotechnology Co Ltd
Original Assignee
Hangzhou Kunbo Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kunbo Biotechnology Co Ltd filed Critical Hangzhou Kunbo Biotechnology Co Ltd
Priority to CN202310406858.7A priority Critical patent/CN116152278B/zh
Publication of CN116152278A publication Critical patent/CN116152278A/zh
Application granted granted Critical
Publication of CN116152278B publication Critical patent/CN116152278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种医疗图像的分割方法及装置、非易失性存储介质。该方法包括：从待处理的肺部医疗图像中提取第一肺实质图像；将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果；根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果。

Description

医疗图像的分割方法及装置、非易失性存储介质
技术领域
本申请涉及医学图像处理领域，具体而言，涉及一种医疗图像的分割方法及装置、非易失性存储介质。
背景技术
近年来，慢阻肺疾病的发病率和死亡率日益增加，已经成为危害人类健康、危害社会及经济可持续发展的严重公共卫生问题和社会问题。胸部电子计算机断层扫描（Computed Tomography，CT）检查能提供高密度分辨率、高对比度的肺部影像，在慢阻肺的临床诊断上具有明显优势。但目前的常规CT检查主要是对肺组织形态结构的定性诊断，主观性较强，容易造成疏漏和误诊，且主要是对单肺范围内的诊断，无法对肺叶解剖区域进行有效的定量评估。基于CT影像的肺叶分割是医生诊断和治疗肺部疾病的重要参考之一, 但肺叶边界的模糊，且80%的患者存在不完整的肺间裂以及手动分割的巨大工作量使得医生难以准确、快速地分割肺叶。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种医疗图像的分割方法及装置、非易失性存储介质，以至少解决由于CT图像中肺叶边界模糊，而且由于肺间裂的不完整性，现有技术无法准确地进行将肺叶边界分割出来的技术问题。
根据本申请实施例的一个方面，提供了一种医疗图像的分割方法，包括：从待处理的肺部医疗图像中提取第一肺实质图像；将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块；根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果。
可选地，目标神经网络模型通过以下方法生成：构建改进神经网络模型，其中，改进神经网络模型包括依次排列的多个处理模块，各个处理模块包括卷积网络、残差网络和注意力机制；从任一样本图像中提取第二肺实质图像，样本图像被标记有标准肺叶分割结果；采用改进神经网络模型提取第二肺实质图像的第二肺叶特征，改进神经网络模型中相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块；根据第二肺叶特征对第二肺实质图像进行分割处理，得到第二肺实质图像对应的第二肺叶分割结果，并且在第二肺叶分割结果与标准肺叶分割结果之间的差异满足预设条件时，确定训练后的目标神经网络模型。
可选地，残差网络包括第一残差连接和第二残差连接；卷积网络包括n个卷积层，n为大于等于1的整数；任一处理模块利用第一残差连接将卷积网络的第一个卷积层的输入与最后一个卷积层的输出相连；任一处理模块利用第二残差连接和注意力机制对前一处理模块的输出内容进行处理，得到第一肺实质图像经过注意力计算后的特征图。
可选地，根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果包括：根据第一肺叶特征，得到对应于第一肺实质图像的特征图；通过预设激活函数确定特征图中各体素点分别属于各个肺叶的概率值；根据特征图中各体素点分别属于各个肺叶的概率值确定各个肺叶的分割边界，并将各个肺叶的分割边界确定为第一肺叶分割结果。
可选地，采用改进神经网络模型提取第二肺实质图像的第二肺叶特征之前，上述方法还包括：在改进神经网络模型对应的原损失函数中加入边缘损失函数，得到目标损失函数，其中，边缘损失函数为根据改进神经网络模型输出的第二肺实质图像对应的第二肺叶分割结果中各个肺叶的分割边界，以及第二肺实质图像被标记出的标准肺叶分割结果中各个肺叶的分割边界而构建的函数。
可选地，边缘损失函数表示如下：
Figure SMS_1
其中，G表示任一样本图像上被标记出的各个肺叶的分割边界，q表示由改进神经网络模型预测出的第二肺叶分割结果中各个肺叶的分割边界上的点，
Figure SMS_2
表示q到G上最近点的距离，如果q点是G上的点，那么/>
Figure SMS_3
，否则/>
Figure SMS_4
，/>
Figure SMS_5
表示改进神经网络模型中的预设参数，/>
Figure SMS_6
表示改进神经网络模型输出的所述第二肺叶分割结果中的q点属于各个肺叶的预测结果，Ω表示样本图像的整个图像域。
可选地，从待处理的肺部医疗图像中提取第一肺实质图像，包括：对肺部医疗图像进行阈值化处理，得到肺实质对应的第一CT值，并利用第一CT值从肺部医疗图像提取初始肺实质图像；对初始肺实质图像进行阈值化处理，得到肺实质包括的干扰信息对应的第二CT值，并利用第二CT值从初始肺实质图像中去除干扰信息，得到第一肺实质图像；或者，采用肺实质提取模型从待处理的肺部医疗图像中提取第一肺实质图像。
可选地，从待处理的肺部医疗图像中提取第一肺实质图像，还包括：将分别提取到的左肺的肺实质图像和右肺的肺实质图像中的任一肺实质图像作为第一肺实质图像；或者，将提取到的左肺和右肺的整体肺实质图像作为第一肺实质图像。
根据本申请实施例的另一方面，还提供了一种医疗图像的分割装置，包括：提取模块，用于从待处理的肺部医疗图像中提取第一肺实质图像；第一处理模块，用于将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块；第二处理模块，用于根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果。
根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行以上的医疗图像的分割方法。
根据本申请实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执以上的医疗图像的分割方法。
在本申请实施例中，采用从待处理的肺部医疗图像中提取第一肺实质图像；将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块；根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果的方式，通过在原有医学影像分割模型的基础上，加入注意力机制以及残差连接，得到改进后的医学影像分割模型，然后利用改进后的医学影像分割模型对待分割的肺部医疗影像进行肺叶边界分割，从而实现了提高利用CT图像进行肺叶边界分割的精确度的技术效果，进而解决了由于CT图像中肺叶边界模糊，而且由于肺间裂的不完整性，现有技术无法准确地进行将肺叶边界分割出来技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了一种用于实现医疗图像的分割方法的计算机终端（或移动设备）的硬件结构框图；
图2是根据本申请实施例的一种医疗图像的分割方法的流程图；
图3是根据本申请实施例的一种改进V-net模型的结构示意图；
图4是根据本申请实施例的一种训练目标神经网络模型的方法的流程图；
图5是根据本申请实施例的一种目标神经网络所含的处理模块的工作原理图；
图6是根据本申请实施例的一种注意力机制的示意图；
图7是根据本申请实施例的一种临床CT图像；
图8是根据本申请实施例的一种肺实质图像；
图9a是根据本申请实施例的一种左肺的肺实质图像；
图9b是根据本申请实施例的一种右肺的肺实质图像；
图10是根据本申请实施例的一种左肺的肺叶分割结果示意图；
图11是根据本申请实施例的一种右肺的肺叶分割结果示意图；
图12a是根据本申请实施例的一种左右肺的肺实质融合图像；
图12b是根据本申请实施例的一种左右肺的肺叶分割结果融合图像；
图13是根据本申请实施例的一种左右肺的肺叶分割结果示意图；
图14a是根据本申请实施例的一种天池数据集对应的测试结果示意图；
图14b是根据本申请实施例的一种Luna16数据集对应的测试结果示意图；
图15是根据本申请实施例的一种医疗图像的分割装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例，以下将本申请实施例中涉及的技术术语解释如下：
肺间裂：肺部可以分为左右两个肺，对于左肺，可以分成上下两个叶，上下两叶之间的裂隙可以称为肺间裂；同样的，对于右肺，可以分成上中下三个叶，叶与叶之间的裂隙可以称为肺间裂。
现有的肺叶分割技术大多基于全肺CT图像，容易受到周边无关组织的影响，同时由于不完整的肺间裂，也容易导致肺叶误分割的情况。为了解决该问题，本申请实施例中提供了提出了一种基于3D全卷积神经网络的肺叶自动分割方法。通过在原有V-net模型的基础上，加入注意力机制以及残差连接，同时在改进的V-net模型对应的损失函数中加入边缘损失函数，使得肺叶分割在边界上更加精准。以下详细说明。
根据本申请实施例，提供了一种医疗图像的分割方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现医疗图像的分割方法的计算机终端（或移动设备）的硬件结构框图。如图1所示，计算机终端10（或移动设备10）可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为BUS总线的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的医疗图像的分割方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的医疗图像的分割方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。
在上述运行环境下，本申请实施例提供了一种医疗图像的分割方法，如图2所示，该方法包括如下步骤：
步骤S202，从待处理的肺部医疗图像中提取第一肺实质图像。
肺实质图像指的是人体肺内的各级支气管，以及其终端的肺泡的结构。
步骤S204，将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块。
图3是根据本申请实施例的一种改进V-net模型的结构示意图，如图3所示，上述目标神经网络模型由改进的三维V-net模型训练得到，改进的三维V-net模型的网络架构分为对称的两个部分：编码下采样（缩小图像）路径和解码上采样（放大图像）路径。左边为编码器部分，负责对输入图像进行编码，提取图像中的特征，右边为解码器部分，负责对编码器部分的输出进行解码。编码器部分和解码器部分的结构相同，均包含了 4 个（也可以为其他数量）具有不同特征分辨率的处理模块，每个处理模块有1至3次卷积运算。
在本申请的实施例中，通过在改进的三维V-net模型的各处理模块中设置残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理；同时采用注意力网络对肺叶特征进行学习，抑制图像中与肺叶分割不相关的特征。可以使肺叶的边界分割更加精准。
目标神经网络模型中的任一处理模块被划分至编码路径或者解码路径中，目标神经网络模型包括跳跃连接，跳跃连接被用于将编码路径和解码路径中属于同一尺度的处理模块进行连接。
如图3所示，在V-net模型中，跳跃连接即将编码路径中和解码路径中相同分辨率的处理模块连接。跳跃连接可以使得解码路径中上采样恢复的特征图中包含更多的low-level的语义信息（具备丰富的细节特征信息），可以提高图像的分割精度。
步骤S206，根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果。
在本步骤中，肺叶分割结果是指在肺实质图像中确定各个肺叶的边界。通过步骤S204中目标神经网络模型识别出各个肺叶的边界，就可以实现对各个肺叶的边界分割。
通过上述步骤，通过在原有医学影像分割模型的基础上，加入注意力机制以及残差连接，得到改进后的医学影像分割模型，然后利用改进后的医学影像分割模型对待分割的肺部医疗影像进行肺叶边界分割，从而实现了提高利用CT图像进行肺叶边界分割的精确度的技术效果。
图4是根据本申请实施例的一种训练目标神经网络模型的方法的流程图，如图4所示，该方法包括以下步骤：
步骤S402，构建改进神经网络模型，其中，改进神经网络模型包括依次排列的多个处理模块，各个处理模块包括卷积网络、残差网络和注意力机制。
作为本申请的一个可选的实施例，在V-net模型中添加残差网络和注意力机制，得到步骤S402中的改进神经网络模型，V-net模型是一种用于医学影像分割的神经网络模型。
步骤S404，从任一样本图像中提取第二肺实质图像，样本图像被标记有标准肺叶分割结果。
作为本申请的一个可选的实施例，上述样本图像用于对改进的三维V-net模型进行训练，可以采用肺叶的金标准图像。其中，金标准图像指的是预先由医生标注有肺叶分割情况（即右肺上中下叶、左肺的上下叶）的图像。
在本步骤中，从任一样本图像中提取肺实质图像的方法和步骤S202中从待处理的肺部医疗图像中提取肺实质图像的方法一致，在下文中详细说明。
步骤S406，采用改进神经网络模型提取第二肺实质图像的第二肺叶特征，改进神经网络模型中相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块。
为了提高特征的利用率，使用残差连接将改进神经网络模型中处理模块的第一个卷积层的输入与该模块最后一个卷积层的输出相连，同时设计一个注意力机制对肺叶特征进行学习，抑制图像中与肺叶分割不相关的特征。
步骤S408，根据第二肺叶特征对第二肺实质图像进行分割处理，得到第二肺实质图像对应的第二肺叶分割结果，并且在第二肺叶分割结果与标准肺叶分割结果之间的差异满足预设条件时，确定训练后的目标神经网络模型。
在执行步骤S408时，得到第二肺叶分割结果后，与金标准图像中由医生标注的标准肺叶分割结果进行对比，如果第二肺叶分割结果的准确率满足预设条件，将训练后的改进神经网络模型确定为目标神经网络模型。
根据本申请的另一个可选的实施例，残差网络包括第一残差连接和第二残差连接；卷积网络包括n个卷积层，n为大于等于1的整数；任一处理模块利用第一残差连接将卷积网络的第一个卷积层的输入与最后一个卷积层的输出相连；任一处理模块利用第二残差连接和注意力机制对前一处理模块的输出内容进行处理，得到第一肺实质图像经过注意力计算后的特征图。
图5是根据本申请实施例的一种目标神经网络所含的处理模块的工作原理图，改进的三维V-net模型（即目标神经网络模型）中在每一处理模块中添加了残差网络和注意力机制，以第一个处理模块为例进行说明，假设处理模块所含的卷积网络包含1次卷积运算（即一个卷积层），处理模块包括残差连接①和残差连接②，如下图5所示，输入图像X（即第一肺实质图像）经过残差连接①和卷积网络的处理，得到第一处理结果，第一处理结果为F（X）+X。输入图像X经过残差连接②和注意力机制的处理，得到第二处理结果，第二处理结果为A（X），A（X）用于表示对应于输入图像X的注意力特征图。结合第二处理结果“A（X）”和第一处理结果“F（X）+X”，可以计算得到第二个处理模块的输入为“[F（X）+X ]A（x）+A(x)”，以此类推，此处不再赘述。
在改进的三维V-net模型中额外设置“残差网络和注意力机制”的优势在于以下几点：
通过设置残差连接①可以直接将卷积网络的第一个卷积层的输入直接传递至最后一个卷积层，使得三维V-net模型的分割精度更高，并且可以防止出现卷积网络退化的问题。
通过设置“残差连接②+注意力机制”，使得注意力机制可以针对原始的输入图像X进行注意力计算，使得生成的注意力特征图更加匹配于输入图像X，有利于突出与肺叶分割相关的特征。
同时，最终输入第二个处理模块的输入包含“原始图像经过注意力计算后的特征图”，以及“对经过卷积计算得到的结果进行注意力计算后的特征图”，使得改进的三维V-net模型中各层提取到的特征更加的丰富，有利于提升改进的三维V-net模型的肺叶分割的准确度。
在本申请的一些可选的实施例中，注意力机制包括：池化层、全连接层以及激活函数层，其中，池化层，用于对肺实质图像进行特征降维处理，以及压缩改进神经网络模型中数据和参数的数量；全连接层，与池化层连接，用于将池化层输出的特征图转化成特征向量；激活函数层，与全连接层连接，用于对全连接层输出的特征向量进行平滑处理。
图6是根据本申请实施例的一种注意力机制的示意图，如图6所示，注意力机制括池化层（global pooling）、全连接层（fully-connected）和激活函数层（包括ReLU和Sigmoid）等，池化层用于进行特征降维、压缩神经网络中数据和参数的数量，可以减小过拟合；全连接层是神经网络中的非线性转换层，用于将池化层计算得到的特征空间映射样本标记空间，就是将特征整合成一个值，全连接层的作用在于强化神经网络中参数的适应性；激活函数层是神经网络中非线性转换层后的必须层，用于使得神经网络输出的参数更加平滑。
根据本申请的一个可选的实施例，执行步骤S206根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果包括以下步骤：根据第一肺叶特征，得到对应于第一肺实质图像的特征图；通过预设激活函数确定特征图中各体素点分别属于各个肺叶的概率值；根据特征图中各体素点分别属于各个肺叶的概率值确定各个肺叶的分割边界，并将各个肺叶的分割边界确定为第一肺叶分割结果。
参见图3，改进V-net模型的右侧部分提取特征并扩展较低分辨率特征图的空间支持，以便收集大小并产生与输入体积相同大小的输出的特征图，通过应用Sigmoid（即上述激活函数）将输入图像中的体素点转换成各类的概率分割，即得到各个体素点分别属于5个分类（右肺上叶、中叶、下叶；左肺的上叶、下叶）的概率值，然后按照设定阈值确定各个体素点属于哪个肺叶，以确定各个肺叶的分割边界。
可以理解的是，此处“第一肺叶特征”指的是“改进的三维Vnet模型”在“应用Sigmoid”之前输出的特征，步骤S206应用Sigmoid利用“第一肺叶特征”进行肺叶分割，得到最终的肺叶分割结果。
在本申请的一些可选的实施例中，目标神经网络模型可以包含Sigmoid；也可以不包含Sigmoid，额外设置Sigmoid函数进行肺叶分割。
作为本申请的一个可选的实施例，执行步骤S406采用改进神经网络模型提取第二肺实质图像的第二肺叶特征之前，在改进神经网络模型对应的原损失函数中加入边缘损失函数，得到目标损失函数，其中，边缘损失函数为根据改进神经网络模型输出的第二肺实质图像对应的第二肺叶分割结果中各个肺叶的分割边界，以及第二肺实质图像被标记出的标准肺叶分割结果中各个肺叶的分割边界而构建的函数。
由于肺叶边界比较模糊，在进行损失计算时，在原有focal loss损失函数的基础上，采用一种最小化分割边界和ground truth边界之间距离的边缘损失函数，边缘损失函数表示如下：
Figure SMS_7
其中， G表示ground truth边界，ground truth边界指的是金标准图像上标记出的各个肺叶的边界，q表示由改进神经网络模型预测出的肺叶分割结果中各个肺叶边界上的点，
Figure SMS_8
表示q到G上最近点的距离，如果q点是G上的点，那么/>
Figure SMS_9
，否则
Figure SMS_10
，/>
Figure SMS_11
表示改进神经网络模型中的预设参数，/>
Figure SMS_12
表示改进神经网络模型输出的图像中的q点属于各个肺叶的预测结果，Ω表示样本图像的整个图像域。
基于改进的三维V-net模型的损失函数可表示为：
Figure SMS_13
，其中/>
Figure SMS_14
表示focal loss损失函数，/>
Figure SMS_15
是平衡两个损失函数的参数。
Figure SMS_16
/>
Figure SMS_17
表示三维V-net模型输出预测类标签为1的概率值，/>
Figure SMS_18
、/>
Figure SMS_19
为损失函数内设定的参数，y为表示正负样本的标签。y=1可以用于表征该肺部区域在金标准图像中的标签为属于右肺上叶，相应的y=0可以用于表征该肺部区域在金标准图像中的标签为不属于右肺上叶；或者，y=1可以用于表征该肺部区域在金标准图像中的标签为属于右肺中叶，相应的y=0可以用于表征该肺部区域在金标准图像中的标签为不属于右肺中叶；或者，y=1可以用于表征该肺部区域在金标准图像中的标签为属于右肺下叶，相应的y=0可以用于表征该肺部区域在金标准图像中的标签为不属于右肺下叶；或者，y=1可以用于表征该肺部区域在金标准图像中的标签为属于左肺上叶，相应的y=0可以用于表征该肺部区域在金标准图像中的标签为不属于左肺上叶；或者，y=1可以用于表征该肺部区域在金标准图像中的标签为属于左肺下叶，相应的y=0可以用于表征该肺部区域在金标准图像中的标签为不属于左肺下叶。
通过在改进的V-net模型的损失函数中设置边缘损失函数
Figure SMS_20
，可以使得改进的V-net模型学到更多ground truth图像（即金标准图像）的精细特征，那么改进的V-net模型后续可以识别出肺实质图像所含的精细特征，有利于提升肺叶分割的准确性。
在本申请的一些可选的实施例中，执行步骤S202从待处理的肺部医疗图像中提取第一肺实质图像，可以通过以下方法实现：对肺部医疗图像进行阈值化处理，得到肺实质对应的第一CT值，并利用第一CT值从肺部医疗图像提取初始肺实质图像；对初始肺实质图像进行阈值化处理，得到肺实质包括的干扰信息对应的第二CT值，并利用第二CT值从初始肺实质图像中去除干扰信息，得到第一肺实质图像。
首先，从临床获取肺部CT图像（如图7所示），对提取的肺部CT图像进行阈值化处理，确定出肺实质部分对应的特定的HU值 ，然后使用区域生长算法和特定的HU值，提取初始肺实质图像。
阈值化处理是指剔除图像内像素值高于一定值或者低于一定值的像素点。例如，设定阈值为127，然后将图像内所有像素值大于127的像素点的值设为255。将图像内所有像素值小于或者等于127的像素点的值设为0。
CT值是测量人体某一局部组织或器官密度大小的一种计量单位，通常称为亨氏单位（Hounsfield Unit，HU），CT值又称为HU值。
但是得到的初始肺实质图像还包含干扰信息（例如气道部分、心脏部分等非肺实质区域），为去除这些干扰信息，对得到的初始肺实质图像继续进行阈值化处理，确定出干扰信息所对应的HU值，然后利用得到的HU值对初始肺实质图像进行处理，实现去除初始肺实质图像所含的干扰信息。去除干扰信息可以避免后续进行肺叶分割的过程中，对这些干扰信息进行误分割，保证肺叶分割的准确性。例如，因为气道在轴向平面上呈圆形，经过区域生长处理，可以得到初始肺实质图像中对应于气道的各个圆形区域，可使用圆检测算法（如Hough变换 ）自动检测出圆形区域，从而达到去除气道的效果，得到最终的肺实质图像（如图8所述），其中，气道可以如图7中的方框部分所示。
根据本申请的另一个可选的实施例中，执行步骤S202从待处理的肺部医疗图像中提取第一肺实质图像，可以将分别提取到的左肺的肺实质图像和右肺的肺实质图像中的任一肺实质图像作为第一肺实质图像；或者，将提取到的左肺和右肺的整体肺实质图像作为第一肺实质图像。
考虑到现有图形处理器（Graphics Processing Unit，GPU）的显存可能不足，将提取的肺实质图像进行左右肺分离（如图9a和图9b所示）。当左右肺连接比较弱时，通过形态学操作，三维距离变换和表面拟合算法，就可以很容易将左右肺进行分离。当左右肺连接比较强时（连通域检测时，只有一个连接的物体，说明左右肺连接比较强，连通域一般是指图像中具有相同像素值且位置相邻的像素点组成的图像区域），可通过形态学操作以及Hessian分析来减弱左右肺间的连接；为减少显存的占用，将分离的左右肺进行裁剪，将它们裁剪成160×160×160大小的图像，并对裁剪得到的图像进行重采样，经过重采样处理后，可以提高重采样得到的图像的分辨率，便于后续对裁剪得到的图像进行肺叶分割，使得到的分割结果更加准确。
当然，在GPU的显存足够的情况下，也可以不进行左右肺分离。
作为本申请的一个可选的实施例，还可以采用肺实质提取模型从待处理的肺部医疗图像中提取第一肺实质图像。
除了可以采用上述方法提取肺实质图像，还可以采用神经网络的方式提取肺实质图像，该神经网络模型为预先训练的肺实质提取模型（一般采用卷积神经网络），采用肺实质提取模型提取肺实质图像，可以实现去除肺部CT图像中的背景噪声的效果。其中，肺实质提取模型可以是分别提取左肺部分和右肺部分的肺实质图像，也可以提取完整的左右肺部分的肺实质图像。
在上文中提到，本申请提供的实施例中，利用金标准图像作为样本图像对改进V-net模型进行训练，需要说明的是，金标准图像也需要经过上述方法处理，以提取金标准图像中的肺实质图像，然后利用从金标准图像中提取的肺实质图像训练改进V-net模型。
根据本申请的又一个可选的实施例，若分别提取左肺的肺实质图像和右肺的肺实质图像，得到第一肺实质图像对应的第一肺叶分割结果之后，对左肺对应的第一肺叶分割结果和右肺对应的第一肺叶分割结果进行融合处理，得到第一肺实质图像对应的目标肺叶分割结果。
使用训练集将上述改进V-net模型训练好后，将最佳模型参数保存，使用最佳模型参数对测试集进行测试时，要求测试集也经过训练集同样的预处理，所以模型测试出来的结果需要进行后处理，才可以得到整个肺实质的肺叶分割结果。其中，若在提取肺实质图像的阶段，将提取到的肺实质进行了左右肺分离，那么此时可以获得对应于左肺的肺叶分割的最佳模型参数1、获得对应于右肺的肺叶分割的最佳模型参数2；而若在提取肺实质图像的阶段，没有将提取到的肺实质进行左右肺分离，那么此时可以获得对应于提取到的肺实质的肺叶分割的最佳模型参数3。
提取测试集的左右肺实质图像，使用最佳模型参数对其进行测试，得到分离的左右肺实质的分割结果（如图10和图11所示）。为了能得到整个肺实质的分割结果，该方案对左右肺分割结果进行融合，同时对左右肺实质进行融合（如图12a和图12b所示），其中，图12b中左右肺实质分割得到了多个肺叶区域。另外，采用最佳模型参数对数据进行测试得到的测试结果可以如图13所示。
在本申请中，通过在改进的三维V-net模型中额外设置“残差连接和注意力机制”，可以提升肺叶分割的准确率，本申请实施例还提供了肺叶分割的准确率的相关测试结果，采用公开数据集分别测试原来的V-net模型以及改进后的V-net模型，分别使用Luna16 数据集和天池数据集做训练和测试，比较V-net模型，加入残差连接后的V-net（ResV-Net）和加入了残差连接和注意力机制后V-net（ResV-net+ResAttention）对应的Dice系数，Dice系数衡量得到肺叶分割结果P和测试集的标签G之间的相似程度，C代表的肺叶的类别的数量，Dice系数的值越大，说明肺叶分割结果P和测试集的标签G之间的相似程度越高。
测试效果分别图14a和图14b所示，图14a为天池数据集对应的测试结果示意图，图14b为Luna16 数据集对应的测试结果示意图，图14a和图14b中的横坐标表示训练次数，纵坐标表示Dice系数（即如下公式所示的
Figure SMS_21
），从图中可以看出，V-net模型，加入残差连接后的V-net（ResV-Net）以及加入了残差连接和注意力机制后V-net（ResV-net+ResAttention）对应的Dice系数依次增大，相应的肺叶分割精度依次增加。
Dice系数通过以下公式计算得到：
Figure SMS_22
Figure SMS_23
第一个公式计算出每个肺叶的分割结果P和标签G之间的相似程度，第二个公式计算出整个肺叶分割的分割结果与标签G之间的相似程度。
在本申请的一个可选的实施例中，还可以使用均方最大对称表面距离(RMSD)衡量肺叶分割精度。a，b分别为利用改进后的V-net模型得到的肺叶分割结果P对应的肺间裂3D平面S(A)，测试集标注的标签G对应的肺间裂3D平面S(B)的点。RMSD计算公式如下，单位为mm。
Figure SMS_24
Luna16 数据集对应的RMSD如表1所示。
表1
Figure SMS_25
表1为LUNA16数据集对应的肺间裂测试结果的RMSD计算结果，表1中第一行数据400、600、800及1000分别为训练次数，表1中第二行数据4.1mm，3.8mm，3.9mm以及3.7mm分别为在相应的训练次数下，利用V-net模型得到的肺叶分割结果对应的最大对称表面距离(RMSD)。表1中第三行数据3.8mm、3.6mm、3.5mm以及3.4mm分别为在相应的训练次数下，利用加入残差连接后的V-net（ResV-Net）得到的肺叶分割结果对应的最大对称表面距离(RMSD)。表1中第四行数据3.6mm、3.4mm、3.2mm以及3.1mm分别为在相应的训练次数下，加入了残差连接和注意力机制后的V-net（ResV-net+ResAttention）得到的肺叶分割结果对应的最大对称表面距离(RMSD)。
天池数据集对应的RMSD如表2所示。
表2
Figure SMS_26
表2为天池数据集对应的肺间裂测试结果的RMSD计算结果，表2中第一行数据400、600、800及1000分别为训练次数，表2中第二行数据3.8mm，3.6mm，3.3mm以及3.3mm分别为在相应的训练次数下，利用V-net模型得到的肺叶分割结果对应的最大对称表面距离(RMSD)。表2中第三行数据3.7mm、3.5mm、3.1mm以及3.0mm分别为在相应的训练次数下，利用加入残差连接后的V-net（ResV-Net）得到的肺叶分割结果对应的最大对称表面距离(RMSD)。表2中第四行数据3.5mm、3.3mm、2.9mm以及2.5mm分别为在相应的训练次数下，加入了残差连接和注意力机制后的V-net（ResV-net+ResAttention）得到的肺叶分割结果对应的最大对称表面距离(RMSD)。
从表1和表2中可以看出，V-net模型，加入残差连接后的V-net（ResV-Net）以及加入了残差连接和注意力机制后V-net（ResV-net+ResAttention）对应的RMSD依次减小，相应的肺叶分割精度依次增加。
图15是根据本申请实施例的一种医疗图像的分割装置的结构框图，如图15所示，该装置包括：
提取模块1500，用于从待处理的肺部医疗图像中提取第一肺实质图像。
肺实质图像指的是人体肺内的各级支气管，以及其终端的肺泡的结构。
第一处理模块1502，用于将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块。
第二处理模块1504，用于根据第一肺叶特征对第一肺实质图像进行分割处理，得到第一肺实质图像对应的第一肺叶分割结果。
需要说明的是，上述医疗图像的分割装置中的各个模块可以是程序模块（例如是实现某种特定功能的程序指令集合），也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。
需要说明的是，图15所示实施例的优选实施方式可以参见图2所示实施例的相关描述，此处不再赘述。
本申请实施例还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行以上的医疗图像的分割方法。
上述非易失性存储介质用于存储执行以下功能的程序：将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块。
本申请实施例还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执以上的医疗图像的分割方法。
上述处理器用于运行执行以下功能的程序：将第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用卷积网络和残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，后一处理模块利用残差网络和注意力机制对前一处理模块的输出内容进行处理，得到第二处理结果，后一处理模块将基于第一处理结果和第二处理结果计算得到的第三处理结果输入下一处理模块。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种医疗图像的分割方法，其特征在于，包括：
从待处理的肺部医疗图像中提取第一肺实质图像；
将所述第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由所述目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用所述卷积网络和所述残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，所述后一处理模块利用所述残差网络和所述注意力机制对所述前一处理模块的输出内容进行处理，得到第二处理结果，所述后一处理模块将基于所述第一处理结果和所述第二处理结果计算得到的第三处理结果输入下一处理模块；
根据所述第一肺叶特征对所述第一肺实质图像进行分割处理，得到所述第一肺实质图像对应的第一肺叶分割结果。
2.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型通过以下方法生成：
构建改进神经网络模型，其中，所述改进神经网络模型包括依次排列的多个处理模块，各个处理模块包括卷积网络、残差网络和注意力机制；
从任一样本图像中提取第二肺实质图像，所述样本图像被标记有标准肺叶分割结果；
采用所述改进神经网络模型提取所述第二肺实质图像的第二肺叶特征，所述改进神经网络模型中相邻的处理模块中的后一处理模块利用所述卷积网络和所述残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，所述后一处理模块利用所述残差网络和所述注意力机制对所述前一处理模块的输出内容进行处理，得到第二处理结果，所述后一处理模块将基于所述第一处理结果和所述第二处理结果计算得到的第三处理结果输入下一处理模块；
根据所述第二肺叶特征对所述第二肺实质图像进行分割处理，得到所述第二肺实质图像对应的第二肺叶分割结果，并且在所述第二肺叶分割结果与所述标准肺叶分割结果之间的差异满足预设条件时，确定训练后的目标神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述残差网络包括第一残差连接和第二残差连接；所述卷积网络包括n个卷积层，n为大于等于1的整数；
任一所述处理模块利用所述第一残差连接将所述卷积网络的第一个卷积层的输入与最后一个卷积层的输出相连；
任一所述处理模块利用所述第二残差连接和所述注意力机制对前一处理模块的输出内容进行处理，得到所述第一肺实质图像经过注意力计算后的特征图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一肺叶特征对所述第一肺实质图像进行分割处理，得到所述第一肺实质图像对应的第一肺叶分割结果包括：
根据所述第一肺叶特征，得到对应于所述第一肺实质图像的特征图；
通过预设激活函数确定所述特征图中各体素点分别属于各个肺叶的概率值；
根据所述特征图中各体素点分别属于各个肺叶的概率值确定所述各个肺叶的分割边界，并将所述各个肺叶的分割边界确定为所述第一肺叶分割结果。
5.根据权利要求2所述的方法，其特征在于，采用所述改进神经网络模型提取所述第二肺实质图像的第二肺叶特征之前，所述方法还包括：
在所述改进神经网络模型对应的原损失函数中加入边缘损失函数，得到目标损失函数，其中，所述边缘损失函数为根据所述改进神经网络模型输出的所述第二肺实质图像对应的第二肺叶分割结果中各个肺叶的分割边界，以及所述第二肺实质图像被标记出的标准肺叶分割结果中各个肺叶的分割边界而构建的函数。
6.根据权利要求5所述的方法，其特征在于，
所述边缘损失函数表示如下：
Figure QLYQS_1
，其中，G表示任一样本图像上被标记出的各个肺叶的分割边界，q表示由所述改进神经网络模型预测出的第二肺叶分割结果中各个肺叶的分割边界上的点，/>
Figure QLYQS_2
表示q到G上最近点的距离，如果q点是G上的点，那么
Figure QLYQS_3
，否则/>
Figure QLYQS_4
，/>
Figure QLYQS_5
表示所述改进神经网络模型中的预设参数，/>
Figure QLYQS_6
表示所述改进神经网络模型输出的所述第二肺叶分割结果中的q点属于各个肺叶的预测结果，Ω表示所述样本图像的整个图像域。
7.根据权利要求1所述的方法，其特征在于，从待处理的肺部医疗图像中提取第一肺实质图像，包括：
对所述肺部医疗图像进行阈值化处理，得到肺实质对应的第一CT值，并利用所述第一CT值从所述肺部医疗图像提取初始肺实质图像；对所述初始肺实质图像进行阈值化处理，得到所述肺实质包括的干扰信息对应的第二CT值，并利用所述第二CT值从所述初始肺实质图像中去除所述干扰信息，得到所述第一肺实质图像；
或者，采用肺实质提取模型从所述待处理的肺部医疗图像中提取所述第一肺实质图像。
8.根据权利要求1或7所述的方法，其特征在于，从待处理的肺部医疗图像中提取第一肺实质图像，还包括：
将分别提取到的左肺的肺实质图像和右肺的肺实质图像中的任一肺实质图像作为所述第一肺实质图像；
或者，将提取到的左肺和右肺的整体肺实质图像作为所述第一肺实质图像。
9.一种医疗图像的分割装置，其特征在于，包括：
提取模块，用于从待处理的肺部医疗图像中提取第一肺实质图像；
第一处理模块，用于将所述第一肺实质图像输入目标神经网络模型内依次排列的多个处理模块进行处理，获得由所述目标神经网络模型输出的第一肺叶特征，其中，任一处理模块包括卷积网络、残差网络和注意力机制，相邻的处理模块中的后一处理模块利用所述卷积网络和所述残差网络对前一处理模块的输出内容进行处理，得到第一处理结果，所述后一处理模块利用所述残差网络和所述注意力机制对所述前一处理模块的输出内容进行处理，得到第二处理结果，所述后一处理模块将基于所述第一处理结果和所述第二处理结果计算得到的第三处理结果输入下一处理模块；
第二处理模块，用于根据所述第一肺叶特征对所述第一肺实质图像进行分割处理，得到所述第一肺实质图像对应的第一肺叶分割结果。
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的医疗图像的分割方法。
11.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的医疗图像的分割方法。
CN202310406858.7A 2023-04-17 2023-04-17 医疗图像的分割方法及装置、非易失性存储介质 Active CN116152278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406858.7A CN116152278B (zh) 2023-04-17 2023-04-17 医疗图像的分割方法及装置、非易失性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406858.7A CN116152278B (zh) 2023-04-17 2023-04-17 医疗图像的分割方法及装置、非易失性存储介质

Publications (2)

Publication Number Publication Date
CN116152278A true CN116152278A (zh) 2023-05-23
CN116152278B CN116152278B (zh) 2023-07-21

Family

ID=86358450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406858.7A Active CN116152278B (zh) 2023-04-17 2023-04-17 医疗图像的分割方法及装置、非易失性存储介质

Country Status (1)

Country Link
CN (1) CN116152278B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111666997A (zh) * 2020-06-01 2020-09-15 安徽紫薇帝星数字科技有限公司 一种样本平衡方法及目标器官分割模型构建方法
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112465830A (zh) * 2020-11-11 2021-03-09 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN112734755A (zh) * 2021-03-15 2021-04-30 四川大学 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN113592809A (zh) * 2021-07-28 2021-11-02 中国海洋大学 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN113610119A (zh) * 2021-07-19 2021-11-05 西安交通大学 基于卷积神经网络识别输电线路发展性故障的方法
CN113936011A (zh) * 2021-10-21 2022-01-14 上海交通大学 基于注意力机制的ct影像肺叶图像分割系统
US20220036124A1 (en) * 2020-07-31 2022-02-03 Sensetime Group Limited Image processing method and device, and computer-readable storage medium
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN114677511A (zh) * 2022-03-23 2022-06-28 三峡大学 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN115424103A (zh) * 2022-08-18 2022-12-02 重庆理工大学 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法
CN115439478A (zh) * 2022-11-07 2022-12-06 四川大学 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质
CN115457051A (zh) * 2022-08-31 2022-12-09 昆明理工大学 基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法
CN115564782A (zh) * 2022-10-13 2023-01-03 重庆大学 3d血管及气管分割方法及系统
CN115587967A (zh) * 2022-09-06 2023-01-10 杭州电子科技大学 一种基于HA-UNet网络的眼底图像视盘检测方法
CN115880200A (zh) * 2021-08-17 2023-03-31 华东师范大学 基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111666997A (zh) * 2020-06-01 2020-09-15 安徽紫薇帝星数字科技有限公司 一种样本平衡方法及目标器官分割模型构建方法
US20220036124A1 (en) * 2020-07-31 2022-02-03 Sensetime Group Limited Image processing method and device, and computer-readable storage medium
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112258526A (zh) * 2020-10-30 2021-01-22 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112465830A (zh) * 2020-11-11 2021-03-09 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN112734755A (zh) * 2021-03-15 2021-04-30 四川大学 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN113610119A (zh) * 2021-07-19 2021-11-05 西安交通大学 基于卷积神经网络识别输电线路发展性故障的方法
CN113592809A (zh) * 2021-07-28 2021-11-02 中国海洋大学 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN115880200A (zh) * 2021-08-17 2023-03-31 华东师范大学 基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统
CN113936011A (zh) * 2021-10-21 2022-01-14 上海交通大学 基于注意力机制的ct影像肺叶图像分割系统
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN114677511A (zh) * 2022-03-23 2022-06-28 三峡大学 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法
CN114998296A (zh) * 2022-06-24 2022-09-02 常州大学 一种基于改进Unet网络的甲状腺结节分割方法
CN115424103A (zh) * 2022-08-18 2022-12-02 重庆理工大学 基于注意力机制和多尺度特征融合的改进U-Net脑肿瘤分割方法
CN115457051A (zh) * 2022-08-31 2022-12-09 昆明理工大学 基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法
CN115587967A (zh) * 2022-09-06 2023-01-10 杭州电子科技大学 一种基于HA-UNet网络的眼底图像视盘检测方法
CN115564782A (zh) * 2022-10-13 2023-01-03 重庆大学 3d血管及气管分割方法及系统
CN115439478A (zh) * 2022-11-07 2022-12-06 四川大学 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHARUL GIRI 等: "Brain Tumor Segmentation on 3D MRI Using Attention V-Net", 《ENGINEERING APPLICATIONS OF NEURAL NETWORKS》, pages 336 - 348 *
周涛 等: "探析U-Net的改进机制及其在医学图像分割的应用", 《生物医学工程学杂志》, vol. 39, no. 4, pages 806 - 825 *

Also Published As

Publication number Publication date
CN116152278B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110934606B (zh) 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN108133476B (zh) 一种肺结节自动检测方法及系统
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN111127466A (zh) 医学图像检测方法、装置、设备及存储介质
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN108062749B (zh) 肛提肌裂孔的识别方法、装置和电子设备
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN112288786B (zh) 电子装置及非暂态计算机可读存储介质
CN111598853B (zh) 针对肺炎的ct影像评分方法、装置及设备
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
WO2023207820A1 (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN115018863A (zh) 基于深度学习的图像分割方法及装置
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN111784652B (zh) 基于强化学习多尺度神经网络的mri分割方法
CN111462270A (zh) 一种基于新型冠状病毒肺炎ct检测的重建系统及方法
CN116152278B (zh) 医疗图像的分割方法及装置、非易失性存储介质
CN111275722A (zh) 肺段、肝段分割方法及系统
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN116168099A (zh) 医疗图像的重建方法及装置、非易失性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant