CN111429473A - 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 - Google Patents

基于多尺度特征融合的胸片肺野分割模型建立及分割方法 Download PDF

Info

Publication number
CN111429473A
CN111429473A CN202010125718.9A CN202010125718A CN111429473A CN 111429473 A CN111429473 A CN 111429473A CN 202010125718 A CN202010125718 A CN 202010125718A CN 111429473 A CN111429473 A CN 111429473A
Authority
CN
China
Prior art keywords
segmentation
module
scale
convolution
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010125718.9A
Other languages
English (en)
Other versions
CN111429473B (zh
Inventor
冯宏伟
王文晶
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202010125718.9A priority Critical patent/CN111429473B/zh
Publication of CN111429473A publication Critical patent/CN111429473A/zh
Application granted granted Critical
Publication of CN111429473B publication Critical patent/CN111429473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多尺度特征融合的胸片肺野分割模型建立及分割方法，其中分割模型建立方法包括：首先对X光胸片的预处理，得到预处理图片和重编码后的掩模图片，其次构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，最后使用预处理后的图片作为分割网络的输入，重编码后的掩模图片作为分割网络的输出训练分隔网络，得到训练好的分割模型。基于得到的分割模型，对于待处理的任一待处理的X光胸片，进行预处理后将其输入到分割模型中，即可得到肺野分割结果。本发明结合特征金字塔理论，提出了多分辨率特征融合，能够将将不同分辨率的分割结果进行融合，从而提高分割效果。

Description

基于多尺度特征融合的胸片肺野分割模型建立及分割方法
技术领域
本发明属于医学图像分析技术领域，涉及一种基于多尺度特征融合的胸片肺野分割模型建立及分割方法。
背景技术
目前胸部X射线(CXR)成像是用于健康监测和诊断多种肺部疾病(包括肺炎，结核病，癌症等)的最流行和最可用的诊断工具。但是从CXR中检测这些疾病是非常复杂的过程，并需要放射线专家的参与。而且，每年产生数百万个CXR。根据英国国家卫生局(NationalHealth Service，UK) 的数据，在2017/18年度，英国产生超过2290万张X射线图像，占包括磁共振(MRI)和计算机断层扫描(CT)在内的所有成像设备的55.63％。而全球放射科医生的短缺，说明这是相当大的诊断工作量。
X光胸片计算机辅助诊断系统的一个重要步骤是肺实质分割。它提供了形状是否规整和肺尺寸测量的结构信息，可用于分析严重的临床病变，例如胸腔积液、肺气肿和气胸。由于肺分割掩膜确定了肺野区域，它通过排除非肺区域，从而在CAD系统中，最小化了X光胸片中其他伪影对肺部疾病诊断的影响，并减少检测或分类时的计算量。
由于各种解剖学结构的组织的重叠，致使图像的对比度低以及感兴趣 (regionof interest)区域的隐藏，使分割成为一项艰巨的任务即使是经验丰富且技术熟练的放射线医师也难以区分肺部分支血管的正常形态所产生的渗出物，或者难以识别出肺癌的细小结节。近年来，一些研究人员提出了从X射线胸片中分割肺野的方法。2011年，Dawoud等提出了一种通过在迭代框架中将形状信息验融合到基于强度的阈值中来分割肺野的算法。2015年，WSHMW Ahmad等提出了一种基于具有七个方向的定向高斯导数滤波器，并结合模糊C均值(FCM)聚类和阈值来分割肺区域的方法。2018年， Rabia Rashid等使用完全卷积网络从X射线提取肺区域。并进行后期处理以填充孔，将左右肺分开，并清除少数情况下出现的不需要的物体。从这些方法的实验结果可以看出，分割错误主要是肺野内部欠分割(出现空洞)以及边缘分割不够准确。并且目前的语义分割网络的分割结果仅来自最后一个解码器的特征图。
发明内容
为解决现有技术中存在的不足，本发明提供了一种基于多尺度特征融合的胸片肺野分割模型建立及分割方法，解决现有分割方法存在肺野内部欠分割(出现空洞)以及边缘分割不够准确的问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
基于多尺度特征融合的胸片肺野分割模型建立方法，该方法中采用的数据集为X光胸片，包括以下步骤：
步骤1，X光胸片的预处理；
步骤1.1，对X光胸片进行直方图均衡化处理，得到预处理后的图片；
步骤1.2，将X光胸片的掩模图片进行重编码，得到重编码后的掩模图片；
步骤2，构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，其中，
编码器模块用于提取步骤1.1预处理后的图片的不同分辨率的语义特征图；
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图；
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图；
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与步骤1.2具有相同通道的分割概率图；
步骤3，将步骤1.1得到预处理后的图片作为分割网络的输入，将步骤 1.2得到的重编码后的掩模图片作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
具体的，所述的编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化；第五个编码器为一个3×3的卷积。
具体的，所述的多尺度卷积模块包括一个3×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；或者所述的多尺度卷积模块为ASPP网络结构。
具体的，所述的解码器结构包括4个解码器，每个解码器均为2个3× 3的卷积。
本发明还公开了基于多尺度特征融合的胸片肺野分割模型建立系统，包括以下模块：
图像预处理模块，包括直方图均衡化处理模块和掩模重编码模块，其中，直方图均衡化处理模块用于对X光胸片进行直方图均衡化处理，得到预处理后的图片；掩模重编码模块用于对X光胸片的掩模图片进行重编码，得到重编码后的掩模图片；
分割网络构建模块，用于构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，其中，
编码器模块用于提取直方图均衡化处理模块预处理后的图片的不同分辨率的语义特征图；
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图；
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图；
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与掩模重编码模块具有相同通道的分割概率图；
分割模型构建模块，用于将直方图均衡化处理模块得到预处理后的图片作为分割网络的输入，将掩模重编码模块得到的重编码后的掩模图片作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
具体的，所述的编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化；第五个编码器为一个3×3的卷积。
具体的，所述的多尺度卷积模块包括一个3×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；或者所述的多尺度卷积模块为为ASPP网络结构。
具体的，所述的解码器结构包括4个解码器，每个解码器均为2个3× 3的卷积。
本发明还公开了基于多尺度特征融合的胸片肺野分割方法，包括以下步骤：
步骤1，对于待处理的X光胸片，进行本发明上述步骤1.1的预处理，得到预处理后的图片；
步骤2，将步骤1得到的预处理后的图片输入到得到的分割模型中，得到分割概率图；所述的分割概率图包括目标分割概率图和背景分割概率图，比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肺野分割结果。
本发明还公开基于多尺度特征融合的胸片肺野分割系统，包括以下模块：
图像预处理模块，用于对待处理的X光胸片，进行本发明上述步骤1.1 的预处理或直方图均衡化处理模块的处理，得到预处理后的图片；
肺野分割模块，用于将图像预处理模块得到的预处理后的图片输入到得到的分割模型中，得到分割概率图；所述的分割概率图包括目标分割概率图和背景分割概率图，比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肺野分割结果。
与现有技术相比，本发明的有益效果是：
(1)本发明结合特征金字塔理论，提出了多分辨率特征融合，能够将将不同分辨率的分割结果进行融合，从而提高分割效果；
(2)本发明提出加入多尺度空洞卷积模块在具有高层语义的特征图上提取多尺度图像特征，来提高肺野的分割精度。
(3)本发明采用DSC和交叉熵结合的损失，同时考虑单个像素和整幅图片的分割精度，以提高分割效果。
附图说明
图1是本方法肺野分割的整体流程图。
图2是本方法中的分割网络结构图。
图3是本方法的分割结果示意图；其中第一列为X光胸片原图，第二列为groundtruth，第三列为基于多尺度卷积和特征金字塔的网络预测的掩模图片。
以下给出本发明的具体实施方式，需要说明的是，本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
具体实施方式
本发明具体实施例中使用的数据集为从医院获得的X光胸片图像，数据集共包含138例胸部X光图像，数据集随机划分为三份，采用三折交叉验证对网络进行评估，取三折的均值作为最终结果。
本发明的具体实施例中公开的基于多尺度特征融合的胸片肺野分割模型建立方法，具体包括以下步骤：
步骤1，X光胸片的预处理；
步骤1.1，X光胸片由于设备或光照等原因，可能会造成图片对比度很低，即图片整体偏暗或偏亮，将图片进行直方图均衡化处理能够改善图片的对比度问题，并将灰度值映射到0-255之间，并保存为PNG或JPG格式，，预处理后的图片作为分割网络训练过程中的输入；
步骤1.2，将X光胸片的掩模图片进行重编码，得到重编码后的掩模图片，具体重编码方法为：将掩模图像的像素值为0的点编码为01，像素值为1的点编码为10；不仅能够使网络同时学习到目标的特征，同时也能学习到背景区域的特征。并且通过比较两个概率值获取最终的结果，也避免了因阈值选择不当造成的分割效果不理想的情况。
步骤2，构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，如图2所示。其中，
编码器模块用于通过2D卷积与最大池化操作提取步骤1.1预处理后的图片的不同分辨率的语义特征图。每个X光胸片对应多个语义特征图，语义特征图的数量与编码器的数量对应。本实施例中，编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化，来确保每个编码器提取不同粒度的语义信息；第五个编码器为一个3×3的卷积。
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图。本实施例中，多尺度卷积模块包括一个3 ×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3 ×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积。输入的特征图通过四种并行卷积，获得四个尺度的特征图。然后将四个尺度下的特征图进行拼接，并使用1×1的卷积来变换通道，使其通道数降低，本实施例中变化通道后的低通道特征图的通道数与输入特征图的通道数量保持一致。可选的，本发明的多尺度卷积模块也可选ASPP网络结构，但优选本实施例的多尺度卷积模块。
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过2×2上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过2×2上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图。本实施例中，解码器结构包括4个解码器，每个解码器均为2个3×3的卷积。
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与步骤1.2具有相同通道的分割概率图。
步骤3，将步骤1.1得到预处理后的图片作为分割网络的输入，将步骤 1.2得到的重编码后的掩模图片作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。在本实施例中，构建DSC和交叉熵 (crossentropy)的和作为网络的目标函数，网络训练损失函数L为：
Figure BDA0002394328660000091
其中，yi是医生标注的金标准，
Figure 1
网络预测概率图，i表示第i个样本。
将步骤1.1得到预处理后的图片送入构建好的分割网络中，使用该损失函数端到端的训练分隔网络，得到训练好的分割模型。
本发明实施例还公开了基于多尺度特征融合的胸片肺野分割模型建立系统，该系统包括以下模块：
图像预处理模块，包括直方图均衡化处理模块和掩模重编码模块，其中，直方图均衡化处理模块用于对X光胸片进行直方图均衡化处理，得到预处理后的图片；掩模重编码模块用于对X光胸片的掩模图片进行重编码，得到重编码后的掩模图片；
分割网络构建模块，用于构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，其中，
编码器模块用于提取直方图均衡化处理模块预处理后的图片的不同分辨率的语义特征图；本实施例中，编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化，来确保每个编码器提取不同粒度的语义信息；第五个编码器为一个3×3的卷积。
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图。本实施例中，多尺度卷积模块包括一个3 ×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3 ×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积。输入的特征图通过四种并行卷积，获得四个尺度的特征图。然后将四个尺度下的特征图进行拼接，并使用1×1的卷积来变换通道，使其通道数降低，本实施例中变化通道后的低通道特征图的通道数与输入特征图的通道数量保持一致。可选的，本发明的多尺度卷积模块也可选ASPP网络结构，但优选本实施例的多尺度卷积模块。
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过2×2上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过2×2上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图。本实施例中，解码器结构包括4个解码器，每个解码器均为2个3×3的卷积。
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与掩模重编码模块具有相同通道的分割概率图；
分割模型构建模块，用于将直方图均衡化处理模块得到预处理后的图片作为分割网络的输入，将掩模重编码模块得到的重编码后的掩模图片作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
通过上述实施例可得到训练好的分割模型，利用该分割模型对需要处理的X光胸片肺野区域进行分割，因此，
本发明的实施例中公开了一种基于多尺度特征融合的胸片肺野分割方法，该方法包括以下步骤：
步骤1，对于待处理的X光胸片，进行权利要求1中步骤1.1的预处理，得到预处理后的图片；
步骤2，将步骤1得到的预处理后的图片输入到权利要求1得到的分割模型中，得到分割概率图；由于本发明在构建网络中作为输出的重编码后的掩模图片包括背景像素和目标像素两种，因此此步骤中得到的分割概率图包括目标分割概率图和背景分割概率图，通过比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，像素点的标签为较大的概率值所代表的标签，以此得到肺野分割结果。如图3所示为本实施例中的X光胸片肺野分割结果。
本发明实施例还公开一种基于多尺度特征融合的胸片肺野分割系统，该系统包括以下模块：
图像预处理模块，用于对待处理的X光胸片，进行上述实施例中步骤 1.1的预处理或直方图均衡化处理模块的处理，得到预处理后的图片；
肺野分割模块，用于将图像预处理模块得到的预处理后的图片输入上述实施例中得到的分割模型中，得到分割概率图；其中，分割概率图包括目标分割概率图和背景分割概率图，通过比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，像素点的标签为较大的概率值所代表的标签，以此得到肺野分割结果。
本发明还对比了本发明方法与下面4种不同方法之间的分割效果：
N1：X光胸片不进行步骤1.1～1.2的处理，直接使用原始png格式的图像作为输入，原始的掩码图像作为目标；分割网络包括编码器模块、解码器模块；采用端到端的方式训练U-Net模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N2：X光胸片不进行步骤1.1～1.2的处理，直接使用原始png格式的图像作为输入，原始的掩码图像作为目标；分割网络包括编码器模块、解码器模块、多尺度特征融合模块；使用交叉熵损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N3：X光胸片不进行步骤1.1～1.2的处理，直接使用原始png格式的图像作为输入，原始的掩码图像作为目标；分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块；使用交叉熵损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5 作为阈值，获取分割结果。
N4：X光胸片不进行步骤1.1～1.2的处理，直接使用原始png格式的图像作为输入，原始的掩码图像作为目标；分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块；使用交叉熵和DSC的和作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
表1所示为本发明实施例中138例胸部X光样本的实验结果的均值，其中戴斯系数(Dice Similarity Coefficient，DSC)与准确率(accuracy)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表分割性能越好。由表1可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。
表1不同方法之间的效果对比
方法 DSC ACC
N1 95.4 97.7
N2 97.49 98.10
N3 97.64 98.57
N4 97.95 98.96
本发明方法 98.15 99.12

Claims (10)

1.基于多尺度特征融合的胸片肺野分割模型建立方法，该方法中采用的数据集为X光胸片，其特征在于，包括以下步骤：
步骤1，X光胸片的预处理；
步骤1.1，对X光胸片进行直方图均衡化处理，得到预处理后的图片；
步骤1.2，将X光胸片的掩模图片进行重编码，得到重编码后的掩模图片；
步骤2，构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，其中，
编码器模块用于提取步骤1.1预处理后的图片的不同分辨率的语义特征图；
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图；
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图；
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与步骤1.2具有相同通道的分割概率图；
步骤3，将步骤1.1得到预处理后的图片作为分割网络的输入，将步骤1.2得到的重编码后的掩模图片作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
2.如权利要求1所述的基于多尺度特征融合的胸片肺野分割模型建立方法，其特征在于，所述的编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化；第五个编码器为一个3×3的卷积。
3.如权利要求1所述的基于多尺度特征融合的胸片肺野分割模型建立方法，其特征在于，所述的多尺度卷积模块包括一个3×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；或者所述的多尺度卷积模块为ASPP网络结构。
4.如权利要求1所述的基于多尺度特征融合的胸片肺野分割模型建立方法，其特征在于，所述的解码器结构包括4个解码器，每个解码器均为2个3×3的卷积。
5.基于多尺度特征融合的胸片肺野分割模型建立系统，其特征在于，包括以下模块：
图像预处理模块，包括直方图均衡化处理模块和掩模重编码模块，其中，直方图均衡化处理模块用于对X光胸片进行直方图均衡化处理，得到预处理后的图片；掩模重编码模块用于对X光胸片的掩模图片进行重编码，得到重编码后的掩模图片；
分割网络构建模块，用于构建基于多尺度卷积和特征金字塔的X光胸片肺野分割网络，所述的分割网络包括编码器模块、多尺度卷积模块、解码器模块、多尺度特征融合模块，其中，
编码器模块用于提取直方图均衡化处理模块预处理后的图片的不同分辨率的语义特征图；
多尺度卷积模块用于提取不同分辨率的语义特征图中分辨率最小的特征图的上下文信息，得到不同尺度上下文信息的特征图；然后将不同尺度上下文信息的特征图进行拼接得到高通道特征图，高通道特征图变换通道以减少通道数量，得到低通道特征图；
解码器模块用于获取不同分辨率的分割概率图，其中，解码器模块包括多个解码器，第一个解码器输入的是多尺度卷积模块得到的低通道特征图经过上采样后得到的特征图和与上采样后的低通道特征图具有相同分辨率的语义特征图；之后的每个解码器输入的是前一个解码器的输出特征图经过上采样后的特征图和与上采样后的特征图具有相同分辨率的语义特征图；每个解码器输出是与其输入具有相同分辨率的分割概率图；
多尺度特征融合模块用于将解码器模块得到的不同分辨率的分割概率图分别经过上采样处理，得到与编码器模块输入图片分辨率相同的分割概率图，将这些分辨率相同的分割概率图进行拼接得到分割概率图，将分割概率图进行卷积处理得到与掩模重编码模块具有相同通道的分割概率图；
分割模型构建模块，用于将直方图均衡化处理模块得到预处理后的图片作为分割网络的输入，将掩模重编码模块得到的重编码后的掩模图片作为分割网络的输出，训练分割网络构建模块得到的分割网络，得到训练好的分割模型。
6.如权利要求5所述的基于多尺度特征融合的胸片肺野分割模型建立系统，其特征在于，所述的编码器模块包含5个编码器，具体结构为：前四个编码器均为2个3×3的卷积和一个2×2的池化；第五个编码器为一个3×3的卷积。
7.如权利要求1所述的基于多尺度特征融合的胸片肺野分割模型建立系统，其特征在于，所述的多尺度卷积模块包括一个3×3的普通卷积，一个空洞率为2的3×3的空洞卷积，一个空洞率为4的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；或者所述的多尺度卷积模块为为ASPP网络结构。
8.如权利要求1所述的基于多尺度特征融合的胸片肺野分割模型建立系统，其特征在于，所述的解码器结构包括4个解码器，每个解码器均为2个3×3的卷积。
9.基于多尺度特征融合的胸片肺野分割方法，其特征在于，包括以下步骤：
步骤1，对于待处理的X光胸片，进行权利要求1中步骤1.1的预处理，得到预处理后的图片；
步骤2，将步骤1得到的预处理后的图片输入到权利要求1得到的分割模型中，得到分割概率图；所述的分割概率图包括目标分割概率图和背景分割概率图，比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肺野分割结果。
10.基于多尺度特征融合的胸片肺野分割系统，其特征在于，包括以下模块：
图像预处理模块，用于对待处理的X光胸片，进行权利要求1中步骤1.1的预处理或权利要求5中直方图均衡化处理模块的处理，得到预处理后的图片；
肺野分割模块，用于将图像预处理模块得到的预处理后的图片输入到权利要求1或权利要求5得到的分割模型中，得到分割概率图；所述的分割概率图包括目标分割概率图和背景分割概率图，比较每个像素点在目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到肺野分割结果。
CN202010125718.9A 2020-02-27 2020-02-27 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 Active CN111429473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125718.9A CN111429473B (zh) 2020-02-27 2020-02-27 基于多尺度特征融合的胸片肺野分割模型建立及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125718.9A CN111429473B (zh) 2020-02-27 2020-02-27 基于多尺度特征融合的胸片肺野分割模型建立及分割方法

Publications (2)

Publication Number Publication Date
CN111429473A true CN111429473A (zh) 2020-07-17
CN111429473B CN111429473B (zh) 2023-04-07

Family

ID=71551742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125718.9A Active CN111429473B (zh) 2020-02-27 2020-02-27 基于多尺度特征融合的胸片肺野分割模型建立及分割方法

Country Status (1)

Country Link
CN (1) CN111429473B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112200815A (zh) * 2020-10-12 2021-01-08 徐州医科大学附属医院 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN112215267A (zh) * 2020-09-25 2021-01-12 天津大学 一种面向高光谱图像的深度空谱子空间聚类方法
CN112508973A (zh) * 2020-10-19 2021-03-16 杭州电子科技大学 一种基于深度学习的mri图像分割方法
CN112836710A (zh) * 2021-02-23 2021-05-25 浙大宁波理工学院 一种基于特征金字塔网络的房间布局估计获取方法与系统
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113643261A (zh) * 2021-08-13 2021-11-12 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法
WO2022179083A1 (zh) * 2021-02-25 2022-09-01 上海商汤智能科技有限公司 图像检测方法、装置、设备、介质和程序
CN117437207A (zh) * 2023-11-09 2024-01-23 重庆师范大学 一种多专家融合胸部x线影像辅助诊断系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165916A1 (en) * 2003-11-13 2007-07-19 Guy Cloutier Automatic multi-dimensional intravascular ultrasound image segmentation method
US20180276825A1 (en) * 2017-03-23 2018-09-27 Petuum, Inc. Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109325534A (zh) * 2018-09-22 2019-02-12 天津大学 一种基于双向多尺度金字塔的语义分割方法
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165916A1 (en) * 2003-11-13 2007-07-19 Guy Cloutier Automatic multi-dimensional intravascular ultrasound image segmentation method
US20180276825A1 (en) * 2017-03-23 2018-09-27 Petuum, Inc. Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109325534A (zh) * 2018-09-22 2019-02-12 天津大学 一种基于双向多尺度金字塔的语义分割方法
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN110689547A (zh) * 2019-09-25 2020-01-14 重庆大学 一种基于三维ct影像的肺结节分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温佩芝等: "基于卷积神经网络改进的图像自动分割方法", 《计算机应用研究》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017191A (zh) * 2020-08-12 2020-12-01 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112017191B (zh) * 2020-08-12 2023-08-22 西北大学 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN112215267A (zh) * 2020-09-25 2021-01-12 天津大学 一种面向高光谱图像的深度空谱子空间聚类方法
CN112215267B (zh) * 2020-09-25 2022-11-01 天津大学 一种面向高光谱图像的深度空谱子空间聚类方法
CN112200815A (zh) * 2020-10-12 2021-01-08 徐州医科大学附属医院 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN112508973A (zh) * 2020-10-19 2021-03-16 杭州电子科技大学 一种基于深度学习的mri图像分割方法
CN112836710A (zh) * 2021-02-23 2021-05-25 浙大宁波理工学院 一种基于特征金字塔网络的房间布局估计获取方法与系统
WO2022179083A1 (zh) * 2021-02-25 2022-09-01 上海商汤智能科技有限公司 图像检测方法、装置、设备、介质和程序
CN113065551A (zh) * 2021-03-19 2021-07-02 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113065551B (zh) * 2021-03-19 2023-08-08 杭州迪英加科技有限公司 利用深度神经网络模型执行图像分割的方法
CN113643261A (zh) * 2021-08-13 2021-11-12 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法
CN117437207A (zh) * 2023-11-09 2024-01-23 重庆师范大学 一种多专家融合胸部x线影像辅助诊断系统及方法

Also Published As

Publication number Publication date
CN111429473B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN112241966B (zh) 多任务多分类的胸部器官分割模型建立、分割方法及系统
CN108133476B (zh) 一种肺结节自动检测方法及系统
CN113674281B (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN113870258A (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN111275712B (zh) 一种面向大尺度图像数据的残差语义网络训练方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
WO2023005634A1 (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN112150429A (zh) 一种注意力机制引导的肾ct图像分割方法
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN114119516A (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN114677511A (zh) 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN117291935A (zh) 一种头颈瘤病灶区域图像分割方法及计算机可读介质
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
Zhang et al. Femoral image segmentation based on two-stage convolutional network using 3D-DMFNet and 3D-ResUnet
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant