CN115375712B - 一种基于双边学习分支实现实用的肺部病变分割方法 - Google Patents

一种基于双边学习分支实现实用的肺部病变分割方法 Download PDF

Info

Publication number
CN115375712B
CN115375712B CN202211306520.6A CN202211306520A CN115375712B CN 115375712 B CN115375712 B CN 115375712B CN 202211306520 A CN202211306520 A CN 202211306520A CN 115375712 B CN115375712 B CN 115375712B
Authority
CN
China
Prior art keywords
lung
data set
module
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211306520.6A
Other languages
English (en)
Other versions
CN115375712A (zh
Inventor
李林静
牛颢
任志佳
张华�
林海涛
陈波
周怀芳
郭明明
霍建文
刘爽利
罗四维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202211306520.6A priority Critical patent/CN115375712B/zh
Publication of CN115375712A publication Critical patent/CN115375712A/zh
Application granted granted Critical
Publication of CN115375712B publication Critical patent/CN115375712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双边学习分支实现实用的肺部病变分割方法，属于医疗影像技术领域，包括：S1：获取肺部数据集；S2：对所述肺部数据集中的每一张图像进行预处理操作，得到预处理后的肺部数据集；S3：利用病灶图像分割网络对所述预处理后的肺部数据集进行分割，得到病灶区域。本发明能够解决现有卷积神经网络在建模全局信息时全局语义及局部细节的不均衡性、Transformer和多层感知机（MLP）在医疗图像领域普遍存在计算开销较大的问题，能够针对间质性肺炎病灶区域尺寸、形态变化不规则的特点，在精确分割出肺部CT图像中的炎症病变区域的基础上，提高推理速度并降低计算开销。

Description

一种基于双边学习分支实现实用的肺部病变分割方法
技术领域
本发明涉及医疗影像技术领域，具体涉及一种基于双边学习分支实现实用的肺部病变分割方法。
背景技术
间质性肺炎(interstitial pneumonia，IP)是多种原因引起的弥漫性肺疾病，环境中的真菌孢子、有机粉尘、系统性红斑狼疮等均是该病的诱发因素。间质性肺炎对于人体有极大的危害，随着患者病情不断恶化，患者会出现呼吸不畅、酸中毒、缺氧等症状，最严重时会出现呼吸衰竭的情况，进而导致患者死亡。因此，及时有效地筛查间质性肺炎对于最大限度地保护患者的肺功能具有重要意义。
随着机器视觉的快速发展，结合计算机断层扫描(Computed Tomography， CT)可清晰反映肺部实质、间质异常程度的能力，基于深度学习的图像分割方法能够诊断医学图像中的疾病类型，并指出病变位置，成为了一种有效的智能诊断辅助手段，现已得到广泛而深入的研究。基于卷积神经的医学图像分割方法取得了实质性进展，在最具代表性的U-Net的基础上，通过各种创新的卷积结构提高网络特征提取和特征融合能力，不断改进提出了V-Net、U-Net++、用于分割新型冠状肺炎CT图像的网络Inf-Net、基于注意机制和条件随机场的脑胶质瘤分割网络CANet。尽管基于卷积神经网络的方法具有优异的性能，但由于卷积结构中的渐进算子带来的特征局部性，它们在建模全局和上下文信息时仍然具有不平衡的特征，因此卷积结构在对于在纹理、形状和大小方面差异较大的目标具有特征描述上的局限性。
基于Transformer和多层感知机（MLP）在建模全局信息方面具有非常强大的能力，已经在机器翻译和自然语言处理（NLP）领域已经得到了广泛的证明。近期也已在图像分类、目标检测、图像分割等领域达到甚至超过了最先进的水平，开始引领新的趋势。在医疗图像领域，也出现了MedT、MCTrans、UTNet、TransUNet等具有SOTA表现的代表性方法，但普遍存在计算开销较大的特点。
发明内容
本发明的目的在于提供一种基于双边学习分支实现实用的肺部病变分割方法，以解决的现有卷积神经网络在建模全局信息时全局语义及局部细节的不均衡性、Transformer和多层感知机（MLP）在医疗图像领域普遍存在计算开销较大的问题，能够针对间质性肺炎病灶区域尺寸、形态变化不规则的特点，在精确分割出肺部CT图像中的炎症病变区域的基础上，提高推理速度并降低计算开销。
本发明解决上述技术问题的技术方案如下：
本发明提供一种基于双边学习分支实现实用的肺部病变分割方法，包括：
S1：获取肺部数据集；
S2：对所述肺部数据集中的每一张图像进行预处理操作，得到预处理后的肺部数据集；
S3：利用病灶图像分割网络对所述预处理后的肺部数据集进行分割，得到病灶区域。
可选择地，所述步骤S2包括：
S21：对所述肺部数据集中的每一张图像依次进行水平翻转处理，得到水平翻转处理后的肺部数据集；
S22：对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理，得到边缘随机裁剪后的肺部数据集；
S23：对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理，得到预处理后的肺部数据集。
可选择地，所述病灶图像分割网络包括：所述步骤S23包括：
根据病变区域的不规则性，利用三角函数对所述边缘随机裁剪后的肺部数据集中目标图像的每个像素的位置进行变换；所述变换方式为：
Figure 271177DEST_PATH_IMAGE001
其中，
Figure 292223DEST_PATH_IMAGE002
分别表示每个像素变换前的横纵坐标；
Figure 776556DEST_PATH_IMAGE003
分别表示每个像素 变换后的横纵坐标。
可选择地，所述步骤S3包括：
提取所述预处理后的肺部数据集中的多尺度特征，其中，所述多尺度特征包括末三级特征；
对所述末三级特征进行特征融合，得到全局语义特征；
提取所述预处理后的肺部数据集中的细节特征；
对所述全局语义特征和所述细节特征进行融合，得到病灶区域。
可选择地，所述步骤S3中，所述病灶图像分割网络包括特征提取分支，所述特征提取分支包括：
RepVGG网络模块，所述RepVGG网络模块用于提取所述预处理后的肺部数据集中的 多尺度特征且包括多个卷积组件，每个卷积组件包括一个
Figure 733011DEST_PATH_IMAGE004
空洞卷积层、一个
Figure 411117DEST_PATH_IMAGE005
标准 卷积层、一个批量标准化层和一个线性叠加层，各所述卷积组件中的
Figure 94908DEST_PATH_IMAGE004
空洞卷积层和
Figure 542070DEST_PATH_IMAGE005
标准卷积层分别获取上一个卷积组件的输出结果，并分别对该输出结果进行处理后利 用所述线性叠加层进行叠加，之后利用所述批量标准化层输出为相对于所述上一个卷积组 件的输出结果维度降低后的输出结果。
可选择地，所述特征提取分支还包括第一MLPF模块和第二MLPF模块；所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件，所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入，所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入，所述第二MLPF模块的输出作为全局语义特征输出。
可选择地，所述病灶图像分割网络还包括细节提取分支，所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块，所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征，得到细节特征集；所述SUM线性叠加模块用于对所述细节特征集和全局语义特征进行特征融合，得到病灶区域。
本发明具有以下有益效果：
1)RepVGG网络结构在训练中具有多条梯度传播的路径，既可以监督网络不同阶段的训练过程，也可以更好地处理网络深层的梯度消失问题，在此优点的基础上，本发明使用空洞卷积，对于尺寸变化大及形态不规则的肺炎病灶区域分割任务中，能够获取大的感受野以及高维度的结构语义特征，进一步提升特征提取骨干的全局感受；
2)本发明提出的基于深度金字塔聚合的局部细节特征提取分支(DAP)，在不显著增加计算量前提下提取出原图尺寸的细节特征，能对低分辨率的高维结构特征进行补偿；
3)本发明在训练过程中对两个特征提取分支分别使用深度监督模块进行监督训练，增强了分割网络的特征提取能力。
附图说明
图1为本发明基于双边学习分支实现实用的肺部病变分割方法的流程图；
图2为病灶图像分割网络的结构示意图；
图3为RepVGG网络模块的部分结构示意图；
图4为MLPF的结构示意图；
图5为深度金字塔聚合模块（DAP）的结构示意图；
图6为深度监控模块的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1
本发明提供一种基于双边学习分支实现实用的肺部病变分割方法，参考图1所示，所述基于双边学习分支实现实用的肺部病变分割方法包括：
S1：获取肺部数据集；
S2：对所述肺部数据集中的每一张图像进行预处理操作，得到预处理后的肺部数据集；
可选择地，所述步骤S2包括：
S21：对所述肺部数据集中的每一张图像依次进行水平翻转处理，得到水平翻转处理后的肺部数据集；
S22：对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理，得到边缘随机裁剪后的肺部数据集；
S23：对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理，得到预处理后的肺部数据集。
针对肺部影像中存在的亮干扰样本复杂、病变区域尺寸及形态不规则等特点，本发明在模型训练过程中，使用水平翻转、边缘随机裁剪及几何形变3种方法对训练数据集进行在线数据增广，可用于有效提升模型的泛化能力。
针对几何形变：根据病变区域的不规则性，利用三角函数对所述边缘随机裁剪后的肺部数据集中目标图像的每个像素的位置进行变换；所述变换方式为：
Figure 997322DEST_PATH_IMAGE001
其中，
Figure 162724DEST_PATH_IMAGE002
分别表示每个像素变换前的横纵坐标；
Figure 869780DEST_PATH_IMAGE003
分别表示每个像素 变换后的横纵坐标。
S3：利用病灶图像分割网络对所述预处理后的肺部数据集进行分割，得到病灶区域。
可选择地，所述步骤S3包括：
提取所述预处理后的肺部数据集中的多尺度特征，其中，所述多尺度特征包括末三级特征；
对所述末三级特征进行特征融合，得到全局语义特征；
提取所述预处理后的肺部数据集中的细节特征；
对所述全局语义特征和所述细节特征进行融合，得到病灶区域。
可选择地，所述步骤S3中，所述病灶图像分割网络包括特征提取分支。特征提取分支主要由RepVGG网络模块及特征融合模块（MLPF）组成，RepVGG网络提取的末三级特征被MLPF融合后用于表征高维全局语义信息。
所述特征提取分支包括：
RepVGG网络模块，所述RepVGG网络模块用于提取所述预处理后的肺部数据集中的 多尺度特征且包括多个卷积组件，参考图3所示（其中，第一
Figure 437028DEST_PATH_IMAGE004
空洞卷积和第一
Figure 63181DEST_PATH_IMAGE005
标准 卷积表示第一卷积组件中的
Figure 604627DEST_PATH_IMAGE004
空洞卷积层和
Figure 240008DEST_PATH_IMAGE005
标准卷积层，第二
Figure 396183DEST_PATH_IMAGE004
空洞卷积和第 二
Figure 458817DEST_PATH_IMAGE005
标准卷积表示第二卷积组件中的
Figure 208598DEST_PATH_IMAGE004
空洞卷积层和
Figure 647670DEST_PATH_IMAGE005
标准卷积层……灰色小细 框代表批量标准化层；“⊕”表示通道尺寸中特征的线性叠加），每个卷积组件包括一个
Figure 923930DEST_PATH_IMAGE004
空洞卷积层、一个
Figure 157466DEST_PATH_IMAGE005
标准卷积层、一个批量标准化层和一个线性叠加层，各所述卷 积组件中的
Figure 643811DEST_PATH_IMAGE004
空洞卷积层和
Figure 620994DEST_PATH_IMAGE005
标准卷积层分别获取上一个卷积组件的输出结果，并 分别对该输出结果进行处理后利用所述线性叠加层进行叠加，之后利用所述批量标准化层 输出为相对于所述上一个卷积组件的输出结果维度降低后的输出结果。
参考图2所示，考虑到本发明对肺炎病灶区域的识别需要在速度与精度之间达到较好的平衡，使用双边特征融合模块改进RepVGG网络模块用于在Context Branch中作为主干网络提取多尺度特征。
可选择地，所述特征提取分支还包括第一MLPF模块和第二MLPF模块；所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件，所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入，所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入，所述第二MLPF模块的输出作为全局语义特征输出。
基于MLP结构的特征融合模块（MLPF），分别在token及特征通道维度进行信息融 合。MLP结构较为简单，由降维全连接层、Gelu激活函数及升维全连接层三个单元组成。具体 结构如图2的Context Branch（特征提取分支）部分所示，所构造的MLPF模块将RepVGG输出 的1/8，1/16，1/32原图尺寸三级末端特征，逐级融合，并输出1/8原图尺寸的全局语义特征。 其MLPF模块结构如图4所示（其中，黑色小框表示MLP块之前使用的特征归一化，“T”表示 token维度及特征通道维度进行信息交互，“UPS”表示基于双线性插值的上采样操作，“EmB” 代表沿空间维度将（B,C,H,W）的大小扩展到（B,H×W,C）的函数），使用时将待融合高维特征 通过上采样2倍及
Figure 751761DEST_PATH_IMAGE005
卷积单元降低维度后，与低维特征进行线性叠加，最后通过MLP单元 分别在token及特征通道维度进行信息交互，得到该融合模块的特征融合输出。
可选择地，所述病灶图像分割网络还包括细节提取分支，所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块，所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征，得到细节特征集；所述SUM线性叠加模块用于对所述细节特征集和所述全局语义特征进行特征融合，得到病灶区域。
具体地，细节提取分支由多尺度的卷积结构构成的深度金字塔聚合模块（DAP）来 提取局部细节信息。该模块中卷积单元均由由卷积层、批归一化层及Relu激活函数构成，其 详细结构如图5所示（其中，“AVG”代表平均池运算，K表示池化窗口的大小，s表示移动步幅； “UPS”代表基于双线性插值的上采样运算；“concatenate”用于拼接通道维度中的多个特征 图；“
Figure 297143DEST_PATH_IMAGE005
conv”表示卷积核大小为1的卷积；“
Figure 146150DEST_PATH_IMAGE004
conv”表示卷积核大小为3的卷积）。该部 分结构由5个卷积分支组成。每个分支逐个增大下采样尺寸及步长，分别有（size=1,stride =1）、（size=3,stride=1）、（size=5,stride=2）及（size=7,stride=3）四种降采样尺寸，结合 选用
Figure 661445DEST_PATH_IMAGE005
及
Figure 912298DEST_PATH_IMAGE004
的卷积单元数量实现多尺度及充分局部细节信息的提取；并同时对4组特 征并行进行双线性插值上采样为输入图像相同的尺寸及特征通道数；最后进行线性叠加后 作为细节特征分支的输出，使用
Figure 113734DEST_PATH_IMAGE005
卷积层及Sigmoid函数输出与原图相同尺寸的病灶概 率图，其中病灶区域的概率值较高，非病灶区域的概率值较低。
实施例2
本发明提供的基于双边学习分支实现实用的肺部病变分割方法还可以为：
S1：获取肺部数据集；
其中，肺部数据集包括肺部图像训练集和肺部图像测试集。
S2：对所述肺部图像训练集中的每一张图像进行预处理操作，得到预处理后的肺部图像训练集；
S3：利用所述肺部图像训练集对原始病灶图像分割网络进行训练，得到训练好的病灶图像分割网络；
S4：利用所述训练好的病灶图像分割网络对所述肺部图像测试集进行分割，得到病灶区域。
在此实施例中，预处理操作和实施例1相同，在此不做赘述。
需要说明的是，本实施例中提供的原始病灶图像分割网络中，第二MLPF模块还用于获取标签（图2中Label），因此，在训练阶段，第二MLPF模块的输入同时包括标签、第一MLPF模块的输出和第四卷积组件的输出。
此外，为增强分割网络的特征提取能力，本发明在训练过程中对两个特征提取分支分别使用深度监督模块（SEG）进行监督训练，深度监督模块设置在细节提取分支上（参考图2所示），模块结构参考图6所示，其中，“UPS”表示基于双线性插值的上采样操作，“Sigmoid”代表Sigmoid函数，“Label”代表正确的标签。
SEG对Context Branch输出的特征进行辅助监督训练，用于提升高维特征的全局 信息提取能力，最后对分割网络的最终输出结果进行主要监督训练。本发明根据不同特征 的重要性对监督训练损失添加权重进行平衡，其中最终输出的损失权重占据最大权重，监 督分支权重较小。在测试阶段直接丢弃辅助监督训练分支，直接将最终输出作为输出结果， 则不会额外增加任何模型参数。每个训练分支首先使用双线性插值上采样到原图尺寸，再 使用
Figure 450038DEST_PATH_IMAGE005
卷积层输出单层特征，最后与标签进行计算损失。
通常使用交叉熵损失来计算输出与标签之间每个像素之间的差异，并取所有像素 差异的均值作为训练模型的目标损失函数。在肺炎病灶分割的二分类任务中，属于前景及 背景的像素数量存在严重不均衡，并且背景图像中还存在大量与肺炎区域相似的困难样 本，比如结节、纹理等，这容易导致模型训练过程会逐渐倾向于对背景的识别，降低对前景 的识别能力。Dice系数是一种度量两种集合之间相似度的度量函数。令P和Y分别表示图像 通过分割网络输出的概率特征图及真实标签，其Dice系数
Figure 769024DEST_PATH_IMAGE006
如下：
Figure 15328DEST_PATH_IMAGE007
Figure 761567DEST_PATH_IMAGE008
为避免标签及预测皆为0时情况。为使得该函数能够用于模型训练，以及更易于 收敛，将预测及标签都用平方表示，则得到损失函数如下：
Figure 319588DEST_PATH_IMAGE009
损失很好的避免了样本不均衡的问题，平方数则可以增大困难前景样本的损失权重。根据本文提出的多级特征深度监督方法，在训练过程中所使用的损失函数为：
Figure 442265DEST_PATH_IMAGE010
其中
Figure 526764DEST_PATH_IMAGE011
及
Figure 443905DEST_PATH_IMAGE012
分别表示标签与最终输出、Context Branch输出的监督损失，
Figure 754800DEST_PATH_IMAGE013
表示监督损失的权重，本发明中设置为0.4。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双边学习分支实现实用的肺部病变分割方法，其特征在于，包括：
S1：获取肺部数据集；
S2：对所述肺部数据集中的每一张图像进行预处理操作，得到预处理后的肺部数据集；
S3：利用病灶图像分割网络对所述预处理后的肺部数据集进行分割，得到病灶区域；
所述步骤S3中，所述病灶图像分割网络包括特征提取分支，所述特征提取分支包括：
RepVGG网络模块，所述RepVGG网络模块用于提取所述预处理后的肺部数据集中的多尺度特征且包括多个卷积组件，每个卷积组件包括一个
Figure 315167DEST_PATH_IMAGE001
空洞卷积层、一个
Figure 30051DEST_PATH_IMAGE002
标准卷积层、一个批量标准化层和一个线性叠加层，各所述卷积组件中的
Figure 554573DEST_PATH_IMAGE001
空洞卷积层和
Figure 105640DEST_PATH_IMAGE002
标准卷积层分别获取上一个卷积组件的输出结果，并分别对该输出结果进行处理后利用所述线性叠加层进行叠加，之后利用所述批量标准化层输出为相对于所述上一个卷积组件的输出结果维度降低后的输出结果。
2.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法，其特征在于，所述步骤S2包括：
S21：对所述肺部数据集中的每一张图像依次进行水平翻转处理，得到水平翻转处理后的肺部数据集；
S22：对所述水平翻转处理后的肺部数据集中的每一张图像进行边缘随机裁剪处理，得到边缘随机裁剪后的肺部数据集；
S23：对所述边缘随机裁剪后的肺部数据集中的每一张图像进行几何形变处理，得到预处理后的肺部数据集。
3.根据权利要求2所述的基于双边学习分支实现实用的肺部病变分割方法，其特征在于，所述病灶图像分割网络包括：所述步骤S23包括：
根据病变区域的不规则性，利用三角函数对所述边缘随机裁剪后的肺部数据集中目标图像的每个像素的位置进行变换；所述变换方式为：
Figure 390122DEST_PATH_IMAGE003
其中，
Figure 710245DEST_PATH_IMAGE004
分别表示每个像素变换前的横纵坐标；
Figure 936827DEST_PATH_IMAGE005
分别表示每个像素变换后的横纵坐标。
4.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法，其特征在于，所述步骤S3包括：
提取所述预处理后的肺部数据集中的多尺度特征，其中，所述多尺度特征包括末三级特征；
对所述末三级特征进行特征融合，得到全局语义特征；
提取所述预处理后的肺部数据集中的细节特征；
对所述全局语义特征和所述细节特征进行融合，得到病灶区域。
5.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法，其特征在于，所述特征提取分支还包括第一MLPF模块和第二MLPF模块；所述多个卷积组件包括第四卷积组件、第五卷积组件和第六卷积组件，所述第五卷积组件的输出结果和所述第六卷积组件的输出结果同时作为所述第一MLPF模块的输入，所述第一MLPF模块的输出结果和所述第四卷积组件的输出结果同时作为所述第二MLPF模块的输入，所述第二MLPF模块的输出作为全局语义特征输出。
6.根据权利要求1所述的基于双边学习分支实现实用的肺部病变分割方法，其特征在于，所述病灶图像分割网络还包括细节提取分支，所述细节提取分支包括深金字塔聚合模块和SUM线性叠加模块，所述深金字塔聚合模块用于提取所述预处理后的肺部数据集中每一张图像的细节特征，得到细节特征集；所述SUM线性叠加模块用于对所述细节特征集和全局语义特征进行特征融合，得到病灶区域。
CN202211306520.6A 2022-10-25 2022-10-25 一种基于双边学习分支实现实用的肺部病变分割方法 Active CN115375712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211306520.6A CN115375712B (zh) 2022-10-25 2022-10-25 一种基于双边学习分支实现实用的肺部病变分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211306520.6A CN115375712B (zh) 2022-10-25 2022-10-25 一种基于双边学习分支实现实用的肺部病变分割方法

Publications (2)

Publication Number Publication Date
CN115375712A CN115375712A (zh) 2022-11-22
CN115375712B true CN115375712B (zh) 2023-03-17

Family

ID=84072843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211306520.6A Active CN115375712B (zh) 2022-10-25 2022-10-25 一种基于双边学习分支实现实用的肺部病变分割方法

Country Status (1)

Country Link
CN (1) CN115375712B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630303A (zh) * 2023-07-11 2023-08-22 安徽中医药大学 胸部ct影像分类模型训练方法、分类方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233117A (zh) * 2020-12-14 2021-01-15 浙江卡易智慧医疗科技有限公司 一种新冠肺炎ct检测识别定位系统及计算设备
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN114708278A (zh) * 2022-04-02 2022-07-05 西安邮电大学 一种基于cgan的新冠肺炎ct图像分割方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN109978838B (zh) * 2019-03-08 2021-11-30 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110853011B (zh) * 2019-11-11 2022-05-27 河北工业大学 用于肺结节检测的卷积神经网络模型的构建方法
CN112950643B (zh) * 2021-02-26 2024-04-05 东北大学 基于特征融合深监督U-Net的新冠肺炎病灶分割方法
CN112927237A (zh) * 2021-03-10 2021-06-08 太原理工大学 基于改进SCB-Unet网络的蜂窝肺病灶分割方法
CN114972248A (zh) * 2022-05-24 2022-08-30 广州市华奕电子科技有限公司 基于注意力机制改进的U-net肝肿瘤分割方法
CN114937022B (zh) * 2022-05-31 2023-04-07 天津大学 一种新型冠状肺炎的疾病检测分割方法
CN115018824B (zh) * 2022-07-21 2023-04-18 湘潭大学 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233117A (zh) * 2020-12-14 2021-01-15 浙江卡易智慧医疗科技有限公司 一种新冠肺炎ct检测识别定位系统及计算设备
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN114708278A (zh) * 2022-04-02 2022-07-05 西安邮电大学 一种基于cgan的新冠肺炎ct图像分割方法

Also Published As

Publication number Publication date
CN115375712A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN107492071A (zh) 医学图像处理方法及设备
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
CN110738663A (zh) 双域适应模块金字塔型网络及无监督域适应图像分割方法
CN115375712B (zh) 一种基于双边学习分支实现实用的肺部病变分割方法
CN113468996A (zh) 一种基于边缘细化的伪装物体检测方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113888466A (zh) 一种基于ct图像的肺结节图像检测方法及系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN117710760A (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
Wu et al. Continuous Refinement-based Digital Pathology Image Assistance Scheme in Medical Decision-Making Systems
Jiang et al. Images denoising for COVID-19 chest X-ray based on multi-resolution parallel residual CNN
Qin et al. Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization
Merati et al. A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms.
CN117036658A (zh) 一种图像处理方法及相关设备
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
CN114332278A (zh) 一种基于深度学习的octa图像运动矫正方法
CN114332463A (zh) 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质
Wang et al. PCRTAM-Net: A novel pre-activated convolution residual and triple attention mechanism network for retinal vessel segmentation
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN115984161B (zh) 一种基于3dcnn和双分支结构技术的肺部结节检测方法
CN117635543B (zh) 一种金属内部缺陷正向追踪和故障反向定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant