CN114219817A - 新冠肺炎ct图像分割方法及终端设备 - Google Patents
新冠肺炎ct图像分割方法及终端设备 Download PDFInfo
- Publication number
- CN114219817A CN114219817A CN202210159423.2A CN202210159423A CN114219817A CN 114219817 A CN114219817 A CN 114219817A CN 202210159423 A CN202210159423 A CN 202210159423A CN 114219817 A CN114219817 A CN 114219817A
- Authority
- CN
- China
- Prior art keywords
- convolution
- module
- image
- conv
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 37
- 238000003709 image segmentation Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 44
- 230000007246 mechanism Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000002591 computed tomography Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 230000004580 weight loss Effects 0.000 description 9
- 208000025721 COVID-19 Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003757 reverse transcription PCR Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009833 condensation Methods 0.000 description 2
- 230000005494 condensation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000005338 frosted glass Substances 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 108020000999 Viral RNA Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种新冠肺炎CT图像分割方法及终端设备,方法包括获取待分割新冠肺炎CT图像;将该图像输入至训练好的分割模型中,得到新冠肺炎病灶区域的图像;其中分割模型包括依次连接的多个下采样模块和下采样模块对应的上采样模块;每个采样模块均包括依次连接的第一提取单元和第二提取单元;上述两个提取单元的卷积模块均为结构重参数化卷积模块。本发明的结构重参数化卷积模块为训练时使用多分支结构,加强模型表达能力,推理时使用单路结构,加快推理速度,快速得出诊断结果。同时,为从不同尺度特征图中学习分层表示,加强模型对图像边缘信息提取,并使梯度更快回流,上采样每一侧输出都连接混合损失函数,实现图像的像素级分割。
Description
技术领域
本发明属于医学图像分割技术领域,具体涉及新冠肺炎CT图像分割方法及终端设备,尤其是一种基于结构重参数化与多尺度动态权重损失的新冠肺炎CT图像分割方法及终端设备。
背景技术
新冠病毒主要通过呼吸道传播,也可通过环境接触传播。研究表明新冠肺炎(COVID-19)远不止一种呼吸系统疾病,而是一种多系统疾病,它会对包括心脏、肾脏、神经系统多个人体器官造成伤害。
逆转录聚合酶链反应被确立为COVID-19筛选的金标准。RT-PCR(ReverseTranscription-Polymerase Chain Reaction)能够通过鼻咽拭子、口咽拭子,支气管肺泡灌洗液或气管抽吸物获得标本中病毒RNA。但是,研究表明,PR-PCR检测的假阴性率高,灵敏度低,约为71%,需要重复检测才能保证准确率。
随着人工智能的迅速发展,计算机断层扫描(Computed Tomography, CT) 以其密度分辨率高、图像清晰、解剖关系明确、成本低、无创性等优点,在COVID-19的筛查、诊断、治疗等各个阶段发挥着重大作用。
从患者肺部的CT图像中自动分割病变区域,可以有效帮助建立诊断和治疗的定量模型,以增强传统的医疗战略,以应对新冠肺炎疫情。然而,新冠肺炎患者的CT感染特征具有高度多样性,感染组织与正常组织之间低强度对比度。逐像素标记病变信息需要专业医生花费大量时间与精力来标记,故对自动准确分割新冠肺炎感染区域提出迫切要求。
发明内容
本发明提供了一种新冠肺炎CT图像分割方法及终端设备,从而解决现有技术中难以精确分割新冠肺炎病灶区域的技术问题。
本发明内容的第一方面公开了一种新冠肺炎CT图像分割方法,包括:
获取待分割图像,所述待分割图像为新冠肺炎CT图像;
将所述待分割图像输入至训练好的分割模型中,得到新冠肺炎病灶区域的图像;
所述分割模型为卷积神经网络模型,包括依次连接的多个下采样模块和与所述下采样模块对应的上采样模块;
每个所述采样模块均包括依次连接的第一提取单元和第二提取单元;
所述第一提取单元和所述第二提取单元中的卷积模块均为结构重参数化卷积模块。
优选地,所述第一提取单元和所述第二提取单元均包括结构重参数化卷积模块,具体地,所述第一提取单元包括Conv A卷积模块,所述第二提取单元包括Conv B卷积模块;
所述Conv A卷积模块包括一个3×3卷积分支拓扑结构和一个1×1卷积分支拓扑结构;
所述Conv B卷积模块包括一个3×3卷积分支拓扑结构、一个1×1卷积分支拓扑结构和一个恒等分支拓扑结构;
每条分支拓扑结构均与一个批归一化模块连接;
训练所述分割模型时,采用所述Conv A卷积模块和Conv B卷积模块多分支结构进行训练;
利用所述分割模型推理时,将所述Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构进行推理。
优选地,将所述Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构进行推理,包括:
将卷积模块与批归一化模块融合;
融合后,在进行训练与推理模型等价变换时,将恒等分支视为对应通道权重为1的1×1卷积分支拓扑结构;分别将Conv A卷积模块和Conv B卷积模块中的1×1卷积分支拓扑结构填充补零到3×3的卷积中,将得到的3×3的卷积与对应卷积模块内的3×3卷积分支拓扑结构的对应位置相加,完成等效变换;
所述将卷积模块与批归一化模块融合,包括:
利用第一公式将所述Conv A卷积模块的3×3卷积分支拓扑结构、1×1卷积分支拓扑结构与批归一化模块融合,所述第一公式为:
利用第二公式将所述Conv B卷积模块的3×3卷积分支拓扑结构、1×1卷积分支拓扑结构和恒等分支拓扑结构与批归一化模块融合,所述第二公式为:
式中,、、 、 分别为所述恒等分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置; 、、、分别为所述1×1卷积分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置,、、、分别为所述3×3卷积分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置,为输入,为输出,
优选地,所述第一提取单元和所述第二提取单元还包括与所述卷积模块连接的注意力机制和与所述注意力机制连接的激活层;
所述注意力机制为协调注意力机制,对所述卷积模块输出的特征进行位置与通道方向的提取;
所述激活层使用ReLU激活函数。
优选地,协调注意力机制对所述卷积模块输出的特征进行位置与通道方向的提取,包括:
利用第三公式对卷积模块输出的特征进行提取,所述第三公式为:
优选地,每个所述上采样模块的输出侧都连接有混合损失函数,所述混合损失函数为根据交叉熵损失函数和dice损失函数确定的混合损失函数。
优选地,所述混合损失函数根据第四公式确定,所述第四公式为:
式中,、、、为多尺度特征,其中,、、、为动态学习权重因子,为第一层解码器的32×32的标签数据,为第二层解码器的64×64的标签数据,为第三层解码器的128×128的标签数据,为原始标签数据,和为系数因子,为交叉熵损失函数,为dice损失函数。
优选地,在将所述待分割图像输入至训练好的分割模型中之前,还包括:
对所述待分割图像进行预处理。
优选地,所述预处理包括数据增强和标签数据多尺度处理;
所述数据增强包括随机旋转、随机裁剪、亮度变换、锐化增强和随机噪声。
本发明内容的第二方面公开了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明相对于现有技术,具有如下有益效果:
本发明方法的卷积模块为结构重参数化卷积模块,训练时使用多分支结构,加强模型表达能力,推理时使用单路结构,加快推理速度,在高传染疫情情况下,快速得出诊断结果。同时,为从不同尺度特征图中学习分层表示,加强模型对图像边缘信息提取,并使梯度更快回流,上采样每一侧输出都连接混合损失函数,实现新冠肺炎CT图像的像素级分割。
附图说明
图1为本发明实施例提供的新冠肺炎CT图像分割方法的概要流程图;
图2和图3为本发明实施例提供的新冠肺炎CT图像分割方法的详细流程图;
图4中的(a)为本发明实施例提供的 Conv A卷积模块的结构示意图,(b)为本发明实施例提供的Conv B卷积模块的结构示意图;
图5为本发明实施例提供的卷积模块训练与推理时的结构示意图;
图6中的(A)为Conv A卷积模块训练与推理等价变换结构图;(B)为Conv A卷积模块和Conv B卷积模块训练与推理等价变换参数图;(C)为Conv B卷积模块训练与推理等价变换结构图;
图7为本发明实施例提供的协调注意力机制的结构示意图;
图8为本发明实施例提供的多尺度动态权重损失方法的结构示意图;
图9为将本发明的方法应用于具体的实施例中得到的下采样第三层热力图,图9中的(a)为原始图像;(b)为Unet模型热力图;(c)为本发明方法热力图;(d)为标签数据;
图10为将本发明的方法应用于具体的实施例中得到的分割结果图,图10中的(a)为原始新冠肺炎CT图像,(b)为真实地面数据,(c)为没有加动态权重损失方法的分割图像,(d)为利用本发明方法得到的分割图像。
具体实施方式
下文将结合附图以及具体实施案例对本发明的技术方案做更进一步的详细说明。应当了解,下列实施例仅为示例性地说明和解释本发明,而不应被解释为对本发明保护范围的限制。凡基于本发明上述内容所实现的技术均涵盖在本发明旨在保护的范围内。
如图1至图3所示,本发明的一种新冠肺炎CT图像分割方法,其特征是,包括:
步骤1、获取待分割图像,其中待分割图像为新冠肺炎CT图像。
步骤2、将待分割图像输入至训练好的分割模型中,得到新冠肺炎病灶区域的图像。
本发明实施例中,分割模型为卷积神经网络模型,包括依次连接的多个下采样模块和与下采样模块对应的上采样模块;
每个采样模块均包括依次连接的第一提取单元和第二提取单元;
第一提取单元和第二提取单元中的卷积模块均为结构重参数化卷积模块。
本发明实施例中,第一提取单元和第二提取单元均包括结构重参数化卷积模块,具体地,第一提取单元包括Conv A卷积模块,第二提取单元包括Conv B卷积模块;
Conv A卷积模块包括一个3×3卷积分支拓扑结构和一个1×1卷积分支拓扑结构;
Conv B卷积模块包括一个3×3卷积分支拓扑结构、一个1×1卷积分支拓扑结构和一个恒等分支拓扑结构;
每条分支拓扑结构均与一个批归一化模块(Batch Normalization模块,简称BN模块)连接,实现对每条分支拓扑结构的归一化,然后将每条分支提取的特征相加;
训练分割模型时,采用Conv A卷积模块和Conv B卷积模块的多分支结构进行训练,加强模型表达能力;
利用分割模型推理时,将Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构进行推理,加快推理速度,在高传染疫情情况下,快速得出诊断结果。
上述Conv A卷积模块的结构如图4中(a)所示,Conv B卷积模块的结构如图4中(b)所示。
本发明在训练时采用多分支结构,加强模型表达能力。再通过将训练结构对应的参数等价转换为推理结构对应的另一组参数,将训练网络与推理网络解耦(如图5所示),推理时使用单路结构,加快推理速度,在高传染疫情情况下,快速得出诊断结果。
上述将Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构过程为:
将训练好的Conv A与Conv B卷积模块等价转换为单个3×3卷积结构进行推理时,首先将卷积层与BN层融合。
对于恒等分支BN表达式为:
对于1×1卷积分支与3×3卷积分支BN计算表达式为:
令:
则:
则对于Conv A卷积模块,可知:
则对于Conv B卷积模块,可知:
其中,C1、C2分别代表输入、输出通道数;、、、分别代表BN层的均值、方差、缩放因子和偏置;、、 、 代表恒等分支BN层的均值、方差、缩放因子和偏置;、、、与、、、分别代表1×1卷积分支与3×3卷积分支BN层的均值、方差、缩放因子、偏置。代表输入,代表输出,i表示在C2输出通道中进行的BN操作,,*为卷积操作。
在进行训练与推理模型等价变换时,将恒等分支视为对应通道权重为1的1×1卷积。故可得到一种3×3的卷积,两种1×1的卷积,三种偏置向量。通过将1×1的卷积填充补零到3×3的卷积,然后与原先3×3的卷积对应位置相加,并将三个偏置向量进行相加,得到最终偏置量,即得到最终的3×3卷积核。具体转换过程如图6所示。
进一步地,第一提取单元和第二提取单元还包括与卷积模块连接的注意力机制和与注意力机制连接的激活层(即图5中的修正线性单元);
其中注意力机制为协调注意力机制,对卷积模块输出的特征进行提取,具体地:
利用第三公式对卷积模块输出的特征进行提取,第三公式为:
在生物医学图像实际分割任务中,复杂的背景可能会对分割结果产生严重的影响。使用注意力机制对前景特征进行加权输出,降低背景特征的权重,使模型更加关注目标区域。而现有的分割算法并未同时关注位置信息和通道信息,而不同的通道具有不同的贡献,每个通道的不同空间位置可以为特征分割赋予不同的权重。因此,本申请使用协调注意力机制,以综合通道和空间方向维度最具信息量的特征用于分割。通过协调注意力机制对提取特征的相关区域进行增强,对非相关区域进行抑制。该体系结构如图7所示。
为了使通道信息在空间上捕捉远程交互,公式(7)(8)将输入特征分解为水平方向和垂直方向的一维特征,该操作能同时捕获位置和空间敏感信息。
通过Concat操作将两个维度的特征图进行拼接,1×1卷积进一步压缩通道数量,BN使特征矩阵进行归一化,再经过非线性变换,最终位置信息嵌入到通道中。其过程表达式如式(9)。
通过Split将得到的特征图再进行水平和垂直方向的拆分,1×1的卷积恢复通道数量,经过Sigmoid操作,得到水平和垂直方向的权重矩阵。形式化定义如式(10)和式(11)。
本发明实施例的激活层使用ReLU激活函数,其存在使网络训练更快、增加网络的非线性、防止梯度消失和使网格具有稀疏性,减少过拟合现象等优点。
为了从多尺度特征图中学习层次表示,本申请的新冠肺炎CT图像分割方法采用了多尺度深度监督。与Unet中对生成的全分别率特征图进行监督不同,本发明方法在每个解码器阶段都产生一个侧面输出,每个侧面输出由多尺度标签数据进行监督。为实现多尺度深度监督,每个解码器的最后一层送到Conv A卷积模块、ConvB卷积模块,再经过1×1卷积,提取多尺度特征并进行降维,输出、、。同时为了进一步加强深度监督,将解码器每一层提取的降维后的多尺度特征进行双线性上采样,得到对应全尺度特征图、、。
为进一步增强分割效果,本发明提出一种多尺度动态权重损失方法,如图8所示。为让梯度更快回流,计算解码器每层提取的全尺度特征图为:
新冠肺炎医学图像存在正负样本分布极不平衡,肺部磨玻璃病灶在整个图像上占比极小,使用单一损失函数进行优化时,磨玻璃区域对应的梯度更新容易受到无关背景区域梯度的影响,导致网络训练困难的问题。为此,本申请提出了一种混合损失函数方法。通过组合交叉熵损失函数和dice损失函数,并适配适当的系数因子优化模型。混合损失函数为:
整体网络损失函数计算式为:
其中:
优选地,在将待分割图像输入至训练好的分割模型中之前,还包括:
对待分割图像进行预处理,具体包括数据增强和标签数据多尺度处理。
其中,数据增强用于将待分割的COVID-19的数据集进行随机旋转、随机裁剪、亮度变换、锐化增强、随机噪声。图像旋转实现图像在角度范围内的改变。USM算法可以去除细小的干扰细节和图像噪声,较直接使用卷积锐化算子得到的图像更可靠。随机噪声对图像的每个像素进行随机扰动,增强网络学习能力,提高鲁棒性。
标签数据多尺度处理具体为使用opencv2对标签数据进行多尺度处理。
为验证本发明方法的有效性,利用本发明的方法分割新冠肺炎CT图像,并将所得结果与利用Unet模型分割方法分割的结果进行对比。其中图9为下采样第三层热力图,图9中的(a)为原始图像;(b)为Unet模型热力图;(c)本申请所提方法热力图;(d)为标签数据。从图9可以得知,本发明的方法可以重点关注感染区域,抑制无关背景区域。图10为分割结果图,图10中第一列为原始新冠肺炎CT图像,第二列为真实地面数据,第三列为没有加动态权重损失方法的分割图像,第四列为利用本发明方法得到的分割图像。从图10可以看出,本发明的方法可以实现像素级的精确分割,分割效果佳。
进一步地,本发明还从误差分析角度,说明了方法的有效性。各个模型所得误差如表1所示。
表1 模型误差
表1中,Base表示Unet模型,Rep表示结构重参数化方法,CA表示协调注意力机制;从表1可以看出,本发明方法在灵敏度、特异度、精确性和Dice方面均具有最佳的效果。
本发明内容的第二方面公开了一种终端设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
本发明的分割模型采用Encoder-Decoder结构,主要由Conv A卷积模块、Conv B卷积模块、协调注意力机制组成。图像首先被输入至Conv A 卷积模块,然后通过协调注意力机制提取空间和位置信息,再经过ReLU激活函数、Conv B卷积模块、协调注意力机制、ReLU激活函数进行特征提取,经过四个下采样组进行降维,再经过四个上采样组恢复特征信息。最后通过不同尺度的预测结果与标签计算损失函数,不断优化网络参数,实现新冠肺炎CT图像的准确分割。本发明构建的多尺度动态权重损失,可加强监督,最小化损失函数,从而对分割网络进行优化。
本发明具体为一种基于结构重参数化与多尺度动态权重损失的新冠肺炎CT图像分割方法,包括获取新冠肺炎分割的训练数据集,并对训练数据集进行数据增强操作;建立Conv A和Conv B卷积模块,将训练网络与推理网络进行解耦;运用协调注意力机制对提取特征的相关区域进行增强,对非相关区域进行抑制;为从不同尺度特征图中学习分层表示,加强模型对图像边缘信息提取,并使梯度更快回流,上采样每一侧输出都连接混合损失函数,实现图像的像素级分割。通过建立基于结构重参数化与多尺度动态权重损失智能分割模型(WD-UNet),将增强后的数据输入到智能模型,通过多尺度动态权重的损失不断迭代并优化智能模型,实现新冠肺炎CT图像的像素级精确分割。该方法训练时使用多分支结构,加强模型表达能力,推理时使用单路结构,加快推理速度,快速得出诊断结果。同时,上采样每一侧输出都连接混合损失函数,实现图像的像素级分割,为新冠疫情情况下,新冠肺炎CT医学图像处理提供一种新的分割方法,具有临床应用价值。
本发明利用增强后的训练集中的新冠肺炎CT图像构建结构重参数化与多尺度动态权重损失融合的深度可分离卷积智能模型,通过迭代学习并不断优化,最终将深度可分离卷积智能模型输出的新冠肺炎像素级分割结果作为预测值。
上述只是本发明的较佳实施例,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围的情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均应落在本发明技术方案保护的范围内。
Claims (9)
1.一种新冠肺炎CT图像分割方法,其特征是,包括:
获取待分割图像,所述待分割图像为新冠肺炎CT图像;
将所述待分割图像输入至训练好的分割模型中,得到新冠肺炎病灶区域的图像;
所述分割模型为卷积神经网络模型,包括依次连接的多个下采样模块和与所述下采样模块对应的上采样模块;
每个所述采样模块均包括依次连接的第一提取单元和第二提取单元;
所述第一提取单元和所述第二提取单元均包括结构重参数化卷积模块,具体地,所述第一提取单元包括Conv A卷积模块,所述第二提取单元包括Conv B卷积模块;
所述Conv A卷积模块包括一个3×3卷积分支拓扑结构和一个1×1卷积分支拓扑结构;
所述Conv B卷积模块包括一个3×3卷积分支拓扑结构、一个1×1卷积分支拓扑结构和一个恒等分支拓扑结构;
每条分支拓扑结构均与一个批归一化模块连接;
训练所述分割模型时,采用所述Conv A卷积模块和Conv B卷积模块进行多分支结构训练;
利用所述分割模型推理时,将所述Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构进行推理。
2.如权利要求1所述的方法,其特征是,将所述Conv A卷积模块和Conv B卷积模块均等效为3×3卷积结构进行推理,包括:
将卷积模块与批归一化模块融合;
融合后,在进行训练与推理模型等价变换时,将恒等分支视为对应通道权重为1的1×1卷积分支拓扑结构;分别将Conv A卷积模块和Conv B卷积模块中的1×1卷积分支拓扑结构填充补零到3×3的卷积,将得到的3×3的卷积与对应卷积模块内的3×3卷积分支拓扑结构的对应位置相加,完成等效变换;
所述将卷积模块与批归一化模块融合,包括:
利用第一公式将所述Conv A卷积模块的3×3卷积分支拓扑结构、1×1卷积分支拓扑结构与批归一化模块融合,所述第一公式为:
利用第二公式将所述Conv B卷积模块的3×3卷积分支拓扑结构、1×1卷积分支拓扑结构和恒等分支拓扑结构与批归一化模块融合,所述第二公式为:
式中, 、、 、 分别为所述恒等分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置;、、、分别为所述1×1卷积分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置,、、、分别为所述3×3卷积分支拓扑结构的批归一化模块的均值、方差、缩放因子和偏置,为输入,为输出,
3.如权利要求1所述的方法,其特征是,所述第一提取单元和所述第二提取单元还包括与所述卷积模块连接的注意力机制和与所述注意力机制连接的激活层;
所述注意力机制为协调注意力机制,对所述卷积模块输出的特征进行位置与通道方向的提取;
所述激活层使用ReLU激活函数。
5.如权利要求1-4任一项所述的方法,其特征是,每个所述上采样模块的输出侧都连接有混合损失函数,所述混合损失函数为根据交叉熵损失函数和dice损失函数确定的混合损失函数。
7.如权利要求1所述的方法,其特征是,在将所述待分割图像输入至训练好的分割模型中之前,还包括:
对所述待分割图像进行预处理。
8.如权利要求7所述的方法,其特征是,所述预处理包括数据增强和标签数据多尺度处理;
所述数据增强包括随机旋转、随机裁剪、亮度变换、锐化增强和随机噪声。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征是,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210159423.2A CN114219817A (zh) | 2022-02-22 | 2022-02-22 | 新冠肺炎ct图像分割方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210159423.2A CN114219817A (zh) | 2022-02-22 | 2022-02-22 | 新冠肺炎ct图像分割方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114219817A true CN114219817A (zh) | 2022-03-22 |
Family
ID=80709174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210159423.2A Pending CN114219817A (zh) | 2022-02-22 | 2022-02-22 | 新冠肺炎ct图像分割方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219817A (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462102A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
CN112017198A (zh) * | 2020-10-16 | 2020-12-01 | 湖南师范大学 | 基于自注意力机制多尺度特征的右心室分割方法及装置 |
CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位系统及计算设备 |
CN112529886A (zh) * | 2020-12-18 | 2021-03-19 | 西北工业大学 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
CN113095479A (zh) * | 2021-03-22 | 2021-07-09 | 北京工业大学 | 一种基于多尺度注意力机制的冰下层结构提取方法 |
CN113160850A (zh) * | 2021-04-27 | 2021-07-23 | 广州国音智能科技有限公司 | 一种基于重参数化的解耦方式的音频特征提取方法及装置 |
CN113192074A (zh) * | 2021-04-07 | 2021-07-30 | 西安交通大学 | 一种适用于octa图像的动静脉自动化分割方法 |
CN113284149A (zh) * | 2021-07-26 | 2021-08-20 | 长沙理工大学 | Covid-19胸部ct图像识别方法、装置及电子设备 |
CN113298818A (zh) * | 2021-07-09 | 2021-08-24 | 大连大学 | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 |
CN113642606A (zh) * | 2021-07-13 | 2021-11-12 | 浙江工商大学 | 一种基于注意力机制的海上舰船检测方法 |
CN114021603A (zh) * | 2021-10-25 | 2022-02-08 | 哈尔滨工程大学 | 一种基于模型重参数化的雷达信号调制方式识别方法 |
CN114066871A (zh) * | 2021-11-19 | 2022-02-18 | 江苏科技大学 | 一种新冠肺炎病灶区域分割模型训练的方法 |
-
2022
- 2022-02-22 CN CN202210159423.2A patent/CN114219817A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462102A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
CN112017198A (zh) * | 2020-10-16 | 2020-12-01 | 湖南师范大学 | 基于自注意力机制多尺度特征的右心室分割方法及装置 |
CN112233117A (zh) * | 2020-12-14 | 2021-01-15 | 浙江卡易智慧医疗科技有限公司 | 一种新冠肺炎ct检测识别定位系统及计算设备 |
CN112529886A (zh) * | 2020-12-18 | 2021-03-19 | 西北工业大学 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
CN113095479A (zh) * | 2021-03-22 | 2021-07-09 | 北京工业大学 | 一种基于多尺度注意力机制的冰下层结构提取方法 |
CN113192074A (zh) * | 2021-04-07 | 2021-07-30 | 西安交通大学 | 一种适用于octa图像的动静脉自动化分割方法 |
CN113160850A (zh) * | 2021-04-27 | 2021-07-23 | 广州国音智能科技有限公司 | 一种基于重参数化的解耦方式的音频特征提取方法及装置 |
CN113298818A (zh) * | 2021-07-09 | 2021-08-24 | 大连大学 | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 |
CN113642606A (zh) * | 2021-07-13 | 2021-11-12 | 浙江工商大学 | 一种基于注意力机制的海上舰船检测方法 |
CN113284149A (zh) * | 2021-07-26 | 2021-08-20 | 长沙理工大学 | Covid-19胸部ct图像识别方法、装置及电子设备 |
CN114021603A (zh) * | 2021-10-25 | 2022-02-08 | 哈尔滨工程大学 | 一种基于模型重参数化的雷达信号调制方式识别方法 |
CN114066871A (zh) * | 2021-11-19 | 2022-02-18 | 江苏科技大学 | 一种新冠肺炎病灶区域分割模型训练的方法 |
Non-Patent Citations (6)
Title |
---|
DHIRAJ MAJI 等: "Attention Res-UNet with Guided Decoder for semantic segmentation of brain tumors", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 * |
JIANXIN ZHANG 等: "3D asymmetric expectation-maximization attention network for brain tumor segmentation", 《NMR IN BIOMEDICINE》 * |
QIBIN HOU 等: "Coordinate Attention for Efficient Mobile Network Design", 《ARXIV:2103.02907V1 [CS.CV]》 * |
XIAOHAN DING 等: "RepVGG: Making VGG-style ConvNets Great Again", 《ARXIV:2101.03697V3 [CS.CV]》 * |
YINGHAN GUAN 等: "Qnet: Convolutional Network and Semantic segmentation with Attention for Computer Cells Image Processing Technology", 《ICECCE 2021》 * |
YUHONG ZHENG 等: "RepUNet:A Fast Image Semantic Segmentation Model Based on Convolutional Reparameterization of Ship Satellite Images", 《2021 6TH INTERNATIONAL CONFERENCE ON AUTOMATION, CONTROL AND ROBOTICS ENGINEERING (CACRE)》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223281B (zh) | 一种数据集中含有不确定数据时的肺结节图像分类方法 | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN113450328B (zh) | 基于改进神经网络的医学图像关键点检测方法及系统 | |
CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
CN113516659A (zh) | 一种基于深度学习的医学影像自动分割方法 | |
CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
CN114663426B (zh) | 一种基于关键骨区定位的骨龄评估方法 | |
CN111932512B (zh) | 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法 | |
CN113628230A (zh) | 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置 | |
CN117078692A (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
CN114066871B (zh) | 一种新冠肺炎病灶区域分割模型训练的方法 | |
CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
CN117197166B (zh) | 基于边缘和邻域信息的息肉图像分割方法及成像方法 | |
CN117876690A (zh) | 一种基于异构UNet的超声影像多组织分割方法和系统 | |
CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
CN117635625A (zh) | 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法 | |
Guo et al. | LLTO: towards efficient lesion localization based on template occlusion strategy in intelligent diagnosis | |
CN117522891A (zh) | 一种3d医学图像分割系统及方法 | |
CN114219817A (zh) | 新冠肺炎ct图像分割方法及终端设备 | |
CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 | |
CN115272283A (zh) | 一种结直肠肿瘤的内窥oct图像分割方法、设备、介质及产品 | |
CN113822904B (zh) | 一种图像标注装置、方法及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220322 |