CN113506307B - 一种基于残差连接改进U-Net神经网络的医学图像分割方法 - Google Patents
一种基于残差连接改进U-Net神经网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN113506307B CN113506307B CN202110725105.3A CN202110725105A CN113506307B CN 113506307 B CN113506307 B CN 113506307B CN 202110725105 A CN202110725105 A CN 202110725105A CN 113506307 B CN113506307 B CN 113506307B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- residual
- follows
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 238000003709 image segmentation Methods 0.000 title claims abstract description 17
- 238000010606 normalization Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 206010030113 Oedema Diseases 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 206010017711 Gangrene Diseases 0.000 claims description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 4
- 238000002759 z-score normalization Methods 0.000 abstract description 2
- 238000005481 NMR spectroscopy Methods 0.000 abstract 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于残差连接改进U‑Net神经网络的医学图像分割方法，本发明首先将三维核磁共振图像转化为二维，而后采用z‑score归一化将输入图像的像素取值的范围变换到[0,1]，并对图像尺寸进行裁剪，然后采用残差连接改进的U‑Net神经网络对输入的图像进行分割，最后通过1×1卷积得到最后的分割图像，本发明能够对3维核磁共振图像进行有效分割，帮助医生快速掌握病灶的位置及属性，提高了医生对患者病情诊断的准确度。
Description
技术领域
本发明涉及医学图像分割技术领域，特别涉及一种基于残差连接改进U-Net神经网络的医学图像分割方法。
背景技术
随着我国国民平均生活水平大幅上升以及社会人口老龄化时代的到来，人们对自身身体健康越来越关心，即使我国的医疗卫生体系已经快速发展，但还是不能满足巨大的医疗资源需求。而随着语义分割技术的发展，其在医学影像分割领域也取得了较大的突破，有效的降低了医疗资源短缺压力。语义分割技术在医学图像分割领域具有应用价值，可以有效减少医生的工作量，提高医疗效率及水平。虽然目前医学图像数量多，但是由于像素级图像标注需要耗费大量的人力物力资源，导致像素级标注的医学图像数量少而且种类少，因此如何有效减少图像标注的工作量，且可以基于少量样本对新的类别产生较为准确的预测，仍是我们需要研究的方向。
发明内容
本发明目的是在于提供一种基于残差连接改进U-Net神经网络的医学图像分割方法，能够有效的对多模态医学图像进行精准的分割，提高医生对患者病灶检查的准确率。
本发明提供的技术方案为：
一种基于残差连接改进U-Net神经网络的医学图像分割方法，其特征在于，包括如下步骤：
步骤一：将3维MRI图像集A进行2维切片处理得到B，并删除图像集B中像素值全部为零的图像；
步骤二：将2维图像切片集B进行归一化处理得到C，采用零-均值规范化(z-score标准化)；
步骤三：对从步骤二得到的图像集C进行尺寸裁剪得到D，以图像重点为中心，进行中心裁剪，尺寸大小为160×160，并按照t1,t2,t2ce,flair四个模态拼接，得到输入图像，图像尺寸为160×160×4；
步骤四：对D中的一个图像x0采用残差连接和卷积对输入图像进行四轮处理缩小尺寸提高特征图的数量，每一轮首先有xl进行残差连接得到x′l+1，随后进行池化得到xl+1；
步骤五：采用ResNeXt，对编码得到的图像x4分别进行32组卷积并拼接得到y4；
步骤六：采用残差连接以及跳跃连接进行四轮处理，每一轮使用yl进行跳跃连接与xl求和得到y′l，对y′l进行残差连接得到yl-1，四轮处理后最终得到y0；
步骤七：采用1×1卷积对步骤六得到的结果进行特征融合，得到对每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值。
优选地，所述步骤一，将3维MRI图像集A进行2维切片处理得到B，并删除图像集B中像素值全部为零的图像；
优选地，所述步骤二，将2维图像切片集B进行归一化处理得到C，采用零-均值规范化(z-score标准化)；
优选地，所述步骤三，对从步骤二得到的图像集C进行尺寸裁剪得到D，以图像重点为中心，进行中心裁剪，尺寸大小为160×160，并按照t1,t2,t2ce,flair四个模态拼接，得到输入图像，图像尺寸为160×160×4；
优选地，所述步骤四中采用残差连接和卷积对输入图像进行四轮处理缩小图像尺寸，增加特征图像的数量，公式如下：
第一使用优化的残差网络改进卷积操作增加特征图的数量，公式如下：
x′l+1＝F1(xl,Wl′)+F2(xl,Wl)
其中l表示层数，l∈{0,1,2,3}，xl为第l层的卷积层输入的图像,x′l+1表示该层的残差连接的结果，Wl，Wl′表示卷积核，F1为一组归一化，激活，卷积操作，F2为两组卷积、归一化、激活操作；
第二对xl+1进行池化操作降低尺寸缩小为原图像的一半，公式如下：
xl+1(i,j)＝max(x′l+1(2i,2j),x′l+1(2i+1,2j),x′l+1(2i,2j+1),x′l+1(2i+1,2j+1))
其中xl+1(i,j)表示xl+1在坐标(i,j)的取值，其中
max()为取最大值函数。
优选地，所述的步骤五采用ResNeXt，对编码得到的图像x4分别进行32组拼接并求和得到y4，公式如下：
y4＝F2(F1(F0(x4,W0),W1),W2)
其中x4表示编码得到的图像，F0，F1，F2表示卷积，归一化，激活操作,W0,W1,W2表示对应的卷积核。
优选地，所述步骤六中所述采用残差网络和跳跃连接方法改进U-Net神经网络的四次卷积实现解码，并使用双线性插值进行上采样，步骤如下：
第一步将上一层的输入与对应编码层的值相加获得输入量y′l
y′l＝xl+yl
这里l∈{4,3,2,1}，xl编码过程对应层的输出，yl为上一层的结果。
第二步对上一层的输入卷积减少特征图数量至原数据的一半
y′l＝F(y′l,Wl′)+F(y′l,Wl)
其中Wl为卷积核，F为卷积操作
第三步使用双线性插值对y′l进行上采样
对于y′l的四个点Q11(i1,j1),Q12(i1,j2),Q21(i2,j1),Q22(i2,j2)通过双线性插值得到新的点，公式如下：
其中yl-1(i,j)表示yl-1在(i,j)点的值，yl-1为插值的得到矩阵
经过四轮上采样之后得到y0
优选地，所述步骤七中采用1×1卷积对步骤六得到的结果进行特征融合，得到对每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值，公式如下：
Y＝F(y0,W0)
其中y0表示解码过程的最终结果，W0表示卷积核，F表示卷积操作
本发明的有益效果：
1.为医学图像分割提供新方法。推动我国AI+医疗事业发展。语义分割技术在医学图像分割领域具有应用价值，可以有效减少医生的工作量。虽然目前医学图像数量多，但是由于像素级图像标注需要耗费大量的人力物力资源，像素级标注的医学图像数量少而且种类少，我们提出的方法可以基于少量样本对新的类别产生较为准确的预测，有利于医学图像分割训练。
2.模型易于推广，可以应用在多领域。我们设计的轻量化卷积网络不仅采用小样本学习方式，而且我们的模型参数量小，易于推广，便于应用在一些对硬件资源要求不高的环境以及一些实时系统中。
附图说明
图1为本发明所述的基于残差连接改进U-Net神经网络的医学图像分割方法流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供了一种基于残差连接改进U-Net神经网络的医学图像分割方法。对图像进行2维切片，零-均值规范化和尺寸裁剪处理，采用残差连接和卷积对输入图像进行四轮处理缩小尺寸提高特征图像的数量。采用ResNeXt，对解码得到的图像X分成32个组并分别进行卷积并组合。采用残差连接以及跳跃连接进行四轮处理，最终得到对每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值，其步骤如下：
步骤101：将3维MRI图像集A进行2维切片处理得到B，并删除图像集B中像素值全部为零的图像；
步骤102：将2维图像切片集B进行归一化处理得到C，采用零-均值规范化(z-score标准化)；
步骤103：对从步骤二得到的图像集C进行尺寸裁剪得到D，以图像重点为中心，进行中心裁剪，尺寸大小为160×160，并按照t1,t2,t2ce,flair四个模态拼接，得到输入图像，图像尺寸为160×160×4；
步骤104：对图像集D的一个图像x0采用残差连接和卷积对输入图像进行四轮处理缩小尺寸提高特征图像的数量，第一使用优化的残差网络改进卷积操作增加特征图的数量，公式如下：
x′l+1＝F1(xl,Wl′)+F2(xl,Wl)
其中l表示层数，l∈{0,1,2,3}，xl为第l层的卷积层输入的图像,x′l+1表示该层的残差连接的结果，Wl，Wl′表示卷积核，F1为一组归一化，激活，卷积操作，F2为两组卷积、归一化、激活操作；
第二对xl+1进行池化操作降低尺寸缩小为原图像的一半，公式如下：
xl+1(i,j)＝max(x′l+1(2i,2j),x′l+1(2i+1,2j),x′l+1(2i,2j+1),x′l+1(2i+1,2j+1))
其中xl+1(i,j)表示xl+1在坐标(i,j)的取值，其中
max()为取最大值函数。
步骤105：所述的步骤五采用ResNeXt，对编码得到的图像x4分别进行32组卷积并拼接得到y4，公式如下：
y4＝F2(F1(F0(x4,W0),W1),W2)
其中x4表示编码得到的图像，F0，F1，F2表示卷积，归一化，激活操作,W0,W1,W2表示对应的卷积核。
步骤106：所述步骤六中所述采用残差网络和跳跃连接方法改进U-Net神经网络的四次卷积实现解码，并使用双线性插值进行上采样，步骤如下：
第一步将上一层的输入与对应编码层的值相加获得输入量y′l
y′l＝xl+yl
这里l∈{4,3,2,1}，xl编码过程对应层的输出，yl为上一层的结果。
第二步对上一层的输入卷积减少特征图数量至原数据的一半
y′l＝F(y′l,Wl′)+F(y′l,Wl)
其中Wl为卷积核，F为卷积操作
第三步使用双线性插值对y′l进行上采样
对于y′l的四个点Q11(i1,j1),Q12(i1,j2),Q21(i2,j1),Q22(i2,j2)通过双线性插值得到新的点，公式如下：
其中yl-1(i,j)表示yl-1在(i,j)点的值，yl-1为插值的得到矩阵。经过四轮上采样之后得到的y0
步骤107：采用1×1卷积对步骤六得到的结果进行特征融合，得到对每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值，公式如下：
Y＝F(y0,W0)
其中y0表示解码过程的最终结果，W0表示卷积核，F表示卷积操作
传统的U-Net神经网络的使跳跃连接保证了上层的特征图融合了足够的下层的特征，以此保证数据不会在多次的特征提取后失真，但是对于每一个块，U-Net神经网络并没有足够的下层特征的融合，该发明将利用残差网络对U-Net神经网络中的块进行改进，以此增加对下层特征的融合，并利用ResNeXt对图像进行深度特征提取。对图像的特征提取包括三个部分，第一部分通过归一化，激活，卷积和池化操作进行提取，第二部分，分成32组进行卷积进行深度特征提取，第三部分，通过归一化，激活，卷积和上采样过程进行解码，并卷积得到每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值
第一部分的具体步骤如下：
四个编码模块的步骤相同，以下叙述一个编码模块的具体步骤。
第一步：第一至第四步为归一化(BN)的过程，对从上一层输入的数据xl进行归一化。求出数据的均值，公式如下：
其中m为样本总数，xi为矩阵中的第i的个位置，μβ为样本均值。
第二步：求出样本的方差，公式如下：
其中m为样本总数，xi为矩阵中的第i的个位置，μβ为样本均值，
为样本方差。
第三步：数据进行标准化，公式如下：
其中ε是防止分母为零的小量，本模型中取值为10-5
第四步：输出y通过γ与β的线性变换得到新的值并通过训练不断的更新参数，公式如下：
其中μ，β为需要训练的超参数，本模型中使用随机数赋值。
第五步：对归一化后的结果使用激活函数进行非线性化处理，本模型中的激活函数为线性整流函数(ReLu)，公式如下：
f(x)＝max(0,x)
其中，x为归一化后的值，max()函数为取最大值。
第六步：对来自激活函数的结果进行卷积(Convolution)，确定卷积核的大小为3×3，步长为1，填充为1，以上参数就是残差网络卷积的最佳参数。
其中，xl(i,j,Cout)表示xl中坐标(i,j)，通道Cout的取值，其中
Cout∈{0,1,2,...,2(l+1)+6-1}，k(1-di,1-dj,Cin,Cout)表示第Cout个3×3×Cin大小的卷积核在(1-di,1-dj,Cin)处的取值，其中，Cin∈{0,1,2,...,2l+6-1}。
第七步：对xl重复第一到第六步得到x′l
第八步：对xl进行第一到第六步得到identity_xl
第九步：将x′l和identity_xl进行求和得到x′l+1，公式如下：
x′l+1＝identity_xl+x′l
第十步：池化，对第九步求和得到的数据进行池化，使得其大小缩小至原本大小的一半，公式如下：
xl+1(i,j)＝max(x′l+1(2i,2j),x′l+1(2i+1,2j),x′l+1(2i,2j+1),x′l+1(2i+1,2j+1))
其中xl+1(i,j)表示xl+1在坐标(i,j)的取值，其中
max()为取最大值函数。
第二部分的具体步骤如下：
第一步：保存x0的值
identity_x＝x0
第二步：调整x0的通道数量，公式如下：
其中，x0(i,j,Cout)表示x0在坐标(i,j)，通道Cout的取值，其中i,j∈{0,1,2,...,9}，Cout∈{0,1,2,...,255}，k(0,0,Cin,Cout)表示第Cout个1×1的卷积核在Cin处的取值。其中，Cin∈{0,1,2,...,1023}。
第三步：将输入数据分成32组分别进行卷积
其中，
表示第g组的输入通道，
表示第g组的输出通道，g∈{0,1,2,3,...,31}，
表示
的卷积核在
处的取值
第四步：调整x0的通道数量，公式如下：
其中，x0(i,j,Cout)表示x0在坐标(i,j)，通道Cout的取值，其中i,j∈{0,1,2,...,9}，Cin∈{0,1,2,...,255}，k(0,0,Cin,Cout)表示第Cout个1×1的卷积核在Cin处的取值。其中，Cout∈{0,1,2,...,1023}。
第五步：将x0和identity_x求和
x0＝x0+identity_x
第六步：对x0进行上采样使用双线性插值，公式见第三部分
第三部分的具体步骤如下：
第一步：将第九步的结果与对应编码层的值相加获得输入量yl
yl＝xl+yl
第二步：第二至第五步为归一化(BN)的过程，对从上一层输入的数据xl进行归一化。求出数据的均值，公式如下：
其中m为样本总数，xi为矩阵中的第i的个位置，μβ为样本均值。
第三步：求出样本的方差，公式如下：
其中m为样本总数，yi为矩阵中的第i的个位置，μβ为样本均值，
为样本方差。
第四步：数据进行标准化，公式如下：
其中ε是防止分母为零的小量，本模型中取值为10-5
第五步：输出y通过γ与β的线性变换得到新的值并通过训练不断的更新参数，公式如下：
其中μ，β为需要训练的超参数，本模型中使用随机数赋值。
第六步：对归一化后的结果使用激活函数进行非线性化处理，本模型中的激活函数为线性整流函数(ReLu)，公式如下：
f(x)＝max(0,y)
其中，x为归一化后的值，max()函数为取最大值。
第七步：对来自激活函数的结果进行卷积(Convolution)，确定卷积核的大小为3×3，步长为1，填充为1，以上参数就是残差网络卷积的最佳参数。
其中，yl(i,j,Cout)表示xl中坐标(i,j)，通道Cout的取值，其中
Cout∈{0,1,2,...,2(l+1)+6-1}，k(1-di,1-dj,Cin,Cout)表示第Cout个3×3×Cin大小的卷积核在(1-di,1-dj,Cin)处的取值，其中，Cin∈{0,1,2,...,2l+6-1}。
第八步：对yl重复第二到第七步得到y′l
第九步：对yl进行第二到第七步得到identity_yl
第十步：将y′l和identity_yl进行求和得到y′l+1，公式如下：
y′l＝identity_yl+y′l
第十一步：使用双线性插值对y′l进行上采样
对于y′l的四个点Q11(i1,j1),Q12(i1,j2),Q21(i2,j1),Q22(i2,j2)通过双线性插值得到新的点，公式如下：
其中yl-1(i,j)表示yl-1在(i,j)点的值，yl-1为插值的得到矩阵
经过四次上采样之后的到y0
最后进行一次卷积核为1×1的卷积
其中，y0(i,j,Cout)表示x0在坐标(i,j)，通道Cout的取值，其中i,j∈{0,1,2,...,159}，Cin∈{0,1,2,...,63}，k(0,0,Cin,Cout)表示第Cout个1×1的卷积核在Cin处的取值。其中，Cout∈{0,1,2}。
即得到每一个像素在坏疽(NET),组织水肿(ED),增强肿瘤(ET)三个分类的预测值
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (4)
1.一种基于残差连接改进U-Net神经网络的医学图像分割方法，其特征在于，包括如下步骤：
步骤一：将3维MRI图像集A进行2维切片处理得到B，并删除图像集B中像素值全部为零的图像；
步骤二：将2维图像切片集B进行归一化处理得到C，采用零-均值规范化处理；
步骤三：对从步骤二得到的图像集C进行尺寸裁剪得到D，以图像中点为中心，进行中心裁剪，尺寸大小为160×160，并按照t1,t2,t2ce,flair四个模态拼接，得到输入图像，图像尺寸为160×160×4；
步骤四：对图像集D中的一张图像x0采用残差连接和卷积对输入图像进行四轮处理缩小尺寸提高特征图数量，每一轮首先有xl进行残差连接得到x′l+1，随后进行池化得到xl+1；
步骤五：采用ResNeXt算法，对编码得到的图像x4分别进行32组卷积并拼接得到y4；
步骤六：采用残差连接以及跳跃连接进行四轮处理，每一轮使用yl进行跳跃连接与xl求和得到y'l，对y'l进行残差连接得到yl-1，四轮处理后最终得到y0；
步骤七：采用1×1卷积对步骤六得到的结果进行特征融合，得到对每一个像素在坏疽、组织水肿和增强肿瘤三个分类的预测值；
步骤四中所述采用残差连接和卷积对输入图像进行四轮处理缩小图像尺寸，增加特征图像的数量，公式如下：
第一使用优化的残差网络改进卷积操作增加特征图的数量，公式如下：
x'l+1＝F1(xl,Wl')+F2(xl,Wl)
其中l表示层数，l∈{0,1,2,3}，xl为第l层的卷积层输入的图像,x'l+1表示该层的残差连接的结果，Wl，Wl'表示卷积核，F1为一组归一化，激活，卷积操作，F2为两组卷积、归一化、激活操作；
第二对xl+1进行池化操作降低尺寸缩小为原图像的一半，公式如下：
xl+1(i,j)＝max(x'l+1(2i,2j),x'l+1(2i+1,2j),x'l+1(2i,2j+1),x'l+1(2i+1,2j+1))
其中xl+1(i,j)表示xl+1在坐标(i,j)的取值，其中
max()为取最大值函数。
2.根据权利要求1所述的一种基于残差连接改进U-Net神经网络的医学图像分割方法，其特征在于，步骤五采用ResNeXt算法，对编码得到的图像x4分别进行32组卷积并拼接得到y4，公式如下：
y4＝F2(F1(F0(x4,W0),W1),W2)
其中x4表示经上一步编码得到的图像，F0，F1，F2表示卷积，归一化，激活操作,W0,W1,W2表示对应的卷积核。
3.根据权利要求1所述的一种基于残差连接改进U-Net神经网络的医学图像分割方法，其特征在于，步骤六中采用残差网络和跳跃连接方法改进U-Net神经网络的四次卷积实现解码，并使用双线性插值进行上采样，步骤如下：
第一步将上一层的输入与对应编码层的值相加获得输入量y′l
y′l＝xl+yl
这里l∈{4,3,2,1}，xl编码过程对应层的输出，yl为上一层的结果；
第二步对上一层的输入卷积减少特征图数量至原数据的一半
y′l＝F(y′l,Wl')+F(y′l,Wl)
其中Wl为卷积核，F为卷积操作；
第三步使用双线性插值对y′l进行上采样
对于y′l的四个点Q11(i1,j1),Q12(i1,j2),Q21(i2,j1),Q22(i2,j2)通过双线性插值得到新的点，公式如下：
其中yl-1(i,j)表示yl-1在(i,j)点的值，yl-1为插值的得到矩阵
经过四轮上采样之后得到的y0。
4.根据权利要求1所述的一种基于残差连接改进U-Net神经网络的医学图像分割方法，其特征在于，步骤七中采用1×1卷积对步骤六得到的结果进行特征融合，得到对每一个像素在坏疽、组织水肿和增强肿瘤三个分类的预测值，公式如下：
Y＝F(y0,W0)
其中y0表示解码过程的最终结果，W0表示卷积核，F表示卷积操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725105.3A CN113506307B (zh) | 2021-06-29 | 2021-06-29 | 一种基于残差连接改进U-Net神经网络的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725105.3A CN113506307B (zh) | 2021-06-29 | 2021-06-29 | 一种基于残差连接改进U-Net神经网络的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506307A CN113506307A (zh) | 2021-10-15 |
| CN113506307B true CN113506307B (zh) | 2022-05-27 |
Family
ID=78011354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110725105.3A Active CN113506307B (zh) | 2021-06-29 | 2021-06-29 | 一种基于残差连接改进U-Net神经网络的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506307B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876792A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111091580A (zh) * | 2019-12-17 | 2020-05-01 | 浙江农林大学 | 一种基于改进ResNet-UNet网络的立木图像分割方法 |
| CN111598892A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 一种基于Res2-UNeXt网络结构的细胞图像分割方法 |
| CN112150521A (zh) * | 2020-08-24 | 2020-12-29 | 江苏大学 | 一种基于PSMNet优化的图像立体匹配方法 |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517278B (zh) * | 2019-08-07 | 2022-04-29 | 北京旷视科技有限公司 | 图像分割和图像分割网络的训练方法、装置和计算机设备 |
| US11941813B2 (en) * | 2019-08-23 | 2024-03-26 | Nantcell, Inc. | Systems and methods for performing segmentation based on tensor inputs |
| WO2021096324A1 (en) * | 2019-11-14 | 2021-05-20 | Samsung Electronics Co., Ltd. | Method for estimating depth of scene in image and computing device for implementation of the same |
| CN111192245B (zh) * | 2019-12-26 | 2023-04-07 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN112785593B (zh) * | 2021-03-12 | 2024-05-24 | 大连民族大学 | 一种基于深度学习的脑部图像分割方法 |
-
2021
- 2021-06-29 CN CN202110725105.3A patent/CN113506307B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876792A (zh) * | 2018-04-13 | 2018-11-23 | 北京迈格威科技有限公司 | 语义分割方法、装置和系统及存储介质 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111091580A (zh) * | 2019-12-17 | 2020-05-01 | 浙江农林大学 | 一种基于改进ResNet-UNet网络的立木图像分割方法 |
| CN111598892A (zh) * | 2020-04-16 | 2020-08-28 | 浙江工业大学 | 一种基于Res2-UNeXt网络结构的细胞图像分割方法 |
| CN112150521A (zh) * | 2020-08-24 | 2020-12-29 | 江苏大学 | 一种基于PSMNet优化的图像立体匹配方法 |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| Fully convolutional attention network for biomedical image segmentation;J Cheng等;《Artifical Intelligence in Medicine》;20200731;第107卷(第4期);1-9 * |
| Image segmentation of nasopharyngeal carcinoma using 3D CNN with long-range skip connection and multi-scale feature pyramid;Guo F等;《Soft Computing》;20200831;第24卷(第16期);12671-12680 * |
| SERU: cascaded SE-ResNeXT U-Net for kidney and tumor segmentation on KITS2019;Lei Li等;《Biological Science》;20190131;1-6 * |
| 基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割;徐宏伟等;《计算机应用研究》;20200731;第37卷(第7期);1-4 * |
| 深度学习在脑肿瘤中的应用;孙佳伟;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20210215(第2期);E070-576 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113506307A (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN110322402B (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN113706545B (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| CN113936011A (zh) | 基于注意力机制的ct影像肺叶图像分割系统 | |
| CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN114972291B (zh) | 基于混合增强智能的医学影像结构化自动标注方法与系统 | |
| CN114596318A (zh) | 一种基于Transformer的乳腺癌磁共振成像病灶分割方法 | |
| CN117058307A (zh) | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 | |
| CN113807497B (zh) | 一种增强纹理细节的非配对图像翻译方法 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN113506307B (zh) | 一种基于残差连接改进U-Net神经网络的医学图像分割方法 | |
| CN112634285B (zh) | 一种自动分割腹部ct内脏脂肪区域的方法 | |
| CN117078941A (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
| CN117095016A (zh) | 一种基于多视角一致性的半监督3d肝脏ct图像分割方法 | |
| CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 | |
| CN116129119A (zh) | 融合局部与全局特征的快速语义分割网络和语义分割方法 | |
| CN115994892A (zh) | 一种基于ghostnet的轻量级医学图像分割方法及系统 | |
| Khashman et al. | Medical radiographs compression using neural networks and haar wavelet | |
| Wu et al. | PCAF‐Net: A liver segmentation network based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |