CN113487615B - 基于残差网络特征提取的视网膜血管分割方法及终端 - Google Patents
基于残差网络特征提取的视网膜血管分割方法及终端 Download PDFInfo
- Publication number
- CN113487615B CN113487615B CN202110724390.7A CN202110724390A CN113487615B CN 113487615 B CN113487615 B CN 113487615B CN 202110724390 A CN202110724390 A CN 202110724390A CN 113487615 B CN113487615 B CN 113487615B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- res
- feature map
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 23
- 210000001525 retina Anatomy 0.000 title description 10
- 210000004204 blood vessel Anatomy 0.000 title description 6
- 210000001210 retinal vessel Anatomy 0.000 claims abstract description 33
- 230000002207 retinal effect Effects 0.000 claims abstract description 13
- 230000002792 vascular Effects 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000003709 image segmentation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 101150083127 brox gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于残差网络特征提取的视网膜血管分割方法，应用于神经网络模型，包括：将原视网膜血管图像通过预训练好的VGG编码层，获得多张图像，其中，所述多张图像为五张图像，其与所述原视网膜血管图像的大小分别具有一预设比例关系等步骤。以使网络的分割的精度获得了明显的提升，模型的拟合能力和泛化能力都得到了更好的优化。相较于Unet，本网络在其他数据集中也普遍拥有更好的性能。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于残差网络特征提取的视网膜血管分割方法及终端。
背景技术
医学图像分割技术的发展，是从手工分割到人机式的半自动分割，再逐步发展到全自动分割的过程。手工分割指的是由具有丰富经验的临床医生在原始胶片上直接勾勒出组织的边界，或者是把显示在上的图像通过图像编辑器勾画出组织边界或者感兴趣的区域，手工分割对人的先验知识有很高的要求。随着计算机技术的发展出现了半自动分割技术，该分割技术是将计算机的数据存储和计算功能和医学专家的经验和知识结合起来，运用人机交互的方法来完成图像的分割。全自动分割则是由计算机根据事先编好的算法运行独立自动完成图像的分割全过程。但大部分全自动分割算法的实现复杂，分割结果不理想，且分割的速度和性能也需要提高。
有鉴于此，需要提出一种新的技术方案来解决上述技术问题。
发明内容
本发明的目的在于提供一种基于残差网络特征提取的视网膜血管分割方法及终端，其采用残差神经元网络作为特征提取部分，使分割的各种评价指标有了明显地提升。在RITE视网膜血管数据集上，Dice相似系数达到了77.53％,IOU评价指标达到了63.31％。
为实现上述目的，本发明采用以下技术手段：
一种基于残差网络特征提取的视网膜血管分割方法，应用于神经网络模型，包括：
将原视网膜血管图像通过预训练好的VGG编码层，获得多张图像，其中，所述多张图像为五张图像，其与所述原视网膜血管图像的大小分别具有一预设比例关系；其中，所述VGG编码层有五个卷积下采样层，每一层都会将上一层的特征图进行卷积并池化，第一特征图、第二特征图、第三特征图、第四特征图和第五特征图分别为通过VGG5编码层、VGG4编码层、VGG3编码层、VGG2编码层和VGG1编码层分别获得的图像；
将所述第一特征图通过空洞卷积层后上采样，再分别与所述第二特征图、所述第三特征图、所述第四特征图和所述五特征图连接通过解码层并通过注意力层，以获得一张与所述原视网膜血管图像大小相同的第一输出图像；
将所述原视网膜血管图像和所述第一输出图像相乘后得到的图像进行两次次普通卷积后获得第一中间图像，其中，所述第一中间图像的大小与所述原视网膜血管图像相同；通过四次残差编码层分别获得第二中间图像、第三中间图像、第四中间图像、第五中间图像，并基于所述第一中间图、第二中间图像、第三中间图像、第四中间图像、第五中间图像和所述、第二特征图第二特征图、第三特征图、第四特征图和第五特征图以及图像连接和解码层，获得第二输出图像；
将所述第一输出图像和所述第二输出图像通过连接输出层输出，以获得特征提取后的视网膜血管图像。
具体的，所述神经网络模型的结构包括：
VGG编码层，用于利用预训练好的VGG19将图像进行特征提取并下采样；
残差编码层，用于利用残差神经网络将图像进行特征提取并下采样；
空洞卷积层，用于提升下采样后图像的感受野；
注意力层，用于自动学习到不同通道特征的重要程度
解码层，用于将特征提取完的图像连接并进行上采样；
连接输出层，用于将解码完的图像连接输出。
具体的，所述多张图像为五张图像与所述原视网膜血管图像的大小分别具有一预设比例关系，具体为：
所述五张大小分别与原视网膜血管图像大小的比例关系分别为：1/1、1/2/、1/4、1/8/、1/16。
具体的，所述基于所述第一中间图像、第二中间图像、第三中间图像、第四中间图像、第五中间图像和所述第一特征图、第二特征图第二特征图、第三特征图、第四特征图和第五特征图以及图像连接和解码层，获得第二输出图像的步骤，包括：
将所述第五中间图像通过空洞卷积层上采样后获得所述第一图像，
将所述第一图像与所述第四中间图像和所述第二特征图连接并通过解码层获得第二图像；
将所述第二图像与所述第三中间图像和所述第三特征图连接并通过解码层获得第三图像；
将所述第三图像与所述第二中间图像和所述第四特征图连接并通过解码层获得第四图像；
将所述第四图像与所述所述第一中间图像和所述第五特征图连接并通过两层普通卷积并通过注意力层获得第五图像，将所述第五图像通过一个单通道卷积层并由sigmoid函数激活后最后获得第二输出图像。
此外，本发明还公开了一种基于残差网络特征提取的视网膜血管分割终端，所述基于残差网络特征提取的视网膜血管分割终端包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现如任一项权利要求中任一项所述的基于残差网络特征提取的视网膜血管分割方法。
相比于现有技术，本发明带来以下技术效果：
本发明的基于残差网络特征提取的视网膜血管分割方法及终端，其采用残差神经元网络作为特征提取部分，使分割的各种评价指标有了明显地提升。在RITE视网膜血管数据集上，Dice相似系数达到了88.6％,IOU评价指标达到了80％。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明一种基于残差网络特征提取的视网膜血管分割方法的流程图；
图2示Double-Unet网络结构；
图3示ResDouble-Unet网络结构；
图4示普通残差神经网络；
图5示出了本发明提供的新的残差神经网络；
图6为RITE数据集示例图；
图7为分割效果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
实施例
本实施例揭示了一种基于残差网络特征提取的视网膜血管分割方法，可以在残差网络和视网膜血管分割方法的设计和实现，针对目前医学图像分割中视网膜血管分割精度不佳，本发明提出了融合改进后的残差神经元的ResDouble-Unet网络模型，有效的提升了分割精度。
随着计算机硬件GPU的普及和计算机视觉领域的高速发展，OlafRonneberger和Philipp Fischer(Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networksfor Biomedical Image Segmentation[J].2015.)等人提出了一种编码解码格式基于神经网络的深度学习算法，并应用在医学图像分割上，获得了很好的效果。JMJ Valanarasu和VASindagi(Valanarasu J M J,Sindagi V A,Hacihaliloglu I,et al.KiU-Net:Overcomplete Convolutional Architectures for Biomedical Image and VolumetricSegmentation[J].2020.)等人提出了一种超完备卷积结构，这种网络结构通过较小的感受野能够检测到较为细微的结构。作者还将这种结构与UNet相结合起来，提出了Ki-UNet网络，在RITE视网膜数据集中，其Dice相似系数达到了75.17％。D Jha和MA Riegler(Jha D,Riegler M A,Johansen D,et al.DoubleU-Net:A Deep Convolutional Neural Networkfor Medical Image Segmentation[J].2020.)等人提出了双层U型网络结构。网络结构如图一所示。利用VGG19和Unet结构相似的特点，一层使用预训练好的VGG19作为骨干网络编码，另一层使用普通卷积编码，两层连接解码最后连接输出。在RITE视网膜数据集中，其Dice相似系数达到了76.49％。这里提出一种融合残差神经网络的双层U型网络结构用来提取特征的ResDouble-Unet结构，相较于Double-Unet，本网络在Dice相似系数和IOU评价指标分别提升了4.9％1.04％和1.11％。
本发明实施例中，网络模型采用双层U型网络网络，其在图像分割中有良好的性能，模型体量适中。本发明创新地提出了一种新的残差网络结构，改变了其下采样方式，加入了注意力机制，并将新的残差网络结构与Double-Unet相结合，提出了ResDouble-Unet，利用新的残差网络能够在编码部分提取更多的特征，从而提升分割的精度。
请参阅图1，所述基于残差网络特征提取的视网膜血管分割方法包括以下步骤：
S101，将原视网膜血管图像通过预训练好的VGG编码层，获得多张图像，其中，所述多张图像为五张图像，其与所述原视网膜血管图像的大小分别具有一预设比例关系。
S102，将第一特征图(最后VGG5的特征图)通过空洞卷积层后上采样，再分别与第一特征图、第二特征图、第三特征图和第四特征图(VGG4，VGG3，VGG2，VGG1)连接通过解码层并通过注意力层，以获得一张与所述原视网膜血管图像大小相同的第一输出图像(Output1)。
S103，将所述原视网膜血管图像和所述第一输出图像(Output1)相乘后得到的图像进行两次次普通卷积后获得第一中间图像(Res1)，其中，所述第一中间图像(Res1)的大小与所述原视网膜血管图像相同。
S104，将所述原视网膜血管图像和所述第一输出图像(Output1)相乘后得到的图像进行两次次普通卷积后获得第一中间图像(Res1)，其中，所述第一中间图像(Res1)的大小与所述原视网膜血管图像相同；通过四次残差编码层分别获得第二中间图像、第三中间图像、第四中间图像、第五中间图像(Res2，Res3，Res4，Res5)，并基于所述第一中间图像(Res1)、第二中间图像、第三中间图像、第四中间图像、第五中间图像和所述、第二特征图第二特征图、第三特征图、第四特征图和第五特征图以及图像连接和解码层，获得第二输出图像(Output2)。
S105，将所述第一输出图像(Output1)和所述第二输出图像(Output2)通过连接输出层输出，以获得特征提取后的视网膜血管图像。
VGG编码层有五个卷积下采样层，每一层都会将上一层的特征图进行卷积并池化，池化层的作用是输出一张为上一层特征图1/2大小的新特征图，本模型将每层卷积后未送入池化层的特征图保留。将原图送入后，通过卷积得到原图1/1大小的Vgg1，池化后送入第二层得到原图1/2大小的Vgg2，继续池化送入第三层得到原图1/4大小的Vgg3，这样依次通过VGG编码层，会依次得到五张大小分别为原图1/1,1/2,1/4,1/8,1/16的Vgg1，Vgg2,Vgg3,Vgg4,Vgg5。
在ResDouble-Unet中，首先将图片大小统一调整为256*256并通过预训练的VGG19模型，获得其中五张大小分别为原图大小1/1、1/2/、1/4、1/8/、1/16(分别记为VGG1,VGG2,VGG3,VGG4,VGG5)的特征图，将最后VGG5的特征图通过空洞卷积层后上采样获得一张原图大小1/8的Decoder X4，将Decoder X4和VGG4连接通过解码层获得一张原图1/4大小的Decoder X3，将Decoder X3和VGG3连接通过解码层获得一张原图1/2大小的Decoder X2，将Decoder X2和VGG2连接通过解码层获得一张原图大小的Decoder X1，将Decoder X1和VGG1连接通过两层普通卷积并通过注意力层获得X，将X通过一个单通道卷积层并由sigmoid函数激活后最后获得一张与原图大小相同的输出图像Output1。
再将原图和Output1相乘进行两次次普通卷积后获得Res1，Res1大小与原图相同，然后通过四次残差编码层分别获得Res2，Res3，Res4，Res5四张分别是原图1/2,1/4,1/8,1/16大小的特征图。
残差特征提取层与Vgg提取层类似，其有四个特征提取层，将Res1送入第一层残差提取层，利用残差网络并通过池化层获得原图1/2大小的Res2，将Res2通过第二层残差网络并池化获得原图大小1/4大小的Res3.这样依次通过四次残差编码层分别获得第二中间图像、第三中间图像、第四中间图像、第五中间图像(Res2，Res3，Res4，Res5)，并基于所述第一中间图像(Res1)、第二中间图像、第三中间图像、第四中间图像、第五中间图像和所述、第二特征图第二特征图、第三特征图、第四特征图和第五特征图以及图像连接和解码层，获得第二输出图像(Output2)。
本网络对提出了一种新的残差神经网络，相较于普通卷积或普通的残差神经网络(如下图三所示)新的残差神经网络(如下图四所示)能够更好的在编码部分提取特征。
其中，图二的中的SE(Squeeze and Excitation)是注意力模块，SE模块首先对卷积得到的特征图进行挤压操作，得到通道级的全局特征，然后对全局特征进行激发操作，学习各个通道间的关系，也得到不同通道的权重，最后乘以原来的特征图得到最终特征。本质上，SE模块是在通道维度上做赋值操作，这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。
通过了四次残差编码层后，将Res5通过空洞卷积层上采样后得到和原图1/8大小的Decoder Y4，将Decoder Y4和(Res4,VGG4)连接并通过解码层获得原图1/4大小的Decoder Y3,将Decoder Y3和(Res3,VGG3)连接并通过解码层获得原图1/2大小的DecoderY2，将Decoder Y2和(Res2,VGG2)连接并通过解码层获得原图1/2大小的Decoder Y1，将Decoder Y1和(Res1，VGG1)连接通过两层普通卷积并通过注意力层获得Y，将Y通过一个单通道卷积层并由sigmoid函数激活后最后获得一张与原图大小相同的输出图像Output2，将Output1和Output2通过连接输出层进行输出。
本文的损失函数采用的是在医学图像分割领域中较为流行的Dice_loss。旨在应对语义分割中正负样本强烈不平衡的场景。相比传统的二分类的损失函数，Dice_loss对正负样本严重不平衡的场景有着不错的性能，训练过程中更侧重对前景区域的挖掘。传统的二分类交叉熵损失如公式1所示。
Dice_loss是一种区域相关的loss，像素点的loss以及梯度值不仅和该点的label以及预测值相关，和其他点的label以及预测值也相关,dice_loss定义如下,如公式2所示:
其中|X∩Y|是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数，分子乘2为了保证分母重复计算后取值范围在[0,1]之间。
而Dice相似系数dice coefficient的定义如下，如公式3所示
综上所述，具体过程可以概括为：1.将图像通过两层编码获得一系列的特征图2.将特征图连接解码获得两张输出图片3.采用损失函数Dice_loss，使模型获得更高精度。
需要说明的是，本文所使用的数据集是RITE视网膜血管数据集。RITE数据集是一个继承Drive数据集而建立的公共数据集。一共包含120张图片，训练集包括20张彩色视网膜眼底图片，20张由人工分割的黑白真值图像和20张动脉静脉真值图像，测试集包括另外20张彩色视网膜眼底图片，20张由人工分割的黑白真值图像和20张动脉静脉真值图像，每张图像的分辨率均为584*565。RITE数据集示例如图6所示。在图6中，a是视网膜眼底图像，b是人工分割黑白真值图；c是人工分割动静脉真值图。
在模型的训练中需要大量样本，而RITE数据集的数据量较少，考虑到眼底图像的特殊性，本文选择随机旋转的方式来扩充数据集，旋转后空白部分填充方式选择就近填充。将RITE数据集中的训练集扩充到500张用于模型训练，将RITE数据集中的测试集扩充到100张用于验证，并将图片的大小统一为256*256。在RITE数据集中，本文有很好的分割效果，具体效果如图7所示。可以看出，在视网膜的主要血管和其中的分支上，本模型还原较为准确。
本发明还公开了一种基于残差网络特征提取的视网膜血管分割终端，所述基于残差网络特征提取的视网膜血管分割终端包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现任一项所述的基于残差网络特征提取的视网膜血管分割方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于残差网络特征提取的视网膜血管分割方法，其特征在于，应用于神经网络模型，包括：
将原视网膜血管图像通过预训练好的VGG编码层，获得多张图像，其中，所述多张图像为五张图像，其与所述原视网膜血管图像的大小分别具有一预设比例关系；其中，所述VGG编码层有五个卷积下采样层，每一层都会将上一层的特征图进行卷积并池化，第一特征图、第二特征图、第三特征图、第四特征图和第五特征图分别为通过VGG5编码层、VGG4编码层、VGG3编码层、VGG2编码层和VGG1编码层分别获得的图像；
将所述第一特征图通过空洞卷积层后上采样，再分别与所述第二特征图、所述第三特征图、所述第四特征图和所述第五特征图连接通过解码层并通过注意力层，以获得一张与所述原视网膜血管图像大小相同的第一输出图像(Output1)；
将所述原视网膜血管图像和所述第一输出图像(Output1)相乘后得到的图像进行两次次普通卷积后获得第一中间图像(Res1)，其中，所述第一中间图像(Res1)的大小与所述原视网膜血管图像相同；通过四次残差编码层分别获得第二中间图像(Res2)、第三中间图像(Res3)、第四中间图像(Res4)、第五中间图像(Res5)，并基于所述第一中间图像(Res1)、第二中间图像(Res2)、第三中间图像(Res3)、第四中间图像(Res4)、第五中间图像(Res5)和所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图和所述第五特征图以及图像连接和解码层，获得第二输出图像(Output2)；
将所述第一输出图像(Output1)和所述第二输出图像(Output2)通过连接输出层输出，以获得特征提取后的视网膜血管图像；
所述基于所述第一中间图像(Res1)、第二中间图像(Res2)、第三中间图像(Res3)、第四中间图像(Res4)、第五中间图像(Res5)和所述第一特征图、第二特征图、第三特征图、第四特征图和第五特征图以及图像连接和解码层，获得第二输出图像(Output2)的步骤，包括：
将所述第五中间图像(Res5)通过空洞卷积层上采样后获得第一图像(DecoderDecoderY4)，
将所述第一图像(Decoder DecoderY4)与所述第四中间图像(Decoder Res4)和所述第二特征图(VGG4)连接并通过解码层获得第二图像(Decoder DecoderY3)；
将所述第二图像(DecoderY3)与所述第三中间图像(Res3)和所述第三特征图(VGG3)连接并通过解码层获得第三图像(DecoderY2)；
将所述第三图像(DecoderY2)与所述第二中间图像(Res2)和所述第四特征图(VGG2)连接并通过解码层获得第四图像(DecoderY1)；
将所述第四图像(DecoderY1)与所述所述第一中间图像(Res1)和所述第五特征图(VGG1)连接并通过两层普通卷积并通过注意力层获得第五图像(Y)，将所述第五图像(Y)通过一个单通道卷积层并由sigmoid函数激活后最后获得第二输出图像(Output2)。
2.根据权利要求1所述的基于残差网络特征提取的视网膜血管分割方法，其特征在于，所述神经网络模型的结构包括：
VGG编码层，用于利用预训练好的VGG19将图像进行特征提取并下采样；
残差编码层，用于利用残差神经网络将图像进行特征提取并下采样；
空洞卷积层，用于提升下采样后图像的感受野；
注意力层，用于自动学习到不同通道特征的重要程度
解码层，用于将特征提取完的图像连接并进行上采样；
连接输出层，用于将解码完的图像连接输出。
3.根据权利要求1或2所述的基于残差网络特征提取的视网膜血管分割方法，其特征在于，所述多张图像为五张图像与所述原视网膜血管图像的大小分别具有一预设比例关系，具体为：
所述五张大小分别与原视网膜血管图像大小的比例关系分别为：1/1、1/2/、1/4、1/8/、1/16。
4.一种基于残差网络特征提取的视网膜血管分割终端，其特征在于，所述基于残差网络特征提取的视网膜血管分割终端包括处理器、以及通过通信总线与处理器连接的存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于执行计算机程序时，以实现如权利要求1至3中任一项所述的基于残差网络特征提取的视网膜血管分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110724390.7A CN113487615B (zh) | 2021-06-29 | 2021-06-29 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110724390.7A CN113487615B (zh) | 2021-06-29 | 2021-06-29 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487615A CN113487615A (zh) | 2021-10-08 |
| CN113487615B true CN113487615B (zh) | 2024-03-22 |
Family
ID=77936489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110724390.7A Active CN113487615B (zh) | 2021-06-29 | 2021-06-29 | 基于残差网络特征提取的视网膜血管分割方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487615B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419064B (zh) * | 2022-01-10 | 2024-04-05 | 陕西师范大学 | 基于RN-DoubleU-Net网络的乳腺腺管区域图像分割方法 |
| CN116363150A (zh) * | 2023-03-10 | 2023-06-30 | 北京长木谷医疗科技有限公司 | 髋关节分割方法、装置、电子设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| WO2020033966A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group Inc. | Deep learning and intelligent sensing system integration |
| CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113012163A (zh) * | 2021-03-11 | 2021-06-22 | 山东大学 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
-
2021
- 2021-06-29 CN CN202110724390.7A patent/CN113487615B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020033966A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group Inc. | Deep learning and intelligent sensing system integration |
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
| CN113012163A (zh) * | 2021-03-11 | 2021-06-22 | 山东大学 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于改进卷积神经网络的视网膜血管图像分割;吴晨;易本顺;章云港;黄松;冯雨;;光学学报(11);全文 * |
| 融合残差注意力机制的UNet视盘分割;侯向丹等;中国图象图形学报(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487615A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487615B (zh) | 基于残差网络特征提取的视网膜血管分割方法及终端 | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN110599500B (zh) | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 | |
| CN112602114B (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN112733919B (zh) | 基于空洞卷积和多尺度多分支的图像语义分割方法及系统 | |
| CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
| CN113763251B (zh) | 一种图像超分辨率放大模型及其方法 | |
| CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
| CN110956119B (zh) | 一种图像中目标检测的方法 | |
| CN112348830B (zh) | 基于改进3D U-Net的多器官分割方法 | |
| CN111369567A (zh) | 三维图像中目标对象的分割方法、装置及电子设备 | |
| CN113838047B (zh) | 基于内窥镜图像的大肠息肉分割方法、系统及相关组件 | |
| CN113408647B (zh) | 一种脑小血管结构特征的提取方法 | |
| CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
| CN114187296B (zh) | 胶囊内窥镜图像病灶分割方法、服务器及系统 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN110738660A (zh) | 基于改进U-net的脊椎CT图像分割方法及装置 | |
| CN114359297A (zh) | 基于注意力金字塔的多分辨率语义分割方法及装置 | |
| CN113139551A (zh) | 一种基于DeepLabv3+的改进语义分割方法 | |
| CN116030259A (zh) | 一种腹部ct图像多器官分割方法、装置及终端设备 | |
| CN113223002A (zh) | 一种血管图像分割方法 | |
| CN116664619A (zh) | 医学图像分割方法、装置及设备 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |