CN112308863B - 基于改进u型网络的oct图像近视性黄斑病变分割方法 - Google Patents
基于改进u型网络的oct图像近视性黄斑病变分割方法 Download PDFInfo
- Publication number
- CN112308863B CN112308863B CN202011161061.8A CN202011161061A CN112308863B CN 112308863 B CN112308863 B CN 112308863B CN 202011161061 A CN202011161061 A CN 202011161061A CN 112308863 B CN112308863 B CN 112308863B
- Authority
- CN
- China
- Prior art keywords
- layer
- module
- structure unit
- layer structure
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003902 lesion Effects 0.000 title claims abstract description 14
- 238000012014 optical coherence tomography Methods 0.000 title claims description 31
- 238000011176 pooling Methods 0.000 claims abstract description 78
- 230000002776 aggregation Effects 0.000 claims abstract description 58
- 238000004220 aggregation Methods 0.000 claims abstract description 58
- 210000001525 retina Anatomy 0.000 claims abstract description 20
- 108091053398 TRIM/RBCC family Proteins 0.000 claims abstract description 19
- 102000011408 Tripartite Motif Proteins Human genes 0.000 claims abstract description 19
- 208000001491 myopia Diseases 0.000 claims abstract description 16
- 230000006378 damage Effects 0.000 claims abstract description 15
- 230000004379 myopia Effects 0.000 claims abstract description 13
- 208000024080 Myopic macular degeneration Diseases 0.000 claims abstract description 11
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 11
- 208000014674 injury Diseases 0.000 claims abstract description 11
- 238000002474 experimental method Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 14
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 210000003462 vein Anatomy 0.000 abstract description 4
- 208000035719 Maculopathy Diseases 0.000 abstract description 3
- 208000002780 macular degeneration Diseases 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：搭建网络结构，网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，特征聚合池化模块FAPM设置于编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，深监督模块设置于解码器的除底层以外的各层中，用于引导网络生成更具有代表性的特征图；实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对网络结构的输出进行验证。本申请的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法实现视网膜OCT图像中的RBCC损伤和近视牵引纹的自动分割，提高了小目标分割性能。
Description
技术领域
本申请涉及视网膜图像分割方法技术领域，具体是一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法。
背景技术
目前最常用的医学分割网络U-Net的结构比较简单，如说明书附图中的图2所示，图中左边的编码器部分的作用是特征提取，右边解码器部分用作上采样，把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名U-Net。U-Net与其他常见的分割网络有一点非常不同的地方：U-net采用了完全不同的特征融合方式，即通过跳跃连接，以拼接的方式将特征在通道维度合并在一起，形成更多的特征图。全卷积网络(Fully Convolutional Network，FCN)在特征融合时使用的特征图对应点相加，并不会产成更多的特征图。因此,U-Net在医学分割任务中性能普遍比FCN网络更好。
但是，原始U-Net对于小目标的分割效果不理想，存在丢失信息和分割错误等问题。主要原因是编码器采用最大池化方式进行下采样，易丢失小目标信息，且由于卷积核尺寸较小导致网络视野有限，不能充分利用目标的上下文信息，容易导致小目标的漏分割和误分割。目前已有一些方法尝试解决这个问题，比如条纹池化下采样方式采用竖直条纹池化结合横向条纹池化采集上下文信息，使得下采样后得以保留更多上下文信息；局部重要性池化下采样方式通过学习自适应权重来增强下采样过程中的判别性信息，从而保证局部信息中每一个像素都能被学习到。但是，下采样过程中同时保留整体上下文信息和局部信息的方法未见报道。同时，原始U-Net网络只在解码器的最底层进行了监督学习，这会导致解码器中间层以及顶层产生的很多无效特征图影响目标的分割效果。
发明内容
本申请旨在解决上述技术问题，提供一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，实现视网膜OCT图像中的RBCC损伤和近视牵引纹的自动分割，解决现有技术中U型结构深度学习网络存在的上下文信息缺失而导致的小目标分割性能不佳的问题。
为实现上述目的，本申请公开了一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：搭建网络结构，所述网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，所述特征聚合池化模块FAPM设置于所述编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，所述深监督模块设置于所述解码器的底层以外的各层中，用于引导网络生成更具有代表性的特征图；实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对所述网络结构的输出进行验证。
作为优选，所述编码器模块与所述特征聚合池化模块FAPM结合后的结构包括自顶层至底层依次设置的编码第一层结构单元、编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元，所述编码第一层结构单元包括依次设置的输入端、第一3×3卷积层、第二3×3卷积层；所述编码第二层结构单元、所述编码第三层结构单元、所述编码第四层结构单元、所述编码底层结构单元均包括依次设置的特征聚合池化模块FAPM、第一3×3卷积层、第二3×3卷积层；所述编码第一层结构单元中的第二3×3卷积层与所述编码第二层结构单元中的特征聚合池化模块FAPM相连；所述编码第二层结构单元中的第二3×3卷积层与所述编码第三层结构单元中的特征聚合池化模块FAPM相连；所述编码第三层结构单元中的第二3×3卷积层与所述编码第四层结构单元中的特征聚合池化模块FAPM相连；所述编码第四层结构单元中的第二3×3卷积层与所述编码底层结构单元中的特征聚合池化模块FAPM相连。
作为优选，所述解码器模块与所述深监督模块结合后的结构包括自底层至顶层依次设置的解码第一层结构单元、解码第二层结构单元、解码第三层结构单元、解码第四层结构单元，所述解码第一层结构单元包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、1×1卷积层、输出端，所述解码第二层结构单元、所述解码第三层结构单元、所述解码第四层结构单元均包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、深监督模块；所述解码第一层结构单元中的合并与反卷积层与所述解码第二层结构单元中的第二3×3卷积层相连；所述解码第二层结构单元中的合并与反卷积层与所述解码第三层结构单元中的第二3×3卷积层相连；所述解码第三层结构单元中的合并与反卷积层与所述解码第四层结构单元中的第二3×3卷积层相连；所述解码第四层结构单元中的合并与反卷积层与所述编码底层结构单元中的第二3×3卷积层连接；所述编码第一层结构单元中的第二3×3卷积层与所述解码第一层结构单元中的合并与反卷积层跳跃连接，所述编码第二层结构单元中的第二3×3卷积层与所述解码第二层结构单元中的合并与反卷积层跳跃连接，所述编码第三层结构单元中的第二3×3卷积层与所述解码第三层结构单元中的合并与反卷积层跳跃连接，所述编码第四层结构单元中的第二3×3卷积层与所述解码第四层结构单元中的合并与反卷积层跳跃连接。
作为优选，所述特征聚合池化模块FAPM包括第一支路、第二支路、第三支路，所述第一支路包括垂直条纹池化、设置于所述垂直条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述垂直条纹池化后接入条纹池化之后的1×3卷积层，用于将输入特征图的大小从H×W变换为1×W，然后通过双线性插值将特征图大小更改为H/2×W/2；所述第二支路包括横向条纹池化、设置于所述横向条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述横向条纹池化后接入条纹池化之后的1×3卷积层，将输入特征图的大小从H×W更改为H×1，然后通过双线性插值将大小更改为H/2×W/2；将所述第一支路和所述第二支路的输出特征图相加聚合得到全局上下文信息；所述第三支路包括7×7卷积层，所述特征聚合池化模块FAPM将输入特征图经过一个7×7卷积层提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半进行下采样获取局部信息；将所述全局上下文信息与所述局部信息进行相加聚后的结构作为所述特征聚合池化模块FAPM的输出。
作为优选，所述深监督模块具体包括设置于所述解码器模块中除最底层外的其他层的输出特征图后的1×1卷积层，所述深监督模块将特征图的通道数降为1，再经过双线性上采样将特征图恢复成与金标准相同的尺寸，并与金标准计算损失函数，通过损失函数的反向传播，以对每一个所述深监督模块输出的特征图进行监督。
作为优选，所述损失函数为交叉熵损失和Dice损失之和。
本申请的有益效果：
1、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，是一种基于特征聚合池化模块下采样方式的改进U型分割网络，并辅以深监督模块加快网络收敛，提升分割性能。适用于视网膜光学相干断层扫描成像OCT图像中RBCC损伤和近视牵引纹病变区域的分割，分割性能良好，可为后续的定量分析奠定基础。
2、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，减少了下采样过程中信息丢失，同时聚合上下文信息和局部特征信息，即每次下采样得到的特征图中不仅包括了来自上一层特征图的局部信息，同时还聚合了全局的上下文信息。特征聚合池化模块FAPM中采用竖直条纹状池化下采样方式提取上下文信息，由于竖直条纹池化的形状与RBCC损伤相似，能更好地实现RBCC损伤的识别与分割。
3、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，通过在解码器模块中引入深监督模块，用于在网络训练过程中判断隐藏层特征图的质量，实现网络的有效和快速训练。并能够快速有效地重建高分辨率特征图。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中网络结构的示意图。
图2是现有技术中U-Net的网络结构的示意图。
图3是本申请实施例中特征聚合池化模块FAPM的示意图。
图4是本申请实施例中深监督模块的示意图。
图5是现有技术中RBCC损伤和牵引纹分割结果的示意图(a)。
图6是本申请实施例中RBCC损伤和牵引纹分割结果的金标准图(b)。
图7是本申请实施例中RBCC损伤和牵引纹分割结果的U-Net分割结果示意图(c)。
图8是本申请实施例中RBCC损伤和牵引纹分割结果的分割结果示意图(d)。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
实施例：一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：
搭建网络结构，网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，特征聚合池化模块FAPM设置于编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，深监督模块设置于解码器的最底层以外的各层中，用于引导网络生成更具有代表性的特征图；
实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对网络结构的输出进行验证。
基于上述方法，本申请设计了特征聚合池化模块FAPM(Feature AggregationPooling Module，FAPM)并应用于U-Net分割网络，旨在减少下采样过程中信息丢失的同时聚合上下文信息和局部特征信息，即每次下采样得到的特征图中不仅包括了来自上一层特征图的局部信息，同时还聚合了全局的上下文信息。本发明采用的深监督模块是为了在深度神经网络的中间层增加辅助的分类模块，用于解决梯度消失和收敛速度过慢等问题，引导网络生成有效的特征图以提升分割效果。
将本实施例提出的改进U型分割网络应用于视网膜OCT图像中RBCC损伤和近视牵引纹的分割任务获得了良好的分割性能，消融实验表明提出的特征聚合池化模块FAPM与深监督模块的结合有效提升了分割网络对小目标病变区域的分割性能。
作为本实施例的一种优选地实施方式，参考图1所示，编码器模块与特征聚合池化模块FAPM结合后的结构包括自顶层至底层依次设置的编码第一层结构单元、编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元。
编码第一层结构单元包括依次设置的输入端、第一3×3卷积层、第二3×3卷积层。编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元均包括依次设置的特征聚合池化模块FAPM、第一3×3卷积层、第二3×3卷积层。
编码第一层结构单元中的第二3×3卷积层与编码第二层结构单元中的特征聚合池化模块FAPM相连；编码第二层结构单元中的第二3×3卷积层与编码第三层结构单元中的特征聚合池化模块FAPM相连；编码第三层结构单元中的第二3×3卷积层与编码第四层结构单元中的特征聚合池化模块FAPM相连；编码第四层结构单元中的第二3×3卷积层与编码底层结构单元中的特征聚合池化模块FAPM相连。
在本实施例中，结合图1和图2所示，编码器模块的其它部分与现有技术中的U-Net网络结构保持一致，采用3×3卷积以得到各层特征图，编码器的每一层都通过跳跃连接与解码器的对应层进行连接以保留更多信息。
为了能获取具有代表性的特征图，本实施例在编码器模块的编码器通道中采用特征聚合池化模块FAPM进行下采样聚合全局上下文信息以及局部信息，使小目标的信息在网络的深层更好地保留下来，减少特征图中小目标特征信息的丢失。同时，为了克服传统最大池化方式下采样模式造成的信息丢失、视野小等问题，在特征聚合池化模块FAPM模块中，通过竖直条纹池化和横向条纹池化实现上下文信息的提取。为了实现局部信息的提取，首先采用卷积操作和激活函数使每一个像素均学习到相应的权重，再将权重与输入特征图相乘，最后再将特征图通过双线性插值缩小，充分有效地考虑每一个像素点的重要性。最后将上下文信息与局部信息两者相加聚合，实现一个信息丢失较少的下采样模块。
作为本实施例的一种优选地实施方式，解码器模块与深监督模块结合后的结构包括自底层至顶层依次设置的解码第一层结构单元、解码第二层结构单元、解码第三层结构单元、解码第四层结构单元。
解码第一层结构单元包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、1×1卷积层、输出端；解码第二层结构单元、解码第三层结构单元、解码第四层结构单元均包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、深监督模块。
解码第一层结构单元中的合并与反卷积层与解码第二层结构单元中的第二3×3卷积层相连；解码第二层结构单元中的合并与反卷积层与解码第三层结构单元中的第二3×3卷积层相连；解码第三层结构单元中的合并与反卷积层与解码第四层结构单元中的第二3×3卷积层相连；解码第四层结构单元中的合并与反卷积层与编码底层结构单元中的第二3×3卷积层连接；编码第一层结构单元中的第二3×3卷积层与解码第一层结构单元中的合并与反卷积层跳跃连接，编码第二层结构单元中的第二3×3卷积层与解码第二层结构单元中的合并与反卷积层跳跃连接，编码第三层结构单元中的第二3×3卷积层与解码第三层结构单元中的合并与反卷积层跳跃连接，编码第四层结构单元中的第二3×3卷积层与解码第四层结构单元中的合并与反卷积层跳跃连接。
本实施例在解码器模块的解码器通道采用了仅包含3×3卷积和2×2反卷积的上采样解码器模块，并在除最底层外的各层中加入深监督模块以提升最终的分割性能，并能够快速有效地重建高分辨率特征图。同时，通过深监督模块的设置，能够解决随着神经网络深度的增加，逐渐出现的深层特征图质量变差、梯度消失或者梯度爆炸等问题，提高小目标区域的分割效果。
作为本实施例的一种优选地实施方式，参考图3所示，特征聚合池化模块FAPM包括第一支路、第二支路、第三支路。
第一支路包括垂直条纹池化、设置于垂直条纹池化之后的1×3卷积层，特征聚合池化模块FAPM通过垂直条纹池化后接入1×3卷积层，用于将输入特征图的大小从H×W变换为1×W，然后通过双线性插值将特征图大小更改为H/2×W/2。
第二支路包括横向条纹池化、设置于横向条纹池化之后的1×3卷积层，特征聚合池化模块FAPM通过横向条纹池化后接入1×3卷积层，将输入特征图的大小从H×W更改为H×1，然后通过双线性插值将大小更改为H/2×W/2；将第一支路和第二支路的输出特征图相加聚合得到全局上下文信息。
第三支路包括7×7卷积层，特征聚合池化模块FAPM将输入特征图经过一个7×7卷积层提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半进行下采样获取局部信息；将全局上下文信息与局部信息进行相加聚后的结构作为特征聚合池化模块FAPM的输出。
在视网膜OCT图像中，近视牵引纹主要呈现为隆起的细胞团，由于近视牵引纹具有尺寸小且形特征独特的特点，因此图像的这一局部特征信息对于近视牵引纹的分割非常重要，而原始U-Net中采用的最大池化方式下采样，会由于2×2卷积的小视野引起视野缺失、全局上下文特征缺失等问题，因此本发明首先将输入特征图经过一个7×7卷积提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半达到下采样的目的。最终，FAPM模块将全局上下文信息与局部信息进行相加聚合，构成一种新的下采样方式
作为本实施例的一种优选地实施方式，参考图4所示，深监督模块具体包括设置于解码器模块中除最底层外的其他层的输出特征图后的1×1卷积层，深监督模块将特征图的通道数降为1，再经过双线性上采样将特征图恢复成与金标准相同的尺寸，并与金标准计算损失函数，通过损失函数的反向传播，以对每一个深监督模块输出的特征图进行监督。深监督机制的核心思想是在深度神经网络的中间层加入辅助的分类模块，来解决梯度消失和收敛速度过慢等问题。因此，本实施例在分割网络的解码器模块部分加入三个深监督模块。
作为本实施例的一种优选地实施方式，损失函数为交叉熵损失和Dice损失之和。交叉熵损失是采用卷积神经网络实现语义分割的常见损失函数，主要反映金标准与预测结果之间的相似性。由于RBCC损伤和近视牵引纹病变区域较小，在OCT图像中占比很小,这会导致数据类型不平衡问题，Dice损失函数使得网络更多关注和学习小目标的特征。这样设置的好处是，采用交叉熵损失和Dice损失之和作为损失函数，可以有效地解决训练过程中数据类型不平衡的问题。
在试验过程中，为了验证本申请的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法的有效性和通用性，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对本方法进行了验证。
在验证的数据库中，采用的OCT图像来自20只高度近视眼睛，每只眼睛的OCT图像有193张二维B扫描图像。
综合考虑病变区域占比、图像质量等因素，最终选取667张二维OCTB扫描图像作为实验数据。在实验过程中将数据根据病人分成3份，采用3折交叉验证方法。验证时，采用了随机左右翻转、上下翻转、-30度到30度旋转以及增加加性高斯噪声等在线方式进行数据扩增。为了客观评估本发明方法的性能，采用了Jaccard指标(Jaccard Index)、Dice系数和敏感度(Sensitivity)三个评价指标。最终获取了如表1所示的结果。并在表1中展示了相关消融实验和对比实验的结果与比较。
表1
在消融实验中，为了验证本发明提出的特征聚合下采样模块和深监督模块的有效性，将这两种模块分别嵌入到原始U-Net中。由表1可见，随着这两种模块的加入，对应网络的分割性能有效提升，说明本发明提出的特征聚合池化模块和深监督模块能增强U-Net网络对小目标分割的性能。在对比实验中，本发明方法与目前性能较好的分割网络如PSPNet、SegNet以及本发明的基本网络U-Net进行了性能比较。从附表1可见，本发明方法的性能优于上述其他方法。
参考图5～8所示，分别展示了采用不同方法分割RBCC损失和近视牵引纹的结果，根据图5～8显示的结果，表明本实施例提出的基于特征聚合池化模块和深监督模块的改进U型网络在OCT图像中RBCC损伤和近视牵引纹的分割性能良好。至此，用于分割OCT图像中RBCC损伤和近视牵引纹的改进U型网络模型已经实现并进行验证。
综上所述，基于本发明提出的特征聚合池化模块和深监督模块的应用，减少了有用信息的丢失，较好地提升了U型卷积神经网络对小目标分割的性能。
以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照所附权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的申请主题的一部分。
Claims (5)
1.一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，其特征在于，该方法包括：
搭建网络结构，所述网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，所述特征聚合池化模块FAPM设置于所述编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，所述深监督模块设置于所述解码器的底层以外的各层中，用于引导网络生成更具有代表性的特征图；
实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对所述网络结构的输出进行验证；
所述特征聚合池化模块FAPM包括第一支路、第二支路、第三支路，所述第一支路包括垂直条纹池化、设置于所述垂直条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述垂直条纹池化后接入所述1×3卷积层，用于将输入特征图的大小从H×W变换为1×W，然后通过双线性插值将特征图大小更改为H/2×W/2；
所述第二支路包括横向条纹池化、设置于所述横向条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述横向条纹池化后接入所述1×3卷积层，将输入特征图的大小从H×W更改为H×1，然后通过双线性插值将大小更改为H/2×W/2；将所述第一支路和所述第二支路的输出特征图相加聚合得到全局上下文信息；
所述第三支路包括7×7卷积层，所述特征聚合池化模块FAPM将输入特征图经过一个7×7卷积层提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半进行下采样获取局部信息；将所述全局上下文信息与所述局部信息进行相加聚后的结构作为所述特征聚合池化模块FAPM的输出。
2.根据权利要求1所述的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，其特征在于，所述编码器模块与所述特征聚合池化模块FAPM结合后的结构包括自顶层至底层依次设置的编码第一层结构单元、编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元，所述编码第一层结构单元包括依次设置的输入端、第一3×3卷积层、第二3×3卷积层；所述编码第二层结构单元、所述编码第三层结构单元、所述编码第四层结构单元、所述编码底层结构单元均包括依次设置的特征聚合池化模块FAPM、第一3×3卷积层、第二3×3卷积层；所述编码第一层结构单元中的第二3×3卷积层与所述编码第二层结构单元中的特征聚合池化模块FAPM相连；所述编码第二层结构单元中的第二3×3卷积层与所述编码第三层结构单元中的特征聚合池化模块FAPM相连；所述编码第三层结构单元中的第二3×3卷积层与所述编码第四层结构单元中的特征聚合池化模块FAPM相连；所述编码第四层结构单元中的第二3×3卷积层与所述编码底层结构单元中的特征聚合池化模块FAPM相连。
3.根据权利要求2所述的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，其特征在于，所述解码器模块与所述深监督模块结合后的结构包括自底层至顶层依次设置的解码第一层结构单元、解码第二层结构单元、解码第三层结构单元、解码第四层结构单元，所述解码第一层结构单元包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、1×1卷积层、输出端，所述解码第二层结构单元、所述解码第三层结构单元、所述解码第四层结构单元均包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、深监督模块；所述解码第一层结构单元中的合并与反卷积层与所述解码第二层结构单元中的第二3×3卷积层相连；所述解码第二层结构单元中的合并与反卷积层与所述解码第三层结构单元中的第二3×3卷积层相连；所述解码第三层结构单元中的合并与反卷积层与所述解码第四层结构单元中的第二3×3卷积层相连；所述解码第四层结构单元中的合并与反卷积层与所述编码底层结构单元中的第二3×3卷积层连接；所述编码第一层结构单元中的第二3×3卷积层与所述解码第一层结构单元中的合并与反卷积层跳跃连接，所述编码第二层结构单元中的第二3×3卷积层与所述解码第二层结构单元中的合并与反卷积层跳跃连接，所述编码第三层结构单元中的第二3×3卷积层与所述解码第三层结构单元中的合并与反卷积层跳跃连接，所述编码第四层结构单元中的第二3×3卷积层与所述解码第四层结构单元中的合并与反卷积层跳跃连接。
4.根据权利要求1或3所述的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，其特征在于，所述深监督模块具体包括设置于所述解码器模块中除最底层外的其他层的输出特征图后的1×1卷积层，所述深监督模块将特征图的通道数降为1，再经过双线性上采样将特征图恢复成与金标准相同的尺寸，并与金标准计算损失函数，通过损失函数的反向传播，以对每一个所述深监督模块输出的特征图进行监督。
5.根据权利要求4所述的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，其特征在于，所述损失函数为交叉熵损失和Dice损失之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161061.8A CN112308863B (zh) | 2020-10-27 | 2020-10-27 | 基于改进u型网络的oct图像近视性黄斑病变分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161061.8A CN112308863B (zh) | 2020-10-27 | 2020-10-27 | 基于改进u型网络的oct图像近视性黄斑病变分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308863A CN112308863A (zh) | 2021-02-02 |
| CN112308863B true CN112308863B (zh) | 2023-06-06 |
Family
ID=74330424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011161061.8A Active CN112308863B (zh) | 2020-10-27 | 2020-10-27 | 基于改进u型网络的oct图像近视性黄斑病变分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308863B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN109712183A (zh) * | 2018-11-28 | 2019-05-03 | 天津大学 | 基于深度学习的电子散斑干涉智能信息提取方法 |
| CN110349162A (zh) * | 2019-07-17 | 2019-10-18 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN110781776A (zh) * | 2019-10-10 | 2020-02-11 | 湖北工业大学 | 一种基于预测和残差细化网络的道路提取方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111292386A (zh) * | 2020-01-15 | 2020-06-16 | 中国人民解放军战略支援部队信息工程大学 | 一种基于U-net的CT投影金属迹线补全金属伪影校正方法 |
| CN111754534A (zh) * | 2020-07-01 | 2020-10-09 | 杭州脉流科技有限公司 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2020
- 2020-10-27 CN CN202011161061.8A patent/CN112308863B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN109712183A (zh) * | 2018-11-28 | 2019-05-03 | 天津大学 | 基于深度学习的电子散斑干涉智能信息提取方法 |
| CN109658422A (zh) * | 2018-12-04 | 2019-04-19 | 大连理工大学 | 一种基于多尺度深监督网络的视网膜图像血管分割方法 |
| CN110349162A (zh) * | 2019-07-17 | 2019-10-18 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN110781776A (zh) * | 2019-10-10 | 2020-02-11 | 湖北工业大学 | 一种基于预测和残差细化网络的道路提取方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111292386A (zh) * | 2020-01-15 | 2020-06-16 | 中国人民解放军战略支援部队信息工程大学 | 一种基于U-net的CT投影金属迹线补全金属伪影校正方法 |
| CN111754534A (zh) * | 2020-07-01 | 2020-10-09 | 杭州脉流科技有限公司 | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Strided U-Net Model: Retinal Vessels Segmentation using Dice Loss;Toufique A. Soomro.et al;《IEEE》;全文 * |
| Strip Pooling: Rethinking Spatial Pooling for Scene Parsing;Qibin Hou.et al;《Arxiv》;全文 * |
| 基于残差神经网络的道路提取算法研究;熊炜等;光电子技术(第01期);全文 * |
| 基于深度学习的膝关节MR图像自动分割方法;于宁波等;《仪器仪表学报》;第41卷(第6期);全文 * |
| 面向乳腺超声图像分割的混合监督双通道反馈U-Net;贡荣麟等;中国图象图形学报(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308863A (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN111242238B (zh) | 一种rgb-d图像显著性目标获取的方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN113379601B (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN114359292A (zh) | 一种基于多尺度和注意力的医学图像分割方法 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN116091313A (zh) | 一种图像超分辨率网络模型和重建方法 | |
| CN114936977A (zh) | 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 | |
| Hoang et al. | Transer: Hybrid model and ensemble-based sequential learning for non-homogenous dehazing | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112308863B (zh) | 基于改进u型网络的oct图像近视性黄斑病变分割方法 | |
| CN117455829A (zh) | 基于对抗学习的糖尿病性视网膜病变检测算法 | |
| CN114764754B (zh) | 一种基于几何感知先验引导的遮挡人脸修复方法 | |
| CN116681621A (zh) | 一种基于特征融合及复用的人脸图像修复方法 | |
| CN116740076A (zh) | 视网膜色素变性眼底图像中色素分割的网络模型及方法 | |
| CN116740515A (zh) | 一种基于cnn的强度图像与偏振图像融合增强方法 | |
| CN116563554A (zh) | 基于混合表征学习的低剂量ct图像去噪方法 | |
| CN116612167A (zh) | 一种实木锯材去缺陷的纹理拼接方法 | |
| CN112819798B (zh) | 多种视网膜积液联合分割的上下文关注与融合网络系统 | |
| CN116152060A (zh) | 一种双特征融合引导的深度图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |