CN112767406A - 一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络 - Google Patents
一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络 Download PDFInfo
- Publication number
- CN112767406A CN112767406A CN202110140538.2A CN202110140538A CN112767406A CN 112767406 A CN112767406 A CN 112767406A CN 202110140538 A CN202110140538 A CN 202110140538A CN 112767406 A CN112767406 A CN 112767406A
- Authority
- CN
- China
- Prior art keywords
- neural network
- corneal ulcer
- convolutional neural
- global
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010064996 Ulcerative keratitis Diseases 0.000 title claims abstract description 110
- 201000007717 corneal ulcer Diseases 0.000 title claims abstract description 107
- 238000012757 fluorescence staining Methods 0.000 title claims abstract description 61
- 230000011218 segmentation Effects 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 title abstract description 15
- 230000002776 aggregation Effects 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 63
- 239000010410 layer Substances 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 19
- 238000007906 compression Methods 0.000 claims description 19
- 230000005284 excitation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004148 unit process Methods 0.000 claims description 6
- 239000011229 interlayer Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000003902 lesion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，涉及医学图像分割技术领域，所述深度卷积神经网络包括U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述深度卷积神经网络用于对裂隙灯角膜溃疡荧光染色图像分割。达到了可以提高角膜溃疡的分割精度的效果。
Description
技术领域
本发明涉及一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，属于医学图像分割技术领域。
背景技术
角膜溃疡是角膜的常见病，是导致角膜盲的主要原因。荧光素是验光和眼科中应用最广泛的诊断染料，用于评估眼表的完整性，特别是角膜的完整性。当使用荧光素染色评估角膜溃疡时，溃疡区域出现明亮的绿色，而角膜的其他区域出现蓝色或棕色，因此，医生在许多眼科检查中采用它作为诊断角膜溃疡的常用方法。由于点状片状混合角膜溃疡和片状角膜溃疡的大小和形状不同，导致病灶类间和类内的不一致性，影响分割的准确性，特别是对点状微小病变区域分割的性能，因此在裂隙灯图像中对角膜溃疡区域的检测和分割具有很大的挑战性。
近年来，研究人员针对角膜溃疡病灶的分割提出了几种半自动和自动分割的方法。这些算法大都比较繁琐，分割精度不高，对较小的点状病灶区域存在漏分割的情况。
发明内容
本发明的目的在于提供一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，用于解决现有技术中存在的问题。
为达到上述目的，本发明提供如下技术方案：
根据第一方面，本发明实施例提供了一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，所述深度卷积神经网络包括：
U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述深度卷积神经网络用于对裂隙灯角膜溃疡荧光染色图像分割。
可选的，所述多尺度自适应可变形模块包括：并行和可变形卷积模块、多全局空间注意力模块、多全局信道注意力模块和自适应残差模块。
可选的，所述并行和可变形卷积模块包括n个卷积分支和可变形卷积层，所述n个卷积分支中的每个卷积分支用于对通道进行压缩，得到提取到的n个特征，所述可变形卷积层对串联输入的n个特征进行处理，得到输出特征，将所述输出特征输入至所述多全局空间注意力模块和所述多全局信道注意力模块，n为大于1的整数。
可选的，所述多全局空间注意力模块对输入的特征进行二维平均池化和最大池化操作，所述二维平均池化表示输入特征图中相应位置的所有通道的平均值，所述最大池化操作用于提取特征图中各通道的空间响应信息，将所述二维平均池化的输出和所述最大池化操作的输出特征拼接，通过卷积层对拼接后的特征进行压缩，并通过Sigmoid函数对压缩后的特征进行归一化，得到原始特征映射空间维度上的上下文信息。
可选的，所述多全局信道注意力模块用于计算各通道特征图的全局通道最大值和全局通道平均值，将所述全局通道最大值特征映射和全局通道平均值特征映射进行级联，通过卷积层对级联后的结果进行平滑和压缩，调整结果大小送入全连接层，再输入至Sigmoid函数，得到各特征映射的权值。
可选的，所述自适应残差模块用于将所述多全局空间注意力模块和所述多全局信道注意力模块输出的特征用系数相乘，将相乘结果与所述可变形卷积的结果相加，通过卷积对相加特征进行平滑处理，将平滑后的特征与原始特征相加，得到残差机制。
可选的，所述全局多尺度金字塔特征聚合模块将当前阶段的当前特征映射和低层特征映射作为输入，将所述低层特征映射进行处理并调整至所述当前特征映射的大小，将所述当前特征映射和调整后的所述低层特征映射进行叠加并处理，将处理后的特征调整至解码器层的通道数量，并输入至解码器。
可选的，所述全局多尺度金字塔特征聚合模块通过压缩激励模块对叠加后的特征进行处理，所述压缩激励模块包括压缩单元和激励单元，所述压缩单元通过全局平均池化层对叠加后的特征进行处理，得到全局信息，所述激励单元对压缩得到的所述全局信息进行处理，得到各个特征图的权重系数，根据输入特征与对应的权重系数得到处理后的特征。
第二方面，提供了一种角膜溃疡分割的深度卷积神经网络训练方法，所述方法包括：
获取样本角膜溃疡荧光染色图像，所述样本角膜溃疡荧光染色图像包括点片状混合角膜溃疡图像和片状角膜溃疡图像；
根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络，所述深度卷积神经网络为如第一方面所述的网络。
可选的，所述根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络之前，所述方法还包括：
通过双线性插值方法对所述样本角膜溃疡荧光染色图像进行下采样；
对下采样后的所述样本角膜溃疡荧光染色图像进行归一化处理；
所述根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络，包括：根据归一化后的所述样本角膜溃疡荧光染色图像训练所述深度卷积神经网络。
第三方面，提供了一种角膜溃疡分割方法，所述方法包括：
获取角膜溃疡荧光染色图像；
根据训练后的深度卷积神经网络对所述角膜溃疡荧光染色图像进行分割，所述深度卷积神经网络为通过第二方面所述的训练方法训练得到。
通过获取样本角膜溃疡荧光染色图像，所述样本角膜溃疡荧光染色图像包括点片状混合角膜溃疡图像和片状角膜溃疡图像；根据所述样本角膜溃疡荧光染色图像训练角膜溃疡分割模型，所述角膜溃疡分割模型为U形编码器解码器卷积神经网络以及多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述角膜溃疡分割模型用于对裂隙灯角膜溃疡荧光染色图像分割。也即在U形编码器解码器卷积神经网络中增加多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，提高网络对全局语义信息的学习能力，引导模型关注目标的多尺度特征，促进上下文信息的聚合，进而提高分割网络的分割精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的CU-SegNet网络的整体结构的示意图；
图2为本发明一个实施例提供的残差模块的示意图；
图3为本发明一个实施例提供的多尺度自适应可变形模块的结构示意图；
图4为本发明一个实施例提供的SE模块的结构示意图；
图5为本发明一个实施例提供的角膜溃疡分割模型训练方法的方法流程图；
图6为本发明一个实施例提供的样本角膜溃疡荧光染色图像的示意图；
图7为本发明方法训练得到的角膜溃疡分割模型与现有各种方法的分割结果的示意图；
图8为本发明一个实施例提供的角膜溃疡分割方法的方法流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请提供了一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，所述深度卷积神经网络包括U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述深度卷积神经网络用于对裂隙灯角膜溃疡荧光染色图像分割。
U形卷积神经网络可以为CU-SegNet，U形编码器解码器卷积神经网络由编码器路径和解码器路径构成。请参考图1，编码器路径采用预训练的ResNet-34作编码器，共有5个编码器块，第一个编码器块有一个7×7步长为2的卷积层，一个批归一化层和一个3×3步长为2最大池化层，其余四个编码器块有3个残差块和一个1×1步长为2的卷积层。每个残差块里包含两个3×3步长为1的卷积层,见附图2(每层里面都包含一个批归一化层)。同时，输入输出之间存在捷径机制，避免了梯度消失，加速网络收敛。在解码器路径中，它对输入的高级语义特征进行恢复，跳跃连接弥补了多次卷积池化操作造成的信息丢失。解码器路径有5个解码器块，其中四个解码器块包含一个1×1步长为1的卷积层，一个3×3步长为2的反卷积层和一个1×1步长为1卷积层(每层卷积里面都包含一个批归一化层)。最后一个解码器块用来恢复图像尺寸，包含一个4×4步长为1的反卷积，以及两个3×3步长为1的卷积层。
结合图1，本申请在上述U形网络结构中设置了全局多尺度金字塔特征聚合模块(MGPA)和多尺度自适应可变形模块(MAD，Multi-scale Adaptive-aware Deformation)，每个模块的具体结构如下所述。
请参考图3，多尺度自适应可变形模块包括：并行和可变形卷积模块、多全局空间注意力模块、多全局信道注意力模块和自适应残差模块。其中：
所述并行和可变形卷积模块包括n个卷积分支和可变形卷积层，所述n个卷积分支中的每个卷积分支用于对通道进行压缩，得到提取到的n个特征，所述可变形卷积层对串联输入的n个特征进行处理，得到输出特征，将所述输出特征输入至所述多全局空间注意力模块和所述多全局信道注意力模块，n为大于1的整数。
比如，在一种可能的实现方式中，并行和可变形卷积模块包括四个卷积分支和一个可变形卷积层，四个卷积分支是并行叠加的。首先，四个卷积分支对通道进行压缩，以降低计算成本。在四个卷积分支中依次采用了1×1的普通卷积和3×3速率分别为1、3、5、7的膨胀卷积，得到的感受野大小分别为3、11、19、27。接下来，这些特征映射被串联并输入到一个可变形卷积层中，它可以通过在水平和垂直方向上增加卷积核大小的额外偏移量来增强模块中的空间采样位置。最后，该模块输出的特征映射输入至结构上并行的多全局空间注意模块和多全局通道注意模块。
所述多全局空间注意力模块对输入的特征进行二维平均池化和最大池化操作，所述二维平均池化表示输入特征图中相应位置的所有通道的平均值，所述最大池化操作用于提取特征图中各通道的空间响应信息，将所述二维平均池化的输出和所述最大池化操作的输出特征拼接，通过卷积层对拼接后的特征进行压缩，并通过Sigmoid函数对压缩后的特征进行归一化，得到原始特征映射空间维度上的上下文信息。最大池化可以提取特征图各通道中最显著的空间响应信息。然而，由于病变的大小和形状不同，它也可能引入噪声。同时，平均池化可以表示输入特征图中相应位置的所有通道的平均值。虽然它可以抑制信道中的一些噪声干扰，但也抑制了所有信道中最重要的空间响应信息。因此，为了获得各通道中最显著的空间响应信息并抑制噪声干扰，多尺寸全局空间注意模块对输入的特征映射同时进行二维平均池化和最大池化操作，向最大池化分支(H×W,H表示特征图的高，W表示特征图的宽)和平均池化分支(H×W)输入特征映射。两个分支结果被拼接成尺寸2×H×W的特征图。池化分支后面是一个卷积层，它用来压缩特征图(2×H×W)的通道至1×H×W。最后，采用Sigmoid函数将特征映射归一化到0～1(H×W)，得到原始特征映射空间维度上的上下文信息。同时，该模块还可以抑制噪声的干扰。
所述多全局信道注意力模块用于计算各通道特征图的全局通道最大值和全局通道平均值，将所述全局通道最大值特征映射和全局通道平均值特征映射进行级联，通过卷积层对级联后的结果进行平滑和压缩，调整结果大小送入全连接层，再输入至Sigmoid函数，得到各特征映射的权值。
它首先将特征图输入两个并行分支中，分别计算各通道特征图的最大值和平均值。然后，全局通道最大值特征映射(C×1×1,C表示通道数目)和全局通道均值特征映射(C×1×1)两者级联，通过卷积层对级联后的结果进行平滑和压缩。最后调整结果大小(C×1)，送入全连接层，再输入Sigmoid函数，得到各特征映射的权值。该模块可以得到各通道各特征映射的响应，抑制噪声干扰。
所述自适应残差模块用于将所述多全局空间注意力模块和所述多全局信道注意力模块输出的特征用系数相乘，将相乘结果与所述可变形卷积的结果相加，通过卷积对相加特征进行平滑处理，将平滑后的特征与原始特征相加，得到残差机制。
将多全局空间注意模块(X2)和多全局通道注意模块(X3)的特征映射分别用系数相乘，然后将它们与可变形卷积(X1)的结果加在一起，最后通过卷积对特征映射进行平滑处理。本文将λ和γ的可学习参数初始化为1.0。这个过程可以概括为:
输出＝Conv(X1+λX1X2+γX1X3)。
最后，将平滑后的特征映射与原始特征映射直接相加，构建残差机制。
所述全局多尺度金字塔特征聚合模块将当前阶段的当前特征映射和低层特征映射作为输入，将所述低层特征映射进行处理并调整至所述当前特征映射的大小，将所述当前特征映射和调整后的所述低层特征映射进行叠加并处理，将处理后的特征调整至解码器层的通道数量，并输入至解码器。
所述全局多尺度金字塔特征聚合模块通过压缩激励模块对叠加后的特征进行处理，所述压缩激励模块包括压缩单元和激励单元，所述压缩单元通过全局平均池化层对叠加后的特征进行处理，得到全局信息，所述激励单元对压缩得到的所述全局信息进行处理，得到各个特征图的权重系数，根据输入特征与对应的权重系数得到处理后的特征。
具体的，结合图1，U形网络中原有的跳跃连接会产生语义鸿沟。为解决这一问题，本发明设计了多尺度全局金字塔特征聚合模块并嵌入到跳跃连接中，为高层特征映射补充局部特征信息。在多尺度全局金字塔特征聚合模块中,当前阶段的特征映射F2(C2×H2×W2)和低层特征映射F1(C1×H1×W1)作为输入。首先，将F1特征映射输入至池化步长分别为2、3和6的最大池化层，以捕获不同大小和形状的目标，然后输入1×1的卷积层。接着，通过双线性插值，将它们调整尺寸为与当前阶段的特征映射相同的大小。与此同时，F1特征映射被输入到一个1×1卷积层，并被调整到F2的大小，以单独补充更多的局部特征信息。所有这些结果都与当前阶段的特征映射F2叠加。最后,特征映射((4C1+C2)×H2×W2)送入Squeeze-and-Excitation(SE)模块中,用1×1卷积层来调整匹配相对应的解码器层的通道数量。该模块为高层特征图补充了局部特征信息。SE模块主要包含压缩(Sequeeze)和激励(Excitation)两部分，见附图4。压缩操作通过一个全局平均池化层完成，这一步得到的结果维度为C×1×1,表明该层C个特征图的数值分布情况，或者叫全局信息，C表示通道数目。激励操作指的是上述压缩得到的结果先经过一个C/r×1×1的卷积得到的结果维度为C/r×1×1，r表示压缩率，接着经过一个ReLU层(激活函数)，输出维度保持不变；然后再经过一个C×1×1的卷积得到的结果输出维度为C×1×1，然后再经过sigmoid函数，得到C个特征图的权重系数，这C个权重系数代表各通道的重要程度，而这C个权重系数是通过上述的卷积操作和非线性层学习得到的。两个1×1卷积的作用就是融合各通道的特征图特征。最后将输入特征与得到的权重进行点积，得到经过选择后的重要特征信息并且抑制了一些无关信息。
请参考图5，其示出了本申请一个实施例提供的用于角膜溃疡分割的深度卷积神经网络训练方法的方法流程图，如图5所示，所述方法包括：
步骤501，获取样本角膜溃疡荧光染色图像，所述样本角膜溃疡荧光染色图像包括点片状混合角膜溃疡图像和片状角膜溃疡图像；
样本角膜溃疡荧光染色图像可以为带金标准的角膜溃疡图像。实际实现时，每张样本角膜溃疡荧光染色图像的分辨率可以为2592×1728像素。
比如，请参考图6，其示出了几种可能的样本角膜溃疡荧光染色图像的示意图。
另外，本申请中的样本角膜溃疡荧光染色图像可以为SUSTech-SYSU中的图像，其不仅用于开发和评估自动角膜溃疡分割算法，而且用于识别一般和特定的溃疡模式以及溃疡严重程度。
本申请基于Pytorch的集成环境和1块带有12GB存储空间的Tesla K40 GPU(Graphics Processing Unit，图形处理器)完成模型的训练。
可选的，样本集可以划分为训练集和测试集，通过训练集中的样本角膜溃疡荧光染色图像来训练角膜溃疡分割模型，并通过测试集中的样本角膜溃疡荧光染色图像对训练得到的角膜溃疡分割模型进行测试。比如，样本集中包括354张图像，则本申请可以将其中划分为四份(90,90,90,84)，采用四折交叉验证的策略训练模型，模型训练结束后，用验证集测试模型的性能以评价此发明的表现。
步骤502，根据所述样本角膜溃疡荧光染色图像训练深度卷积神经网络，所述深度卷积神经网络包括U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述角膜溃疡分割模型用于对裂隙灯角膜溃疡荧光染色图像分割。
可选的，在获取到样本角膜溃疡荧光染色图像之后，可以先对获取到的样本角膜溃疡荧光染色图像进行预处理，进而在本步骤中根据预处理后的图像进行训练。其中，预处理步骤可以包括：
(1)、通过双线性插值方法对所述样本角膜溃疡荧光染色图像进行下采样；
比如，为了降低网络训练的计算成本，通过双线性插值方法将所有样本角膜溃疡荧光染色图像下采样到512×512×3的尺寸。
(2)、对下采样后的所述样本角膜溃疡荧光染色图像进行归一化处理。
当然，实际实现时，为了防止过拟合和增强模型的泛化能力，在获取到样本角膜溃疡荧光染色图像之后，对数据进行在线的数据扩增操作，包括旋转-10度到10度、水平翻转、垂直翻转、高斯噪声添加和仿射变换。
实际实现时，可以通过后向传播算法最小化交叉熵损失和Dice损失来训练模型，使用优化器Adam来最小化代价函数，基本学习率设置为0.0005和权重衰减设置为0.0001。批(Batch)尺寸设置为4，迭代次数(Epoch)设置为100。
在对角膜溃疡分割模型进行训练之后，对训练后的角膜溃疡分割模型进行验证。本申请使用的评估指标为Dice系数(DSC)、灵敏度(sensitivity)、特异性(specificity)、皮尔逊相关系数(Pearson’s correlation coefficient，PCC)。其中Dice系数(Dice)、灵敏度(sensitivity，SEN)、特异性(specificity,SPE)、皮尔逊相关系数(Pearson’scorrelation coefficient，PCC)的定义如下：
其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性，X和Y分别表示预测集合与金标准集合。
本申请在测试数据集中评估和对比原始U形编码器解码器结构与本申请中所提出的卷积神经网络CU-SegNet。为了证明MGPA模块和MAD模块的有效性，进行了一系列的消融实验。实验结果如表1所示。原始U形编码器解码器结构用“Backbone”表示，“Backbone+MGPA”表示在原始U形编码器解码器结构中添加MGPA模块，“Backbone+MAD”表示在原始U形编码器解码器结构中添加MAD模块，“proposed”表示在原始U形编码器解码器结构中同时添加MGPA模块和MAD模块，即本发明中提出的方法。可以看出原始U形编码器解码器结构的分割Dice系数是87.71％，改进后也即本发明的分割Dice系数可达89.14％，比原始U形编码器解码器结构提高了1.43％。从表1中可以看出本发明中设计的MGPA模块和MAD模块均比原始U形编码器解码器结构的分割精度高。
表1
附图7展示了本发明中提出的网络与其他基于U形编码器解码器结构做出改进的网络分割对比图。本发明中的分割精度均优于改进前的分割精度。总之，本发明提出两个模块MGPA模块和MAD模块保证了裂隙灯角膜溃疡荧光染色图像病灶的分割精度和效率。
至此，一种针对裂隙灯角膜溃疡荧光染色图像病灶的自动分割方法--CU-Seg Net神经网络已实现并进行验证。其在实验中的表现优于原始U形编码器解码器结构卷积神经网络，此发明能对裂隙灯角膜溃疡荧光染色图像病灶的自动分割做出更优的预测，从另一方面来说，本发明中设计的注意力模块MGPA和MAD并不复杂，可以嵌入到其他任何卷积神经网络中去，使得网络的特征提取能力更强，从而提高网络的整体性能，有助于裂隙灯角膜溃疡荧光染色图像病灶的自动分割，大大提高了裂隙灯角膜溃疡荧光染色图像病灶的自动分割的精度。本发明结合了图像预处理、CU-SegNet网络模型的搭建与训练以及测试，使后续对裂隙灯荧光染色图像角膜溃疡病灶的研究，如病变严重程度的分类研究等有很大的帮助。
综上所述，通过获取样本角膜溃疡荧光染色图像，所述样本角膜溃疡荧光染色图像包括点片状混合角膜溃疡图像和片状角膜溃疡图像；根据所述样本角膜溃疡荧光染色图像训练深度卷积神经网络，所述深度卷积神经网络包括U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述深度卷积神经网络用于对裂隙灯角膜溃疡荧光染色图像分割。也即在U形编码器解码器卷积神经网络中增加多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，提高网络对全局语义信息的学习能力，引导模型关注目标的多尺度特征，促进上下文信息的聚合，进而提高分割网络的分割精度。
请参考图8，其示出了本申请提供的角膜溃疡分割方法的方法流程图，如图8所示，所述方法包括：
步骤801，获取角膜溃疡荧光染色图像；
步骤802，根据训练后的深度卷积神经网络对所述角膜溃疡荧光染色图像进行分割。
所述深度卷积神经网络为通过图5所示实施例的训练方法训练得到的。
综上所述，通过获取角膜溃疡荧光染色图像；根据训练后的深度卷积神经网络对所述角膜溃疡荧光染色图像进行分割，深度卷积神经网络为上述实施例训练得到的网络。也即在U形编码器解码器卷积神经网络中增加多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，提高网络对全局语义信息的学习能力，引导模型关注目标的多尺度特征，促进上下文信息的聚合，进而提高分割网络的分割精度。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络，其特征在于，所述深度卷积神经网络包括U形编码器解码器卷积神经网络、多尺度自适应可变形模块和全局多尺度金字塔特征聚合模块，所述多尺度自适应可变形模块嵌入所述U形编码器解码器卷积神经网络的顶端，所述全局多尺度金字塔特征聚合模块嵌入所述U形编码器解码器卷积神经网络层间跳跃连接中，所述深度卷积神经网络用于对裂隙灯角膜溃疡荧光染色图像分割。
2.根据权利要求1所述的深度卷积神经网络，其特征在于，所述多尺度自适应可变形模块包括：并行和可变形卷积模块、多全局空间注意力模块、多全局信道注意力模块和自适应残差模块。
3.根据权利要求2所述的深度卷积神经网络，其特征在于，所述并行和可变形卷积模块包括n个卷积分支和可变形卷积层，所述n个卷积分支中的每个卷积分支用于对通道进行压缩，得到提取到的n个特征，所述可变形卷积层对串联输入的n个特征进行处理，得到输出特征，将所述输出特征输入至所述多全局空间注意力模块和所述多全局信道注意力模块，n为大于1的整数。
4.根据权利要求2所述的深度卷积神经网络，其特征在于，所述多全局空间注意力模块对输入的特征进行二维平均池化和最大池化操作，所述二维平均池化表示输入特征图中相应位置的所有通道的平均值，所述最大池化操作用于提取特征图中各通道的空间响应信息，将所述二维平均池化的输出和所述最大池化操作的输出特征拼接，通过卷积层对拼接后的特征进行压缩，并通过Sigmoid函数对压缩后的特征进行归一化，得到原始特征映射空间维度上的上下文信息。
5.根据权利要求2所述的深度卷积神经网络，其特征在于，所述多全局信道注意力模块用于计算各通道特征图的全局通道最大值和全局通道平均值，将所述全局通道最大值特征映射和全局通道平均值特征映射进行级联，通过卷积层对级联后的结果进行平滑和压缩，调整结果大小送入全连接层，再输入至Sigmoid函数，得到各特征映射的权值。
6.根据权利要求2所述的深度卷积神经网络，其特征在于，所述自适应残差模块用于将所述多全局空间注意力模块和所述多全局信道注意力模块输出的特征用系数相乘，将相乘结果与所述可变形卷积的结果相加，通过卷积对相加特征进行平滑处理，将平滑后的特征与原始特征相加，得到残差机制。
7.根据权利要求1至6任一所述的深度卷积神经网络，其特征在于，所述全局多尺度金字塔特征聚合模块将当前阶段的当前特征映射和低层特征映射作为输入，将所述低层特征映射进行处理并调整至所述当前特征映射的大小，将所述当前特征映射和调整后的所述低层特征映射进行叠加并处理，将处理后的特征调整至解码器层的通道数量，并输入至解码器。
8.根据权利要求7所述的深度卷积神经网络，其特征在于，所述全局多尺度金字塔特征聚合模块通过压缩激励模块对叠加后的特征进行处理，所述压缩激励模块包括压缩单元和激励单元，所述压缩单元通过全局平均池化层对叠加后的特征进行处理，得到全局信息，所述激励单元对压缩得到的所述全局信息进行处理，得到各个特征图的权重系数，根据输入特征与对应的权重系数得到处理后的特征。
9.一种角膜溃疡分割的深度卷积神经网络训练方法，其特征在于，所述方法包括：
获取样本角膜溃疡荧光染色图像，所述样本角膜溃疡荧光染色图像包括点片状混合角膜溃疡图像和片状角膜溃疡图像；
根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络，所述深度卷积神经网络为如权利要求1至8任一所述的网络。
10.根据权利要求9所述的方法，其特征在于，所述根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络之前，所述方法还包括：
通过双线性插值方法对所述样本角膜溃疡荧光染色图像进行下采样；
对下采样后的所述样本角膜溃疡荧光染色图像进行归一化处理；
所述根据所述样本角膜溃疡荧光染色图像训练用于角膜溃疡分割的深度卷积神经网络，包括：
根据归一化后的所述样本角膜溃疡荧光染色图像训练所述深度卷积神经网络。
11.一种角膜溃疡分割方法，其特征在于，所述方法包括：
获取角膜溃疡荧光染色图像；
根据训练后的深度卷积神经网络对所述角膜溃疡荧光染色图像进行分割，所述深度卷积神经网络为通过权利要求9或10所述的训练方法训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110140538.2A CN112767406B (zh) | 2021-02-02 | 2021-02-02 | 角膜溃疡分割的深度卷积神经网络训练方法及分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110140538.2A CN112767406B (zh) | 2021-02-02 | 2021-02-02 | 角膜溃疡分割的深度卷积神经网络训练方法及分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767406A true CN112767406A (zh) | 2021-05-07 |
| CN112767406B CN112767406B (zh) | 2023-12-12 |
Family
ID=75704601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110140538.2A Active CN112767406B (zh) | 2021-02-02 | 2021-02-02 | 角膜溃疡分割的深度卷积神经网络训练方法及分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767406B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926660A (zh) * | 2022-05-31 | 2022-08-19 | 济南大学 | 用于医学视觉问答的图像编码方法、问答方法及系统 |
| CN116188918A (zh) * | 2023-04-27 | 2023-05-30 | 上海齐感电子信息科技有限公司 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
| CN116205934A (zh) * | 2023-02-13 | 2023-06-02 | 苏州大学 | 基于cnn的睑板腺区域和睑板腺萎缩区域分割模型及方法 |
| CN117058160A (zh) * | 2023-10-11 | 2023-11-14 | 湖南大学 | 基于自适应特征融合网络的三维医学图像分割方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140531A1 (en) * | 2015-11-18 | 2017-05-18 | Lightlab Imaging, Inc. | X-ray image feature detection and registration systems and methods |
| CN110490813A (zh) * | 2019-07-05 | 2019-11-22 | 特斯联（北京）科技有限公司 | 卷积神经网络的特征图增强方法、装置、设备及介质 |
| CN110516511A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 用于处理信息的方法和装置 |
| US20200226421A1 (en) * | 2019-01-15 | 2020-07-16 | Naver Corporation | Training and using a convolutional neural network for person re-identification |
| CN111652871A (zh) * | 2020-06-03 | 2020-09-11 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 基于ivcm图像的角膜神经弯曲度测量系统及方法 |
-
2021
- 2021-02-02 CN CN202110140538.2A patent/CN112767406B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140531A1 (en) * | 2015-11-18 | 2017-05-18 | Lightlab Imaging, Inc. | X-ray image feature detection and registration systems and methods |
| CN110516511A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 用于处理信息的方法和装置 |
| US20200226421A1 (en) * | 2019-01-15 | 2020-07-16 | Naver Corporation | Training and using a convolutional neural network for person re-identification |
| CN110490813A (zh) * | 2019-07-05 | 2019-11-22 | 特斯联（北京）科技有限公司 | 卷积神经网络的特征图增强方法、装置、设备及介质 |
| CN111652871A (zh) * | 2020-06-03 | 2020-09-11 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 基于ivcm图像的角膜神经弯曲度测量系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHENHUI LI ET AL.: "Fast content-aware resizing of multi-layer information visualization via adaptive triangulation", SCIENCE DIRECT * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926660A (zh) * | 2022-05-31 | 2022-08-19 | 济南大学 | 用于医学视觉问答的图像编码方法、问答方法及系统 |
| CN116205934A (zh) * | 2023-02-13 | 2023-06-02 | 苏州大学 | 基于cnn的睑板腺区域和睑板腺萎缩区域分割模型及方法 |
| CN116188918A (zh) * | 2023-04-27 | 2023-05-30 | 上海齐感电子信息科技有限公司 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
| CN117058160A (zh) * | 2023-10-11 | 2023-11-14 | 湖南大学 | 基于自适应特征融合网络的三维医学图像分割方法及系统 |
| CN117058160B (zh) * | 2023-10-11 | 2024-01-16 | 湖南大学 | 基于自适应特征融合网络的三维医学图像分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767406B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN109376636B (zh) | 基于胶囊网络的眼底视网膜图像分类方法 | |
| CN112767406A (zh) | 一种适用于荧光染色裂隙灯图像角膜溃疡分割的深度卷积神经网络 | |
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
| CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN112949565A (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| CN112116009B (zh) | 基于卷积神经网络的新冠肺炎x射线图像识别方法及系统 | |
| CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
| CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
| CN111709446B (zh) | 基于改进的密集连接网络的x线胸片分类装置 | |
| CN115457051A (zh) | 基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法 | |
| CN114140651A (zh) | 胃部病灶识别模型训练方法、胃部病灶识别方法 | |
| CN116563647B (zh) | 年龄相关性黄斑病变图像分类方法及装置 | |
| JP6345332B1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| CN117058676A (zh) | 一种基于眼底检查影像的血管分割方法、装置和系统 | |
| CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| JP2024027078A (ja) | マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体 | |
| CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN116740076A (zh) | 视网膜色素变性眼底图像中色素分割的网络模型及方法 | |
| CN114998300A (zh) | 一种基于多尺度信息融合网络的角膜溃疡分类方法 | |
| CN115170885A (zh) | 基于特征金字塔网络结构和通道注意力机制的脑肿瘤分类检测方法及系统 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |