CN112215239A - 一种视网膜病变细粒度分级方法及装置 - Google Patents
一种视网膜病变细粒度分级方法及装置 Download PDFInfo
- Publication number
- CN112215239A CN112215239A CN202010966557.6A CN202010966557A CN112215239A CN 112215239 A CN112215239 A CN 112215239A CN 202010966557 A CN202010966557 A CN 202010966557A CN 112215239 A CN112215239 A CN 112215239A
- Authority
- CN
- China
- Prior art keywords
- local
- channel
- attention
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003902 lesion Effects 0.000 title abstract description 8
- 230000002207 retinal effect Effects 0.000 title abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 210000001525 retina Anatomy 0.000 claims abstract description 13
- 238000012163 sequencing technique Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 41
- 208000017442 Retinal disease Diseases 0.000 claims description 38
- 206010038923 Retinopathy Diseases 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 206010012689 Diabetic retinopathy Diseases 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 10
- 230000004256 retinal image Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本发明公开了一种视网膜病变细粒度分级方法及装置，将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域，对所述局部区域采用第二密集连接神经网络提取局部特征，从而采用融合全局特征和局部特征进行分级。本发明在糖尿病性视网膜病变分级上拥有较好结果。
Description
技术领域
本发明属于计算机视觉领域的医学图像大数据处理与分析技术领域，特别涉及一种基于多通道注意力选择机制的视网膜病变细粒度分级方法及装置。
背景技术
糖尿病性视网膜病变(Diabetic Retinopathy,DR)是糖尿病最常见的并发症之一，也是人类致盲的主要原因之一。在我国糖尿病患者中，糖尿病性视网膜病变的患病率高达23％，且该视网膜病变在晚期无法治愈，因此早期的诊断就显得尤为重要。然而糖尿病性视网膜病变没有早期的预警信号，人们对其的诊断只能由电子摄像机等设备拍摄眼底图，交由专业的医生进行分析之后才能给出，这极度依赖于医生的专业知识和相关设备的配置，通常会花几天时间来进行诊断。当前大量的潜在患者和少量的经验人员给糖尿病性视网膜病变的检测带来了极大的困难。
糖尿病性视网膜病变分级最大的挑战就是眼底病变图的类别精度相比于其他图片类别更加精细，过于微小的病变点使得类间差异非常细微，难以分辨。虽然目前基于神经网络提出了多种特征提取方法，但是仍然存在对微小病变的识别上有所不足的问题。
发明内容
本申请的目的是提供一种视网膜病变细粒度分级方法及装置，利用多层神经网络和通道注意力机制构造特征提取网络，提取全局特征以及注意力特征。并且在多通道注意力选择时，使用排序函数以获取高信息量通道层。通过高信息量通道层得到局部特征，将其与全局特征相融合。设计了目标函数，通过优化该目标函数得到分级结果。
一种视网膜病变细粒度分级方法，包括：
获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；
将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；
使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；
对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
对所述局部区域采用第二密集连接神经网络提取局部特征；
将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。
进一步的，所述信息量提取函数为：
T(A)＝Sigmoid(MLP(Maxpool(A))+MLP(Maxpool(A)))
其中Sigmoid为激活操作，A为注意力特征图，Maxpool表示全局最大池化操作，Avgpool表示全局平均池化操作，MLP表示多层感知机操作。
进一步的，所述视网膜病变细粒度分级方法，还包括：
训练视网膜病变细粒度分级网络；
所述视网膜病变细粒度分级网络，包括：
第一密集连接神经网络，用于提取全局特征；
注意力提取网络，用于进行注意力特征提取，获取注意力特征图；
多通道注意力选择网络，用于使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
第二密集连接神经网络，用于对所述局部区域采用第二密集连接神经网络提取局部特征；
特征融合网络，用于将所述全局特征和局部特征进行特征融合；
全连接层，用于对特征融合后的融合特征进行分级，得到分级结果。
进一步的，所述视网膜病变细粒度分级网络的目标函数为：
其中，α和β是超参数，
为局部特征和全局特征各自的分类损失之和，
为局部特征和全局特征融合之后的分类损失，
为排序损失；
其中，loss为交叉熵损失，fc是置信度函数，Fi′为第i个局部特征，classi为Fi′的标签值，F为全局特征，class为F的标签值，f为铰链损失函数，S′j、S′i为局部通道特征图中通道特征对应的信息量，i，j∈K，Ci为第i个局部特征的分类置信度，Cj为第j个局部特征的分类置信度，C0是全局特征的分类置信度。
本申请还提出了一种视网膜病变细粒度分级装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述视网膜病变细粒度分级方法的步骤。
本申请提出的一种视网膜病变细粒度分级方法及装置，是一种精度较高的视网膜病变细粒度分级方法。本申请的有益效果包括：以密集连接神经网络作为基础网络，使用了最大池化和均值池化获取通道特征量、根据通道特征量排序选择获取局部特征。通过排序损失优化多通道注意力选择模型在生成注意力特征图时更加关注信息量大的通道以及对应区域，使得当特征图信息量大的时候，该特征图对于正确分类的置信度也大，以获取更具信息量的局部区域。
附图说明
图1为本申请视网膜病变细粒度分级方法流程图；
图2为本申请实施例视网膜病变细粒度分级网络示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请一种视网膜病变细粒度分级方法，包括：
获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；
将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；
使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；
对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
对所述局部区域采用第二密集连接神经网络提取局部特征；
将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。
本申请基于训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级。在一个实施例中，如图2所示，所述视网膜病变细粒度分级网络，包括：
第一密集连接神经网络，用于提取全局特征；
注意力提取网络，用于进行注意力特征提取，获取注意力特征图；
多通道注意力选择网络，用于使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
第二密集连接神经网络，用于对所述局部区域采用第二密集连接神经网络提取局部特征；
特征融合网络，用于将所述全局特征和局部特征进行特征融合；
全连接层，用于对特征融合后的融合特征进行分级，得到分级结果。
容易理解的是，采用训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级，与采用训练图像对视网膜病变细粒度分级网络进行训练的过程是一一对应的，以下以采用训练图像对视网膜病变细粒度分级网络进行训练的过程为例进行详细的阐述。
在本实施例中，第一密集连接神经网络，用于对输入的视网膜图像进行特征提取，获取全局特征F。例如采用DenseNet网络。
在一个实施例中，注意力提取网络包含三个卷积核大小为1×1卷积层，三个卷积层的输出通道数分别为128，64，32。第三个卷积层之后接批规范化处理和ReLU激活函数，得到注意力特征图A。对得到的注意力特征图进行归一化，将像素大小量化到[0，1]区间：
其中
为第i层通道上的注意力特征，M为通过三个卷积层之后注意力特征图的通道数，设为32，H和W分别为注意力特征图的长和宽，设为448。min(Ai)表示第i层通道的注意力特征点中的最小值。max(Ai)表示第i层通道的注意力特征点中的最大值。
在一个实施例中，多通道注意力选择网络，使用信息量提取函数提取注意力特征图中每一个通道的信息量。所述信息量提取函数为：
T(A)＝Sigmoid(MLP(Maxpool(A))+MLP(Avgpool(A)))
＝Sigmoid(W1(W0(Fmax))+W1(W0(Favg)))
其中
是权重因子，M是通道数，r表示减少率，Sigmoid为激活操作，A为经过归一化的注意力特征图。
在信息量提取过程中，计算基于长宽的全局最大池化和全局平均池化，获得大小为1×M通道描述Fmax，Favg。分别经过多层感知机操作后进行逐像素的加操作。最后使用Sigmoid激活函数进行激活，生成最终的信息量分数图S＝{S1，S2，S3，...，SM}，与注意力特征图A＝{A1，A2，A3，...，AM}一一对应。
随后对通道信息量进行排序，选取信息量前K的通道得到局部通道特征图A#＝{A′1，A′2，...，A′K}。对局部通道特征图A#进行通道随机丢弃，随机生成一个只有0，1值的向量
将其在通道维度与特征图相乘，得到随机丢弃处理后的局部通道特征图A′：
A′＝A#*m
其中m符合伯努利分布。
然后将随机丢弃处理后的局部通道特征图进行二值化处理，即将局部通道特征图A′中大于阈值θ∈[0，1)的像素点置为1，其他元素置为0，即
其中A′v(i，j)表示A′中第v个通道上坐标为(i，j)的像素点，阈值θ作为一个超参数可以根据具体问题进行调节。
然后计算像素点为1的点所占矩形区域，将其映射到原图中，在原图中分割出相应区域并上采样至模型输入的图片大小，当作是一个局部区域，总共获得K个局部区域{R1，R2，R3，...，RK}。
本申请第二密集连接神经网络用于提取局部特征，例如采用DenseNet网络，将局部区域分别输入第二密集连接神经网络，获取局部特征F′＝{F′1，F′2，...，FK′}，
其中K是K个局部区域，M是通道数，H和W分别为局部特征的长和宽。
需要说明的是，第一密集连接神经网络与第二密集神经网络可以两个神经网络，也可以共用网络参数，这里不再赘述。
本申请特征融合网络，用于将所述全局特征和局部特征进行特征融合，将全局特征F，以及局部特征F′进行特征融合，在通道维度连接成一个融合特征矩阵。
本申请视网膜病变细粒度分级网络的全连接层，也即分类层，将特征融合后的融合特征矩阵输入全连接层映射为概率矩阵，表示图像属于各个疾病级别的概率。
容易理解的是，本申请采用训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级，首先需要对构建好的视网膜病变细粒度分级网络进行训练，训练的过程中需要先设定目标函数。
本申请目标函数构建，步骤如下：
构建联合损失，联合损失基于交叉熵损失：
其中loss为交叉熵损失，C是得到的分类置信度，class是标签值，class并不参与计算，只是作为一个置信度的索引。
本申请需要获得了局部特征和全局特征，将获取局部特征图的行为视为数据增强，将局部区域图片当成增强之后的数据进行分析，所以分别计算局部特征和全局特征各自的分类损失之和：
其中fc是计算每一块特征区域分类概率的置信度函数，损失函数的第一部分是对于所有局部区域的交叉熵损失求和，
为步骤1.9中得到的第i个局部特征，classi为Fi′的标签值，第二部分是计算全局区域的交叉熵损失，F为全局特征，class为F的标签值。
此外，局部特征和全局特征融合之后的分类损失为：
构建排序损失，构建排序损失需要得到局部区域分类置信度，将全局特征和局部特征分别输入全连接层，可以得到每张图的分类置信度C＝{C0，C1，C2，...，CK}，其中C0是全局特征的分类置信度，Ci(i∈[1，K])是第i个局部特征的分类置信度。
获得了局部区域分类置信度C＝{C1，C2，..Ck}，信息量排名前K层特征图的信息量S′＝{S′1，S′2，...，S′K}，我们希望当Ci越大时，其所对应的S′i也能越大，所以将所有对的损失定义为如下公式：
其中f为铰链损失函数，使得当Ci＜Cj时，S′i＜S′j，S′i＝T(Ri)。函数T(Ri)为步骤1.4中信息量提取函数。
损失函数的向后传播可以表示为：
f′为铰链损失的求导，Ri(i∈[1，K])是第i个局部区域。
最后构建目标函数：
其中α和β是超参数，
为局部特征和全局特征各自的分类损失之和，
为局部特征和全局特征融合之后的分类损失，
为排序损失。
loss为交叉熵损失，fc是置信度函数，Fi′为第i个局部特征，classi为Fi′的标签值，F为全局特征，class为F的标签值，f为铰链损失函数，S′j、S′i为局部通道特征图中通道特征对应的信息量，i，j∈K，Ci为第i个局部特征的分类置信度，Cj为第j个局部特征的分类置信度，C0是全局特征的分类置信度。
需要说明的是，本申请视网膜病变细粒度分级网络中信息量提取函数、目标函数的设定，本领域技术人员可以采用其他函数来进行替换，采用其他函数代替本申请实施例中列举的各类函数，应都属于本申请权利要求的保护范围，本申请对于具体的函数形式不做限制。
本申请视网膜病变细粒度分级网络进行训练的过程如下：
训练数据集预处理：
准备好训练数据集和测试数据集，训练数据集和测试数据集中都是预先准备的视网膜图像，以及图像对应的标签；
对数据集进行灰度化处理，设定阈值为7生成掩膜，裁剪去除黑色区域；
将数据集图像统一缩放到固定大小512*512；
对数据集图像进行高斯滤波处理，高斯滤波中的σ参数设为10，高斯核大小设定为(0，0)，其值由σ来计算。
将原始图像与经过高斯滤波的图像进行图像混合加权，其中原始图片权重μ设定为4，经过高斯滤波的图片权重v设定为-4，γ设定为128；
W(X，μ，Y，v，γ)＝X·μ+Y·v+γ
以50％的概率对每张图片进行随机数据增强，数据增强操作包括：将输入图像随机缩放到1至1.3倍大小；对以50％的概率对每张图片进行0度到360度的随机旋转；镜像翻转。最后将所有图像进行归一化。
在训练过程中，先初始化网络参数，在ImageNet数据集上预训练好的网络权值来初始化网络，并对隐层和输出层的权值采用随机初始化的方式；设定批处理数据大小为8，初始学习率0.0001，最大迭代次数30次，迭代10次、20次、26次时将学习率乘以0.1，并采用Adam训练数据，设定每一次迭代都保存一次网络模型。
向初始化后的网络中输入训练样本和标签，计算目标函数值，通过前向传播和反向传播两个步骤反复训练直到达到最大的迭代次数，使目标函数值在本数据集中最小。
容易理解的是，网络的训练过程是比较成熟的技术，这里不再赘述。
采用训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级，与采用训练图像对视网膜病变细粒度分级网络进行训练的过程是一一对应的，所不同的是训练过程需要全局特征和局部特征分别输入全连接层，可以得到每张图的分类置信度，以便计算目标函数值。即在训练过程中，还包括将全局特征和局部特征分别输入全连接层得到每张图的分类置信度的步骤。
一次训练完成之后，将最终保存的网络模型作为预训练模型，重新训练网络，直到目标函数值基本不再变化，保留最终的网络模型作为最终结果。
在网络训练完成后，将待分级的视网膜图像输入到训练好的网络中，即可以得到分级结果。
在一个实施例中，本申请还提供了一种视网膜病变细粒度分级装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述视网膜病变细粒度分级方法的步骤。
关于视网膜病变细粒度分级装置的具体限定可以参见上文中对于视网膜病变细粒度分级方法的限定，在此不再赘述。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级方法，包括：
获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；
将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；
使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；
对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
对所述局部区域采用第二密集连接神经网络提取局部特征；
将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。
2.根据权利要求1所述的视网膜病变细粒度分级方法，其特征在于，所述信息量提取函数为：
T(A)＝Sigmoid(MLP(Maxpool(A))+MLP(Maxpool(A)))
其中Sigmoid为激活操作，A为注意力特征图，Maxpool表示全局最大池化操作，Avgpool表示全局平均池化操作，MLP表示多层感知机操作。
3.根据权利要求1所述的视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级方法，还包括：
训练视网膜病变细粒度分级网络；
所述视网膜病变细粒度分级网络，包括：
第一密集连接神经网络，用于提取全局特征；
注意力提取网络，用于进行注意力特征提取，获取注意力特征图；
多通道注意力选择网络，用于使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
第二密集连接神经网络，用于对所述局部区域采用第二密集连接神经网络提取局部特征；
特征融合网络，用于将所述全局特征和局部特征进行特征融合；
全连接层，用于对特征融合后的融合特征进行分级，得到分级结果。
4.根据权利要求3所述的视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级网络的目标函数为：
其中，α和β是超参数，
为局部特征和全局特征各自的分类损失之和，
为局部特征和全局特征融合之后的分类损失，
为排序损失；
其中，loss为交叉熵损失，fc是置信度函数，Fi′为第i个局部特征，classi为Fi′的标签值，F为全局特征，class为F的标签值，f为铰链损失函数，S′j、S′i为局部通道特征图中通道特征对应的信息量，i，j∈K，Ci为第i个局部特征的分类置信度，Cj为第j个局部特征的分类置信度，C0是全局特征的分类置信度。
5.一种视网膜病变细粒度分级装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求4中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966557.6A CN112215239A (zh) | 2020-09-15 | 2020-09-15 | 一种视网膜病变细粒度分级方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966557.6A CN112215239A (zh) | 2020-09-15 | 2020-09-15 | 一种视网膜病变细粒度分级方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215239A true CN112215239A (zh) | 2021-01-12 |
Family
ID=74048891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010966557.6A Pending CN112215239A (zh) | 2020-09-15 | 2020-09-15 | 一种视网膜病变细粒度分级方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215239A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269209A (zh) * | 2021-06-30 | 2021-08-17 | 山东建筑大学 | 一种图像识别方法、系统、介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| WO2018201647A1 (zh) * | 2017-05-05 | 2018-11-08 | 平安科技（深圳）有限公司 | 视网膜病变程度等级检测方法、装置及存储介质 |
| CN110619369A (zh) * | 2019-09-23 | 2019-12-27 | 常熟理工学院 | 基于特征金字塔与全局平均池化的细粒度图像分类方法 |
| CN111553205A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 无车牌信息车辆重识别方法、系统、介质、视频监控系统 |
-
2020
- 2020-09-15 CN CN202010966557.6A patent/CN112215239A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018201647A1 (zh) * | 2017-05-05 | 2018-11-08 | 平安科技（深圳）有限公司 | 视网膜病变程度等级检测方法、装置及存储介质 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN110619369A (zh) * | 2019-09-23 | 2019-12-27 | 常熟理工学院 | 基于特征金字塔与全局平均池化的细粒度图像分类方法 |
| CN111553205A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 无车牌信息车辆重识别方法、系统、介质、视频监控系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269209A (zh) * | 2021-06-30 | 2021-08-17 | 山东建筑大学 | 一种图像识别方法、系统、介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rong et al. | Surrogate-assisted retinal OCT image classification based on convolutional neural networks | |
| Gao et al. | Automatic feature learning to grade nuclear cataracts based on deep learning | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| Ma et al. | Complexity perception classification method for tongue constitution recognition | |
| Nayak et al. | ECNet: An evolutionary convolutional network for automated glaucoma detection using fundus images | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| Shen et al. | Simultaneous segmentation and classification of mass region from mammograms using a mixed-supervision guided deep model | |
| US20090082637A1 (en) | Multi-modality fusion classifier with integrated non-imaging factors | |
| CN109410204B (zh) | 一种基于cam的皮质白内障图像处理及增强方法 | |
| CN110837803A (zh) | 基于深度图网络的糖尿病视网膜病变分级方法 | |
| Mansour et al. | Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification | |
| Toğaçar et al. | Use of dominant activations obtained by processing OCT images with the CNNs and slime mold method in retinal disease detection | |
| CN117764957A (zh) | 基于人工神经网络的青光眼图像特征提取的训练系统 | |
| Fu et al. | Automatic grading of Diabetic macular edema based on end-to-end network | |
| CN112215239A (zh) | 一种视网膜病变细粒度分级方法及装置 | |
| CN113066054B (zh) | 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法 | |
| Shete et al. | Detection of skin cancer using cnn algorithm | |
| Tsietso et al. | Multi-Input deep learning approach for breast cancer screening using thermal infrared imaging and clinical data | |
| Singh et al. | A novel hybridized feature selection strategy for the effective prediction of glaucoma in retinal fundus images | |
| Kothadiya et al. | Attention-based deep learning framework to recognize diabetes disease from cellular retinal images | |
| CN116563647B (zh) | 年龄相关性黄斑病变图像分类方法及装置 | |
| Yadav et al. | Automatic Cataract Severity Detection and Grading Using Deep Learning | |
| Ravenscroft et al. | Learning feature extractors for AMD classification in OCT using convolutional neural networks | |
| CN114649092A (zh) | 基于半监督学习和多尺度特征融合的辅助诊断方法及装置 | |
| CN112862782A (zh) | 一种基于R-Unet的人眼玻璃体混浊程度分级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |