CN108229580B - 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 - Google Patents

一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 Download PDF

Info

Publication number
CN108229580B
CN108229580B CN201810078655.9A CN201810078655A CN108229580B CN 108229580 B CN108229580 B CN 108229580B CN 201810078655 A CN201810078655 A CN 201810078655A CN 108229580 B CN108229580 B CN 108229580B
Authority
CN
China
Prior art keywords
sugar
network
level
classification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810078655.9A
Other languages
English (en)
Other versions
CN108229580A (zh
Inventor
吴健
林志文
郭若乾
吴边
陈为
吴福理
吴朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810078655.9A priority Critical patent/CN108229580B/zh
Publication of CN108229580A publication Critical patent/CN108229580A/zh
Application granted granted Critical
Publication of CN108229580B publication Critical patent/CN108229580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制及特征融合的眼底图中糖网特征分级装置，包括：特征检测分类网络模块，用于对输入样本眼底图中1级糖网特征和2级糖网特征进行提取，输出对1级糖网特征和2级糖网特征提取的细分类特征图；原图分类网络模块，用于对输入样本眼底图中具有3级糖网特征和4级糖网特征进行提取，输出对3级糖网特征和4级糖网特征提取的粗分类特征图；注意力机制与特征融合模块，该模块采用注意力机制对特征检测网络模块输出的细分类特征图和原图分类网络模块输出的粗分类特征图进行特征融合，输出为输入样本图像的糖网特征级别的预测概率。该装置在保证较快速度的同时，分类评价指标Kappa达到81.33％。

Description

一种基于注意力机制及特征融合的眼底图中糖网特征分级 装置
技术领域
本发明属于图像处理技术领域，具体涉及一种基于注意力机制及特征融合的眼底图中糖网特征分级装置。
背景技术
现有的深度学习方法大多使用原始图像或经过简单数据增强的图像进行眼底图像中糖网(糖尿病视网膜)特征分级。首先，把训练数据中的输入图像传入由一系列卷积结构和全连接结构组成的神经网络，然后保存训练好的神经网络参数，最后利用已经训练好的神经网络对测试集中的测试图像进行预测，得到每个测试图像的糖网特征级别的预测概率。为了提升神经网络对输入图像的感受野，会牺牲掉输入图像的分辨率，这样会导致神经网络失去原始输入图像中一些较细小的特征信息，只突出了主要特征。因此，卷积神经网络一般对于依靠比较明显特征来区分的3，4级别糖网特征具有比较好的分类作用，但是对于依靠较细微特征来区分的1，2级别糖网特征分类效果较差。
因此，一种既可以对具有较明显特征的3，4级别糖网特征具有较好分类效果，又可以对较细微特征的1，2级别糖网特征有较好分类效果的分级装置，已成为目前学术界与工业界的急切需求。
发明内容
本发明的发明目的是提供一种基于注意力机制及特征融合的眼底图中糖网特征分级装置，该装置在深度学习方法对糖网特征分类基础上，引入使用注意力机制以及特征融合方法实现糖网特征的不同大小级别的分类。该装置在保证较快速度的同时，分类评价指标Kappa达到81.33％。
为实现上述发明目的，本发明具有的有益效果为：
一种基于注意力机制及特征融合的眼底图中糖网特征分级装置，包括：
特征检测分类网络模块，用于对输入样本眼底图中1级糖网特征和2级糖网特征进行提取，输出对1级糖网特征和2级糖网特征提取的细分类特征图；
原图分类网络模块，用于对输入样本眼底图中具有3级糖网特征和4级糖网特征进行提取，输出对3级糖网特征和4级糖网特征提取的粗分类特征图；
注意力机制与特征融合模块，该模块采用注意力机制对特征检测网络模块输出的细分类特征图和原图分类网络模块输出的粗分类特征图进行特征融合，输出为输入样本图像的糖网特征级别的预测概率。
其中，所述特征检测分类网络模块包括：
特征检测网络模块，用于提取1级糖网特征和2级糖网特征，输出细检测特征图；
细分类网络模块，用于对细检测特征图进一步提取特征，将1级糖网特征和2级糖网特征进一步细化区分，以使得两种糖网特征更加突出，输出对1级糖网特征和2级糖网特征提取的细分类特征图。
所述特征检测网络模块使用SSD检测网络，其中，SSD检测网络包括依次连接的两个卷积核大小为3，通道数为64的卷积层；两个卷积核大小为3，通道数为128的卷积层；三个卷积核大小为3，通道数为256的卷积层；三个卷积核大小为3，通道数为512的卷积层；三个卷积核大小为3，通道数为512的卷积层；一个卷积核大小为3，通道数为1024的卷积层；一个卷积核大小为1，通道数为1024的卷积层；一个卷积核大小为1，通道数为256的卷积层；一个卷积核大小为3，通道数为512的卷积层；一个卷积核大小为1，通道数为128的卷积层；一个卷积核大小为3，通道数为256的卷积层；一个卷积核大小为1，通道数为128的卷积层；一个卷积核大小为3，通道数为256的卷积层；一个卷积核大小为1，通道数为128的卷积层；1个卷积核大小为3，通道数为256的卷积层以及一个卷积核大小为3，通道数为9*(4+3)的卷积层。
需要注意的是，本发明首先训练特征检测网络模块，当特征检测网络模块训练完成后，固定住该模块的所有参数，在接下来的训练中不再更新该模块参数。
这样设置下的SSD检测网络能够对糖网特征进行较准确地检测，经大量实验测试获得：该SSD检测网络对糖网特征的检测精度均值能够达到0.432，这是其他检测网路无法与其相比的。该SSD检测网络的损失函数如公式(1)所示：
Figure BDA0001560336590000031
其中，α表示分类损失Lconf和定位损失Lloc之间的比例，本发明定为10，N表示训练样本中包含眼底图的个数，
Lloc(x,l,g)表示定位损失函数，其中xij k第i个预测框和第j个真实框关于类别k是否匹配，取值为1或者为0分别表示匹配与不匹配；li m表示为第i个预测框的中心位置的横(cx)、纵(cy)坐标，长(w)、宽(h)与其所对应的默认框之间的差值，如li cx表示第i个预测框中心位置的横坐标与其所对应默认框中心位置横坐标的差值；g^j m表示第j个真实框的中心位置横(cx)、纵(cy)坐标，长(w)、宽(h)与默认框之间的差值，如g^j cx表示第j个真实框的中心位置横坐标与默认框的中心位置差值；gj cx、gj cy、gj w、gj cx分别表示第j个真实框的中心位置横(cx)、纵(cy)坐标，长(w)、宽(h)；di cx、di cy、di w、di cx分别表示第i个默认框的中心位置横(cx)、纵(cy)坐标，长(w)、宽(h)。如公式(2)所示：
Figure BDA0001560336590000041
Figure BDA0001560336590000042
Figure BDA0001560336590000043
Figure BDA0001560336590000044
Figure BDA0001560336590000045
Lconf(x,c)表示分类损失函数，其中xij p第i个预测框和第j个真实框关于类别p是否匹配，取值为1或者为0分别表示匹配与不匹配；ci p表示预测第i个区域属于p类别的概率；c^i p为ci p的归一化表示；N表示特征区域个数。如公式(3)所示：
Figure BDA0001560336590000046
本发明中，细分类网络模块与原图分类网络模块采用相同的分类网略，优选地，细分类网络模块与原图分类网络模块均采用18层残差网络。原图分类网络模块的输入是样本眼底图，输出对样本眼底图进行特征提取后得到的粗分类特征图，该18层残差网络的损失函数为如公式(4)所示的逻辑回归损失函数，其中xi p第i个图片是否为第p个类别，取值为1或者为0分别表示预测正确与预测错误；N表示训练图片数量；ci p表示预测第i张图片属于p类别的概率，c^i p为ci p的归一化表示。
Figure BDA0001560336590000051
其中，所述注意力机制与特征融合模块包括：
尺寸调整模块，用于调整细分类特征图的尺寸，使得细分类特征图的尺寸和粗分类特征图的尺寸相同，以方便对两个特征图进行拼接操作；
拼接模块，用于按照通道维度，对调整尺寸后的细分类特征图和粗分类特征图进行拼接，输出拼接特征图；
特征图注意力提取模块，用于计算拼接特征图中每一个特征像素的权值，该权值作为拼接特征图所获得的注意力大小，输出拼接特征权值图。权值大的区域，网络会重点学习，这样可以使得网络自主找到重点区域，学习关键特征区域，更有利于图像分类。
具体地，所述特征图注意力提取模块对应的网络包括依次连接卷积核大小为3*3、通道数为1024、步长为1的卷积层，线性修正激活层(relu)，随机失活概率为50％的随机失活层(dropout)以及卷积核大小为3*3，通道数为512，步长为1的卷积层。其中，两个卷积层可以提取拼接特征图中的特征；线性修正激活层可以对提取到的特征进行非线性组合；随机失活层可以防止训练过程中的过拟合现象，增加网络鲁棒性。
经大量实验证明，特征图注意力提取模块对应的网络的设置能够更提取到鲁棒且包含足够多特征的拼接特征权值图，有利于注意力机制发挥作用，使网络自主找到并重点学习特征区域；除此之外，这样的比较浅层的设置可以减少增加的计算量和参数数量，使得网络在增加尽可能少的计算量的基础上，注意力机制又能发挥最好的作用。
归一化处理模块，用于采用逻辑回归函数对输入的拼接特征权值图进行归一化处理，输出归一化拼接特征权值图。使得拼接特征权值图中每个像素点的大小归一化到0到1之间，防止接下来加权平均后特征图的值过大或者过小，以使得网络梯度正常传播。
加权求和模块，用于将归一化拼接特征权值图的权值按照通道方向平均分成两部分，接着这两部分权值分别与尺寸调整后的细分类特征图和粗分类特征图逐像素相乘后，再对两个乘积逐像素求和，输出融合特征图。
在加权求和模块中，可以使尺寸调整后的细分类特征图和粗分类特征图在注意力机制处理后又进行了融合。使得1、2级别糖网特征和3、4级别糖网特征在分别获得不同的注意力的同时，又进行了合理的融合，使得二者特征都可以被网络学习到。
分类模块，对融合特征图进行分类处理，输出样本图像的糖网特征级别的预测概率。所述分类模块包括依次连接的全局平均池化层，多分类逻辑回归函数。其中全局平均池化层是分类网络中最常用的层之一，作用是把每一个通道的所有特征使用求均值的方式融合起来；多分类逻辑回归函数，同样是分类网络中最常用的层之一，它把全局平均池化后的特征映射成该输入属于每个类别的概率值，并对概率值做归一化处理。整个分类模块作用就是输出当前输入样本属于每个类别的概率值。
上述糖网特征分级装置建立好以后，以如公式(4)所示的函数收敛为目标，利用大量的训练样本该分级装置训练，以确定能够较准确反映糖网特征的装置参数，这样，该糖网特征分级装置确定完毕，供后续对糖网特征级别进行预测。
与现有技术相比，本发明具有的有益效果为：
本发明提供的分级装置既能够对3、4级别糖网特征进行预测，还能够对1、2级糖网特征进行预测，且保证较快速度的同时，分类评价指标Kappa达到81.33％。
附图说明
图1是实施例提供的基于注意力机制及特征融合的眼底图中糖网特征分级装置的结构示意图；
图2是图1中注意力机制与特征融合模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
现有眼底图中，1级糖网特征是指眼底图中直径为10～30像素的圆斑，2级糖网特征是指眼底图中尺寸为50～100像素的不规则暗红色区域，3级糖网病特征是指眼底图中大量的1级糖网特征、2级糖网特征以及淡黄色区域，4级糖网特征是指眼底图中不规则增殖的细小血管。
图1是实施例提供的基于注意力机制及特征融合的眼底图中糖网特征分级装置的结构示意图。如图1所示，该分级装置包括：
特征检测网络模块101，用于提取1级糖网特征和2级糖网特征，输出细检测特征图。
细分类网络模块102，用于对细检测特征图进一步提取特征，将1级糖网特征和2级糖网特征进一步细化区分，以使得两种糖网特征更加突出，输出对1级糖网特征和2级糖网特征提取的细分类特征图。
原图分类网络模块103，用于对输入样本眼底图中具有3级糖网特征和4级糖网特征进行提取，输出对3级糖网特征和4级糖网特征提取的粗分类特征图。
注意力机制与特征融合模块104，该模块采用注意力机制对特征检测网络模块输出的细分类特征图和原图分类网络模块输出的粗分类特征图进行特征融合，输出为输入样本图像的糖网特征级别的预测概率。
由于1、2级糖网特征比较细微，如果直接使用分类网络进行分类，会被网络损失掉，所以本实施例中使用特征检测网络模块101和细分类网络模块102配合来重点检测该1、2级糖网特征。具体地，预先使用训练眼底图，对特征检测网络模块101和细分类网络模块102进行预训练，然后用已经训练好的模型检测输入图像特征。特征检测网络模块101和细分类网络模块102重点检测的是比较细微的特征。
本实施例中，考虑到装置的运算速度与精度的平衡，原图分类网络模块103与细分类网络模块102均采用18层的残差网络，该网络既能够保证装置的高精度，又能够保证装置的高效率。
图2是图1中注意力机制与特征融合模块的结构示意图。参见图2，该注意力机制与特征融合模块具体包括：
尺寸调整模块201，该模块调整细分类特征图的尺寸，使得细分类特征图的尺寸和粗分类特征图的尺寸相同，以方便对两个特征图进行拼接操作；
拼接模块202，按照通道维度，对调整尺寸后的细分类特征图和粗分类特征图进行拼接，输出拼接特征图；
特征图注意力提取模块203，该模块计算拼接特征图中每一个特征像素的权值，该权值作为拼接特征图所获得的注意力大小，输出拼接特征权值图。权值图反映了对于输入特征图不同位置的重要性，权值大的地方，表明这个地方更重要，网络对这些地方投入更多的注意力，这就是注意力机制在系统中的应用。
具体地，特征图注意力提取模块203包括：
卷积层2031，该层的卷积核大小为3*3，步长为1，通道数为1024，作用是提取拼接特征图中的特征。
线性修正激活层2032，作用是增加最终提取到的特征的非线性特点，使得提取到的特征更加多样化。
随机失活层2033，该层的随机失活概率为50％的，作用是可以防止训练过程中的过拟合现象，增加网络鲁棒性；
卷积层2034，该层的卷积核大小为3*3，步长为1，通道数为512的，作用是进一步提取特征，此时提取到的特征增加了非线性，且鲁棒性更强。这样的网络设置能够更提取到鲁棒且包含足够多特征的拼接特征权值图，有利于注意力机制发挥作用，使网络自主找到并重点学习病灶区域特征；除此之外，这样的比较浅层的设置可以减少增加的计算量和参数数量，使得网络在增加尽可能少的计算量的基础上，注意力机制又能发挥最好的作用。
归一化处理模块204，采用逻辑回归函数对输入的拼接特征权值图进行归一化处理，输出归一化拼接特征权值图。使得拼接特征权值图中每个像素点的大小归一化到0到1之间，防止接下来加权平均后特征图的值过大或者过小，以使得网络梯度正常传播。
加权求和模块205，用于将归一化拼接特征权值图的权值分别与尺寸调整后的细分类特征图权值和粗分类特征图权值相乘后，再对两个乘积求和，输出融合特征图。
在加权求和模块中，可以使尺寸调整后的细分类特征图和粗分类特征图在注意力机制处理后又进行了融合。使得1、2级别糖网特征和3、4级别糖网特征在分别获得不同的注意力的同时，又进行了合理的融合，使得二者特征都可以被网络学习到。
分类模块206，对融合特征图进行分类处理，输入样本图像的糖网特征级别的预测概率。
其中，分类模块206包括：
全局平均池化层2061，是把每一个通道的所有特征使用求均值的方式融合起来。
多分类逻辑回归函数2062，把全局平均池化后的特征映射成该输入属于每个类别的概率值，并对概率值做归一化处理。
采用本装置和现有的直接分类装置对相同的预测样本眼底图进行分类，结果对比如表1：
表1
准确率 Kappa
本装置 84.64％ 81.33％
直接分类 80.44％ 74.71％
可以从表1中看到，注意力机制与特征融合模块把两种特征图进行融合，一种特征图重点检测细微特征，一种特征图检测较明显特征，同时使用注意力机制，可以自主学习更加有用的特征，从而提升了装置分级效果。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于注意力机制及特征融合的眼底图中糖网特征分级装置，包括：
特征检测分类网络模块，用于对输入样本眼底图中1级糖网特征和2级糖网特征进行提取，输出对1级糖网特征和2级糖网特征提取的细分类特征图；
原图分类网络模块，采用18层残差网络，用于对输入样本眼底图中具有3级糖网特征和4级糖网特征进行提取，输出对3级糖网特征和4级糖网特征提取的粗分类特征图；
注意力机制与特征融合模块，该模块采用注意力机制对特征检测网络模块输出的细分类特征图和原图分类网络模块输出的粗分类特征图进行特征融合，输出为输入样本图像的糖网特征级别的预测概率；
其中，所述特征检测分类网络模块包括：
特征检测网络模块，用于提取1级糖网特征和2级糖网特征，输出细检测特征图，其中，特征检测网络模块使用SSD检测网络，包括依次连接的两个卷积核大小为3，通道数为64的卷积层；两个卷积核大小为3，通道数为128的卷积层；三个卷积核大小为3，通道数为256的卷积层；三个卷积核大小为3，通道数为512的卷积层；三个卷积核大小为3，通道数为512的卷积层；一个卷积核大小为3，通道数为1024的卷积层；一个卷积核大小为1，通道数为1024的卷积层；一个卷积核大小为1，通道数为256的卷积层；一个卷积核大小为3，通道数为512的卷积层；一个卷积核大小为1，通道数为128的卷积层；一个卷积核大小为3，通道数为256的卷积层；一个卷积核大小为1，通道数为128的卷积层；一个卷积核大小为3，通道数为256的卷积层；一个卷积核大小为1，通道数为128的卷积层；1个卷积核大小为3，通道数为256的卷积层以及一个卷积核大小为3，通道数为9*（4+3）的卷积层；
细分类网络模块，采用18层残差网络用于对细检测特征图进一步提取特征，将1级糖网特征和2级糖网特征进一步细化区分，以使得两种糖网特征更加突出，输出对1级糖网特征和2级糖网特征提取的细分类特征图；
所述注意力机制与特征融合模块包括：
尺寸调整模块，用于调整细分类特征图的尺寸，使得细分类特征图的尺寸和粗分类特征图的尺寸相同，以方便对两个特征图进行拼接操作；
拼接模块，用于按照通道维度，对调整尺寸后的细分类特征图和粗分类特征图进行拼接，输出拼接特征图；
特征图注意力提取模块，用于计算拼接特征图中每一个特征像素的权值，该权值作为拼接特征图所获得的注意力大小，输出拼接特征权值图；
归一化处理模块，用于采用逻辑回归函数对输入的拼接特征权值图进行归一化处理，输出归一化拼接特征权值图；
加权求和模块，用于将归一化拼接特征权值图的权值分别与尺寸调整后的细分类特征图权值和粗分类特征图权值相乘后，再对两个乘积求和，输出融合特征图；
分类模块，对融合特征图进行分类处理，输入样本图像的糖网特征级别的预测概率。
2.如权利要求1所述的基于注意力机制及特征融合的眼底图中糖网特征分级装置，其特征在于，所述特征图注意力提取模块对应的网络包括依次连接卷积核大小为3*3、通道数为1024、步长为1的卷积层，线性修正激活层，随机失活概率为50%的随机失活层以及卷积核大小为3*3，通道数为512，步长为1的卷积层，其中，两个卷积层提取拼接特征图中的特征；线性修正激活层对提取到的特征进行非线性组合；随机失活层防止训练过程中的过拟合现象，增加网络鲁棒性。
3.如权利要求1所述的基于注意力机制及特征融合的眼底图中糖网特征分级装置，其特征在于，所述分类模块包括依次连接的全局平均池化层，多分类逻辑回归函数。
CN201810078655.9A 2018-01-26 2018-01-26 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 Active CN108229580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078655.9A CN108229580B (zh) 2018-01-26 2018-01-26 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078655.9A CN108229580B (zh) 2018-01-26 2018-01-26 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置

Publications (2)

Publication Number Publication Date
CN108229580A CN108229580A (zh) 2018-06-29
CN108229580B true CN108229580B (zh) 2020-12-11

Family

ID=62669150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078655.9A Active CN108229580B (zh) 2018-01-26 2018-01-26 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置

Country Status (1)

Country Link
CN (1) CN108229580B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493933B (zh) * 2018-08-08 2022-04-05 浙江大学 一种基于注意力机制的不良心血管事件的预测装置
CN112602097A (zh) * 2018-08-31 2021-04-02 奥林巴斯株式会社 数据处理系统和数据处理方法
CN109458978B (zh) * 2018-11-07 2020-12-01 五邑大学 一种基于多尺度检测算法的天线下倾角测量方法
CN109583502B (zh) * 2018-11-30 2022-11-18 天津师范大学 一种基于对抗擦除注意力机制的行人再识别方法
CN111310518B (zh) * 2018-12-11 2023-12-08 北京嘀嘀无限科技发展有限公司 图片特征提取方法、目标重识别方法、装置及电子设备
CN109685819B (zh) * 2018-12-11 2021-02-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN111582291A (zh) 2019-02-19 2020-08-25 富士通株式会社 物体识别方法、装置和单步物体识别神经网络
CN109993732A (zh) * 2019-03-22 2019-07-09 杭州深睿博联科技有限公司 乳腺x线图像的胸肌区域图像处理方法及装置
CN110059586B (zh) * 2019-03-29 2022-03-15 电子科技大学 一种基于空洞残差注意力结构的虹膜定位分割系统
CN110188866B (zh) * 2019-05-28 2021-06-25 北京工业大学 一种基于注意力机制的特征提取方法
CN110211685B (zh) * 2019-06-10 2020-08-28 珠海上工医信科技有限公司 基于完全关注机制的糖网筛查网络结构模型
CN110458829B (zh) * 2019-08-13 2024-01-30 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
CN110728312B (zh) * 2019-09-29 2022-04-29 浙江大学 一种基于区域自适应注意力网络的干眼症分级系统
CN111920375B (zh) * 2020-09-30 2021-01-15 平安科技（深圳）有限公司 一种抗血管内皮生长因子vegf疗效预测装置及方法
CN114310935B (zh) * 2021-12-16 2023-08-04 杭州申昊科技股份有限公司 基于巡检机器人的轨道状态检测系统、机器人以及方法
CN116385806B (zh) * 2023-05-29 2023-09-08 四川大学华西医院 眼部图像斜视类型的分类方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107590567A (zh) * 2017-09-13 2018-01-16 南京航空航天大学 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105787458A (zh) * 2016-03-11 2016-07-20 重庆邮电大学 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107590567A (zh) * 2017-09-13 2018-01-16 南京航空航天大学 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Discriminative Feature Learning Approach for Deep Face Recognition;Yandong Wen et al.;《Computer Vision》;20160916;全文 *
Attention to Scale: Scale-aware Semantic Image Segmentation;Liang-Chieh Chen et al.;《Computer Vision and Pattern Recognition》;20161231;第3640-3649页、图1 *
Deep Residual Learning for Image Recognition;Kaiming He et al.;《Computer Vision and Pattern Recognition》;20161231;全文 *
SSD: Single Shot MultiBox Detector;Wei Liu et al.;《Computer Vision》;20160917;第21-37页、图2 *
Zoom-in-Net: Deep Mining Lesions for Diabetic Retinopathy Detection;Zhe Wang et al.;《Medical Image Computing and Computer Assisted Intervention》;20170904;第1-9页、图1 *

Also Published As

Publication number Publication date
CN108229580A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229580B (zh) 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置
US9734567B2 (en) Label-free non-reference image quality assessment via deep neural network
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN108182454A (zh) 安检识别系统及其控制方法
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN111461165A (zh) 图像识别方法、识别模型的训练方法及相关装置、设备
CN104417490B (zh) 一种汽车安全带检测方法及装置
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
WO2023071121A1 (zh) 一种基于多模型融合的目标检测方法、装置、设备及介质
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN110688883A (zh) 车辆和行人检测方法及装置
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN111539456B (zh) 一种目标识别方法及设备
CN113870254A (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN107909021A (zh) 一种基于单个深层卷积神经网络的路牌检测方法
CN113095445B (zh) 一种目标识别方法及装置
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113128518B (zh) 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN117830616A (zh) 基于渐进式伪标签的遥感图像无监督跨域目标检测方法
US20230104345A1 (en) Image attack detection method and apparatus, and image attack detection model training method and apparatus
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant