CN114494195A - 用于眼底图像分类的小样本注意力机制并行孪生方法 - Google Patents
用于眼底图像分类的小样本注意力机制并行孪生方法 Download PDFInfo
- Publication number
- CN114494195A CN114494195A CN202210094076.XA CN202210094076A CN114494195A CN 114494195 A CN114494195 A CN 114494195A CN 202210094076 A CN202210094076 A CN 202210094076A CN 114494195 A CN114494195 A CN 114494195A
- Authority
- CN
- China
- Prior art keywords
- attention mechanism
- network
- convolution
- data
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000013526 transfer learning Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 208000001309 degenerative myopia Diseases 0.000 claims description 9
- 230000004340 degenerative myopia Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 4
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000001427 coherent effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000003902 lesion Effects 0.000 abstract 2
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于眼底图像分类的小样本注意力机制并行孪生方法，根据患者的眼底病变图像进行分类得到分类结果，包括以下步骤：读取医学眼底图像数据集进行预处理，得到预处理的图片数据；通过基于孪生网络Siamese的少镜头学习方法，利用基于特征的迁移学习方法，迁移已使用数据集ImageNet预训练好的稠密连接网络densenet，来提取两幅不同图像的特征，并在此网络的基础上加入卷积块注意力模块CBAM选择更为关键的图像信息，通过一个对比损失函数进行图片的相似性度量，从而获得更为准确的分类预测结果。本发明迁移了稠密连接网络，能够有效地减少小样本学习中过拟合的情况，同时借助CBAM注意力机制和孪生网络，有效地提升了医学眼底图像病变分类数据的效率和精度。
Description
技术领域
本发明涉及深度学习、计算机视觉、医学信息智能处理技术领域，尤其涉及一种基于基于医学眼底图像的小样本注意力机制并行孪生算法。
技术背景
眼底图像是检测人体多种疾病的重要标志。目前，深度学习在医学眼底图像的识别分类中取得的进展很大程度上依赖于大量可用的有标签数据。然而，对于医学图像来说，能收集到的分类数据图像十分有限。若想收集大量的数据，并对其进行标注往往需要耗费大量的人力和物力。于是，我们在多数情况下，需要对小样本进行分类，生成小样本的分类模型。可是现今的大多数深度学习模型模型很难解决少量标签数据的问题。因此利用机器学习的方法解决少量有标签数据进行图像分类的小样本学习问题，成为了近年来研究的热点内容。
目前适用于医学图像方面的小样本研究思想有迁移学习和半监督学习方法，这些方法在一定程度上可以缓解少量数据训练过程中出现的过拟合问题和数据稀缺问题，但不能从根本上解决小样本问题。而元学习则将模型从原有的数据学习提升到任务学习，为小样本学习问题的研究提供了新的方向。
基于度量方式的元学习方法为小样本提供了较好的解决思路，针对近几年来在医学眼底图像的研究上，发现在小样本学习过程中利用深度卷积神经网络提取图像特征是较为关键的一步。
发明内容
本发明的设计目的，是为了在受限于少量眼底图像，小样本分类结果易过拟合的情况下，通过较好的分类算法进行判断眼睛的近视受损程度。本发明能够有效地降低过拟合的情况，极大地提升模型准确率。为了解决数据量较少，小样本分类结果易过拟合，难以较为准确地判断眼睛病理性近视的程度的问题。
本发明采用以下技术方案实施的：
一种用于眼底图像分类的小样本注意力机制并行孪生方法，包括以下步骤：
步骤S1、读取医学眼底图像的绝对路径，其中包含训练集和测试集，读取图像数据；接着，读取眼底图像的疾病标签，设置分类数；数据集选用中山大学中山眼科中心提供的关于病理性近视PM的医疗类数据集，包括病理性近视、高度近似、正常眼睛共三类；之后，对于图像数据进行数据增强，其中包含：随机翻转、旋转、裁剪、缩放、饱和度调整等，最终得到所需训练的数据集；
步骤S2、利用孪生网络进行少镜头分类学习,将从头开始训练网络替换为预训练模型的权重，采用基于特征的迁移学习方法，将densnet网络作为预训练的网络模型；
步骤S3、在densenet网络中添加卷积块注意力机制CBAM，从空间和通道两个方面进行重要特征提取并优化，并调整分类的类别数为眼底图像的分类标签数；
步骤S4、通过欧氏距离计算模型的损失函数，更新样本信息匹配程度；
步骤S5、利用提取匹配的信息特征进行端到端的训练和小样本分类模型的效果测试。
进一步的，步骤2、利用孪生网络与基于特征的迁移学习方法建立网络模型。
S2.1将原数据集中的图片数据进行配对，存入两个数据集x0_data和x1_data中；
S2.2利用基于特征的迁移学习方法，迁移已使用数据集ImageNet预训练好的网络densenet121，将densenet121作为预训练模型进行小样本图像特征提取，将数据集中图像分辨率为2124×2056像素的图片伸缩变化为214×214像素的三维图片作为特征输入，每一层的作用是从上一层提取更多的图像特征传递到下一层进行处理；
S2.3网络的初始卷积层有2×32个过滤器，先经过7×7的卷积将224×224的输入图片缩减至112×112，经过池化层通过3×3的最大池化层进行降采样操作，将特征图进一步缩减至56×56，然后经过第1个稠密块模块，在该模块中先经过1×1的卷积，然后是3×3的卷积，重复6次，共计12层，接着经过一个过渡层，进行批标准化,ReLU激活函数和1×1卷积的操作，达到降维，压缩和降低图像尺寸效果；
S2.4最后，依次循环经过剩余3个稠密块和2个过渡层模块，最后经过全局平均池化和全连接层的1000路逻辑回归softmax得到输出为7×7像素的图像特征信息。
进一步的，步骤3、在网络模型中添加CBAM注意力机制模块，从空间和通道两个方面进行重要特征提取并优化。
S3.1将从densenet卷积网络中提取的特征C×H×W作为注意力机制模块的输入，其中C为通道数，W和H分别为经过卷积后得到的缩小后的图片宽高。
S3.2建立通道注意力模块，利用通道注意力机制Channel Attention Module将特征图在空间维度上进行压缩，得到一个一维矢量后，再同时利用平均值池化AveragePooling和最大值池化Max Pooling的方法，将平均池化和最大池化聚合特征映射的空间信息送到一个共享网络当中，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图，通道注意力机制公式如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
公式(1)中，MC表示通道注意力机制的权重，F表示输入的特征图矩阵形式，MLP表示多层感知器，σ为激活函数sigmoid操作，AvgPool表示平均值池化，MaxPool表示最大值池化；
S3.3建立空间注意力机制模块，利用空间注意力机制Spatial Attention Module对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化；通过最大池化在通道上提取最大值，提取的次数是高乘以宽；通过平均池化在通道上在通道上提取平均值，提取的次数也是高乘以宽，接着，将前面所提取到的通道数都为1的特征图合并得到一个2通道的特征图，空间注意力机制的公式如下：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F)])) (2)
公式(2)中，Ms为空间注意力机制的权重，σ为激活函数sigmoid操作，f表示卷积的特征，7×7表示卷积核的大小，7×7的卷积核比3×3的卷积核效果更好，AvgPool表示平均值池化，MaxPool表示最大值池化；
S3.4对原来的网络结构进行通道和空间注意力机制融合，将CBAM作为一个注意力机制模块，分别加入到初始卷积层和第1个稠密模块densenet block间、每一个densenetblock和transition层间和最后一个densenet block模块和全连接层之间，共6个注意力机制模块，分别为CBAM1、CBAM2、CBAM3和CBAM4，通道数分别为64，128，256，512，其中CBAM3和CBAM4插入2次进行融合。
进一步的，步骤4、通过欧氏距离计算模型的损失函数，更新样本信息匹配程度，
S4.1对提取的特征进行欧式距离计算，计算公式如下：
公式(3)中，ak和bk表示两个眼底图像图片的特征向量，这里的n表示在计算欧式距离中每两张眼底图像提取的特征为一组的组数，k＝1表示在计算欧式距离中从第一项开始；
S4.2计算损失函数contrastive loss进行距离程度的比较，计算公式如下：
公式(4)中，N代表在计算损失函数中的项数，n＝1代表从第一项开始，d代表两个眼底图像样本特征的欧式距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，max代表取最大值，margin为设定的阈值。
本发明旨在提出一种基于医学眼底图像的小样本注意力机制并行孪生算法，包括医学眼底图像的预处理，融合孪生网络的相似性度量，利用迁移学习构建densenet网络，同时融合CBAM注意力机制，最后完成训练。
有益效果：和现有的小样本分类方法和其他的图像分类方法相比，本发明的有益效果：
1.对于一般的迁移学习或者是孪生网络相比，我们所提出的模型准确率更高，能够适应不同的医学图像数据集，又或者是其他小样本的图像分类数据集，对于医学图像的小样本分类问题具有较强的应用价值。
2.本模型会减少对于小样本训练中的过拟合的情况，在测试过程中具有更好的效果。
附图说明
图1为本发明实现的整体框架图；
图2为孪生网络对眼底图像进行相似性比较的结构图；
图3为本发明提出的一种基于医学眼底图像的小样本注意力机制并行孪生算法的网络结构图；
图4为本发明提出的一种基于医学眼底图像的小样本注意力机制并行孪生算法的网络总体特征图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将对本发明实例中的技术方案进行清楚完整的描述。当然，此处所描述的具体实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
参见图1至图4，本发明实例公开的一种基于医学眼底图像的小样本注意力机制并行孪生算法，包括以下步骤：
步骤1：读取医学眼底图像的数据集，并进行图像预处理。
读取医学眼底图像的绝对路径，其中包含训练集和测试集，读取图像数据；紧接着，读取眼底图像的疾病标签，设置分类数；数据集选用中山大学中山眼科中心提供的关于病理性近视(Pathologic Myopia，PM)的医疗类数据集，包括病理性近视、高度近似、正常眼睛共三类；最后，对于图像数据进行数据增强，其中包含：随机翻转、旋转、裁剪、缩放、饱和度调整等，最终得到所需训练的数据。
步骤2：利用孪生网络与基于特征的迁移学习方法建立网络模型。
首先，将原数据集中的图片数据进行配对，存入两个数据集x0_data和x1_data中；接着利用基于特征的迁移学习方法，迁移已使用ImageNet数据集预训练好的densenet121网络，将densenet121作为预训练模型进行小样本图像特征提取，将数据集中图像分辨率为2124×2056像素的图片伸缩变化为214×214像素的三维图片作为特征输入，每一层的作用是从上一层提取更多的图像特征传递到下一层进行处理。
网络的初始卷积层有2×32个过滤器，先经过7×7的卷积将224×224的输入图片缩减至112×112，经过池化层通过3×3的最大池化层进行降采样操作，将特征图进一步缩减至56×56，然后经过第1个稠密块模块，在该模块中先经过1×1的卷积，然后是3×3的卷积，重复6次，共计12层，接着经过一个过渡层，进行批标准化,ReLU激活函数和1×1卷积的操作，达到降维，压缩和降低图像尺寸效果。最后，依次循环经过剩余3个稠密块和2个过渡层模块，最后经过全局平均池化和全连接层的1000路逻辑回归softmax得到输出为7×7像素的图像特征信息。
步骤3：在网络模型中添加CBAM注意力机制模块，从空间和通道两个方面进行重要特征提取并优化。
首先，将从densenet卷积网络中提取的特征C×H×W作为注意力机制模块的输入，其中C为通道数，W和H分别为经过卷积后得到的缩小后的图片宽高。
先建立通道注意力模块，利用通道注意力机制Channel Attention Module将特征图在空间维度上进行压缩，得到一个一维矢量后，再同时利用平均值池化Average Pooling和最大值池化Max Pooling的方法。将平均池化和最大池化聚合特征映射的空间信息送到一个共享网络当中，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图。
通道注意力机制公式如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
公式(1)中，MC表示通道注意力机制的权重，F表示输入的特征图矩阵形式，MLP表示多层感知器，σ为激活函数sigmoid操作，AvgPool表示平均值池化，MaxPool表示最大值池化；
其次，建立空间注意力机制模块，利用空间注意力机制Spatial AttentionModule对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化。通过最大池化在通道上提取最大值，提取的次数是高乘以宽；通过平均池化在通道上在通道上提取平均值，提取的次数也是高乘以宽；接着，将前面所提取到的通道数都为1的特征图合并得到一个2通道的特征图，空间注意力机制的公式如下：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F)])) (2)
公式(2)中，Ms为空间注意力机制的权重，σ为激活函数sigmoid操作，f表示卷积的特征，7×7表示卷积核的大小，7×7的卷积核比3×3的卷积核效果更好，AvgPool表示平均值池化，MaxPool表示最大值池化。
最后，对原来的网络结构进行通道和空间注意力机制融合，将CBAM作为一个注意力机制模块，分别加入到初始卷积层和第1个稠密模块densenet block间、每一个densenetblock和transition层间和最后一个densenet block模块和全连接层之间，共6个注意力机制模块，分别为CBAM1、CBAM2、CBAM3和CBAM4，通道数分别为64，128，256，512，其中CBAM3和CBAM4插入2次进行融合。
步骤4：通过欧氏距离计算模型的损失函数，更新样本信息匹配程度。
首先，对提取的特征进行欧式距离计算，计算公式如下：
公式(3)中，ak和bk表示两个眼底图像图片的特征向量，这里的n表示在计算欧式距离中每两张眼底图像提取的特征为一组的组数，k＝1表示在计算欧式距离中从第一项开始；
其次，计算损失函数contrastive loss进行距离程度的比较，计算公式如下：
公式(4)中，N代表在计算损失函数中的项数，n＝1代表从第一项开始，d代表两个眼底图像样本特征的欧式距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，max代表取最大值，margin为设定的阈值。
步骤5：利用提取匹配的信息特征进行端到端的训练和小样本分类模型的效果测试。
以上所述仅是本发明的优先选择的实施方式，应当指出，对于本技术领域的人员，在不脱离不发明的技术原理前提，在速度和准确度上还可以做出很多提升，这些改变和提升也应视作本发明的保护范围。
Claims (4)
1.用于眼底图像分类的小样本注意力机制并行孪生方法，其特征在于，包括以下步骤：
步骤S1、读取医学眼底图像的绝对路径，其中包含训练集和测试集，读取图像数据；接着，读取眼底图像的疾病标签，设置分类数；数据集选用中山大学中山眼科中心提供的关于病理性近视PM的医疗类数据集，包括病理性近视、高度近似、正常眼睛共三类；之后，对于图像数据进行数据增强，其中包含：随机翻转、旋转、裁剪、缩放、饱和度调整等，最终得到所需训练的数据集；
步骤S2、利用孪生网络进行少镜头分类学习,将从头开始训练网络替换为预训练模型的权重，采用基于特征的迁移学习方法，将densenet网络作为预训练的网络模型；
步骤S3、在densenet网络中添加卷积块注意力模块CBAM，从空间和通道两个方面进行重要特征提取并优化，并调整分类的类别数为眼底图像的分类标签数；
步骤S4、通过欧氏距离计算模型的损失函数，更新样本信息匹配程度；
步骤S5、利用提取匹配的信息特征进行端到端的训练和小样本分类模型的效果测试。
2.根据权利要求1所述的用于眼底图像分类的小样本注意力机制并行孪生方法，其特征在于，所述步骤S2的具体步骤如下：
S2.1将原数据集中的图片数据进行配对，存入两个数据集x0_data和x1_data中；
S2.2利用基于特征的迁移学习方法，迁移已使用数据集ImageNet预训练好的网络densenet121，将densenet121作为预训练模型进行小样本图像特征提取，将数据集中图像分辨率为2124×2056像素的图片伸缩变化为214×214像素的三维图片作为特征输入，每一层的作用是从上一层提取更多的图像特征传递到下一层进行处理；
S2.3网络的初始卷积层有2×32个过滤器，先经过7×7的卷积将224×224的输入图片缩减至112×112，经过池化层通过3×3的最大池化层进行降采样操作，将特征图进一步缩减至56×56，然后经过第1个稠密块模块，在该模块中先经过1×1的卷积，然后是3×3的卷积，重复6次，共计12层，接着经过一个过渡层，进行批标准化,ReLU激活函数和1×1卷积的操作，达到降维，压缩和降低图像尺寸效果；
S2.4最后，依次循环经过剩余3个稠密块和2个过渡层模块，最后经过全局平均池化和全连接层的1000路逻辑回归softmax得到输出为7×7像素的图像特征信息。
3.据权利要求1所述的用于眼底图像分类的小样本注意力机制并行孪生方法，其特征在于，所述步骤S3的具体步骤如下：
S3.1将从densenet卷积网络中提取的特征C×H×W作为注意力机制模块的输入，其中C为通道数，W和H分别为经过卷积后得到的缩小后的图片宽高；
S3.2建立通道注意力模块，利用通道注意力机制模块ChannelAttention Module将特征图在空间维度上进行压缩，得到一个一维矢量后，再同时利用平均值池化AveragePooling和最大值池化MaxPooling的方法，将平均池化和最大池化聚合特征映射的空间信息送到一个共享网络当中，压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图，通道注意力机制公式如下：
Mc(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
公式(1)中，MC表示通道注意力机制的权重，F表示输入的特征图矩阵形式，MLP表示多层感知器，σ为激活函数sigmoid操作，AvgPool表示平均值池化，MaxPool表示最大值池化；
S3.3建立空间注意力机制模块，利用空间注意力机制模块Spatial Attention Module对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化；通过最大池化在通道上提取最大值，提取的次数是高乘以宽；通过平均池化在通道上在通道上提取平均值，提取的次数也是高乘以宽，接着，将前面所提取到的通道数都为1的特征图合并得到一个2通道的特征图，空间注意力机制的公式如下：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F)])) (2)
公式(2)中，Ms为空间注意力机制的权重，σ为激活函数sigmoid操作，f表示卷积的特征，7×7表示卷积核的大小，7×7的卷积核比3×3的卷积核效果更好，AvgPool表示平均值池化，MaxPool表示最大值池化；
S3.4对原来的网络结构进行通道和空间注意力机制融合，将CBAM作为一个注意力机制模块，分别加入到初始卷积层和第1个稠密模块densenet block间、每一个densenet block和过渡层间和最后一个densenet block模块和全连接层之间，共加入了4种注意力机制模块，分别为CBAM1、CBAM2、CBAM3和CBAM4，通道数分别为64，128，256，512，其中CBAM3和CBAM4插入2次进行融合。
4.据权利要求1所述的用于眼底图像分类的小样本注意力机制并行孪生方法，其特征在于，所述步骤S4的具体步骤如下：
S4.1对提取到的眼底图像的特征进行欧式距离计算，计算公式如下：
公式(3)中，ak和bk表示两个眼底图像图片的特征向量，这里的n表示在计算欧式距离中每两张眼底图像提取的特征为一组的组数，k＝1表示在计算欧式距离中从第一组开始；
S4.2计算损失函数contrastive loss进行距离程度的比较，计算公式如下：
公式(4)中，N代表在计算损失函数中的项数，n＝1代表从第一项开始，d代表两个眼底图像样本特征的欧式距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，max代表取最大值，margin为设定的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094076.XA CN114494195B (zh) | 2022-01-26 | 2022-01-26 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094076.XA CN114494195B (zh) | 2022-01-26 | 2022-01-26 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494195A true CN114494195A (zh) | 2022-05-13 |
| CN114494195B CN114494195B (zh) | 2024-06-04 |
Family
ID=81476781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210094076.XA Active CN114494195B (zh) | 2022-01-26 | 2022-01-26 | 用于眼底图像分类的小样本注意力机制并行孪生方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494195B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033689A (zh) * | 2022-05-27 | 2022-09-09 | 重庆邮电大学 | 一种基于小样本文本分类原型网络欧氏距离计算方法 |
| CN115424084A (zh) * | 2022-11-07 | 2022-12-02 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
| CN115908964A (zh) * | 2022-09-20 | 2023-04-04 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN116188435A (zh) * | 2023-03-02 | 2023-05-30 | 南通大学 | 一种基于模糊逻辑的医学图像深度分割方法 |
| CN117557840A (zh) * | 2023-11-10 | 2024-02-13 | 中国矿业大学 | 一种基于小样本学习的眼底病变分级方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN111354017A (zh) * | 2020-03-04 | 2020-06-30 | 江南大学 | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| CN112434721A (zh) * | 2020-10-23 | 2021-03-02 | 特斯联科技集团有限公司 | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 |
| CN112733961A (zh) * | 2021-01-26 | 2021-04-30 | 苏州大学 | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 |
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
-
2022
- 2022-01-26 CN CN202210094076.XA patent/CN114494195B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019206209A1 (zh) * | 2018-04-26 | 2019-10-31 | 上海鹰瞳医疗科技有限公司 | 基于机器学习的眼底图像检测方法、装置及系统 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| CN111354017A (zh) * | 2020-03-04 | 2020-06-30 | 江南大学 | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| CN112434721A (zh) * | 2020-10-23 | 2021-03-02 | 特斯联科技集团有限公司 | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 |
| CN112733961A (zh) * | 2021-01-26 | 2021-04-30 | 苏州大学 | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 |
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
Non-Patent Citations (2)
| Title |
|---|
| PAULINE SHAN QING YEOH ET AL.: "Emergence of Deep Learning in Knee Osteoarthritis Diagnosis", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》, 10 November 2021 (2021-11-10) * |
| 梅旭璋;江红;孙军;: "基于密集注意力网络的视网膜血管图像分割", 计算机工程, no. 03, 15 March 2020 (2020-03-15) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033689A (zh) * | 2022-05-27 | 2022-09-09 | 重庆邮电大学 | 一种基于小样本文本分类原型网络欧氏距离计算方法 |
| CN115033689B (zh) * | 2022-05-27 | 2023-04-18 | 重庆邮电大学 | 一种基于小样本文本分类原型网络欧氏距离计算方法 |
| CN115908964A (zh) * | 2022-09-20 | 2023-04-04 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN115908964B (zh) * | 2022-09-20 | 2023-12-12 | 国药(武汉)医学实验室有限公司 | 一种医学图像分类方法、系统、终端以及存储介质 |
| CN115424084A (zh) * | 2022-11-07 | 2022-12-02 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
| CN116188435A (zh) * | 2023-03-02 | 2023-05-30 | 南通大学 | 一种基于模糊逻辑的医学图像深度分割方法 |
| CN116188435B (zh) * | 2023-03-02 | 2023-11-07 | 南通大学 | 一种基于模糊逻辑的医学图像深度分割方法 |
| CN117557840A (zh) * | 2023-11-10 | 2024-02-13 | 中国矿业大学 | 一种基于小样本学习的眼底病变分级方法 |
| CN117557840B (zh) * | 2023-11-10 | 2024-05-24 | 中国矿业大学 | 一种基于小样本学习的眼底病变分级方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494195B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114494195B (zh) | 用于眼底图像分类的小样本注意力机制并行孪生方法 | |
| CN111191660B (zh) | 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法 | |
| WO2020114118A1 (zh) | 面部属性识别方法、装置、存储介质及处理器 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN112052772A (zh) | 一种人脸遮挡检测算法 | |
| CN112766376A (zh) | 一种基于gacnn的多标签眼底图像识别方法 | |
| Xia et al. | Cervical cancer cell detection based on deep convolutional neural network | |
| CN114693624A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| CN114419732A (zh) | 基于注意力机制优化的HRNet人体姿态识别方法 | |
| CN113378792A (zh) | 融合全局和局部信息的弱监督宫颈细胞图像分析方法 | |
| CN114093507B (zh) | 边缘计算网络中基于对比学习的皮肤病智能分类方法 | |
| CN117010971B (zh) | 一种基于人像识别的智能健康险提供方法及系统 | |
| Rethik et al. | Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer | |
| CN114119669A (zh) | 一种基于Shuffle注意力的图匹配目标跟踪方法与系统 | |
| Sajid et al. | Facial asymmetry-based feature extraction for different applications: a review complemented by new advances | |
| CN113065430A (zh) | 基于深度学习特征与人工提取特征融合的白细胞分类方法 | |
| CN116188435B (zh) | 一种基于模糊逻辑的医学图像深度分割方法 | |
| Zou et al. | An intelligent image feature recognition algorithm with hierarchical attribute constraints based on weak supervision and label correlation | |
| CN115937590A (zh) | 一种并联融合CNN和Transformer的皮肤病图像分类方法 | |
| CN116012903A (zh) | 一种人脸表情自动标注的方法及系统 | |
| CN114049500A (zh) | 基于元学习重加权网络伪标签训练的图像评价方法及系统 | |
| CN111401519A (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
| Girdher et al. | Detecting and estimating severity of leaf spot disease in golden pothos using hybrid deep learning approach | |
| Chitra et al. | Prediction Models Applying Convolutional Neural Network based Deep Learning to Cervical Cancer Outcomes | |
| CN116310391B (zh) | 一种用于茶叶病害的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |