CN115601822A - 基于融合决策树和改进UNet++的眼底图像分类算法 - Google Patents
基于融合决策树和改进UNet++的眼底图像分类算法 Download PDFInfo
- Publication number
- CN115601822A CN115601822A CN202211134603.1A CN202211134603A CN115601822A CN 115601822 A CN115601822 A CN 115601822A CN 202211134603 A CN202211134603 A CN 202211134603A CN 115601822 A CN115601822 A CN 115601822A
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- attention mechanism
- unet
- fundus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003066 decision tree Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000007635 classification algorithm Methods 0.000 title claims abstract description 17
- 208000010412 Glaucoma Diseases 0.000 claims abstract description 62
- 230000007246 mechanism Effects 0.000 claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000003902 lesion Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 48
- 238000011176 pooling Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000035945 sensitivity Effects 0.000 abstract description 8
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 231100000915 pathological change Toxicity 0.000 description 8
- 230000036285 pathological change Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004220 fundus oculi Anatomy 0.000 description 4
- 210000001210 retinal vessel Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000030768 Optic nerve injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000011950 custard Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开一种基于融合决策树和改进UNet++的眼底图像分类算法，涉及医学图像分类技术领域，包括：预处理阶段，提取眼底图像绿色分量图像，使用基于幂函数的改进巴特沃斯传参函数，对青光眼眼底图像纹理信息与对比度增强处理；特征提取阶段，使用基于残差模块与注意力机制改进的UNet++模型提取图像特征；图像分类阶段，使用决策树C4.5进行图像多分类，得到青光眼病变分类检测结果；本发明解决了对比度低引起的图像分类效果不佳问题，相对传统算法而言，本发明准确度、平均特异性和平均灵敏度方面均有改进。
Description
技术领域
本发明涉及医学图像分类技术领域，具体涉及一种基于融合决策树和改进UNet++的眼底图像分类算法。
背景技术
青光眼作为世界第二常见眼盲病，是视神经损伤引起的主要致盲原因，是眼底图像分开类检测研究的重点，成为国内外专家关注的方向。
其中，何晓云等人提出改进U-Net网络模型，该模型将残差块、级联空洞卷积、嵌入注意力机制融入U-Net模型，实现对视网膜血管分割；SabriDeari等人提出基于迁移学习策略的视网膜血管分割网络模型，该模型通过对数据集进行像素级转换和反射转换增强处理，处理后使用U-Net模型对视网膜特征进行训练，以实现视网膜血管分割；袁洲等人提出融合注意力机制与UNet++网络模型，该模型以UNet++模型为基础实现图像特征提取，同时将注意力机制融入卷积单元中实现特征强化，进而完成图像端到端检测；Ali Serener等使提出基于单个CNN卷积神经网络模型的图像分类算法，该方法通过创建CNN的多重融合以实现青光眼病变图像分类检测；郭璠等人提出结合MobileNet v2与VGG分类网络的青光眼图像检测方法，该方法利用MobileNet v2分割模型对视盘图像进行分割定位，并结合VGG分类网络与注意力模块对青光眼进行筛查；Gupta等提出随机森林分类的视网膜血管检测方法，该方法通过分割视网膜图像，并以块为单位对图像块的纹理特征和灰度特征进行提取，进而实现对视网膜图像进行分类；柯士园等人使用支持向量机和逻辑回归的多视图集成学习方法对青光眼进行预测；DAS等人提出一种基于CDR和ISNT规则的青光眼检测方法，该方法使用区域生长方法和流域变换对OC和OD进行分割，进而实现青光眼图像分类。
以上算法虽能对青光眼眼底病变进行筛查和判断，但对青光眼眼底病变的严重程度检测的准去率较低，分类效果不佳。
发明内容
本发明的目的在于，针对青光眼图像对比度低引起的图像分类效果不佳问题，使用融合决策树的改进UNet++算法实现对青光眼严重程度分类。
本发明的具体方案如下：
一种基于融合决策树和改进UNet++的眼底图像分类算法，包括：
预处理阶段，提取眼底图像绿色分量图像，使用基于幂函数的改进巴特沃斯传参函数，对青光眼眼底图像纹理信息与对比度增强处理；
特征提取阶段，使用基于残差模块与注意力机制改进的UNet++模型提取图像特征；
图像分类阶段，使用决策树C4.5进行图像多分类，得到青光眼病变分类检测结果。
进一步地，所述预处理阶段具体包括：
将RGB图像进行分离，提取绿色分量图像；
使用改进巴特沃斯传参函数进行分频处理，得到高频信息Ph和低频信息Pl，其计算公式为
其中，Rh表示青光眼眼底图像高频增益系数，Rl表示青光眼眼底图像低频增益系数，当Rh>1时表示增强眼底图像为高频信息，当Rl<1时表示减弱眼底图低频信息，a表示锐化系数，D0表示截止频率，n表示滤波器阶数，D(x,y)表示频率(x,y)到滤波中心(x0,y0)距离，计算采用欧式距离公式
使用傅里叶逆变换将频域信息转换为空域图像，将高低频信息转换为高低频图像，傅里叶逆变换为
其中,F(t)表示时间域的函数，F(w)表示频率的函数，F(t)是F(w)的象原函数,经处理后得到高频图像Fh(x,y)和低频图像Fl(x,y)；
对高频图像Fh(x,y)和低频图像Fl(x,y)分别进行局部增强后，进行加权融合，得到增强眼底图像，融合公式为
G(x,y)＝aF′h(x,y)+bF′l(x,y)
其中，a,b分别代表加权常数，G(x,y)代表增强后眼底绿色分量图。
进一步地，所述预处理阶段还具体包括，
对融合后的增强眼底图像，结合幂函数曲线法进行降噪处理，幂函数通过参数调节图像对比模式，利用图像映射关系进行调节，其计算公式为
G′＝axt+bx(t-1)+……+cx+d
其中，t为幂,是可控参数经处理后得到预处理增强图像G′。
具体地，所述对高频图像Fh(x,y)进行局部增强具体为，使用SMQT算法将高频图像Fh(x,y)进行灰度级区域扩展处理，实现图像灰度级非线性拉伸。
具体地，所述对低频图像Fl(x,y)分别进行局部增强具体为：所述将低频图像转换为Lab空间，并对L通道采用直方均衡化方法对对比度进行处理，具体地，将图像进行分块处理，分别对每个图像块进行分类，并分别使用脂肪均衡化方法对每个像素进行插值运算以获得处理灰度图F′l。
具体地，所述SMQT算法包括：
使用二叉树将图像想读点进行分层处理，并对每层输出进行线性叠加，得到局部增强高频图像，计算公式为
其中,m表示图像D(m)中的某个像素,F′h(m)为SMQT的输出,v(m)表示像素的灰度值,U(m)为灰度值量化结果,L表示二叉树的层数,n表示层数为l的MQN输出编号。
进一步地，所述基于残差模块与注意力机制改进的UNet++模型中，在UNet++网络上采样与下采样卷积层之间，引入残差模块，并在每个残差卷积模块前加入混合域注意力机制；
所述混合注意力机制包括通道注意力机制和空间注意力机制，先将输入眼底特征图送入通道注意力机制对全局纹理信息进行感知，并将提取信息与原始图像进行融合，得到全局特征处理结果，将全局强化特征处理结果送入空间注意力机制进行局部纹理特征强化，处理后与全局强化特征处理结果进行加权求和，得到局部和全局特征强化结果，其计算公式为
FM＝CBAM(Fi)＝SAM(CAM(Fi))×Fi×(CAM(Fi)×Fi)
其中，CBAM(Fi)代表混合域注意力机制运算结果，Fi代表输入眼底图，CAM(Fi)代表通道注意力机制运算，SAM代表空间注意力机制，×代表矩阵卷积运算。
具体地，所述通道注意力机制利用平均池化和最大池化来聚合特征图的空间信息，分别得到最大池化和平均池化，然后将最大池化和平均池化转发到一个共享的隐藏层MLP网络，再通过最大池化和平均池化分别得到的两个通道注意力机制map的维度，设值为C×1×1，将平均池化后的结果经过sigmoid函数处理，最后将两者的element-wise相加得到通道注意力机制处理结果，其计算公式为
CAM(Fi)＝sigmod(MLP(AvgPool(Fi))+MLP(MaxPool(Fi)))
其中，sigmod代表激活函数，AvgPool代表平均池化处理，MaxPool代表最大池化处理，MLP代表MLP神经网络，即多层感知机处理，隐藏层的神经元个数,设为
r为超参数；
所述空间注意力机制通过沿着通道轴进行平均池化和最大池化处理，处理后将所得的两个特征图拼接起来进行卷积操作，最后利用sigmoid激活得到空间注意力机制的处理结果，其计算公式为
SAM(CAM(Fi))＝sigmod(conv([AvgPool(Mc)+MaxPool(Mc)]))
其中，SAM代表空间域注意力机制运算，conv代表卷积操作。
具体地，所述基于残差模块与注意力机制改进的UNet++模型，采用深监督模式训练模型，损失函数使用二值交叉熵和DICE系数的结合，其计算公式为
其中，
和Yb分别表示第b张图片的扁平化预测概率和扁平化地面真实值，N表示批量大小。
具体地，所述决策树C4.5算法从特征提取的所有纹理信息中寻找分裂属性进行分割，生成有纹理信息和无纹理信息，不断对有纹理信息节点进行分割，进而将青光眼眼底图病变进行分类，以分类正常图、轻度青光眼、中度青光眼和重度青光眼四类。
采用上述方案后，本发明的有益效果如下：相对传统算法而言，本发明准确度、平均特异性和平均灵敏度方面均有改进，具体低，其平均准确率、平均特异性和平均灵敏度分别提升9.2％、6.4％、6.5％，可见改进算法在青光眼眼底图像分类有较好效果，具体的效果见具体实施方式部分。
附图说明
图1为本发明的算法整体流程图；
图2为本发明的改进型UNet++模型图；
图3改进的残差模块结构图；
图4为本发明的混合域注意力机制模块图；
图5为本发明具体实施方式中的数据集样本图，其中(a)为正常青光眼图，(b)为轻度青光眼,(c)为中度青光眼,(d)为重度青光眼；
图6为本发明具体实施方式中的不同迭代次数下模型平均准确率分析图。
具体试实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将在已知的本领域技术人员公知的基础上对本发明的各个步骤进行详尽的说明。
本实施例将对本发明基于融合决策树和改进UNet++的眼底图像分类算法进行详细说明，本发明的算法整体流程图如图1所示，包括：
S1.预处理阶段，提取眼底图像绿色分量图像，使用基于幂函数的巴特沃斯传参函数，对青光眼眼底图像纹理信息与对比度增强处理；
预处理阶段具体包括：
S101.将RGB图像进行分离，提取绿色分量图像；
S102.使用改进巴特沃斯传参函数进行分频处理，得到高频信息Ph和低频信息Pl,其计算公式为
其中，Rh表示青光眼眼底图像高频增益系数，Rl表示青光眼眼底图像低频增益系数，当Rh>1时表示增强眼底图像为高频信息，当Rl<1时表示减弱眼底图低频信息，a表示锐化系数，D0表示截止频率，n表示滤波器阶数，D(x,y)表示频率(x,y)到滤波中心(x0,y0)距离，计算采用欧式距离公式
S103.使用傅里叶逆变换将频域信息转换为空域图像，将高低频信息转换为高低频图像，傅里叶逆变换为
其中,F(t)表示时间域的函数，F(w)表示频率的函数，F(t)是F(w)的象原函数,经处理后得到高频图像Fh(x,y)和低频图像Fl(x,y)；
S104.所述对高频图像Fh(x,y)进行局部增强具体为，使用SMQT算法将高频图像Fh(x,y)进行灰度级区域扩展处理，实现图像灰度级非线性拉伸。SMQT算法提升了局部对比度，以提高了图像的纹理细节，增强了像素点。SMQT算法包括：
使用二叉树将图像想读点进行分层处理，并对每层输出进行线性叠加，得到局部增强高频图像，计算公式为
其中,m表示图像D(m)中的某个像素,F′h(m)为SMQT的输出,v(m)表示像素的灰度值,U(m)为灰度值量化结果,L表示二叉树的层数,n表示层数为l的MQN输出编号。
所述对低频图像Fl(x,y)分别进行局部增强具体为，所述将低频图像转换为Lab空间，并对L通道采用直方均衡化方法对对比度进行处理，减少了图像色彩分量对检测的影响。具体地，将图像进行分块处理，分别对每个图像块进行分类，并分别使用脂肪均衡化方法对每个像素进行插值运算以获得处理灰度图F′l。对高频图像Fh(x,y)和低频图像Fl(x,y)分别进行局部增强后，进行加权融合，得到增强眼底图像，融合公式为
G(x,y)＝aF′h(x,y)+bF′l(x,y)
其中，a,b分别代表加权常数，G(x,y)代表增强后眼底绿色分量图。
S105.对融合后的增强眼底图像，结合幂函数曲线法进行降噪处理，幂函数通过参数调节图像对比模式，利用图像映射关系进行调节，其计算公式为
G′＝axt+bx(t-1)+……+cx+d
其中，t为幂,是可控参数经处理后得到预处理增强图像G′。
S2.特征提取阶段，使用基于残差模块与注意力机制改进的UNet++模型提取图像特征，模型结构图如图2所示，UNet++网络由编码器与解码器组成，xi,j表示表示节点xi,j的输出，其中i表示层数,j表示当前层的第j个卷积层。跳跃路径用于改变编码器和解码器子网络的连通性。UNet中，解码器直接接收编码器的特征映射；而UNet++中经历一个密集卷积块，且跳跃路径上的所有卷积层使用大小为3×3的核。跳跃路径公式为
其中，Xi,j表示节点Xi,j的输出，其中i沿着编码器索引下采样层，j沿着跳跃路径索引密集块的卷积层，H(·)表示卷积操作和激活函数，μ(·)表示上采样层，[]表示拼接层。j＝0级的节点只接收来自编码器前一层的一个输入；j＝1级的节点接收两个输入，都来自编码器子网络，但是在两个连续的级上；并且j>1级的节点接收j+1个输入，其中j个输入是同一跳跃路径中的前j个节点的输出，最后一个输入是来自较低跳跃路径的上采样输出。
模型中，为了解决梯度消失的问题，在UNet++网络上采样与下采样卷积层之间，引入残差模块，并在每个残差卷积模块前加入混合域注意力机制以获得更多局部纹理信息和全局纹理信息，改进的残差块如图3所示，残差模块实现原理是将输入特征图与特征提取模块进行相加，得到特征信息，以使网络在进行向前传播时包含输入特征图的特征信息，有效解决网络模型卷积处理的退化问题。残差块公式为
H(x)＝F(x)+x
其中，x为网络的输入，F(x)代表特征提取模块，H(x)代表眼底图像特征提取输出结果。
如图4所示，所述混合注意力机制包括通道注意力机制和空间注意力机制，先将输入眼底特征图送入通道注意力机制对全局纹理信息进行感知，并将提取信息与原始图像进行融合，得到全局特征处理结果，将全局强化特征处理结果送入空间注意力机制进行局部纹理特征强化，处理后与全局强化特征处理结果进行加权求和，得到局部和全局特征强化结果，其计算公式为
FM＝CBAM(Fi)＝SAM(CAM(Fi))×Fi×(CAM(Fi)×Fi)
其中，CBAM(Fi)代表混合域注意力机制运算结果，Fi代表输入眼底图，CAM(Fi)代表通道注意力机制运算，SAM代表空间注意力机制，×代表矩阵卷积运算。
具体地，所述通道注意力机制利用平均池化和最大池化来聚合特征图的空间信息，分别得到最大池化和平均池化，然后将最大池化和平均池化转发到一个共享的隐藏层MLP网络，再通过最大池化和平均池化分别得到的两个通道注意力机制map的维度，设值为C×1×1，将平均池化后的结果经过sigmoid函数处理，最后将两者的element-wise相加得到通道注意力机制处理结果，其计算公式为
CAM(Fi)＝sigmod(MLP(AvgPool(Fi))+MLP(MaxPool(Fi)))
其中，sigmod代表激活函数，AvgPool代表平均池化处理，MaxPool代表最大池化处理，MLP代表MLP神经网络，即多层感知机处理，隐藏层的神经元个数,设为
r为超参数。
所述空间注意力机制通过沿着通道轴进行平均池化和最大池化处理，处理后将所得的两个特征图拼接起来进行卷积操作，最后利用sigmoid激活得到空间注意力机制的处理结果，其计算公式为
SAM(CAM(Fi))＝sigmod(conv([AvgPool(Mc)+MaxPool(Mc)]))
其中，SAM代表空间域注意力机制运算，conv代表卷积操作。
模型训练时采用深度监督，使UNet++模型能够以精确模式和快速模式运行，精确模式对所有分割分支的输出结果进行平均处理，快速模式只选择一个分割分支，其他的被剪枝，其选择结果用于决定模型修剪的程度和速度增益。
使用二值交叉熵和DICE系数的结合来作为{X0,j,j∈{1,2,3,4}}四个语义级的损失函数为
其中，
和Yb分别表示第b张图片的扁平化预测概率和扁平化地面真实值，N表示批量大小。
S3.图像分类阶段，使用决策树C4.5进行图像多分类，得到青光眼病变分类检测结果。所述决策树C4.5算法从特征提取的所有纹理信息中寻找分裂属性进行分割，生成有纹理信息和无纹理信息，不断对有纹理信息节点进行分割，进而将青光眼眼底图病变进行分类，以分类正常图、轻度青光眼、中度青光眼和重度青光眼四类。决策树C4.5算法实现分为经过初始决策树的生成和决策树剪枝两阶段，其算法流程如下：
输入:训练集决策表:训练集D＝{(d1,k1),(d2,k2),...,(dn,kn)}与属性集A＝{a1,a2,...,am}
输出:以Node为根节点的决策树
1:function Build_DT(D,A)建树函数
2:生成节点node；
3:if D中样本全属于同一类别C then
4:将node标记为C类叶节点；return
5:end if
6:if A＝
D中样本在A上取值相同then
7:将node标记为D中样本数最多的类的叶节点；return
8:end if
9:从A中选择最优属性,即a*＝arg max a∈AGR(D,a)增益率最高的属性；
10:for a*的每一个属性值av*do
11:为node生成一个分支；令Dv为D中在a*上取值为av*的样本子集；
12:if Dv为空then
13:将分支节点标记为D中样本数最多的类的叶节点；return
14:else
15:以Build DT(Dv,A\{a*})为分支节点；
16:end if
17:end for
18:end function
经过决策树分类后，检测出青光眼眼底图像是属于正常图像、轻度青光眼、中度青光眼还是重度青光眼。
本具体实施中，使用Paddle Paddle提供数据集，并选取480张青光眼数据集进行训练，其中正常青光眼、轻度青光眼、中度青光眼、重度青光眼各有120张，如图5所示。
使用Intel i7-7800 CPU,NVIDIA Ge Force GTX1080i显卡，Paddle Paddle2GGPU算力，深度学习框架Keras、OpenCV及Tensorflow。由于UNet++网络输入层要求为1024×1024像素，因此，采用Python的pillow库中crop操作，设定固定的裁剪区域将所有图像的尺寸都裁剪为1024×1024并以7：3比例进行训练。
研究使用准确度Acc、特异性Sp、灵敏度Sn对青光眼眼底病变分类进行客观评价,其计算公式为
其中，TP代表被正确划分正常眼底图的个数，TN代表被正确划分为青光眼病变图的个数，FN代表被错误划分为正常眼底图个数，FP代表被错误划分青光眼病变眼底图的个数，TN与FP分别代表正确与错误判断的三种程度青光眼病变图总数和，其计算公式为
TN＝TN1+TN2+TN3
FP＝FP1+FP2+FP3
其中，TN1正确判断轻度病变眼底图个数，TN2正确判断中度病变眼底图个数，TN3正确判断重度病变眼底图个数，FP1代表错误判断轻度病变眼底图个数，TFP2错误判断中度病变眼底图个数，FP3正确判断重度病变眼底图个数。
为使损失函数的梯度达到全局最优，通过不断实验调整网络权重超参数最终选取最佳学习率为0.001进行实现，模型训练过程中对不同迭代次数实验的准确率进行分析，分析结果如图6所示。由图可知，研究算法在学习率为0.001情况下，算法在迭代12000次左右对青光眼眼底图像分类平均准确率效果最佳，平均准确率为94.46％。
为了验证在相同实验环境下不同算法对青光眼眼底图像分类的效果，研究使用准确率、特异性以及灵敏度对CNN，改进UNet算法，CNN模型的多重融合算法以及本发明算法进行分析，分析结果如表1所示。
表1不同神经网络对比(％)
由表1可知，青光眼检测平均准确率、平均特异性、平均灵敏度最低皆为经典CNN算法，效果最佳为本文算法，分别达94.46％、91.74％、95.89％，较传统网络模型而言，平均准确率、平均特异性、平均灵敏度分别提升9.2％、6.4％、6.5％，改进算法对青光眼眼底病变分类有较好效果。
为了验证不同算法在相同实验环境下对青光眼眼底图像分类的效果，对经典支持向量机，随机森林法，注意力机制的UNet++算法，局部变异微观查模式的图像级识别算法，Dempster-Shafer(DS)证据推论的多视图集成学习方法，CDR和ISNT规则的图像检测方法和本发明算法进行了性能分析，分析结果如表2所示。
表2不同分类器对比
由表2可知，分类效果最好的为本文研究算法，其准确率、特异性、灵敏度分别为94.46％、91.74％、95.89％，较传统算法而言，分别平均提升3.6％、4.5％、3.5％，改进算法青光眼眼底图像检测上有一定优势。
应当理解，本发明的算法除了可应用于青光眼眼底病变分类与检测，还可以应用于其他医学图像、交通图像的分类。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，包括：
预处理阶段，提取眼底图像绿色分量图像，使用基于幂函数的改进巴特沃斯传参函数，对青光眼眼底图像纹理信息与对比度增强处理；
特征提取阶段，使用基于残差模块与注意力机制改进的UNet++模型提取图像特征；
图像分类阶段，使用决策树C4.5进行图像多分类，得到青光眼病变分类检测结果。
2.根据权利要求1所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述预处理阶段具体包括：
将RGB图像进行分离，提取绿色分量图像；
使用改进巴特沃斯传参函数进行分频处理，得到高频信息Ph和低频信息Pl，公式为
其中，Rh表示青光眼眼底图像高频增益系数，Rl表示青光眼眼底图像低频增益系数，当Rh>1时表示增强眼底图像为高频信息，当Rl<1时表示减弱眼底图低频信息，a表示锐化系数，D0表示截止频率，n表示滤波器阶数，D(x,y)表示频率(x,y)到滤波中心(x0,y0)距离，计算采用欧式距离公式
使用傅里叶逆变换将频域信息转换为空域图像，将高低频信息转换为高低频图像，傅里叶逆变换为
其中,F(t)表示时间域的函数，F(w)表示频率的函数，F(t)是F(w)的象原函数,经处理后得到高频图像Fh(x,y)和低频图像Fl(x,y)；
对高频图像Fh(x,y)和低频图像Fl(x,y)分别进行局部增强后，进行加权融合，得到增强眼底图像，融合公式为
G(x,y)＝aF′h(x,y)+bF′l(x,y)
其中，a,b分别代表加权常数，G(x,y)代表增强后眼底绿色分量图。
3.根据权利要求2所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述预处理阶段还具体包括：
对融合后的增强眼底图像，结合幂函数曲线法进行降噪处理，幂函数通过参数调节图像对比模式，利用图像映射关系进行调节，其计算公式为
G′＝axt+bx(t-1)+…+cx+d
其中，t为幂,是可控参数经处理后得到预处理增强图像G′。
4.根据权利要求2所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述对高频图像Fh(x,y)进行局部增强具体为：使用SMQT算法将高频图像Fh(x,y)进行灰度级区域扩展处理，实现图像灰度级非线性拉伸。
5.根据权利要求2所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述对低频图像Fl(x,y)分别进行局部增强具体为：所述将低频图像转换为Lab空间，并对L通道采用直方均衡化方法对对比度进行处理，具体地，将图像进行分块处理，分别对每个图像块进行分类，并分别使用脂肪均衡化方法对每个像素进行插值运算以获得处理灰度图F′l。
6.根据权利要求4所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述SMQT算法包括：
使用二叉树将图像想读点进行分层处理，并对每层输出进行线性叠加，得到局部增强高频图像，计算公式为
其中,m表示图像D(m)中的某个像素,F′h(m)为SMQT的输出,v(m)表示像素的灰度值,U(m)为灰度值量化结果,L表示二叉树的层数,n表示层数为l的MQN输出编号。
7.根据权利要求1所述的一种融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述基于残差模块与注意力机制改进的UNet++模型中，在UNet++网络上采样与下采样卷积层之间，引入残差模块，并在每个残差卷积模块前加入混合域注意力机制；
所述混合注意力机制包括通道注意力机制和空间注意力机制，先将输入眼底特征图送入通道注意力机制对全局纹理信息进行感知，并将提取信息与原始图像进行融合，得到全局特征处理结果，将全局强化特征处理结果送入空间注意力机制进行局部纹理特征强化，处理后与全局强化特征处理结果进行加权求和，得到局部和全局特征强化结果，其计算公式为
FM＝CBAM(Fi)＝SAM(CAM(Fi))×Fi×(CAM(Fi)×Fi)
其中，CBAM(Fi)代表混合域注意力机制运算结果，Fi代表输入眼底图，CAM(Fi)代表通道注意力机制运算，SAM代表空间注意力机制，×代表矩阵卷积运算。
8.根据权利要求7所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述通道注意力机制利用平均池化和最大池化来聚合特征图的空间信息，分别得到最大池化和平均池化，然后将最大池化和平均池化转发到一个共享的隐藏层MLP网络，再通过最大池化和平均池化分别得到的两个通道注意力机制map的维度，设值为C×1×1，将平均池化后的结果经过sigmoid函数处理，最后将两者的element-wise相加得到通道注意力机制处理结果，其计算公式为
CAM(Fi)＝sigmod(MLP(AvgPool(Fi))+MLP(MaxPool(Fi)))
其中，sigmod代表激活函数，AvgPool代表平均池化处理，MaxPool代表最大池化处理，MLP代表MLP神经网络，即多层感知机处理，隐藏层的神经元个数,设为
r为超参数；
所述空间注意力机制通过沿着通道轴进行平均池化和最大池化处理，处理后将所得的两个特征图拼接起来进行卷积操作，最后利用sigmoid激活得到空间注意力机制的处理结果，其计算公式为
SAM(CAM(Fi))＝sigmod(conv([AvgPool(Mc)+MaxPool(Mc)]))
其中，SAM代表空间域注意力机制运算，conv代表卷积操作。
9.根据权利要求1所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述基于残差模块与注意力机制改进的UNet++模型，采用深监督模式训练模型，损失函数使用二值交叉熵和DICE系数的结合，其计算公式为
其中，
和Yb分别表示第b张图片的扁平化预测概率和扁平化地面真实值，N表示批量大小。
10.根据权利要求1所述的一种基于融合决策树和改进UNet++的眼底图像分类算法，其特征在于，所述决策树C4.5算法从特征提取的所有纹理信息中寻找分裂属性进行分割，生成有纹理信息和无纹理信息，不断对有纹理信息节点进行分割，进而将青光眼眼底图病变进行分类，以分类正常图、轻度青光眼、中度青光眼和重度青光眼四类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211134603.1A CN115601822A (zh) | 2022-09-19 | 2022-09-19 | 基于融合决策树和改进UNet++的眼底图像分类算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211134603.1A CN115601822A (zh) | 2022-09-19 | 2022-09-19 | 基于融合决策树和改进UNet++的眼底图像分类算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115601822A true CN115601822A (zh) | 2023-01-13 |
Family
ID=84842248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211134603.1A Pending CN115601822A (zh) | 2022-09-19 | 2022-09-19 | 基于融合决策树和改进UNet++的眼底图像分类算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601822A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935045A (zh) * | 2023-06-27 | 2023-10-24 | 武汉大学 | 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统 |
-
2022
- 2022-09-19 CN CN202211134603.1A patent/CN115601822A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935045A (zh) * | 2023-06-27 | 2023-10-24 | 武汉大学 | 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统 |
| CN116935045B (zh) * | 2023-06-27 | 2024-07-12 | 武汉大学 | 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oliveira et al. | Retinal vessel segmentation based on fully convolutional neural networks | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN112036335B (zh) | 一种反卷积引导的半监督植物叶部病害识别与分割方法 | |
| CN112016041B (zh) | 基于格拉姆求和角场图像化和Shortcut-CNN的时间序列实时分类方法 | |
| CN112837330A (zh) | 基于多尺度双注意力机制和全卷积神经网络的叶分割方法 | |
| CN113239782A (zh) | 一种融合多尺度gan和标签学习的行人重识别系统及方法 | |
| CN110472530B (zh) | 基于小波变换和迁移学习的视网膜oct图像分类方法 | |
| Chen et al. | Mobile convolution neural network for the recognition of potato leaf disease images | |
| CN112381764A (zh) | 一种农作物病虫害检测方法 | |
| CN111524140B (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| CN109344898A (zh) | 基于稀疏编码预训练的卷积神经网络图像分类方法 | |
| CN111767860A (zh) | 一种通过卷积神经网络实现图像识别的方法及终端 | |
| CN116343144B (zh) | 一种融合视觉感知自适应去雾的实时目标检测方法 | |
| CN115601822A (zh) | 基于融合决策树和改进UNet++的眼底图像分类算法 | |
| CN112380917A (zh) | 一种用于农作物病虫害检测的无人机 | |
| CN115984323A (zh) | 基于空频域均衡的双级融合rgbt跟踪算法 | |
| CN115187621A (zh) | 融合注意力机制的U-Net医学影像轮廓自动提取网络 | |
| CN113989256A (zh) | 遥感图像建筑物的检测模型优化方法及检测方法、装置 | |
| Qiu | A new multilevel feature fusion network for medical image segmentation | |
| Stuchi et al. | A frequency-domain approach with learnable filters for image classification | |
| CN117197803A (zh) | 一种基于MSA-DViTNet轻量级模型的芒果叶斑病识别方法 | |
| CN116704231A (zh) | 一种双层部件蒸馏的细粒度图像分类方法 | |
| CN115330759A (zh) | 一种基于豪斯多夫距离计算距离损失的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |