CN116452571A - 一种基于深度神经网络的图像识别方法 - Google Patents
一种基于深度神经网络的图像识别方法 Download PDFInfo
- Publication number
- CN116452571A CN116452571A CN202310465529.XA CN202310465529A CN116452571A CN 116452571 A CN116452571 A CN 116452571A CN 202310465529 A CN202310465529 A CN 202310465529A CN 116452571 A CN116452571 A CN 116452571A
- Authority
- CN
- China
- Prior art keywords
- ultra
- image
- fundus
- wide
- angle image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 230000003902 lesion Effects 0.000 claims abstract description 73
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 55
- 210000001525 retina Anatomy 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 13
- 201000010099 disease Diseases 0.000 claims description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000002792 vascular Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 210000001210 retinal vessel Anatomy 0.000 claims description 4
- 201000007527 Retinal artery occlusion Diseases 0.000 claims description 3
- 208000007014 Retinitis pigmentosa Diseases 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 210000003462 vein Anatomy 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 7
- 230000036285 pathological change Effects 0.000 abstract description 4
- 231100000915 pathological change Toxicity 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000004256 retinal image Effects 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001631 hypertensive effect Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于深度神经网络的图像识别方法，包括：S1：建立不同程度眼底病变的超广角图像数据集，S2：对超广角图像数据集内的超广角图像预处理与增强：S3：输入预处理和增强后的超广角图像，使用优化后的U‑Net眼底血管图像分割算法对血管进行分割；S4：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，对眼底病变特征进行分类并提取，使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。本发明首先对眼底病变图像进行超广角技术处理，解决了传统眼底彩照因呈像有限不能提供眼底周围视网膜问题，解决了对眼底病变识别不准确、耗时高等问题。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度神经网络的图像识别方法。
背景技术
伴随着国民经济的不断发展提升以及民众用眼方式的改变，眼底病也在发在显著的变化，目前有超过4000万的眼底疾病患者。但是由于视网膜中血管图像对比度低，而且过程中常常伴有许多随机噪声，导致眼科医生识别效率低，对难分辨的眼底疾病(如糖尿病视网膜病变)识别效果差。所以，对于眼底病变图像识别已经成为了当今研究的重点和前沿热点。
传统的眼底病变识别方式是眼科专家凭借多年经验进行识别眼底病变类别及程度，并且由于传统眼底彩照因呈像有限不能提供眼底周围视网膜，导致眼底疾病漏诊率大大提高的问题，为减轻医务工作者压力和负担，越来越多研究者开始将神经网络应用于医学诊断及生物特征识别。例如提出了基于Hessian矩阵的多尺度视网膜图像增强方法；通过深入研究眼底图像预处理中图像去噪和眼底视场提取方法，实现了基于自适应中值滤波的眼底图像平滑方法和基于HSV空间模型的眼底视场提取方法；提出基于支持向量机(SVM)的检测方法克服光照不均、对比度低、软渗出干扰等给眼底图像中硬性渗出检测带来的困难。
目前国内外对眼底病变识别研究主要集中于图像血管分割、血管增强、眼底病变识别三方面。且大多模型基于传统的眼底彩照进行识别对视网膜图像周围提取有限，由于眼底两侧噪声较大出现黑色空间、晶体状模糊、光线过强或过弱导致无法准确识别眼底病变对罕见眼底病变识别速度慢、准确率较低。
发明内容
针对现有技术的上述不足，本发明提供了一种解决了对眼底病变识别不准确、耗时高等问题的基于深度神经网络的图像识别方法。
为达到上述发明目的，本发明所采用的技术方案为：
提供一种基于深度神经网络的图像识别方法，其包括以下步骤：
S1：建立不同程度眼底病变的超广角图像数据集，超广角图像数据集内包含若干不同眼底病变种类及眼底病变严重程度的病人眼底超广角图像；
S2：对超广角图像进行膨胀和腐蚀处理，使眼部的血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像，再对眼底病变图像进行归一化处理；完成对超广角图像数据集内的超广角图像预处理与增强：
S3：输入预处理和增强后的超广角图像，使用优化后的U-Net眼底血管图像分割算法对血管进行分割；
S4：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，对眼底病变特征进行分类并提取，使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。
进一步地，步骤S1包括：
S11：根据Kaggle数据科学官网的眼底公共图像数据集、医院眼科或体检中心患者拍摄的眼底彩照收集不同程度眼底病变超广角图像，形成超广角图像数据集；
S12：基于眼底病变的种类及眼底病变的严重程度对超广角图像数据集内的超广角图像进行标记：
23种不同种类眼底病变标签图像30000张，根据视网膜色素变性、视网膜动血管阻塞程度及静脉阻塞程度的特征标记3种不同眼底病变严重程度图像10000张，并根据实际严重情况分为4个等级，从症状轻重对应0～3进行编号，疾病严重程度包括正常、轻度、中度和重度，分别对应级别编号0、1、2和3。
进一步地，步骤S2包括：
S21：将病人眼底的超广角图像进行超广角技术处理，使眼底彩超的成像范围扩大到200°，覆盖眼底82％的视网膜；
S22：对超广角技术处理后的超广角图像与有效图像对比，找到噪点准确位置，避开含血管部分找到噪点准确范围对图像进行腐蚀处理，得到去噪后的超广角图像；
S23：去噪后的超广角图像与有效图像进行对比，找到视网膜血管和病灶的准确位置，对去噪后的超广角图像进行若干次膨胀处理，进而对血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像；
S24：对强化血管和病灶的眼底病变图像进行归一化处理：
其中，F(X)为归一化处理后的输出图像，X为原始眼底病变图像，Xmin为超广角图像数据集内的图像最小值，Xmax为超广角图像数据集内的图像最大值；
S25：完成对超广角图像数据集内的超广角图像预处理与增强。
进一步地，步骤S3包括：
S31：输入预处理和增强后的超广角图像，收集血管与视网膜背景的多个图像，提取图像函数运算符，导入二值化后黑白模型进行深度训练：
S32：使用优化后的U-Net分割算法，分别将浅层特征与深层特征进行融合，使更深的U型网络充分利用浅层特征对血管进行学习分割；
S33：首块U-Net网络输入图像时采用1×1卷积操作，进行输出和特征提取，最大池化层池化后和下一个模块进行连接，最终形成下一个模块的输入，
S34：沿着两个残差路径Res Path分别使用包含四个3×3卷积的滤波器、1×1卷积的残差连接Res Path1以及两个3×3卷积的滤波器、1×1卷积的残差连接Res Path2，且为使编码器与解码器中的特征数量平衡，设置与编码器相同的滤波器，根据视网膜经过预处理后像素小的特点在每一个模块输入之前ReLU激活函数将非线性特征引入U-Net网络；
S35：将MbResU-Net损失函数引入U-Net网络，加快U-Net网络的融合，并经过若干次数的迭代后，U-Net网络的网络模型参数收敛到最佳值，达到最优的血管分割效果。
进一步地，步骤S31中二值化的方法为：
S311：将血管与视网膜背景的图像每个像素坐标设为(x，y)、中心领域为r*r，用g(x，y)表示像素点的灰度值；
S312：计算中心领域r*r范围内的灰度均值m(x,y)：
其中，x，y分别为像素坐标的横坐标和纵坐标，r为中心领域的半径，i和j分别为r*r图像范围内任意灰度值点的横坐标和纵坐标。
S313：计算中心领域r*r范围内的标准方差s(x,y)：
S314：利用标准方差s(x,y)计算像素点的阈值T(x,y)：
其中，K为修正系数，R为像素深度的一半。
进一步地，ReLU激活函数f(x)为：
f(x)＝max(0,x)。
进一步地，MbResU-Net损失函数为：
其中，N为像素的数量，xk为输入像素k预测为前景像素的概率，yk为像素k的真实值，血管像素为1，非血管像素为0；为拉普拉斯平滑因子，用于避免数值问题并加速训练中的收敛速度，X'为指标函数：/>
进一步地，步骤S4包括：
S41：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，经过卷积层和池化层交替叠加，最后输入全连接层，全连接层将经过多个卷积层和池化层的图像特征进行整合，获取图像特征具有的高层含义，用于图像分类；
S42：使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。
本发明的有益效果为：本发明首先对眼底病变图像进行超广角技术处理，解决了传统眼底彩照因呈像有限不能提供眼底周围视网膜问题，再对图像进行膨胀和腐蚀，缓解视网膜图像图像对比度低的问题，优化的U-Net算法解决了网络编码器与解码器之间的语义差距而带来的信息丢失，同时获得了更多血管的细节特征，同时引入MbResU-Net损失函数，提升了模型分割的准确率和速度。通过CompactNet卷积网络特征分类模型对眼底病变识别正确率平均为90.89％，相较于传统的卷积模型得到提高，解决了对眼底病变识别不准确、耗时高等问题，此类模型可用于其他视觉识别的迁移学习，可为后续医疗领域图像识别提供参考和研究。
附图说明
图1为基于深度神经网络的图像识别方法的流程图。
图2为U-Net网络的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本方案的基于深度神经网络的图像识别方法包括以下步骤：
S1：建立不同程度眼底病变的超广角图像数据集，超广角图像数据集内包含若干不同眼底病变种类及眼底病变严重程度的病人眼底超广角图像；步骤S1包括：
S11：根据Kaggle数据科学官网的眼底公共图像数据集、医院眼科或体检中心患者拍摄的眼底彩照收集不同程度眼底病变超广角图像，形成超广角图像数据集；
S12：基于眼底病变的种类及眼底病变的严重程度对超广角图像数据集内的超广角图像进行标记：
23种不同种类眼底病变标签图像30000张，根据视网膜色素变性、视网膜动血管阻塞程度及静脉阻塞程度的特征标记3种不同眼底病变严重程度图像10000张，并根据实际严重情况分为4个等级，从症状轻重对应0～3进行编号，疾病严重程度包括正常、轻度、中度和重度，分别对应级别编号0、1、2和3。
S2：对超广角图像进行膨胀和腐蚀处理，使眼部的血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像，再对眼底病变图像进行归一化处理；完成对超广角图像数据集内的超广角图像预处理与增强：
根据多节点样条理论方法通过对基函数在数据的采样和处理，然后对数据进行逼近，实现对冗余数据的快速去除，进而避免了人工去除冗余数据速度慢、准确率不高的问题。然后将冗余处理后的超广角图像数据集分为训练集、验证集、模拟测试集，其比例为7：2：1，进行模拟训练。考虑到眼底视网膜周边视网膜是多种疾病产生且引起生理病变的高发部位。由于传统眼底彩照因呈像有限不能提供眼底周围视网膜，导致眼底疾病漏诊率大大提高，且图像中存在一系列噪声问题，例如图像周围眼底两侧噪声较大出现黑色空间、晶体状模糊、光线过强或过弱导致无法准确识别眼底病变，导致确诊率降低。基于此本发明提出一种超广角融合膨胀与腐蚀的方法对图像进行预处理，进而缓解了眼底周围视网膜图像对比度低，模型漏诊率高的问题，同时去除周边黑色、强化血管和病灶的显示。然后将超广角融合膨胀与腐蚀的眼底病变图像进行归一化处理，这有利于后续卷积神经网络训练。然后对输入的眼底病变图像进行模拟增强，将眼底病变或正常的RGB图像进行随机水平旋转360°，并进行随机移位25％，同时进行图像随机缩放，最后对图像进行色彩抖动操作，扩充数据集合。
步骤S2包括：
S21：将病人眼底的超广角图像进行超广角技术处理，使眼底彩超的成像范围扩大到200°，覆盖眼底82％的视网膜；
S22：对超广角技术处理后的超广角图像与有效图像对比，找到噪点准确位置，避开含血管部分找到噪点准确范围对图像进行腐蚀处理，得到去噪后的超广角图像；
S23：去噪后的超广角图像与有效图像进行对比，找到视网膜血管和病灶的准确位置，对去噪后的超广角图像进行若干次膨胀处理，进而对血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像；
S24：对强化血管和病灶的眼底病变图像进行归一化处理：
其中，F(X)为归一化处理后的输出图像，X为原始眼底病变图像，Xmin为超广角图像数据集内的图像最小值，Xmax为超广角图像数据集内的图像最大值；
S25：完成对超广角图像数据集内的超广角图像预处理与增强。
S3：输入预处理和增强后的超广角图像，使用优化后的U-Net眼底血管图像分割算法对血管进行分割；
通过运用以残差连接形成的U-Net模型实现对预处理和增强后的图像精准分割。传统的U-Net图像分割算法是一种编码-解码结构型的网络。编码阶段在卷积操作的基础上，对特征层进行4次特征提取得到最大池化后，得到编码结果。U-Net眼底血管图像分割算法巧妙的引入了跳跃连接，编码器卷积层的输出在进入池化前被送到解码器中，将特征图和解码器上采样操作后的输出特征图连接起来，将合成的特征图传递到后续卷积网络中，跳跃连接操作汇集了网络在卷积过程中丢失的空间信息，在解码阶段，在卷积操作的基础上，对特征层进行采样操作后得到分割结果。
由于视网膜血管和背景区域间特征不明显导致传统算法对细小血管及经过超广角处理后得到的眼底周围血管特征描述不足，引发细小血管及血管分叉处不易识别，丢失复杂曲度形态血管的问题，改进后U-Net图像分割算法以残差路径传递信息的非线性连接模块和残差连接的形成U-Net多模块残差神经网络，提高了分割的准确率、精确率同时减少网络编码器与解码器之间的语义差距而带来的信息丢失，进而获得更多血管的细节特征，最终实现对预处理和增强后的超广角图像的分割，残差路径如图2所示。
步骤S3包括：
S31：输入预处理和增强后的超广角图像，收集血管与视网膜背景的多个图像，提取图像函数运算符，导入二值化后黑白模型进行深度训练：步骤S31中二值化的方法为：
S311：将血管与视网膜背景的图像每个像素坐标设为(x，y)、中心领域为r*r，用g(x，y)表示像素点的灰度值；
S312：计算中心领域r*r范围内的灰度均值m(x,y)：
其中，x，y分别为像素坐标的横坐标和纵坐标，r为中心领域的半径，i和j分别为r*r图像范围内任意灰度值点的横坐标和纵坐标。
S313：计算中心领域r*r范围内的标准方差s(x,y)：
S314：利用标准方差s(x,y)计算像素点的阈值T(x,y)：
其中，K为修正系数，R为像素深度的一半。
S32：使用优化后的U-Net分割算法，分别将浅层特征与深层特征进行融合，使更深的U型网络充分利用浅层特征对血管进行学习分割；
S33：首块U-Net网络输入图像时采用1×1卷积操作，进行输出和特征提取，最大池化层池化后和下一个模块进行连接，最终形成下一个模块的输入，
S34：沿着两个残差路径Res Path分别使用包含四个3×3卷积的滤波器、1×1卷积的残差连接Res Path1以及两个3×3卷积的滤波器、1×1卷积的残差连接Res Path2，且为使编码器与解码器中的特征数量平衡，设置与编码器相同的滤波器，根据视网膜经过预处理后像素小的特点在每一个模块输入之前ReLU激活函数将非线性特征引入U-Net网络；ReLU激活函数f(x)为：
f(x)＝max(0,x)。
S35：将MbResU-Net损失函数引入U-Net网络，加快U-Net网络的融合，并经过若干次数的迭代后，U-Net网络的网络模型参数收敛到最佳值，达到最优的血管分割效果。MbResU-Net损失函数为：
其中，N为像素的数量，xk为输入像素k预测为前景像素的概率，yk为像素k的真实值，血管像素为1，非血管像素为0；为拉普拉斯平滑因子，用于避免数值问题并加速训练中的收敛速度，X'为指标函数：/>
通过优化后的U-Net算法能够较好的保留细微血管及血管叫交叉部分的分割保留，使边缘化信息处理也得到大大提升，能够较好地解决毛细血管特征表达不精细带来的血管分割缺失问题。经实验，改进后的U-Net算法图像分割消耗时间降低了5％左右，并提高了分割图像的准确率。
S4：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，对眼底病变特征进行分类并提取，使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。步骤S4包括：
S41：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，经过卷积层和池化层交替叠加，最后输入全连接层，全连接层将经过多个卷积层和池化层的图像特征进行整合，获取图像特征具有的高层含义，用于图像分类；
S42：使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。
使用CompactNet卷积网络特征分类模型对优化后的眼底病变分割图像进行眼底病变特征识别，进行分类并提取，CompactNet网络精简了卷积层的数量及全连接层的神经元数量，极大减少了网络的参数量。相对传统的CNN卷积网络模型有效避免由于毛细血管特征不明显导致过拟合，病变识别率较低特征提取较差等问题。
不同训练网络对不同种类眼底病变评价结果如下表1(本实施例训练10种病变种类，下列列出三种眼底病变分析结果)，最终得出CompactNet模型训练集的acc基本保持在0.795左右，测试集acc保持在0.788左右。损失值方面，训练集的loss迅速下降，测试集loss维持在0.8左右，最低可在0.6，acc与loss均小幅震荡则表明网络已经收敛(acc表示为测试集中被正确分类的图像个数num除以数据集中图像的数量sum)。效果显著优于FCN和LeNet+增强数据模型。可以发现，相比于糖尿病性视网膜病变、高血压性眼底病变，老年黄斑病变效果更好。
表1不同训练网络下对眼底病变种类的评价结果
本发明首先对眼底病变图像进行超广角技术处理，解决了传统眼底彩照因呈像有限不能提供眼底周围视网膜问题，再对图像进行膨胀和腐蚀，缓解视网膜图像图像对比度低的问题，优化的U-Net算法解决了网络编码器与解码器之间的语义差距而带来的信息丢失，同时获得了更多血管的细节特征，同时引入MbResU-Net损失函数，提升了模型分割的准确率和速度。通过CompactNet卷积网络特征分类模型对眼底病变识别正确率平均为90.89％，相较于传统的卷积模型得到提高，解决了对眼底病变识别不准确、耗时高等问题，此类模型可用于其他视觉识别的迁移学习，可为后续医疗领域图像识别提供参考和研究。
Claims (8)
1.一种基于深度神经网络的图像识别方法，其特征在于，包括以下步骤：
S1：建立不同程度眼底病变的超广角图像数据集，超广角图像数据集内包含若干不同眼底病变种类及眼底病变严重程度的病人眼底超广角图像；
S2：对超广角图像进行膨胀和腐蚀处理，使眼部的血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像，再对眼底病变图像进行归一化处理；完成对超广角图像数据集内的超广角图像预处理与增强：
S3：输入预处理和增强后的超广角图像，使用优化后的U-Net眼底血管图像分割算法对血管进行分割；
S4：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，对眼底病变特征进行分类并提取，使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。
2.根据权利要求1所述的基于深度神经网络的图像识别方法，其特征在于，所述步骤S1包括：
S11：根据Kaggle数据科学官网的眼底公共图像数据集、医院眼科或体检中心患者拍摄的眼底彩照收集不同程度眼底病变超广角图像，形成超广角图像数据集；
S12：基于眼底病变的种类及眼底病变的严重程度对超广角图像数据集内的超广角图像进行标记：
23种不同种类眼底病变标签图像30000张，根据视网膜色素变性、视网膜动血管阻塞程度及静脉阻塞程度的特征标记3种不同眼底病变严重程度图像10000张，并根据实际严重情况分为4个等级，从症状轻重对应0～3进行编号，疾病严重程度包括正常、轻度、中度和重度，分别对应级别编号0、1、2和3。
3.根据权利要求1所述的基于深度神经网络的图像识别方法，其特征在于，所述步骤S2包括：
S21：将病人眼底的超广角图像进行超广角技术处理，使眼底彩超的成像范围扩大到200°，覆盖眼底82％的视网膜；
S22：对超广角技术处理后的超广角图像与有效图像对比，找到噪点准确位置，避开含血管部分找到噪点准确范围对图像进行腐蚀处理，得到去噪后的超广角图像；
S23：去噪后的超广角图像与有效图像进行对比，找到视网膜血管和病灶的准确位置，对去噪后的超广角图像进行若干次膨胀处理，进而对血管和病灶进行保留和放大，得到强化血管和病灶的眼底病变图像；
S24：对强化血管和病灶的眼底病变图像进行归一化处理：
其中，F(X)为归一化处理后的输出图像，X为原始眼底病变图像，Xmin为超广角图像数据集内的图像最小值，Xmax为超广角图像数据集内的图像最大值；
S25：完成对超广角图像数据集内的超广角图像预处理与增强。
4.根据权利要求1所述的基于深度神经网络的图像识别方法，其特征在于，所述步骤S3包括：
S31：输入预处理和增强后的超广角图像，收集血管与视网膜背景的多个图像，提取图像函数运算符，导入二值化后黑白模型进行深度训练：
S32：使用优化后的U-Net分割算法，分别将浅层特征与深层特征进行融合，使更深的U型网络充分利用浅层特征对血管进行学习分割；
S33：首块U-Net网络输入图像时采用1×1卷积操作，进行输出和特征提取，最大池化层池化后和下一个模块进行连接，最终形成下一个模块的输入。
S34：沿着两个残差路径Res Path分别使用包含四个3×3卷积的滤波器、1×1卷积的残差连接Res Path1以及两个3×3卷积的滤波器、1×1卷积的残差连接Res Path2，且为使编码器与解码器中的特征数量平衡，设置与编码器相同的滤波器，根据视网膜经过预处理后像素小的特点在每一个模块输入之前ReLU激活函数将非线性特征引入U-Net网络；
S35：将MbResU-Net损失函数引入U-Net网络，加快U-Net网络的融合，并经过若干次数的迭代后，U-Net网络的网络模型参数收敛到最佳值，达到最优的血管分割效果。
5.根据权利要求4所述的基于深度神经网络的图像识别方法，其特征在于，所述步骤S31中二值化的方法为：
S311：将血管与视网膜背景的图像每个像素坐标设为(x，y)、中心领域为r*r，用g(x，y)表示像素点的灰度值；
S312：计算中心领域r*r范围内的灰度均值m(x,y)：
其中，x，y分别为像素坐标的横坐标和纵坐标，r为中心领域的半径，i和j分别为r*r图像范围内任意灰度值点的横坐标和纵坐标。
S313：计算中心领域r*r范围内的标准方差s(x,y)：
S314：利用标准方差s(x,y)计算像素点的阈值T(x,y)：
其中，K为修正系数，R为像素深度的一半。
6.根据权利要求4所述的基于深度神经网络的图像识别方法，其特征在于，所述ReLU激活函数f(x)为：
f(x)＝max(0,x)。
7.根据权利要求4所述的基于深度神经网络的图像识别方法，其特征在于，所述MbResU-Net损失函数为：
其中，N为像素的数量，xk为输入像素k预测为前景像素的概率，yk为像素k的真实值，血管像素为1，非血管像素为0；为拉普拉斯平滑因子，用于避免数值问题并加速训练中的收敛速度，X'为指标函数：/>
8.根据权利要求1所述的基于深度神经网络的图像识别方法，其特征在于，所述步骤S4包括：
S41：将经过血管分割处理后的超广角图像输入CompactNet卷积网络特征分类模型，经过卷积层和池化层交替叠加，最后输入全连接层，全连接层将经过多个卷积层和池化层的图像特征进行整合，获取图像特征具有的高层含义，用于图像分类；
S42：使用softmax分类器对提取到的特征图像进行分类，得到分类结果，输出眼底病变结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465529.XA CN116452571A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度神经网络的图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465529.XA CN116452571A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度神经网络的图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452571A true CN116452571A (zh) | 2023-07-18 |
Family
ID=87123662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310465529.XA Pending CN116452571A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度神经网络的图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452571A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058676A (zh) * | 2023-10-12 | 2023-11-14 | 首都医科大学附属北京同仁医院 | 一种基于眼底检查影像的血管分割方法、装置和系统 |
-
2023
- 2023-04-26 CN CN202310465529.XA patent/CN116452571A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058676A (zh) * | 2023-10-12 | 2023-11-14 | 首都医科大学附属北京同仁医院 | 一种基于眼底检查影像的血管分割方法、装置和系统 |
| CN117058676B (zh) * | 2023-10-12 | 2024-02-02 | 首都医科大学附属北京同仁医院 | 一种基于眼底检查影像的血管分割方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11666210B2 (en) | System for recognizing diabetic retinopathy | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| CN110276356A (zh) | 基于r-cnn的眼底图像微动脉瘤识别方法 | |
| CN112465772B (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
| Qureshi et al. | Detection of glaucoma based on cup-to-disc ratio using fundus images | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN107358612A (zh) | 一种基于分形维数与高斯滤波结合的视网膜血管分割系统及方法 | |
| Xie et al. | End-to-end fovea localisation in colour fundus images with a hierarchical deep regression network | |
| CN111563884A (zh) | 基于神经网络的眼底疾病识别方法、计算机设备及介质 | |
| CN116452571A (zh) | 一种基于深度神经网络的图像识别方法 | |
| CN112957005A (zh) | 眼底造影图像无灌注区自动识别及激光光凝区域推荐算法 | |
| Rodrigues et al. | Retinal vessel segmentation using parallel grayscale skeletonization algorithm and mathematical morphology | |
| Tang et al. | Retinal vessel segmentation from fundus images using DeepLabv3+ | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| CN114972365A (zh) | 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用 | |
| CN113192074B (zh) | 一种适用于octa图像的动静脉自动化分割方法 | |
| CN110459299B (zh) | 一种视网膜眼底彩色照片图像筛选方法 | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| CN116092667A (zh) | 基于多模态影像的疾病检测方法、系统、装置及存储介质 | |
| Fu et al. | A GAN-based deep enhancer for quality enhancement of retinal images photographed by a handheld fundus camera | |
| Li et al. | Wavelet transform and edge loss-based three-stage segmentation model for retinal vessel | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| Taş et al. | Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture. | |
| Li et al. | Retinal OCT image classification based on domain adaptation convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |