CN112185523B - 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 - Google Patents

基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 Download PDF

Info

Publication number
CN112185523B
CN112185523B CN202011060027.1A CN202011060027A CN112185523B CN 112185523 B CN112185523 B CN 112185523B CN 202011060027 A CN202011060027 A CN 202011060027A CN 112185523 B CN112185523 B CN 112185523B
Authority
CN
China
Prior art keywords
image
pixel
diabetic retinopathy
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011060027.1A
Other languages
English (en)
Other versions
CN112185523A (zh
Inventor
李杨
黎琪
彭成磊
都思丹
王杰
陈佟
周子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202011060027.1A priority Critical patent/CN112185523B/zh
Publication of CN112185523A publication Critical patent/CN112185523A/zh
Application granted granted Critical
Publication of CN112185523B publication Critical patent/CN112185523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，先将原始眼底图像进行归一化预处理，再以目标像素为中心，对预处理后的图像进行多尺度分割，得到不同尺度下的一系列形状、大小相同的图像序列。针对每个尺度，分别利用卷积神经网络模型对图像序列进行特征提取，得到不同尺度的特征并进行融合，针对融合后的特征来进行最后的分类，得到图像序列(即目标像素)的病变检测结果。将原始眼底图像上所有像素点的检测结果进行整合输出，即得到带有病变定位和分类的糖尿病视网膜病变检测结果图。本发明多尺度提取特征并融合，实现同时检测MAs和HEs两种病变的自适应尺度糖尿病视网膜病变，提高了糖尿病视网膜病变检测算法的性能。

Description

基于多尺度卷积神经网络的糖尿病视网膜病变分类方法
技术领域
本发明涉及计算机视觉中的医学图像处理，更具体的，涉及一种基于多尺度卷积神经网络的糖尿病视网膜病变分类方法。
背景技术
医学图像处理是近年来计算机视觉领域中最广泛的研究课题之一，糖尿病视网膜病变是致盲性慢性疾病之一，也是世界上可预防性失明的主要原因之一。该病治疗的关键在于早期诊断和干预治疗。基于彩色眼底图像的计算机辅助诊断技术可以显著提高早期糖尿病视网膜病变的筛查效率和有效性，因此基于该技术开发一种快速可靠的糖尿病视网膜病变病变智能检测方法是十分必要的。
糖尿病视网膜病变检测的关键是病变的定位与分类，目前该领域的研究主要集中于如何定位和分类最重要的两种早期红色病变：微血管瘤和视网膜出血。这两种病变的定位与分类具有几大挑战性和难点：第一，微血管瘤是一种红色点状病变，通常稀疏地分布在视网膜黄斑和后极区域，体积小且数量少，这给定位带来了难度；第二，视网膜出血是一种暗红色或褐色的、形状和大小不规则的病变，由于颜色和血管以及眼底区域接近，给识别增加了难度；第三，微血管瘤与点状视网膜出血外观相似，这给区分这两种病变增加了难度。此外，眼底图像亮度不均匀且对比度低、红色病变分布复杂(例如位于血管附近或血管交叉处)等因素也是眼底病变识别的难点。
人们对彩色眼底图像中微血管瘤和视网膜出血的定位和分类做了大量的工作。一般来说，这些方法可分为三类：形态学方法、基于统计的方法和有监督的机器学习方法。
早期研究多采用形态学方法，这种方法的处理速度快且易于实现，但容易忽视图像中细微的结构和病变，且人工识别病变可能产生主观判断错误。
基于统计的方法与形态学方法缺点相似，容易忽视隐藏的结构和病变，且统计模型包含很多参数，需要人工进行估计和调整。
第三类方法涉及机器学习。卷积神经网络是一种有监督的机器学习方法，它很大程度上克服了上述提到的糖尿病视网膜病变检测方法的缺点和局限性。根据识别结果的精度，可以将基于卷积神经网络的方法分为图像级糖尿病视网膜病变检测和病变级糖尿病视网膜病变检测。图像级糖尿病视网膜病变检测算法，是用于区分不同的眼底图像病变程度(如正常/轻度/中度/重度)，但无法给出具体的病变位置，因此实际应用场景比较有限。病变级糖尿病视网膜病变检测算法，则是针对可能存在病变的眼底图像，进一步定位出图像中病变的位置，且对病变类型进行判断。对于病变级糖尿病视网膜病变检测，其研究的重难点在于如何准确定位出病变的位置，再进一步对病变进行分类。
在糖尿病视网膜病变发展的过程中，可能有多种不同类型的病变同时出现，例如在病变早期，微血管瘤和点状视网膜出血常同时出现，且难以区分。因此有必要同时检测微血管瘤和视网膜出血这两种病变，并对它们进行定位和分类。现有的病变级糖尿病视网膜病变检测方法都有一个共同的缺点：只关注单一类型的病变。这是由于微血管瘤和视网膜出血在形状和大小上有巨大差异，而常用的检测方法是先将视网膜图像分割成一系列固定大小和形状的图像序列，再对图像序列依次进行病变检测，因此难以实现大小、形状不同的两类病变的同时精准检测。
发明内容
针对上述技术中的问题，本发明提供一种基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，该方法在单尺度卷积神经网络模型基础上，通过提取多个不同尺度的图像序列特征来获取补充信息，并将不同尺度下的特征向量进行融合来获得能更好地代表该图像的特征向量，从而实现不同类型的糖尿病视网膜病变的定位和分类。
为了实现上述发明目的，本发明采用的技术方案为：
基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，包括：
(1)选取一系列眼底图像作为数据集进行糖尿病视网膜病变分类模型的训练和测试，数据集包括多张训练集和测试集；眼底图像涵盖从轻度非增殖性糖尿病视网膜病变到增生性糖尿病视网膜病变的图像；
(2)对输入的眼底图像进行预处理，预处理包括目标区域提取和图像归一化；
(3)将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列，图像大小为H*H，H的单位为像素，通过改变H的值来实现多尺度分割；其中对于训练集中的眼底图像，将分割成的图像序列标记为MA/HE/NON标签以供模型训练；
(4)将步骤(3)得到的训练集的图像序列输入所述模型进行训练；
(5)将待分类的眼底图像通过所述步骤(2)和(3)后得到不同尺度的一系列图像序列，将不同尺度的图像序列分别输入训练好的所述模型中，得到不同尺度的特征向量；将不同尺度的特征向量进行特征融合，生成融合特征向量，用分类器对融合特征向量进行分类，并输出该图像序列中心像素点的病变分类结果；整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的微血管瘤和视网膜出血两种病变检测结果图。
进一步地，所述目标区域提取：提取的目标区域为覆盖视网膜70％以上的中心矩形区域，此区域内微血管瘤和视网膜出血这两种病变的分布最为密集；所述图像归一化，包括采用亮度均衡和对比度增强的方式。
进一步地，所述多尺度分割：将眼底图像中的每个像素作为目标像素，以该目标像素为中心进行步长为1像素的滑动窗口分割，窗口大小为H*H，H的单位为像素，于是预处理后的图像被分割成一系列尺度为H的正方形图像序列，通过改变H的值来实现多尺度分割。
进一步地，所述图像的中心像素的病变类型标记就代表该正方形图像的病变类型标记，病变类型标记包括MA、HE和NON，MA标记代表微血管瘤，HE标记代表视网膜出血，NON标记代表正常无病变；如果中心像素被标记为MA，则该图像被标记为MA；如果中心像素被标记为HE，则该图像被标记为HE；如果中心像素被标记为NON，则该图像被标记为NON。针对所述训练集中标记为NON的图像和标记为MA和HE的图像的数量不平衡的问题，解决方法包括：对标记为NON的图像增加其步长，和/或对标记为MA和HE的图像进行图像旋转和图像翻转。
进一步地，所述步骤(4)：将图像输入基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器来进行特征提取，将提取的特征向量进行特征融合，再将融合特征向量输入分类器，在分类器输出分类结果后，使用交叉熵损失函数计算分类结果与实际病变类型标记之间的损失值，再通过优化器对模型的参数进行调整，重复上述过程直到损失值小于规定的阈值，得到训练完毕的所述糖尿病视网膜病变分类模型；所述糖尿病视网膜病变分类模型包括特征融合层、分类层以及基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器。
进一步地，所述特征融合：采取空间特征融合方法，将多组相同维度的特征向量融合成一组特征向量，即通过空间特征融合，将多组VGG-16卷积神经网络模型的特征提取结果进行连接；针对多组相同维度的特征向量，采取加性融合函数进行融合，加性融合函数是对多个特征向量对应位置处的值加权求和，不同特征向量的权重之和为1；融合后特征向量的维度数不变；各个特征向量的权重通过所述分类模型训练得到，从而保证加性融合函数的权重是最优解。
本发明具有以下有益效果：一种基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，通过将单尺度特征提取扩展为多尺度特征提取并进行特征融合，实现同时分类微血管瘤和视网膜出血这两种尺度不同的病变的目的。该方法显著提高了糖尿病视网膜病变检测的性能，实现了两种病变的同时检测以及精准检测。
为了实现微血管瘤和视网膜出血这两种病变的同时检测，本发明提出了一种基于多尺度卷积神经网络的糖尿病视网膜病变检测方法，并输出像素级别精度的检测结果图来指示病变位置。具体的，该方法先将原始眼底图像进行归一化预处理，再以目标像素为中心，对预处理后的图像进行多尺度分割，得到不同尺度下的一系列形状、大小相同的图像序列。针对每个尺度，分别利用卷积神经网络模型对图像序列进行特征提取，得到不同尺度的特征并进行融合，针对融合后的特征来进行最后的分类，得到图像序列(即目标像素)的病变检测结果。将原始眼底图像上所有像素点的检测结果进行整合输出，即得到带有病变定位和分类的糖尿病视网膜病变检测结果图。
附图说明
图1为本发明实施例的糖尿病视网膜病变分类方法的模型训练流程图。
图2为本发明实施例的糖尿病视网膜病变分类方法的模型实际应用流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明。
实施例1：基于多尺度卷积神经网络的糖尿病视网膜病变分类方法包括以下步骤：
步骤一、卷积神经网络模型的训练离不开数量充足、质量上乘的训练和测试数据集的支持，因此本实施例建立了一个有像素精度糖尿病视网膜病变标记的高分辨率眼底图像数据集(NJU_DR)，来用于模型的训练和测试。该数据集包括100张彩色眼底图像，其中84张属于训练集，16张属于测试集。该数据集的眼底图像涵盖了从轻度非增生性糖尿病视网膜病变到增生性糖尿病视网膜病变的多种不同程度病变的视网膜图像，并且具备3800(±100)x 2900(±200)像素的超高分辨率。所有视网膜图像均由一台视野200度的Daytona眼底相机拍摄，该相机在目前市面上有的眼底相机中性能领先，具备极广的拍摄范围和超高分辨率。NJU_DR数据集是第一个代表中国人群的包含典型糖尿病视网膜病变并在病变水平上进行注释的数据集。
步骤二、数据集建立完毕后，本实施例对输入的眼底图像进行预处理，主要包括目标区域提取和图像归一化两个步骤。
(1)目标区域提取：提取的目标区域为覆盖视网膜70％以上的中心矩形区域，大小为1200*1300至1400*2000不等，此区域微血管瘤和视网膜出血这两种病变的分布最为密集；目标区域大小小于原始输入图像，因此用目标区域进行后续计算能极大节省计算资源和耗时。
(2)图像归一化：由于拍摄时间和条件不同，数据集中的眼底图像彼此之间的亮度和对比度差别很大；再者，低亮度和对比度的眼底图像给病变的检测增加了难度；因此，需要对数据集中的眼底图像进行亮度均衡与对比度增强处理；具体处理方法为：将原始图像与标准高斯核进行卷积计算，得到背景亮度值；将原始图像和背景亮度值相减，得到差值；将差值乘以对比度系数实现对比度增强；将对比度增强后的图像加上亮度系数，使得图像像素值保持在[0，255]范围内，实现亮度均衡。
步骤三、将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列(图像大小为H*H，H的单位：像素)，通过改变H的值来实现多尺度分割。对于处于图像边界处的像素点，则利用对称性将其进行分割，形成图像序列。
对预处理后的眼底图像进行多尺度分割。将眼底图像中的每个像素作为目标像素，以该目标像素为中心进行步长为1像素的滑动窗口分割(窗口大小为H*H，H的单位：像素)。于是预处理后的图像被分割成一系列尺度为H的正方形图像序列，通过改变H的值来实现多尺度分割。中心像素的病变类型标记就代表该正方形图像的病变类型标记，病变类型标记有三种：MA标记代表微血管瘤，HE标记代表视网膜出血，NON标记代表正常(无病变)。如果中心像素被标记为MA，则该图像被标记为MA；如果中心像素被标记为HE，则该图像被标记为HE；如果中心像素被标记为NON，则该图像被标记为NON。
在训练数据集中，我们发现标记为NON的图像数量远远多于标记为MA和HE的图像数量。合理的解释是：在大多数情况下，病变视网膜的正常面积远大于病变面积，尤其是处于早期病变阶段的视网膜图像。因此本实施例采用了两种方法来解决数据不平衡的问题。第一，考虑到正常区域内，以1像素为步长滑动分割时，相邻图像的差异几乎可以忽略不计，故本实施例对标记为NON的图像增加其步长至6像素，从而减少了具有高度相似性的NON标记图像。第二，本实施例通过图像处理中的空间变换方法(图像旋转和图像翻转)，对标记为MA和HE的图像进行数量扩充。经过上述两个步骤的处理后，本实施例获得标记为MA/HE/NON三类的图像各20万张，用以训练卷积神经网络模型。
步骤四、训练过程。将步骤三得到的图像序列输入卷积神经网络模型并进行模型训练，具体方法是：将图像输入基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器(该模型是现有模型，仅用于本实施例的特征提取)来进行特征提取，将提取的多个特征向量进行特征融合，再将融合特征向量输入Softmax分类器，在分类器输出分类结果后，使用交叉熵损失函数计算分类结果与实际病变标记之间的损失值，再通过Adam优化器对VGG-16模型的参数进行调整。重复上述过程直到损失值小于规定的阈值，得到训练完毕的卷积神经网络模型(如图1所示)，该训练完毕的本发明的模型包括特征融合层、分类器、基于ImageNet数据预训练的VGG-16深层CNN模型中的特征提取器，其中，特征融合层以及分类器的参数是用NJU_DR数据集训练的，基于ImageNet数据预训练的VGG-16深层CNN模型中的特征提取器是现有技术。
关于特征融合：采取空间特征融合方法，将多组相同维度的特征向量融合成一组特征向量，即通过空间特征融合，将多组VGG-16卷积神经网络模型的特征提取结果进行连接。针对多组相同维度的特征向量，采取加性融合函数进行融合，加性融合函数是对多个特征向量对应位置处的值加权求和，不同特征向量的权重之和为1，融合后特征向量的维度数不变；各个特征向量的权重通过后续融合特征向量分类的模型训练得到，从而保证加性融合函数的权重是最优解。
步骤五、测试过程。将一张待分类的眼底图像进行上述的预处理和图像分割后，得到不同尺度下的一系列图像序列。将不同尺度的图像序列分别输入训练好的卷积神经网络模型中进行不同尺度的特征提取。将不同尺度的特征向量进行融合生成融合特征向量，最后用Softmax分类器对融合图像特征进行分类，并输出每张图像的病变分类结果，即该图像中心像素点的病变分类结果。将原始眼底图像中所有像素点的分类结果进行整合输出，即得到该眼底图像病变的检测结果(即整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的像素级别的微血管瘤和视网膜出血两种病变检测结果图)。
具体流程如图2所示。
以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质对以上实施例所作的任何非本质修改或等同变化，均仍属于本发明权利要求书的保护范围内。

Claims (7)

1.基于多尺度卷积神经网络的糖尿病视网膜病变分类方法，其特征在于，包括：
(1)选取一系列眼底图像作为数据集进行糖尿病视网膜病变分类模型的训练和测试，数据集包括多张训练集和测试集；眼底图像涵盖从轻度非增殖性糖尿病视网膜病变到增生性糖尿病视网膜病变的图像；
(2)对输入的眼底图像进行预处理，预处理包括目标区域提取和图像归一化；
(3)将预处理后的眼底图像以1像素为滑动步长，分割成一系列以目标像素为中心的图像序列，图像大小为H*H，H的单位为像素，通过改变H的值来实现多尺度分割；其中对于训练集中的眼底图像，将分割成的图像序列标记为MA/HE/NON标签以供模型训练；
(4)将步骤(3)得到的训练集的图像序列输入所述模型进行训练；
(5)将待分类的眼底图像通过所述步骤(2)和(3)后得到不同尺度的一系列图像序列，将不同尺度的图像序列分别输入训练好的所述模型中，得到不同尺度的特征向量；将不同尺度的特征向量进行特征融合，生成融合特征向量，用分类器对融合特征向量进行分类，并输出该图像序列中心像素点的病变分类结果；整合输入的眼底图像中所有目标像素的分类结果后，得到该眼底图像的微血管瘤和视网膜出血两种病变检测结果图。
2.如权利要求1所述的方法，其特征在于，所述目标区域提取：提取的目标区域为覆盖视网膜70％以上的中心矩形区域，此区域内微血管瘤和视网膜出血这两种病变的分布最为密集；所述图像归一化，包括采用亮度均衡和对比度增强的方式。
3.如权利要求1所述的方法，其特征在于，所述多尺度分割：将眼底图像中的每个像素作为目标像素，以该目标像素为中心进行步长为1像素的滑动窗口分割，窗口大小为H*H，H的单位为像素，于是预处理后的图像被分割成一系列尺度为H的正方形图像序列，通过改变H的值来实现多尺度分割。
4.如权利要求3所述的方法，其特征在于，所述图像的中心像素的病变类型标记就代表该正方形图像的病变类型标记，病变类型标记包括MA、HE和NON，MA标记代表微血管瘤，HE标记代表视网膜出血，NON标记代表正常无病变；如果中心像素被标记为MA，则该图像被标记为MA；如果中心像素被标记为HE，则该图像被标记为HE；如果中心像素被标记为NON，则该图像被标记为NON。
5.如权利要求3所述的方法，其特征在于，针对所述训练集中标记为NON的图像和标记为MA和HE的图像的数量不平衡的问题，解决方法包括：对标记为NON的图像增加其步长，和/或对标记为MA和HE的图像进行图像旋转和图像翻转。
6.如权利要求1所述的方法，其特征在于，所述步骤(4)：将图像输入基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器来进行特征提取，将提取的特征向量进行特征融合，再将融合特征向量输入分类器，在分类器输出分类结果后，使用交叉熵损失函数计算分类结果与实际病变类型标记之间的损失值，再通过优化器对模型的参数进行调整，重复上述过程直到损失值小于规定的阈值，得到训练完毕的所述糖尿病视网膜病变分类模型；
所述糖尿病视网膜病变分类模型包括特征融合层、分类层以及基于ImageNet数据集预训练的VGG-16深层卷积神经网络模型的特征提取器。
7.如权利要求1或6所述的方法，其特征在于，所述特征融合：采取空间特征融合方法，将多组相同维度的特征向量融合成一组特征向量，即通过空间特征融合，将多组VGG-16卷积神经网络模型的特征提取结果进行连接；针对多组相同维度的特征向量，采取加性融合函数进行融合，加性融合函数是对多个特征向量对应位置处的值加权求和，不同特征向量的权重之和为1；融合后特征向量的维度数不变；各个特征向量的权重通过所述分类模型训练得到，从而保证加性融合函数的权重是最优解。
CN202011060027.1A 2020-09-30 2020-09-30 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法 Active CN112185523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060027.1A CN112185523B (zh) 2020-09-30 2020-09-30 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060027.1A CN112185523B (zh) 2020-09-30 2020-09-30 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法

Publications (2)

Publication Number Publication Date
CN112185523A CN112185523A (zh) 2021-01-05
CN112185523B true CN112185523B (zh) 2023-09-08

Family

ID=73946990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060027.1A Active CN112185523B (zh) 2020-09-30 2020-09-30 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法

Country Status (1)

Country Link
CN (1) CN112185523B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158863A (zh) * 2021-04-13 2021-07-23 同济大学 一种异常眼底照片识别方法
CN113962930B (zh) * 2021-09-07 2022-09-09 北京邮电大学 阿尔茨海默病风险评估模型建立方法和电子设备
CN114494196B (zh) * 2022-01-26 2023-11-17 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN114451860A (zh) * 2022-01-27 2022-05-10 广东康软科技股份有限公司 一种基于深度学习的眼底病变诊断方法、系统及设备
CN114821205B (zh) * 2022-06-30 2022-09-13 澄影科技(北京)有限公司 一种基于多维特征的图像处理方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108935188A (zh) * 2018-07-05 2018-12-07 平安科技（深圳）有限公司 猪只疾病识别方法、装置及电子设备
CN109770903A (zh) * 2018-12-29 2019-05-21 中国科学院自动化研究所 功能磁共振影像的分类预测方法、系统、装置
CN110390351A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于深度学习的致痫灶三维自动定位系统
CN111583179A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于浮动切割的肺结节深度学习分类方法
CN111724361A (zh) * 2020-06-12 2020-09-29 深圳技术大学 实时显示病灶的方法及装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108615051A (zh) * 2018-04-13 2018-10-02 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN108935188A (zh) * 2018-07-05 2018-12-07 平安科技（深圳）有限公司 猪只疾病识别方法、装置及电子设备
CN109770903A (zh) * 2018-12-29 2019-05-21 中国科学院自动化研究所 功能磁共振影像的分类预测方法、系统、装置
CN110390351A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于深度学习的致痫灶三维自动定位系统
CN111583179A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于浮动切割的肺结节深度学习分类方法
CN111724361A (zh) * 2020-06-12 2020-09-29 深圳技术大学 实时显示病灶的方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112185523A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112185523B (zh) 基于多尺度卷积神经网络的糖尿病视网膜病变分类方法
Sudha et al. A Convolutional Neural Network Classifier VGG-19 Architecture for Lesion Detection and Grading in Diabetic Retinopathy Based on Deep Learning.
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
WO2022001571A1 (zh) 一种基于超像素图像相似度的计算方法
Zong et al. U-net based method for automatic hard exudates segmentation in fundus images using inception module and residual connection
Xia et al. A multi-scale segmentation-to-classification network for tiny microaneurysm detection in fundus images
Renugambal et al. Application of image processing techniques in plant disease recognition
CN109961848B (zh) 黄斑图像分类方法和设备
Wang et al. Combined use of FCN and Harris corner detection for counting wheat ears in field conditions
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN110689526B (zh) 基于视网膜眼底图像的视网膜血管分割方法及系统
Bhatkalkar et al. Automated fundus image quality assessment and segmentation of optic disc using convolutional neural networks
van Grinsven et al. A bag of words approach for discriminating between retinal images containing exudates or drusen
Chen et al. Spherical-patches extraction for deep-learning-based critical points detection in 3D neuron microscopy images
Wong et al. THALIA-An automatic hierarchical analysis system to detect drusen lesion images for amd assessment
Karkuzhali et al. Robust intensity variation and inverse surface adaptive thresholding techniques for detection of optic disc and exudates in retinal fundus images
CN116630971A (zh) 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN111028230A (zh) 一种基于yolo-v3的眼底图像视盘及黄斑定位检测算法
Furtado et al. Segmentation of Diabetic Retinopathy Lesions by Deep Learning: Achievements and Limitations.
Mahapatra Retinal image quality classification using neurobiological models of the human visual system
Devasia et al. Automatic Optic Disc Localization and Segmentation using Swarm Intelligence.
Zhou et al. A novel approach for red lesions detection using superpixel multi-feature classification in color fundus images
Zabihi et al. Retinal vessel segmentation using color image morphology and local binary patterns
Zou et al. Supervised vessels classification based on feature selection
Ali et al. Optic Disc Localization in Retinal Fundus Images Based on You Only Look Once Network (YOLO).

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant