CN115018756A - 一种眼底视网膜动静脉的分类方法、装置和存储介质 - Google Patents

一种眼底视网膜动静脉的分类方法、装置和存储介质 Download PDF

Info

Publication number
CN115018756A
CN115018756A CN202210223486.XA CN202210223486A CN115018756A CN 115018756 A CN115018756 A CN 115018756A CN 202210223486 A CN202210223486 A CN 202210223486A CN 115018756 A CN115018756 A CN 115018756A
Authority
CN
China
Prior art keywords
network
vein
deep
scale
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210223486.XA
Other languages
English (en)
Inventor
王加俊
胡丹峰
沈丹
邹玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210223486.XA priority Critical patent/CN115018756A/zh
Publication of CN115018756A publication Critical patent/CN115018756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种眼底视网膜动静脉的分类方法，包括获取彩色的眼底视网膜图像；将眼底视网膜图像分别输入到多尺度深监督全卷积网络和深监督高分辨率网络中，分别得到信息融合所需的处理结果；将两种处理结果按照特征级融合或决策级融合的策略，并利用对应的信息融合技术进行融合，实现同时对视网膜动静脉的整体结构和细小血管进行分割和分类。本发明以彩色眼底视网膜图像为研究对象，利用深度学习技术，结合视网膜图像特点，通过多尺度深监督全卷积神经网络，或改进条件生成对抗网络，或多尺度深监督全卷积网络和深监督高分辨率网络融合算法，对彩色眼底视网膜图像进行动静脉分类，不仅提高了分类的准确性及效率较高，而大大降低了劳动强度。

Description

一种眼底视网膜动静脉的分类方法、装置和存储介质
技术领域
本发明属于眼底视网膜动静脉分类技术领域，具体涉及一种眼底视网膜动静脉的分类方法、装置和存储介质。
背景技术
眼睛，是人类个体与外界交互信息非常重要的感知器官之一。但是由于年龄和用眼习惯等因素，诱发了多种眼科疾病如老年黄斑变性、白内障、青光眼等，同时眼部健康形态还与糖尿病、动脉粥样硬化、高血压等心血管类型的疾病有一定程度的联系。眼底视网膜血管是人体唯一可以无创和直接观察到的较深层微血管，在生理解剖结构特征上与身体其他部位的血管网络结构具有一定的相关性，多年来一直受到眼科领域科研人员的高度重视。人体的健康好坏都可以通过血管反映出来。因此，眼底图像检查是某些颅脑、心血管、血液、内分泌等全身病时的重要手段，其检查对某些全身病的诊断、预见有一定的参考价值。
视网膜图像在采集过程中，图像内部和图像之间存在颜色、对比度和亮度等非均匀的变化，使得建立完善的血管分类系统存在挑战。在血管从视盘中央向边缘辐射的过程中，血管管径变小，颜色亮度变弱，在远离视盘的边缘区域动静脉的管径亮度等特征对比差异性非常低，从而影响分类结果。
目前已有文献中，眼底视网膜动静脉分类方法大致可分为三类:基于特征的分类方法、基于图论的分类方法和基于深度学习的分类方法。基于特征和基于图的动静脉分类方法都是基于传统机器学习的方法，这些需要专业眼科医生手动提取复杂的特征，整个过程非常耗时而且容易出现主观错误。动静脉的分类性能依赖于血管分割的结果，所以大规模临床应用受到限制。在过去的几年里，深度学习凭借其强大的特征提取能力，已经成功应用于眼底图像分析系统，如渗出液分割、动静脉分割等。深度学习在眼底图像动静脉分类方面的研究相对较少，由于视网膜图像血管结构特征的高度复杂性，动静脉血管的分类往往准确率较低，病理信息分割失误率较高，特别是容易丢失对比度较低的毛细血管。视网膜动静脉管系统的自动分类方法目前还存在一定的研究空白。
发明内容
为了弥补现有技术的空白，本发明提供了一种眼底视网膜动静脉的分类方法，该分类方法不需要人工提取复杂的特征，可提高分类的准确性，可降低劳动强度，且效率较高。
为解决上述技术问题，实现上述技术效果，本发明通过以下技术方案实现：
一种眼底视网膜动静脉的分类方法，包括：
获取彩色的眼底视网膜图像；
将眼底视网膜图像分别输入到多尺度深监督全卷积网络(MDRDU-Net)和深监督高分辨率网络(DHRNet)中，分别得到信息融合所需的处理结果；
将所述多尺度深监督全卷积网络和所述深监督高分辨率网络得到的两种处理结果按照特征级融合或决策级融合的策略，并利用对应的信息融合技术进行融合，从而实现同时对视网膜动静脉的整体结构和细小血管进行分割和分类。
进一步的，基于特征级融合策略的分类方法包括：
将所述多尺度深监督全卷积网络和所述深监督高分辨率网络结合到一起构建出多尺度特征融合网络(FFNet)；
所述多尺度深监督全卷积网络和所述深监督高分辨率网络分别从不同的侧面学习不同分辨率的特征并进行多尺度融合，其中，
所述多尺度深监督全卷积网络是从由高到低分辨率网络产生的低分辨率表示中恢复高分辨率表示，并通过残差路径连接中间分辨率表示；所述深监督高分辨率网络在整个过程中保持高分辨率表示，逐步增加高低分辨率交换子网和多分辨率子网并行连接；
所述多尺度特征融合网络融合了这两种神经网络各自学习到的不同分辨率的特征表示，形成互补信息，因此将两者融合，从而提高整个融合网络的泛化能力和算法性能；
所述多尺度特征融合网络结合所述多尺度深监督全卷积网络和所述深监督高分辨率网络的部分框架结构，将所述多尺度深监督全卷积网络提取出的侧重于边缘信息的特征图和所述深监督高分辨率网络提取出的侧重于全局信息的特征图串行融合得到融合特征，再经过一个1×1卷积层得到最终视网膜动静脉分类结果；
同时，将所述多尺度深监督全卷积网络和所述深监督高分辨率网络的输出特征经过额外的1×1卷积层得到两个所述多尺度深监督全卷积网络和所述深监督高分辨率网络的视网膜动静脉分类结果，计算其损失函数，再与所述融合特征输出的损失一起约束学习过程，优化的参数反向传播给整个所述多尺度特征融合网络。
进一步的，基于决策级融合策略的分类方法包括：
首先，对于所述多尺度深监督全卷积网络和所述深监督高分辨率网络，分别使用彩色眼底图像数据集训练两个网络模型参数，使得两个神经网络在统计意义上得到最优；
然后，根据测试图像中不同像素点的具体分类情况自适应地为两个神经网络赋予权值，通过自适应权值加权将两个神经网络的决策概率输出融合得到最终视网膜动静脉分类结果，以此获得优于单个所述多尺度深监督全卷积网络或所述深监督高分辨率网络的决策性能。
进一步的，所述多尺度深监督全卷积网络的构建方法为：
将基础网络U-Net的部分原始卷积层替换为可形变卷积层(DeformableConvolution，Defconv)，通过自适应学习局部密集的感受野，对不同形状和不同管径的视网膜血管进行建模；
使用残差路径(Residual path，Respath)连接替代原基础网络U-Net中简单的跳跃连接，由一系列带有残差连接的卷积层组成，以消除编码器解码器之间的语义鸿沟；
加入多尺度融合深监督模块(Deep supervision fusion，Dsfusion)约束每一层的特征表达，同时将解码器不同层次的特征级联拼接构成最终的特征图，以此融合不同尺度下的特征信息；
所述多尺度深监督全卷积网络的主体网络共包含10个卷积层，其中四个为可形变卷积层，每个卷积层包括两个3×3卷积、批归一化(Batch Normalization，BN)和一个ReLU，在编码器和解码器之间使用不同数量的残差模块连接特征，并且在解码器每一层添加额外的上采样层和1×1卷积层。
进一步的，利用所述多尺度深监督全卷积网络的眼底视网膜动静脉分类方法的整体过程为：
在训练阶段，首先对彩色眼底图像数据集的训练集进行预处理和规模扩充，得到训练样本，之后送入多尺度深监督全卷积网络训练，调整网络参数，并由验证集选取最佳模型，所述多尺度深监督全卷积网络使用多类交叉熵损失函数；
在测试阶段，首先对彩色眼底图像数据集的测试集进行同样操作的预处理和规模扩充，得到测试样本，之后送入训练好的所述最佳模型，得到最终的眼底视网膜动静脉分类结果。
进一步的，对彩色眼底图像数据集的训练集和测试集进行预处理及规模扩充的具体操作为：
通过包括灰度化、限制对比度自适应直方图均衡化、归一化和伽马校正在内操作进行预处理，再通过随机裁剪的方式扩增数据集。
进一步的，将所述多尺度深监督全卷积网络改进为改进条件生成对抗网络的方法为：
使用所述多尺度深监督全卷积网络作为生成网络；
在生成网络中加入二值血管分割标签，作为判别器的条件约束项，使得生成网络在学习动静脉的区别的同时提取更多关于血管本身的特征信息；
在生成网络的损失函数中增加多类交叉熵损失函数和Dice损失函数，以解决样本类别不平衡的问题。
进一步的，利用所述改进条件生成对抗网络的眼底视网膜动静脉分类方法的整体过程为：
在训练阶段，对采集到的视网膜图像进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后作为第一种约束条件项输入条件生成对抗网络的生成器网络中，根据视网膜金标准训练生成初步的视网膜动静脉分类结果，之后将血管标签作为第二种条件约束项分别与动静脉金标准和生成器输出的视网膜动静脉分类结果拼接为数据对送入判别器，通过局部判别器网络来估计输入数据是否为真实样本，生成器与判别器交替迭代训练，保存训练好的生成器模型；
在测试阶段，对测试数据进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后加载训练后已保存的条件生成对抗网络中的生成器模型，进行前向推理，得到眼底视网膜动静脉的第二分类结果，将所有数据标注为三个类别，分别为动脉、静脉和背景，将动静脉分类任务转化为多类语义分割问题，而无需先对视网膜血管进行分割再对动静脉血管分类。
最后在DRIVE数据集上的相关对比实验，验证了本发明提出的几种模型算法完成眼底视网膜动静脉分类任务的高效性，能够为基于眼底图像的疾病诊断提供技术支持。
本发明还公开了一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一项可执行指令，所述可执行指令使所述处理器执行上述任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
本发明还公开了一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行上述任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
相比于现有技术，本发明的有益效果为：
本发明以彩色眼底视网膜图像为研究对象，利用深度学习技术，结合视网膜图像特点，通过多尺度深监督全卷积神经网络，或改进条件生成对抗网络，或多尺度深监督全卷积网络和深监督高分辨率网络融合算法，对彩色眼底视网膜图像进行动静脉分类，不仅提高了分类的准确性及效率较高，而且无需人工提取特征，大大降低了劳动强度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明采用的DRIVE数据集的部分图像展示图；
图2为本发明的基于MDRDU-Net的眼底视网膜动静脉分类方法流程图；
图3为本发明的MDRDU-Net整体结构图；
图4为本发明的基于改进条件生成对抗网络的眼底视网膜动静脉分类方法流程图；
图5为本发明的基于FFNet的眼底视网膜动静脉分类方法流程图；
图6为本发明的基于决策级融合的眼底视网膜动静脉分类方法流程图。
图7为本发明方法与流行网络的眼底视网膜动静脉分类结果对比图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。此处所作说明用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
本发明采用公开数据库DRIVE及第三方标注的动静脉金标准进行实验；DRIVE数据集是2004年Niemeijer团队根据400位25到90岁的糖尿病患者的眼底病变数据建立的彩色眼底图像库。数据库图像是使用佳能CR5非散瞳3CCD相机，以45度视场角拍摄而得，每幅图像的像素为565×584；DRIVE数据集总共包含40张彩色眼底图像，由33张正常图像和7张病变图像构成，被划分为20张训练集和20张测试集，并提供了专家分割的二值标签和对应的掩膜mask。
参见图1所示，图1a表示DRIVE数据集所含的彩色眼底图像，图1b表示DRIVE数据集所含的动静脉金标准，图1c表示DRIVE数据集所含的血管分割金标准，图1d表示DRIVE数据集所含的掩膜mask。
由于DRIVE数据集中糖尿病视网膜病变图像的颜色亮度对比度很低，血管与背景颜色非常相近，对图像的动静脉血管分类带来很大困难，因此首先必须要对所有的训练样本进行预处理，并且扩充数据集规模，使得动静脉血管与背景颜色亮度等特征差异变大，如此才能训练出一个学习能力和泛化能力强的算法网络，最终得到相对准确的视网膜动静脉血管分类结果。
针对视网膜中的细小动静脉血管分割问题，本发明首先提出一种多尺度深监督全卷积网络(MDRDU-Net)，通过在U-Net中引入可形变卷积块自适应血管的形状和大小，通过残差连接更好地融合浅层细节特征和深层全局特征，通过融合深监督模块将不同分辨率的分类结果计算损失函数，使得网络更准确地学习特征表示。
MDRDU-Net采用U-Net作为网络的基本结构，在U-Net网络中，编码器和解码器之间跳跃连接融合了不同层次的特征，实现端到端的像素级分类；但是，将其应用到视网膜动静脉的分类任务中，还存在一定的缺陷，这是由于U-Net层数太浅导致特征信息提取的方式过于简单，无法适应视网膜图像中复杂多变的血管几何变化和颜色变化，另外U-Net通过跳跃连接直接将高级特征和低级特征拼接融合，而忽略了之间存在的语义差异。
因此为了更好地对视网膜中的细小动静脉血管进行分割和分类，本发明将基础网络U-Net进行相应改动，将基础网络U-Net的部分原始卷积层替换为可形变卷积层(Deformable Convolution，Defconv)，通过自适应学习局部密集的感受野，对不同形状和不同管径的视网膜血管进行建模；使用残差路径(Residual path，Respath)连接替代原基础网络U-Net中简单的跳跃连接，由一系列带有残差连接的卷积层组成，以消除编码器解码器之间的语义鸿沟；加入多尺度融合深监督模块(Deep supervision fusion，Dsfusion)约束每一层的特征表达，同时将解码器不同层次的特征级联拼接构成最终的特征图，以此融合不同尺度下的特征信息。
MDRDU-Net的整体结构如图3所示，其主体网络共包含10个卷积层，其中四个为可形变卷积层，每个卷积层包括两个3×3卷积、批归一化(Batch Normalization，BN)和一个ReLU，在编码器和解码器之间使用不同数量的残差模块连接特征，并且在解码器每一层添加额外的上采样层和1×1卷积层。参见图2所示，其具体算法流程如下：
在训练阶段，首先对彩色眼底图像数据集的训练集进行通过包括灰度化、限制对比度自适应直方图均衡化、归一化和伽马校正在内操作进行预处理，再通过随机裁剪的方式扩增数据集，得到训练样本，之后送入MDRDU-Net训练，调整网络参数，并由验证集选取最佳模型，MDRDU-Net使用多类交叉熵损失函数；
在测试阶段，首先对彩色眼底图像数据集的测试集进行通过包括灰度化、限制对比度自适应直方图均衡化、归一化和伽马校正在内操作进行预处理，再通过随机裁剪的方式扩增数据集，得到测试样本，之后送入训练好的所述最佳模型，得到最终的眼底视网膜动静脉分类结果。
针对视网膜中动静脉对比度低难以区分的问题，本发明其次提出一种基于MDRDU-Net的改进条件生成对抗网络，通过生成器与判别器之间独特的博弈训练方式，优化动静脉的差异特征学习过程；使用二值血管标签图像作为判别器的约束条件，使判别器学习到更多的血管特征。
在视网膜图像中，尤其是在汇集了所有微血管的视盘区域，动脉和静脉的特征极为相似，MDRDU-Net不能很好地将动静脉区分开来；因此，为了适应视网膜复杂多变的血管结构，实现彩色眼底图像中动静脉血管分类任务，本发明还可以对MDRDU-Net进行了改进，构建改进条件生成对抗网络。
该种改进条件生成对抗网络使用MDRDU-Net作为生成网络；在生成网络中加入二值血管分割标签，作为判别器的条件约束项，使得生成网络在学习动静脉的区别的同时提取更多关于血管本身的特征信息；在生成网络的损失函数中增加多类交叉熵损失函数和Dice损失函数，以解决样本类别不平衡的问题。
本发明的该种实施例创新性地在网络中加入二值血管分割标签，使得网络在学习动静脉的区别的同时提取更多关于血管本身的特征信息。参见图4所示，其具体的算法流程如下：
在训练阶段，对采集到的视网膜图像进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后作为第一种约束条件项输入条件生成对抗网络的生成器网络中，根据视网膜金标准训练生成初步的视网膜动静脉分类结果，之后将血管标签作为第二种条件约束项分别与动静脉金标准和生成器输出的视网膜动静脉分类结果拼接为数据对送入判别器，通过局部判别器网络来估计输入数据是否为真实样本，生成器与判别器交替迭代训练，保存训练好的生成器模型；
在测试阶段，对测试数据进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后加载训练后已保存的条件生成对抗网络中的生成器模型，进行前向推理，得到眼底视网膜动静脉的第二分类结果，将所有数据标注为三个类别，分别为动脉、静脉和背景，将动静脉分类任务转化为多类语义分割问题，而无需先对视网膜血管进行分割再对动静脉血管分类。
在利用MDRDU-Net对视网膜图像中对比度较低的区域和边缘细小血管进行分割时，尽管效果已经得到一定程度的改善，但还是存在误分类和消失的血管；因此本专利试图利用信息融合技术，将两个神经网络按照特征级融合和决策级融合两种策略对彩色眼底图像中的动静脉血管进行分割与分类。
为了同时对视网膜动静脉的整体结构和细小血管进行分割和分类，本发明分别在特征级和决策级上最终提出了两种信息融合方法，将多尺度深监督全卷积网络(MDRDU-Net)和深监督高分辨率网络(DHRNet)融合并应用于视网膜动静脉分类中；通过在高分辨率网络中加入深监督模块约束网络中间层更好地学习特征表达；通过特征融合网络和自适应权值决策融合将两个网络的优势结合。
一种眼底视网膜动静脉的分类方法，包括：
获取彩色的眼底视网膜图像；
将眼底视网膜图像分别输入到MDRDU-Net和DHRNet中，分别得到信息融合所需的处理结果；
将MDRDU-Net和DHRNet得到的两种处理结果按照特征级融合或决策级融合的策略，并利用对应的信息融合技术进行融合，从而实现同时对视网膜动静脉的整体结构和细小血管进行分割和分类。
参见图5所示，基于特征级融合策略的分类方法包括：
将MDRDU-Net和DHRNet结合到一起构建出多尺度特征融合网络(FFNet)；
MDRDU-Net和DHRNet分别从不同的侧面学习不同分辨率的特征并进行多尺度融合，其中，
MDRDU-Net是从由高到低分辨率网络产生的低分辨率表示中恢复高分辨率表示，并通过残差路径连接中间分辨率表示；DHRNet在整个过程中保持高分辨率表示，逐步增加高低分辨率交换子网和多分辨率子网并行连接；这一点DHRNet与MDRDU-Net存在本质区别；
FFNet融合了这两种神经网络各自学习到的不同分辨率的特征表示，形成互补信息，因此将两者融合，从而提高整个融合网络的泛化能力和算法性能；
FFNet结合MDRDU-Net和DHRNet的部分框架结构，将MDRDU-Net提取出的侧重于边缘信息的特征图和DHRNet提取出的侧重于全局信息的特征图串行融合得到融合特征，再经过一个1×1卷积层得到最终视网膜动静脉分类结果；
同时，将MDRDU-Net和DHRNet的输出特征经过额外的1×1卷积层得到两个MDRDU-Net和DHRNet的视网膜动静脉分类结果，计算其损失函数，再与所述融合特征输出的损失一起约束学习过程，优化的参数反向传播给整个FFNet。
分类器融合比较常用的方式有特征级融合和决策级融合，以上针对两个神经网络在不同分辨率下进行特征提取时的学习方式不同，将MDRDU-Net和DHRNet的网络框架组合成一个新的网络从而训练参数，融合之后的网络学习到视网膜的细节特征和全局特征更加全面，但同时也导致网络更加复杂，对计算机处理数据的能力需求变高，因此本专利还尝试了两个神经网络决策级的融合方式，将神经网络学习到的各特征关于视网膜图像上三种像素类别的概率，按照加权平均的策略融合以达到更精确的视网膜像素分类结果，决策级融合的方法实现起来更加容易，也不会增加计算开销。
参见图6所示，基于决策级融合策略的分类方法包括：
首先，对于MDRDU-Net和DHRNet，分别使用彩色眼底图像数据集训练两个网络模型参数，使得两个神经网络在统计意义上得到最优；
然后，根据测试图像中不同像素点的具体分类情况自适应地为两个神经网络赋予权值，通过自适应权值加权将两个神经网络的决策概率输出融合得到最终视网膜动静脉分类结果，以此获得优于单个MDRDU-Net或DHRNet的决策性能。
传统的加权决策级融合方法只是根据每个神经网络的最终分类效果赋予各网络一个固定权重，忽略了图像上每个像素点的具体分类情况，本专利采用权值自适应调整的融合算法，能够视网膜图像上的像素点逐个自适应地调整权值并融合以取得最优的分类结果。
为了进一步证明本发明提出的几种模型算法对视网膜动静脉血管分类的高效性，在DRIVE数据集上，将本发明提出的几种方法与较为流行的医学图像分割网络作对比，包括U-Net，Attention U-Net，DenseUNet，R2U-Net等。
参见图7所示，图7a为动静脉金标准的分类结果图，图7b为U-Net的分类结果图，图7c为R2U-Net的分类结果图，图7d为Attention U-Net的分类结果图，图7e为DenseUNet的分类结果图，图7f为MDRDunet的分类结果图，图7g为Improved cGAN的分类结果图，图7h为DHRNet的分类结果图，图7i为FFNet的分类结果图，图7j为决策级融合网络的分类结果图。
参见表1所示，表1给出了不同网络对于视网膜动静脉分类任务的各个指标值，从中可以看出，本发明提出的多种分类方法在视网膜动静脉的细小血管分类任务上均取得了较好的效果，分类性能均优于现有较为流行的网络。其中，基于权值自适应融合的决策级融合的动静脉分类方法性能最好，达到96.15％的准确率，使得视网膜视盘附近区域的血管分类结果有更清晰的图像纹理细节表现，从而验证了本发明提出的几种模型算法完成眼底视网膜动静脉分类任务的高效性，能够为基于眼底图像的疾病诊断提供技术支持。
表1 各种方法实验结果对比(均值±标准差)
方法 网络 Acc(％) Prec(％) Rec(％) F1(％)
1 U-Net 94.83±0.60 79.03±6.81 72.45±4.18 75.59
2 R2U-Net 92.03±0.80 58.57±4.46 55.34±4.21 56.91
3 Attention U-Net 95.68±0.63 79.32±6.90 72.89±4.47 75.97
4 Denseunet 95.78±0.59 79.91±7.06 73.00±4.53 76.30
5 MDRDunet 95.86±0.58 81.45±6.69 73.65±4.93 77.35
6 Improved cGAN 95.99±0.60 82.05±6.46 74.21±4.57 77.93
7 DHRNet 95.81±0.57 79.93±6.34 73.44±3.96 76.55
8 FFNet 96.03±0.51 82.26±6.97 76.59±4.43 79.32
9 决策级融合 96.15±0.47 83.05±7.05 76.90±5.01 79.86
本发明还公开了一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一项可执行指令，所述可执行指令使所述处理器执行上述任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
本发明还公开了一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行上述任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种眼底视网膜动静脉的分类方法，其特征在于，包括：
1)获取彩色的眼底视网膜图像；
2)将眼底视网膜图像分别输入到多尺度深监督全卷积网络和深监督高分辨率网络中，分别得到信息融合所需的处理结果；
3)将所述多尺度深监督全卷积网络和所述深监督高分辨率网络得到的两种处理结果按照特征级融合或决策级融合的策略，并利用对应的信息融合技术进行融合，从而实现同时对视网膜动静脉的整体结构和细小血管进行分割和分类。
2.根据权利要求1所述的眼底视网膜动静脉的分类方法，其特征在于，基于特征级融合策略的分类方法包括：
将所述多尺度深监督全卷积网络和所述深监督高分辨率网络结合到一起构建出多尺度特征融合网络；
所述多尺度深监督全卷积网络和所述深监督高分辨率网络分别从不同的侧面学习不同分辨率的特征并进行多尺度融合，其中，
所述多尺度深监督全卷积网络是从由高到低分辨率网络产生的低分辨率表示中恢复高分辨率表示，并通过残差路径连接中间分辨率表示；所述深监督高分辨率网络在整个过程中保持高分辨率表示，逐步增加高低分辨率交换子网和多分辨率子网并行连接；
所述多尺度特征融合网络融合了这两种神经网络各自学习到的不同分辨率的特征表示，形成互补信息，因此将两者融合，从而提高整个融合网络的泛化能力和算法性能；
所述多尺度特征融合网络结合所述多尺度深监督全卷积网络和所述深监督高分辨率网络的部分框架结构，将所述多尺度深监督全卷积网络提取出的侧重于边缘信息的特征图和所述深监督高分辨率网络提取出的侧重于全局信息的特征图串行融合得到融合特征，再经过一个1×1卷积层得到最终视网膜动静脉分类结果；
同时，将所述多尺度深监督全卷积网络和所述深监督高分辨率网络的输出特征经过额外的1×1卷积层得到两个所述多尺度深监督全卷积网络和所述深监督高分辨率网络的视网膜动静脉分类结果，计算其损失函数，再与所述融合特征输出的损失一起约束学习过程，优化的参数反向传播给整个所述多尺度特征融合网络。
3.根据权利要求1所述的眼底视网膜动静脉的分类方法，其特征在于，基于决策级融合策略的分类方法包括：
首先，对于所述多尺度深监督全卷积网络和所述深监督高分辨率网络，分别使用彩色眼底图像数据集训练两个网络模型参数，使得两个神经网络在统计意义上得到最优；
然后，根据测试图像中不同像素点的具体分类情况自适应地为两个神经网络赋予权值，通过自适应权值加权将两个神经网络的决策概率输出融合得到最终视网膜动静脉分类结果，以此获得优于单个所述多尺度深监督全卷积网络或所述深监督高分辨率网络的决策性能。
4.根据权利要求1所述的眼底视网膜动静脉的分类方法，其特征在于，所述多尺度深监督全卷积网络的构建方法为：
将基础网络U-Net的部分原始卷积层替换为可形变卷积层，通过自适应学习局部密集的感受野，对不同形状和不同管径的视网膜血管进行建模；
使用残差路径连接替代原基础网络U-Net中简单的跳跃连接，由一系列带有残差连接的卷积层组成，以消除编码器解码器之间的语义鸿沟；
加入多尺度融合深监督模块约束每一层的特征表达，同时将解码器不同层次的特征级联拼接构成最终的特征图，以此融合不同尺度下的特征信息；
所述多尺度深监督全卷积网络的主体网络共包含10个卷积层，其中四个为可形变卷积层，每个卷积层包括两个3×3卷积、批归一化和一个ReLU，在编码器和解码器之间使用不同数量的残差模块连接特征，并且在解码器每一层添加额外的上采样层和1×1卷积层。
5.根据权利要4所述的眼底视网膜动静脉的分类方法，其特征在于，利用所述多尺度深监督全卷积网络的眼底视网膜动静脉分类方法的整体过程为：
在训练阶段，首先对彩色眼底图像数据集的训练集进行预处理和规模扩充，得到训练样本，之后送入多尺度深监督全卷积网络训练，调整网络参数，并由验证集选取最佳模型，所述多尺度深监督全卷积网络使用多类交叉熵损失函数；
在测试阶段，首先对彩色眼底图像数据集的测试集进行同样操作的预处理和规模扩充，得到测试样本，之后送入训练好的所述最佳模型，得到最终的眼底视网膜动静脉分类结果。
6.根据权利要求5所述的眼底视网膜动静脉的分类方法，其特征在于，对彩色眼底图像数据集的训练集和测试集进行预处理及规模扩充的具体操作为：
通过包括灰度化、限制对比度自适应直方图均衡化、归一化和伽马校正在内操作进行预处理，再通过随机裁剪的方式扩增数据集。
7.根据权利要求1所述的眼底视网膜动静脉的分类方法，其特征在于，将所述多尺度深监督全卷积网络改进为改进条件生成对抗网络的方法为：
使用所述多尺度深监督全卷积网络作为生成网络；
在生成网络中加入二值血管分割标签，作为判别器的条件约束项，使得生成网络在学习动静脉的区别的同时提取更多关于血管本身的特征信息；
在生成网络的损失函数中增加多类交叉熵损失函数和Dice损失函数，以解决样本类别不平衡的问题。
8.根据权利要求7所述的眼底视网膜动静脉的分类方法，其特征在于，利用所述改进条件生成对抗网络的眼底视网膜动静脉分类方法的整体过程为：
在训练阶段，对采集到的视网膜图像进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后作为第一种约束条件项输入条件生成对抗网络的生成器网络中，根据视网膜金标准训练生成初步的视网膜动静脉分类结果，之后将血管标签作为第二种条件约束项分别与动静脉金标准和生成器输出的视网膜动静脉分类结果拼接为数据对送入判别器，通过局部判别器网络来估计输入数据是否为真实样本，生成器与判别器交替迭代训练，保存训练好的生成器模型；
在测试阶段，对测试数据进行包括灰度化处理、限制对比度自适应直方图均衡化、伽马校正和数据扩增在内的预处理，之后加载训练后已保存的条件生成对抗网络中的生成器模型，进行前向推理，得到眼底视网膜动静脉的第二分类结果，将所有数据标注为三个类别，分别为动脉、静脉和背景，将动静脉分类任务转化为多类语义分割问题，而无需先对视网膜血管进行分割再对动静脉血管分类。
9.一种计算机装置，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1至8中任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求1至8中任意一项所述的眼底视网膜动静脉的分类方法对应的操作。
CN202210223486.XA 2022-03-09 2022-03-09 一种眼底视网膜动静脉的分类方法、装置和存储介质 Pending CN115018756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210223486.XA CN115018756A (zh) 2022-03-09 2022-03-09 一种眼底视网膜动静脉的分类方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210223486.XA CN115018756A (zh) 2022-03-09 2022-03-09 一种眼底视网膜动静脉的分类方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN115018756A true CN115018756A (zh) 2022-09-06

Family

ID=83066701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210223486.XA Pending CN115018756A (zh) 2022-03-09 2022-03-09 一种眼底视网膜动静脉的分类方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN115018756A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437249A (zh) * 2023-12-21 2024-01-23 深圳大学 眼底血管图像的分割方法、终端设备及存储介质
CN117542105A (zh) * 2024-01-09 2024-02-09 江西师范大学 一种课堂教学下低分辨率图像的人脸超分与表情识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437249A (zh) * 2023-12-21 2024-01-23 深圳大学 眼底血管图像的分割方法、终端设备及存储介质
CN117437249B (zh) * 2023-12-21 2024-03-22 深圳大学 眼底血管图像的分割方法、终端设备及存储介质
CN117542105A (zh) * 2024-01-09 2024-02-09 江西师范大学 一种课堂教学下低分辨率图像的人脸超分与表情识别方法

Similar Documents

Publication Publication Date Title
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
Imran et al. Comparative analysis of vessel segmentation techniques in retinal images
Li et al. Applications of deep learning in fundus images: A review
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
CN108771530B (zh) 基于深度神经网络的眼底病变筛查系统
Das et al. A critical review on diagnosis of diabetic retinopathy using machine learning and deep learning
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN110837803B (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN111046835A (zh) 一种基于区域特征集合神经网络的眼底照多病种检测系统
CN115018756A (zh) 一种眼底视网膜动静脉的分类方法、装置和存储介质
ElTanboly et al. An integrated framework for automatic clinical assessment of diabetic retinopathy grade using spectral domain OCT images
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
Zhang et al. A human-in-the-loop deep learning paradigm for synergic visual evaluation in children
CN113763292A (zh) 一种基于深度卷积神经网络的眼底视网膜图像分割方法
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
Ştefan et al. A review of glaucoma detection from digital fundus images using machine learning techniques
Lei et al. LAC-GAN: Lesion attention conditional GAN for ultra-widefield image synthesis
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN111784687A (zh) 一种基于深度学习的青光眼眼底图像检测方法
Khan et al. Screening fundus images to extract multiple ocular features: A unified modeling approach
Saranya et al. Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model
Fu et al. Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation
Zijian et al. AFFD-Net: A Dual-Decoder Network Based on Attention-Enhancing and Feature Fusion for Retinal Vessel Segmentation
Nageswari et al. Automatic Detection and Classification of Diabetic Retinopathy using Modified UNET
CN110969117A (zh) 一种基于Attention机制的全卷积神经网络的眼底图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination