CN110992364A - 视网膜图像识别方法、装置、计算机设备和存储介质 - Google Patents

视网膜图像识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110992364A
CN110992364A CN201911419904.7A CN201911419904A CN110992364A CN 110992364 A CN110992364 A CN 110992364A CN 201911419904 A CN201911419904 A CN 201911419904A CN 110992364 A CN110992364 A CN 110992364A
Authority
CN
China
Prior art keywords
retina
retinal
features
image
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911419904.7A
Other languages
English (en)
Other versions
CN110992364B (zh
Inventor
卜俊凯
封志纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Aikelian Medical Equipment Co Ltd
Original Assignee
Chongqing Aikelian Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Aikelian Medical Equipment Co Ltd filed Critical Chongqing Aikelian Medical Equipment Co Ltd
Priority to CN201911419904.7A priority Critical patent/CN110992364B/zh
Publication of CN110992364A publication Critical patent/CN110992364A/zh
Application granted granted Critical
Publication of CN110992364B publication Critical patent/CN110992364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种视网膜图像识别方法、装置、计算机设备和计算机可读存储介质。方法包括:获取视网膜图像;通过神经网络模型解析视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;根据视网膜特征确定视网膜图像对应的视网膜类别。采用本方法能够针对视网膜病变时视网膜空白区域、血管数量或宽度等特征进行类别识别,提高视网膜类别识别的准确性。

Description

视网膜图像识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种视网膜图像识别方法、装置、计算机设备和计算机可读存储介质。
背景技术
视网膜病变(ROP)是目前引起高度近视、儿童致盲的主要因素。目前,视网膜病变的识别主要依赖于专业医疗器械和眼科医护人员。受限于医疗器械的缺失和眼科医护人员的不足,传统的视网膜识别方式往往无法精确识别视网膜病变的情况,存在视网膜病变识别准确性低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够视网膜类别识别的准确性的视网膜图像方法、装置、计算机设备和计算机可读存储介质。
一种视网膜图像识别方法,所述方法包括:
获取视网膜图像;
通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
在其中一个实施例中,所述通过神经网络模型解析所述视网膜图像的视网膜特征,包括:
通过神经网络模型对所述视网膜图像进行第一卷积处理,得到归一化特征;
将所述归一化特征进行第二卷积处理,得到注意力特征;
根据所述注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征;所述加权处理用于增强所述视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
在其中一个实施例中,所述将所述归一化特征进行第二卷积处理,得到注意力特征之后,还包括:
获取所述归一化特征的通道数量;
通过按照所述通道数量创建的卷积核对所述注意力特征进行第三卷积处理,得到与所述通道数量相同的注意力特征;
所述根据所述注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征,包括:
根据与所述通道数量相同的注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征。
在其中一个实施例中,所述根据所述视网膜特征确定所述视网膜图像对应的视网膜类别,包括:
将所述视网膜特征与各个类别对应的特征信息进行匹配,确定所述视网膜图像属于各个类别的可信度;
将可信度最高的类别作为所述视网膜图像对应的视网膜类别。
在其中一个实施例中,所述类别是用于表征早产儿视网膜病变等级的类别;所述视网膜的空白区域的面积、视网膜血管的数量、宽度与所述病变等级呈正相关。
在其中一个实施例中,所述神经网络模型的训练过程,包括:
获取预设视网膜图像及对应的预设类别;
对所述预设视网膜图像进行数据增强处理,得到多个样本视网膜图像;
将所述样本视网膜图像输入神经网络模型,获得所述神经网络模型输出的预测类别;
根据所述预设类别与所述预测类别之间的差异值对所述神经网络模型的参数进行调整,直至所述预设类别与所述预测类别之间的差异值低于差异阈值。
在其中一个实施例中,所述根据所述视网膜特征确定所述视网膜图像对应的视网膜类别之后,还包括:
获取所述视网膜图像对应的早产儿的吸氧期数;
结合所述早产儿视网膜类别及所述吸氧期数确定病变指示的指示强度;
根据所述指示强度输出所述病变指示。
一种视网膜图像识别装置,所述装置包括:
图像获取模块,用于获取视网膜图像;
特征解析模块,用于通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
类别确定模块,用于根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取视网膜图像;
通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取视网膜图像;
通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
上述视网膜图像识别方法、装置、计算机设备和计算机可读存储介质,可以通过神经网络解析获取的视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、长度、宽度中的至少一种,从而根据解析的网膜特征确定视网膜图像对应的视网膜类别,可以提高视网膜类别识别的准确性。
附图说明
图1为一个实施例中计算机设备的内部结构示意图;
图2为一个实施例中视网膜图像识别方法的流程图;
图3为一个实施例中解析视网膜图像的视网膜特征的流程图;
图4为一个实施例中神经网络模型训练的流程图;
图5为一个实施例获取的预设视网膜图像的分布示意图;
图6为一个实施例中视网膜图像识别装置的结构框图;
图7为另一个实施例中视网膜图像识别装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中计算机设备的内部结构示意图。如图1所示,在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器或终端,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视网膜图像识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视网膜图像识别方法。
图2为一个实施例中视网膜图像识别方法的流程图。在一个实施例中,如图2所示,提供了一种视网膜图像识别方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
步骤202,获取视网膜图像。
视网膜图像为对人体的眼部进行拍摄得到的图像。视网膜图像可以包括左眼视网膜图像和右眼视网膜图像。
在一些实施例中,计算机设备具备视网膜图像采集功能,计算机设备可以根据触发的视网膜拍摄指示采集视网膜图像,并对视网膜图像进行识别输出视网膜类别。
可选地,计算机设备也可以获取由连接的终端采集的视网膜图像,从而对接收的视网膜图像进行识别,以输出对应的视网膜类别。
步骤204,通过神经网络模型解析视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种。
神经网络模型用于解析视网膜图像的特征以确定视网膜类别的模型。神经网络模型可以是基于DenseNet(密集连接的卷积神经网络)、ResNet(Residual network,残差网络)、inception(一种网络结构)、或inception-resnet(inceptionca残差网络)等卷积神经网络算法实现。
视网膜特征是指基于视网膜包含的共有属性确定的,用于表征视网膜的特征。具体地,视网膜特征可以包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种,可选地,视网膜特征还可以包括黄斑区域、视网膜血管的长度、视网膜血管的颜色等,在此不做限定。其中,空白区域是指视网膜中没有血管分布的区域。视网膜血管的数量是指视网膜中分布的血管的数量。视网膜血管的宽度用于表示视网膜血管的粗细。
视网膜病变可以包括糖尿病视网膜病变、眼外伤视网膜病变、早产儿视网膜病变等。以早产儿视网膜病变为例,在早产儿视网膜病变过程中,视网膜中空白区域的大小、视网膜血管的数量、宽度会随着病变时间发生改变。本申请实施例中可以通过神经网络模型解析视网膜图像包含的视网膜的空白区域、视网膜血管的数量、宽度中的至少一种,以确定视网膜图像对应的视网膜类别。
步骤206,根据视网膜特征确定视网膜图像对应的视网膜类别。
视网膜类别为视网膜图像所属的视网膜病变程度的分类。视网膜病变程度不同,则视网膜的空白区域、视网膜血管的数量、宽度不同。具体地,神经网络模型可以基于训练时所采用的样本图像,确定划分的各个视网膜类别对应的视网膜特征,从而根据解析的视网膜图像对应的视网膜图像确定对应的视网膜类别。其中,根据不同的划分方式,划分的视网膜病变程度的类别数量可以有差异。
进一步地,计算机设备可以输出确定的视网膜类别。可选地,计算机设备可以基于视网膜类别的病变等级获取对应的指示强度,根据该指示强度输出视网膜图像对应的视网膜类别。例如,视网膜类别的病变等级越高,则对应的指示强度越大;如当病变等级为正常级别时,采用绿色字体进行标注,当病变等级为异常级别时,采用蓝色字体进行标注,当病变等级为严重异常级别时,采用红色字体进行标注等。其中,指示强度可以是字体颜色、字号大小、闪烁频次、或提醒音量等提示方式对应的强度。
本申请实施例中,通过获取视网膜图像,通过神经网络模型解析视网膜图像中视网膜的空白区域、视网膜血管的数量、宽度中的至少一种视网膜特征,根据视网膜特征确定视网膜图像对应的视网膜类别。即可以实现视网膜类别的自动识别,提高视网膜类别识别的效率,并且针对视网膜病变时视网膜空白区域、血管数量或宽度等特征进行类别识别,可以提高视网膜类别识别的准确性。
图3为一个实施例中解析视网膜图像的视网膜特征的流程图。如图3所示,在一个实施例中,提供的视网膜图像识别方法中通过神经网络模型解析视网膜图像的视网膜特征的过程,包括:
步骤302,通过神经网络模型对视网膜图像进行第一卷积处理,得到归一化特征。
卷积处理是指通过卷积核在图像上移动,将图像各区域像素与卷积核做相乘的操作,相当于对图像进行低通滤波。卷积处理用于提取图像的特征。
步骤304,将归一化特征进行第二卷积处理,得到注意力特征。
在该实施例中,提供的神经网络模型可以包含第一卷积层和第二卷积层;第一卷积层用于对视网膜图像进行第一卷积处理,第二卷积层用于对视网膜图像进行第二卷积处理。
其中,第一卷积层可以采用卷积神经网络中卷积层,例如,第一卷积层可以是ResNet网络、inception V2网络、或inception V3等网络提供的卷积层。第二卷积层用于增加对视网膜图像的视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征的关注强度。具体地,第二卷积层可以由多个1*1的卷积核构成。
归一化特征为视网膜图像通过神经模型的第一卷积层输出的特征。注意力特征为对归一化特征进行第二卷积处理得到的特征。具体地,计算机设备可以通过神经网络模型对视网膜图像进行第一卷积处理,得到视网膜图像的归一化特征,进而将归一化特征进行第二卷积处理,得到注意力特征。
步骤306,根据注意力特征对归一化特征进行加权处理,得到视网膜特征;加权处理用于增强视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
计算机设备得到的注意力特征和归一化特征通常采用矩阵的表示。加权处理用于增强视网膜的空白区域、视网膜血管的数量、宽度中的至少一中特征。具体地,早产婴儿的视网膜通常发育不够完整,成像的视网膜图像中视网膜的空白区域、血管显示等存在清晰度低的问题,在该实施例中,计算机设备可以通过第二卷积处理得到的注意力特征对归一化特征进行加权处理,以得到特征增强的视网膜特征。
计算机设备根据注意力特征对归一化特征进行加权处理,具体地,计算机设备可以将注意力特征对应的矩阵与规划化特征对应的矩阵进行相乘处理,以得到视网膜图像对应的视网膜特征。
在一个实施例中,提供的视网膜图像识别方法中,可以获取归一化特征的通道数量,通过按照该通道数量创建的卷积核对注意力特征进行第三卷积处理,得到与通道数量相同的注意力特征,根据该与通道数量相同的注意力特征对归一化特征进行加权处理,得到视网膜特征。
归一化特征的通道数量即为第一卷积层的输出的矩阵的通道数量。计算机设备可以按照归一化特征创建卷积核,根据创建的卷积核对注意力特征进行第三卷积处理,可以得到与通道数量相同的注意力特征,以将与通道数量相同的注意力特征对归一化特征进行加权处理,可以确保加权处理的两个特征的通道数相同。其中,在神经网络模型的训练过程中,计算机设备按照通道数量创建的卷积核的权重可以为1,可以提高训练初始化的便捷性。
在本实施例中,可以通过神经网络模型对视网膜图像进行第一卷积处理,得到归一化特征,将归一化特征进行第二卷积处理得到注意力特征,根据注意力特征对归一化特征进行加权处理,得到视网膜特征,视网膜特征包含了增强的视网膜的空白区域、视网膜血管的数量、宽度等特征,可以提高对视网膜病变时的特征的提取,提高视网膜类别识别的准确性。
在一个实施例中,提供的视网膜识别方法中根据视网膜特征确定视网膜图像对应的视网膜类别的过程,包括:将视网膜特征与各个类别对应的特征信息进行匹配,确定视网膜图像属于各个类别的可信度;将可信度最高的类别作为视网膜图像对应的视网膜类别。
在一个实施例中,类别是用于表征早产儿视网膜病变等级的类别。视网膜的空白区域的面积、视网膜血管的数量、宽度与病变等级呈正相关。也就是说,视网膜的空白区域的面积越大、视网膜血管的数量越大、宽度越大,则视网膜产生病变的程度也越大。以将早产儿视网膜类别划分为四个等级为例,从第一等级及第四等级,对应视网膜中有血管区域和无血管区域之间无明显的白色区域、视网膜血管的数量、血管的宽度依次增大。
具体地,神经网络模型可以基于训练时所采用的样本图像,确定划分的各个视网膜类别对应的视网膜特征的特征信息。特征信息包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种对应的具体参数值。其中,空白区域的参数值可以通过空白区域的宽度、或者面积进行表示。例如,类别A对应的特征信息可以包括空白区域的面积低于视网膜面积的5%,视网膜血管数量处于20至30之间;类别B对应的特征信息可以包括空白区域的面积位于视网膜面积的5%至10%,血管宽度大于20μm等,在此不做限定。
类别的可信度用于表征视网膜图像属于该类别的可信程度。视网膜特征与类别对应的特征信息的匹配度越高,则该类别对应的可信度越高,视网膜图像属于该类别的可能性也越高。
计算机设备通过神经网络模型可以将解析的视网膜特征与各个类别对应的特征信息进行匹配,根据视网膜特征与类别对应的特征信息确定视网膜特征属于该类别的可信度,以将可信度最高的类别作为视网膜图像的视网膜类别。可选地,在一个实施例中,计算机设备可以获得视网膜特征与各个类别对应的特征信息的匹配度,各个类别对应的匹配度进行归一化处理,得到类别对应的可信度,可以方便可信度的比对。
在本实施例中,可以将视网膜特征与各个类别对应的特征信息进行匹配,确定视网膜图像属于各个类别的可信度,将可信度最高的类别作为视网膜图像对应的视网膜类别,可以确定视网膜图像对应的视网膜类别,提高识别的准确性。
图4为一个实施例中神经网络模型训练的流程图。如图4所示,在一个实施例中,提供的视网膜图像识别方法中神经网络模型的训练过程,包括:
步骤402,获取预设视网膜图像及对应的预设类别。
预设视网膜图像是对眼部进行图像采集得到的。预设类别为预设视网膜图像对应的视网膜病变的类别。具体地,预设类别可以是医护人员对预设视网膜图像进行分析标注的。
其中,计算机设备需要获取各个类别分别对应的预设视网膜图像。
图5为一个实施例获取的预设视网膜图像的分布示意图。如图5所示,左图为预设视网膜图像在左右眼的分布,横坐标中表示视网膜图像为左眼或右眼,纵坐标为获取的预设视网膜图像的数量。右图为预设视网膜图像的类别分布,横坐标为预设视网膜图像对应的视网膜类别,纵坐标为各个类别对应的数量。
步骤404,对预设视网膜图像进行数据增强处理,得到多个样本视网膜图像。
数据增强是用于产生更多的数据的操作。通过预设视网膜图像进行数据增强处理得到的多个样本视网膜图像与预设视网膜图像属于同一预设类别。
计算机设备可以对预设视网膜图像进行数据增强处理,可以得到多个样本视网膜图像。具体地,计算机设备可以通过旋转、放大、水平翻转、剪切、平移、噪声、亮度等方式中的一种或多种对预设视网膜图像进行增强处理,以得到多个样本视网膜图像。
步骤406,将样本视网膜图像输入神经网络模型,获得神经网络模型输出的预测类别。
神经网络模型可以对输入的样本视网膜图像进行特征提取、特征分析和特征分类等操作,从而输出样本视网膜图像对对应的预测类别。预测类别为样本视网膜图像所属各个类别中置信度最大的类别。
在一个实施例中,计算机设备可以根据通过神经网络模型对样本视网膜图像进行第一卷积处理,得到对应的样本归一化特征,进而将样本归一化特征进行第二卷积处理,得到样本注意力特征,根据样本注意力特征对样本归一化特征进行加权处理,得到样本视网膜特征;进而根据样本视网膜特征确定样本视网膜图像对应的预测类别。
步骤408,根据预设类别与预测类别之间的差异值对神经网络模型的参数进行调整,直至预设类别与预测类别之间的差异值低于差异阈值。
预设类别与预测类别之间差异值可以通过预测类别对应的可信度、神经网膜模型确定视网膜图像属于预设类别的可信度中的至少一种来体现。具体地,可以将预设类别的可信度预设为1;将若预设类别与预测类别相同,则差异值可以是预设类别的可信度即1与预测类别对应的可信度的差值;若预设类别与预测类别不同,则差异值可以是预设类别的可信度即1与视网膜图像属于预设类别的可信度之间的差值,可选地,也可以是预设类别的可信度即1与预测类别对应的可信度相加之和。
计算机设备可以根据预设类别与预测类别之间的差异值对神经网模型的的参数进行调整,具体地,计算机设备可以根据预设类别与预测类别之间的差异值构建损失函数,通过损失函数采用反向传播算法调整神经网络模型的参数,对神经网络模型进行训练,直至预设类别与预测类别之间的差异值低于差异阈值。
在本申请实施例中,可以将预设视网膜图像数据增强得到多个样本视网膜图像,根据样本视网膜图像对神经网络模型进行训练,直至预设类别与预测类别之间的差异值低于差异阈值,可以得到能够准确识别视网膜类别的神经网络模型,其中,数据增强处理可以提高样本的数量和多样性。并且,神经网络模型可以增加注意力机制,即可以生成样本注意力特征对样本归一化特征进行加权处理,可以提高对视网膜图像的感兴趣区域的关注度,提高神经网络模型识别视网膜类别的准确性。
在一个实施例中,上述神经网络模型包括至少一个输入层、第一卷积层、第二卷积层、第三卷积层、池化层、全连接层和输出层。
其中,输入层用于获取输入的视网膜图像。
第一卷积层用于对视网膜图像进行第一卷积处理,得到归一化特征。可选地,第一卷积层可以采用inception V3提供的卷积层的权重。以第一卷积层输出的数据为(batch,14,14,2048)为例进行说明,其中,batch为每次运行的图片总量;可选地,可以对图片进行批标准化处理,可以减少梯度消失,使每一层期望都接近于0。
第二卷积层用于提高对视网膜特征的关注度,即对归一化特征进行第二卷积处理,得到注意力特征。可选地,第二卷积层可以采用4个1*1的卷积核,通道数分别为64,16,8,1;第一个卷积核至第三个卷积核采用relu(Rectified linear unit,修正线性单元)激活函数,第4个卷积核采用sigmoid(Sigmoid function,S型生长曲线)函数。第二卷积层可以降低维度、并且增加非线性变化使模型训练的准确性提高。其中,第一个卷积核可以加入dropout(随机丢弃),可以将参数量神经元按照一定概率减少,避免卷积核参数过多。
第三卷积层用于对注意力特征进行第三卷积处理,使得处理后的注意力特征的通道数与归一化特征相同。可选地,第三卷积层可以采用通道数为2048、尺寸为1*1的卷积核,在训练过程中,第三卷积层可以采用权重为1的卷积核,可以便于训练参数的初始化。
池化层用于对与通道数量相同的注意力特征对归一化特征进行加权处理,得到的视网膜特征进行全局池化处理;可选地,还可以对与通道数量相同的注意力特征进行全局池化处理,将全局池化处理的视网膜特征处于全局池化处理的注意力特征,再对得到特征进行dropout处理,得到池化处理后的视网膜特征。
全连接层用于对池化处理后的视网膜特征进行分类。以存在4种类别为例进说明,全连接层可以包括128个神经元的全连接、激活函数为relu函数;与4个神经元的全连接、激活函数为softmax。其中,128个神经元的全连接用于对池化处理后的视网膜特征进行降维处理,4个神经元的全连接分别对应各个类别,经过softmax函数可以输出视网膜特征对应于各个类别的可信度。
输出层用于输出视网膜图像对应的视网膜类别,具体地,可以根据全连接层输出的可信度中可信度最高的类别输出对应的病变类别。
在本实施例中,提供的神经网络模型相当于增加了注意力机制,可以提高对视网膜病变时的特征即视网膜的空白区域、视网膜血管的数量、宽度等特征的提取,可以提高视网膜类别识别的准确性。
在一个实施例中,提供的视网膜图像识别方法中根据视网膜特征确定视网膜图像对应的早产儿视网膜类别之后,还可以包括:获取视网膜图像对应的早产儿的吸氧期数;结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度;根据指示强度输出病变指示。
早产儿通常是指孕期低于36周的婴儿,由于早产儿未足月生产,通常需要吸氧维持生命体征,早产儿离开母体时视网膜未完全发展到视网膜边缘,过度的吸氧容易导致早产儿体内浓度过高,成功而导致视网膜血管收缩或坏死、促使视网膜产生细胞因子,诱导不正常心血管生成,导致玻璃体出血或视网膜脱落等并发症,是造成早产儿视网膜病变的原因之一。
吸氧期数用于表征早产儿吸氧的持续时长,可以是小时、天数、或周数等为单位进行表示。通常,吸氧期数越小,早产儿视网膜类别对应的病变等级越高,则说明早产儿体内氧气浓度对早产儿视网膜的影响越大,需要尽早为早产儿进行治疗。
计算机设备可以结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度,根据指示强度输出病变指示。可选地,在吸氧期数相同的情况下,早产儿视网膜类别对应的病变等级与指示强度呈正相关;在早产儿视网膜类别对应的病变等级相同的情况下,吸氧期数与指示强度可以呈负相关。其中,指示强度可以是字体颜色、字号大小、闪烁频次、或提醒音量等提示方式对应的强度。
在本实施例中,通过获取早产儿对应的吸氧期数,结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度,根据指示强度输出病变指示,可以提高病变提示的精准性。
在一个实施例中,提供的视网膜图像识别方法还可以包括:获取同一人体标识对应的左眼视网膜类别及右眼视网膜类别;当左眼视网膜类别与右眼视网膜类别的差异等级超过阈值时,则获取人体标识对应的视网膜图像,该视网膜图像包括左眼视网膜图像和右眼视网膜图像;并返回执行通过神经网络模型解析视网膜图像的视网膜特征的操作。通常,人体视网膜病变多数会双眼同时出现,若出现左右眼类别差异过大的情况,则说明可能存在识别不够准确的问题,计算机设备可以对该左眼视网膜图像和右眼视网膜图像进行重新识别,可以提高视网膜图像识别的准确性。可选地,计算机设备还可以输出该左眼视网膜图像和右眼视网膜图像的异常识别指示。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种视网膜识别装置,包括:图像获取模块602、特征解析模块604和类别确定模块606,其中:
图像获取模块602,用于获取视网膜图像。
特征解析模块604,用于通过神经网络模型解析视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种。
类别确定模块606,用于根据视网膜特征确定视网膜图像对应的视网膜类别。
本申请实施例中提供的视网膜识别装置,用于获取视网膜图像,通过神经网络模型解析视网膜图像中视网膜的空白区域、视网膜血管的数量、宽度中的至少一种视网膜特征,根据视网膜特征确定视网膜图像对应的视网膜类别。即可以实现视网膜类别的自动识别,提高视网膜类别识别的效率,并且针对视网膜病变时视网膜空白区域、血管数量或宽度等特征进行类别识别,可以提高视网膜类别识别的准确性。
在一个实施例中,特征解析模块604还可用于通过神经网络模型对视网膜图像进行第一卷积处理,得到归一化特征;将归一化特征进行第二卷积处理,得到注意力特征;根据注意力特征对归一化特征进行加权处理,得到视网膜特征;加权处理用于增强视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
在一个实施例中,特征解析模块604还可用于获取归一化特征的通道数量;通过按照通道数量创建的卷积核对注意力特征进行第三卷积处理,得到与通道数量相同的注意力特征;根据与通道数量相同的注意力特征对归一化特征进行加权处理,得到视网膜特征。
在一个实施例中,类别确定模块606还可以用于将视网膜特征与各个类别对应的特征信息进行匹配,确定视网膜图像属于各个类别的可信度;将可信度最高的类别作为视网膜图像对应的视网膜类别。
如图7所示,在一个实施例中,提供的视网膜识别装置还包括模型训练模块608,模型训练模块608用于获取预设视网膜图像及对应的预设类别;对预设视网膜图像进行数据增强处理,得到多个样本视网膜图像;将样本视网膜图像输入神经网络模型,获得神经网络模型输出的预测类别;根据预设类别与预测类别之间的差异值对神经网络模型的参数进行调整,直至预设类别与预测类别之间的差异值低于差异阈值。
在一个实施例中,提供的早产儿视网膜识别装置还包括指示输出模块610,指示输出模块610用于获取视网膜图像对应的早产儿的吸氧期数;结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度;根据指示强度输出病变指示。
关于视网膜图像识别装置的具体限定可以参见上文中对于视网膜图像识别方法的限定,在此不再赘述。上述视网膜图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本领域技术人员可以理解,图1中示出的计算机设备结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取视网膜图像;
通过神经网络模型解析视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据视网膜特征确定视网膜图像对应的视网膜类别。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过神经网络模型对视网膜图像进行第一卷积处理,得到归一化特征;将归一化特征进行第二卷积处理,得到注意力特征;根据注意力特征对归一化特征进行加权处理,得到视网膜特征;加权处理用于增强视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取归一化特征的通道数量;通过按照通道数量创建的卷积核对注意力特征进行第三卷积处理,得到与通道数量相同的注意力特征;根据与通道数量相同的注意力特征对归一化特征进行加权处理,得到视网膜特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将视网膜特征与各个类别对应的特征信息进行匹配,确定视网膜图像属于各个类别的可信度;将可信度最高的类别作为视网膜图像对应的视网膜类别。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取预设视网膜图像及对应的预设类别;对预设视网膜图像进行数据增强处理,得到多个样本视网膜图像;将样本视网膜图像输入神经网络模型,获得神经网络模型输出的预测类别;根据预设类别与预测类别之间的差异值对神经网络模型的参数进行调整,直至预设类别与预测类别之间的差异值低于差异阈值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取视网膜图像对应的早产儿的吸氧期数;结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度;根据指示强度输出病变指示。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取视网膜图像;
通过神经网络模型解析视网膜图像的视网膜特征,视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据视网膜特征确定视网膜图像对应的视网膜类别。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过神经网络模型对视网膜图像进行第一卷积处理,得到归一化特征;将归一化特征进行第二卷积处理,得到注意力特征;根据注意力特征对归一化特征进行加权处理,得到视网膜特征;加权处理用于增强视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取归一化特征的通道数量;通过按照通道数量创建的卷积核对注意力特征进行第三卷积处理,得到与通道数量相同的注意力特征;根据与通道数量相同的注意力特征对归一化特征进行加权处理,得到视网膜特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将视网膜特征与各个类别对应的特征信息进行匹配,确定视网膜图像属于各个类别的可信度;将可信度最高的类别作为视网膜图像对应的视网膜类别。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取预设视网膜图像及对应的预设类别;对预设视网膜图像进行数据增强处理,得到多个样本视网膜图像;将样本视网膜图像输入神经网络模型,获得神经网络模型输出的预测类别;根据预设类别与预测类别之间的差异值对神经网络模型的参数进行调整,直至预设类别与预测类别之间的差异值低于差异阈值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取视网膜图像对应的早产儿的吸氧期数;结合早产儿视网膜类别及吸氧期数确定病变指示的指示强度;根据指示强度输出病变指示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视网膜图像识别方法,所述方法包括:
获取视网膜图像;
通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
2.根据权利要求1所述的方法,其特征在于,所述通过神经网络模型解析所述视网膜图像的视网膜特征,包括:
通过神经网络模型对所述视网膜图像进行第一卷积处理,得到归一化特征;
将所述归一化特征进行第二卷积处理,得到注意力特征;
根据所述注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征;所述加权处理用于增强所述视网膜的空白区域、视网膜血管的数量、宽度中的至少一种特征。
3.根据权利要求2所述的方法,其特征在于,所述将所述归一化特征进行第二卷积处理,得到注意力特征之后,还包括:
获取所述归一化特征的通道数量;
通过按照所述通道数量创建的卷积核对所述注意力特征进行第三卷积处理,得到与所述通道数量相同的注意力特征;
所述根据所述注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征,包括:
根据与所述通道数量相同的注意力特征对所述归一化特征进行加权处理,得到所述视网膜特征。
4.根据权利要求1所述的方法,其特征在于,所述根据所述视网膜特征确定所述视网膜图像对应的视网膜类别,包括:
将所述视网膜特征与各个类别对应的特征信息进行匹配,确定所述视网膜图像属于各个类别的可信度;
将可信度最高的类别作为所述视网膜图像对应的视网膜类别。
5.根据权利要求4所述的方法,其特征在于,所述类别是用于表征早产儿视网膜病变等级的类别;所述视网膜的空白区域的面积、视网膜血管的数量、宽度与所述病变等级呈正相关。
6.根据权利要求1所述的方法,其特征在于,所述神经网络模型的训练过程,包括:
获取预设视网膜图像及对应的预设类别;
对所述预设视网膜图像进行数据增强处理,得到多个样本视网膜图像;
将所述样本视网膜图像输入神经网络模型,获得所述神经网络模型输出的预测类别;
根据所述预设类别与所述预测类别之间的差异值对所述神经网络模型的参数进行调整,直至所述预设类别与所述预测类别之间的差异值低于差异阈值。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述根据所述视网膜特征确定所述视网膜图像对应的视网膜类别之后,还包括:
获取所述视网膜图像对应的早产儿的吸氧期数;
结合所述早产儿视网膜类别及所述吸氧期数确定病变指示的指示强度;
根据所述指示强度输出所述病变指示。
8.一种视网膜图像识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取视网膜图像;
特征解析模块,用于通过神经网络模型解析所述视网膜图像的视网膜特征,所述视网膜特征包括视网膜的空白区域、视网膜血管的数量、宽度中的至少一种;
类别确定模块,用于根据所述视网膜特征确定所述视网膜图像对应的视网膜类别。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911419904.7A 2019-12-31 2019-12-31 视网膜图像识别方法、装置、计算机设备和存储介质 Active CN110992364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911419904.7A CN110992364B (zh) 2019-12-31 2019-12-31 视网膜图像识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911419904.7A CN110992364B (zh) 2019-12-31 2019-12-31 视网膜图像识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110992364A true CN110992364A (zh) 2020-04-10
CN110992364B CN110992364B (zh) 2023-11-28

Family

ID=70080172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911419904.7A Active CN110992364B (zh) 2019-12-31 2019-12-31 视网膜图像识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110992364B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269868A (zh) * 2021-04-30 2021-08-17 哈雷医用(广州)智能技术有限公司 一种人体肿瘤三维虚拟模型的建立方法和装置
CN116823760A (zh) * 2023-06-25 2023-09-29 深圳市眼科医院(深圳市眼病防治研究所) 早产儿视网膜病变治疗方式的自动识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031099A1 (en) * 2015-08-20 2017-02-23 Ohio University Devices and methods for classifying diabetic and macular degeneration
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技(深圳)有限公司 视网膜病变程度等级检测系统及方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
WO2018200840A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
WO2019077613A1 (en) * 2017-10-19 2019-04-25 Aeye Health Llc METHODOLOGY OF BLOOD VESSEL ANALYSIS FOR THE DETECTION OF RETINAL ANOMALIES
CN110211136A (zh) * 2019-06-05 2019-09-06 深圳大学 图像分割模型的构建方法、图像分割方法、装置及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031099A1 (en) * 2015-08-20 2017-02-23 Ohio University Devices and methods for classifying diabetic and macular degeneration
WO2018200840A1 (en) * 2017-04-27 2018-11-01 Retinopathy Answer Limited System and method for automated funduscopic image analysis
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技(深圳)有限公司 视网膜病变程度等级检测系统及方法
WO2019077613A1 (en) * 2017-10-19 2019-04-25 Aeye Health Llc METHODOLOGY OF BLOOD VESSEL ANALYSIS FOR THE DETECTION OF RETINAL ANOMALIES
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN110211136A (zh) * 2019-06-05 2019-09-06 深圳大学 图像分割模型的构建方法、图像分割方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269868A (zh) * 2021-04-30 2021-08-17 哈雷医用(广州)智能技术有限公司 一种人体肿瘤三维虚拟模型的建立方法和装置
CN116823760A (zh) * 2023-06-25 2023-09-29 深圳市眼科医院(深圳市眼病防治研究所) 早产儿视网膜病变治疗方式的自动识别方法及系统

Also Published As

Publication number Publication date
CN110992364B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
US11666210B2 (en) System for recognizing diabetic retinopathy
US20220076420A1 (en) Retinopathy recognition system
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN107945870B (zh) 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN112133441B (zh) 一种mh术后裂孔状态预测模型的建立方法和终端
Ardiyanto et al. Deep learning-based diabetic retinopathy assessment on embedded system
CN113642537B (zh) 一种医学图像识别方法、装置、计算机设备及存储介质
Raja et al. An automated early detection of glaucoma using support vector machine based visual geometry group 19 (VGG-19) convolutional neural network
CN111340087A (zh) 图像识别方法、装置、计算机可读存储介质和计算机设备
CN113889267A (zh) 基于眼象识别的糖尿病诊断模型的构建方法和电子设备
CN111028218A (zh) 眼底图像质量判定模型训练方法、装置和计算机设备
Qomariah et al. Segmentation of microaneurysms for early detection of diabetic retinopathy using MResUNet
CN110992364B (zh) 视网膜图像识别方法、装置、计算机设备和存储介质
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练系统
Manchalwar et al. Detection of cataract and conjunctivitis disease using histogram of oriented gradient
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
CN110334575B (zh) 眼底照片识别方法、装置、设备及存储介质
Al-ahmadi et al. Classification of Diabetic Retinopathy by Deep Learning.
CN112132782A (zh) 一种基于深度神经网络对dme分型进行处理的方法和终端
Taranum et al. Image Based Edge Weighted Linked Segmentation Model Using Deep Learning for Detection of Diabetic Retinopathy.
Sharma et al. Analysis of eye disease classification by fundus images using different machine/deep/transfer learning techniques
Nagaraj et al. Deep Learning Framework for Diabetic Retinopathy Diagnosis
Manjushree et al. Automated detection of diabetic retinopathy using deep learning in retinal fundus images: analysis
Foeady et al. Diabetic Retinopathy: Identification and Classification using Different Kernel on Support Vector Machine
Shilpa et al. An Ensemble Approach to Detect Diabetic Retinopathy using the Residual Contrast Limited Adaptable Histogram Equalization Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant