CN110084811A - 眼底照片识别方法、装置、设备及存储介质 - Google Patents

眼底照片识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110084811A
CN110084811A CN201910378689.4A CN201910378689A CN110084811A CN 110084811 A CN110084811 A CN 110084811A CN 201910378689 A CN201910378689 A CN 201910378689A CN 110084811 A CN110084811 A CN 110084811A
Authority
CN
China
Prior art keywords
target
fundus photograph
pond
fundus
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910378689.4A
Other languages
English (en)
Inventor
吴怜颐
刘一鸣
施烨琳
戴超
沈雅欣
盛斌
李华婷
贾伟平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910378689.4A priority Critical patent/CN110084811A/zh
Publication of CN110084811A publication Critical patent/CN110084811A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种眼底照片识别方法、装置、设备及存储介质，属于计算机技术领域。所述方法包括：获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域；将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率；该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。本申请实施例提供的技术方案可以解决神经网络输出的概率信息的准确率较低的问题。

Description

眼底照片识别方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种眼底照片识别方法、装置、设备及存储介质。
背景技术
眼底照片指的是眼球后部区域的照片，其是眼部疾病以及心脑血管疾病等的重要诊断依据。在实际应用中，计算机设备可以利用患者的眼底照片对患者进行疾病诊断。在利用眼底照片进行疾病诊断的过程中，计算机设备可以将眼底照片输入至神经网络中，以利用神经网络从眼底照片中识别出眼球后部不同组织的图像，而后，计算机设备可以根据眼球后部不同组织的图像进行疾病诊断。
相关技术中，从眼底照片中识别眼球后部不同组织图像的神经网络至少可以包括特征提取层、特征放大层和分类层，其中，特征提取层用于对眼底照片进行特征提取，得到眼底照片的特征图，特征放大层用于对眼底照片的特征图进行放大，得到放大后的特征图，分类层用于对该放大后的特征图进行分类操作，从而输出概率信息。
通常情况下，特征提取层在对眼底照片进行特征提取时，除了可以得到眼底照片的特征图之外，还可以得到眼底照片的其他特征信息，然而，相关技术中，特征放大层会忽略掉这些特征信息，而仅根据眼底照片的特征图本身对其进行放大，这导致特征放大层输出的放大后的特征图所包含的眼底图像的特征较少，继而导致神经网络输出的概率信息的准确率较低。
发明内容
基于此，有必要针对神经网络输出的概率信息的准确率较低的问题，提供一种眼底照片识别方法、装置、设备及存储介质。
第一方面，提供了一种眼底照片识别方法，该方法包括：
获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域；
将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率；
该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。
在其中一个实施例中，该特征提取层包括第一卷积子层和池化子层，该第一卷积子层用于对输入该第一卷积子层的特征图进行卷积操作，得到中间特征图，该池化子层用于对该中间特征图进行最大池化操作，并输出该池化值索引以及由多个池化值组成的特征图，该池化值索引用于指示该多个池化值在该中间特征图中的位置；
该特征放大层包括上池化子层和第二卷积子层，该上池化子层用于获取该池化子层输出的池化值索引和特征图，并用于根据该池化值索引对该池化子层输出的特征图进行上池化操作，得到放大中间特征图，该第二卷积子层用于对该放大中间特征图进行卷积操作，输出放大后的特征图。
在其中一个实施例中，在将该目标眼底照片输入至目标神经网络之前，该方法还包括：
获取目标训练集，该目标训练集包括多个训练眼底照片，每个该训练眼底照片与至少一个标签相对应，每个该标签用于指示该训练眼底照片中不同眼球后部组织所在的图像区域的位置；
利用该目标训练集和目标损失函数对该目标神经网络进行训练；
该目标损失函数为：
其中，L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
在其中一个实施例中，在将该目标眼底照片输入至目标神经网络之前，该方法还包括：
获取初始训练集，该初始训练集包括多个初始训练眼底照片；
对该初始训练眼底照片进行增强操作，得到增强训练眼底照片；
获取目标训练集，该目标训练集包括多个训练眼底照片，该多个训练眼底照片包括该初始训练眼底照片和该增强训练眼底照片；
利用该目标训练集对该目标神经网络进行训练。
在其中一个实施例中，该增强操作包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
在其中一个实施例中，该目标神经网络中该特征提取层和该特征放大层的层数均为4。
在其中一个实施例中，该目标眼球后部组织为视盘组织或者视杯组织。
第二方面，提供了一种眼底照片识别装置，该装置包括：
第一获取模块，用于获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域；
第二获取模块，用于将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率；
该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。
第三方面，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，其特征在于，该计算机程序被该处理器执行时实现如上述第一方面任一所述的眼底照片识别方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述第一方面任一所述的眼底照片识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取目标眼底照片，其中，该目标眼底照片包括目标眼球后部组织所在的图像区域，将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，其中，该目标神经网络的特征放大层用于获取目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据池化值索引对特征图进行放大处理，该池化值索引用于指示经过池化操作得到的池化值的位置信息，这样，目标神经网络中的特征提取层在对眼底照片进行特征提取时，除了可以得到眼底照片的特征图之外，还可以得到池化值索引这一眼底照片的其他特征信息，特征放大层可以根据池化值索引对眼底照片的特征图进行放大，这使得特征放大层输出的放大后的特征图所包含的眼底图像的特征较多，因此可以提高神经网络输出的概率信息的准确率。
附图说明
图1是本申请实施例提供的一种眼底照片识别方法所涉及到的实施环境的示意图；
图2是本申请实施例提供的一种眼底照片识别方法的流程图；
图3是本申请实施例提供的一种目标神经网络的示意图；
图4是本申请实施例提供的另一种眼底照片识别方法的流程图；
图5是本申请实施例提供的另一种眼底照片识别方法的流程图；
图6是本申请实施例提供的一种目标神经网络识别结果的示意图；
图7是本申请实施例提供的一种眼底照片识别装置的框图；
图8是本申请实施例提供的另一种眼底照片识别装置的框图；
图9是本申请实施例提供的一种服务器的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
眼底指的是眼球后部的组织，包括视网膜、视乳头以及视神经等。眼底照片，顾名思义，就是对眼底进行拍摄得到的照片，在实际应用中，眼底照片也可以被称为眼底图像或眼底相片等。在临床诊疗中，眼底照片是许多疾病的重要诊断依据，例如，青光眼等眼部疾病通常就需要根据患者的眼底照片进行诊断，其中，青光眼是一种以视乳头萎缩及凹陷、视野缺损及视力下降为共同特征的疾病，其因病理性高眼压引起，症状是瞳孔放大，角膜水肿、呈灰绿色，伴有剧烈头痛和呕吐，可造成示例减退甚至完全丧失。
由于医生的数量相较于患者的数量而言少得多，而且，医生的疾病诊断能力参差不齐，因此，由医生对眼底照片进行肉眼观察并根据观察结果进行疾病诊断的方式，一方面无法保证疾病诊断的效率，另一方面无法保证疾病诊断的准确率。为了提高疾病诊断的效率和准确率，可以由计算机设备利用神经网络对眼底照片进行识别，以确定眼底照片对应的患者是否罹患有某些疾病。具体地，计算机设备可以将眼底照片输入至神经网络中，以利用神经网络从眼底照片中识别出眼球后部不同组织的图像，而后，计算机设备可以根据眼球后部不同组织的图像确定眼底照片对应的患者是否罹患有某些疾病。
相关技术中，从眼底照片中识别眼球后部不同组织图像的神经网络至少可以包括特征提取层、特征放大层和分类层，其中，特征提取层用于对眼底照片进行特征提取，得到眼底照片的特征图，特征放大层用于对眼底照片的特征图进行放大，得到放大后的特征图，分类层用于对该放大后的特征图进行分类操作，从而输出概率信息。
通常情况下，特征提取层在对眼底照片进行特征提取时，除了可以得到眼底照片的特征图之外，还可以得到眼底照片的其他特征信息，然而，相关技术中，特征放大层通常使用反卷积层对眼底照片的特征图进行放大处理，而反卷积层会忽略掉上文所述的其他特征信息，而仅根据眼底照片的特征图本身对其进行放大，这导致特征放大层输出的放大后的特征图所包含的眼底图像的特征较少，继而导致神经网络输出的概率信息的准确率较低。
本申请实施例提供了一种眼底照片识别方法，可以提高神经网络输出的概率信息的准确率。
在本申请实施例提供的眼底照片识别方法中，可以获取目标眼底照片，其中，该目标眼底照片包括目标眼球后部组织所在的图像区域，并将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，其中，该目标神经网络的特征放大层用于获取目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据池化值索引对特征图进行放大处理，该池化值索引用于指示经过池化操作得到的池化值的位置信息，这样，目标神经网络中的特征提取层在对眼底照片进行特征提取时，除了可以得到眼底照片的特征图之外，还可以得到池化值索引这一眼底照片的其他特征信息，特征放大层可以根据池化值索引对眼底照片的特征图进行放大，这使得特征放大层输出的放大后的特征图所包含的眼底图像的特征较多，因此可以提高神经网络输出的概率信息的准确率。
下面，将对本申请实施例提供的眼底照片识别方法所涉及到的实施环境进行简要说明。
图1为本申请实施例提供的眼底照片识别方法所涉及到的实施环境的示意图，如图1所示，该实施环境可以包括服务器101和终端102，服务器101和终端102之间可以通过有线网络或无线网络进行通信。
其中，终端102可以为台式电脑、平板电脑、智能手机等，服务器101可以为一台服务器，也可以为由多台服务器组成的服务器集群。
如图1所示，终端102可以将眼底照片发送至服务器101，服务器101中可以存储有目标神经网络，其中，目标神经网络能够基于输入的眼底照片而输出该眼底照片的概率信息，其中，眼底照片的概率信息用于指示眼底照片中的像素位于目标眼球后部组织所在的图像区域内的概率。服务器101可以利用该目标神经网络对终端102发送的眼底照片进行识别。
当然，在一些可能的实现方式中，本申请实施例提供的眼底照片识别方法所涉及到的实施环境可以仅包括图1中的服务器101。在实施环境仅包括服务器101的情况下，服务器101中可以存储有多个待识别的眼底照片和上述目标神经网络，服务器101可以利用目标神经网络对自身存储的眼底照片进行识别。
请参考图2，其示出了本申请实施例提供的一种眼底照片识别方法的流程图，该眼底照片识别方法可以应用于图1中的服务器101中。如图2所示，该眼底照片识别方法可以包括以下步骤：
步骤201、服务器获取目标眼底照片。
其中，该目标眼底照片包括目标眼球后部组织所在的图像区域，在本申请的一个实施例中，该目标眼球后部组织可以为视盘组织或者视杯组织。
视盘全称为视神经盘，也叫视神经乳头，是视网膜由黄斑向鼻侧约3毫米处一直径约1.5毫米，边界清楚的淡红色圆盘状结构。
视杯由内边界视神经乳头交叉点上方150微米的一条平行线组成。
步骤202、服务器将目标眼底照片输入至目标神经网络，获取目标神经网络输出的概率信息。
其中，该概率信息用于指示目标眼底照片中的像素位于目标眼球后部组织所在的图像区域内的概率。
可选的，目标神经网络可以包括特征提取层、特征放大层和分类层。其中，该特征提取层用于对目标眼底照片进行特征提取，并输出目标眼底照片的特征图和池化值索引，该池化值索引用于指示经过池化操作得到的池化值的位置信息。该特征放大层用于获取特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对特征提取层输出的特征图进行放大处理，得到放大后的特征图。该分类层用于对该放大后的特征图进行进行分类操作，从而输出上述概率信息。
在本申请的一个实施例中，目标神经网络的特征提取层包括第一卷积子层和池化子层。该第一卷积子层用于对输入第一卷积子层的特征图进行卷积操作，从而得到中间特征图，可选的，上文所述的输入第一卷积子层的特征图可以为该目标眼底照片。池化子层用于对第一卷积子层输出的中间特征图进行最大池化操作，并输出池化值索引以及由多个池化值组成的特征图，该由多个池化值组成的特征图即为目标眼底照片的特征图，该池化值索引用于指示上述多个池化值在中间特征图中的位置。
目标神经网络的特征放大层包括上池化子层和第二卷积子层。其中，该上池化子层用于获取池化子层输出的池化值索引和特征图(也即是上文所述的由多个池化值组成的特征图)，并用于根据该池化值索引对池化子层输出的特征图进行上池化操作，从而得到放大中间特征图。该第二卷积子层用于对放大中间特征图进行卷积操作，从而输出放大后的特征图。
在本申请的一个实施例中，目标神经网络可以包括多个特征提取层和多个特征放大层，其中，特征提取层和特征放大层的数目相等且一一对应。
在这种情况下，输入第一个特征提取层中的第一卷积子层的特征图可以为该目标眼底照片，输入第i(i为大于1的正整数)个特征提取层中的第一卷积子层的特征图可以为第i-1个特征提取层中的池化子层输出的由多个池化值组成的特征图，该多个特征提取层中的最后一个特征提取层的池化子层输出的由多个池化值组成的特征图可以为目标眼底照片的特征图。
每个特征放大层的上池化子层用于获取对应的特征提取层中的池化子层输出的池化值索引，并根据该池化值索引对输入该上池化子层的特征图进行上池化操作，从而得到放大中间特征图。其中，输入第一个特征放大层中的上池化子层的特征图为目标眼底照片的特征图，输入第i个特征放大层中的上池化子层的特征图为第i-1个特征放大层中的第二卷积子层输出的放大后的特征图。该多个特征放大层中的最后一个特征放大层的第二卷积子层输出的放大后的特征图可以输入分类层中。
在本申请的一个实施例中，目标神经网络中特征提取层和特征放大层的层数可以均为4。
本申请的发明人经过大量实验发现，在特征提取层和特征放大层的层数均为4的情况下，目标神经网络的识别能力最高。
在本申请的一个实施例中，目标神经网络还可以包括标准化层，该标准化层可以对目标眼底照片进行标准化处理，并将经过标准化处理的目标眼底照片输入至特征提取层中。
在本申请的一个实施例中，分类层所使用的分类函数为softmax(归一化指数函数)分类函数。
图3为本申请实施例提供的一种示例性的目标神经网络的示意图，如图3所示，该目标神经网络可以包括标准化层b、4个特征提取层t、4个特征放大层f和分类层c，其中，每个特征提取层包括第一卷积子层j1和池化子层h，每个特征放大层包括第二卷积子层j2和上池化子层sh。
在本申请实施例提供的眼底照片识别方法中，通过获取目标眼底照片，其中，该目标眼底照片包括目标眼球后部组织所在的图像区域，将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，其中，该目标神经网络的特征放大层用于获取目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据池化值索引对特征图进行放大处理，该池化值索引用于指示经过池化操作得到的池化值的位置信息，这样，目标神经网络中的特征提取层在对眼底照片进行特征提取时，除了可以得到眼底照片的特征图之外，还可以得到池化值索引这一眼底照片的其他特征信息，特征放大层可以根据池化值索引对眼底照片的特征图进行放大，这使得特征放大层输出的放大后的特征图所包含的眼底图像的特征较多，因此可以提高神经网络输出的概率信息的准确率。
请参考图4，其示出了本申请实施例提供的另一种眼底照片识别方法的流程图，该眼底照片识别方法可以应用于图1中的服务器101中。如图4所示，在上文所述的实施例的基础上，上述步骤202之前，眼底照片识别方法还包括：
步骤301、服务器获取目标训练集。
其中，该目标训练集包括多个训练眼底照片，每个训练眼底照片与至少一个标签相对应，每个标签用于指示训练眼底照片中不同眼球后部组织所在的图像区域的位置。
可选的，在本申请的一个实施例中，目标训练集中的每个训练眼底照片可以与2个标签相对应，该2个标签分别为视盘标签和视杯标签，其中，视盘标签用于指示训练眼底照片中视盘组织所在的图像区域的位置，视杯标签用于指示训练眼底照片中视杯组织所在的图像区域的位置。
步骤302、服务器利用目标训练集和目标损失函数对目标神经网络进行训练。
其中，目标损失函数为：
L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
可选的，在本申请的一个实施例中，第l个标签对应的加权因子可以为以下3个中的一个，且，不同标签对应的加权因子不同。
wl＝1；
其中，为第l个标签所对应的眼球后部组织所在的图像区域中像素的个数。
可选的，在本申请实施例中，服务器可以利用随机梯度下降法对目标神经网络进行训练。
请参考图5，其示出了本申请实施例提供的另一种眼底照片识别方法的流程图，该眼底照片识别方法可以应用于图1中的服务器101中。如图5所示，在上文所述的实施例的基础上，上述步骤202之前，眼底照片识别方法还包括：
步骤401、服务器获取初始训练集。
其中，给初始训练集包括多个初始训练眼底照片。
步骤402、服务器对初始训练眼底照片进行增强操作，得到增强训练眼底照片。
可选的，在本申请的一个实施例中，增强操作可以包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
可选的，在本申请的一个实施例中，服务器可以对初始训练集中的每个初始训练眼底照片都进行增强操作。
可选的，在本申请的另一个实施例中，服务器可以从初始训练集中随机获取多个初始训练眼底照片，并对该随机获取的多个初始训练眼底照片进行增强操作。
步骤403、服务器获取目标训练集。
其中，该目标训练集包括多个训练眼底照片，该多个训练眼底照片包括初始训练集中的初始训练眼底照片和经过增强操作得到的增强训练眼底照片。
步骤404、服务器利用该目标训练集对目标神经网络进行训练。
实际应用中，能够搜集到的初始训练眼底照片的数量往往较小，利用该数量较小的初始训练眼底照片对目标神经网络进行训练的难度较大，而且训练得到的目标神经网络的识别能力也往往较差。在本申请实施例中，可以对初始训练眼底照片进行增强操作，得到增强训练眼底照片，并获取由初始训练眼底照片和增强训练眼底照片共同组成的目标训练集，以利用该目标训练集对目标神经网络进行训练，这样就可以对训练样本进行扩充，从而可以降低对目标神经网络进行训练的难度，并能够提高训练得到的目标神经网络的识别能力。
图6为利用目标训练集训练得到目标神经网络(简称为第一目标神经网络)和利用初始训练集训练得到的目标神经网络(简称为第二目标神经网络)对眼底照片进行识别的结果。
由图6所示可知，第一目标神经网络对患有青光眼的眼底照片和不患有青光眼的眼底照片进行识别的结果均与标准结果相近，而第二目标神经网络对患有青光眼的眼底照片和不患有青光眼的眼底照片进行识别的结果均与标准结果相差较大。
因此，由图6可知，第一目标神经网络的识别能力强于第二目标神经网络的识别能力。
请参考图7，其示出了本申请实施例提供的一种眼底照片识别装置500的框图，该眼底照片识别装置500可以配置于图1中的服务器101中。如图7所示，该眼底照片识别装置500可以包括：第一获取模块501和第二获取模块502。
其中，该第一获取模块501，用于获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域。
该第二获取模块502，用于将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率。
其中，该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。
在本申请的一个实施例中，该特征提取层包括第一卷积子层和池化子层，该第一卷积子层用于对输入该第一卷积子层的特征图进行卷积操作，得到中间特征图，该池化子层用于对该中间特征图进行最大池化操作，并输出该池化值索引以及由多个池化值组成的特征图，该池化值索引用于指示该多个池化值在该中间特征图中的位置；该特征放大层包括上池化子层和第二卷积子层，该上池化子层用于获取该池化子层输出的池化值索引和特征图，并用于根据该池化值索引对该池化子层输出的特征图进行上池化操作，得到放大中间特征图，该第二卷积子层用于对该放大中间特征图进行卷积操作，输出放大后的特征图。
在本申请的一个实施例中，该目标神经网络中该特征提取层和该特征放大层的层数均为4。
在本申请的一个实施例中，该目标眼球后部组织为视盘组织或者视杯组织。
参考图8，本申请实施例还提供了一种眼底照片识别装置600，该眼底照片识别装置600除了包括眼底照片识别装置500包括的各模块外，可选的，还可以包括训练模块503。
其中，该训练模块503，用于：获取目标训练集，该目标训练集包括多个训练眼底照片，每个该训练眼底照片与至少一个标签相对应，每个该标签用于指示该训练眼底照片中不同眼球后部组织所在的图像区域的位置；利用该目标训练集和目标损失函数对该目标神经网络进行训练；
该目标损失函数为：
其中，L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
该训练模块503，还用于：获取初始训练集，该初始训练集包括多个初始训练眼底照片；对该初始训练眼底照片进行增强操作，得到增强训练眼底照片；获取目标训练集，该目标训练集包括多个训练眼底照片，该多个训练眼底照片包括该初始训练眼底照片和该增强训练眼底照片；利用该目标训练集对该目标神经网络进行训练。
在本申请的一个实施例中，该增强操作包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
本申请实施例提供的眼底照片识别装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于眼底照片识别装置的具体限定可以参见上文中对于眼底照片识别方法的限定，在此不再赘述。上述眼底照片识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种眼底照片识别方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域；
将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率；
该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。
在本申请的一个实施例中，该特征提取层包括第一卷积子层和池化子层，该第一卷积子层用于对输入该第一卷积子层的特征图进行卷积操作，得到中间特征图，该池化子层用于对该中间特征图进行最大池化操作，并输出该池化值索引以及由多个池化值组成的特征图，该池化值索引用于指示该多个池化值在该中间特征图中的位置；该特征放大层包括上池化子层和第二卷积子层，该上池化子层用于获取该池化子层输出的池化值索引和特征图，并用于根据该池化值索引对该池化子层输出的特征图进行上池化操作，得到放大中间特征图，该第二卷积子层用于对该放大中间特征图进行卷积操作，输出放大后的特征图。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标训练集，该目标训练集包括多个训练眼底照片，每个该训练眼底照片与至少一个标签相对应，每个该标签用于指示该训练眼底照片中不同眼球后部组织所在的图像区域的位置；利用该目标训练集和目标损失函数对该目标神经网络进行训练；该目标损失函数为：
其中，L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取初始训练集，该初始训练集包括多个初始训练眼底照片；对该初始训练眼底照片进行增强操作，得到增强训练眼底照片；获取目标训练集，该目标训练集包括多个训练眼底照片，该多个训练眼底照片包括该初始训练眼底照片和该增强训练眼底照片；利用该目标训练集对该目标神经网络进行训练。
在本申请的一个实施例中，该增强操作包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
在本申请的一个实施例中，该目标神经网络中该特征提取层和该特征放大层的层数均为4。
在本申请的一个实施例中，该目标眼球后部组织为视盘组织或者视杯组织。
本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标眼底照片，该目标眼底照片包括目标眼球后部组织所在的图像区域；
将该目标眼底照片输入至目标神经网络，获取该目标神经网络输出的概率信息，该概率信息用于指示该目标眼底照片中的像素位于该图像区域内的概率；
该目标神经网络的特征放大层用于获取该目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据该池化值索引对该特征图进行放大处理，其中，该池化值索引用于指示经过池化操作得到的池化值的位置信息。
在本申请的一个实施例中，该特征提取层包括第一卷积子层和池化子层，该第一卷积子层用于对输入该第一卷积子层的特征图进行卷积操作，得到中间特征图，该池化子层用于对该中间特征图进行最大池化操作，并输出该池化值索引以及由多个池化值组成的特征图，该池化值索引用于指示该多个池化值在该中间特征图中的位置；该特征放大层包括上池化子层和第二卷积子层，该上池化子层用于获取该池化子层输出的池化值索引和特征图，并用于根据该池化值索引对该池化子层输出的特征图进行上池化操作，得到放大中间特征图，该第二卷积子层用于对该放大中间特征图进行卷积操作，输出放大后的特征图。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标训练集，该目标训练集包括多个训练眼底照片，每个该训练眼底照片与至少一个标签相对应，每个该标签用于指示该训练眼底照片中不同眼球后部组织所在的图像区域的位置；利用该目标训练集和目标损失函数对该目标神经网络进行训练；该目标损失函数为：
其中，L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取初始训练集，该初始训练集包括多个初始训练眼底照片；对该初始训练眼底照片进行增强操作，得到增强训练眼底照片；获取目标训练集，该目标训练集包括多个训练眼底照片，该多个训练眼底照片包括该初始训练眼底照片和该增强训练眼底照片；利用该目标训练集对该目标神经网络进行训练。
在本申请的一个实施例中，该增强操作包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
在本申请的一个实施例中，该目标神经网络中该特征提取层和该特征放大层的层数均为4。
在本申请的一个实施例中，该目标眼球后部组织为视盘组织或者视杯组织。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种眼底照片识别方法，其特征在于，所述方法包括：
获取目标眼底照片，所述目标眼底照片包括目标眼球后部组织所在的图像区域；
将所述目标眼底照片输入至目标神经网络，获取所述目标神经网络输出的概率信息，所述概率信息用于指示所述目标眼底照片中的像素位于所述图像区域内的概率；
所述目标神经网络的特征放大层用于获取所述目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据所述池化值索引对所述特征图进行放大处理，其中，所述池化值索引用于指示经过池化操作得到的池化值的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述特征提取层包括第一卷积子层和池化子层，所述第一卷积子层用于对输入所述第一卷积子层的特征图进行卷积操作，得到中间特征图，所述池化子层用于对所述中间特征图进行最大池化操作，并输出所述池化值索引以及由多个池化值组成的特征图，所述池化值索引用于指示所述多个池化值在所述中间特征图中的位置；
所述特征放大层包括上池化子层和第二卷积子层，所述上池化子层用于获取所述池化子层输出的池化值索引和特征图，并用于根据所述池化值索引对所述池化子层输出的特征图进行上池化操作，得到放大中间特征图，所述第二卷积子层用于对所述放大中间特征图进行卷积操作，输出放大后的特征图。
3.根据权利要求1所述的方法，其特征在于，在将所述目标眼底照片输入至目标神经网络之前，所述方法还包括：
获取目标训练集，所述目标训练集包括多个训练眼底照片，每个所述训练眼底照片与至少一个标签相对应，每个所述标签用于指示所述训练眼底照片中不同眼球后部组织所在的图像区域的位置；
利用所述目标训练集和目标损失函数对所述目标神经网络进行训练；
所述目标损失函数为：
其中，L为训练眼底照片对应的标签的个数，wl为第l个标签对应的加权因子，N为训练眼底照片包括的像素的总个数，si为训练眼底照片中第i个像素对应的概率值，ri为训练眼底照片中第i个像素的像素值。
4.根据权利要求1所述的方法，其特征在于，在将所述目标眼底照片输入至目标神经网络之前，所述方法还包括：
获取初始训练集，所述初始训练集包括多个初始训练眼底照片；
对所述初始训练眼底照片进行增强操作，得到增强训练眼底照片；
获取目标训练集，所述目标训练集包括多个训练眼底照片，所述多个训练眼底照片包括所述初始训练眼底照片和所述增强训练眼底照片；
利用所述目标训练集对所述目标神经网络进行训练。
5.根据权利要求4所述的方法，其特征在于，所述增强操作包括裁剪操作、缩放操作、长宽比变化操作和尺寸变化操作中的至少一种。
6.根据权利要求1至5任一所述的方法，其特征在于，所述目标神经网络中所述特征提取层和所述特征放大层的层数均为4。
7.根据权利要求1至5任一所述的方法，其特征在于，所述目标眼球后部组织为视盘组织或者视杯组织。
8.一种眼底照片识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标眼底照片，所述目标眼底照片包括目标眼球后部组织所在的图像区域；
第二获取模块，用于将所述目标眼底照片输入至目标神经网络，获取所述目标神经网络输出的概率信息，所述概率信息用于指示所述目标眼底照片中的像素位于所述图像区域内的概率；
所述目标神经网络的特征放大层用于获取所述目标神经网络的特征提取层输出的池化值索引和特征图，并用于根据所述池化值索引对所述特征图进行放大处理，其中，所述池化值索引用于指示经过池化操作得到的池化值的位置信息。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至7任一所述的眼底照片识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一所述的眼底照片识别方法。
CN201910378689.4A 2019-05-08 2019-05-08 眼底照片识别方法、装置、设备及存储介质 Pending CN110084811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910378689.4A CN110084811A (zh) 2019-05-08 2019-05-08 眼底照片识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910378689.4A CN110084811A (zh) 2019-05-08 2019-05-08 眼底照片识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110084811A true CN110084811A (zh) 2019-08-02

Family

ID=67419232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910378689.4A Pending CN110084811A (zh) 2019-05-08 2019-05-08 眼底照片识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110084811A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706164A (zh) * 2019-09-03 2020-01-17 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形显示方法及眼镜
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706164A (zh) * 2019-09-03 2020-01-17 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形显示方法及眼镜
CN110796161A (zh) * 2019-09-18 2020-02-14 平安科技（深圳）有限公司 识别模型训练、眼底特征的识别方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Hogarty et al. Current state and future prospects of artificial intelligence in ophthalmology: a review
US20220076420A1 (en) Retinopathy recognition system
US11213197B2 (en) Artificial neural network and system for identifying lesion in retinal fundus image
Asiri et al. Deep learning based computer-aided diagnosis systems for diabetic retinopathy: A survey
US10580530B2 (en) Diagnosis assistance system and control method thereof
AU2018347610A1 (en) Deep learning-based diagnosis and referral of ophthalmic diseases and disorders
Ardiyanto et al. Deep learning-based diabetic retinopathy assessment on embedded system
CN109411086A (zh) 眼底图像病变的筛查系统
CN110084811A (zh) 眼底照片识别方法、装置、设备及存储介质
US20230022921A1 (en) System and method for analyzing corneal lesion using anterior ocular segment image, and computer-readable recording medium
CN109815965A (zh) 一种图像过滤方法、装置及存储介质
Xiao et al. Gated channel attention network for cataract classification on AS-OCT image
CN110334575A (zh) 眼底照片识别方法、装置、设备及存储介质
CN111938567B (zh) 基于深度学习的眼科参数测量方法、系统及设备
Hong et al. A novel hierarchical deep learning framework for diagnosing multiple visual impairment diseases in the clinical environment
Rajesh et al. A comprehensive review on automatic diagnosis of diabetic maculopathy in retinal fundus images
Zhou [Retracted] Design of Intelligent Diagnosis and Treatment System for Ophthalmic Diseases Based on Deep Neural Network Model
Ghebrechristos et al. RetiNet—feature extractor for learning patterns of diabetic retinopathy and age-related macular degeneration from publicly available datasets
CN110992364A (zh) 视网膜图像识别方法、装置、计算机设备和存储介质
Kumar et al. Pre-Trained Deep Learning-Based Approaches for Eye Disease Detection
Sreejaya et al. Various cataract detection methods-a survey
Marrapu Detection of Glaucoma Using Deep Learning Techniques: Literature Survey
Santos et al. Generating photorealistic images of people's eyes with strabismus using Deep Convolutional Generative Adversarial Networks
Srivastava et al. Retinal Image Segmentation based on Machine Learning Techniques
Lao et al. Case-based histopathological malignancy diagnosis using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190802