CN111325725A - 视网膜图像识别方法及装置、电子设备、存储介质 - Google Patents

视网膜图像识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111325725A
CN111325725A CN202010102291.0A CN202010102291A CN111325725A CN 111325725 A CN111325725 A CN 111325725A CN 202010102291 A CN202010102291 A CN 202010102291A CN 111325725 A CN111325725 A CN 111325725A
Authority
CN
China
Prior art keywords
image
module
interest
region
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010102291.0A
Other languages
English (en)
Inventor
张梦蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010102291.0A priority Critical patent/CN111325725A/zh
Publication of CN111325725A publication Critical patent/CN111325725A/zh
Priority to PCT/CN2021/076185 priority patent/WO2021164640A1/zh
Priority to US17/435,306 priority patent/US11967181B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种视网膜图像识别方法及装置、电子设备、存储介质，包括：获取视网膜图像；利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果。本发明提供的视网膜图像识别方法及装置、电子设备、存储介质，能够较好地实现视网膜图像的识别。

Description

视网膜图像识别方法及装置、电子设备、存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种视网膜图像识别方法及装置、电子设备、存储介质。
背景技术
目前眼底病变的识别诊断过程耗时较长，而由于经验和专业能力的差异，医生对眼底病变，尤其是初期的微小病变，容易误诊或漏诊。目前视网膜图像识别技术较为初级，在识别效果上并不足以满足现有技术中各种应用场景的要求。
发明内容
有鉴于此，本发明实施例的目的之一在于，提出一种视网膜图像识别方法及装置、电子设备、存储介质，以解决上述问题。
基于上述目的，本发明实施例的第一个方面，提供了一种视网膜图像识别方法，包括：
获取视网膜图像；
利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；
若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；
根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果。
可选地，所述视网膜图像识别方法还包括：
输出所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一。
可选地，所述第一神经网络模型的基础为Inception V4模型，所述第一神经网络模型包括依次设置的输入层、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块、第一卷积层、第一同分布处理层、最大池化层、第二卷积层、第二同分布处理层和输出层；所述第一神经网络模型使用交叉熵函数作为损失函数。
可选地，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果，包括：
获取所述视网膜图像对应的特征映射；
利用区域候选网络算法，从所述特征映射中得到多个感兴趣区域；
对每个所述感兴趣区域进行感兴趣区域对准处理，得到每个所述感兴趣区域的对准后特征映射；
利用基于全卷积网络的Faster RCNN算法对每个所述感兴趣区域的对准后特征映射进行处理，得到每个所述感兴趣区域的分类信息、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模。
可选地，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
可选地，所述图像分类结果包括存在视网膜病变和不存在视网膜病变；所述图像分割结果包括所述感兴趣区域的分类、所述感兴趣区域的坐标位置和所述感兴趣区域的掩模；所述感兴趣区域的分类包括视网膜病变类型；所述预设条件为存在视网膜病变。
可选地，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果，包括：
利用所述决策树模型，根据所述感兴趣区域的分类，得到所述视网膜图像的视网膜病变程度；
根据所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，得到所述视网膜图像的病变位置和病变掩模；
生成包括视网膜病变程度、视网膜病变类型、病变位置和病变掩模的视网膜图像识别结果。
可选地，所述视网膜图像识别方法还包括：
获取视网膜图像样本；
对视网膜图像样本进行标注；
将标注后的视网膜图像样本制作成训练数据集；
利用所述训练数据集训练所述第一神经网络模型、所述第二神经网络模型和所述决策树模型。
可选地，所述视网膜图像识别方法还包括：
对所述视网膜图像样本进行图像数据增强处理；其中，所述图像数据增强处理的方法包括：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音中的至少一种。
本发明实施例的第二个方面，提供了一种视网膜图像识别装置，包括：
采集单元，用于获取视网膜图像；
控制单元，用于利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；以及，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果；
输出单元，用于输出所述视网膜图像的识别结果。
可选地，所述第一神经网络模型的基础为Inception V4模型，所述第一神经网络模型包括依次设置的输入层、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块、第一卷积层、第一同分布处理层、最大池化层、第二卷积层、第二同分布处理层和输出层；所述第一神经网络模型使用交叉熵函数作为损失函数。
可选地，所述控制单元，用于：
获取所述视网膜图像对应的特征映射；
利用区域候选网络算法，从所述特征映射中得到多个感兴趣区域；
对每个所述感兴趣区域进行感兴趣区域对准处理，得到每个所述感兴趣区域的对准后特征映射；
利用基于全卷积网络的Faster RCNN算法对每个所述感兴趣区域的特征映射进行处理，得到每个所述感兴趣区域的分类、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模。
可选地，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
本发明实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的方法。
本发明实施例的第四个方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行所述方法。
从上面所述可以看出，本发明实施例提供的视网膜图像识别方法及装置、电子设备、存储介质，通过利用第一神经网络模型进行视网膜图像分类，在图像分类结果满足预设条件时，利用第二神经网络模型进行视网膜图像分割，并根据图像分割结果，利用决策树模型，生成所述视网膜图像的识别结果；这样，利用第一神经网络模型和第二神经网络模型的搭配，在满足预设条件时利用第二神经网络模型进行第二次识别，从而能够提高整体的识别效率，并且，能够在满足预设条件时给出更具体的识别结果。
此外，通过建立深度学习网络模型对眼底图像进行分析，不仅能够快速识别出图像中的病变点，而且能降低误诊、漏诊的概率。此方法在实际应用方面，可以协助医生进行诊断，在后续分析方面，可以为更加深入的病变分析提供支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视网膜图像识别方法的流程示意图；
图2A为本发明实施例中第一神经网络模型的结构示意图；
图2B为Inception单元的一种实施例的结构示意图；
图2C为Inception单元的另一种实施例的结构示意图；
图2D为Inception单元的又一种实施例的结构示意图；
图2E为本发明实施例提供的视网膜图像识别方法中利用第二神经网络模型对所述视网膜图像进行分割的流程示意图；
图2F为本发明实施例提供的视网膜图像识别方法中生成识别结果的流程示意图；
图2G为本发明实施例提供的视网膜图像识别方法中决策树模型进行分类的流程示意图；
图2H为本发明实施例提供的视网膜图像识别方法中创建训练数据集的流程示意图；
图3为本发明实施例提供的视网膜图像识别装置的框图结构示意图；
图4为本发明实施例提供的一种电子设备硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
图1示出了本发明实施例提供的视网膜图像识别方法的流程示意图。
如图1所示，所述视网膜图像识别方法，包括：
步骤11：获取视网膜图像。
这里，所述视网膜图像，可以是利用专业的视网膜检查仪器采集得到的图像，也可以是任意的具备图像采集功能的设备(例如手机摄像头)采集得到的图像，还可以是直接从存储器中获取的图像。所述视网膜图像，可以是需要进行视网膜图像识别的对象(例如视网膜病变的病人)本人的视网膜图像，也可以是其他进行医学研究、科研等的人员从试验对象身上采集得到的。
步骤12：利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果。
可选地，所述视网膜图像识别方法可以用于识别视网膜病变，特别地，可以是用于识别糖尿病性视网膜病变。可选地，所述图像分类结果可以是包括可能存在视网膜病变(例如，分类标签为“1”)和可能不存在视网膜病变(例如，分类标签为“0”)这两种分类。
可选地，所述第一神经网络模型的基础为Inception V4模型，参考图2A，所述第一神经网络模型包括依次设置的输入层Input、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块AvgPool、第一卷积层Conv_1、第一同分布处理层BatchNorm_1、最大池化层MaxPool、第二卷积层Conv_2、第二同分布处理层BatchNorm_2和输出层Softmax；所述第一神经网络模型在训练时使用交叉熵函数作为损失函数，在训练过程中使得所述损失函数最小，得到所述第一神经网络模型。其中，通过在Inception V4模型的末端链接第一卷积层Conv_1、第一同分布处理层BatchNorm_1、最大池化层MaxPool、第二卷积层Conv_2、第二同分布处理层BatchNorm_2，能够更好地实现对于视网膜图像的初步分类。
作为一个可选实施例，参考图2A所示，所述基础卷积层模块包括3个依次设置的基础卷积层BasicConv，所述混合层模块包括3个依次设置的混合层Mixed_3a、Mixed_4a、Mixed_5a，所述第一Inception模块包括依次设置的4个第一Inception单元Inception_A和第一Reduction单元Reduction_A，所述第二Inception模块包括依次设置的7个第二Inception单元Inception_B和第二Reduction单元Reduction_B，所述第三Inception模块包括依次设置的3个第三Inception单元Inception_C。需要说明的是，所述基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的层数或单元数量是可以根据需要进行调整和删减的，这里仅仅是示例性地例举了这几个模块可以具备的结构，并不用于限制本发明的保护范围。
可选地，参考图2B所示，所述第一Inception单元Inception_A的结构包括沿神经网络宽度方向排列的4组卷积层。其中，第一组卷积层包括依次链接的1个平均池化层AvgPool和1个卷积层Conv，第二组卷积层包括1个卷积层Conv，第三组卷积层包括依次链接的2个卷积层Conv，第四组卷积层包括依次链接的3个卷积层Conv。
可选地，参考图2C所示，所述第二Inception单元Inception_A的结构包括沿神经网络宽度方向排列的4组卷积层。其中，第一组卷积层包括依次链接的1个平均池化层AvgPool和1个卷积层Conv，第二组卷积层包括1个卷积层Conv，第三组卷积层包括依次链接的3个卷积层Conv，第四组卷积层包括依次链接的5个卷积层Conv。
可选地，参考图2D所示，所述第三Inception单元Inception_C的结构包括沿神经网络宽度方向排列的4组卷积层。其中，第一组卷积层包括依次链接的1个平均池化层AvgPool和1个卷积层Conv，第二组卷积层包括1个卷积层Conv，第三组卷积层包括沿神经网络深度方向依次链接的1个卷积层Conv和并列的一对卷积层Conv，第四组卷积层包括沿神经网络深度方向依次链接的3个卷积层Conv和并列的一对卷积层Conv。
参考图2B～2D所示，4组卷积层的前后分别连接其在先的层结构和其后的层结构，连接部Filter Concat只是示意出这4组卷积层均需要与前后的层结构进行连接，连接部Filter Concat不代表实际存在的层结构。
需要说明的是，在Inception模型中，Inception单元的具体结构以及卷积层的卷积核是可以根据需要进行设置的，并不代表本实施例中提供的具体结构是本发明中Inception单元的唯一实施例，这里给出的具体结构仅仅是示例性的。
可选地，所述交叉熵函数H(p,q)为：
H(p·q)＝-∑p(x)log q(x)
交叉熵表示实际输出(概率)与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近。这里概率分布p(x)为期望输出，概率分布q(x)为实际输出。
可选地，利用标注后的视网膜图像样本制作成训练数据集用以训练所述InceptionV4模型使得损失函数最小，得到可实现初步筛查功能的所述第一神经网络模型。所述视网膜图像样本的标签可为“有”和“无”，分别代表可能存在视网膜病变和可能不存在视网膜病变。
这样，通过利用Inception V4模型实现第一次分类，能够利用Inception V4模型的分类和检测性能较好地实现“有”和“无”的分类，分类效果和效率均较好。
步骤13：若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果。
可选地，所述第二神经网络模型可以利用Mask R-CNN算法来创建。Mask R-CNN算法是一种卷积神经网络，它能够对输入图像进行目标检测从而得出目标的类型、位置，并利用掩模(mask)将识别出的目标标识出来。采用基于Mask R-CNN算法创建所述所述第二神经网络模型，就能够识别出视网膜病变具体类型和位置，并可相应地将病变通过掩模进行标识。
作为一个实施例，所述第二神经网络模型的内核选用Mask R-CNN算法，但整体的第二次分类的过程与常规的Mask R-CNN算法存在一定区别，具体地，所述第二神经网络模型中用于提取视网膜图像对应的特征映射的部分并非采用的常规的Mask R-CNN算法中的卷积层，而是利用的所述第一神经网络模型已经训练好的一部分结构。因此，如图2E所示，所述步骤13——利用第二神经网络模型对所述视网膜图像进行分割得到图像分割结果，包括：
步骤131：获取所述视网膜图像对应的特征映射。
Mask R-CNN算法本身具有卷积层，可用于提取图像的特征映射(feature map)，本步骤中，可以采用Mask R-CNN算法本身的卷积层从图像中获取特征映射。
可选地，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
这里，因为所述第一神经网络模型中的卷积层的功能之一就是生成特征映射，因此，在所述第二神经网络模型中，可以不用再额外设置获取特征映射的模块，而是直接将所述第一神经网络模型中已经训练好的能够生成特征映射的模块迁移学习到所述第二神经网络模型中，用于供所述第二神经网络模型生成所述视网膜图像的特征映射。并且，所述第一神经网络模型是基于InceptionV4模型的，因为Inception V4模型较好的分类和检测性能，这样得到的特征映射能够更好地反映视网膜图像的图像特征，有利于得到更加精确的分类或识别结果。
在所述第一神经网络模型中，每经过一层卷积层就能得到一组特征映射(不同的卷积层对应的特征映射通常是不同的，但是都是针对输入数据(在本实施例中即为视网膜图像)的特征映射，表征的是输入数据的特征)，因此，在迁移学习所述第一神经网络模型中的这些模块时，可以选择任意的能够生成特征映射的模块；较佳的，可以根据实际的训练效果来选择具体的迁移学习的模块，在这里不做具体限定。
可选地，在选择所述第一神经网络模型中已经训练好的能够生成特征映射的模块时，如果选择的是第一神经网络模型中位置处于中间部位的模块时，需将该模块之前链接的全部其它模块都迁移到第二神经网络模型中。例如，如果选择所述第一Inception模块得到的特征映射作为第二神经网络模型中获取的特征映射，则需将所述第一Inception模块及其之前的基础卷积层模块和混合层模块都一起迁移到第二神经网络模型中。再比如，如果选择所述第三Inception模块得到的特征映射作为第二神经网络模型中获取的特征映射，则需将所述第三Inception模块及其之前的基础卷积层模块、混合层模块、第一Inception模块和第二Inception模块都一起迁移到第二神经网络模型中。依次类推，不再赘述。
此外，在迁移完成后，从所述第一神经网络模型中选择的模块之后链接上所述第二神经网络模型的其他模块，如感兴趣区域获取模块、对准模块和输出模块，然后将这个整体利用训练数据集进行训练，最终得到所述第二神经网络模型。
步骤132：利用区域候选网络算法(RPN)，从所述特征映射中得到多个感兴趣区域(RoI)。其中，每个感兴趣区域对应于一个可能存在的检测目标(例如可能存在病变的位置)。
本步骤中，所述区域候选网络算法，通常先从特征映射中选取多个候选区域，然后对所述候选区域进行二值分类(即通过设定阈值将候选区域分为前景(即其中存在物体)和背景(即其中不存在物体))和Boundary Box回归，从而对所述多个候选区域进行过滤(其中，所述二值分类用于将属于背景的候选区域删除或丢弃，所述Boundary Box回归用于将不满足要求的候选区域删除或丢弃)，最后得到感兴趣区域(RoI)，这里，过滤之后保留下来的候选区域即为感兴趣区域。
步骤133：对每个所述感兴趣区域进行感兴趣区域对准处理(RoI Align)，得到每个所述感兴趣区域的对准后特征映射。其中，RoI Align是在Mask R-CNN算法中提出的一种区域特征聚集方式。
可选地，所述RoI Align包括先将所述视网膜图像的像素点(pixel)和视网膜图像的特征映射的像素点(pixel)对应起来(Align)，然后将感兴趣区域的特征映射和感兴趣区域的固定的特征(feature)对应起来(Align)。在将视网膜图像与特征映射进行对准以及将感兴趣区域的特征映射与感兴趣区域的特征进行对准时，均通过双线性插值算法计算像素值。
步骤134：利用基于全卷积网络(FCN)的Faster RCNN算法对每个所述感兴趣区域的对准后特征映射进行处理，分别得到每个所述感兴趣区域的分类信息、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模(mask)。其中，所述全卷积网络为将网络中的全连接层替换为卷积层，将对象卷积化。
这样，采用上述第二神经网络模型，得到的分类结果更加细致，所述图像分割结果中可以包括所述感兴趣区域的分类、所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，同时，还可以得到感兴趣区域的数量。可选地，当所述视网膜图像识别方法应用于视网膜病变识别时，所述第二神经网络模型得到的图像分割结果中可以包括病变种类、位置、数量等信息，更有参考价值。
可选地，所述感兴趣区域的分类包括视网膜病变程度和视网膜病变类型中的至少一种；所述预设条件为存在视网膜病变。
例如，所述视网膜病变程度包括无病变、轻度病变，中度病变、重度病变、深度病变。又比如，所述视网膜病变类型包括微血管瘤、出血斑、棉绒斑、微血管异常、静脉串珠、视网膜前出血、新生血管。
步骤14：根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果。这样，能够利用决策树的特点，实现识别结果的细分。
可选地，如图2F所示，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果，包括：
步骤141：利用所述决策树模型，根据所述感兴趣区域的分类，得到所述视网膜图像的视网膜病变程度。
可选地，图2G示出了本实施例中利用已经训练完成的决策树模型，根据所述感兴趣区域的分类进行视网膜病变程度和视网膜病变类型识别的过程。
所述决策树模型是一种分类模型，它可以利用标注后的视网膜图像样本进行训练得到，训练完成后的所述决策树模型，可用于对视网膜图像进行分类。因为在经过第二神经网络模型处理后，已经得到所述感兴趣区域的分类信息，将所述感兴趣区域的分类信息输入到所述决策树模型中，即可相应地输出表征视网膜病变程度的分类结果。其中，在训练决策树模型时，所述视网膜图像的训练样本的标注内容可包括：视网膜病变程度和视网膜病变类型；其中，所述视网膜病变程度可包括中度病变、重度病变、深度病变；所述视网膜病变类型可包括微血管瘤、出血斑、棉绒斑、微血管异常、静脉串珠、视网膜前出血、新生血管。
例如，最终的决策树模型的结构参考图2G所示，所述视网膜病变类型为新生血管和视网膜前出血时，对应的视网膜病变程度为深度病变，所述深度病变对应的分类标签为4；所述视网膜病变类型为出血斑数量在每个象限都超出阈值和微血管异常时，对应的视网膜病变程度为重度病变，所述重度病变对应的分类标签为3；所述视网膜病变类型为静脉串珠数量在任一象限超出阈值时，对应的视网膜病变程度为重度病变，所述重度病变对应的分类标签为3，剩余的视网膜病变类型则为中度病变，对应的分类标签为2。
例如，如图2G所示，当所述图像分割结果中，存在感兴趣区域被分类为新生血管时，则识别结果中关于视网膜病变程度的分类为4，对应于深度病变；当不存在被分类为新生血管的感兴趣区域时，则判断是否有感兴趣区域被分类为视网膜前出血，若有，则识别结果中关于视网膜病变程度的分类为4，对应于深度病变；当不存在被分类为视网膜前出血的感兴趣区域时，则判断是否有感兴趣区域被分类为微血管异常，若有，则识别结果中关于视网膜病变程度的分类为3，对应于重度病变；当不存在被分类为微血管异常的感兴趣区域时，则判断感兴趣区域的出血斑数量，若每个象限(一般视网膜图像(或称眼底图像)在临床诊断中会被划分为4个象限)的出血斑数量大于或等于20，则识别结果中关于视网膜病变程度的分类为3，对应于重度病变；若每个象限的出血斑数量小于20，则判断感兴趣区域的静脉串珠数量，若任一个象限的静脉串珠数量大于或等于2，则识别结果中关于视网膜病变程度的分类为3，对应于重度病变，反之则识别结果中关于视网膜病变程度的分类为2，对应于中度病变。对于无病变(分类标签为0)和轻度病变(分类标签为1)，在第一次分类后被归为可能不存在视网膜病变(分类标签为“0”)，在本步骤中则可无需再进行细分。
步骤142：根据所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，得到所述视网膜图像的病变位置和病变掩模。本步骤中，所述感兴趣区域的坐标位置对应的即为所述视网膜图像的病变位置，所述感兴趣区域的掩模对应的即为所述视网膜图像的病变掩模，这里只需将所述第二神经网络模型得到的这两个结果(即所述感兴趣区域的坐标位置和所述感兴趣区域的掩模)进行输出即可。
步骤143：生成包括视网膜病变程度、视网膜病变类型、病变位置和病变掩模的视网膜图像识别结果。
可选地，所述视网膜图像识别方法，还可包括步骤15：若所述图像分类结果不满足预设条件，则直接输出所述图像分类结果作为所述视网膜图像的识别结果。
可选地，若所述图像分类结果不满足预设条件(例如，图像分类结果为可能不存在视网膜病变，其中包含了视网膜病变程度为无病变和轻度病变两种情况，无病变和轻度病变两种病变程度对应的分类标签为0和1)，还可以给出不需转诊的诊断建议，若所述图像分类结果满足预设条件，还可以给出眼底病变的分级诊断和相对应的转诊、复查建议。
从上述实施例可以看出，本发明实施例提供的视网膜图像识别方法，通过利用第一神经网络模型进行视网膜图像分类，在图像分类结果满足预设条件时，利用第二神经网络模型进行视网膜图像分割，并根据图像分割结果，利用决策树模型，生成所述视网膜图像的识别结果；这样，利用第一神经网络模型和第二神经网络模型的搭配，在满足预设条件时利用第二神经网络模型进行第二次识别，从而能够提高整体的识别效率，并且，能够在满足预设条件时给出更具体的识别结果。
可选地，所述视网膜图像识别方法，还可包括：输出所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一，从而对图像分类结果、图像分割结果和识别结果中的至少其一进行展示，以供用户进行参考。
可选地，所述图像分类结果包括可能不存在视网膜病变和可能存在视网膜病变两种分类，用于对视网膜病变进行初步分类结果展示。
可选地，所述图像分割结果包括感兴趣区域的分类信息、所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，用于对视网膜病变的病变的分类、病变的位置和病变的掩模进行展示。
可选地，所述识别结果中包括视网膜病变程度、视网膜病变类型、病变位置和病变掩模，能够对视网膜病变进行全面地分类展示。
可选地，当所述视网膜图像识别方法，应用于对糖尿病性视网膜病变进行识别时，所述第一神经网络模型能够进行初步筛查，当病变程度较深时，再利用第二神经网络模型对病变进行更细致的识别，可有效确定眼底图像中的病变点，通过识别出的病变为医生和患者提供进一步诊断建议。这样，通过图像处理、深度学习等技术，达到对糖尿病性视网膜病变的筛查和分级的技术效果，从而解决糖网病筛查误诊、漏诊率高，医生经验不足等问题。
目前，眼底病变的识别诊断过程耗时较长，而由于经验和专业能力的差异，医生对眼底病变，尤其是初期的微小病变，容易误诊或漏诊，而建立深度学习网络模型对眼底图像进行分析，不仅能够快速识别出图像中的病变点，而且能降低误诊、漏诊的概率。此方法在实际应用方面，可以协助医生进行诊断，在后续分析方面，可以为更加深入的病变分析提供支持。
作为本发明的一个实施例，如图2H所示，所述视网膜图像识别方法，还可包括：
步骤21：获取视网膜图像样本；例如，可以从现有的各种数据库中调取已有的视网膜图像作为样本。
步骤22：对视网膜图像样本进行标注，标注内容包括：视网膜病变程度和视网膜病变类型；其中，所述视网膜病变程度包括无病变、轻度病变，中度病变、重度病变、深度病变；所述视网膜病变类型包括微血管瘤、出血斑、棉绒斑、微血管异常、静脉串珠、视网膜前出血、新生血管；
步骤23：将标注后的视网膜图像样本制作成训练数据集；
步骤24：利用所述训练数据集训练所述第一神经网络模型、所述第二神经网络模型和所述决策树模型。
可选地，所述对视网膜图像样本进行标注的步骤，可以由经验丰富的专业眼科医生对脱敏后的眼底图像进行标注，然后将标注后的图像数据制作成训练数据集。
作为本发明的一个实施例，所述视网膜图像识别方法，还包括：
对所述视网膜图像样本进行图像数据增强处理；其中，所述图像数据增强处理的方法包括：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音中的至少一种。
通过上述图像预处理步骤，能够丰富视网膜图像训练数据集，更好的提取图像特征，有利于泛化模型(防止模型过拟合)。
为了提高模型精度，还可以反复地对学习率、冲量等参数进行调优，优化模型的预测准确度。本发明中将最终生成的模型用作视网膜图像处理的预处理环节应用，可有效确定视网膜图像中的病变点。
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
图3示出了本发明实施例提供的视网膜图像识别装置的框图结构示意图。
如图3所示，所述视网膜图像识别装置，包括：
采集单元31，用于获取视网膜图像；可选地，所述采集单元31，可以是专业的视网膜检查仪器，也可以是任意的具备图像采集功能的设备(例如手机摄像头)。
控制单元32，用于利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；以及，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果；
输出单元33，用于输出所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一；可选地，所述输出单元33可以是具有显示功能的设备，从而能够把所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一显示在屏幕上，以供用户进行观察；可选地，所述输出单元33也可以是扬声器，通过语音输出。
从上述实施例可以看出，本发明实施例提供的视网膜图像识别装置，通过利用第一神经网络模型进行视网膜图像分类，在图像分类结果满足预设条件时，利用第二神经网络模型进行视网膜图像分割，并根据图像分割结果，利用决策树模型，生成所述视网膜图像的识别结果；这样，利用第一神经网络模型和第二神经网络模型的搭配，在满足预设条件时利用第二神经网络模型进行第二次识别，从而能够提高整体的识别效率，并且，能够在满足预设条件时给出更具体的识别结果。
可选地，所述第一神经网络模型的基础为Inception V4模型，所述第一神经网络模型包括依次设置的输入层、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块、第一卷积层、第一同分布处理层、最大池化层、第二卷积层、第二同分布处理层和输出层；所述第一神经网络模型使用交叉熵函数作为损失函数。
可选地，所述控制单元32，用于：
获取所述视网膜图像对应的特征映射；
利用区域候选网络算法，从所述特征映射中得到多个感兴趣区域；
对每个所述感兴趣区域进行感兴趣区域对准处理，得到每个所述感兴趣区域的对准后特征映射；
利用基于全卷积网络的Faster RCNN算法对每个所述感兴趣区域的特征映射进行处理，得到每个所述感兴趣区域的分类、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模。
可选地，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
可选地，所述图像分类结果包括存在视网膜病变和不存在视网膜病变；所述图像分割结果包括所述感兴趣区域的分类、所述感兴趣区域的坐标位置和所述感兴趣区域的掩模；所述感兴趣区域的分类包括视网膜病变类型；所述预设条件为存在视网膜病变。
可选地，所述视网膜病变程度包括无病变、轻度病变，中度病变、重度病变、深度病变；所述视网膜病变类型包括微血管瘤、出血斑、棉绒斑、微血管异常、静脉串珠、视网膜前出血、新生血管；
所述控制单元32，用于：
利用所述决策树模型，根据所述感兴趣区域的分类，得到所述视网膜图像的视网膜病变程度；
根据所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，得到所述视网膜图像的病变位置和病变掩模；
生成包括视网膜病变程度、视网膜病变类型、病变位置和病变掩模的视网膜图像识别结果。
可选地，所述控制单元32，用于：
获取视网膜图像样本；
对视网膜图像样本进行标注，标注内容包括：视网膜病变程度和视网膜病变类型；其中，所述视网膜病变程度包括无病变、轻度病变，中度病变、重度病变、深度病变；所述视网膜病变类型包括微血管瘤、出血斑、棉绒斑、微血管异常、静脉串珠、视网膜前出血、新生血管；
将标注后的视网膜图像样本制作成训练数据集；
利用所述训练数据集训练所述第一神经网络模型、所述第二神经网络模型和所述决策树模型。
可选地，所述控制单元32，用于：
对所述视网膜图像样本进行图像数据增强处理；其中，所述图像数据增强处理的方法包括：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音中的至少一种。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器41、存储器42、输入/输出接口43、通信接口44和总线45。其中处理器41、存储器42、输入/输出接口43和通信接口44通过总线45实现彼此之间在设备内部的通信连接。
处理器41可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器42可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器42可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器42中，并由处理器41来调用执行。
输入/输出接口43用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口44用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线45包括一通路，在设备的各个组件(例如处理器41、存储器42、输入/输出接口43和通信接口44)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器41、存储器42、输入/输出接口43、通信接口44以及总线45，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种视网膜图像识别方法，包括：
获取视网膜图像；
利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；
若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；
根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
输出所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一。
3.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型的基础为Inception V4模型，所述第一神经网络模型包括依次设置的输入层、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块、第一卷积层、第一同分布处理层、最大池化层、第二卷积层、第二同分布处理层和输出层；所述第一神经网络模型使用交叉熵函数作为损失函数。
4.根据权利要求3所述的方法，其特征在于，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果，包括：
获取所述视网膜图像对应的特征映射；
利用区域候选网络算法，从所述特征映射中得到多个感兴趣区域；
对每个所述感兴趣区域进行感兴趣区域对准处理，得到每个所述感兴趣区域的对准后特征映射；
利用基于全卷积网络的Faster RCNN算法对每个所述感兴趣区域的对准后特征映射进行处理，得到每个所述感兴趣区域的分类信息、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模。
5.根据权利要求4所述的方法，其特征在于，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
6.根据权利要求4所述的方法，其特征在于，所述图像分类结果包括存在视网膜病变和不存在视网膜病变；所述图像分割结果包括所述感兴趣区域的分类、所述感兴趣区域的坐标位置和所述感兴趣区域的掩模；所述感兴趣区域的分类包括视网膜病变类型；所述预设条件为存在视网膜病变。
7.根据权利要求6所述的方法，其特征在于，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果，包括：
利用所述决策树模型，根据所述感兴趣区域的分类，得到所述视网膜图像的视网膜病变程度；
根据所述感兴趣区域的坐标位置和所述感兴趣区域的掩模，得到所述视网膜图像的病变位置和病变掩模；
生成包括视网膜病变程度、视网膜病变类型、病变位置和病变掩模的视网膜图像识别结果。
8.根据权利要求1所述的方法，其特征在于，还包括：
获取视网膜图像样本；
对视网膜图像样本进行标注；
将标注后的视网膜图像样本制作成训练数据集；
利用所述训练数据集训练所述第一神经网络模型、所述第二神经网络模型和所述决策树模型。
9.根据权利要求8所述的方法，其特征在于，还包括：
对所述视网膜图像样本进行图像数据增强处理；其中，所述图像数据增强处理的方法包括：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音中的至少一种。
10.一种视网膜图像识别装置，其特征在于，包括：
采集单元，用于获取视网膜图像；
控制单元，用于利用第一神经网络模型对所述视网膜图像进行分类，得到图像分类结果；若所述图像分类结果满足预设条件，利用第二神经网络模型对所述视网膜图像进行分割，得到图像分割结果；以及，根据所述图像分割结果，结合决策树模型，生成所述视网膜图像的识别结果；
输出单元，用于输出所述视网膜图像的图像分类结果、图像分割结果和识别结果中的至少其一。
11.根据权利要求10所述的装置，其特征在于，所述第一神经网络模型的基础为Inception V4模型，所述第一神经网络模型包括依次设置的输入层、基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块、平均池化模块、第一卷积层、第一同分布处理层、最大池化层、第二卷积层、第二同分布处理层和输出层；所述第一神经网络模型使用交叉熵函数作为损失函数。
12.根据权利要求11所述的装置，其特征在于，所述控制单元，用于：
获取所述视网膜图像对应的特征映射；
利用区域候选网络算法，从所述特征映射中得到多个感兴趣区域；
对每个所述感兴趣区域进行感兴趣区域对准处理，得到每个所述感兴趣区域的对准后特征映射；
利用基于全卷积网络的Faster RCNN算法对每个所述感兴趣区域的特征映射进行处理，得到每个所述感兴趣区域的分类、每个所述感兴趣区域的坐标位置和每个所述感兴趣区域的掩模。
13.根据权利要求12所述的装置，其特征在于，所述第二神经网络模型包括特征提取模块、感兴趣区域获取模块、对准模块和输出模块；所述特征提取模块用于获取所述视网膜图像对应的特征映射；
其中，所述特征提取模块通过以下方法获得：
从已经训练完成的所述第一神经网络模型中选择能够生成特征映射的模块；
将被选择的模块迁移到所述第二神经网络模型中作为所述特征提取模块；其中，被选择的模块包括基础卷积层模块、混合层模块、第一Inception模块、第二Inception模块、第三Inception模块中的至少一个。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。
15.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至9任一所述方法。
CN202010102291.0A 2020-02-19 2020-02-19 视网膜图像识别方法及装置、电子设备、存储介质 Pending CN111325725A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010102291.0A CN111325725A (zh) 2020-02-19 2020-02-19 视网膜图像识别方法及装置、电子设备、存储介质
PCT/CN2021/076185 WO2021164640A1 (zh) 2020-02-19 2021-02-09 视网膜图像识别方法及装置、电子设备、存储介质
US17/435,306 US11967181B2 (en) 2020-02-19 2021-02-09 Method and device for retinal image recognition, electronic equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102291.0A CN111325725A (zh) 2020-02-19 2020-02-19 视网膜图像识别方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111325725A true CN111325725A (zh) 2020-06-23

Family

ID=71165369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102291.0A Pending CN111325725A (zh) 2020-02-19 2020-02-19 视网膜图像识别方法及装置、电子设备、存储介质

Country Status (3)

Country Link
US (1) US11967181B2 (zh)
CN (1) CN111325725A (zh)
WO (1) WO2021164640A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651938A (zh) * 2020-12-24 2021-04-13 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
WO2021164640A1 (zh) * 2020-02-19 2021-08-26 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
CN114494196A (zh) * 2022-01-26 2022-05-13 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN116189209A (zh) * 2023-04-14 2023-05-30 浙江太美医疗科技股份有限公司 医疗文档图像分类方法和装置、电子设备和存储介质
CN117392551A (zh) * 2023-12-12 2024-01-12 国网江西省电力有限公司电力科学研究院 一种基于鸟粪图像特征的电网鸟害识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110298820A (zh) * 2019-05-28 2019-10-01 上海联影智能医疗科技有限公司 影像分析方法、计算机设备和存储介质
CN110570407A (zh) * 2019-08-29 2019-12-13 上海联影智能医疗科技有限公司 图像处理方法、存储介质及计算机设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330883A (zh) 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
JP2021507428A (ja) * 2017-10-13 2021-02-22 エーアイ テクノロジーズ インコーポレイテッド 眼科疾病及び障害の深層学習に基づく診断及び紹介
CN109840906A (zh) 2019-01-29 2019-06-04 太原理工大学 一种对乳腺x线图片进行分类处理的方法
EP3948773A1 (en) * 2019-03-29 2022-02-09 Ai Technologies Inc. Image-based detection of ophthalmic and systemic diseases
US11263747B2 (en) * 2019-04-26 2022-03-01 Oregon Health & Science University Detecting avascular areas using neural networks
CN110555845A (zh) 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
JP2022554161A (ja) * 2019-10-25 2022-12-28 エフ．ホフマン－ラ ロシュ アーゲー 将来の視力を予測するための機械学習技術
CN111325725A (zh) 2020-02-19 2020-06-23 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859184A (zh) * 2019-01-29 2019-06-07 牛旗 一种连续扫描乳腺超声图像的实时检测与决策融合方法
CN110298820A (zh) * 2019-05-28 2019-10-01 上海联影智能医疗科技有限公司 影像分析方法、计算机设备和存储介质
CN110570407A (zh) * 2019-08-29 2019-12-13 上海联影智能医疗科技有限公司 图像处理方法、存储介质及计算机设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164640A1 (zh) * 2020-02-19 2021-08-26 京东方科技集团股份有限公司 视网膜图像识别方法及装置、电子设备、存储介质
US11967181B2 (en) 2020-02-19 2024-04-23 Boe Technology Group Co., Ltd. Method and device for retinal image recognition, electronic equipment, and storage medium
CN112651938A (zh) * 2020-12-24 2021-04-13 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
CN112651938B (zh) * 2020-12-24 2023-12-19 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
CN114494196A (zh) * 2022-01-26 2022-05-13 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
WO2023143628A1 (zh) * 2022-01-26 2023-08-03 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN114494196B (zh) * 2022-01-26 2023-11-17 南通大学 基于遗传模糊树的视网膜糖尿病变深度网络检测方法
CN116189209A (zh) * 2023-04-14 2023-05-30 浙江太美医疗科技股份有限公司 医疗文档图像分类方法和装置、电子设备和存储介质
CN116189209B (zh) * 2023-04-14 2023-07-04 浙江太美医疗科技股份有限公司 医疗文档图像分类方法和装置、电子设备和存储介质
CN117392551A (zh) * 2023-12-12 2024-01-12 国网江西省电力有限公司电力科学研究院 一种基于鸟粪图像特征的电网鸟害识别方法及系统
CN117392551B (zh) * 2023-12-12 2024-04-02 国网江西省电力有限公司电力科学研究院 一种基于鸟粪图像特征的电网鸟害识别方法及系统

Also Published As

Publication number Publication date
WO2021164640A1 (zh) 2021-08-26
US11967181B2 (en) 2024-04-23
US20220383661A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
WO2021169128A1 (zh) 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111325725A (zh) 视网膜图像识别方法及装置、电子设备、存储介质
CN108764286B (zh) 一种基于迁移学习的血管图像中特征点的分类识别方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
JP7026826B2 (ja) 画像処理方法、電子機器および記憶媒体
Haj-Hassan et al. Classifications of multispectral colorectal cancer tissues using convolution neural network
US20150206022A1 (en) System and method for classifying a skin infection
Zhao et al. Improving retinal vessel segmentation with joint local loss by matting
CN111445478A (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN109919915B (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
US11978215B2 (en) Device and method for glaucoma auxiliary diagnosis, and storage medium
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
CN112927243B (zh) 一种基于卷积神经网络的微出血病灶分割方法
CN113313680B (zh) 一种结直肠癌病理图像预后辅助预测方法及系统
Boubakar Khalifa Albargathe et al. Blood vessel segmentation and extraction using H-minima method based on image processing techniques
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN114399510A (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
WO2019082202A1 (en) EARTHQUAKE IMAGE QUALITY ASSESSMENT SYSTEM
WO2021027329A1 (zh) 基于图像识别的信息推送方法、装置、及计算机设备
Intaramanee et al. Optic disc detection via blood vessels origin using Morphological end point
CN115829980A (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
Yang et al. Detection of microaneurysms and hemorrhages based on improved Hessian matrix
Jelinek et al. Quality control and multi-lesion detection in automated retinopathy classification using a visual words dictionary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination