CN110751637A - 糖尿病视网膜病变检测系统、方法、设备和训练系统 - Google Patents

糖尿病视网膜病变检测系统、方法、设备和训练系统 Download PDF

Info

Publication number
CN110751637A
CN110751637A CN201910971994.4A CN201910971994A CN110751637A CN 110751637 A CN110751637 A CN 110751637A CN 201910971994 A CN201910971994 A CN 201910971994A CN 110751637 A CN110751637 A CN 110751637A
Authority
CN
China
Prior art keywords
image
module
fundus image
fundus
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910971994.4A
Other languages
English (en)
Inventor
杨康
姜泓羊
张冬冬
代黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing To Real Internet Technology Co Ltd
Original Assignee
Beijing To Real Internet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing To Real Internet Technology Co Ltd filed Critical Beijing To Real Internet Technology Co Ltd
Priority to CN201910971994.4A priority Critical patent/CN110751637A/zh
Publication of CN110751637A publication Critical patent/CN110751637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请涉及一种糖尿病视网膜病变检测系统，包括质控模块和糖网判别模块：质控模块，被配置为获取影像采集装置当前采集到的眼底影像，对眼底影像进行质量判断；质控模块，还被配置为在判断出眼底影像的质量合格时，将眼底影像输入至糖网判别模块；糖网判别模块，被配置为接收眼底影像，对眼底影像进行检测，得到相应的检测结果，并对检测结果进行类别划分；通过在糖网判别模块之前增加质控模块，由质控模块对当前要进行检测眼底影像先进行质量判断，在判断出眼底影像的质量合格时再输入至糖网判别模块进行检测，避免了相关技术中直接进行检测所导致的检测结果不准确的情况，这也就有效提高了糖尿病视网膜病变检测结果的准确率。

Description

糖尿病视网膜病变检测系统、方法、设备和训练系统
技术领域
本申请涉及医学图像检测技术领域，尤其涉及一种糖尿病视网膜病变检测系统、方法、设备和训练系统。
背景技术
当今社会，随着人们生活水平的不断提高以及人口老龄化的日益加剧，糖尿病的患病率明显增加，成为威胁人类健康甚至生命的首要疾病，同时也是家庭、社会最常见、最繁重的疾病之一。近年来，以深度学习为代表的人工智能技术得到了显著的发展，其在医学影像诊断领域的应用也得到了越来越多的关注。将深度学习的方法应用于糖尿病视网膜的辅助诊断，有效提高了视网膜病变的诊断速度，但是相关技术中的基于深度学习的糖尿病视网膜检测方式，对视网膜的检测准确率还有待提高。
发明内容
有鉴于此，本申请提出了一种糖尿病视网膜病变检测系统，可以有效提高糖尿病视网膜病变检测的准确率。
根据本申请的一方面，提供了一种糖尿病视网膜病变检测系统，包括质控模块和糖网判别模块：
所述质控模块，被配置为获取影像采集装置当前采集到的眼底影像，对所述眼底影像进行质量判断；
所述质控模块，还被配置为在判断出所述眼底影像的质量合格时，将所述眼底影像输入至糖网判别模块；
其中，所述质量合格包括所述眼底影像的边缘不漏光，所述眼底影像的边缘亮度达到第一预设亮度，所述眼底影像的黄斑区亮度达到第二预设亮度，所述眼底影像的视盘位置处于预设位置范围内，所述眼底影像的视盘可见，所述眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种；
所述糖网判别模块，被配置为接收所述眼底影像，对所述眼底影像进行检测，得到相应的检测结果，并对所述检测结果进行类别划分；
其中，所述类别包括转诊类别和非转诊类别。
在一种可能的实现方式中，所述质控模块包括接收处理子模块和影像判别子模块；
所述接收处理子模块，被配置为接收获取所述影像采集装置当前采集到的眼底影像，并对所述眼底影像进行预处理；其中，所述预处理包括裁剪、缩放和归一化操作中的至少一种；
所述影像判别子模块，被配置为对经过预处理后的眼底影像进行质量判断，并在判断出所述眼底影像的质量合格时，将所述眼底影像输入至所述糖网判别模块；
其中，所述影像判别子模块包括可用于学习参数的深度学习模型；所述深度学习模型包括卷积神经网络，所述卷积神经网络中的分类的数目取值为2。
在一种可能的实现方式中，所述糖网判别模块包括输入图像子模块、第一预处理子模块、第二预处理子模块、特征提取子模块、特征融合子模块和分类子模块；
所述输入图像子模块，被配置为接收由所述质控模块发送的所述眼底影像；
所述第一预处理子模块，被配置为对所述眼底影像进行初级预处理，得到初级眼底影像；所述初级预处理包括裁剪和缩放中的至少一种操作；
所述第二预处理子模块，被配置为对所述初级眼底影像进行图像增强，并对增强后的眼底影像进行归一化操作，得到二级眼底影像；
所述特征提取子模块，被配置为获取所述眼底影像和所述二级眼底影像，基于所述眼底影像和所述二级眼底影像提取相应的特征；
所述特征融合子模块，被配置为对所述特征提取子模块提取到的所述特征进行融合，得到相应的检测结果；
所述分类子模块，被配置为根据预先设置的分类规则对所述检测结果进行类别划分；
其中，所述特征提取子模块包括可用于学习参数的深度学习模型特征提取器，所述模型特征提取器为卷积神经网络，所述卷积神经网络中分类的数目设置为2。
根据本公开的另一方面，还提供了一种网络模型训练系统，包括第一训练模块；
所述第一训练模块，被配置为对前面任一所述的糖尿病视网膜病变检测系统中的质控模块进行训练；
其中，所述第一训练模块包括第一构造子模块、预处理子模块、第一扩增子模块和第一训练子模块：
所述第一构造子模块，被配置为构造深度学习算法可训练的质控数据集；其中，所述质控数据集包括第一负样本数据集和第一正样本数据集；
所述第一负样本数据集包括标注为合格的眼底影像样本，所述第一正样本数据集包括标注为不合格的眼底影像样本；
所述第一负样本数据集中的样本数据量与所述第一正样本数据集中的样本数据量的比例为1:1；
所述预处理子模块，被配置为对所述第一负样本数据集中的样本数据和所述第一正样本数据集中的样本数据进行预处理操作；其中，所述预处理操作包括裁剪、缩放和归一化操作中的至少一种；
所述第一扩增子模块，被配置为由所述质控数据集中逐次选取一批样本数据，并对当前选取的样本数据均进行随机扩增；其中，所选取的每批样本数据中的样本数据量为32；
所述第一训练子模块，被配置为将扩增后的样本数据依次输入至预先设计的深度学习模型中，对所述深度学习模型进行训练；
其中，所述深度学习模型包括卷积神经网络，所述卷积神经网络中分类的数目设置为2。
在一种可能的实现方式中，所述第一扩增子模块包括标号生成单元和扩增单元；
所述标号生成单元，被配置为对当前选取的所述样本数据动态生成相应的标号；其中，每个标号对应一种图像扩增方法；所述图像扩增方法包括图像平移、图像旋转、图像亮度调整、图像对比度调整、图像中值滤波和图像均值滤波中的至少一种；
所述扩增单元，被配置为根据生成的所述标号，采用相应的图像扩增方法对所述样本数据进行扩增操作。
在一种可能的实现方式中，还包括第二训练模块；
所述第二训练模块，被配置为对前面任一所述的糖尿病视网膜病变检测系统中的糖网判别模块进行训练；
其中，所述第二训练模块包括第二构造子模块、初级预处理子模块、二级预处理子模块、第二扩增子模块、第二训练子模块、网络提取子模块、特征获取子模块和第三训练子模块；
所述第二构造子模块，被配置为构造深度学习算法可训练的判别数据集；所述判别数据集包括第二负样本数据集和第二正样本数据集；所述第二负样本数据集包括标注为非糖网的眼底影像，所述第二正样本数据集包括标注为糖网的眼底影像；
所述初级预处理子模块，被配置为对所述判别数据集中的各影像样本进行初级预处理，得到初级影像样本；所述初级预处理包括裁剪和缩放中的至少一种操作；
所述二级预处理子模块，被配置为对各所述初级影像样本进行图像增强，并将增强后的影像样本进行归一化操作，得到二级影像样本；
所述二级预处理子模块，还被配置为将各所述二级影像样本存储至所述判别数据集中，作为用于训练预先设计的模型特征提取器的训练数据集；
所述第二扩增子模块，被配置为由所述训练数据集中的逐批选取影像样本，对当前选取的各影像样本进行随机扩增；其中，所选取的每批影像样本的样本数量为32；扩增后的影像样本集包括扩增处理后的原始影像样本和扩增处理后的二级影像样本；
所述第二训练子模块，被配置为将扩增后的影像样本集输入至所述模型特征提取器中，对所述模型特征提取器进行训练；
所述网络提取子模块，被配置为利用训练好的所述模型特征提取器，通过获取从第一个卷积层到最后一个全局平均池化层的网络部分，形成网络模型特征提取器；
所述特征获取子模块，被配置为将所述训练数据集中的影像样本按照原始影像样本和二级影像样本组成一对的方式，生成四维的张量，依次通过所述模型特征提取器，获取图像对的特征；
所述第三训练子模块，被配置为利用获取的所述图像对的特征作为特征融合模块的输入，对所述特征融合模块进行训练，得到相应的分类器。
在一种可能的实现方式中，所述二级预处理子模块包括第一增强单元和第二增强单元；
所述第一增强单元，被配置为采用第一图像增强算法对各所述初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第一增强影像样本；
所述第二增强单元，被配置为采用第二图像增强算法对各所述初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第二增强影像样本；
其中，所述第一图像增强算法为：限制对比度自适应直方图均衡增强算法；所述限制对比度自适应直方图均衡增强算法中，将影像样本划分为m行n列个小方块，其中，m的取值为6，n的取值为6；所述限制对比度自适应直方图均衡增强算法中的截取阈值T的取值为2.55；
所述第二图像增强算法为：采用公式：
output(x，y)＝4*I(x，y)-4*Gaussion(x，y，ρ)+128进行图像增强；
其中，x为所述影像样本中各像素的横向坐标，y为所述影像样本中各像素的纵向坐标，Gaussion(x，y，ρ)表示标准差为ρ的高斯滤波，ρ的取值为17。
根据本公开的一方面，还提供了一种糖尿病视网膜病变检测方法，采用前面任一所述的糖尿病视网膜病变检测系统执行，包括：
质控模块获取影像采集装置当前采集到的眼底影像，对所述眼底影像进行质量判断；
在所述质控模块判断出所述眼底影像的质量合格时，将所述眼底影像输入至糖网判别模块；
其中，所述质量合格包括所述眼底影像的边缘不漏光，所述眼底影像的边缘亮度达到第一预设亮度，所述眼底影像的黄斑区亮度达到第二预设亮度，所述眼底影像的视盘位置处于预设位置范围内，所述眼底影像的视盘可见，所述眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种；
所述糖网判别模块接收所述眼底影像，对所述眼底影像进行检测，得到相应的检测结果，并对所述检测结果进行类别划分；
其中，所述类别包括转诊类别和非转诊类别。
根据本申请的一方面，还提供了一种糖尿病视网膜病变检测设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面所述的方法。
根据本申请的一方面，还提供一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前面所述的方法。
本申请的糖尿病视网膜病变检测系统，通过在糖网判别模块之前增加质控模块，由质控模块对当前要进行检测眼底影像先进行质量判断，在判断出眼底影像的质量合格时再输入至糖网判别模块进行检测，避免了相关技术中直接进行检测所导致的检测结果不准确的情况，这也就有效提高了糖尿病视网膜病变检测结果的准确率。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出本申请实施例的糖尿病视网膜病变检测系统的结构框图；
图2示出本申请实施例的糖尿病视网膜病变检测系统的另一结构框图；
图3示出采用本申请实施例的糖尿病视网膜病变检测系统进行视网膜检测时，具有四个区域的眼底影像图；
图4示出左眼的眼底影像中视盘的合理范围；
图5示出右眼的眼底影像中视盘的合理范围；
图6示出眼底影像的边缘漏光的眼底图；
图7示出眼底影像的边缘过暗的眼底图；
图8示出眼底影像中的黄斑区域过暗的眼底图；
图9示出眼底影像中的视盘位置不正的眼底图；
图10示出眼底影像中的视盘不可见的眼底图；
图11示出眼底影像中四个区域均不可见的眼底图；
图12示出本申请实施例的糖尿病视网膜病变检测系统中的糖网判别模块的结构框图；
图13示出本申请实施例的糖尿病视网膜病变检测方法的流程图；
图14示出本申请实施例的处理器的结构框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
首先说明的是，在本申请的糖尿病视网膜病变检测系统中所检测的眼底影像可以为图像，图像可以为彩色图像，同时图像的格式不进行具体限定，还可以为视频。在眼底影像为视频时，可以通过对眼底影像进行一帧一帧的提取，将提取出来的每一帧作为一个被检测对象。
图1示出根据本申请一实施例的糖尿病视网膜病变检测系统100的结构框图。如图1所示，该糖尿病视网膜病变检测系统100包括质控模块110和糖网判别模块120。其中，质控模块110，被配置为获取影像采集装置130当前所采集到的眼底影像，并对眼底影像进行质量判断。此处，本领域技术人员可以理解的是，影像采集装置130可以为眼底相机，还可以为其他影像采集设备。此处不进行限定。即，通过影像采集装置130采集眼底影像，并将采集到的眼底影像上传至质控模块110。质控模块110接收影像采集装置130上传的眼底影像后，对接收到的眼底影像进行质量判断。需要指出的是，质控模块110对眼底影像进行质量判断指的是对眼底影像的清晰度进行判断。在判断出眼底影像的质量合格时，表明眼底影像的清晰度满足要求，此时则将该眼底影像传输至糖网判别模块120，由糖网判别模块120接收该眼底影像，并对该眼底影像进行检测得到相应的检测结果，同时对检测结果进行类别划分。
此处，需要指出的是，在对检测结果进行类别划分时，类别包括转诊类别和非转诊类别。其中，按照糖尿病视网膜病变国际临床分级标准，视网膜病变被分为5期，分别为无明显DR、轻度非增生型DR、中度非增生型DR、重度非增生型DR和增生型DR。在本申请的糖尿病视网膜病变检测系统100中，按照转诊类别和非转诊类别的分类方式，将无明显DR、轻度非增生型DR划分为非转诊类别，将中度非增生型DR、重度非增生型DR和增生型DR划分为转诊类别，从而使得检测结果更加直观。
由此，本申请的糖尿病视网膜病变检测系统100，通过在糖网判别模块120之前增加质控模块110，由质控模块110对当前要进行检测眼底影像先进行质量判断，在判断出眼底影像的质量合格时再输入至糖网判别模块120进行检测，避免了相关技术中直接进行检测所导致的检测结果不准确的情况，这也就有效提高了视网膜检测结果的准确率。
其中，需要指出的是，在本申请的糖尿病视网膜病变检测系统100中，质控模块110对眼底影像进行质量判断时，主要是对眼底影像的清晰度进行判断。即，眼底影像的清晰度达标，则眼底影像的质量合格。眼底影像的清晰度不达标，则眼底影像的质量不合格。
其中，眼底影像的清晰度达标主要包括：眼底影像的边缘不漏光、眼底影像的边缘亮度达到第一预设亮度，眼底影像的黄斑区亮度达到第二预设亮度，眼底影像的视盘位置处于预设位置范围内，眼底影像的视盘可见，眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种。
举例来说，质控模块对当前获取的眼底影像进行质量判断时，对当前所获取到的眼底影像进行边缘是否漏光，边缘亮度是否达到第一预设亮度(即，边缘是否过暗)，眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓是否均可见，黄斑区亮度是否达到第二预设亮度(即，黄斑区是否过暗)，视盘是否可见，视盘位置是否处于预设位置范围内进行判断。当判断出当前的眼底影像均满足上述条件时，则可以判断该眼底影像质量合格。在判断出当前的眼底影像不满足上述任一条件时，则可以判定该眼底影像质量不合格。
同时，在质控模块110判断出当前获取的眼底影像不符合条件，即质量不合格时，作为一种可能的实现方式，质控模块110可以发送质量不合格的指令至相关人员，以使相关人员控制影像采集装置130重新采集眼底影像。或者是，质控模块110直接发送重新采集影像的指令至影像采集装置130，由影像采集装置130自动重新采集眼底影像。
另外，在一种可能的实现方式中，参阅图2，在本申请的糖尿病视网膜病变检测系统100中，影像采集装置130还可以作为数据的采集端，直接与眼底相机等眼底影像采集设备相连接以采集眼底影像数据，也可以采集在其他设备上已预先存储的眼底影像数据。对于眼底影像数据的来源，可以来自眼底相机、也可以来自网络，还可以来自本地存储等，此处不进行具体限定。
进一步的，根据前面所述，质量合格的眼底影像指的是眼底影像清晰可见。其中，参阅图3，眼底影像清晰可见可以包括眼底影像中视盘区、黄斑区、上方视网膜血管弓和下方视网膜血管弓四个区域明显可见。还可以包括眼底影像的边缘不漏光、眼底影像的边缘亮度达到第一预设亮度，眼底影像的黄斑区亮度达到第二预设亮度，眼底影像的视盘位置处于预设位置范围内，眼底影像的视盘可见等。其中，第一预设亮度、第二预设亮度和预设位置范围可以根据实际情况进行灵活设置。
其中，需要指出的是，第一预设亮度和第二预设亮度可以由研发人员根据实际情况和经验进行设置，此处不进行具体限定。同时，预设位置范围则可以针对不同眼别(即，左眼和右眼)分别设置不同的合理范围。
如：参阅图4和图5，分别示出了左眼的视盘合理范围和右眼的视盘的合理范围。其中，左眼的眼底影像中的视盘合理范围(即，预设位置范围)为视盘落在图像水平方向1/3～2/3区域内，且垂直方向在图像1/3区域内。右眼的眼底影像中的视盘合理范围(即，预设位置范围)为视盘落在图像水平方向1/3～2/3区域内，且垂直方向在图像2/3区域外。
对于质量不合格的眼底影像则可以包括以下几种情况，分别是眼底影像的边缘漏光、眼底影像的边缘过暗(即，边缘亮度未达到第一预设亮度)、眼底影像中的黄斑区亮度过暗(即，边缘亮度未达到第二预设亮度)、眼底影像的视盘位置不正(即，视盘位置未处于预设位置范围内)、眼底影像中的四个区域不可见等。
如：参阅图6，为眼底影像的边缘漏光的眼底图；参阅图7，为眼底影像的边缘过暗的眼底图；参阅图8，为眼底影像中黄斑区过暗的眼底图；参阅图9，为眼底影像中的视盘位置不正的眼底图；参阅图10，为眼底影像中的视盘不可见的眼底图；参阅图11，为眼底影像中的四个区域不可见的眼底图。图6至图11均为质量不合格的眼底影像示例。
进一步的，在一种可能的实现方式中，质控模块110可以包括接收处理子模块和影像判别子模块(图中未示出)。其中，接收处理子模块，被配置为接收获取影像采集装置130当前采集到的眼底影像，并对眼底影像进行预处理。此处，需要说明的是，预处理可以包括裁剪、缩放和归一化操作中的至少一种。如：接收处理子模块在对眼底影像进行预处理时，可以对眼底影像依次进行裁剪，缩放和归一化操作。
影像判别子模块，则被配置为对经过预处理后的眼底影像进行质量判断，并在判断出眼底影像的质量合格时，将眼底影像输入至糖网判别模块120。其中，应当指出的是，在本申请的糖尿病视网膜病变检测系统100中，影像判别子模块可以采用可用于学习参数的深度学习模型来实现。即，影像判别子模块包括可用于学习参数的深度学习模型。其中，深度学习模型为卷积神经网络。在本申请中，卷积神经网络中分类的数目由1000重新设置为2。
由此，在采用上述质控模块110的实现方式进行糖尿病视网膜病变检测时，将当前需要检测的眼底影像输入至接收处理子模块，由接收处理子模块对当前需要检测的眼底影像进行裁剪、缩放和图像归一化操作后，再输入至训练完成的网络模型(影像判别子模块)中，由影像判别子模块对眼底影像进行质量判断，即可获得该眼底影像是否属于低质量图像的结果。
在质控模块110对眼底影像进行质量判断，判断出眼底影像的质量合格后，即可将眼底影像输入至糖网判别模块120，由糖网判别模块120对眼底影像进行检测。其中，参阅图12，在一种可能的实现方式中，糖网判别模块120包括输入图像子模块121、第一预处理子模块122、第二预处理子模块123、特征提取子模块124、特征融合子模块125和分类子模块126。
其中，输入图像子模块121，被配置为接收由质控模块110发送的眼底影像。第一预处理子模块122，被配置为对眼底影像进行初级预处理，得到初级眼底影像；初级预处理包括裁剪和缩放中的至少一种。第二预处理子模块123，被配置为对初级眼底影像进行图像增强，并对增强后的眼底影像进行归一化操作，得到二级眼底影像。特征提取子模块124，被配置为获取眼底影像和二级眼底影像，基于眼底影像和二级眼底影像提取相应的特征。特征融合子模块125，被配置为对特征提取子模块124提取到的特征进行融合，得到相应的检测结果。分类子模块126，被配置为根据预先设置的分类条件对检测结果进行类别划分。其中，特征提取子模块124包括可用于学习参数的深度学习模型特征提取器，模型特征提取器为卷积神经网络，卷积神经网络中分类的数目设置为2。
即，本申请的糖尿病视网膜病变检测系统100中，糖网判别模块120通过设置第一预处理子模块122和第二预处理子模块123，由第一预处理子模块122对质量合格的眼底影像进行裁剪和缩放，得到相应的初级眼底影像。进而，再由第二预处理子模块123对初级眼底影像进行图像增强，并对增强后的眼底影像进行归一化操作，得到二级眼底影像。从而将处理后得到的眼底影像(即，二级眼底影像)和未作图像增强处理的初始的眼底影像均作为被检测对象输入至特征提取子模块124，由特征提取子模块124进行相应特征的提取，进而再由特征融合子模块125进行融合检测。即可获得该眼底影像是否属于糖尿病视网膜病变的结果。这就实现了多输入图像到单个网络模型中的目的，从而实现了多维特征的提取功能，这也就有效提高了算法分类的准确性，从而更进一步地提高了眼底影像检测的准确率。
更进一步地，第二预处理子模块123对初级眼底影像进行图像增强处理时，在一种可能的实现方式中，可以采用两种增强方式分别对初级眼底影像进行增强。即，二级眼底影像的数量包括两张图像，每张图像对应一种增强方式。
也就是说，参阅图12，在本申请中，第二预处理子模块123包括第一处理单元和第二处理单元(图中未示出)。其中，第一处理单元被配置为采用第一图像增强算法对各初级眼底影像进行图像增强，并对增强后的初级眼底影像进行归一化操作，得到第一增强眼底影像(即，图像2)。第二处理单元，被配置为采用第二图像增强算法对各初级眼底影像进行图像增强，并对增强后的眼底影像进行归一化操作，得到第二眼底影像(即，图像3)。
由此，通过采用上述方式得到第一眼底影像和第二眼底影像后，再将第一眼底影像、第二眼底影像和未做增强处理的初级眼底影像(即，初始的眼底影像)均作为输入图像，输入至训练好的网络模型(即，特征提取子模块124)中进行特征提取及后续的特征融合检测。同时，在进行上述三张图像的特征提取时，可借助GPU的并行计算，一次性的通过模型特征提取器获取特征，这也就保证了在使用单个模型，在有限的时间内，能够提取到更多特征的能力。
需要说明的是，第一图像增强算法可以为：限制对比度自适应直方图均衡增强算法。其中，在该算法中涉及两个参数，一个参数是控制图像被分成m行n列个小方块，另一个参数是截取阈值T。通过两个参数的配合，可以控制图像被增强的程度。
在本申请中，采用限制对比度自适应直方图均衡增强算法进行初级眼底影像的增强处理时，将初级眼底影像划分为m行n列个小方块，其中，m的取值为6，n的取值为6；截取阈值T的取值为2.55。
第二图像增强算法则可以为：采用下述公式进行图像增强：
output(x，y)＝4*I(x，y)-4*Gaussion(x，y，ρ)+128 (1)
其中，x为初级眼底影像中各像素的横向坐标，y为初级眼底影像中各像素的纵向坐标，Gaussion(x，y，ρ)表示标准差为ρ的高斯滤波，ρ的取值为17。
采用第二图增强算法对图像进行增强，增强后病灶与背景的对比度增加，且该方法采用滤波操作，能够抑制图像中的噪声干扰。
更进一步地，参阅图2，在通过上述任一种方式对眼底影像进行检测识别后，即可将检测结果(即，当前正在检测的眼底影像是否属于糖尿病视网膜病变眼底)输出至第一输出装置140。即，本申请的糖尿病视网膜病变检测系统100还包括第一输出装置140。该第一输出装置140被配置为显示糖网判别模块120输出的检测结果。
其中，在一种可能的实现方式中，由于糖尿病视网膜病变被分为5期(即，无明显DR、轻度非增生型DR、中度非增生型DR、重度非增生型DR和增生型DR)，因此糖网判别模块120对检测结果进行类别划分时，可以根据预先设置的分类条件对检测结果进行类别划分。其中，无明显DR和轻度非增生型DR划分为非转诊类别，中度非增生型DR、重度非增生型DR和增生型DR则划分为转诊类别。其中，转诊类别可以采用DR+表示，非转诊类别则采用DR-表示。由此，糖网判别模块120在输出检测结果时，可以根据检测结果添加DR+或DR-标记，以实现对检测结果的类别划分。并且，通过符号表征不同的类别，标记简单，易于实现。
相应的，第一输出装置140在进行检测结果的显示时，也可同时显示出类别标记，即，从而使得检测结果更加直观。
另外，还需要指出的是，糖网判别模块120的输出结果也可以只包含对检测结果进行类别划分之后的类别结果。即，类别标记信息。
如：在糖网判别模块120检测出当前正在检测的眼底影像为无明显DR时，则根据该检测结果按照类别划分对应关系(即，预设的分类规则)输出结果可以直接为DR-；对应的，第一输出装置140直接显示DR-标识。在糖网判别模块120检测出当前正在检测的眼底影像为中度非增生型DR时，则根据该检测结果按照上述分类规则输出结果为DR+，第一输出装置140直接显示DR+标识。
此处，本领域技术人员可以理解的是，本申请中的第一输出装置140可以为显示器，打印机等，此处不进行具体限定。
由此，本申请的糖尿病视网膜病变检测系统100，通过质控模块110对输入的眼底影像数据做质量判断，一方面可以提高糖网判别模块120识别疾病的准确率，另外一方面也可对实时筛查或诊断过程中采集的不合格眼底影像，及时提醒拍摄技师对患者重新采集眼底影像，进而也可以提高筛查或者诊断的准确率。同时，采用多图像输入的方式，利用一个CNN模型，达到了利用多个CNN模型提取多维特征的效果，这不仅降低了算法设计的复杂度，同时由于只需要对一个模型进行操作，也降低了模型对GPU资源的占用以及缩短了算法执行的时间。最后，本方案对于多输入图像通过模型特征提取器提取到的特征做了集成融合，有效的提高了算法分类的准确性。
进一步的，根据前面所述，在本申请的糖尿病视网膜病变检测系统100中，由于质控模块110和糖网判别模块120均包括神经网络模型，因此在采用本申请的糖尿病视网膜病变检测系统100进行眼底影像的检测时，需要对质控模块110和糖网判别模块120中各自的网络模型进行训练，待训练完成后即可使用。
因此，基于上述任一种糖尿病视网膜病变检测系统100的工作原理，本申请还提供了一种网络模型训练系统。其中，本申请的网络模型训练系统包括第一训练模块。第一训练模块，被配置为对前面任一所述的本申请的糖尿病视网膜病变检测系统100中的质控模块110进行训练。在一种可能的实现方式中，第一训练模块包括第一构造子模块、预处理子模块、第一扩增子模块和第一训练子模块。
具体的，第一构造子模块，被配置为构造深度学习算法可训练的质控数据集；其中，质控数据集包括第一负样本数据集和第一正样本数据集。第一负样本数据集包括标注为合格的眼底影像样本，第一正样本数据集包括标注为不合格的眼底影像样本，包括前面所述的眼底影像的边缘漏光、边缘过暗、黄斑区不可见、视盘位置不正、视盘不可见、四个区域均不可见的至少一种情况。同时，还应当指出的是，本申请中采用的质控数据集中的样本数据均经过专业眼科标注，并且第一负样本数据集中的样本数据量与第一正样本数据集中的样本数据量的比例可以设置为1:1。
预处理子模块，被配置为对第一负样本数据集中的样本数据和第一正样本数据集中的样本数据进行预处理操作。即，预处理子模块主要是用于对质控数据集中的各样本数据进行预处理操作。其中，需要说明的是，预处理操作包括裁剪、缩放和归一化操作中的至少一种。这是由于不同采集设备采集到的眼底影像保存格式不尽相同，为了避免无关区域对模型训练过程中的干扰，需要对眼底影像进行裁剪。裁剪之后将眼底影像统一缩放为固定尺寸，方便后续的网络模型训练。归一化操作则主要是为了加速模型训练过程中的收敛速度。其中，在本申请中，对各样本数据(即，各眼底影像)进行归一化操作时，可以采用最大最小标准化、单位标准方差、减去均值等方式。如：在对各样本数据进行归一化操作时，可以采用减去均值的方式来加速网络的收敛速度。
在对质控数据集中的各样本数据均进行预处理操作之后，即可设计可用于学习参数的深度学习模型，以便于后续采用预处理操作之后的各样本数据对深度学习模型进行模型训练。此处，需要指出的是，在本申请中，深度学习模型可以采用目前比较成熟的卷积神经网络(Convolutional Neural Network，CNN)。卷积神经网络一般包括卷积、池化、Relu操作，还可以包括防止模型过度拟合的BN(batch normalization)操作、drop out操作以及防止梯度消失的残差网络等。可选用的卷积神经网络包括但不限于Googlenet、VGG16、Resnet网络等。在本申请中，选用Resnet网络来训练数据，通过将原网络中分类的数据1000改成当前的分类数目2来达到分类的目的。
第一扩增子模块，被配置为由质控数据集中逐次选取一批样本数据，并对当前选取的样本数据均进行随机扩增。其中，在一种可能的实现方式中，所选取的每批样本数据中的样本数据量可以设置为32。即，每次由质控数据集中选取32张样本数据，并对所选取的32张样本数据均进行随机扩增。
第一训练子模块，被配置为将扩增后的样本数据依次输入至预先设计的深度学习模型中，对深度学习模型进行训练。
即，在本申请中，对深度学习模型进行模型训练时包括两部分。其中，一部分为模型参数的设置，另外一部分则为训练过程中的样本数据的动态扩增。部分模型参数使用已经在ImageNet上面训练好的模型参数来初始化，剩余参数采用Xaiber参数初始化方法、损失函数使用Softmax交叉熵损失函数，优化方式采用Adam优化方法，学习速率开始设置为0.001，每过50个批次，学习速率降低为原来的1/10。模型在训练过程中会每次选取一个批次的样本数据进行训练。其中，在本申请中，每个批次中的样本数据的数据量可以设置为32。
同时，在将样本数据输入至网络模型中之前，需要对读取至内存中的样本数据进行随机扩增。其中，在一种可能的实现方式中，第一扩增子模块包括标号生成单元和扩增单元。标号生成单元，被配置为对当前选取的样本数据动态生成相应的标号；其中，每个标号对应一种图像扩增方法。图像扩增方法包括图像平移、图像旋转、图像亮度调整、图像对比度调整、图像中值滤波和图像均值滤波中的至少一种。扩增单元，被配置为根据生成的标号，采用相应的图像扩增方法对样本数据进行扩增操作。
也就是说，在本申请的网络模型训练方法中，是在将数据输入到网络模型之前，对读取到内存中的数据进行随机扩增，具体方法为对每一张图片动态生成一个标号，每个标号对应一种图像扩增方法，在同一批次内的数据会对应到多种扩增方法，并且下次再处理同一张图像时，由于前后所产生的标号不一样，对应的扩增方法也不一样，这就极大地丰富了训练数据的多样性，避免了网络模型在训练过程中过拟合或欠拟合现象的发生。
其中，应当指出的是，对每一张图像动态生成标号的方式可以采用现有的标记生成算法来实现。如：随机生成一个正整数，然后利用该正整数对所使用的扩增方法的个数取余，得到的余数即为生成的标号。此处不再进行赘述。
在对该网络模型训练完成之后，还可以增加模型推理过程。即，给定一张彩色眼底影像，将该眼底影像输入至质控模块110，通过图像裁剪、图像缩放和图像归一化操作之后，再输入至训练完成的网络模型(即，影像判别模块)中，即可获得该眼底影像是否属于低质量图像的结果，从而实现对训练完成的网络模型的准确性的验证。
进一步的，在本申请的网络模型训练系统中，还包括第二训练模块。第二训练模块，被配置为对前面任一所述的糖尿病视网膜病变检测系统100中的糖网判别模块120进行训练。其中，在一种可能的实现方式中，第二训练模块包括第二构造子模块、初级预处理子模块、二级预处理子模块、第二扩增子模块、第二训练子模块、网络提取子模块、特征获取子模块和第三训练子模块。
其中，第二构造子模块，被配置为构造深度学习算法可训练的判别数据集。判别数据集包括第二负样本数据集和第二正样本数据集。第二负样本数据集包括标注为非糖网的眼底影像。这里需要说明的是，非糖网的眼底影像除了糖尿病视网膜病变国际临床分级标准中的无明显DR和轻度非增生型DR类别外，还可以包括跟糖尿病相关的一些疾病，包括但不限于年龄相关性黄斑变性、息肉样脉络膜血管病变、高度近视黄斑病变、视网膜动脉阻塞、视网膜静脉阻塞、视网膜静脉周围炎、Coats病、高血压性视网膜病变、视网膜脱离、视网膜色素变性、视网膜母细胞瘤等其他眼底病变。第二正样本数据集包括标注为糖网的眼底影像，包括糖尿病视网膜病变国际临床分级标准中的中度非增生型DR、重度非增生型DR和增生型DR三个类别。
其中，还需要指出的是，本申请的网络模型训练系统中所采用的判别数据集中的影像样本均经过专业眼科标注，并且，第二负样本数据集中的数据量与第二正样本数据集中的数据量之间的比例也可设置为1:1。
初级预处理子模块，被配置为对判别数据集中的各影像样本进行初级预处理，得到初级影像样本。初级预处理包括裁剪和缩放中的至少一种操作。如：可对输入的影像样本依次进行裁剪和缩放。这是由于不同的采集设备采集到的影像样本保存方式不尽相同，为了避免无关区域对模型训练过程中的干扰，对影像样本做了裁剪操作，裁剪之后将图像统一缩放为固定尺寸，方便后续网络的训练。
二级预处理子模块，被配置为对各初级影像样本进行图像增强，并将增强后的影像样本进行归一化操作，得到二级影像样本。同时，二级预处理子模块，还被配置为将各二级影像样本存储至判别数据集中，作为用于训练预先设计的模型特征提取器的训练数据集。
其中，在一种可能的实现方式中，二级预处理子模块包括第一增强单元和第二增强单元。第一增强单元，被配置为采用第一图像增强算法对述初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第一增强影像样本。此处，还需要指出的是，第一图像增强算法为：限制对比度自适应直方图均衡增强算法；限制对比度自适应直方图均衡增强算法中，将影像样本划分为m行n列个小方块，其中，m的取值为6，n的取值为6；限制对比度自适应直方图均衡增强算法中的截取阈值T的取值为2.55。
第二增强单元，被配置为采用第二图像增强算法对各初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第二增强影像样本。其中，需要指出的是，第二图像增强算法为：采用公式：
output(x，y)＝4*I(x，y)-4*Gaussion(x，y，ρ)+128进行图像增强；
其中，x为影像样本中各像素的横向坐标，y为影像样本中各像素的纵向坐标，Gaussion(x，y，ρ)表示标准差为ρ的高斯滤波，ρ的取值为17。
通过对经过裁剪和缩放后的图像分别运用两种算法进行图像增强，对图像做两种增强的目的是通过不同维度的增强方法，使得糖网的特征更明显，病灶更容易识别，特别是对微血管瘤、出血以及渗出的增强效果更明显。对增强后的图像(即，二级影像样本)再分别执行归一化操作，归一化操作主要是为了加速模型训练过程中的收敛速度。其中，在本申请中，归一化方式可以采用最大最小标准、单位标准方差、减去均值等，此处不进行限定。
同时，此处所述的特征提取器为可用于学习参数的深度学习模型特征提取器。本申请中采用卷积神经网络。一般包括卷积、池化、Relu操作，还可以包括模型过拟合的BN操作、drop out操作以及防止梯度消失的残差网络等。所采用的卷积神经网络包括但不限于inception_v3、Densenet、Resnet深层网络等。如：可以采用SENet网络来训练数据。SENet网络可以很方便的加入到残差网络结构中，也可以很方便的加入到inception网络结构内，并且加入了通道权重因子，具有比较强大的特征提取能力。同时，本申请中将原网络中分类的数目1000修改为当前的分类数目2来达到训练一个特征提取器的目的。
第二扩增子模块，被配置为由训练数据集中的逐批选取影像样本，对当前选取的各影像样本进行随机扩增。其中，所选取的每批影像样本的样本数量为32；扩增后的影像样本集包括扩增处理后的原始影像样本和扩增处理后的二级影像样本。
此处，应当指出的是，此时训练数据集中的训练数据包括两次增强后的影像样本和原始的影像样本(即，未进行增强处理的影像样本)，共同作为模型训练的样本数据。其中，训练包括两部分，一部分为模型参数的设置，另一部分为训练过程中数据的动态扩增。
部分模型参数使用已经在ImageNet上面训练好的模型参数来初始化，剩余参数使用Xaiver参数初始化方法。损失函数使用Softmax交叉熵损失函数，此处在交叉熵损失函数中对每一个类别的损失加入了权重因子，用来解决数据分布不平衡问题，每一类权重因子的大小与该类数据量多少正好成反比，数据量小的分类对其权重设置大一些，对应的得到的损失也就大一些。优化方式采用Adam优化方法，学习速率开始设置为0.001，每过100个epoch，学习速率降低为原来的1/10。模型在训练过程中会每次选取一个批次的影像样本数据进行训练，本申请中每批次的样本数据量设置为32。在将数据输入到网络之前，本方案对读取到内存中的数据做了随机扩增。其中，扩增方式与第一训练模块中训练质控模块110中所采用的方式相同或相似，此处不再进行赘述。
第二训练子模块，被配置为将扩增后的影像样本集输入至模型特征提取器中，对模型特征提取器进行训练。
网络提取子模块，被配置为利用训练好的模型特征提取器，通过获取从第一个卷积层到最后一个全局平均池化层的网络部分，形成网络模型特征提取器。
其中，在本申请中，网络输入图像尺寸固定为512×512×3，全局平均池化层输出为2048维的特征向量。同理输入对应增强后的两张影像样本，也可获取对应的两个2048维的特征向量，三个特征向量组合可组合为2048×3的矩阵。这里需要特别指出的是2048×3的特征矩阵不是按照每一张影像样本依次通过模型特征提取器获取的，而是三张影像样本组成大小为3×512×512×3的张量，借助GPU的并行计算，一次性的通过模型特征提取器获取的，这保证了在使用单个模型，在有限的时间内，能够提取到更多特征的能力。
特征获取子模块，被配置为将训练数据集中的影像样本按照原始影像样本和二级影像样本组成一对的方式，生成四维的张量，依次通过所述模型特征提取器，获取图像对的特征。
即，将训练集中所有的数据，按照原始图像(即，未做增强处理的影像样本)，增强图像1(采用第一图像增强方法做增强处理的影像样本)，增强图像2(采用第二图像增强方法做增强处理的影像样本)组成一对的方式，生成四维的张量，依次通过网络模型特征提取器，可以获取所有图像对的特征，该部分提取的特征做为特征融合模块的输入。
第三训练子模块，被配置为利用获取的图像对的特征作为特征融合模块的输入，对特征融合模块进行训练，得到相应的分类器。
即，利用分类器对特征做进一步训练，此处的分类器包括但不限于SVM、线性回归、BP神经网络、CNN等。在本方案中，分类器采用简单的CNN模型，包括两个简单的卷积层和一个全连接层。参数使用Xaiver参数初始化方法。损失函数使用Softmax交叉熵损失函数，优化方式采用Adam优化方法，学习速率开始设置为0.001，每过50个epoch，学习速率降低为原来的1/10。模型在训练过程中会每次选取一个批次的样本数据进行训练，本申请中每批次的样本数据量设置为32。
在对该网络模型训练完成之后，同样还可以增加模型推理过程，以验证训练完成后的网络模型的准确性。即，给定一张彩色眼底影像，首先对图像进行裁剪和缩放，接着对图像做两种方式的增强，然后对增强图像做归一化操作，进而将处理后的图像对输入到整个的网络模型中，即可获得该眼底影像是否属于糖网的结果。
由此，本申请的网络模型训练系统，通过动态数据扩增技术，解决了训练数据不足的问题，丰富了训练数据的多样性，并且在动态数据扩增的过程中，直接实现在内存当中执行不同方式的扩增方法，减少了对本地磁盘资源的占用。采用多图像输入的方式，利用一个CNN模型，达到了利用多个CNN模型提取多维特征的效果，这不仅降低了算法设计的复杂度，同时由于只需要对一个模型进行操作，也降低了模型对GPU资源的占用以及缩短了算法执行的时间。最后，本方案对于多输入图像通过模型特征提取器提取到的特征做了集成融合，有效的提高了算法分类的准确性。
相应的，基于前面任一所述的糖尿病视网膜病变检测系统100的工作原理，本申请还提供了一种糖尿病视网膜病变检测方法。由于本申请提供的糖尿病视网膜病变检测方法的原理与本申请的糖尿病视网膜病变检测系统100的工作原理相同或相似，因此重复之处不再赘述。
参阅图13，本申请的糖尿病视网膜病变检测方法通过采用前面任一所述的糖尿病视网膜病变检测系统100执行，包括：步骤S100，质控模块获取影像采集装置当前采集到的眼底影像，对眼底影像进行质量判断。步骤S200，在质控模块判断出眼底影像的质量合格时，将眼底影像输入至糖网判别模块。其中，质量合格包括眼底影像的边缘不漏光，眼底影像的边缘亮度达到第一预设亮度，眼底影像的黄斑区亮度达到第二预设亮度，眼底影像的视盘位置处于预设位置范围内，眼底影像的视盘可见，眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种；
步骤S300，糖网判别模块接收眼底影像，对眼底影像进行检测，得到相应的检测结果，并对检测结果进行类别划分。其中，类别包括转诊类别和非转诊类别。
更进一步地，根据本申请的另一方面，还提供了一种糖尿病视网膜病变检测设备200。参阅图14，本申请实施例糖尿病视网膜病变检测设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的糖尿病视网膜病变检测方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的糖尿病视网膜病变检测设备200中，还可以包括输入装置230和第二输出装置240。其中，处理器210、存储器220、输入装置230和第二输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的糖尿病视网膜病变检测方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行糖尿病视网膜病变检测设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。第二输出装置240可以包括显示屏等显示设备。
根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的糖尿病视网膜病变检测方法。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种糖尿病视网膜病变检测系统，其特征在于，包括质控模块和糖网判别模块：
所述质控模块，被配置为获取影像采集装置当前采集到的眼底影像，对所述眼底影像进行质量判断；
所述质控模块，还被配置为在判断出所述眼底影像的质量合格时，将所述眼底影像输入至糖网判别模块；
其中，所述质量合格包括所述眼底影像的边缘不漏光，所述眼底影像的边缘亮度达到第一预设亮度，所述眼底影像的黄斑区亮度达到第二预设亮度，所述眼底影像的视盘位置处于预设位置范围内，所述眼底影像的视盘可见，所述眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种；
所述糖网判别模块，被配置为接收所述眼底影像，对所述眼底影像进行检测，得到相应的检测结果，并对所述检测结果进行类别划分；
其中，所述类别包括转诊类别和非转诊类别。
2.根据权利要求1所述的系统，其特征在于，所述质控模块包括接收处理子模块和影像判别子模块；
所述接收处理子模块，被配置为接收获取所述影像采集装置当前采集到的眼底影像，并对所述眼底影像进行预处理；其中，所述预处理包括裁剪、缩放和归一化操作中的至少一种；
所述影像判别子模块，被配置为对经过预处理后的眼底影像进行质量判断，并在判断出所述眼底影像的质量合格时，将所述眼底影像输入至所述糖网判别模块；
其中，所述影像判别子模块包括可用于学习参数的深度学习模型；所述深度学习模型包括卷积神经网络，所述卷积神经网络中的分类的数目取值为2。
3.根据权利要求1所述的系统，其特征在于，所述糖网判别模块包括输入图像子模块、第一预处理子模块、第二预处理子模块、特征提取子模块、特征融合子模块和分类子模块；
所述输入图像子模块，被配置为接收由所述质控模块发送的所述眼底影像；
所述第一预处理子模块，被配置为对所述眼底影像进行初级预处理，得到初级眼底影像；所述初级预处理包括裁剪和缩放中的至少一种；
所述第二预处理子模块，被配置为对所述初级眼底影像进行图像增强，并对增强后的眼底影像进行归一化操作，得到二级眼底影像；
所述特征提取子模块，被配置为获取所述眼底影像和所述二级眼底影像，基于所述眼底影像和所述二级眼底影像提取相应的特征；
所述特征融合子模块，被配置为对所述特征提取子模块提取到的所述特征进行融合，得到相应的检测结果；
所述分类子模块，被配置为根据预先设置的分类规则对所述检测结果进行类别划分；
其中，所述特征提取子模块包括可用于学习参数的深度学习模型特征提取器，所述模型特征提取器为卷积神经网络，所述卷积神经网络中分类的数目设置为2。
4.一种网络模型训练系统，其特征在于，包括第一训练模块；
所述第一训练模块，被配置为对权利要求1至3任一项所述的糖尿病视网膜病变检测系统中的质控模块进行训练；
其中，所述第一训练模块包括第一构造子模块、预处理子模块、第一扩增子模块和第一训练子模块：
所述第一构造子模块，被配置为构造深度学习算法可训练的质控数据集；其中，所述质控数据集包括第一负样本数据集和第一正样本数据集；
所述第一负样本数据集包括标注为合格的眼底影像样本，所述第一正样本数据集包括标注为不合格的眼底影像样本；
所述第一负样本数据集中的样本数据量与所述第一正样本数据集中的样本数据量的比例为1:1；
所述预处理子模块，被配置为对所述第一负样本数据集中的样本数据和所述第一正样本数据集中的样本数据进行预处理操作；其中，所述预处理操作包括裁剪、缩放和归一化操作中的至少一种；
所述第一扩增子模块，被配置为由所述质控数据集中逐次选取一批样本数据，并对当前选取的样本数据均进行随机扩增；其中，所选取的每批样本数据中的样本数据量为32；
所述第一训练子模块，被配置为将扩增后的样本数据依次输入至预先设计的深度学习模型中，对所述深度学习模型进行训练；
其中，所述深度学习模型包括卷积神经网络，所述卷积神经网络中分类的数目设置为2。
5.根据权利要求4所述的系统，其特征在于，所述第一扩增子模块包括标号生成单元和扩增单元；
所述标号生成单元，被配置为对当前选取的所述样本数据动态生成相应的标号；其中，每个标号对应一种图像扩增方法；所述图像扩增方法包括图像平移、图像旋转、图像亮度调整、图像对比度调整、图像中值滤波和图像均值滤波中的至少一种；
所述扩增单元，被配置为根据生成的所述标号，采用相应的图像扩增方法对所述样本数据进行扩增操作。
6.根据权利要求4或5所述的系统，其特征在于，还包括第二训练模块；
所述第二训练模块，被配置为对权利要求1至3任一项所述的糖尿病视网膜病变检测系统中的糖网判别模块进行训练；
其中，所述第二训练模块包括第二构造子模块、初级预处理子模块、二级预处理子模块、第二扩增子模块、第二训练子模块、网络提取子模块、特征获取子模块和第三训练子模块；
所述第二构造子模块，被配置为构造深度学习算法可训练的判别数据集；所述判别数据集包括第二负样本数据集和第二正样本数据集；所述第二负样本数据集包括标注为非糖网的眼底影像，所述第二正样本数据集包括标注为糖网的眼底影像；
所述初级预处理子模块，被配置为对所述判别数据集中的各影像样本进行初级预处理，得到初级影像样本；所述初级预处理包括裁剪和缩放中的至少一种；
所述二级预处理子模块，被配置为对各所述初级影像样本进行图像增强，并将增强后的影像样本进行归一化操作，得到二级影像样本；
所述二级预处理子模块，还被配置为将各所述二级影像样本存储至所述判别数据集中，作为用于训练预先设计的模型特征提取器的训练数据集；
所述第二扩增子模块，被配置为由所述训练数据集中的逐批选取影像样本，对当前选取的各影像样本进行随机扩增；其中，所选取的每批影像样本的样本数量为32；扩增后的影像样本集包括扩增处理后的原始影像样本和扩增处理后的二级影像样本；
所述第二训练子模块，被配置为将扩增后的影像样本集输入至所述模型特征提取器中，对所述模型特征提取器进行训练；
所述网络提取子模块，被配置为利用训练好的所述模型特征提取器，通过获取从第一个卷积层到最后一个全局平均池化层的网络部分，形成网络模型特征提取器；
所述特征获取子模块，被配置为将所述训练数据集中的影像样本按照原始影像样本和二级影像样本组成一对的方式，生成四维的张量，依次通过所述模型特征提取器，获取图像对的特征；
所述第三训练子模块，被配置为利用获取的所述图像对的特征作为特征融合模块的输入，对所述特征融合模块进行训练，得到相应的分类器。
7.根据权利要求6所述的系统，其特征在于，所述二级预处理子模块包括第一增强单元和第二增强单元；
所述第一增强单元，被配置为采用第一图像增强算法对各所述初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第一增强影像样本；
所述第二增强单元，被配置为采用第二图像增强算法对各所述初级影像样本进行图像增强，并对增强后的影像样本进行归一化操作，得到第二增强影像样本；
其中，所述第一图像增强算法为：限制对比度自适应直方图均衡增强算法；所述限制对比度自适应直方图均衡增强算法中，将影像样本划分为m行n列个小方块，其中，m的取值为6，n的取值为6；所述限制对比度自适应直方图均衡增强算法中的截取阈值T的取值为2.55；
所述第二图像增强算法为：采用公式：
output(x，y)＝4*I(x，y)-4*Gaussion(x，y，ρ)+128进行图像增强；
其中，x为所述影像样本中各像素的横向坐标，y为所述影像样本中各像素的纵向坐标，Gaussion(x，y，ρ)表示标准差为ρ的高斯滤波，ρ的取值为17。
8.一种糖尿病视网膜病变检测方法，其特征在于，采用权利要求1至3任一项所述的糖尿病视网膜病变检测系统执行，包括：
质控模块获取影像采集装置当前采集到的眼底影像，对所述眼底影像进行质量判断；
在所述质控模块判断出所述眼底影像的质量合格时，将所述眼底影像输入至糖网判别模块；
其中，所述质量合格包括所述眼底影像的边缘不漏光，所述眼底影像的边缘亮度达到第一预设亮度，所述眼底影像的黄斑区亮度达到第二预设亮度，所述眼底影像的视盘位置处于预设位置范围内，所述眼底影像的视盘可见，所述眼底影像的黄斑区、视盘区、上方视网膜血管弓和下方视网膜血管弓均可见中的至少一种；
所述糖网判别模块接收所述眼底影像，对所述眼底影像进行检测，得到相应的检测结果，并对所述检测结果进行类别划分；
其中，所述类别包括转诊类别和非转诊类别。
9.一种糖尿病视网膜病变检测设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求8所述的方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求8所述的方法。
CN201910971994.4A 2019-10-14 2019-10-14 糖尿病视网膜病变检测系统、方法、设备和训练系统 Pending CN110751637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910971994.4A CN110751637A (zh) 2019-10-14 2019-10-14 糖尿病视网膜病变检测系统、方法、设备和训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910971994.4A CN110751637A (zh) 2019-10-14 2019-10-14 糖尿病视网膜病变检测系统、方法、设备和训练系统

Publications (1)

Publication Number Publication Date
CN110751637A true CN110751637A (zh) 2020-02-04

Family

ID=69278172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910971994.4A Pending CN110751637A (zh) 2019-10-14 2019-10-14 糖尿病视网膜病变检测系统、方法、设备和训练系统

Country Status (1)

Country Link
CN (1) CN110751637A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428737A (zh) * 2020-04-01 2020-07-17 南方科技大学 眼科影像的实例检索方法、装置、服务器及存储介质
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注系统
CN111798440A (zh) * 2020-07-11 2020-10-20 大连东软教育科技集团有限公司 医学图像伪影自动识别方法、系统及存储介质
CN111833993A (zh) * 2020-07-18 2020-10-27 贵州精准健康数据有限公司 一种基于ai的区域影像远程质控管理系统
CN112381821A (zh) * 2020-12-08 2021-02-19 北京青燕祥云科技有限公司 一种智能手持式眼底相机以及图像分析方法
CN112869706A (zh) * 2021-02-24 2021-06-01 复旦大学 一种基于深度学习的双视野眼底图像融合方法
CN112991343A (zh) * 2021-04-30 2021-06-18 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备
CN113273959A (zh) * 2021-07-19 2021-08-20 中山大学中山眼科中心 一种便携式糖尿病视网膜病变诊疗仪
CN117292204A (zh) * 2023-10-18 2023-12-26 深圳灵幻科技有限公司 眼底视网膜病变检测算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107133932A (zh) * 2017-05-04 2017-09-05 季鑫 视网膜图像预处理方法、装置和计算设备
CN109544540A (zh) * 2018-11-28 2019-03-29 东北大学 一种基于图像分析技术的糖尿病视网膜图像质量检测方法
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN107133932A (zh) * 2017-05-04 2017-09-05 季鑫 视网膜图像预处理方法、装置和计算设备
CN109544540A (zh) * 2018-11-28 2019-03-29 东北大学 一种基于图像分析技术的糖尿病视网膜图像质量检测方法
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428737B (zh) * 2020-04-01 2024-01-19 南方科技大学 眼科影像的实例检索方法、装置、服务器及存储介质
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注系统
CN111428737A (zh) * 2020-04-01 2020-07-17 南方科技大学 眼科影像的实例检索方法、装置、服务器及存储介质
CN111461218B (zh) * 2020-04-01 2022-07-29 复旦大学 糖网病眼底图像的样本数据标注系统
CN111798440A (zh) * 2020-07-11 2020-10-20 大连东软教育科技集团有限公司 医学图像伪影自动识别方法、系统及存储介质
CN111833993A (zh) * 2020-07-18 2020-10-27 贵州精准健康数据有限公司 一种基于ai的区域影像远程质控管理系统
CN111833993B (zh) * 2020-07-18 2024-04-19 贵州精准健康数据有限公司 一种基于ai的区域影像远程质控管理系统
CN112381821A (zh) * 2020-12-08 2021-02-19 北京青燕祥云科技有限公司 一种智能手持式眼底相机以及图像分析方法
CN112869706A (zh) * 2021-02-24 2021-06-01 复旦大学 一种基于深度学习的双视野眼底图像融合方法
CN112991343A (zh) * 2021-04-30 2021-06-18 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备
US11908137B2 (en) 2021-04-30 2024-02-20 Beijing Zhenhealth Technology Co., Ltd. Method, device and equipment for identifying and detecting macular region in fundus image
CN113273959A (zh) * 2021-07-19 2021-08-20 中山大学中山眼科中心 一种便携式糖尿病视网膜病变诊疗仪
CN117292204A (zh) * 2023-10-18 2023-12-26 深圳灵幻科技有限公司 眼底视网膜病变检测算法

Similar Documents

Publication Publication Date Title
CN110751637A (zh) 糖尿病视网膜病变检测系统、方法、设备和训练系统
CN108553079B (zh) 基于眼底图像的病变识别系统
Al-Bander et al. Multiscale sequential convolutional neural networks for simultaneous detection of fovea and optic disc
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
US11213197B2 (en) Artificial neural network and system for identifying lesion in retinal fundus image
Kauppi et al. DIARETDB0: Evaluation database and methodology for diabetic retinopathy algorithms
Singh et al. Image processing based automatic diagnosis of glaucoma using wavelet features of segmented optic disc from fundus image
Antal et al. An ensemble-based system for microaneurysm detection and diabetic retinopathy grading
Aurangzeb et al. Contrast enhancement of fundus images by employing modified PSO for improving the performance of deep learning models
Kauppi et al. The diaretdb1 diabetic retinopathy database and evaluation protocol.
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
Sinthanayothin Image analysis for automatic diagnosis of diabetic retinopathy
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
CN112017185B (zh) 病灶分割方法、装置及存储介质
CN106651899A (zh) 基于Adaboost的眼底图像微动脉瘤检测系统
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Xiao et al. Retinal hemorrhage detection by rule-based and machine learning approach
Junjun et al. Diabetic retinopathy detection based on deep convolutional neural networks for localization of discriminative regions
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练系统
Niu et al. Automatic localization of optic disc based on deep learning in fundus images
Tang et al. Retinal vessel segmentation from fundus images using DeepLabv3+
Acharya et al. Swarm intelligence based adaptive gamma corrected (SIAGC) retinal image enhancement technique for early detection of diabetic retinopathy
Zhou et al. A novel approach for red lesions detection using superpixel multi-feature classification in color fundus images
Antal et al. Evaluation of the grading performance of an ensemble-based microaneurysm detector
Shaikha et al. Optic Disc Detection and Segmentation in Retinal Fundus Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination