CN112200794A - 一种基于卷积神经网络的多模型糖网病变自动筛查方法 - Google Patents

一种基于卷积神经网络的多模型糖网病变自动筛查方法 Download PDF

Info

Publication number
CN112200794A
CN112200794A CN202011142595.6A CN202011142595A CN112200794A CN 112200794 A CN112200794 A CN 112200794A CN 202011142595 A CN202011142595 A CN 202011142595A CN 112200794 A CN112200794 A CN 112200794A
Authority
CN
China
Prior art keywords
sugar
lesion
neural network
network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011142595.6A
Other languages
English (en)
Inventor
曹鱼
陈齐磊
倪京
刘本渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Huiwei Intelligent Medical Technology Co ltd
Original Assignee
Suzhou Huiwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Huiwei Intelligent Medical Technology Co ltd filed Critical Suzhou Huiwei Intelligent Medical Technology Co ltd
Priority to CN202011142595.6A priority Critical patent/CN112200794A/zh
Publication of CN112200794A publication Critical patent/CN112200794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及基于卷积神经网络的多模型糖网病变自动筛查方法，包括如下步骤：获取眼底图像；利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像；通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级；通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息；将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级；将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的面积，本发明能准确的进行自动化进行糖网影像早期筛查，提高了早期筛查的效率，减轻诊断人员的工作负担，另外还弥补了单个模型容错率低的缺点。

Description

一种基于卷积神经网络的多模型糖网病变自动筛查方法
技术领域
本发明涉及一种筛查方法，尤其涉及一种基于卷积神经网络的多模型糖网病变自动筛查方法。
背景技术
糖尿病性视网膜病变(以下简称糖网)已经成为眼科疾病的重要问题，它是糖尿病最常见的并发症之一，严重情况下能够导致患者永久性失明。早期糖网筛查对于糖网病变控制以及治疗有至关重要的作用，在临床医学领域中比较成熟的筛查手段是通过对彩色数字眼底扫描图像进行检查。
但由于人工筛查过程耗时耗力又严重依赖于诊断医生的专业能力,无法满足逐年上升的病患需求，导致不少病人得不到及时的诊断从而延误了最佳治疗时机。因此,眼底图像的糖网病变自动筛查的研究与实现，对于糖网病变的及时发现与治疗有着重要意义。
近年来，随着深度学习算法的出现，人工智能(AI)领域的研究呈现出革命性的发展和进步，在医疗领域，深度学习算法显现出巨大的潜力，例如在应对皮肤病变图像诊断和CT肺部扫描图像的筛查方面，基于深度学习的AI系统在闭包测试过程中已经具备与医学专家相同甚至更佳的识别能力。
基于深度学习的糖网筛查也受到越来越多的关注。近年来，在海量糖网图像数据支撑下，基于深度学习的自动化糖网筛查方法也逐渐发展起来，将卷积神经网络在具有病变指标标注的糖网数据集上进行训练，得到的卷积神经网络模型能够智能的分析患者的糖网病变情况，进而实现糖网病变的大规模自动筛查。
但在现实应用中，单一的神经网络模型在糖网筛查方面存有些缺陷，首先，单一神经网络模型不能准确的剔除掉因医疗器械，医生经验，患者配合程度等客观因素产生的大量低质量的眼底照片；另一方面，只具有分类效果的单一神经网络模型不能显示供医生进一步分析的糖网病变细节。
发明内容
本发明目的是为了克服现有技术的不足而提供一种能够把控糖网图像质量，进行糖网等级初步筛查，以及为后续分析提供精细信息功效的基于卷积神经网络的多模型糖网病变自动筛查方法。
为达到上述目的，本发明采用的技术方案是：基于卷积神经网络的多模型糖网病变自动筛查方法，包括如下步骤：
获取眼底图像；
利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像；
通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级；
通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息；
将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级；
将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积。
进一步的，所述利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像的步骤如下：
S1:将眼底图像输入到以Squeezenet为卷积神经网络结构的模型中，形成维度为4096的特征向量；
S2:特征向量经过二分类线性分类器之后，获得是否为正常眼底图像的分类标签。
进一步的，所述糖网图像质量检查CNN分类器的构建方法如下：
a使用具有两种标签的图像作为数据来源，经过审核后形成训练数据集，其中，两种标签为正常眼底图片和非正常眼底图片；
b通过在ImageNet训练获得以Squeezenet为卷积神经网络结构的模型的初始化参数；
c将具有两种标签的数据集对以Squeezenet为卷积神经网络结构的模型进行训练，获得糖网图像质量检查CNN分类器。
进一步的，所述通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级的步骤如下：
①将正常眼底图像输入到以InceptionV3为卷积神经网络结构的模型中，形成维度为4096的特征向量；
②特征向量经过五分类线性分类器之后，获得该眼底图像的糖网国标等级分类标签。
进一步的，所述糖网等级分类器模块的构建过程如下：
一、使用具有五种标签的图像作为数据来源，经过审核后形成训练数据集，其中，五种标签为无糖网病变、轻度糖网病变、中度糖网病变、重度糖网病变和增殖性糖网病变；
二、通过在ImageNet训练获得以InceptionV3卷积神经网络结构的模型的初始化参数；
三、将具有五种标签的数据集对InceptionV3卷积神经网络结构的模型进行训练，获得糖网等级分类器模块。
进一步的，所述通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息的步骤如下：
第一步：将正常眼底图像输入到以FasterRCNN为卷积神经网络结构和区域提取网络之后形成若干局部候选框；
第二步：将候选框映射到神经网络产生的特征图上；
第三步：每个候选框所对应的特征图的局部区域再经过四分类线性分类器之后，最终获得该眼底图像上所有病变区域的位置和类别信息。
进一步的，所述糖网病变区域检测模块构建过程如下：
步骤一使用具有四种病变部位类别的图像作为数据来源，经过审核后形成训练数据集，其中，四种病变部位类别为出血、微动脉瘤、硬渗和棉绒斑；
步骤二通过在ImageNet训练获得糖网病变区域检测模块的初始化参数；
步骤三将糖网病变部位类别数据集对糖网病变区域检测模块进行训练，获得糖网病变区域检测模块。
进一步的，所述将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级的方法如下：
产生糖网早期筛查等级分类的条件判断指示函数定义如下：
f(C，R)＝1[(C＞sc)∨(R1≥s1)∨(R2≥s2)∨(R3≥s3)∨(R4≥s4)]；
其中f(C，R)表示指示函数，其值为1如果输入条件为真，反之则为0.其中，C为模块二所产生的分类结果，sc表示轻度糖网病变；R1，R2，R3，R4分别代表由模块三所检测出的出血、微动脉瘤、硬渗、棉绒斑四种病变区域的数目，s1，s2，s3，s4分别代表每个种类病变数目达到中度及以上糖网等级所需的最少数目，具体数值依据糖网国标，∨表示逻辑或运算符；
若上述公式的结果为1，该糖网图像的检测结果为中度及以上，否则代表轻度及以下等级。
进一步的，所述将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积方法如下：
卷积神经网络类别激活映射模块的主体采用Densenet121卷积神经网络结构，通过由出血区域和正常区域构成的二类数据及进行训练，将训练后的网络模型最后一层全连接层替换为CAM模块，得到能够输出出血类别热力图的卷积神经网络结构；
将病变位置以及类别信息所产生的出血位置的糖网局部图像作为输入到出血类别热力图的卷积神经网络结构，得到出血区域的热力图，再通过设定置信度的阈值，最终获得一个界定出血范围的轮廓坐标信息，从而自动算出出血面积。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明方案的的基于卷积神经网络的多模型糖网病变自动筛查方法，能够准确的进行自动化进行糖网影像早期筛查，利用计算机的自动化过程，以及快速的计算方法，大大提高了早期筛查的效率，能够在很大程度上减轻诊断人员的工作负担，另外本方法还利用多模型融合进行处理眼底扫描图像，弥补了单个模型容错率低的缺点，符合实际的使用需求，具有较好的应用前景。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明的框架示意图；
附图2为本发明中糖网图像质量检查分类器的使用流程图；
附图3为本发明中糖网等级分类器模块的使用流程图；
附图4为本发明中糖网病变区域检测模块的使用流程图；
附图5为本发明中卷积神经网络类别激活映射模块的使用流程图。
附图6为本发明的使用流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
请参阅附图1，本发明所述的基于卷积神经网络的多模型糖网病变自动筛查方法，包括如下步骤：先通过相应的设备获取眼底图像；利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像；通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级；通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息；将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级；将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积。
作为进一步的优选实施例，首先利用糖网图像质量检查CNN分类器对眼底图像进行质量检查，筛选出正常眼底图像。
本发明中的糖网图像质量检查CNN分类器实现的技术主要以Squeezenet为卷积神经网络结构的图像分类器，通过修改神经网络结构的全连接层，将分类器改为二分类线性分类器。
糖网图像质量检查CNN分类器能够眼底图像扫描设备捕捉到的单帧眼底图像作为输入，将图像进行规格化，然后得到分类结果，糖网图像质量CNN分类器的输出包括两个类别：1.非正常眼底图片，2.正常眼底图片；正常眼底图片指的是清晰度较高的眼底图片，能够用做医学诊断的依据，非正常眼底图片包含设备获取的较模糊或者眼底范围之外的图片，没有足够的信息进行医学诊断。
糖网图像质量检查CNN分类器采用了基于监督的机器学习方法，首先使用具有以上两种标签的图像数据集作为数据来源，经过质量审核之后，形成训练数据集；糖网图像质量检查CNN分类器模型的初始化参数通过在ImageNet训练获得，之后通过迁移学习的方法，将二分类数据集对该CNN分类器模型进行训练，经过闭包测试之后，最终获得准确率较高的糖网图像质量检查CNN分类器。
请参阅附图2，实际使用时，糖网图像质量检查CNN分类器以眼底扫描设备产生的正常眼底图像作为输入，通过以Squeezenet为卷积神经网络结构后形成维度为4096的特征向量，该特征向量经过二分类线性分类器之后，最终获得是否为正常眼底图像的分类标签。
其中，所述二分类线性分类器包括但不限于线性支持向量机(SVM)、Softmax分类器等。
作为进一步的优选实施例，所述糖网等级分类器模块实现的技术主要以InceptionV3为卷积神经网络结构的图像分类器，通过修改神经网络结构的全连接层，将分类器改为五分类线性分类器，糖网等级分类器模块把眼底图像扫描设备捕捉到的较高质量的正常眼底图像作为输入，将图像进行规格化，然后得到分类结果以及该分类结果的置信度。
糖网等级分类器模块的输出范围包括五个类别：1.无糖网病变，2.轻度糖网病变，3.中度糖网病变，4.重度糖网病变，5.增殖性糖网病变，上述五种类别是依据于糖尿病视网膜病变和黄斑水肿的国际临床疾病严重程度分级标准(以下简称国标)为基础进行分类。
糖网等级分类器模块采用了基于监督的机器学习方法，首先使用具有以上五种类别标签的图像作为数据来源，经过质量审核之后，形成训练数据集，糖网等级分类器模块模型的初始化参数通过在ImageNet训练获得，之后通过迁移学习的方法，将具五类标签的数据集对糖网等级分类器模块模型进行训练，经过闭包测试之后，最终获得准确率较高的糖网等级分类器模块。
请参阅附图3，实际使用时，糖网等级分类器模块以正常眼底图像作为输入，通过以InceptionV3为卷积神经网络后形成维度为4096的特征向量，该特征向量经过五分类线性分类器之后，最终获得该眼底图像所述的糖网国标等级分类标签。
糖网等级分类器模块中所采用的卷积神经网络包为InceptionV3，包含较为复杂神经网络结构，能够较为准确的处理复杂的图像分类问题。
其中，五分类线性分类器包括但不限于：线性支持向量机(SVM)、Softmax分类器等。
作为进一步的优选实施例，糖网病变区域检测模块实现的技术主要以FasterRCNN为卷积神经网络结构的图像物体检测器，通过修改神经网络结构的全连接层对应的检测类别，将检测器改为能够检测出糖网病变区域的种类、位置的检测器。
糖网病变区域检测模块把眼底图像扫描设备捕捉到的较高质量的正常眼底图像作为输入，将图像进行规格化，然后得到病变区域在图像上的欧式坐标位置和种类，该位置信息是指由检测器检测出的包含了病变区域的矩形框坐标；其中，糖网病变区域检测模块能够检测到的糖网图像病变部位包括四个类别：1.出血、2.微动脉瘤、3.硬渗和4.棉绒斑。
糖网病变区域检测模块采用了基于监督的机器学习方法，首先使用具有以上四种病变区域位置和标签信息图像作为数据来源，经过质量审核之后，形成训练数据集，糖网病变区域检测模块的初始化参数通过在ImageNet训练获得，之后通过迁移学习的方法，将糖网病变区域目标检测数据集对该卷糖网病变区域检测模块模型进行训练，经过闭包测试之后，最终获得准确率较高的糖网病变区域检测模块。
请参阅附图4，糖网病变区域检测模块是一种基于卷积神经网络FasterRCNN的糖网图像病变部位检测器，糖网病变区域检测模块以正常眼底图像作为输入，经过卷积神经网络和区域提取网络(Region Proposal Network)之后形成若干局部候选框，再把这些候选框映射到神经网络产生的特征图(Feature Maps)上，每个候选框所对应的特征向图的局部区域再经过四分类线性分类器之后，最终获得该眼底图像上所有病变区域的位置和类别信息。
糖网病变区域检测模块中所采用的卷积神经网络包为Resnet101，包含较为复杂神经网络结构，能够较为准确的处理复杂的图像中目标检测的问题。
作为进一步的优选实施例，糖网早期筛查等级分类融合模块实现的技术为条件融合判定，该糖网早期筛查等级分类融合模块以一张质量较高的糖网图像经过第二部分和第三部分产生的结果为依据，进行早期筛查的等级分类。
等级分范的范围包含两个等级：1.轻度及以下等级，主要包括国标的无糖网病变等级和轻度糖网病变等级(糖网等级分类标签1-2)；2.中度及其以上等级，包括国标中的中度糖网病变等级、重度糖网病变等级和增殖性糖网病变等级(糖网等级分类标签3-5)。
在判定条件中首先考虑第二部分所产生的分类标签和置信度，如果分类标签为3-5，则输出为糖网重症患者，若输出为1-2，则需进一步查看第三部分(糖网病变部位检测)产生的病变区域检测结果，以病变区域的位置、种类和个数为依据，根据国标对该图像再次进行登记判断；如果为3-5，那么输出为糖网重度患者；其他情况输出为非糖网重症患者，该融合判定方式旨在减少早期筛查过程中由第二部分(糖网等级判别)造成的假阴性误判。
具体的，用于产生糖网早期筛查等级分类的条件判断指示函数定义如下：
f(C，R)＝1[(C＞sc)∨(R1≥s1)∨(R2≥s2)∨(R3≥s3)∨(R4≥s4)]；
若上述公式的结果为1，该糖网图像的检测结果为中度及以上，否则代表轻度及以下等级。其中f(C，R)表示指示函数，其值为1如果输入条件为真，反之则为0.其中C为模块二所产生的分类结果，sc表示轻度糖网病变；R1，R2，R3，R4分别代表由模块三所检测出的出血、微动脉瘤、硬渗、棉绒斑四种病变区域的数目，s1，s2，s3，s4分别代表每个种类病变数目达到中度及以上糖网等级所需的最少数目，具体数值依据糖网国标，∨表示逻辑或运算符。模块4融合了模块2的分类器结果和模块3产生的病变区域检测的结果，这样能够弥补在模块2误判情况下出现假阴性的缺点，而且为医生进一步诊断提供了更加精细的病变信息。
作为进一步的优选实施例，卷积神经网络类别激活映射模块实现的技术为卷积神经网络类别激活映射(Class Activation Mapping，以下简称CAM)，该卷积神经网络类别激活映射模块能够将第三部分产生的糖网病变区域类别中，出血类别的矩形区域进行精细分割，从而得出血部位面积，为医生下一步进行糖网病变等级判断和分析做参考。
请参阅附图5，实际使用时，首先需要为训练CNN模型准备训练数据，该数据集主要包含糖网图像正常局部区域和出血局部区域的图像，因此该CNN模型为二分类模型，将训练后的二分类模型的最后一层全连接层替换为CAM层，最终获得CAM的特征图。该特征图和卷积神经网络的输入尺寸相同，图上每个值为原图像每个像素的置信度，将高于一定阈值的置信度的区域进行计算，最终得出出血病变区域的像素面积。
卷积神经网络类别激活映射模块的主体卷积神经网络结构采用Densenet121，通过由出血区域和正常区域构成的二类数据及进行训练，将训练后的网络模型最后一层全连接层替换为CAM模块，即可得到能够输出出血类别热力图的卷积神经网络结构；将糖网病变区域检测模块所产生的出血位置的糖网局部图像作为输入，得到出血区域的热力图，热力图中颜色红移程度越深代表该代表该像素点属于出血位置的置信度越高，再通过设定置信度的阈值，最终获得一个能够精确界定出血范围的轮廓坐标信息，这样就能自动算出出血面积。
另外，本发明方法具体的使用流程示意图如附图6所示。
首先从设备获取到眼底图像，然后由糖网图像质量检查CNN分类器对眼底图像进行筛选，如果不是正常眼底图像，就直接结束，不进行下一步的操作；如果是正常眼底图像，则分别通过糖网等级分类器模块和糖网病变区域检测模块对其进行糖网国标等级判断以及糖网病变区域的确定，接着将糖网国标等级判断以及糖网病变区域的确定通过糖网早期筛查等级分类融合模块进行融合，形成筛查等级分类；另外，将糖网病变区域检测模块检测出的病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积。
本发明的基于卷积神经网络的多模型糖网病变自动筛查方法，其能够准确的进行自动化进行糖网影像早期筛查，利用计算机的自动化过程，以及快速的计算方法，大大提高了早期筛查的效率，能够在很大程度上减轻诊断人员的工作负担，另外本方法利用多模型融合进行处理眼底扫描图像，弥补了单个模型容错率低的缺点，符合实际的使用需求，具有较好的应用前景。
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (9)

1.一种基于卷积神经网络的多模型糖网病变自动筛查方法，其特征在于，包括如下步骤：
获取眼底图像；
利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像；
通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级；
通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息；
将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级；
将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积。
2.根据权利要求1所述的基于卷积神经网络的多模型糖网病变自动筛查方法，其特征在于，所述利用糖网图像质量检查CNN分类器筛选出眼底图像中的正常眼底图像的步骤如下：
S1:将眼底图像输入到以Squeezenet为卷积神经网络结构的模型中，形成维度为4096的特征向量；
S2:特征向量经过二分类线性分类器之后，获得是否为正常眼底图像的分类标签。
3.根据权利要求2所述的基于卷积神经网络的多模型糖网病变自动筛查方法，其特征在于，所述糖网图像质量检查CNN分类器的构建方法如下：
a使用具有两种标签的图像作为数据来源，经过审核后形成训练数据集，其中，两种标签为正常眼底图片和非正常眼底图片；
b通过在ImageNet训练获得以Squeezenet为卷积神经网络结构的模型的初始化参数；
c将具有两种标签的数据集对以Squeezenet为卷积神经网络结构的模型进行训练，获得糖网图像质量检查CNN分类器。
4.根据权利要求3所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述通过糖网等级分类器模块获取正常眼底图像中糖网图像所属病变的糖网国标等级的步骤如下：
①将正常眼底图像输入到以InceptionV3为卷积神经网络结构的模型中，形成维度为4096的特征向量；
②特征向量经过五分类线性分类器之后，获得该眼底图像的糖网国标等级分类标签。
5.根据权利要求4所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述糖网等级分类器模块的构建过程如下：
一、使用具有五种标签的图像作为数据来源，经过审核后形成训练数据集，其中，五种标签为无糖网病变、轻度糖网病变、中度糖网病变、重度糖网病变和增殖性糖网病变；
二、通过在ImageNet训练获得以InceptionV3卷积神经网络结构的模型的初始化参数；
三、将具有五种标签的数据集对InceptionV3卷积神经网络结构的模型进行训练，获得糖网等级分类器模块。
6.根据权利要求3所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述通过糖网病变区域检测模块获取正常眼底图像上的病变位置以及类别信息的步骤如下：
第一步：将正常眼底图像输入到以FasterRCNN为卷积神经网络结构和区域提取网络之后形成若干局部候选框；
第二步：将候选框映射到神经网络产生的特征图上；
第三步：每个候选框所对应的特征图的局部区域再经过四分类线性分类器之后，最终获得该眼底图像上所有病变区域的位置和类别信息。
7.根据权利要求6所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述糖网病变区域检测模块构建过程如下：
步骤一使用具有四种病变部位类别的图像作为数据来源，经过审核后形成训练数据集，其中，四种病变部位类别为出血、微动脉瘤、硬渗和棉绒斑；
步骤二通过在ImageNet训练获得糖网病变区域检测模块的初始化参数；
步骤三将糖网病变部位类别数据集对糖网病变区域检测模块进行训练，获得糖网病变区域检测模块。
8.根据权利要求1所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述将糖网图像所属病变的糖网国标等级和病变位置以及类别信息通过糖网早期筛查等级分类融合模块融合后获取筛查等级的方法如下：
产生糖网早期筛查等级分类的条件判断指示函数定义如下：
f(C，R)＝1[(C＞sc)∨(R1≥s1)∨(R2≥s2)∨(R3≥s3)∨(R4≥s4)]；
其中f(C，R)表示指示函数，其值为1如果输入条件为真，反之则为0.其中，C为模块二所产生的分类结果，sc表示轻度糖网病变；R1，R2，R3，R4分别代表由模块三所检测出的出血、微动脉瘤、硬渗、棉绒斑四种病变区域的数目，s1，s2，s3，s4分别代表每个种类病变数目达到中度及以上糖网等级所需的最少数目，具体数值依据糖网国标，∨表示逻辑或运算符；
若上述公式的结果为1，该糖网图像的检测结果为中度及以上，否则代表轻度及以下等级。
9.根据权利要求1所述的基于卷积神经网络的多模型糖网病变自动筛查方法,其特征在于，所述将病变位置以及类别信息通过卷积神经网络类别激活映射模块后，获取出血位置的精确面积方法如下：
卷积神经网络类别激活映射模块的主体采用Densenet121卷积神经网络结构，通过由出血区域和正常区域构成的二类数据及进行训练，将训练后的网络模型最后一层全连接层替换为CAM模块，得到能够输出出血类别热力图的卷积神经网络结构；
将病变位置以及类别信息所产生的出血位置的糖网局部图像作为输入到出血类别热力图的卷积神经网络结构，得到出血区域的热力图，再通过设定置信度的阈值，最终获得一个界定出血范围的轮廓坐标信息，从而自动算出出血面积。
CN202011142595.6A 2020-10-23 2020-10-23 一种基于卷积神经网络的多模型糖网病变自动筛查方法 Pending CN112200794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142595.6A CN112200794A (zh) 2020-10-23 2020-10-23 一种基于卷积神经网络的多模型糖网病变自动筛查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142595.6A CN112200794A (zh) 2020-10-23 2020-10-23 一种基于卷积神经网络的多模型糖网病变自动筛查方法

Publications (1)

Publication Number Publication Date
CN112200794A true CN112200794A (zh) 2021-01-08

Family

ID=74010902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142595.6A Pending CN112200794A (zh) 2020-10-23 2020-10-23 一种基于卷积神经网络的多模型糖网病变自动筛查方法

Country Status (1)

Country Link
CN (1) CN112200794A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
CN113425266A (zh) * 2021-07-09 2021-09-24 上海市第一人民医院 一种基于红外成像的皮肤癌筛查系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344808A (zh) * 2018-07-24 2019-02-15 中山大学中山眼科中心 一种基于深度学习的眼部图像处理系统
CN109829882A (zh) * 2018-12-18 2019-05-31 苏州比格威医疗科技有限公司 一种糖尿病视网膜病变分期预测方法
CN110009626A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344808A (zh) * 2018-07-24 2019-02-15 中山大学中山眼科中心 一种基于深度学习的眼部图像处理系统
CN109829882A (zh) * 2018-12-18 2019-05-31 苏州比格威医疗科技有限公司 一种糖尿病视网膜病变分期预测方法
CN110009626A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111429407A (zh) * 2020-03-09 2020-07-17 清华大学深圳国际研究生院 基于双通道分离网络的胸部x光疾病检测装置及方法
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066066A (zh) * 2021-03-30 2021-07-02 北京鹰瞳科技发展股份有限公司 视网膜异常分析方法及设备
CN113425266A (zh) * 2021-07-09 2021-09-24 上海市第一人民医院 一种基于红外成像的皮肤癌筛查系统

Similar Documents

Publication Publication Date Title
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Li et al. A deep learning system for identifying lattice degeneration and retinal breaks using ultra-widefield fundus images
Qian et al. M $^ 3$ Lung-Sys: A deep learning system for multi-class lung pneumonia screening from CT imaging
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN109035283B (zh) 一种基于随机选取分区的肺气肿精准检测与量化分析方法
Zong et al. U-net based method for automatic hard exudates segmentation in fundus images using inception module and residual connection
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
Bai et al. Detection of cervical lesion region from colposcopic images based on feature reselection
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
Lin et al. Retinal image quality assessment for diabetic retinopathy screening: A survey
US20210090248A1 (en) Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor
CN112200794A (zh) 一种基于卷积神经网络的多模型糖网病变自动筛查方法
CN112102332A (zh) 基于局部分类神经网络的癌症wsi的分割方法
CN117322865B (zh) 基于深度学习的颞下颌关节盘移位mri检查诊断系统
CN112419246B (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN103246888A (zh) 肺病的计算机诊断系统及方法
KR20210033902A (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
CN116912229A (zh) 一种胎儿经侧脑室横切面超声标准切面检测方法
Zhou et al. Computer aided diagnosis for diabetic retinopathy based on fundus image
Karthika et al. Detection of MA based on iris blood vessel segmentation and classification using convolutional neural networks (ConvNets)
Ashame et al. Abnormality Detection in Eye Fundus Retina
Fu et al. A retrospective comparison of deep learning to manual annotations for optic disc and optic cup segmentation in fundus photos
Chen et al. A novel multi-scale network based on class attention for diabetes retinopathy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination