CN110188767A - 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 - Google Patents

基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 Download PDF

Info

Publication number
CN110188767A
CN110188767A CN201910380673.7A CN201910380673A CN110188767A CN 110188767 A CN110188767 A CN 110188767A CN 201910380673 A CN201910380673 A CN 201910380673A CN 110188767 A CN110188767 A CN 110188767A
Authority
CN
China
Prior art keywords
image
keratonosus
sub
block
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910380673.7A
Other languages
English (en)
Other versions
CN110188767B (zh
Inventor
姚玉峰
吴飞
孔鸣
许叶圣
谢文加
段润平
朱强
汤斯亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910380673.7A priority Critical patent/CN110188767B/zh
Publication of CN110188767A publication Critical patent/CN110188767A/zh
Application granted granted Critical
Publication of CN110188767B publication Critical patent/CN110188767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置。包括如下步骤：1)把角膜病裂隙灯图像按照眼表‑角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域采样，形成区域子块集合；2)对每张角膜图像中所有区域子块，通过DenseNet模型提取其特征，获取区域向量化特征表示；3)将特征提取结果序贯链接组合，保留区域子块之间空间结构关系，并利用LSTM(长短时记忆模型)对其处理，形成角膜图像特征，并进行分类。本发明将深度序列学习模型应用于角膜疾病分类诊断。相比一般图像分类算法，本发明对角膜病诊断中区别性关键信息进行建模，有效保留角膜病特征空间结构。

Description

基于深度神经网络的角膜病图像序列化特征提取与分类方法 及装置
技术领域
本发明涉及医疗图像辅助诊断领域，尤其涉及一种提取保持了角膜病病变区域子块空间约束关系的序列化特征，完成角膜病图像类型分类的方法。
背景技术
利用计算机视觉辅助进行医学图像特征分析与疾病诊断是具有实际应用意义的一项关键技术，也是计算机视觉技术应用落地的关键领域。角膜病是全球特别是发展中国家发病率高、失明率高的眼科主要疾病，全国有逾1000万角膜病患者，其中400万人因此失明或导致严重视力障碍。利用机器学习技术对疾病图片进行分析诊断，能够辅助临床医生对疾病做出快速准确的诊断，提高各级医院各层级医生的诊断水平，可以帮助基层医院与上级医院构建成可靠的网络，达到同质化的诊疗水平，还可以改善诊断流程，改变传统的医学教育模式，因此，计算机视觉辅助的医学图像特征分析与疾病诊断已成为计算机科学与医学学科交叉领域的热点。
在传统基于深度学习的图像分类算法，一般利用卷积神经网络对图像特征进行提取和特征压缩，将提取得到的特征映射到一个高维空间当中，形成特征向量，再利用分类算法对特征向量进行分类。但是，这种分类方法忽视了图像视觉信息对疾病进行表示的内蕴空间模式，并且在对图像进行特征提取和特征压缩过程中，容易忽视不同疾病种类辨析过程中重要的、但又是微妙的局部细微信息。因此难以取得令人满意的分类精度，且无法对分类结果提供合理解释。
利用序列化特征学习方法能够有效弥补上述传统图像分类模型的不足。
发明内容
本发明的目的是克服现有计算机视觉辅助医学图像特征分析与分类技术的不足，提出一种基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置，它能够提取保持了角膜病病变区域子块空间约束关系的序列化特征，完成角膜病图像类型分类的方法。本发明具体采用的技术方案如下：
一种基于深度神经网络的角膜病图像序列化特征提取与分类方法，其包括如下步骤：
1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域进行采样，形成区域子块集合；
2)对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示；
3)将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型(Long short-term memory,LSTM)对特征序列进行处理，形成角膜图像特征，并进行分类。
在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
所述的步骤1)可以具体包括以下子步骤：
101)将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域轮廓，以形成训练数据集；轮廓由顶点集C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标，i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0,e1,…,en-1)通过顶点表示为以下形式：
102)对于图像中每个像素点，利用射线法判断其是否在病变主体内部；其具体方法是，令图像高度为h，宽度为w，对于待测像素点(xi,yk),xi∈[0,h),yk∈ [0,w)，作一条从该待测像素点到图像边缘的线段lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数；生成与图像相等大小的掩膜M，若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应 (xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部；
103)对于每张图像中的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为圆心，得到Ks+1个半径为Ri＝i*r，i∈[0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中；第i个从同心圆得到的子块集合包含ni个子块，表示为针对所有的同心圆得一系列子块集合
所述的步骤2)可以具体包括以下子步骤：
201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端输出一个kp维特征向量vij；则对于每个从同心圆得到的子块集合对应地得到一个向量集合对于子块集合对应地得到一系列子块特征向量集合
202)对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算，得到描述该同心圆的特征向量vlayer i；从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，得到描述角膜病图像病变主体区域的特征向量序列该特征向量保留了病变主体区域中子块之间所固有的空间结构。
所述的步骤3)可以具体包括以下子步骤：
301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列 S＝{Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量；
302)利用全连接分类器对向量vs进行建模，得到维度为kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax函数进行归一化操作，使输出对应每个角膜病分类结果的概率值；
303)将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值接近真实值，训练完毕后得到用于识别图像中角膜病的分类模型。
本发明的另一目的在于提供一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，其包括：
采样模块，用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域进行采样，形成区域子块集合；
特征提取模块，用于对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示；
分类模块，用于将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型对特征序列进行处理，形成角膜图像特征，并进行分类。
在上述方案基础上，各模块可以采用如下优选的具体方式实现。
所述的采样模块可以包括：
边界获取子模块：用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域轮廓，以形成训练数据集；轮廓由顶点集 C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标，i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0,e1,…,en-1)通过顶点表示为以下形式：
掩膜获取子模块：用于对于图像中每个像素点，利用射线法判断其是否在病变主体内部；其具体方法是，令图像高度为h，宽度为w，对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w)，作一条从该待测像素点到图像边缘的线段 lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数；生成与图像相等大小的掩膜M，若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应(xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部；
子块集合获取子模块：对于每张图像中的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为圆心，得到Ks+1个半径为Ri＝i*r，i∈ [0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中；第i个从同心圆得到的子块集合包含ni个子块，表示为针对所有的同心圆得一系列子块集合
所述的特征提取模块可以包括：
子块特征向量集合获取子模块：用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端输出一个kp维特征向量vij；则对于每个从同心圆得到的子块集合对应地得到一个向量集合对于子块集合对应地得到一系列子块特征向量集合
特征向量序列获取子模块：用于对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling) 计算，得到描述该同心圆的特征向量vlayer i；从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，得到描述角膜病图像病变主体区域的特征向量序列该特征向量保留了病变主体区域中子块之间所固有的空间结构。
所述的分类模块可以包括：
LSTM建模子模块：用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S＝{Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量；
角膜病分类子模块，用于利用全连接分类器对向量vs进行建模，得到维度为kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax 函数进行归一化操作，使输出对应每个角膜病分类结果的概率值；
网络训练子模块，用于将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值接近真实值，训练完毕后得到用于识别图像中角膜病的分类模型。
本发明的另一目的在于提供一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如前述任一方案项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
进一步的，该装置中还可以包括把角膜病裂隙灯图像拍摄设备，拍摄图像存储于存储器中，用于进行角膜病的分类。
本发明的另一目的在于提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如前述任一方案项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
本发明将深度序列学习模型应用于角膜疾病的分类诊断。相比一般的图像分类算法，本发明对角膜病诊断中区别性关键信息进行了建模，有效保留了角膜病特征的空间结构。本发明首次运用深度学习模型针对角膜病裂隙灯图像对应的角膜病进行分类诊断，与其它在医学诊断上尝试过的分类模型相比较，本发明在算法和运用上都有自己的独创性和独特性，而且对区别微妙差异的性能更加优越；将本发明的模型算法性能与大规模人类医生的测试水平进行比较，算法取得的诊断准确率超过绝大多数人类医生，达到了高水平眼科专家的诊断水平。
附图说明
图1是基于深度神经网络的角膜病图像序列化特征提取与分类方法流程示意图。
图2为基于深度神经网络的角膜病图像序列化特征提取与分类装置示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，一种基于深度神经网络的角膜病图像序列化特征提取与分类方法，其包括如下步骤：
1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，训练数据集中包含足量的角膜图像样本。利用滑动窗口对每张角膜图像中病变主体区域进行采样，形成区域子块集合。
2)对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示。
3)将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型对特征序列进行处理，形成角膜图像特征，并进行分类。
基于前述构建的训练数据集可以训练该分类模型，然后可以将测试数据输入训练完成后得到的分类模型中，以评价其分类准确性。实际待分类的角膜病图像也可以输入该模型中，以输出角膜病分类诊断结果，辅助医生进行诊断。
其中，步骤1)可具体通过以下子步骤实现：
101)利用图像标注软件将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域的大致轮廓，以形成训练数据集。病变区域轮廓由顶点集C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标， i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0,e1,…,en-1)通过顶点表示为以下形式：
102)对于图像中每个像素点，利用射线法判断其是否在病变主体内部。射线法的具体判断过程如下：令图像高度为h，宽度为w，对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w)，作一条从该待测像素点到图像边缘的线段 lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数。由此可以生成与图像相等大小的掩膜M，掩膜中的像素点取值由穿越次数决定：若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应(xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部，无需计算。
103)对于每张图像中给定的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为该病变主体区域的圆心，得到Ks+1个半径为Ri＝i*r，i∈[0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中。假如第i个从同心圆得到的子块集合包含ni个子块，则其子块集合可表示为因此，针对所有的同心圆即可得一系列子块集合
步骤2)可具体通过以下子步骤实现：
201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端均输出一个kp维特征向量vij。由此，对于每个从同心圆得到的子块集合可以对应地得到一个向量集合同理，对于子块集合可以对应地得到一系列子块特征向量集合
202)对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算，得到描述该同心圆的特征向量vlayer i。从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，即可得到描述角膜病图像病变主体区域的特征向量序列这一特征向量保留了病变主体区域中子块之间所固有的空间结构。
步骤3)可具体通过以下子步骤实现：
301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列 S＝{Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，该特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量。
302)利用全连接分类器对向量vs进行建模，得到维度为kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax函数进行归一化操作，使输出对应每个角膜病分类结果的概率值。
303)将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值尽可能接近真实值。训练完毕后得到用于识别图像中角膜病的分类模型。
上述方法的各步骤中的具体参数可以根据实际进行调整。
本发明的方法模仿医学专家诊断逻辑，重点提取角膜病病变区域细节信息特征，为了保留病变区域空间约束关系对特征进行序列化处理。相比于一般的图像分类算法，本发明强调了细节特征在角膜病分类中的作用，还进一步根据疾病发病规律，模仿人类逻辑进行模型构建，使得模型结构更加合理，该模型能够进一步提升分类诊断准确率。
在本发明中，上述基于深度神经网络的角膜病图像序列化特征提取与分类方法可以用于医院的辅助医疗诊断，辅助临床医生对疾病做出快速准确的诊断，提高医生的诊断水平。当然，该方法也可以用于非诊断目的，例如用于作为医学教育、科研用途，利用该方法的分类诊断结果进行辅助教学或者研究。
如图2所示，在另一实施例中提供了一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，其包括：
采样模块，用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域进行采样，形成区域子块集合；
特征提取模块，用于对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示；
分类模块，用于将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型对特征序列进行处理，形成角膜图像特征，并进行分类。
其中，采样模块包括：
边界获取子模块：用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域轮廓，以形成训练数据集；轮廓由顶点集 C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标，i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0，e1,…,en-1)通过顶点表示为以下形式：
掩膜获取子模块：用于对于图像中每个像素点，利用射线法判断其是否在病变主体内部；其具体方法是，令图像高度为h，宽度为w，对于待测像素点 (xi,yk),xi∈[0,h),yk∈[0,w)，作一条从该待测像素点到图像边缘的线段 lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数；生成与图像相等大小的掩膜M，若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应(xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部；
子块集合获取子模块：对于每张图像中的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为圆心，得到Ks+1个半径为Ri＝i*r，i∈ [0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中；第i个从同心圆得到的子块集合包含ni个子块，表示为针对所有的同心圆得一系列子块集合
其中，特征提取模块包括：
子块特征向量集合获取子模块：用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端输出一个kp维特征向量vij；则对于每个从同心圆得到的子块集合对应地得到一个向量集合对于子块集合对应地得到一系列子块特征向量集合
特征向量序列获取子模块：用于对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling) 计算，得到描述该同心圆的特征向量vlayer i；从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，得到描述角膜病图像病变主体区域的特征向量序列该特征向量保留了病变主体区域中子块之间所固有的空间结构。
其中，分类模块包括：
LSTM建模子模块：用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S＝{Vlayer 0,Vlayer 1,…,Vlayer K_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量；
角膜病分类子模块，用于利用全连接分类器对向量vs进行建模，得到维度为 kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax 函数进行归一化操作，使输出对应每个角膜病分类结果的概率值；
网络训练子模块，用于将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值接近真实值，训练完毕后得到用于识别图像中角膜病的分类模型。
另外，在另一实施例中，本发明提供了一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，它包括存储器和处理器；
其中存储器，用于存储计算机程序；
处理器，用于当执行所述计算机程序时，实现前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
需要注意的是，存储器可以包括随机存取存储器(Random Access Memory， RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，还装置中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。
另外，在上述装置中，还可以进一步集成角膜病裂隙灯图像获取设备，获取诊断对象的角膜病裂隙灯图像后，可以存储在存储器中，然后通过处理器对其进行分类处理，直接输出诊断结果。
在另一实施例中，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
下面利用前述实施例中的基于深度神经网络的角膜病图像序列化特征提取与分类方法，通过一个具体的应用实例来展示本发明分类方法的具体效果。具体的方法步骤如前所述，不再赘述，下面仅展示其具体效果。
实施例
本实施例在浙江大学医学院附属邵逸夫医院眼科提供的角膜病图像数据集上进行测试。该方法主要对三种发病率最高、识别价值最大的角膜疾病进行分类识别：细菌性角膜炎、真菌性角膜炎和病毒性角膜炎，将非上述三类的其它角膜疾病归并为一类，于是算法将每幅角膜病图像识别为细菌性角膜炎、真菌性角膜炎、病毒性角膜炎和其它角膜病这四个类别中一个类别。
算法训练和测试中，对867名角膜病患者相关数据进行了整理。每位病患者对应数据包括个人基本信息、疾病病因依据，诊断结论、所拍摄得到的若干裂隙灯拍照图像及病变体区域掩膜标注，以及结构化的主诉信息。此外，在整理过程中，对于患病情况过于严重而导致无法诊断的图像或质量不佳的拍摄图像由医学团队审查并加以剔除。最终得到了2284幅角膜病图像，每幅患病图像仅对应细菌性角膜炎、真菌性角膜炎、病毒性角膜炎和其它角膜病这四个类别中一个类别。
2284幅角膜病图像包括473幅细菌性角膜炎图像、616幅真菌性角膜炎图像、 439幅病毒性角膜炎图像和756幅其它角膜疾病。这756幅角膜病图像包括棘阿米巴性角膜炎、泡性角结膜炎、角膜遗传性变性、角膜退行性病变、角膜肿瘤、角膜外伤、眼表烧伤等等病种。
为了客观评估本算法的性能，使用四种角膜病诊断正确结果的平均值与各个角膜病诊断结果准确率(Accuracy)对该方法进行评价。
所得实验结果如表1所示，结果表明，本发明的分类方法具有较高的分类诊断准确率。
表1不同角膜病的识别结果准确率
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于深度神经网络的角膜病图像序列化特征提取与分类方法，其特征在于，包括如下步骤：
1)把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域进行采样，形成区域子块集合；
2)对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示；
3)将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型对特征序列进行处理，形成角膜图像特征，并进行分类。
2.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法，其特征在于，所述的步骤1)具体包括以下子步骤：
101)将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域轮廓，以形成训练数据集；轮廓由顶点集C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标，i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0,e1,…,en-1)通过顶点表示为以下形式：
102)对于图像中每个像素点，利用射线法判断其是否在病变主体内部；其具体方法是，令图像高度为h，宽度为w，对于待测像素点(xi,yk),xi∈[0,h),yk∈[0,w)，作一条从该待测像素点到图像边缘的线段lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数；生成与图像相等大小的掩膜M，若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应(xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部；
103)对于每张图像中的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为圆心，得到Ks+1个半径为Ri＝i*r，i∈[0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中；第i个从同心圆得到的子块集合包含ni个子块，表示为针对所有的同心圆得一系列子块集合
3.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法，其特征在于，所述的步骤2)具体包括以下子步骤：
201)使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端输出一个kp维特征向量vij；则对于每个从同心圆得到的子块集合对应地得到一个向量集合对于子块集合对应地得到一系列子块特征向量集合
202)对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算，得到描述该同心圆的特征向量vlayeri；从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，得到描述角膜病图像病变主体区域的特征向量序列该特征向量保留了病变主体区域中子块之间所固有的空间结构。
4.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法，其特征在于，所述的步骤3)具体包括以下子步骤：
301)将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S＝{Vlayer0,Vlayer1,…,VlayerK_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量；
302)利用全连接分类器对向量vs进行建模，得到维度为kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax函数进行归一化操作，使输出对应每个角膜病分类结果的概率值；
303)将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值接近真实值，训练完毕后得到用于识别图像中角膜病的分类模型。
5.一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，其特征在于，包括：
采样模块，用于把角膜病裂隙灯图像按照眼表-角膜的自然界域进行区域标注的结果作为训练数据集，并利用滑动窗口对角膜图像中病变主体区域进行采样，形成区域子块集合；
特征提取模块，用于对每张角膜图像中的所有区域子块，通过DenseNet模型进行特征提取，获取区域的向量化特征表示；
分类模块，用于将特征提取结果进行序贯链接组合，从而保留区域子块之间的空间结构关系，并利用长短时记忆模型对特征序列进行处理，形成角膜图像特征，并进行分类。
6.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置，其特征在于，所述的采样模块包括：
边界获取子模块：用于将角膜病裂隙灯图像的病变主体区域用多边形进行标识，勾勒出角膜病图像病变区域轮廓，以形成训练数据集；轮廓由顶点集C＝{c0,c1,…,cn-1}表示，其中ci＝(xi,yi)，(xi,yi)为顶点ci的坐标，i＝0,1,2,…,n-1；相邻两个顶点构成一条边界ei，边界集合E＝(e0,e1,…,en-1)通过顶点表示为以下形式：
掩膜获取子模块：用于对于图像中每个像素点，利用射线法判断其是否在病变主体内部；其具体方法是，令图像高度为h，宽度为w，对于待测像素点(xi,yk),xi∈[0,h),yk∈[0,w)，作一条从该待测像素点到图像边缘的线段lik＝((x0,yk),(xi,yk))，计算线段lik对表示病变主体边界的多边形边界集合E的穿越次数；生成与图像相等大小的掩膜M，若穿越次数为奇数，则点(xi,yk)属于病变主体区域，掩膜M上对应(xi,yk)位置像素点值记为1；反之，若穿越次数为偶数，则点(xi,yk)处于病变主体区域外，掩膜M上对应(xi,yk)位置像素点值记为0；若该点在多边形边界集合上，则直接判定其在多边形内部；
子块集合获取子模块：对于每张图像中的病变主体区域，首先计算得到其外接矩形的中心位置，再以中心位置为圆心，得到Ks+1个半径为Ri＝i*r，i∈[0,Ks]的同心圆；在每个同心圆上通过边长为lw的滑动窗口对病变主体区域进行采样，得到一系列描述病变主体区域的图像子块；对于位于半径为Ri的同心圆上的子块pij，将其归入子块集合Si当中；第i个从同心圆得到的子块集合包含ni个子块，表示为针对所有的同心圆得一系列子块集合
7.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置，其特征在于，所述的特征提取模块包括：
子块特征向量集合获取子模块：用于使用基于DenseNet深度残差神经网络模型对图像病变区域中的子块进行建模，对每个子块pij，网络输出端输出一个kp维特征向量vij；则对于每个从同心圆得到的子块集合对应地得到一个向量集合对于子块集合对应地得到一系列子块特征向量集合
特征向量序列获取子模块：用于对于每个从同心圆得到的子块集合所对应向量集合对该集合中所有向量进行最大池化(Max-pooling)计算，得到描述该同心圆的特征向量vlayeri；从病变主体区域的圆心出发，由内向外序贯链接每个同心圆所对应特征向量，得到描述角膜病图像病变主体区域的特征向量序列该特征向量保留了病变主体区域中子块之间所固有的空间结构。
8.如权利要求1所述的基于深度神经网络的角膜病图像序列化特征提取与分类装置，其特征在于，所述的分类模块包括：
LSTM建模子模块：用于将保留了病变主体区域中子块之间所固有空间结构的特征向量序列S＝{Vlayer0,Vlayer1,…,VlayerK_s}输入循环神经网络LSTM进行建模，网络输出层输出一个ks维特征向量vs，特征向量vs用于作为角膜病图像病变主体区域的序列化特征向量；
角膜病分类子模块，用于利用全连接分类器对向量vs进行建模，得到维度为kN维的分类向量化表示，其中kN为待预测角膜病的类别数目，并通过Softmax函数进行归一化操作，使输出对应每个角膜病分类结果的概率值；
网络训练子模块，用于将交叉熵损失函数作为网络训练的损失函数，损失函数的定义如下：x表示输入的图像病变主体区域序列化特征向量，class表示该角膜病图像所标注的类别标签，j表示第j种角膜病类别；通过最小化损失对网络进行训练，使得网络对角膜病类型预测值接近真实值，训练完毕后得到用于识别图像中角膜病的分类模型。
9.一种基于深度神经网络的角膜病图像序列化特征提取与分类装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～4任一项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1～4任一项所述的基于深度神经网络的角膜病图像序列化特征提取与分类方法。
CN201910380673.7A 2019-05-08 2019-05-08 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 Active CN110188767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910380673.7A CN110188767B (zh) 2019-05-08 2019-05-08 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910380673.7A CN110188767B (zh) 2019-05-08 2019-05-08 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置

Publications (2)

Publication Number Publication Date
CN110188767A true CN110188767A (zh) 2019-08-30
CN110188767B CN110188767B (zh) 2021-04-27

Family

ID=67715807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910380673.7A Active CN110188767B (zh) 2019-05-08 2019-05-08 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置

Country Status (1)

Country Link
CN (1) CN110188767B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111259986A (zh) * 2020-02-20 2020-06-09 中南大学 自由瞬目条件下的眼表指标数据分类方法
CN111340776A (zh) * 2020-02-25 2020-06-26 浙江大学 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN112102332A (zh) * 2020-08-30 2020-12-18 复旦大学 基于局部分类神经网络的癌症wsi的分割方法
CN113688851A (zh) * 2020-05-18 2021-11-23 华为技术有限公司 数据标注方法和装置和精细粒度识别方法和装置
CN117877103A (zh) * 2024-03-13 2024-04-12 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567737A (zh) * 2011-12-28 2012-07-11 华南理工大学 一种眼球角膜定位的方法
CN104398234A (zh) * 2014-12-19 2015-03-11 厦门大学 一种基于专家系统的眼表综合分析仪
CN105809188A (zh) * 2016-02-26 2016-07-27 山东大学 一种基于ambp改进算法的真菌性角膜炎图像识别方法
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567737A (zh) * 2011-12-28 2012-07-11 华南理工大学 一种眼球角膜定位的方法
CN104398234A (zh) * 2014-12-19 2015-03-11 厦门大学 一种基于专家系统的眼表综合分析仪
CN105809188A (zh) * 2016-02-26 2016-07-27 山东大学 一种基于ambp改进算法的真菌性角膜炎图像识别方法
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜婷: "基于机器学习的角膜炎图像辅助诊断研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110924340A (zh) * 2019-11-25 2020-03-27 武汉思睿博特自动化系统有限公司 一种用于智能捡垃圾的移动机器人系统与实现方法
CN111259986A (zh) * 2020-02-20 2020-06-09 中南大学 自由瞬目条件下的眼表指标数据分类方法
CN111259986B (zh) * 2020-02-20 2023-10-31 中南大学 自由瞬目条件下的眼表指标数据分类方法
CN111340776A (zh) * 2020-02-25 2020-06-26 浙江大学 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN111340776B (zh) * 2020-02-25 2022-05-03 浙江大学 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
CN113688851A (zh) * 2020-05-18 2021-11-23 华为技术有限公司 数据标注方法和装置和精细粒度识别方法和装置
CN113688851B (zh) * 2020-05-18 2023-09-15 华为云计算技术有限公司 数据标注方法和装置和精细粒度识别方法和装置
CN112102332A (zh) * 2020-08-30 2020-12-18 复旦大学 基于局部分类神经网络的癌症wsi的分割方法
CN117877103A (zh) * 2024-03-13 2024-04-12 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法
CN117877103B (zh) * 2024-03-13 2024-05-24 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法

Also Published As

Publication number Publication date
CN110188767B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN110188767A (zh) 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN109447940B (zh) 卷积神经网络训练方法、超声图像识别定位方法及系统
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN106408001B (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN109635846A (zh) 一种多类医学图像判断方法和系统
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN107516312B (zh) 一种应用浅层神经网络的中医面色自动分类方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN101667289B (zh) 基于nsct特征提取和监督分类的视网膜图像分割方法
CN105913086A (zh) 一种应用特征权重自适应选择的计算机辅助诊断乳腺的方法
CN112529894A (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
Aslam et al. Neurological Disorder Detection Using OCT Scan Image of Eye
Song et al. Segmenting overlapping cervical cell in pap smear images
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
Yonekura et al. Glioblastoma multiforme tissue histopathology images based disease stage classification with deep CNN
CN113786185B (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和系统
Sharma et al. Automatic glaucoma diagnosis in digital fundus images using deep CNNs
Bali et al. Comparison of affine and DCGAN-based data augmentation techniques for chest X-ray classification
Xu et al. Application of artificial intelligence technology in medical imaging
CN116309465B (zh) 一种基于改进的YOLOv5的自然环境下舌像检测定位方法
Yektaei et al. Diagnosis of lung cancer using multiscale convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant