CN111862009A - 一种眼底oct图像的分类方法及计算机可读存储介质 - Google Patents

一种眼底oct图像的分类方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111862009A
CN111862009A CN202010634005.5A CN202010634005A CN111862009A CN 111862009 A CN111862009 A CN 111862009A CN 202010634005 A CN202010634005 A CN 202010634005A CN 111862009 A CN111862009 A CN 111862009A
Authority
CN
China
Prior art keywords
image
fundus oct
neural network
convolutional neural
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010634005.5A
Other languages
English (en)
Other versions
CN111862009B (zh
Inventor
董宇涵
成垦
张凯
李志德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010634005.5A priority Critical patent/CN111862009B/zh
Publication of CN111862009A publication Critical patent/CN111862009A/zh
Application granted granted Critical
Publication of CN111862009B publication Critical patent/CN111862009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种眼底OCT图像的分类方法及计算机可读存储介质,方法包括:S1:获取待分类的眼底OCT图像;S2:采用训练好的卷积神经网络模型对所述待分类的眼底OCT图像进行分类,所述卷积神经网络模型是串行结构;S3:得到所述待分类的眼底OCT图像的分类结果。通过采用串行结构的卷积神经网络模型对眼底OCT图像进行分类,基于卷积神经网络框架,通过迭代训练有效地提升了分类网络的精度,能够在数据标注不足/小规模数据集的情况下实现端到端的视网膜病变OCT图像分类。

Description

一种眼底OCT图像的分类方法及计算机可读存储介质
技术领域
本发明涉及OCT图像分类技术领域,尤其涉及一种眼底OCT图像的分类方法及计算机可读存储介质。
背景技术
黄斑区是视网膜的重要区域,与彩色视觉、精细视觉等视觉功能有关。一旦在黄斑区发生病变,视力将受到负面影响。视网膜成像技术可以帮助医生了解年龄相关性黄斑变性、糖尿病性视网膜病变和黄斑裂孔等疾病的发病机制,对这些疾病的早期监测也可以进一步预防更为严重的视力丧失,同时在研究新疗法中也起着重要的作用。光学相干断层扫描(Optical Coherence Tomography,OCT)是一种非侵入式诊断技术。它利用干涉测量的概念来创建视网膜内的横截面视图,可以实现微米级别分辨率的光学测距,已成为眼科疾病诊断中不可或缺的成像工具。这种运用非手术手段产生身体内部组织的成像方法具有操作简易,无需额外辅助药剂,无创伤以及高分辨率的优点。
现有技术中关于OCT图像分类的工作依赖于传统的图像分析,需要手动开发卷积矩阵以进行边缘检测和特征提取,然后运用机器学习技术,如主成分分析、支持向量机或随机森林,完成分类任务,步骤繁复且准确度不高。
随着近几年深度学习的快速发展和其在视觉任务中的良好表现,深度学习方法被越来越多的应用到医学图像分析/计算机辅助诊断中。Karri等人对预训练的卷积神经网络GoogleLeNet进行微调,以训练并分类OCT图像。Juan等人通过彩色眼底图像对GoogLeNet,ResNet50和DeNet神经网络对青光眼疾病的识别和诊断性能进行了全面的比较分析。Cheng等提出了一种基于ResNet 50的深度哈希算法来执行图像检索和分类任务。这些方法存在的问题是需要大量带有标注的图像数据集。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决传统方法依赖初始特征选取,步骤繁复且准确率有限,深度学习方法需要大量图像标注的问题,提供一种眼底OCT图像的分类方法及计算机可读存储介质。
为了解决上述问题,本发明采用的技术方案如下所述:
一种眼底OCT图像的分类方法,包括:S1:获取待分类的眼底OCT图像;S2:采用训练好的卷积神经网络模型对所述待分类的眼底OCT图像进行分类,所述卷积神经网络模型是串行结构;S3:得到所述待分类的眼底OCT图像的分类结果。
优选地,所述卷积神经网络模型包括至少一个因子分解模块组成的串行结构,每个所述因子分解模块后级联池化层;若只有一个所述因子分解模块,则所述池化层是全局平均池化;若有不只一个所述因子分解模块,则前面的所述池化层采用最大池化,最后一个所述池化层是全局平均池化用把所述待分类的眼底OCT图像的类别降维成扁平化向量;最后一个所述池化层级联全连接层,采用softmax激活函数输出数值范围在0-1之间的概率,描述所述待分类的眼底OCT图像的类别。
优选地,所述因子分解模块包括至少2个n*n的卷积核级联和一个1*1的卷积核级联;所述因子分解模块的卷积核不大于3×3卷积。
优选地,所述因子分解模块中至少一个所述n*n的卷积核分解成n*1的卷积核和1*n的级联形成新的所述因子分解模块。
优选地,所述卷积神经网络模型中所述因子分解模块是相同的结构或不同的结构。
优选地,训练所述卷积神经网络模型包括如下步骤:S21:构建眼底OCT图像数据集,并对所述数据集的图像进行预处理,对预处理后的图像进行增广处理;S22:构建所述卷积神经网络模型;S23:通过所述眼底OCT图像数据集训练所述卷积神经网络模型,训练包括特征提取阶段和预测分类阶段;S24:对训练结果进行评价,得到训练好的所述所述卷积神经网络模型。
优选地,所述数据集中包括数量均衡的脉络膜新生血管的OCT图像、糖尿病性黄斑水肿OCT图像、脉络膜玻璃膜疣张黄斑裂孔OCT图像和浆液性黄斑分离的OCT图像和眼底健康的OCT图像。
优选地,所述预处理包括采用非局部均值滤波的方法去除所述图像中存在的高斯噪声;所述预处理还包括对去除所述图像中存在的高斯噪声的图像进行Laplacian锐化处理;对所述锐化处理后的图像进行归一化处理,以使图像具有相等的方差。
优选地,对数据增广包括对所述图像进行旋转、裁切、缩放和水平翻转。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为:提供一种眼底OCT图像的分类方法及计算机可读存储介质,通过采用串行结构的卷积神经网络模型对眼底OCT图像进行分类,基于卷积神经网络框架,通过迭代训练有效地提升了分类网络的精度,能够在数据标注不足/小规模数据集的情况下实现端到端的视网膜病变OCT图像分类。
进一步地,通过对大尺寸卷积核的因式分解,将其分解为更小尺寸的卷积核,保证感受野不变的同时优化计算资源,同时紧随每层卷积后的激活函数可以增加网络决策函数的非线性。
附图说明
图1是本发明实施例中一种眼底OCT图像的分类方法的示意图。
图2是本发明实施例中两层3×3卷积代替5×5卷积的示意图。
图3(a)-图3(e)是本发明实施例中因子分解模块的示意图。
图4是本发明实施例中第一种卷积神经网络模型的示意图。
图5是本发明实施例中第二种卷积神经网络模型的示意图。
图6是本发明实施例中训练所述卷积神经网络模型的方法示意图。
图7是本发明实施例中训练所述卷积神经网络模型的方法流程图。
图8(a)-图8(f)是本发明实施例中眼底OCT图像的示意图。
图9是本发明实施例中一种滤波模板的示意图。
图10(a)-图10(c)是本发明实施例中一种预处理结果的示意图。
图11(a)-图11(c)是本发明实施例中一种数据增广的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为适应OCT图像灰度特征(与通用物体彩色RGB图像相比,OCT图像的语义信息更简单,故可以减少卷积过程中的多尺度特征融合以降低计算开销)。
如图1所示,本发明提出了一种眼底OCT图像的分类方法,包括:
S1:获取待分类的眼底OCT图像;
S2:采用训练好的卷积神经网络模型对所述待分类的眼底OCT图像进行分类,所述卷积神经网络模型是串行结构;
S3:得到所述待分类的眼底OCT图像的分类结果。
本发明采用了串行结构的卷积神经网络模型对眼底OCT图像进行分类,基于卷积神经网络框架,通过迭代训练有效地提升了分类网络的精度,能够在数据标注不足/小规模数据集的情况下实现端到端的视网膜病变OCT图像分类。
在本发明的一种实施例中,所述卷积神经网络模型包括至少一个因子分解模块组成的串行结构,每个所述因子分解模块后级联池化层;
若只有一个所述因子分解模块,则所述池化层是全局平均池化;
若有不只一个所述因子分解模块,则前面的所述池化层采用最大池化,最后一个所述池化层是全局平均池化用把所述待分类的眼底OCT图像的类别降维成扁平化向量;
最后一个所述池化层级联全连接层,采用softmax激活函数输出数值范围在0-1之间的概率,描述所述待分类的眼底OCT图像的类别。
本发明通过对大尺寸卷积核的因式分解,将其分解为更小尺寸的卷积核,保证感受野不变的同时优化计算资源,同时紧随每层卷积后的激活函数可以增加网络决策函数的非线性。
在本发明的一种实施例中,大尺寸卷积核,如5×5或7×7,可以很好地捕获远距离单元激活信号之间的相关性从而有利于特征提取,但计算开销会因卷积核尺寸的增大而呈指数级上升。5×5卷积可以分解成两层3×3卷积,7×7卷积可以分解成三层3×3卷积,3×3卷积又可以分解为3×1和1×3卷积的级联。在卷积神经网络中,每个权重在每次激活时对应一次乘法,因此任何计算开销的降低都能导致参数数量减少。这意味着通过适当的因子分解,我们可以得到更多有序的参数并加速训练过程。就计算而言,一个5×5卷积是具有相同滤波核数量的3×3卷积的2.8倍。当然,5×5卷积可以捕获浅层远距离激活信号间的相关性,简单地减小卷积核的几何尺寸会造成部分表征信息的丢失。如图所示,卷积计算的每个输出就像一个小型全连接网络在输入上滑过的结果。考虑用参数较少,输入和输出大小、深度保持相同的多层网络代替5×5卷积。由于卷积的平移不变性,可以用两层3×3卷积达到与5×5等效的感受野。
如图2所示,是两层3×3卷积代替5×5卷积。
在本发明的一种实施例中,因子分解模块包括至少2个n*n的卷积核级联和一个1*1的卷积核级联;因子分解模块的卷积核不大于3×3卷积。
在本发明的一种实施例中,因子分解模块中至少一个所述n*n的卷积核分解成n*1的卷积核和1*n的级联形成新的所述因子分解模块。
如图3(a)-图3(e)所示,是因子分解模块的示意图。可以理解的是,此处仅仅是示例性的。由因子分解模块自由组合可以组合出卷积神经网络。
在一个卷积神经网络模型中因子分解模块是相同的结构或不同的结构。
本发明的卷积神经网络模型具有的优点如下:1.结构简洁,易于扩展,比起三维卷积神经网络参数更少,更能适应小数据集的情况;2.小卷积核的级联在保证不丢失远距离单元激活信号之间的关联性同时降低了计算开销,增加每个图块的激活次数可以使特征更加泾渭分明/决策函数具有更强的非线性;3.适度的深度和小卷积核产生隐式正则化,使得网络收敛所需的时间减少。对于多分类问题,利用softmax函数能根据输入数据的特征得到输入数据所属类别的概率值,从而描述输入图像所属类别的可能性。
如图4所示,卷积神经网络模型采用了具有7个因子分解模块的CNN结构,为了便于说明,在后文中统一表示为7-CNN。7-CNN 7-CNN整体的网络结构依次包括因子分解模块a、池化层1,因子分解模块a、池化层2,因子分解模块b、池化层3,因子分解模块c、池化层4,因子分解模块c、池化层5,因子分解模块d、池化层6,因子分解模块e、池化层7,全连接层8和softmax输出层。所有因子分解模块中的n都设置为3,这是捕获图像信息的最小尺寸。每个因子分解模块最后的1×1卷积能够增加决策函数的非线性而不影响卷积层的感受野。1×1卷积实际上是在相同维度空间上的线性投影,但ReLU函数会引入附加的非线性。
如图5所示,卷积神经网络模型采用了具有7个卷积模块的CNN结构,为了便于说明,在后文中统一表示为7-CNN。7-CNN 7-CNN整体的网络结构依次包括因子分解模块a、池化层1,因子分解模块a、池化层2,因子分解模块a、池化层3,因子分解模块c、池化层4,因子分解模块c、池化层5,因子分解模块c、池化层6,因子分解模块e、池化层7,全连接层8和softmax输出层。
如上两个卷积神经网络模型仅仅是示例性的,实际上由因子分解模块可以组成多种卷积神经网络模型。在进入全连接层之前,把待分类的眼底OCT图像的类别降维成扁平化向量。
如图6所示,训练所述卷积神经网络模型包括如下步骤:
S21:构建眼底OCT图像数据集,并对所述数据集的图像进行预处理,对预处理后的图像进行增广处理;
S22:构建所述卷积神经网络模型;
S23:通过所述眼底OCT图像数据集训练所述卷积神经网络模型,训练包括特征提取阶段和预测分类阶段;
S24:对训练结果进行评价,得到训练好的所述所述卷积神经网络模型。
如图7所示,是本发明的一种训练所述卷积神经网络模型的方法流程图。
在本发明的一种实施例中,使用的视网膜OCT图像数据集为公开数据集OCT2017和OCTID[,OCT2017包含83484张以中央凹区域为中心的二维OCT图像,分为脉络膜新生血管、糖尿病性黄斑水肿、脉络膜玻璃膜疣和健康四类,每类分别37205,11348,8616和26315张图像。该数据库还提供了1000张测试图片,每类250张。OCTID共包含204张黄斑裂孔和浆液性黄斑分离的OCT图像,每类各102张。
数据集筛选方面,为保证数据集平衡性,降低本方法对于某种异常的偏见,OCT2017的每类眼底图像只选取150张,并且没有质量较差的图像;OCTID数据集的图像质量较高,全部纳入用于本发明的数据库。最后组成的数据集中包括数量均衡的脉络膜新生血管的OCT图像、糖尿病性黄斑水肿OCT图像、脉络膜玻璃膜疣张黄斑裂孔OCT图像和浆液性黄斑分离的OCT图像和眼底健康的OCT图像。
如图8(a)-图8(f)是眼底OCT图像的示意图,依次为正常Normal、脉络膜玻璃膜疣Drusen、脉络膜新生血管CNV、糖尿病性黄斑水肿DME、黄斑裂孔MH、浆液性黄斑脱离SMD的OCT图像。
OCT图像会因拍摄设备物理属性的不同受到随机噪声的影响,从而限制数据中任何定量测量的准确性。因此在进行数据增广前,本发明采用非局部均值滤波来减少OCT图像中的高斯噪声,提高图像清晰度,并针对去噪后OCT图像边缘变模糊会影响之后特征提取的问题,采用拉普拉斯滤波进行图像增强以保证相关信息的完整性。由于原始的眼底OCT图像数据量庞大,手工标注存在困难,因此现有公开的单一数据集疾病种类和图像数量往往较少。本发明使用了深度学习方法,为了使模型能更好地适应真实、复杂的临床环境,减少网络的过拟合现象,先对两个数据集进行筛选整合和预处理,然后对数据集进行增广处理。
针对去噪后OCT图像边缘被平滑,可能影响之后特征提取的问题,本发明采取Laplacian滤波进行图像增强。由于实际筛选出的数据较少,本发明为减少网络的过拟合现象,采用数据增广操作,具体包括随机旋转、裁切、缩放等,最终得到原始数据集12倍的样本集合。
以本发明使用的数据集为例,具体处理步骤如下:
对于每一幅含有离散噪声的图像v={v(i)|i∈I},每个像素i进行非局部均值滤波后的估计值NL[v](i)由图像中所有像素的加权平均计算得到,即:
Figure BDA0002567144860000081
其中,权重族{w(i,j)}j依赖于像素i和像素j之间的相似度,用加权欧几里得距离
Figure BDA0002567144860000082
衡量,
Figure BDA0002567144860000083
代表大小固定且以像素k为中心的正方形邻域,α为高斯核的标准差,具体计算公式为:
Figure BDA0002567144860000084
其中,
Figure BDA0002567144860000085
是归一化常数,h是控制滤波程度的衰减系数。非局部均值滤波高度依赖参数设置,本发明平衡计算时间与处理效果,最终选择在21×21个像素大小的搜索窗口内寻找7×7大小的相似图块。
将去噪后的图像经过滤波模版进行Laplacian锐化处理。
如图9所示,是本发明的一种滤波模板的示意图。
如图10(a)-图10(c)所示,是本发明一种预处理结果的示意图,依次代表糖尿病性黄斑水肿的OCT图像、黄斑裂孔的OCT图像和浆液性黄斑脱离的OCT图像;从左到右依次是原始图像、去燥处理后的图像和锐化处理后的图像。
如图11(a)-图11(c)所示,是本发明一种预处理结果的示意图,依次是糖尿病性黄斑水肿,脉络膜玻璃膜疣,黄斑裂孔图像的增广处理示意图。
为了处理来自不同患者的OCT图像中的强度变化,对图像数据进行归一化处理,以使图像具有相等的方差。对于图像数据来说,像素值/255是一种近似标准化数据的快速方法,本发明采取此种方法。
接下来进行数据增广,Keras使用的函数是ImageDataGenrator(),通过配置其参数可以实现对OCT图像的一系列随机变换,包括旋转、裁切、缩放和水平翻转等。此时数据集的RGB图像具有不同的分辨率,将大小均调整为224×224×3。最后得到训练集、验证集和测试集数据各8100、1200和946张。为了便于说明,通过上述方式处理之后的输入数据在后文中统一表示为Ain
在数据预处理和数据增广之后,针对视网膜OCT图像分类,本发明借助卷积神经网络对视网膜OCT图像进行分类。需要用经过预处理和增广的OCT图像训练集进行迭代训练,由验证集计算得到的损失决定迭代epoch数,最终在测试集上得到网络的分类结果,训练模型主要包含特征提取和预测分类两个阶段:
特征提取阶段Hl(·):对经过数据预处理后的每一张眼底OCT图像进行特征提取,即输入一张大小为H×W×3的OCT图像,第l层输出的特征图作为第l+1层的输入:xl=Hl(xl-1),其中Hl(·)是由卷积、批量归一化、ReLU激活和填充层组合的复合函数。ReLU表示为f(x)=max(0,x)。输出特征图的大小为Hout×Wout×D,其中D是本层卷积核个数。Hout和Wout根据对输入的空间填充方式不同计算公式有所区别,若选择valid padding,则输出图像的高度Hout=(H-filter_size+1)zstrides_vertical若选择same padding,则Hout=H/sthdes_vertical,Wout同理。
预测阶段p(·):预测是将学习到的特征表示映射到样本标记空间,负责区分Hout×Wout×D的特征图的具体类别。框架本质上是一个多分类网络,将特征提取阶段的输出hA输入到一个激活函数fAout为softmax函数的输出层,则网络输出为fAout=fAout(hA),最终得到数值范围在0~1的概率来描述输入图像所属类别的置信度。
本发明基于卷积神经网络思想进行眼底OCT图像分类,这里以j表示第i个图像样本的真实类别,则网络的损失函数可以使用多分类交叉熵,具体表示为:
Figure BDA0002567144860000091
其中,ti,j是实值标签,pi,j是神经网络的输出,也就是预测类别是j的概率。
以图4所示的网络结构为例,整合公开的眼底OCT图像数据集,按照本发明提出的数据预处理和数据增广方法得到训练模型的输入图像数据Ain。将Ain与实值标签yi输入分类网络,在训练过程中,7-CNN的输入是224×224×3的RGB图像。图像通过一系列因子分解模块传递,经过16层降采样过程,每个卷积块由不同个数和纬度的卷积核,以1为步长,samepadding的空间填充方式组合进行特征提取操作,每层卷积操作后执行批量归一化并选用ReLU作为激活函数。卷积层的通道数从第一个因子分解模块的64个开始,每个最大池化层后扩大一倍,直到达到512个为止。每个因子分解模块后进行一次最大池化,卷积层7后进行全局平均池化,以实现特征降维。经过全局平均池化后将输入大小为224×224×3的视网膜OCT图像计算为1×1×512大小的特征图hAout
最终得到特征提取层的输出hAout输入到全连接层,得到模型的输出hA,将其输入到一个激活函数hAout为softmax函数的输出层,则网络输出为Aout=fAout(hA),最终得到数值范围在0~1的置信图来描述输入图像判为某类的概率。这里选用softmax激活函数,即:
Figure BDA0002567144860000101
计算损失函数Li,并选用相应的优化器通过多次迭代更新分类模型参数直到其收敛到最优值,本发明选用的优化器为Adam优化器。
网络初始学习率为1e-3,以32为批量大小训练25个epoch,每个epoch后计算验证集损失。当验证集损失连续3轮未下降,则学习率变为原来的1/5。当验证集损失连续4轮未下降,则停止训练过程。每个最大池化层后以0.2的几率随机丢弃神经元以改善网络中的信息流。
将经过数据集增广后的输入数据Ain中测试集的数据输入训练好的模型中,得到hc=C(Ain),bout=fout(he),其中C()表示分类网络对输入图像Ain进行的分类操作,fout表示输出层的激活函数,hout即为得到的图像类别概率值。
分类模型的评估标准采用分类准确率(Accuracy,Acc)、灵敏度(Sensitivity,SE)和特异度(Specificity,SP)来进行评估,各指标的计算方式如下:
Figure BDA0002567144860000111
Figure BDA0002567144860000112
Figure BDA0002567144860000113
其中,TP表示真阳性,TN表示真阴性,FP表示假阳性,FN表示假阴性。
同时,还选用F1分数(F1-score)作为模型指标,F1-score是精确率和召回率的加权调和平均,能同时兼顾分类模型的精确率和召回率
Figure BDA0002567144860000114
其中,
Figure BDA0002567144860000115
Figure BDA0002567144860000116
在下面的分析中,本发明将原始的整合数据集中的804张图片划分为训练集,验证集和测试集各512、128和164张。经数据增广处理后,训练集、验证集和测试集分别有8100、1200和946张。
数据集的分类结果/混淆矩阵如表1所示,其中,每一列代表网络预测为该类的数量,每行代表测试集中该类的实际数量,因此对于混淆矩阵而言,对角线区域代表着分类正确。从表1中可以看出模型的分类结果基本集中在对角线方向,说明本发明的分类模型有着较好的分类性能。与其他CNN结构在本数据集上的分类结果相比,各项评价指标均有一定的提升。
表1分类结果混淆矩阵
Figure BDA0002567144860000117
Figure BDA0002567144860000121
将提出的算法的预测结果与目前几种达到先进分类水平的方法进行定量比较。结果如表2所示,其中Venhuizen和Lemaitre的方法为基于传统的图像处理和机器学习的分类算法,MobileNet和Inception V3指代使用对应名称的神经网络进行分类的方法。
表2与其他方法的结果比较
Figure BDA0002567144860000122
由表2可知,基于7-CNN的视网膜OCT图像分类算法相较于传统方法在性能上有一定的提升,在一定程度上可以超越前人神经网络模型的性能,因为本方法涉及到的分类种类更加复杂,并且数据集规模仅是其他深度学习方法的几分之一甚至十分之一,说明了本方法在小数据集上的良好表现。
如表3所示,在与人类医生诊断结果的对比中,可以看出本方法可以产生媲美人类专家的表现,在一些疾病上的分类准确度优于人类专家。综上,在各个评价指标上,本发明提出的基于7-CNN的视网膜OCT图像分类算法分类的性能明显优于其他CNN分类网络的分类结果,也优于目前公开方法并达到人类专家的分类水平。
表2与人类医生诊断结果的对比
Figure BDA0002567144860000131
本申请实施例还提供一种控制装置,包括处理器和用于存储计算机程序的存储介质;其中,处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质,用于存储计算机程序,该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器,所述处理器执行计算机程序,至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact DiscRead-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM,DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (10)

1.一种眼底OCT图像的分类方法,其特征在于,包括:
S1:获取待分类的眼底OCT图像;
S2:采用训练好的卷积神经网络模型对所述待分类的眼底OCT图像进行分类,所述卷积神经网络模型是串行结构;
S3:得到所述待分类的眼底OCT图像的分类结果。
2.如权利要求1所述的眼底OCT图像的分类方法,其特征在于,所述卷积神经网络模型包括至少一个因子分解模块组成的串行结构,每个所述因子分解模块后级联池化层;
若只有一个所述因子分解模块,则所述池化层是全局平均池化;
若有不只一个所述因子分解模块,则前面的所述池化层采用最大池化,最后一个所述池化层是全局平均池化用把所述待分类的眼底OCT图像的类别降维成扁平化向量;
最后一个所述池化层级联全连接层,采用softmax激活函数输出数值范围在0-1之间的概率,描述所述待分类的眼底OCT图像的类别。
3.如权利要求2所述的眼底OCT图像的分类方法,其特征在于,所述因子分解模块包括至少2个n*n的卷积核级联和一个1*1的卷积核级联;所述因子分解模块的卷积核不大于3×3卷积。
4.如权利要求3所述的眼底OCT图像的分类方法,其特征在于,所述因子分解模块中至少一个所述n*n的卷积核分解成n*1的卷积核和1*n的级联形成新的所述因子分解模块。
5.如权利要求4所述的眼底OCT图像的分类方法,其特征在于,所述卷积神经网络模型中所述因子分解模块是相同的结构或不同的结构。
6.如权利要求1-5任一所述的眼底OCT图像的分类方法,其特征在于,训练所述卷积神经网络模型包括如下步骤:
S21:构建眼底OCT图像数据集,并对所述数据集的图像进行预处理,对预处理后的图像进行增广处理;
S22:构建所述卷积神经网络模型;
S23:通过所述眼底OCT图像数据集训练所述卷积神经网络模型,训练包括特征提取阶段和预测分类阶段;
S24:对训练结果进行评价,得到训练好的所述所述卷积神经网络模型。
7.如权利要求6所述的眼底OCT图像的分类方法,其特征在于,所述数据集中包括数量均衡的脉络膜新生血管的OCT图像、糖尿病性黄斑水肿OCT图像、脉络膜玻璃膜疣张黄斑裂孔OCT图像和浆液性黄斑分离的OCT图像和眼底健康的OCT图像。
8.如权利要求7所述的眼底OCT图像的分类方法,其特征在于,所述预处理包括采用非局部均值滤波的方法去除所述图像中存在的高斯噪声;
所述预处理还包括对去除所述图像中存在的高斯噪声的图像进行Laplacian锐化处理;对所述锐化处理后的图像进行归一化处理,以使图像具有相等的方差。
9.如权利要求8所述的眼底OCT图像的分类方法,其特征在于,对数据增广包括对所述图像进行旋转、裁切、缩放和水平翻转。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。
CN202010634005.5A 2020-07-02 2020-07-02 一种眼底oct图像的分类方法及计算机可读存储介质 Active CN111862009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010634005.5A CN111862009B (zh) 2020-07-02 2020-07-02 一种眼底oct图像的分类方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010634005.5A CN111862009B (zh) 2020-07-02 2020-07-02 一种眼底oct图像的分类方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111862009A true CN111862009A (zh) 2020-10-30
CN111862009B CN111862009B (zh) 2024-01-16

Family

ID=73153607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010634005.5A Active CN111862009B (zh) 2020-07-02 2020-07-02 一种眼底oct图像的分类方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111862009B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183751A (zh) * 2020-11-09 2021-01-05 大连东软教育科技集团有限公司 神经网络模型预测置信度校准方法、系统及存储介质
CN112862837A (zh) * 2021-01-27 2021-05-28 南京信息工程大学 一种基于卷积神经网络的图像处理方法和系统
CN113378794A (zh) * 2021-07-09 2021-09-10 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN114627043A (zh) * 2020-12-11 2022-06-14 杭州深杨医疗科技有限公司 近似性黄斑病变的分级方法、系统、设备及可读存储介质
CN115500807A (zh) * 2022-09-20 2022-12-23 山东大学 基于小型卷积神经网络的心律失常分类检测方法及系统
CN115631367A (zh) * 2022-09-30 2023-01-20 中国医学科学院生物医学工程研究所 基于神经网络模型的眼科超声图像分类方法以及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730497A (zh) * 2017-10-27 2018-02-23 哈尔滨工业大学 一种基于深度迁移学习的血管内斑块属性分析方法
US20180225550A1 (en) * 2015-06-05 2018-08-09 Universiteit Van Amsterdam Deep receptive field networks
CN109726743A (zh) * 2018-12-12 2019-05-07 苏州大学 一种基于三维卷积神经网络的视网膜oct图像分类方法
CN109948733A (zh) * 2019-04-01 2019-06-28 深圳大学 消化道内窥镜图像的多分类方法、分类装置及存储介质
CN110348428A (zh) * 2017-11-01 2019-10-18 腾讯科技(深圳)有限公司 眼底图像分类方法、装置及计算机可读存储介质
CN110399929A (zh) * 2017-11-01 2019-11-01 腾讯科技(深圳)有限公司 眼底图像分类方法、装置以及计算机可读存储介质
US20200125852A1 (en) * 2017-05-15 2020-04-23 Deepmind Technologies Limited Action recognition in videos using 3d spatio-temporal convolutional neural networks
CN111144296A (zh) * 2019-12-26 2020-05-12 湖南大学 基于改进cnn模型的视网膜眼底图片分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225550A1 (en) * 2015-06-05 2018-08-09 Universiteit Van Amsterdam Deep receptive field networks
US20200125852A1 (en) * 2017-05-15 2020-04-23 Deepmind Technologies Limited Action recognition in videos using 3d spatio-temporal convolutional neural networks
CN107730497A (zh) * 2017-10-27 2018-02-23 哈尔滨工业大学 一种基于深度迁移学习的血管内斑块属性分析方法
CN110348428A (zh) * 2017-11-01 2019-10-18 腾讯科技(深圳)有限公司 眼底图像分类方法、装置及计算机可读存储介质
CN110399929A (zh) * 2017-11-01 2019-11-01 腾讯科技(深圳)有限公司 眼底图像分类方法、装置以及计算机可读存储介质
CN109726743A (zh) * 2018-12-12 2019-05-07 苏州大学 一种基于三维卷积神经网络的视网膜oct图像分类方法
CN109948733A (zh) * 2019-04-01 2019-06-28 深圳大学 消化道内窥镜图像的多分类方法、分类装置及存储介质
CN111144296A (zh) * 2019-12-26 2020-05-12 湖南大学 基于改进cnn模型的视网膜眼底图片分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QINGGE JI ET AL: "《Optimized Deep Convolutional Neural Networks for Identification of Macular Diseases from Optical Coherence Tomography Images》", 《MDPI》, pages 1 - 12 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183751A (zh) * 2020-11-09 2021-01-05 大连东软教育科技集团有限公司 神经网络模型预测置信度校准方法、系统及存储介质
CN114627043A (zh) * 2020-12-11 2022-06-14 杭州深杨医疗科技有限公司 近似性黄斑病变的分级方法、系统、设备及可读存储介质
CN112862837A (zh) * 2021-01-27 2021-05-28 南京信息工程大学 一种基于卷积神经网络的图像处理方法和系统
CN112862837B (zh) * 2021-01-27 2023-06-23 南京信息工程大学 一种基于卷积神经网络的图像处理方法和系统
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN113378794A (zh) * 2021-07-09 2021-09-10 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法
CN115500807A (zh) * 2022-09-20 2022-12-23 山东大学 基于小型卷积神经网络的心律失常分类检测方法及系统
CN115631367A (zh) * 2022-09-30 2023-01-20 中国医学科学院生物医学工程研究所 基于神经网络模型的眼科超声图像分类方法以及装置
CN115631367B (zh) * 2022-09-30 2024-03-05 中国医学科学院生物医学工程研究所 基于神经网络模型的眼科超声图像分类方法以及装置

Also Published As

Publication number Publication date
CN111862009B (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
EP3674968B1 (en) Image classification method, server and computer readable storage medium
Gegundez-Arias et al. A new deep learning method for blood vessel segmentation in retinal images based on convolutional kernels and modified U-Net model
CN111862009B (zh) 一种眼底oct图像的分类方法及计算机可读存储介质
Lv et al. Attention guided U-Net with atrous convolution for accurate retinal vessels segmentation
Singh et al. An enhanced deep image model for glaucoma diagnosis using feature-based detection in retinal fundus
CN109345538A (zh) 一种基于卷积神经网络的视网膜血管分割方法
WO2020140370A1 (zh) 眼底出血点的自动检测方法、装置及计算机可读存储介质
CN111667490B (zh) 一种眼底图片视杯视盘分割方法
Jin et al. Construction of retinal vessel segmentation models based on convolutional neural network
Thomas et al. Intelligent prediction approach for diabetic retinopathy using deep learning based convolutional neural networks algorithm by means of retina photographs
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
Singh et al. Deep-learning based system for effective and automatic blood vessel segmentation from Retinal fundus images
Thomas et al. Diabetic retinopathy diagnostics from retinal images based on deep convolutional networks
Khan et al. Spatial Correlation Module for Classification of Multi-Label Ocular Diseases Using Color Fundus Images.
Nair et al. Automated screening of diabetic retinopathy with optimized deep convolutional neural network: enhanced moth flame model
CN113011340B (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及系统
Jayachandran et al. Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images
Galveia et al. Computer aided diagnosis in ophthalmology: Deep learning applications
CN116503639A (zh) 一种视网膜oct图像病变多标签分类系统和方法
Yenegeta et al. TrachomaNet: Detection and grading of trachoma using texture feature based deep convolutional neural network
Sujithra et al. Adaptive cluster-based superpixel segmentation and BMWMMBO-based DCNN classification for glaucoma detection
Vani et al. An Enhancing Diabetic Retinopathy Classification and Segmentation based on TaNet.
Priya et al. Predicting retinal pathologies with IoMT-enabled hybrid ensemble deep network model
Chavan et al. Automatic multi-disease classification on retinal images using multilevel glowworm swarm convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant