CN111160431B - 一种基于多维特征融合的圆锥角膜识别方法及装置 - Google Patents

一种基于多维特征融合的圆锥角膜识别方法及装置 Download PDF

Info

Publication number
CN111160431B
CN111160431B CN201911317629.8A CN201911317629A CN111160431B CN 111160431 B CN111160431 B CN 111160431B CN 201911317629 A CN201911317629 A CN 201911317629A CN 111160431 B CN111160431 B CN 111160431B
Authority
CN
China
Prior art keywords
data
keratoconus
feature fusion
dimensional
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911317629.8A
Other languages
English (en)
Other versions
CN111160431A (zh
Inventor
吴健
胡荷萍
陈婷婷
冯芮苇
许哲
王文哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911317629.8A priority Critical patent/CN111160431B/zh
Publication of CN111160431A publication Critical patent/CN111160431A/zh
Application granted granted Critical
Publication of CN111160431B publication Critical patent/CN111160431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多维特征融合的圆锥角膜识别方法和装置，包括：1)利用了单例病人的多维度的数据，通过设计的标准化流程进行数据处理，并结合进行圆锥角膜的分级，分为正常、亚临床圆锥角膜和圆锥角膜；2)构建多维度模型，并进行多种方式的特征融合，并连接SE模块进行特征重组，再进行模型训练；3)利用梯度反向传播进行了类别判断的可解释性操作，并输出可视化图像；4)出于对圆锥角膜数据样式的特殊性考虑，对比了一维和二维卷积对其的影响；5)通过所设计的模型，选择三个分数中最大分数所在的类别为判别的类别，得到了很好的分类效果。本发明优化了实际应用中圆锥角膜识别效果不佳的问题。

Description

一种基于多维特征融合的圆锥角膜识别方法及装置
技术领域
本发明属于医疗数据处理技术领域，具体地说，涉及一种基于多维特征融合的圆锥角膜识别方法及装置。
背景技术
近年来，深度学习技术在各行各业迅猛发展，结合深度学习技术进行医疗辅助成为了越来越多的人努力的目标和方向。而圆锥角膜是一种缓慢发展的眼病，早期(也就是亚临床圆锥角膜)很难诊断，且没有明显临床表现，病程也因人而异，而当发展到晚期(圆锥角膜)的时候，就会出现明显的角膜扩张、中央变薄向前突出，并且呈圆锥形状，可以通过多种眼科设备进行晚期圆锥角膜的诊断。关键问题在于疾病的早期是很难诊断却可以通过隐形眼镜进行矫正的，当发展到晚期就只能通过角膜交联或角膜移植手术来治疗，严重影响正常生活。本着早发现早治疗的原则，需要利用各种手段尽早发现可疑性的圆锥角膜疾病，而利用当前热点的深度学习技术进行这方面的发现将是一项令人期待的工作。
随着2012年深度学习快车的出发，硬件、数据、技术、人才等都为图像分类提供了发展潜力和技术基础。传统的图像分类算法基本都是直接处理一维问题，然后利用传统的线性或非线性的分类器或者寻找分类超平面等找出最佳的分类参数，当图像很大或数量很多时，所获得的模型泛化性很差，且分类的效果只能满足一般人物的需求，随着互联网的进步和数据量的剧增，传统方法完全不能为之做出大量的有效贡献。随着卷积神经网络的提出和发展，越来越多的实际性的问题能够用这样的网络来学习和辅助分类等操作。LeNet是LeCun基于BP网络训练多层神经网络来识别手写体数字的网络，是CNN的开山之作，在手写体数字的识别上面达到了很高的精确率，且能将其用于其他一些需要浅层网络的问题中。AlexNet则是2012年提出的LeNet的加宽加深版本，且做了很多模型和优化上的改进，使得其更加试用于更加复杂的对象。GoogLeNet是来自谷歌的用于减少计算网络开销且利用了多尺度特征融合的网络，并获得了ILSVRC挑战赛冠军。近年来，也有很多研究人员从各个不同的角度，包括深度、宽度、可解释性、特征提取等对网络进行改进，而针对不同的应用场景，我们还需要做的就是要针对不同应用场景克服不同的困难点，并选择最合适的网络进行操作。
发明内容
本发明的目的为提供一种基于多维特征融合的圆锥角膜识别方法及装置，以解决实际应用中圆锥角膜预测不够准确的问题。
为实现上述发明目的，本发明提供以下技术方案：
一种基于多维特征融合的圆锥角膜识别方法，包括以下步骤：
(1)采用Pentacam眼前节成像系统拍摄并重构角膜曲面获得角膜地形图数据，并由医生对角膜地形图数据中的包含5个维度数据的独立样本进行综合标注；
(2)分别统计角膜地形图数据的5个维度数据的正常尺寸、均值、方差、最值；
(3)基于标注数据，按固定比例划分训练集和验证集，对训练集和验证集进行一定的数据变换和归一化处理，但不影响整体数据尺寸和数值范围；
(4)利用5个维度的数据整合并构造多种特征融合的浅层卷积神经网络进行分类训练，依次迭代所有训练样本更新模型参数直至收敛，得到最佳模型；
(5)利用Grad-CAM中的梯度反向传播得到图像解释的可视化信息；
(6)通过训练出的模型对验证数据进行验证，得到了很好的分类验证效果。
其中，所述5个维度数据包括角膜曲率前后表面、高度前后表面和厚度这5个维度数据。这些维度信息的有效整合是模型分类效果良好的关键之处。
优选地，对训练集和验证集进行数据扩增以扩增数据量。针对圆锥角膜数据并不需要对原始数据做多复杂的数据扩增，只需要最基本的数据扩增，就可以达到更佳的训练效果，此方式异于其他图像分类的处理方式。
优选地，所述浅层卷积神经网络中，采用将多块feature map进行加权整合来进行特征融合，最后均链接SE模块进行特征重组，得到更有利于分类的特征。
优选地，所述浅层卷积神经网络中，将多维数据的多块feature map直接进行concat，以实现对多种特征融。
本发明中，采用多种可能性的卷积神经网络的多维度特征融合的分类模型得到了很好的分类效果。
由于角膜地形图数据的特殊性，在卷积神经网络中，可以采用n*n的卷积核进行卷积操作，也可以采用n*1的卷积核进行卷积操作。
上述技术方案中，由Pentacam眼前节成像系统所拍摄的数据尺寸是142*143*5，其中5是指前后曲率、前后高度以及单个厚度。由于整个曲平面是通过拍摄以及仪器自动重构而得到的，因此会有相同的size，其中真实数据的边缘是由0包围的，因为在进行数据裁剪的时候，需要裁剪出有效区域即可，但实际中，有效区域的选择也是一个问题，因此本发明会在实验过程中进行多种可能性的尝试，统计大批量数据的最佳效果。
另外在统计数据均值和方差的过程中，以不同维度为单位进行分别统计，最后的统计得到5维数据均值和方差。数据的划分是以全部数据的30％作为验证集合，其余是训练集，划分之前需要对数据进行随机扰动，以防相同数据的堆叠。
针对模型的构造阶段，假设5个维度的数据分别输入相同的网络(特征不共享)，输出相同维度的特征，经过concat之后，特征将会是5倍大小，而加权特征的融合则与单个分支的特征提取是相同的大小，而SE模块进行特征重组，对不同通道特征赋予权重，得到更有利于分类的特征。针对可视化阶段，通过一个输入得到一个输出之后，利用输出的3个分数进行反向传播，得到不同分数所在的特征位置对其的影响也就是我们所要求的可解释性区域。
针对训练阶段，在构造完整个模型和损失之后就可以进行反向传播，以此更新网络的参数，待模型收敛且优化到了一个极限的时候就可以停止模型的迭代，实际使用中，若连续10次验证集的效果一直处于下降的状态，则退出训练。验证效果连续10次一直处于下降状态说明模型的参数已经训练到了最佳或模型参数不正确的状态，应该退出确认。
本发明还提供了一种基于多维特征融合的圆锥角膜识别装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，所述计算机可执行指令在被执行时，实现上述基于多维特征融合的圆锥角膜识别方法。
与现有技术相比，本发明具有以下有益效果：
1)将深度学习用于圆锥角膜的分类，提升圆锥角膜的识别精度，并为医生提供解释。
2)利用多维特征，并进行多种多维度特征融合来提取更有效的特征，以提升分类效果。
3)某种程度上，能有效提升眼科医生的工作效率，为病人的早期治疗提供更大可能性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1为本发明实施中的基于多维融合的圆锥角膜识别方法和装置框架流程图。
图2为本发明实施中的模型特征(Feature)模块的具体流程。
图3为本发明实施中的模型分类(Classifier)模块的具体流程。
图4为本发明实施中的其中一种Fuse方式的具体流程。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
参见图1，本实施例的基于多维特征融合的圆锥角膜识别方法包括以下步骤：
S101生成数据集
针对Pentacam眼前节成像系统所获得的单个独立样本，首先进行141*141大小的有效区域的裁剪，再根据选定的参数进行模型输入时的图像尺寸选定，得到单个样本，再整合所有样本得到综合样本，并统计基本均值和方差信息，再进行训练和验证7:3的数据集划分，最后对输入曲率(CUR)、高度(ELE)、厚度(PAC)模块之前的数据做最后的数据归一化等预处理(preprocessing模块)操作；
S102维持正负样本均衡
当训练样本集的数据不均衡情况严重影响到了模型的训练效果，需要手动提取均衡的训练数据集，使得正负样本达到1:1的状态，整体上来说都要尽量维持样本的均衡，也就是我们要维持三类样本尽量保持在1:1:1；
S103模型训练
所选模型的总体框架如图1所示，而多个维度数据的特征提取模块(CUR、ELE、PAC结合Feature)则是图2所示的结构，由简单的2个卷积模块和2个池化模块组成，多个相同尺寸的输入，经过参数不共享而结构相同的特征提取模块的操作，得到相同尺寸的特征，再通过Fuse模块(具体如图4所示)的特征融合，输出融合之后的特征，融合之后的特征再输入后续的分类Classifier模块(图3所示)，最后得到输出的三个类别的分数，同时，该分数可在模型训练完之后通过反向传播进行可解释性的可视化。模型训练的损失函数是Nllloss,迭代次数设置上限为20000次，每次输入一个batch的数据，计算损失并反向传播，更新模型参数，直至训练完毕，迭代过程中会保存具有最佳验证效果的模型，若连续10次验证集的分类效果均处于持续下降状态，则退出当前训练，最后得到新模型；
S105模型预测
对于待预测的Pentacam数据，按训练数据的获得方式，首先进行对应的数据处理，得到归一化后的数据，再输入模型，输出分别表示正常、亚临床圆锥角膜和圆锥角膜的3个分数，取其中分数最大值所在的位置就是该数据的类别，然后再将该最大分数进行反向传播得到可视化效果图，验证是否此时的判断有一定的正确性。
从整体上来说，Pentacam获得的角膜地形图包括5个维度的数据，且数据尺寸一致，正常人的角膜地形图的数据范围和分布基本一致，且增加一些图像常用的噪声或扰动等会直接对其地形图的形状产生影响，直接影响最后的分类，因此，只进行最简单的数据裁剪和归一化处理。且由于病人的双眼对于圆锥角膜的判断是相对独立的，没有直接关联性，医生在判断的时候也是直接独立根据数据判断的，因此在数据处理阶段会直接对其进行左眼翻转。在构建模型阶段、会采用不同的卷积核、不同的输入方式以及不同的中间特征融合方式进行模型的构建，力求达到最佳分类效果，并且还会在达到最佳效果的情况下，给出可视化的图像解释，而如何将这些关键之处构造好，用以提升图像分类的效果是本发明需要解决的问题。
实施例还提供了一种基于多维特征融合的圆锥角膜识别装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，所述计算机可执行指令在被执行时，实现上述基于多维特征融合的圆锥角膜识别方法。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多维特征融合的圆锥角膜识别方法，包括以下步骤：
(1)采用Pentacam眼前节成像系统拍摄并重构角膜曲面获得角膜地形图数据，并由医生对角膜地形图数据中的包含5个维度数据的独立样本进行综合标注，其中，5个维度数据包括前表面角膜曲率、后表面角膜曲率、前表面高度、后表面高度以及厚度；
(2)对5个维度数据进行正常尺寸、均值、方差、最值的统计后，依据曲率、高度、以及厚度形成三部分数据；
(3构建浅层卷积神经网络，浅层卷积神经网络包括三个分支的特征提取模块、特征融合模块以及分类模块和可解释性的可视化模块；其中，三个分支的特征提取模块分别对三部分数据进行特征提取；特征融合模块分别对提取的三种特征进行特征融合，具体特征融合采用将三种特征concat后再经过SE特征重组的方式；分类模块对融合特征进行分类以输出正常、亚临床圆锥角膜和圆锥角膜的3个分类分数；可解释性的可视化模块将最大数据进行反向传播得到可视化效果图；
(4)利用标注数据对浅层卷积神经网络进行训练，得到最佳模型；
(5)利用最佳模型进行待预测的Pentacam数据的预测，以得到圆锥角膜识别结果。
2.如权利要求1所述基于多维特征融合的圆锥角膜识别方法，其特征在于，标注数据被输入至网络之前进行数据变换和归一化处理。
3.如权利要求1所述基于多维特征融合的圆锥角膜识别方法，其特征在于，每个特征提取模块由2个卷积模块和2个池化模块组成，多个相同尺寸的输入，经过参数不共享而结构相同的特征提取模块的操作，得到相同尺寸的特征。
4.一种基于多维特征融合的圆锥角膜识别装置，包括：存储器，存储计算机可执行指令以及在执行所述计算机可执行指令时使用或生产的数据；处理器，与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于，所述计算机可执行指令在被执行时，实现如权利要求1～3任一项所述的基于多维特征融合的圆锥角膜识别方法。
CN201911317629.8A 2019-12-19 2019-12-19 一种基于多维特征融合的圆锥角膜识别方法及装置 Active CN111160431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317629.8A CN111160431B (zh) 2019-12-19 2019-12-19 一种基于多维特征融合的圆锥角膜识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317629.8A CN111160431B (zh) 2019-12-19 2019-12-19 一种基于多维特征融合的圆锥角膜识别方法及装置

Publications (2)

Publication Number Publication Date
CN111160431A CN111160431A (zh) 2020-05-15
CN111160431B true CN111160431B (zh) 2022-10-04

Family

ID=70557369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317629.8A Active CN111160431B (zh) 2019-12-19 2019-12-19 一种基于多维特征融合的圆锥角膜识别方法及装置

Country Status (1)

Country Link
CN (1) CN111160431B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036448B (zh) * 2020-08-11 2021-08-20 上海鹰瞳医疗科技有限公司 圆锥角膜识别方法及设备
CN113284140B (zh) 2021-06-28 2022-10-14 上海美沃精密仪器股份有限公司 一种基于多模态数据的双眼圆锥角膜诊断方法
CN115880283B (zh) * 2023-01-19 2023-05-30 北京鹰瞳科技发展股份有限公司 用于检测角膜类型的装置、方法和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370969B2 (en) * 2004-03-31 2008-05-13 Nidek Co., Ltd. Corneal topography analysis system
US20180000342A1 (en) * 2016-06-30 2018-01-04 Oregon Health And Science University Diagnostic classification of corneal shape abnormalities
US10963737B2 (en) * 2017-08-01 2021-03-30 Retina-Al Health, Inc. Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN110517219B (zh) * 2019-04-01 2023-04-07 中山大学中山眼科中心 一种基于深度学习的角膜地形图判别方法及系统

Also Published As

Publication number Publication date
CN111160431A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
CN111160431B (zh) 一种基于多维特征融合的圆锥角膜识别方法及装置
CN111340776B (zh) 一种基于多维特征自适应融合的圆锥角膜识别方法和系统
US20210035689A1 (en) Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
Phasuk et al. Automated glaucoma screening from retinal fundus image using deep learning
CN110263755B (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
CN112101424B (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
CN108765392A (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
de Moura et al. Deep feature analysis in a transfer learning-based approach for the automatic identification of diabetic macular edema
Ou et al. BFENet: A two-stream interaction CNN method for multi-label ophthalmic diseases classification with bilateral fundus images
CN112712122A (zh) 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN113705670A (zh) 基于磁共振成像和深度学习的脑部图像分类方法及设备
CN111369506B (zh) 一种基于眼部b超图像的晶状体浑浊度分级方法
CN110276333B (zh) 眼底身份识别模型训练方法、眼底身份识别方法和设备
CN111938567A (zh) 基于深度学习的眼科参数测量方法、系统及设备
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
Purwanithami et al. Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation
CN109447995B (zh) 一种眼前节图像的分割方法及其相关装置
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
CN113378794A (zh) 一种眼象与症状信息的信息关联方法
Miao et al. Research on deep learning in the detection and classification of diabetic retinopathy
Abdel-Latif et al. Achieving Information Security by multi-Modal Iris-Retina Biometric Approach Using Improved Mask R-CNN
Chakraborty et al. Early Prediction of Cataract using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant