CN110147715A - 一种视网膜OCT图像Bruch膜开角自动检测方法 - Google Patents

一种视网膜OCT图像Bruch膜开角自动检测方法 Download PDF

Info

Publication number
CN110147715A
CN110147715A CN201910255376.XA CN201910255376A CN110147715A CN 110147715 A CN110147715 A CN 110147715A CN 201910255376 A CN201910255376 A CN 201910255376A CN 110147715 A CN110147715 A CN 110147715A
Authority
CN
China
Prior art keywords
oct image
release
retina oct
bruch film
film angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910255376.XA
Other languages
English (en)
Inventor
陈新建
沈宇禾
管丽玲
俞凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Bigway Medical Technology Co Ltd
Original Assignee
Jiangxi Bigway Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Bigway Medical Technology Co Ltd filed Critical Jiangxi Bigway Medical Technology Co Ltd
Priority to CN201910255376.XA priority Critical patent/CN110147715A/zh
Publication of CN110147715A publication Critical patent/CN110147715A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视网膜OCT图像Bruch膜开角自动检测方法，所述方法包括如下步骤：获取三维视网膜OCT图像；采用残差网络提取三维视网膜OCT图像的特征图；采用特征金字塔网络提取三维视网膜OCT图像的多尺度的特征图；将特征图与多尺度的特征图相叠加，获取特征向量；将所述特征向量输入至视乳头感兴趣区域网络中，估计包含Bruch膜开角感兴趣区域；采用Bruch膜角点检测网络检测二维视网膜OCT图像特征和Bruch膜开角感兴趣区域特征，回归Bruch膜开角角点，本发明可以精确检测出视网膜OCT图像中的Bruch膜开角，进而确定视乳头区域。

Description

一种视网膜OCT图像Bruch膜开角自动检测方法
技术领域
本发明涉及图像处理分析技术领域，具体涉及一种视网膜OCT图像Bruch膜开角自动检测方法。
背景技术：
视网膜OCT图像中的Bruch膜角点对于青光眼的诊断具有非常重要的作用。目前现有视网膜OCT图像中的Bruch膜开角检测方法主要是依赖于人工手动的标注，既浪费时间，又由于标注人的认知水平存在差异，使得Bruch膜开角角点或取速度慢、不准确，从而导致青光眼的诊断不及时，错过最佳治疗时机。同时，目前国内外少数已有的视网膜Bruch膜开角角点检测算法都依赖于传统视网膜分层算法，并且算法的鲁棒性、准确性以及实现效率都不理想。
发明内容
本发明的目的在于提供一种视网膜OCT图像Bruch膜开角自动检测方法，以解决现有技术中导致的上述多项缺陷或缺陷之一。
为了解决上述问题，本发明是所采用的技术手段为：
一种视网膜OCT图像Bruch膜开角自动检测方法，所述方法包括如下步骤：
获取三维视网膜OCT图像；采用残差网络提取三维视网膜OCT图像的特征图；采用特征金字塔网络提取三维视网膜OCT图像的多尺度特征图；将残差网络提取的特征图与特征金字塔网络提取的多尺度特征图相叠加，获取三维视网膜OCT图像的特征向量；将所述特征向量输入至视乳头感兴趣区域网络中，估计包含Bruch膜开角感兴趣区域；采用Bruch膜角点检测网络检测二维视网膜OCT图像特征和Bruch膜开角感兴趣区域特征，回归Bruch膜开角角点。
进一步的，所述方法还包括：对所述三维视网膜OCT图像进行图像预处理，所述图像预处理包括如下步骤：
步骤1、训练三维视网膜OCT图像，对训练得到的二维视网膜OCT图像数据进行标注；
步骤2、对标注的二维视网膜OCT图像做归一化处理。
本发明的优点在于：
1、采用深度学习卷积神经网络准确的检测视乳头感兴趣区域，从而使得结合视乳头感兴趣区域特征图获取到的Bruch膜开角角点位置更加准确鲁棒高效；
2、从各个三维视网膜OCT图像中均匀的获取训练样本，能够尽可能的增加训练样本的多样性，使模型可以获得更加鲁棒的结果；
3、视乳头感兴区域池化层用于统一不同大小的视乳头感兴区域特征图，从而极大的提高了网络的运算速度。
附图说明
图1为本发明具体实施方式视网膜OCT图像Bruch膜开角自动检测方法的流程图；
图2为本发明具体实施方式视网膜OCT图像Bruch膜开角自动检测方法中特征提取网络的示意图；
图3为本发明具体实施方式视网膜OCT图像Bruch膜开角自动检测方法中视乳头感兴趣区域网络的示意图；
图4为本发明具体实施方式视网膜OCT图像Bruch膜开角自动检测方法中Bruch膜开角角点检测网络的示意图；
图5为本发明具体实施方式视网膜OCT图像Bruch膜开角自动检测方法的结果示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1至图5所示，一种视网膜OCT图像Bruch膜开角自动检测方法，所述方法包括如下步骤：
步骤1：从各个视网膜获取三维视网膜OCT图像，对获取的三维视网膜OCT图像进行训练，对训练得到的二维视网膜OCT图像数据进行统一规则的标注，对标注的二维视网膜OCT图像做归一化处理。三维视网膜OCT图像数据是由一张又一张二维视网膜OCT图像组成的。由有经验的医师与阅片师挑出其中包含视网膜视乳头感兴区域的图像，标注出Bruch膜开角与视乳头的位置，卷积神经网络模型。训练的三维视网膜OCT图像均匀的来自各个视网膜，增加了训练样本的多样性，能够获得更加鲁棒的结果。
步骤2：训练得到的二维视网膜OCT图像经过归一化操作以后，送入特征提取网络中，如图2所示，特征提取网络包括主干网络和分支网络，特征提取网络的主干网络是一个50层的残差网络，该主干网络由一个卷积核为7*7大小，步长为2的卷积核，一个核心大小为3*3，步长为2的池化层，与16个残差块组成，每个残差块由两个卷积核为1*1，步长为1，一个卷积核为3*3，步长为1的卷积层串联而成，残差块会将残差块的输入通过一个捷径直接加到残差块的输出上，从而在加深网络以提取深层视网膜特征的同时不会使得视网膜特征过于抽象。由于Bruch膜开角比较小、并且并不是在每一张二维视网膜OCT图像上都是可视的，所以在特征提取网络上又增加了分支网络，分支网络引入了特征金字塔结构提供不同尺度下的特征图。特征金字塔结构独立于特征提取主干残差网络，通过全卷积的方式输出多个级别的按比例大小的特征图，并且横向连接，叠加到对应尺寸的残差块的输出上，获取特征向量。
步骤3：将步骤2中特征提取网络获得的特征向量送入视乳头感性区域网络中。图3所示的是视乳头感兴趣区域网络。该网络由两个分支组成，由特征提取网络提取出的特征向量经过一个卷积核大小为3*3，步长为1的卷积层与一个核心大小为2*2，步长为2的池化层后，输入两个分支。分支一通过softmax分类层生成并区分视乳头前景特征与剩下的背景特征，分支二用于生成固定尺寸的候选框，并计算候选框与视乳头感兴趣区域边框的偏移量，最终结合两个分支的输出回归出视乳头区域的坐标信息，两个分支输出的特征图经过通道叠加、卷积后作为输入送入视乳头边框回归的代价函数中。考虑到训练数据标注中视乳头区域的大小类型，视乳头感兴趣区域网络选择了9种尺寸的候选框。由这9种尺寸的候选框遍历图像，送入卷积层计算生成特征图，得到粗略的候选视乳头感兴趣区域特征图，再通过两个边界框回归层拟合出更加准确的乳头感兴趣区域特征图。将各个人候选框的乳头感兴趣区域特征图送入softmax分类层确定是视乳头前景特征还是背景特征，从而完成目标候选区域的初步提取。通过回归微调视乳头前景特征图，这部操作可以简单地分解为缩放和平移，假设输入是A＝(Ax，Ay，Aw，Ah)，目标G'＝(Gx'，Gy'，Gw'，Gh')，则转换为：
G′x＝Aw·dx(A)+Ax
G′y＝Ah.dy(A)+Ay
G′w＝A、w·exp(dW(A))
G′h＝Ah.exp(dh(A))
其中，dx(A)是图像列方向上的平移量，dy(A)是图像行方向上的平移量，dw(A)是图像列方向上的缩放比，dh(A)是图像行方向上的缩放比，exp(dw(A))为e的dw(A))次方、(dh(A))为e的dh(A))次方。
dx(A)，dy(A)，dw(A)，dh(A)可以通过线性回归：
得到，d*(A)是输出目标即回归出的参数，Φ(A)是特征图，是目标回归算子。视乳头感兴趣区域提取用到的代价函数为：
其中，是目标图像对应的金标准，是目标回归算子，是网络最终输出的特征向量，T是矩阵转置的运算符，i是目标图像在数据集中的索引，N是数据集大小；通过与训练集标注结果的差异反复迭代，得到准确的视乳头感兴趣区域特征。文中的视乳头感兴区域等同于Bruch膜开角感兴区域，包含Bruch膜开角角点。
步骤4：如图4所示，将提取出的视网膜Bruch膜开角感兴趣区域特征作为输入，送入Bruch膜开角角点检测网络中，通过1个视乳头感兴趣区域池化层，5个卷积核为3*3，步长为1的卷积层，一个反卷积层，一个全连接层，回归出最终的Bruch膜开角角点。视乳头感兴趣区域池化层用于统一步骤3中得出的不同大小的视乳头感兴趣区域特征图，从而极大的提高了网络的运算速度。不同于视乳头感兴趣区域的代价函数，Bruch膜开角角点检测网络的代价函数为：
其中，n为数据集总量，i为目标图像在数据集中的索引，是输出特征向量，总体网络的代价函数为两个代价函数的加和，通过与训练集标注结果计算差值并反复迭代，最终得到可以准确检测视网膜Bruch膜开角角点的网络模型，如图5所示。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (9)

1.一种视网膜OCT图像Bruch膜开角自动检测方法，其特征在于，所述方法包括如下步骤：
获取三维视网膜OCT图像；
采用残差网络提取三维视网膜OCT图像的特征图；
采用特征金字塔网络提取三维视网膜OCT图像的多尺度特征图；
将残差网络提取的特征图与特征金字塔网络提取的多尺度特征图相叠加，获取三维视网膜OCT图像的特征向量；
将所述特征向量输入至视乳头感兴趣区域网络中，估计包含Bruch膜开角感兴趣区域；
采用Bruch膜角点检测网络检测二维视网膜OCT图像特征和Bruch膜开角感兴趣区域特征，回归Bruch膜开角角点。
2.根据权利要求1所述的视网膜OCT图像Bruch膜开角自动检测方法，其特征在于，所述方法还包括：对所述三维视网膜OCT图像进行图像预处理，所述图像预处理包括如下步骤：
步骤1、训练三维视网膜OCT图像，对训练得到的二维视网膜OCT图像数据进行标注；
步骤2、对标注的二维视网膜OCT图像做归一化处理。
3.根据权利要求2所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，步骤1中训练的所述三维视网膜OCT图像是从各个三维视网膜OCT图像中均匀获取的。
4.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，所述残差网络包括一个卷积核、一个池化层和若干个残差块，所述残差块包括三个卷积层。
5.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，所述特征金字塔网络的输出方式为全卷积，输出的特征图横向连接，具有大小比例。
6.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，所述视乳头感兴趣区域网络包括两个分支，分支一用于生成并区分视乳头前景特征与背景特征；分支二用于生成固定尺寸的候选框，并计算候选框与视乳头感兴趣区域边框的偏移量，分支一和分支二的输出结合回归视乳头感兴趣区域的坐标信息。
7.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，所述视乳头感兴趣区域网络提取用到的代价函数为：
其中，是目标图像对应的金标准，是目标回归算子，是网络最终输出的特征向量，T是矩阵转置的运算符，i是目标图像在数据集中的索引，N是数据集大小；通过与训练集标注结果的差异反复迭代，得到Bruch膜开角感兴趣区域特征。
8.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，所述Bruch膜角点检测网络包括视乳头感兴趣区域池化层、卷积层、反卷积层和全连接层，所述视乳头感兴趣区域池化层用于统一不同大小的Bruch膜开角感性区域。
9.根据权利要求1所述的一种视网膜OCT图像Bruch膜开角自动检测算法，其特征在于，Bruch膜开角角点检测网络的代价函数为：
其中，n为数据集总量，i为目标图像在数据集中的索引，是输出特征向量，通过与训练集标注结果计算差值并反复迭代，最终得到可以准确检测视网膜Bruch膜开角角点的网络模型。
CN201910255376.XA 2019-04-01 2019-04-01 一种视网膜OCT图像Bruch膜开角自动检测方法 Pending CN110147715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910255376.XA CN110147715A (zh) 2019-04-01 2019-04-01 一种视网膜OCT图像Bruch膜开角自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910255376.XA CN110147715A (zh) 2019-04-01 2019-04-01 一种视网膜OCT图像Bruch膜开角自动检测方法

Publications (1)

Publication Number Publication Date
CN110147715A true CN110147715A (zh) 2019-08-20

Family

ID=67588431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910255376.XA Pending CN110147715A (zh) 2019-04-01 2019-04-01 一种视网膜OCT图像Bruch膜开角自动检测方法

Country Status (1)

Country Link
CN (1) CN110147715A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738633A (zh) * 2019-09-09 2020-01-31 西安电子科技大学 一种机体组织的三维图像处理方法及相关设备
CN111920375A (zh) * 2020-09-30 2020-11-13 平安科技（深圳）有限公司 一种抗血管内皮生长因子vegf疗效预测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023135A (zh) * 2016-04-28 2016-10-12 南方医科大学 基于粒子滤波对肾小球tem图像的基底膜分割方法
CN106599804A (zh) * 2016-11-30 2017-04-26 哈尔滨工业大学 基于多特征模型的视网膜中央凹检测方法
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN108876776A (zh) * 2018-06-13 2018-11-23 东软集团股份有限公司 一种分类模型生成方法、眼底图像分类方法及装置
CN109528155A (zh) * 2018-11-19 2019-03-29 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023135A (zh) * 2016-04-28 2016-10-12 南方医科大学 基于粒子滤波对肾小球tem图像的基底膜分割方法
CN106599804A (zh) * 2016-11-30 2017-04-26 哈尔滨工业大学 基于多特征模型的视网膜中央凹检测方法
CN107437092A (zh) * 2017-06-28 2017-12-05 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类算法
CN108876776A (zh) * 2018-06-13 2018-11-23 东软集团股份有限公司 一种分类模型生成方法、眼底图像分类方法及装置
CN109528155A (zh) * 2018-11-19 2019-03-29 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视并发开角型青光眼的智能筛查系统及其建立方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUHE SHEN ETAL.: ""A CNN based retinal regression model for Bruch’s Membrane Opening detection"", 《SPIE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738633A (zh) * 2019-09-09 2020-01-31 西安电子科技大学 一种机体组织的三维图像处理方法及相关设备
CN110738633B (zh) * 2019-09-09 2023-06-20 西安电子科技大学 一种机体组织的三维图像处理方法及相关设备
CN111920375A (zh) * 2020-09-30 2020-11-13 平安科技（深圳）有限公司 一种抗血管内皮生长因子vegf疗效预测装置及方法
CN111920375B (zh) * 2020-09-30 2021-01-15 平安科技（深圳）有限公司 一种抗血管内皮生长因子vegf疗效预测装置及方法

Similar Documents

Publication Publication Date Title
Xu et al. Locate globally, segment locally: A progressive architecture with knowledge review network for salient object detection
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
Li et al. [Retracted] Intelligent Sports Training System Based on Artificial Intelligence and Big Data
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN104573731B (zh) 基于卷积神经网络的快速目标检测方法
CN104616664B (zh) 一种基于声谱图显著性检测的音频识别方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
Gu et al. A new deep learning method based on AlexNet model and SSD model for tennis ball recognition
CN107330453A (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN106446930A (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN107492095A (zh) 基于深度学习的医学图像肺结节检测方法
CN107103298A (zh) 基于图像处理的引体向上计数系统及计数方法
CN104484658A (zh) 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN104134071A (zh) 一种基于颜色描述的可变形部件模型物体检测方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN110110650A (zh) 行人中的人脸识别方法
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN108898269A (zh) 基于度量的电力图像环境影响评估方法
CN106874913A (zh) 一种菜品检测方法
CN108009557A (zh) 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination