CN112006649A - 一种基于神经网络和自适应形态学约束的黄斑检测方法 - Google Patents

一种基于神经网络和自适应形态学约束的黄斑检测方法 Download PDF

Info

Publication number
CN112006649A
CN112006649A CN202010864924.1A CN202010864924A CN112006649A CN 112006649 A CN112006649 A CN 112006649A CN 202010864924 A CN202010864924 A CN 202010864924A CN 112006649 A CN112006649 A CN 112006649A
Authority
CN
China
Prior art keywords
constraint
neural network
macular
detection method
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010864924.1A
Other languages
English (en)
Inventor
张寅升
尚倩
张国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010864924.1A priority Critical patent/CN112006649A/zh
Publication of CN112006649A publication Critical patent/CN112006649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于神经网络和自适应形态学约束的黄斑检测方法，涉及黄斑图像检测技术领域，包括以下步骤：搭建区域卷积神经网络生成视盘和黄斑的候选区域，其中包括预先获取原始眼底图片作为区域卷积神经网络的输入；生成一组校准后的形态学约束规则，其中包括获取眼底相机的光学参数、拍摄参数和患者信息；基于这组相机自适应形态学规则进一步筛选黄斑候选区域；获取过滤后的最终区域特征信息。本发明基于人类眼底解剖学信息，通过黄斑形态学约束规则，结合眼底相机的光学参数、拍摄参数以及患者年龄、左右眼别信息对形态学约束规则进行细化和校准，使用形态学约束规则过滤掉不合理的候选区域，进而提高黄斑检测的准确率。

Description

一种基于神经网络和自适应形态学约束的黄斑检测方法
技术领域
本发明涉及黄斑图像检测技术领域，具体来说，涉及一种基于神经网络和自适应形态学约束的黄斑检测方法。
背景技术
对象检测的问题是在图像中找到目标对象及其边界框。传统的对象检测算法较多依赖人工特征工程(feature engineering)。随着深度学习技术的兴起，深度神经网络被逐渐用于解决生物医学领域的目标检测问题，如显微镜图像中的细胞检测，内窥镜视频中胃肠道异常的识别，机器人辅助手术训练中的工具检测和眼底图像中的关键对象检测。从技术角度来看，当前基于深度学习的目标检测技术分为两大类，一类是基于区域提议的模型，如区域卷积神经网络(R-CNN)系列，另一类是一步式全局回归/分类模型，如YOLO(Redmon等人，2016)和SSD。
而黄斑是眼底视网膜图像中的关键解剖结构，黄斑的检测对于眼底病的诊断具有重要价值，例如，黄斑的位置在早产儿视网膜病变中是划分三个区域(zone)的依据。
因此，我们提出一种基于神经网络和自适应形态学约束的黄斑检测方法。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于神经网络和自适应形态学约束的黄斑检测方法，基于深度学习的目标检测框架中，通过一组相机自适应的形态学先验规则，以约束目标检测的候选区域，进一步提高眼底照片中黄斑检测的准确率，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于神经网络和自适应形态学约束的黄斑检测方法，包括以下步骤：
步骤S1，搭建区域卷积神经网络生成视盘和黄斑的候选区域，其中包括预先获取原始眼底图片作为区域卷积神经网络的输入；
步骤S2，生成一组校准后的形态学约束规则，其中包括获取眼底相机的光学参数、拍摄参数和患者信息；
步骤S3，基于这组相机自适应形态学规则进一步筛选黄斑候选区域；
步骤S4，获取过滤后的最终区域特征信息。
进一步的，所述区域卷积神经网络，包括卷积层、区域提议网络和区域分类器，其中；
所述卷积层，用于提取纹理、边缘、形状、部件等高级语义特征；
所述区域提议网络，通过选择性搜索方法生成提议区域；
所述区域分类器，用于对提议的区域进行识别分类。
进一步的，所述形态学规则包括数量约束、尺寸约束、距离约束、角度约束和眼别约束。
进一步的，所述数量约束，包括黄斑的最大数量为1。
进一步的，所述尺寸约束，包括在1000像素宽度的图像上，黄斑直径约为16％，视盘直径约为10％。；
进一步的，所述距离约束，包括视盘与黄斑中心凹的距离为4.4±0.4mm，视盘与黄斑中央凹之间的距离为32％。
进一步的，所述角度约束，包括视盘和黄斑位于同一水平线上，其连线的水平角度小于预设阈值。
进一步的，所述眼别约束：包括右眼OD约束和左眼OS约束。
进一步的，其右眼OD中，黄斑位于视盘的左侧；其左眼OS中，黄斑位于视盘的右侧。
进一步的，包括以下步骤：
预先获取ImageNet大规模图像集；
将获取的图像集作为区域卷积神经网络卷积层的预训练集；
获取带视盘及黄斑标注的眼底图像作为训练集；
搭建并训练区域卷积神经网络。
本发明的有益效果：
本发明基于神经网络和自适应形态学约束的黄斑检测方法，通过搭建区域卷积神经网络生成视盘和黄斑的候选区域，生成一组校准后的形态学约束规则，基于这组相机自适应形态学规则进一步筛选黄斑候选区域，获取过滤后的最终区域特征信息，基于人类眼底解剖学信息，通过黄斑形态学约束规则，结合眼底相机的光学参数、拍摄参数以及患者年龄、左右眼别信息对形态学约束规则进行细化和校准，使用形态学约束规则过滤掉不合理的候选区域，进而提高黄斑检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于神经网络和自适应形态学约束的黄斑检测方法的流程示意图一；
图2是根据本发明实施例的一种基于神经网络和自适应形态学约束的黄斑检测方法的流程示意图二；
图3是根据本发明实施例的一种基于神经网络和自适应形态学约束的黄斑检测方法的场景示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于神经网络和自适应形态学约束的黄斑检测方法。
如图1-图2所示，根据本发明实施例的基于神经网络和自适应形态学约束的黄斑检测方法，包括以下步骤：
步骤S1，搭建区域卷积神经网络生成视盘和黄斑的候选区域，其中包括预先获取原始眼底图片作为区域卷积神经网络的输入；
步骤S2，生成一组校准后的形态学约束规则，其中包括获取眼底相机的光学参数、拍摄参数和患者信息；
步骤S3，基于这组相机自适应形态学规则进一步筛选黄斑候选区域；
步骤S4，获取过滤后的最终区域特征信息。
借助于上述技术方案，通过基于神经网络和自适应形态学约束的黄斑检测方法，通过搭建区域卷积神经网络生成视盘和黄斑的候选区域，生成一组校准后的形态学约束规则，基于这组相机自适应形态学规则进一步筛选黄斑候选区域，获取过滤后的最终区域特征信息，基于人类眼底解剖学信息，通过黄斑形态学约束规则，结合眼底相机的光学参数、拍摄参数以及患者年龄、左右眼别信息对形态学约束规则进行细化和校准，使用形态学约束规则过滤掉不合理的候选区域，进而提高黄斑检测的准确率。
其中，所述区域卷积神经网络，包括卷积层、区域提议网络和区域分类器，其中；
其中，用于提取纹理、边缘、形状、部件等高级语义特征；
其中，通过选择性搜索方法生成提议区域；
其中，用于对提议的区域进行识别分类。
其中，所述形态学规则包括数量约束、尺寸约束、距离约束、角度约束和眼别约束。
其中，所述数量约束，包括黄斑的最大数量为1。
其中，所述尺寸约束，包括在1000像素宽度的图像上，黄斑直径约为16％，视盘直径约为10％。；
其中，所述距离约束，包括视盘与黄斑中心凹的距离为4.4±0.4mm，视盘与黄斑中央凹之间的距离为32％。
其中，所述角度约束，包括视盘和黄斑位于同一水平线上，其连线的水平角度小于预设阈值。
其中，所述眼别约束：包括右眼OD约束和左眼OS约束。
其中，其右眼OD中，黄斑位于视盘的左侧；其左眼OS中，黄斑位于视盘的右侧。
其中，包括以下步骤：
预先获取ImageNet大规模图像集；
将获取的图像集作为区域卷积神经网络卷积层的预训练集；
获取带视盘及黄斑标注的眼底图像作为训练集；
搭建并训练区域卷积神经网络。
另外，具体的，对于上述区域卷积神经网络来说，区域卷积神经网络是基于深度学习的目标检测经典模型，输入为原始眼底图片，输出为视盘和黄斑的候选区域。其区域卷积神经网络也可以替换为其它深度学习模型，如YOLO、SSD等。若卷积层采用VGG16等通用结构，可以直接用ImageNet等大规模图像集上预训练的模型权重进行初始化。
另外，对于上述黄斑候选过滤器来说，其视盘形态学结构特征明显，能够准确被区域卷积神经网络检测到，而黄斑由于视觉特征不明显，区域卷积神经网络通常会输出多个候选区域。
具体的，其形态学规则具体包括5类：
(1)数量约束：黄斑的最大数量为1。
(2)尺寸约束：以135°的接触角膜式超广角眼底相机所拍摄的照片为例，在1000像素宽度的图像上，黄斑直径约为160(16％)，视盘直径约为100(10％)。该比率由数字眼底照相机的视角确定，与图像分辨率无关。
(3)距离约束：以新生儿为例，视盘与黄斑中心凹的距离为4.4±0.4mm，体现在1000像素宽度的135°超广角眼底照片中，视盘与黄斑(中央凹)之间的距离为320(32％)附近。
(4)角度约束：视盘和黄斑大致位于同一水平线上，它们连线的水平角度应小于一个合理的阈值。
(5)眼别约束：在右眼(OD)中，黄斑位于视盘的左侧；在左眼(OS)中，黄斑位于视盘的右侧。
其中，尺寸约束和距离约束与眼底相机的光学和拍摄参数以及患者年龄相关，可结合具体的目标检测需求进行自适应校准。
此外，如图3所示，其共四个眼底照片样本，第一列为真实值，第二列为区域卷积神经网络输出的初始候选区域，第三列为经过形态学规则约束后保留的黄斑区域，其通过黄斑形态学约束规则，结合眼底相机的光学参数、拍摄参数以及患者年龄、左右眼别信息对形态学约束规则进行细化和校准，使用形态学约束规则过滤掉不合理的候选区域，进而提高黄斑检测的准确率。
综上所述，借助于本发明的上述技术方案，通过基于神经网络和自适应形态学约束的黄斑检测方法，通过搭建区域卷积神经网络生成视盘和黄斑的候选区域，生成一组校准后的形态学约束规则，基于这组相机自适应形态学规则进一步筛选黄斑候选区域，获取过滤后的最终区域特征信息，基于人类眼底解剖学信息，通过黄斑形态学约束规则，结合眼底相机的光学参数、拍摄参数以及患者年龄、左右眼别信息对形态学约束规则进行细化和校准，使用形态学约束规则过滤掉不合理的候选区域，进而提高黄斑检测的准确率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，包括以下步骤：
搭建区域卷积神经网络生成视盘和黄斑的候选区域，其中包括预先获取原始眼底图片作为区域卷积神经网络的输入；
生成一组校准后的形态学约束规则，其中包括获取眼底相机的光学参数、拍摄参数和患者信息；
基于这组相机自适应形态学规则进一步筛选黄斑候选区域；
获取过滤后的最终区域特征信息。
2.根据权利要求1所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述区域卷积神经网络，包括卷积层、区域提议网络和区域分类器，其中；
所述卷积层，用于提取纹理、边缘、形状、部件等高级语义特征；
所述区域提议网络，通过选择性搜索方法生成提议区域；
所述区域分类器，用于对提议的区域进行识别分类。
3.根据权利要求1所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述形态学规则包括数量约束、尺寸约束、距离约束、角度约束和眼别约束。
4.根据权利要求3所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述数量约束，包括黄斑的最大数量为1。
5.根据权利要求3所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述尺寸约束，包括在1000像素宽度的图像上，黄斑直径约为16％，视盘直径约为10％。
6.根据权利要求3所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述距离约束，包括视盘与黄斑中心凹的距离为4.4±0.4mm，视盘与黄斑中央凹之间的距离为32％。
7.根据权利要求3所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述角度约束，包括视盘和黄斑位于同一水平线上，其连线的水平角度小于预设阈值。
8.根据权利要求3所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，所述眼别约束：包括右眼OD约束和左眼OS约束。
9.根据权利要求8所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，其右眼OD中，黄斑位于视盘的左侧；其左眼OS中，黄斑位于视盘的右侧。
10.根据权利要求1所述的基于神经网络和自适应形态学约束的黄斑检测方法，其特征在于，进一步包括以下步骤：
预先获取ImageNet大规模图像集；
将获取的图像集作为区域卷积神经网络卷积层的预训练集；
获取带视盘及黄斑标注的眼底图像作为训练集；
搭建并训练区域卷积神经网络。
CN202010864924.1A 2020-08-25 2020-08-25 一种基于神经网络和自适应形态学约束的黄斑检测方法 Pending CN112006649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010864924.1A CN112006649A (zh) 2020-08-25 2020-08-25 一种基于神经网络和自适应形态学约束的黄斑检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864924.1A CN112006649A (zh) 2020-08-25 2020-08-25 一种基于神经网络和自适应形态学约束的黄斑检测方法

Publications (1)

Publication Number Publication Date
CN112006649A true CN112006649A (zh) 2020-12-01

Family

ID=73502181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864924.1A Pending CN112006649A (zh) 2020-08-25 2020-08-25 一种基于神经网络和自适应形态学约束的黄斑检测方法

Country Status (1)

Country Link
CN (1) CN112006649A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
WO2019246613A1 (en) * 2018-06-22 2019-12-26 Magic Leap, Inc. Method and system for performing eye tracking using an off-axis camera
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN111046835A (zh) * 2019-12-24 2020-04-21 杭州求是创新健康科技有限公司 一种基于区域特征集合神经网络的眼底照多病种检测系统
CN111046717A (zh) * 2019-10-11 2020-04-21 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
WO2020167251A1 (en) * 2019-02-12 2020-08-20 National University Of Singapore Retina vessel measurement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
WO2019246613A1 (en) * 2018-06-22 2019-12-26 Magic Leap, Inc. Method and system for performing eye tracking using an off-axis camera
CN109166094A (zh) * 2018-07-11 2019-01-08 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
WO2020167251A1 (en) * 2019-02-12 2020-08-20 National University Of Singapore Retina vessel measurement
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN111046717A (zh) * 2019-10-11 2020-04-21 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
CN111046835A (zh) * 2019-12-24 2020-04-21 杭州求是创新健康科技有限公司 一种基于区域特征集合神经网络的眼底照多病种检测系统

Similar Documents

Publication Publication Date Title
Edupuganti et al. Automatic optic disk and cup segmentation of fundus images using deep learning
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
CN107564580B (zh) 基于集成学习的胃镜图像辅助处理系统及方法
CN110276356A (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
WO2019001209A1 (zh) 基于三维卷积神经网络的视网膜oct图像的分类算法
Ju et al. Leveraging regular fundus images for training UWF fundus diagnosis models via adversarial learning and pseudo-labeling
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN108615236A (zh) 一种图像处理方法及电子设备
US11974808B2 (en) Anterior eye disease diagnostic system and diagnostic method using same
CN112101424B (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
CN110013216B (zh) 一种人工智能白内障分析系统
Govindaiah et al. A new and improved method for automated screening of age-related macular degeneration using ensemble deep neural networks
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
Mironică et al. Automatic pediatric otitis detection by classification of global image features
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
Lyu et al. Deep tessellated retinal image detection using Convolutional Neural Networks
Tasin et al. Computer-Aided Cataract Detection Using Random Forest Classifier
Bakır et al. Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye
Sundar et al. Classification of Diabetic Retinopathy disease levels by extracting topological features using Graph Neural Networks
CN110110750B (zh) 一种原始图片的分类方法及装置
Ali et al. Cataract disease detection used deep convolution neural network
CN111402246A (zh) 一种基于联合网络的眼底图像分类方法
CN112006649A (zh) 一种基于神经网络和自适应形态学约束的黄斑检测方法
Park et al. Deep learning techniques for ear diseases based on segmentation of the normal tympanic membrane
Roy et al. RetNet: retinal disease detection using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201201