CN111402243B - 黄斑中心凹识别方法及终端 - Google Patents

黄斑中心凹识别方法及终端 Download PDF

Info

Publication number
CN111402243B
CN111402243B CN202010199266.9A CN202010199266A CN111402243B CN 111402243 B CN111402243 B CN 111402243B CN 202010199266 A CN202010199266 A CN 202010199266A CN 111402243 B CN111402243 B CN 111402243B
Authority
CN
China
Prior art keywords
macula
macular
fovea
image
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010199266.9A
Other languages
English (en)
Other versions
CN111402243A (zh
Inventor
林晨
姚晓萍
柯俊龙
施君易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lin Chen
Wisdom Medical Shenzhen Co ltd
Original Assignee
Wisdom Medical Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wisdom Medical Shenzhen Co ltd filed Critical Wisdom Medical Shenzhen Co ltd
Priority to CN202010199266.9A priority Critical patent/CN111402243B/zh
Publication of CN111402243A publication Critical patent/CN111402243A/zh
Application granted granted Critical
Publication of CN111402243B publication Critical patent/CN111402243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了黄斑中心凹识别方法及终端，将待识别图像放入黄斑识别模型，由黄斑识别模型中的图像分割处理模型来得到待识别图像上的黄斑概率区域；对所有的黄斑概率区域进行区域面积计算，将最大连通区域的黄斑概率区域认定为黄斑区域；对黄斑区域进行中心点求值，以得到黄斑中心凹。本发明在现有的图像分割处理模型上增加了后处理步骤，其中，通过图像分割处理模型识别出有可能是黄斑信息的黄斑概率区域，之后对黄斑概率区域进行连通区域的过滤，以最大连通区域的黄斑概率区域作为黄斑区域，从而对黄斑区域进行中心点求值，以得到黄斑中心凹，由此，在超广角眼底图像中也能准确识别出黄斑中心凹。

Description

黄斑中心凹识别方法及终端
技术领域
本发明涉及眼科相关的图像诊断技术领域，特别涉及黄斑中心凹识别方法及终端。
背景技术
视盘及黄斑是维持眼底正常视功能的两个最为重要的部位。由于其具有一定的图像特征，因此，在人体眼底图像分析中，准确识别这两个位置对于对眼底图像展开进一步分析具有基础性的意义。其中，视盘具有典型的轮廓及颜色差异，其识别难度相对较低；而相比之下，黄斑区没有清晰的轮廓及明显的颜色差异，识别具有一定难度。现阶段，对于普通眼底相机生成的眼底图片(范围一般为30度至60度，一般广角相机不超过110度)中，已有一些方法可以用于识别黄斑中心，包括利用血管的走行进行二值化处理并间接确定黄斑位置等，这些方法对于一些经过标准流程采集的非广角眼底图像处理结果较好。
近年来出现一种超广角眼底照相技术，其范围可以达到眼底的200度范围。由于其拍摄范围大，在其图像中常常包括了眼底视网膜外的物体，包括睫毛影、相机边框等。此外，由于超广角图像有时需要扩大对周边视网膜的采集范围，会采用偏位注视摄像；此时，视盘及黄斑位置会处在眼底图像的周边位置，由于周边图像的畸变及清晰度下降等因素，黄斑结构会更加不清晰，与视盘的相对位置更难确定。另外，在一些眼底疾病中，例如黄斑及附近区域的出血、渗出、蒌缩等病变、玻璃体的混浊出血或视盘区域图像不清等，也会对黄斑的识别产生重大的影响。这些因素都导致了现有的用于非广角眼底照片的黄斑识别方法在超广角图像中识别率较低下甚至不能识别。
发明内容
本发明所要解决的技术问题是：提供黄斑中心凹识别方法及终端，以在超广角眼底图像中准确识别出黄斑中心凹。
为了解决上述技术问题，本发明采用的技术方案为：
黄斑中心凹识别方法，包括步骤：
S1、将待识别图像放入黄斑识别模型，由所述黄斑识别模型中的图像分割处理模型来得到所述待识别图像上的黄斑概率区域；
S2、对所有的黄斑概率区域进行区域面积计算，将最大连通区域的黄斑概率区域认定为黄斑区域；
S3、对所述黄斑区域进行中心点求值，以得到黄斑中心凹。
为了解决上述技术问题，本发明采用的另一种技术方案为：
黄斑中心凹识别终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的黄斑中心凹识别方法。
本发明的有益效果在于：黄斑中心凹识别方法及终端，在现有的图像分割处理模型上增加了后处理步骤，其中，通过图像分割处理模型识别出有可能是黄斑信息的黄斑概率区域，之后对黄斑概率区域进行连通区域的过滤，以最大连通区域的黄斑概率区域作为黄斑区域，从而对黄斑区域进行中心点求值，以得到黄斑中心凹，由此，在超广角眼底图像中也能准确识别出黄斑中心凹。
附图说明
图1为本发明实施例的黄斑中心凹识别方法的流程示意图；
图2为本发明实施例涉及的眼睛在健康情况下的超广角眼底图像；
图3为本发明实施例涉及的眼睛在健康情况下的OCT图像；
图4为本发明实施例涉及的眼睛在病变情况下的超广角眼底图像；
图5为本发明实施例涉及的眼睛在病变情况下的OCT图像；
图6为本发明实施例的黄斑中心凹识别终端的结构示意图。
标号说明：
1、黄斑中心凹识别终端；2、处理器；3、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
在此之前，对于以下描述中出现的部分名词解释如下：
1、AI：是Artificial Intelligence的英文缩写，中文解释为人工智能。
2、FCN：是Fully Convolutional Networks的英文缩写，中文解释为全卷积神经网络，是一种图像分割处理模型。
3、U-Net：是一个基于CNN的图像分割网络，CNN即为卷积神经网络。
4、VGG 16：VGG是Visual Geometry Group Network的英文缩写，中文解释为视觉几何群网络，其中16是因为VGG结构中有13个卷积层和3个全链接层。
5、Resnet：是Residual Network的英文缩写，中文解释为残差网络。
6、OCT：是optical coherence tomography的英文缩写，中文解释为光学相干断层扫描，可以获得视网膜横断面图像，并可以精确标定黄斑中心凹。
7、bootstrap-t：Bootstrap是非参数统计中一种重要的估计统计量变异性，并可进行统计量区间估计的统计方法，也称为自助法；其中，bootstrap-t是区间估计中的t检验分位数，但不是通常意义上的t分布的分位数，是根据特定的样本、特定的数据而利用bootstrap方法计算得到的，只能适用于特定的样本数据，不适用于别的数据。
请参照图1至图5，黄斑中心凹识别方法，包括步骤：
S1、将待识别图像放入黄斑识别模型，由所述黄斑识别模型中的图像分割处理模型来得到所述待识别图像上的黄斑概率区域；
S2、对所有的黄斑概率区域进行区域面积计算，将最大连通区域的黄斑概率区域认定为黄斑区域；
S3、对所述黄斑区域进行中心点求值，以得到黄斑中心凹。
从上述描述可知，本发明的有益效果在于：在现有的图像分割处理模型上增加了后处理步骤，其中，通过图像分割处理模型识别出有可能是黄斑信息的黄斑概率区域，之后对黄斑概率区域进行连通区域的过滤，以最大连通区域的黄斑概率区域作为黄斑区域，从而对黄斑区域进行中心点求值，以得到黄斑中心凹，由此，在超广角眼底图像中也能准确识别出黄斑中心凹。
进一步地，所述步骤S3具体包括以下步骤：
判断所述黄斑区域的长宽比是否小于预设比例，若是，则采用多边形求中心点算法对所述黄斑区域进行计算，以得到黄斑中心凹，否则采用最大内切圆求圆心算法对所述黄斑区域进行计算，以得到黄斑中心凹。
从上述描述可知，根据不同的长宽比选择不同的中心点求法，以保证任何形状的黄斑区域都能得到准确的黄斑中心凹。
进一步地，所述步骤S3中“以得到黄斑中心凹”具体包括以下步骤：
以得到待确认黄斑中心凹；
识别所述待识别图像中的视盘，得到视盘直径和视盘中心点；
判断所述待确认黄斑中心凹和所述视盘中心点之间的距离是否在预设距离范围内，若是，则确认所述待确认黄斑中心凹为所述待识别图像中的黄斑中心凹，否则，将第二大连通区域的黄斑概率区域认定为黄斑区域，之后继续执行步骤S3，所述预设距离范围大于或等于n个视盘直径且小于或等于m个视盘直径，所述n为正数，所述m大于n。
从上述描述可知，在初步得到黄斑中心凹之后，根据视盘和黄斑中心凹的距离关系做进一步的确认，以保证所得到的黄斑中心凹的准确性。
进一步地，所述步骤S1中还包括以下步骤：
若所述图像分割处理模型未识别出任何一个黄斑概率区域，则放弃选取黄斑中心凹；
所述步骤S3中还包括以下步骤：
若所有的所述黄斑概率区域均不在所述预设距离范围内，则放弃选取黄斑中心凹。
从上述描述可知，若是待识别图像没有识别出黄斑信息，则放弃选取黄斑中心凹，避免产生误导信息。
进一步地，所述预设比例为大于或等于1.5且小于或等于3。
从上述描述可知，限定上述预设比例，在小于上述预设比例，则接近方形，直接按照多边形进行中心点求值即可；在大于上述预设比例，则为扁长形，取最大内切圆，则最大内切圆最有可能是黄斑实际所在位置，因此，采用求得最大内切圆的圆心来作为黄斑中心凹，从而使得图像分割处理模型得到的任何黄斑区域都能得到准确的黄斑中心凹。
进一步地，所述n为大于或等于一且小于或等于二，所述m为大于或等于二且小于或等于十。
从上述描述可知，以视盘直径作为衡量单位，以实际中视盘和中心凹的距离做参考标准，认定经AI识别到的黄斑中心凹在超过预设距离范围内不可能是实际的黄斑中心凹，从而对黄斑中心凹的识别作进一步的确认。
进一步地，训练所述黄斑识别模型的过程具体包括以下步骤：
获取训练图集中的待训练超广角眼底图像，对所述待训练超广角眼底图像进行图像对比度的改善处理，以增强黄斑区域的颜色对比度，将已改善处理的所述待训练超广角眼底图像进行打标；
将打标后的所述待训练超广角眼底图像进行AI训练，得到所述待训练超广角眼底图像的黄斑概率区域，所述AI训练中的图像分割处理模型为FCN网络模型或U-Net网络模型，所述AI训练中的预训练模型为VGG 16或Resnet；
根据所述待训练超广角眼底图像的黄斑概率区域求得每一个所述待训练超广角眼底图像的黄斑中心凹；
根据求得的黄斑中心凹与打标时确定的黄斑中心凹的差别对所述图像分割处理模型进行参数调整，以得到训练后的所述黄斑识别模型；
通过评估方法来确定训练后的所述黄斑识别模型的准确度；
输出准确度超过预设阈值的所述黄斑识别模型。
从上述描述可知，即经过预处理、AI识别以及后处理来得到训练后的黄斑识别模型，并通过评估方法来确定训练后的黄斑识别模型的准确度，使得只有评估通过的黄斑识别模型才能输出使用，保证输出的黄斑识别模型具有较高的黄斑中心凹识别准确度。
进一步地，所述“将已改善处理的所述待训练超广角眼底图像进行打标”具体包括以下步骤：
获取打标人员在已改善处理的所述待训练超广角眼底图像上手动圈出的黄斑中心凹；
或者获取与所述训练图集中的待训练超广角眼底图像一一对应的OCT图像，在所述待训练超广角眼底图像和对应的所述OCT图像上选取多点作为图像对应标记点，建立起线性回归方程，从而通过在对应的所述OCT图像上的黄斑中心凹位置来确定在所述待训练超广角眼底图像上的黄斑中心凹位置。
从上述描述可知，采用人工打标或线性回归法来进行打标，其中，采用线性回归法，通过建立线性回归方程，并以能精确标定出黄斑中心凹的OCT图像作为参考，从而快速且精确的标记出每一张待训练超广角眼底图像的黄斑中心凹。
进一步地，所述“通过评估方法来确定训练后的所述黄斑识别模型的准确度”具体包括以下步骤：
采用鲁棒性评估方法来评估训练后的所述黄斑识别模型的第一准确度，所述鲁棒性评估方法包括三个测试图像子集，计算训练后的所述黄斑识别模型在每一个测试图像子集中的识别率及识别时间，根据三个所述测试图像子集的识别率及识别时间来得到所述黄斑识别模型的第一准确度，三个所述测试图像子集包括由存在可识别黄斑信息但眼底病变程度高或图像采集质量少的待测试超广角眼底图像组成的第一测试图像集、由因偏位程度高或黄斑信息被完全遮挡而不含黄斑信息的待测试超广角眼底图像组成的第二测试图像集以及由非超广角眼底图像组成的第三测试图像集；
采用准确性评估方法来评估训练后的所述黄斑识别模型的第二准确度，所述准确性评估方法以大于100张的待测试超广角眼底图像组成的第四测试图像集，使用训练后的所述黄斑识别模型对所述第四测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，将每一张待测试超广角眼底图像识别后的黄斑中心凹做以金标准为圆心的散点图，计算每一个散点的位置和每一个散点与圆心的距离，得到平均距离、距离中位数、包括95％散点时的散点半径以及包括所有散点时的散点半径，得到第二准确度，所述金标准为以线性回归方程计算出的黄斑中心凹位置；
采用可重复性评估方法来评估训练后的所述黄斑识别模型的第三准确度，所述可重复性评估方法用于将训练后的所述黄斑识别模型的识别结果与人工打标结果进行组内相关系数的计算，用bootstrap-t检查方法评估差异，以得到训练后的所述黄斑识别模型的第三准确度；
由存在黄斑信息但嘈杂程度高的待测试超广角眼底图像组成第六测试图像集，使用训练后的所述黄斑识别模型对所述第六测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，以所述第六测试图像集中每一张待测试超广角眼底图像所对应的OCT图像中所确定的黄斑中心凹来对识别后的黄斑中心凹进行准确度评估，得到训练后的所述黄斑识别模型的第四准确度；
根据所述第一准确度、第二准确度、第三准确度、第四准确度来确定训练后的所述黄斑识别模型的最终准确度。
从上述描述可知，通过鲁棒性评估方法来保证能准确识别出没有黄斑信息的眼底图像；通过准确性评估来避免有黄斑信息的眼底图像下均能准确识别出黄斑信息，以避免遗漏；通过可重复性评估方法来评估AI识别方法与人工识别方法的差异性；使用存在黄斑信息但嘈杂程度高的待测试超广角眼底图像和OCT图像进行比对，来验证黄斑识别模型在对于干扰信息比较多的情况下能否准确识别出黄斑中心凹，从而全面判断黄斑识别模型的准确度，保证输出的黄斑识别模型在遇到任何眼底图像都能最大程度上提供准确的黄斑中心凹信息。
请参照图6，黄斑中心凹识别终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的黄斑中心凹识别方法。
从上述描述可知，本发明的有益效果在于：在现有的图像分割处理模型上增加了后处理步骤，其中，通过图像分割处理模型识别出有可能是黄斑信息的黄斑概率区域，之后对黄斑概率区域进行连通区域的过滤，以最大连通区域的黄斑概率区域作为黄斑区域，从而对黄斑区域进行中心点求值，以得到黄斑中心凹，由此，在超广角眼底图像中也能准确识别出黄斑中心凹。
请参照图1，本发明的实施例一为：
本实施例的黄斑中心凹识别方法用于识别任何的眼底图像，尤其是针对超广角眼底图像的黄斑识别，其识别出黄斑中心凹的准确程度较现有技术有大幅度的提高，其具体实现过程如下：
黄斑中心凹识别方法，包括步骤：
S1、将待识别图像放入黄斑识别模型，由黄斑识别模型中的图像分割处理模型来得到待识别图像上的黄斑概率区域；
在本实施例中，若图像分割处理模型未识别出任何一个黄斑概率区域，则放弃选取黄斑中心凹，其中，图像分割处理模型为FCN网络模型或U-Net网络模型；
由此，在得到待识别图像上的黄斑概率区域即在输入的待识别图像上显示多个高概率的区域色块；
其中，对于本实施例在实际应用中，主要用于对超广角眼底图像的黄斑识别，也包括正常眼底图像的黄斑识别，同时，鉴于输入图像的不确定性，得到的输入图像并不能确定是眼底图像，有可能是用户的手、脸上其他部位等图像，因此，对于放入黄斑识别模型的图像不限定为超广角眼底图像，也不限定为眼底图像，而是统一称为待识别图像。
S2、对所有的黄斑概率区域进行区域面积计算，将最大连通区域的黄斑概率区域认定为黄斑区域；
在本实施例中，步骤S2和步骤S3即为后处理步骤，针对图像分割处理模型识别出的黄斑概率区域作进一步的判断和确认。其中，步骤S2对识别出的所有的黄斑概率区域进行连通，求得连通后的黄斑概率区域的面积，面积越大，则越有可能是黄斑，因此，将最大连通区域的黄斑概率区域认定为黄斑区域。
S3、对黄斑区域进行中心点求值，以得到黄斑中心凹；
在本实施例中，步骤S3具体包括以下步骤：
判断黄斑区域的长宽比是否小于预设比例，若是，则采用多边形求中心点算法对黄斑区域进行计算，以得到黄斑中心凹，否则采用最大内切圆求圆心算法对黄斑区域进行计算，以得到待确认黄斑中心凹，其中，在本实施例中，预设比例为大于或等于1.5且小于或等于3，比如可以为2，则长宽比小于2的采用多边形求中心点算法，长宽比大于2的则采用最大内切圆求圆心算法，以保证对任何形状的黄斑区域都能准确得到待确认黄斑中心凹，其中，多边形求中心就是每个顶点坐标取平均值；
识别待识别图像中的视盘，得到视盘直径和视盘中心点，即在得到待确认黄斑中心凹需要通过与视盘的相对距离关系来进一步的确认，因此需要求得视盘直径和视盘中心点，由于识别视盘技术为现有成熟技术，因此本实施例不对此进行进一步的展开说明；
判断待确认黄斑中心凹和视盘中心点之间的距离是否在预设距离范围内，若是，则确认待确认黄斑中心凹为待识别图像中的黄斑中心凹，否则，将第二大连通区域的黄斑概率区域认定为黄斑区域，之后继续执行步骤S3，预设距离范围大于或等于n个视盘直径且小于或等于m个视盘直径，n为正数，m大于n，其中，n为大于或等于一且小于或等于二，m为大于或等于二且小于或等于十，比如在本实施例中，可以将n设为一，将m设为6，则在一个视盘直径至六个视盘直径内认为待确认黄斑中心凹和视盘的相对距离是比较符合实际的，因此，将待确认黄斑中心凹作为待识别图像中的黄斑中心凹，而在超出该距离范围内，则判断该待确认黄斑中心凹不可能为实际的黄斑中心凹，因此继续对第二大连通区域的黄斑概率区域进行中心点求值，直到找到符合该距离范围内后确认为黄斑中心凹，或是在所有的黄斑概率区域均不在预设距离范围内，放弃选取黄斑中心凹。
由此，最终输出不存在黄斑中心凹或标记出黄斑中心凹的位置的识别结果。其中，不存在黄斑中心凹的眼底图像包括一塌糊涂的病变图像、非眼底信息的瞎照、拍照时极度偏位的眼底图像或黄斑信息被完全遮挡的眼底图像，由此可知，考虑到输入图像的不确定性，因此存在不存在黄斑中心凹的情况。
如图2和图4所示的交叉点即为识别出的黄斑中心凹，与图2的健康眼底图像对应的OCT图像如图3所示，其具有明显的凹陷位置，因此可以准确的判断出黄斑中心凹的位置。同理，图4虽然为病变眼底图像，存在较多的干扰信息，但在对应的图5中也能准确的判断出黄斑中心凹的位置。
由此，本实施例中将所有进行黄斑识别的算法程序合称为黄斑识别模型，其中，包括现有技术中广泛使用的图像分割处理模型以及针对超广角眼底图像而增加的后处理步骤S2和步骤S3。而对于待识别图像的黄斑识别由黄斑识别模型进行实现，因此，得到一个识别准确度高的黄斑识别模型至关重要。
在本实施例中，训练黄斑识别模型的过程具体包括以下步骤：
第一、预处理：获取训练图集中的待训练超广角眼底图像，对待训练超广角眼底图像进行图像对比度的改善处理，以增强黄斑区域的颜色对比度，将已改善处理的待训练超广角眼底图像进行打标；
其中，本实施例的打标包括以下两种方式：
获取打标人员在已改善处理的待训练超广角眼底图像上手动圈出的黄斑中心凹，即由打标人员进行手动打标；
或者获取与训练图集中的待训练超广角眼底图像一一对应的OCT图像，在待训练超广角眼底图像和对应的OCT图像上选取多点作为图像对应标记点，建立起线性回归方程，从而通过在对应的OCT图像上的黄斑中心凹位置来确定在待训练超广角眼底图像上的黄斑中心凹位置，其中，标记点选用血管分叉点做参考；
如图3和图5所示，在OCT图像上，在三维的断层矩阵中已经根据断层图像确定黄斑中心凹在眼底平面上的坐标：Xm，Ym；选取同时在OCT图像及超广角眼底图像上清晰可识别的5个标记点做为线性回归点，比如图2和图3、图4和图5；
在OCT图像上坐标为[Xo1,Yo1]、[Xo2,Yo2]、[Xo3,Yo3]、[Xo4,Yo4]、[Xo5,Yo5]；对应超广角眼底图像上为[Xw1,Yw1]、[Xw2,Yw2]、[Xw3,Yw3]、[Xw4,Yw4]、[Xw5,Yw5]；根据以上5对坐标值建立简单线性回归方程：Xw＝a*Xo+b；Yw＝c*Yo+d；根据上述线性方程，将OCT图像中确认的黄斑中心凹坐标Xm，Ym代入方程，算得Xw_m,及Yw_m,即超广角眼底图像上的黄斑坐标值。
第二、AI训练：将打标后的待训练超广角眼底图像进行AI训练，得到待训练超广角眼底图像的黄斑概率区域，AI训练中的图像分割处理模型为FCN网络模型或U-Net网络模型，AI训练中的预训练模型为VGG 16或Resnet，此步骤对应上述步骤S1；
第三、后处理：根据待训练超广角眼底图像的黄斑概率区域求得每一个待训练超广角眼底图像的黄斑中心凹，此步骤对应上述步骤S2和步骤S3；
根据求得的黄斑中心凹与打标时确定的黄斑中心凹的差别对图像分割处理模型进行参数调整，以得到训练后的黄斑识别模型；
第四、评估：通过评估方法来确定训练后的黄斑识别模型的准确度，输出准确度超过预设阈值的黄斑识别模型。
在本实施例中，为了全面评估训练后的黄斑识别模型的准确度，本实施例具体包括以下评估过程：
采用鲁棒性评估方法来评估训练后的黄斑识别模型的第一准确度，鲁棒性评估方法包括三个测试图像子集，计算训练后的黄斑识别模型在每一个测试图像子集中的识别率及识别时间，根据三个测试图像子集的识别率及识别时间来得到黄斑识别模型的第一准确度，三个测试图像子集包括由存在可识别黄斑信息但眼底病变程度高或图像采集质量少的待测试超广角眼底图像组成的第一测试图像集、由因偏位程度高或黄斑信息被完全遮挡而不含黄斑信息的待测试超广角眼底图像组成的第二测试图像集以及由非超广角眼底图像组成的第三测试图像集；
采用准确性评估方法来评估训练后的黄斑识别模型的第二准确度，准确性评估方法以大于100张的待测试超广角眼底图像组成的第四测试图像集，使用训练后的黄斑识别模型对第四测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，将每一张待测试超广角眼底图像识别后的黄斑中心凹做以金标准为圆心的散点图，计算每一个散点的位置和每一个散点与圆心的距离，得到平均距离、距离中位数、包括95％散点时的散点半径以及包括所有散点时的散点半径，得到第二准确度，金标准为以线性回归方程计算出的黄斑中心凹位置，比如以500张待测试超广角眼底图像进行测试，形成一个散点图，既可以直观的了识别准确性，也可以通过平均距离、距离中位数、包括95％散点时的散点半径以及包括所有散点时的散点半径来客观判断其准确度；
采用可重复性评估方法来评估训练后的黄斑识别模型的第三准确度，可重复性评估方法用于将训练后的黄斑识别模型的识别结果与人工打标结果进行组内相关系数的计算，用bootstrap-t检查方法评估差异，以得到训练后的黄斑识别模型的第三准确度；
由存在黄斑信息但嘈杂程度高的待测试超广角眼底图像组成第六测试图像集，使用训练后的黄斑识别模型对第六测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，以第六测试图像集中每一张待测试超广角眼底图像所对应的OCT图像中所确定的黄斑中心凹来对识别后的黄斑中心凹进行准确度评估，得到训练后的黄斑识别模型的第四准确度，其中嘈杂程度高比如大量的出血、眼角边上的黑影、睫毛等物体的严重渗出；
根据第一准确度、第二准确度、第三准确度、第四准确度来确定训练后的黄斑识别模型的最终准确度，其中，每一个准确度并不是一个预设的百分数之类的数，而是根据不同的评估方法进行不同的判断标准，比如第一准确度中可能是识别率是否在合格识别率范围内和识别时间是否在合格识别时间范围内；第二准确度中可能是平均距离在合格距离范围内等等。
请参照图6，本发明的实施例二为：
黄斑中心凹识别终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一的黄斑中心凹识别方法。
综上所述，本发明提供的黄斑中心凹识别方法及终端，在现有的图像分割处理模型上增加了后处理步骤，其中，通过图像分割处理模型识别出有可能是黄斑信息的黄斑概率区域，之后对黄斑概率区域进行连通区域的过滤，以最大连通区域的黄斑概率区域作为黄斑区域，通过对黄斑区域的长宽比例进行判断，以采用多边形求中心点算法或最大内切圆求圆心算法来准确得到待确认黄斑中心凹，之后根据视盘和黄斑中心凹的距离关系做进一步的确认排除，从而在识别超广角眼底图像时也能快速且准确识别出黄斑中心凹。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.黄斑中心凹识别方法，其特征在于，包括步骤：
S1、将待识别图像放入黄斑识别模型，由所述黄斑识别模型中的图像分割处理模型来得到所述待识别图像上的黄斑概率区域；
S2、对所有的黄斑概率区域进行区域面积计算，将最大连通区域的黄斑概率区域认定为黄斑区域；
S3、对所述黄斑区域进行中心点求值，以得到黄斑中心凹；
所述步骤S3中“以得到黄斑中心凹”具体包括以下步骤：
以得到待确认黄斑中心凹；
识别所述待识别图像中的视盘，得到视盘直径和视盘中心点；
判断所述待确认黄斑中心凹和所述视盘中心点之间的距离是否在预设距离范围内，若是，则确认所述待确认黄斑中心凹为所述待识别图像中的黄斑中心凹，否则，将第二大连通区域的黄斑概率区域认定为黄斑区域，之后继续执行步骤S3，所述预设距离范围大于或等于n个视盘直径且小于或等于m个视盘直径，所述n为正数，所述m大于n。
2.根据权利要求1所述的黄斑中心凹识别方法，其特征在于，所述步骤S3具体包括以下步骤：
判断所述黄斑区域的长宽比是否小于预设比例，若是，则采用多边形求中心点算法对所述黄斑区域进行计算，以得到黄斑中心凹，否则采用最大内切圆求圆心算法对所述黄斑区域进行计算，以得到黄斑中心凹。
3.根据权利要求1所述的黄斑中心凹识别方法，其特征在于，所述步骤S1中还包括以下步骤：
若所述图像分割处理模型未识别出任何一个黄斑概率区域，则放弃选取黄斑中心凹；
所述步骤S3中还包括以下步骤：
若所有的所述黄斑概率区域均不在所述预设距离范围内，则放弃选取黄斑中心凹。
4.根据权利要求2所述的黄斑中心凹识别方法，其特征在于：所述预设比例为大于或等于1.5且小于或等于3。
5.根据权利要求1所述的黄斑中心凹识别方法，其特征在于：所述n为大于或等于一且小于或等于二，所述m为大于或等于二且小于或等于十。
6.根据权利要求1所述的黄斑中心凹识别方法，其特征在于，训练所述黄斑识别模型的过程具体包括以下步骤：
获取训练图集中的待训练超广角眼底图像，对所述待训练超广角眼底图像进行图像对比度的改善处理，以增强黄斑区域的颜色对比度，将已改善处理的所述待训练超广角眼底图像进行打标；
将打标后的所述待训练超广角眼底图像进行AI训练，得到所述待训练超广角眼底图像的黄斑概率区域，所述AI训练中的图像分割处理模型为FCN网络模型或U-Net网络模型，所述AI训练中的预训练模型为VGG 16或Resnet；
根据所述待训练超广角眼底图像的黄斑概率区域求得每一个所述待训练超广角眼底图像的黄斑中心凹；
根据求得的黄斑中心凹与打标时确定的黄斑中心凹的差别对所述图像分割处理模型进行参数调整，以得到训练后的所述黄斑识别模型；
通过评估方法来确定训练后的所述黄斑识别模型的准确度；
输出准确度超过预设阈值的所述黄斑识别模型。
7.根据权利要求6所述的黄斑中心凹识别方法，其特征在于，所述“将已改善处理的所述待训练超广角眼底图像进行打标”具体包括以下步骤：
获取打标人员在已改善处理的所述待训练超广角眼底图像上手动圈出的黄斑中心凹；
或者获取与所述训练图集中的待训练超广角眼底图像一一对应的OCT图像，在所述待训练超广角眼底图像和对应的所述OCT图像上选取多点作为图像对应标记点，建立起线性回归方程，从而通过在对应的所述OCT图像上的黄斑中心凹位置来确定在所述待训练超广角眼底图像上的黄斑中心凹位置。
8.根据权利要求7所述的黄斑中心凹识别方法，其特征在于，所述“通过评估方法来确定训练后的所述黄斑识别模型的准确度”具体包括以下步骤：
采用鲁棒性评估方法来评估训练后的所述黄斑识别模型的第一准确度，所述鲁棒性评估方法包括三个测试图像子集，计算训练后的所述黄斑识别模型在每一个测试图像子集中的识别率及识别时间，根据三个所述测试图像子集的识别率及识别时间来得到所述黄斑识别模型的第一准确度，三个所述测试图像子集包括由存在可识别黄斑信息但眼底病变程度高或图像采集质量少的待测试超广角眼底图像组成的第一测试图像集、由因偏位程度高或黄斑信息被完全遮挡而不含黄斑信息的待测试超广角眼底图像组成的第二测试图像集以及由非超广角眼底图像组成的第三测试图像集；
采用准确性评估方法来评估训练后的所述黄斑识别模型的第二准确度，所述准确性评估方法以大于100张的待测试超广角眼底图像组成的第四测试图像集，使用训练后的所述黄斑识别模型对所述第四测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，将每一张待测试超广角眼底图像识别后的黄斑中心凹做以金标准为圆心的散点图，计算每一个散点的位置和每一个散点与圆心的距离，得到平均距离、距离中位数、包括95％散点时的散点半径以及包括所有散点时的散点半径，得到第二准确度，所述金标准为以线性回归方程计算出的黄斑中心凹位置；
采用可重复性评估方法来评估训练后的所述黄斑识别模型的第三准确度，所述可重复性评估方法用于将训练后的所述黄斑识别模型的识别结果与人工打标结果进行组内相关系数的计算，用bootstrap-t检查方法评估差异，以得到训练后的所述黄斑识别模型的第三准确度；
由存在黄斑信息但嘈杂程度高的待测试超广角眼底图像组成第六测试图像集，使用训练后的所述黄斑识别模型对所述第六测试图像集的每一张待测试超广角眼底图像进行识别，得到每一张待测试超广角眼底图像识别后的黄斑中心凹，以所述第六测试图像集中每一张待测试超广角眼底图像所对应的OCT图像中所确定的黄斑中心凹来对识别后的黄斑中心凹进行准确度评估，得到训练后的所述黄斑识别模型的第四准确度；
根据所述第一准确度、第二准确度、第三准确度、第四准确度来确定训练后的所述黄斑识别模型的最终准确度。
9.黄斑中心凹识别终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至8任一所述的黄斑中心凹识别方法。
CN202010199266.9A 2020-03-20 2020-03-20 黄斑中心凹识别方法及终端 Active CN111402243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010199266.9A CN111402243B (zh) 2020-03-20 2020-03-20 黄斑中心凹识别方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199266.9A CN111402243B (zh) 2020-03-20 2020-03-20 黄斑中心凹识别方法及终端

Publications (2)

Publication Number Publication Date
CN111402243A CN111402243A (zh) 2020-07-10
CN111402243B true CN111402243B (zh) 2023-08-11

Family

ID=71431109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199266.9A Active CN111402243B (zh) 2020-03-20 2020-03-20 黄斑中心凹识别方法及终端

Country Status (1)

Country Link
CN (1) CN111402243B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899247B (zh) * 2020-07-31 2024-05-24 平安科技（深圳）有限公司 脉络膜血管的管腔区域识别方法、装置、设备及介质
CN112150463B (zh) * 2020-10-23 2024-07-12 北京康夫子健康技术有限公司 用于确定黄斑中心凹位置的方法及装置
CN112017187B (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN114998353B (zh) * 2022-08-05 2022-10-25 汕头大学·香港中文大学联合汕头国际眼科中心 一种自动检测玻璃体混浊斑飘动范围的系统
CN117689893B (zh) * 2024-02-04 2024-06-04 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717696A (zh) * 2018-05-16 2018-10-30 上海鹰瞳医疗科技有限公司 黄斑影像检测方法和设备
CN109377474A (zh) * 2018-09-17 2019-02-22 苏州大学 一种基于改进Faster R-CNN的黄斑定位方法
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
CN110400289A (zh) * 2019-06-26 2019-11-01 平安科技（深圳）有限公司 眼底图像识别方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717696A (zh) * 2018-05-16 2018-10-30 上海鹰瞳医疗科技有限公司 黄斑影像检测方法和设备
CN109377474A (zh) * 2018-09-17 2019-02-22 苏州大学 一种基于改进Faster R-CNN的黄斑定位方法
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
CN110400289A (zh) * 2019-06-26 2019-11-01 平安科技（深圳）有限公司 眼底图像识别方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周唯.视网膜图像中的黄斑中心检测.《中国图象图形学报》.2018,第1-8页. *

Also Published As

Publication number Publication date
CN111402243A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402243B (zh) 黄斑中心凹识别方法及终端
CN110400289B (zh) 眼底图像识别方法、装置、设备和存储介质
EP3373798B1 (en) Method and system for classifying optic nerve head
Odstrcilik et al. Retinal vessel segmentation by improved matched filtering: evaluation on a new high‐resolution fundus image database
Sekhar et al. Automated localisation of optic disk and fovea in retinal fundus images
Boyer et al. Automatic recovery of the optic nervehead geometry in optical coherence tomography
CN107292877B (zh) 一种基于眼底图像特征的左右眼识别方法
Wilson et al. Computerized analysis of retinal vessel width and tortuosity in premature infants
WO2021208739A1 (zh) 眼底彩照图像血管评估方法、装置、计算机设备和介质
US9655512B2 (en) Methods and systems to measure corneal epithelial thickness and power, stromal thickness, subepithelial corneal power and topography for disease diagnosis
US20210407097A1 (en) Method and device of extracting label in medical image
Yao et al. Generic features for fundus image quality evaluation
CN106446805B (zh) 一种眼底照中视杯的分割方法及系统
Huang et al. Stability analysis of fractal dimension in retinal vasculature
Salem et al. Decision support system for an early-stage keratoconus diagnosis
Yadav et al. Optic nerve head three-dimensional shape analysis
CN116269198B (zh) 基于卷积神经网络的眼球旋转角测量方法及装置
CN111583248A (zh) 一种基于眼部超声图像的处理方法
CN110598652A (zh) 眼底数据预测方法和设备
Zhou et al. Computer aided diagnosis for diabetic retinopathy based on fundus image
WO2011108995A1 (en) Automatic analysis of images of the anterior chamber of an eye
Wu et al. A self-adaptive distance regularized level set evolution method for optical disk segmentation
CN115485717A (zh) 使用分割和特征评估预测地图状萎缩进展
Kubicek et al. Optical nerve disc segmentation using circual integro differencial operator
CN116309594B (zh) 眼前节oct图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210310

Address after: Unit G7, block a, floor 1, building 9, Baoneng Science Park, Qinghu village, Qinghu community, Longhua street, Longhua District, Shenzhen, Guangdong 518000

Applicant after: Lin Chen

Applicant after: Huishili medical (Shenzhen) Co.,Ltd.

Address before: Room 604, block 4, ginkgo garden, 296 Shangdu Road, Cangshan District, Fuzhou City, Fujian Province 350000

Applicant before: Lin Chen

Applicant before: Ke Junlong

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220909

Address after: Room 804, Building 3A, Qiaoxiang Mansion, Qiaoxiang Road, Futian District, Shenzhen, Guangdong 518000

Applicant after: Wisdom Medical (Shenzhen) Co.,Ltd.

Applicant after: Lin Chen

Address before: Unit G7, block a, floor 1, building 9, Baoneng Science Park, Qinghu village, Qinghu community, Longhua street, Longhua District, Shenzhen, Guangdong 518000

Applicant before: Lin Chen

Applicant before: Huishili medical (Shenzhen) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant