CN111046717B - 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 - Google Patents

眼底图像黄斑中心定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111046717B
CN111046717B CN201910964514.1A CN201910964514A CN111046717B CN 111046717 B CN111046717 B CN 111046717B CN 201910964514 A CN201910964514 A CN 201910964514A CN 111046717 B CN111046717 B CN 111046717B
Authority
CN
China
Prior art keywords
fundus image
region
center point
preset
macula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910964514.1A
Other languages
English (en)
Other versions
CN111046717A (zh
Inventor
李葛
王瑞
王立龙
唐义君
张萌
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910964514.1A priority Critical patent/CN111046717B/zh
Publication of CN111046717A publication Critical patent/CN111046717A/zh
Priority to JP2021568982A priority patent/JP7242906B2/ja
Priority to US17/620,733 priority patent/US20220415087A1/en
Priority to PCT/CN2020/093338 priority patent/WO2021068523A1/zh
Application granted granted Critical
Publication of CN111046717B publication Critical patent/CN111046717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种眼底图像黄斑中心定位方法、装置、电子设备及存储介质，包括：将待检测的眼底图像输入至眼底图像检测模型中；获取眼底图像检测模型的检测结果，检测结果包括：视盘区域及对应的第一检测框、黄斑区域及对应的第二检测框和置信度；根据第一检测框计算视盘区域的中心点坐标和根据第二检测框计算黄斑区域的中心点坐标；当置信度小于预设置信度阈值时，识别待检测的眼底图像为左眼眼底图像还是右眼眼底图像并采用不同的修正模型对黄斑区域的中心点进行修正。解决了基于深度学习的黄斑定位方法中因图像质量、病变遮挡等产生黄斑区域检测失败的问题，消除了传统方法中黄斑中心定位与视盘中心定位的依赖性。

Description

眼底图像黄斑中心定位方法、装置、电子设备及存储介质
技术领域
本发明涉及医疗图像处理技术领域，具体涉及一种眼底图像黄斑中心定位方法、装置、电子设备及存储介质。
背景技术
黄斑集中了大量的视觉功能细胞，黄斑区的病变如果没有被及时发现和治疗，失明的几率大大提高，因而，准确的黄斑中心定位对视网膜病变诊断具有重要意义。现有技术中，有基于眼底图像的黄斑中心定位方法，先进行视盘中心定位，然后根据视盘中心进行黄斑中心定位；或者使用深度神经网络的目标检测模型直接对黄斑区域进行检测。
然而，基于眼底图像的黄斑中心定位方法，完全依赖于视盘中心的定位，一旦视盘中心定位失败黄斑中心则无法有效定位，且计算复杂度高，时效性低，鲁棒性差。基于深度神经网络的黄斑中心定位方法虽然不依赖于视盘中心的定位，但由于黄斑极易受到病变区域、图像质量及萎缩区域对其遮挡的影响，导致黄斑区域无法被成功检测从而无法进行有效定位。因此，有必要提出一种新的眼底图像黄斑中心定位方案，能够不完全依赖于视盘中心的定位，且能够在黄斑区域被遮挡或眼底图像质量差的情况下对黄斑中心进行有效的定位。
发明内容
鉴于以上内容，有必要提出一种眼底图像黄斑中心定位方法、装置、电子设备及计算机存储介质，能够不完全依赖于视盘中心的定位，且能够在黄斑区域被遮挡或眼底图像质量差的情况下对黄斑中心进行有效的定位。
本发明的第一方面提供一种眼底图像黄斑中心定位方法，所述方法包括：
将待检测的眼底图像输入至预先训练好的眼底图像检测模型中；
获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框、黄斑区域及对应的第二检测框和置信度；
根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标；
比较所述置信度与预设第一置信度阈值和预设第二置信度阈值，其中，所述预设第一置信度阈值大于所述预设第二置信度阈值；
当所述置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像；
针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正，包括：针对所述左眼眼底图像，采用第一修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第一修正模型为：
针对所述右眼眼底图像，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：
其中，W表示所述待检测的眼底图像的宽，H表示所述待检测的眼底图像的高，(xoc，yoc)为计算得到的所述视盘区域的中心点坐标，h为所述视盘区域对应的所述第一检测框的高，(xfovea，yfovea)为修正得到的黄斑区域的中心点坐标。
根据本发明的一个优选实施例，所述方法包括：
当所述置信度小于所述预设第一置信度阈值且大于所述预设第二置信度阈值时，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：，
xfc＝0.5*xdc+0.5*xfovea，
yfc＝0.5*ydc+0.5*yfovea，
其中，(xfc，yfc)是最终修正得到的黄斑区域的中心点坐标，(xdc，ydc)是计算得到的所述黄斑区域的中心点坐标，(xfovea，yfovea)是根据视盘区域中心点坐标修正得到的黄斑区域中心点坐标。
根据本发明的一个优选实施例，所述方法包括：
当所述置信度大于所述预设第一置信度阈值时，将根据所述第二检测框计算得到的所述黄斑区域的中心点坐标作为最终的黄斑区域中心点坐标。
根据本发明的一个优选实施例，所述眼底图像检测模型的训练过程包括：
获取多张眼底图像；
对每张眼底图像中的一种或多种特征区域进行标记，所述特征区域为黄斑区域、视盘区域；
基于标记了一种或多种特征区域的眼底图像及对应特征区域的类别构建样本数据集；
将所述样本数据集随机分为第一数量的训练集和第二数量的测试集；
将所述训练集输入至Mask RCNN网络中进行训练，得到眼底图像检测模型；
将所述测试集输入至所述眼底图像检测模型中进行测试，得到测试通过率；
判断所述测试通过率是否大于预设通过率阈值；
当所述测试通过率大于或者等于所述预设通过率阈值时，结束眼底图像检测模型的训练；否则，当所述测试通过率小于所述预设通过率阈值时，增加所述训练集的数量并基于增加数量后的训练集训练Mask RCNN网络直至所述测试通过率大于或者等于所述预设通过率阈值。
根据本发明的一个优选实施例，在所述获取多张眼底图像之后，所述方法还包括：
对所述眼底图像进行预定角度的翻转处理；
对翻转处理后的眼底图像标记一种或多种所述特征区域；
所述基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建样本数据集包括：基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建第一样本数据集，基于标记了一种或多种所述特征区域的翻转处理后的眼底图像及对应特征区域的类别构建第二样本数据集，将所述第一样本数据集和所述第二样本数据集作为所述样本数据集。
根据本发明的一个优选实施例，所述Mask RCNN网络的网络结构包括：
多层主干网络，每层主干网络采用MobileNet V2网络；
多层特征金字塔网络层，上一层特征金字塔网络层的输入为下一层特征金字塔网络层的输出及与所述上一层特征金字塔网络层位于同一层的主干网络的输出之和；
注意力层。
本发明的第二方面提供一种眼底图像黄斑中心定位装置，所述装置包括：
输入模块，用于将待检测的眼底图像输入至预先训练好的眼底图像检测模型中；
获取模块，用于获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框、黄斑区域及对应的第二检测框和置信度；
计算模块，用于根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标；
比较模块，用于比较所述置信度与预设第一置信度阈值和预设第二置信度阈值，其中，所述预设第一置信度阈值大于所述预设第二置信度阈值；
识别模块，用于当所述置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像；
修正模块，用于针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正。
本申请的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述眼底图像黄斑中心定位方法。
本申请的第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述眼底图像黄斑中心定位方法。
本发明通过眼底图像检测模型输出待检测的眼底图像中的视盘区域及黄斑区域的检测框及对应检测框的置信度，再根据检测框计算出视盘区域和黄斑区域中心点的坐标，最后根据左右眼中黄斑区域和视盘区域的对应关系，利用视盘中心对未检出的黄斑区域及黄斑区域置信度较低的眼底图像进行修正。即使在黄斑区域被遮挡或眼底图像质量差的情况下依然可以对黄斑区域中心点进行有效的定位。解决了基于深度学习的黄斑定位方法中因图像质量、病变遮挡等产生黄斑区域检测失败的问题，消除了传统方法中黄斑中心定位与视盘中心定位的依赖性。
附图说明
图1是本发明实施例提供的眼底图像黄斑中心定位方法的流程图。
图2是改进后的Mask RCNN网络的网络结构示意图。
图3是本发明实施例提供的眼底图像黄斑中心定位装置的结构图。
图4是本发明实施例提供的电子设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的眼底图像黄斑中心定位方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本发明实施例一提供的眼底图像黄斑中心定位方法的流程图。根据不同的需求，该流程图中的执行顺序可以改变，某些步骤可以省略。
S11，将待检测的眼底图像输入至预先训练好的眼底图像检测模型中。
眼底图像是通过眼部检测设备拍摄的用于诊断眼部病变的图像。眼底是指眼球内后部的组织，包括了视网膜、视乳头、黄斑和视网膜中央动静脉，因而，所述待检测的眼底图像中包括了黄斑及其周围所形成的黄斑区域、视网膜及其周围所形成的视盘区域。
所述眼底图像检测模型是利用已知特征区域所在位置的样本图像进行训练得到的，输入是一张眼底图像，输出的是一张标记了特征区域的眼底图像。其中，所述特征区域为视盘区域、黄斑区域中的至少一种。
在一个可选的实施例中，在S11(将待检测的眼底图像输入至预先训练好的眼底图像检测模型中)之前，所述方法还包括：
训练所述眼底图像检测模型。
通过利用大量的样本数据对深度神经网络进行训练得到眼底图像检测模型，以使未做标记的眼底图像输入眼底图像检测模型后，眼底图像检测模型输出标记了一种或多种特征区域的眼底图像。
根据本发明的一个优选实施例，所述眼底图像检测模型的训练过程包括：
获取多张眼底图像；
对每张眼底图像中的一种或多种特征区域进行标记，所述特征区域为黄斑区域、视盘区域；
基于标记了一种或多种特征区域的眼底图像及对应特征区域的类别构建样本数据集；
将所述样本数据集随机分为第一数量的训练集和第二数量的测试集；
将所述训练集输入至Mask RCNN网络中进行训练，得到眼底图像检测模型；
将所述测试集输入至所述眼底图像检测模型中进行测试，得到测试通过率；
判断所述测试通过率是否大于预设通过率阈值；
当所述测试通过率大于或者等于所述预设通过率阈值时，结束眼底图像检测模型的训练；否则，当所述测试通过率小于所述预设通过率阈值时，增加所述训练集的数量并基于增加数量后的训练集训练Mask RCNN网络直至所述测试通过率大于或者等于所述预设通过率阈值。
其中，眼底图像可以包括健康人员和眼部疾病患者的左眼眼底图像或右眼眼底图像。眼底图像中的特征区域可以是由人工或其他自动识别方法对眼底图像进行识别和标记得到的，标记的内容可以是黄斑区域、视盘区域中的任意一个或多个。
示例性的，假设获取了10万张眼底图像，对这10万张眼底图像中的黄斑区域、视盘区域中的任意一个或多个进行标记，将标记了一个或多个特征区域的眼底图像作为数据集，再将数据集划分为训练集和测试集，训练集中标记了一个或多个特征区域的眼底图像的数量大于测试集中标记了一个或多个特征区域的眼底图像的数量，例如将标记了一个或多个特征区域的眼底图像中的80％的眼底图像作为训练集，将剩余的20％的眼底图像作为测试集。选择Mask RCNN网络作为眼底图像检测模型的原型，初始化Mask RCNN网络时采用默认的输入参数，在训练的过程中不断调整输入参数，在训练生成眼底图像检测模型后，利用测试集中的眼底图像对所训练得到的眼底图像检测模型进行验证，如果测试通过率小于预设通过率阈值时，例如通过率小于98％，则增加参与训练的眼底图像的数量并重新训练Mask RCNN网络，直至训练得到的眼底图像检测模型的测试通过率大于或者等于预设通过率阈值即可。
所述Mask RCNN网络为现有技术，本发明在此不做详细阐述。
根据本发明的一个优选实施例，在所述获取多张眼底图像之后，所述方法还包括：
对所述眼底图像进行预定角度的翻转处理；
对翻转处理后的眼底图像标记一种或多种所述特征区域；
所述基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建样本数据集包括：基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建第一样本数据集，基于标记了一种或多种所述特征区域的翻转处理后的眼底图像及对应特征区域的类别构建第二样本数据集，将所述第一样本数据集和所述第二样本数据集作为所述样本数据集。
其中，所述翻转处理包括随机翻转、镜像翻转、水平翻转和其他旋转，例如旋转的角度可以从-15度到+15度。
所述样本数据集包括第一数据集和第二数据集，其中，所述第一数据集是由眼部检测设备拍摄的和标记的眼底图像，所述第二数据集是通过对所述第一数据集进行翻转、镜像等处理得到的。如此，扩充了第一数据集中的眼底图像，达到了补充眼底图像的目的，基于更大量的数据集训练眼底图像检测模型，能够提高眼底图像检测模型的检测精度，提升眼底图像检测模型的泛化性能。
在一个可选的实施例中，为了提高眼底图像检测模型的检测速率，所述方法还包括：
对所述Mask RCNN网络的网络结构进行改进。
其中，改进后的Mask RCNN网络的网络结构如图2所示。
根据本发明的一个优选实施例，所述Mask RCNN网络的网络结构包括：
1)多层主干网络，每层主干网络采用MobileNet V2网络；
所述每层主干网络用于提取输入的眼底图像的特征，为自上向下的结构，逐层进行下采样处理。
示例性的，参阅图2所示，假设输入一张1024*1024的眼底图像F0，第1层的主干网络C1对输入的眼底图像F0进行特征提取，输出一个256*256的特征图F1至第2层的主干网络C2；第2层的主干网络C2对输入的特征图F1进行特征提取，输出一个128*128的特征图F2至第3层的主干网络C3；第3层的主干网络C3对输入的特征图F2进行特征提取，输出一个64*64的特征图F3至第4层的主干网络C4；以此类推；上一层的主干网络输出的特征图的大小为下一层的主干网络输出的特征图的2倍。
2)多层特征金字塔网络层，上一层特征金字塔网络层的输入为下一层特征金字塔网络层的输出及与所述上一层特征金字塔网络层位于同一层的主干网络的输出之和；
特征金字塔网络层(Feature Pyramid Networks，FPN)用于对每一层的特征图进行预测，为自下向上的结构，逐层进行上采样处理。
示例性的，参阅图2所示，第5层特征金字塔网络层P5的输入为与第5层位于同一层的主干网络的输入(相当于进行了1X1的卷积)；第4层特征金字塔网络层P4的输入为第5层特征金字塔网络层P5的输出和与第4层位于同一层的主干网络C4(第4层主干网络)的输出之和；第3层特征金字塔网络层P3的输入为第4层特征金字塔网络层P4的输出和与第3层位于同一层的主干网络C3(第3层主干网络)的输出之和；以此类推。
3)注意力层；
注意力模块层(Attention Block)，使得网络的特征提取能力更专注于视盘区域和黄斑区域同时减少其他区域引入的噪声。
4)池化层；
该层分别对[P2 P3 P4 P5]及注意力层四个不同尺度得到的特征图对应的stride进行RoIAlign操作生成RoI，得到固定大小的proposal feature map，输入至全连接层来进行目标检测和定位。
5)全连接层；
该层对池化层输出的proposal feature map进行Concat连接，随即网络分为三部分：全连接预测类别class、全连接预测矩形框box、全连接预测置信度score。
本实施例中，在全连接层之前，有一个Flatten层，Flatten层用来将输入“压平”，即把多维的输入一维化。Flatten层不影响batch的大小。
6)输出层。
该层用于输出三个值，分别是眼底图像中特征区域的类别、眼底图像中特征区域的检测框及所述检测框的置信度。特征区域为视盘区域和黄斑区域中的任意一种或多种。
在该可选的实施例中，通过对Mask RCNN网络进行改进，主干网络采用轻量级的Mobile Net V2网络，减少了网络参数的计算量，能够提升眼底图像检测模型的检测速度。此外，在特征金字塔网络层之后加入了注意力层，使得网络的特征提取能力更专注于视盘区域和黄斑区域，进一步提升了眼底图像检测模型的检测速度，提升了眼底图像检测模型的检测精度。
S12，获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框和第一置信度、黄斑区域及对应的第二检测框和第二置信度。
所述眼底图像检测模型输出的是一张标记了特征区域的眼底图像。即输出的是一张眼底图像，该眼底图像中用检测框标记出了黄斑区域和/或视盘区域。
所述置信度用以表明所述眼底图像检测模型检测出的特征区域的精确度，取值范围为0-1。
经过实验统计，采用所训练出的眼底图像检测模型处理任意一张眼底图像时，对于大多数，例如80％的眼底图像，眼底图像检测模型均能够且准确的输出标记了视盘区域的眼底图像，即能够用检测框准确的标记出视盘区域所在的位置，得到的置信度也较高。即认为第一置信度较高，对应第一置信度的视盘区域被准确的检测出来了。输出的眼底图像中有可能标记了黄斑区域，也有可能没有标记黄斑区域。而由于黄斑区域因容易发生病变或者存在遮挡等，导致通过眼底图像检测模型检测出的黄斑区域会存在误差，其对应的置信度有可能较高，也有可能较低。如果眼底图像检测模型输出的眼底图像直接被标记了黄斑区域且置信度较高，则可以直接将其作为结果；如果眼底图像检测模型输出的眼底图像被标记了黄斑区域但置信度较低，或输出的眼底图像未被标记黄斑区域，可以根据视盘区域的位置修正黄斑区域的位置。
需要说明的是，检测框的轮廓呈矩形，该形状是由眼底图像检测模型训练过程中的样本数据决定的，如果在训练过程中改变样本数据中标记的形状，例如使用圆形、不规则形状等，训练出的眼底图像检测模型也将进行相应形状的标记，从而输出相应形状的轮廓。
S13，根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标。
所述眼底图像检测模型输出标记了特征区域的眼底图像之后，可以从标记了特征区域的眼底图像中获取视盘区域的检测框和黄斑区域的检测框。
以标记了特征区域的眼底图像的左上角为原点，以上边界为X轴，以左边界为Y轴，建立XOY坐标系，然后获取XOY坐标系中视盘区域的检测框的各个顶点的第一坐标，及黄斑区域的检测框的各个顶点的第二坐标。
根据多个第一坐标即可计算得到视盘区域的中心点坐标，根据多个第二坐标即可计算得到黄斑区域的中心点坐标。
示例性的，假设视盘区域的检测框的各个顶点的第一坐标分别为(a，b)、(c，b)、(a，d)、(c，d)，则视盘区域的中心点坐标为
假设黄斑区域的检测框的各个顶点的第二坐标分别为(s，t)、(m，t)、(s，n)、(m，n)，则视盘区域的中心点坐标为
S14，比较所述第二置信度与预设第一置信度阈值和预设第二置信度阈值。
其中，预设第一置信度阈值和预设第二置信度阈值均为预先设置的用以判定黄斑区域的检测框的正确程度的临界值。所述预设第一置信度阈值大于所述预设第二置信度阈值。
S15，当所述第二置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像。
其中，左右眼识别模型可以采用线下训练的方式预先训练好。
具体的训练过程为：采集多张眼底图像，并对每张眼底图像进行标识以表明所述眼底图像为左眼眼底图像或右眼眼底图像，将眼底图像及对应的标识作为数据集，然后将数据集划分为训练集和测试集，训练集的数量大于测试集的数量，基于训练集对深度神经网络，例如，卷积神经网络进行训练，得到左右眼识别模型，再基于测试集测试所训练好的左右眼识别模型的测试通过率，当测试通过率大于或等于预设通过率阈值时，输出所述左右眼识别模型，当测试通过率小于预设通过率阈值时，重新划分训练集和测试集并基于新的训练集训练左右眼识别模型直到测试通过率大于或等于预设通过率阈值。
由于左眼眼底图像和右眼眼底图像中，黄斑区域和视盘区域的相对位置有所差异，左眼眼底图像中，视盘区域在左，黄斑区域在右，黄斑区域在视盘区域的右边；右眼眼底图像中，视盘区域在右，黄斑区域在左，黄斑区域在视盘区域的左边。
当所述第二置信度小于预设第二置信度阈值时，表明眼底图像检测模型检测出的黄斑区域置信度非常低，或者没有检测出黄斑区域，此时还需进一步识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像，并进而采用不同的修正方式修正黄斑区域的检测框，并进而修正黄斑区域的中心点。
S16，针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正。
所述针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正包括：
针对所述左眼眼底图像，采用第一修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第一修正模型为：
针对所述右眼眼底图像，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：
其中，W表示所述待检测的眼底图像的宽，H表示所述待检测的眼底图像的高，(xoc，yoc)为计算得到的所述视盘区域的中心点坐标，h为所述视盘区域对应的所述第一检测框的高，(xfovea，yfovea)为修正得到的黄斑区域的中心点坐标。
根据本发明的一个优选实施例，所述方法包括：
当所述第二置信度小于所述预设第一置信度阈值且大于所述预设第二置信度阈值时，采用第三修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第三修正模型为：
xfc＝0.5*xdc+0.5*xfovea，
yfc＝0.5*ydc+0.5*yfovea，
其中，(xfc，yfc)是最终修正得到的黄斑区域的中心点坐标，(xdc，ydc)是计算得到的所述黄斑区域的中心点坐标，(yfovea，yfovea)是根据视盘区域中心点坐标修正得到的黄斑区域中心点坐标。
第二置信度介于预设第一置信度阈值和预设第二置信度阈值之间时，表明眼底图像检测模型检测出黄斑区域，但检测出的黄斑区域的置信度不高，标记的黄斑区域的检测框准确度不高，需要修正黄斑区域的检测框，并进而修正黄斑区域的中心点。
根据本发明的一个优选实施例，所述方法包括：
当所述第二置信度大于所述预设第一置信度阈值时，将根据所述第二检测框计算得到的所述黄斑区域的中心点坐标作为最终的黄斑区域中心点坐标。
若眼底图像检测模型检测出黄斑区域且黄斑区域对应的置信度较高(大于预设第一置信度阈值)，认为眼底图像检测模型检测出的黄斑区域是较好的，此时可以不需要眼底图像检测模型检测出视盘区域。仅当眼底图像检测模型不能检测出黄斑区域或者检测出黄斑区域但黄斑区域对应的置信度较低(小于预设第一置信度阈值)，此时才需要依赖视盘区域的检测结果对黄斑区域进行修正。因而，采用上述技术方案，可以在一定程度上减少对视盘区域的依赖。
需要说明的是，上述公式中出现的0.3、07、2.42、0.39及0.5等均是通过大量实验研究确定的。
综上，本发明提供的眼底图像黄斑中心定位方法，通过基于Mask RCNN网络训练得到眼底图像检测模型，通过眼底图像检测模型输出待检测的眼底图像中的视盘区域及黄斑区域的检测框及对应检测框的置信度，再根据检测框计算出视盘区域和黄斑区域中心点的坐标，最后根据左右眼中黄斑区域和视盘区域的对应关系，利用视盘中心对未检出的黄斑区域及黄斑区域置信度较低的眼底图像进行修正。即使在黄斑区域被遮挡或眼底图像质量差的情况下依然可以对黄斑区域中心点进行有效的定位。解决了基于深度学习的黄斑定位方法中因图像质量、病变遮挡等产生黄斑区域检测失败的问题。且，眼底图像检测模型分别对黄斑区域和视盘区域独立检测，使得即使在眼底图像中视盘区域缺失的情况下，黄斑中心依然可以有效定位，消除了传统方法中黄斑中心定位与视盘中心定位的依赖性。
此外，对Mask RCNN网络结构进行改变，减少了网络参数的计算量，提升了眼底图像检测模型的检测速度，提高了黄斑中心定位的时效性，在特征金字塔网络层之后加入了注意力层，使得网络的特征提取能力更专注于视盘区域和黄斑区域，进一步提升了眼底图像检测模型的检测速度，提升了眼底图像检测模型的检测精度，辅助提升了对黄斑区域中心点的定位。
实施例二
图3是本发明实施例二提供的眼底图像黄斑中心定位装置的结构图。
所述眼底图像黄斑中心定位装置30运行于电子设备中，能够解决基于深度学习的黄斑定位方法中因图像质量、病变遮挡等产生黄斑区域检测失败的问题，且能够消除传统方法中黄斑中心定位与视盘中心定位的依赖性。如图3所示，所述眼底图像黄斑中心定位装置30可以包括：输入模块301、训练模块302、获取模块303、计算模块304、比较模块305、识别模块306、修正模块307及确定模块308。
输入模块301，用于将待检测的眼底图像输入至预先训练好的眼底图像检测模型中。
眼底图像是通过眼部检测设备拍摄的用于诊断眼部病变的图像。眼底是指眼球内后部的组织，包括了视网膜、视乳头、黄斑和视网膜中央动静脉，因而，所述待检测的眼底图像中包括了黄斑及其周围所形成的黄斑区域、视网膜及其周围所形成的视盘区域。
所述眼底图像检测模型是利用已知特征区域所在位置的样本图像进行训练得到的，输入是一张眼底图像，输出的是一张标记了特征区域的眼底图像。其中，所述特征区域为视盘区域、黄斑区域中的至少一种。
在一个可选的实施例中，所述眼底图像黄斑中心定位装置30还包括：
训练模块302，用于在输入模块301将待检测的眼底图像输入至预先训练好的眼底图像检测模型中之前，训练所述眼底图像检测模型。
通过利用大量的样本数据对深度神经网络进行训练得到眼底图像检测模型，以使未做标记的眼底图像输入眼底图像检测模型后，眼底图像检测模型输出标记了一种或多种特征区域的眼底图像。
根据本发明的一个优选实施例，所述训练模块302训练眼底图像检测模型的训练过程包括：
获取多张眼底图像；
对每张眼底图像中的一种或多种特征区域进行标记，所述特征区域为黄斑区域、视盘区域；
基于标记了一种或多种特征区域的眼底图像及对应特征区域的类别构建样本数据集；
将所述样本数据集随机分为第一数量的训练集和第二数量的测试集；
将所述训练集输入至Mask RCNN网络中进行训练，得到眼底图像检测模型；
将所述测试集输入至所述眼底图像检测模型中进行测试，得到测试通过率；
判断所述测试通过率是否大于预设通过率阈值；
当所述测试通过率大于或者等于所述预设通过率阈值时，结束眼底图像检测模型的训练；否则，当所述测试通过率小于所述预设通过率阈值时，增加所述训练集的数量并基于增加数量后的训练集训练Mask RCNN网络直至所述测试通过率大于或者等于所述预设通过率阈值。
其中，眼底图像可以包括健康人员和眼部疾病患者的左眼眼底图像或右眼眼底图像。眼底图像中的特征区域可以是由人工或其他自动识别方法对眼底图像进行识别和标记得到的，标记的内容可以是黄斑区域、视盘区域中的任意一个或多个。
示例性的，假设获取了10万张眼底图像，对这10万张眼底图像中的黄斑区域、视盘区域中的任意一个或多个进行标记，将标记了一个或多个特征区域的眼底图像作为数据集，再将数据集划分为训练集和测试集，训练集中标记了一个或多个特征区域的眼底图像的数量大于测试集中标记了一个或多个特征区域的眼底图像的数量，例如将标记了一个或多个特征区域的眼底图像中的80％的眼底图像作为训练集，将剩余的20％的眼底图像作为测试集。选择Mask RCNN网络作为眼底图像检测模型的原型，初始化Mask RCNN网络时采用默认的输入参数，在训练的过程中不断调整输入参数，在训练生成眼底图像检测模型后，利用测试集中的眼底图像对所训练得到的眼底图像检测模型进行验证，如果测试通过率小于预设通过率阈值时，例如通过率小于98％，则增加参与训练的眼底图像的数量并重新训练Mask RCNN网络，直至训练得到的眼底图像检测模型的测试通过率大于或者等于预设通过率阈值即可。
所述Mask RCNN网络为现有技术，本发明在此不做详细阐述。
根据本发明的一个优选实施例，在所述获取多张眼底图像之后，所述方法还包括：
对所述眼底图像进行预定角度的翻转处理；
对翻转处理后的眼底图像标记一种或多种所述特征区域；
所述基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建样本数据集包括：基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建第一样本数据集，基于标记了一种或多种所述特征区域的翻转处理后的眼底图像及对应特征区域的类别构建第二样本数据集，将所述第一样本数据集和所述第二样本数据集作为所述样本数据集。
其中，所述翻转处理包括随机翻转、镜像翻转、水平翻转和其他旋转，例如旋转的角度可以从-15度到+15度。
所述样本数据集包括第一数据集和第二数据集，其中，所述第一数据集是由眼部检测设备拍摄的和标记的眼底图像，所述第二数据集是通过对所述第一数据集进行翻转、镜像等处理得到的。如此，扩充了第一数据集中的眼底图像，达到了补充眼底图像的目的，基于更大量的数据集训练眼底图像检测模型，能够提高眼底图像检测模型的检测精度，提升眼底图像检测模型的泛化性能。
在一个可选的实施例中，为了提高眼底图像检测模型的检测速率，所述眼底图像黄斑中心定位装置30还包括：
对所述Mask RCNN网络的网络结构进行改进。
其中，改进后的Mask RCNN网络的网络结构如图2所示。
根据本发明的一个优选实施例，所述Mask RCNN网络的网络结构包括：
1)多层主干网络，每层主干网络采用MobileNet V2网络；
所述每层主干网络用于提取输入的眼底图像的特征，为自上向下的结构，逐层进行下采样处理。
示例性的，参阅图2所示，假设输入一张1024*1024的眼底图像F0，第1层的主干网络C1对输入的眼底图像F0进行特征提取，输出一个256*256的特征图F1至第2层的主干网络C2；第2层的主干网络C2对输入的特征图F1进行特征提取，输出一个128*128的特征图F2至第3层的主干网络C3；第3层的主干网络C3对输入的特征图F2进行特征提取，输出一个64*64的特征图F3至第4层的主干网络C4；以此类推；上一层的主干网络输出的特征图的大小为下一层的主干网络输出的特征图的2倍。
2)多层特征金字塔网络层，上一层特征金字塔网络层的输入为下一层特征金字塔网络层的输出及与所述上一层特征金字塔网络层位于同一层的主干网络的输出之和；
特征金字塔网络层(Feature Pyramid Networks，FPN)用于对每一层的特征图进行预测，为自下向上的结构，逐层进行上采样处理。
示例性的，参阅图2所示，第5层特征金字塔网络层P5的输入为与第5层位于同一层的主干网络的输入(相当于进行了1X1的卷积)；第4层特征金字塔网络层P4的输入为第5层特征金字塔网络层P5的输出和与第4层位于同一层的主干网络C4(第4层主干网络)的输出之和；第3层特征金字塔网络层P3的输入为第4层特征金字塔网络层P4的输出和与第3层位于同一层的主干网络C3(第3层主干网络)的输出之和；以此类推。
3)注意力层；
注意力模块层(Attention Block)，使得网络的特征提取能力更专注于视盘区域和黄斑区域同时减少其他区域引入的噪声。
4)池化层；
该层分别对[P2 P3 P4 P5]及注意力层四个不同尺度得到的特征图对应的stride进行RoIAlign操作生成RoI，得到固定大小的proposal feature map，输入至全连接层来进行目标检测和定位。
5)全连接层；
该层对池化层输出的proposal feature map进行Concat连接，随即网络分为三部分：全连接预测类别class、全连接预测矩形框box、全连接预测置信度score。
本实施例中，在全连接层之前，有一个Flatten层，Flatten层用来将输入“压平”，即把多维的输入一维化。Flatten层不影响batch的大小。
6)输出层。
该层用于输出三个值，分别是眼底图像中特征区域的类别、眼底图像中特征区域的检测框及所述检测框的置信度。特征区域为视盘区域和黄斑区域中的任意一种或多种。
在该可选的实施例中，通过对Mask RCNN网络进行改进，主干网络采用轻量级的Mobile Net V2网络，减少了网络参数的计算量，能够提升眼底图像检测模型的检测速度。此外，在特征金字塔网络层之后加入了注意力层，使得网络的特征提取能力更专注于视盘区域和黄斑区域，进一步提升了眼底图像检测模型的检测速度，提升了眼底图像检测模型的检测精度。
获取模块303，用于获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框和第一置信度、黄斑区域及对应的第二检测框和第二置信度。
所述眼底图像检测模型输出的是一张标记了特征区域的眼底图像。即输出的是一张眼底图像，该眼底图像中用检测框标记出了黄斑区域和/或视盘区域。
所述置信度用以表明所述眼底图像检测模型检测出的特征区域的精确度，取值范围为0-1。
经过实验统计，采用所训练出的眼底图像检测模型处理任意一张眼底图像时，对于大多数，例如80％的眼底图像，眼底图像检测模型均能够且准确的输出标记了视盘区域的眼底图像，即能够用检测框准确的标记出视盘区域所在的位置，得到的置信度也较高。即认为第一置信度较高，对应第一置信度的视盘区域被准确的检测出来了。输出的眼底图像中有可能标记了黄斑区域，也有可能没有标记黄斑区域。而由于黄斑区域因容易发生病变或者存在遮挡等，导致通过眼底图像检测模型检测出的黄斑区域会存在误差，其对应的置信度有可能较高，也有可能较低。如果眼底图像检测模型输出的眼底图像直接被标记了黄斑区域且置信度较高，则可以直接将其作为结果；如果眼底图像检测模型输出的眼底图像被标记了黄斑区域但置信度较低，或输出的眼底图像未被标记黄斑区域，可以根据视盘区域的位置修正黄斑区域的位置。
需要说明的是，检测框的轮廓呈矩形，该形状是由眼底图像检测模型训练过程中的样本数据决定的，如果在训练过程中改变样本数据中标记的形状，例如使用圆形、不规则形状等，训练出的眼底图像检测模型也将进行相应形状的标记，从而输出相应形状的轮廓。
计算模块304，用于根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标。
所述眼底图像检测模型输出标记了特征区域的眼底图像之后，可以从标记了特征区域的眼底图像中获取视盘区域的检测框和黄斑区域的检测框。
以标记了特征区域的眼底图像的左上角为原点，以上边界为X轴，以左边界为Y轴，建立XOY坐标系，然后获取XOY坐标系中视盘区域的检测框的各个顶点的第一坐标，及黄斑区域的检测框的各个顶点的第二坐标。
根据多个第一坐标即可计算得到视盘区域的中心点坐标，根据多个第二坐标即可计算得到黄斑区域的中心点坐标。
示例性的，假设视盘区域的检测框的各个顶点的第一坐标分别为(a，b)、(c，b)、(a，d)、(c，d)，则视盘区域的中心点坐标为
假设黄斑区域的检测框的各个顶点的第二坐标分别为(s，t)、(m，t)、(s，n)、(m，n)，则视盘区域的中心点坐标为
比较模块305，用于比较所述第二置信度与预设第一置信度阈值和预设第二置信度阈值。
其中，预设第一置信度阈值和预设第二置信度阈值均为预先设置的用以判定黄斑区域的检测框的正确程度的临界值。所述预设第一置信度阈值大于所述预设第二置信度阈值。
识别模块306，用于当所述第二置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像。
其中，左右眼识别模型可以采用线下训练的方式预先训练好。
具体的训练过程为：采集多张眼底图像，并对每张眼底图像进行标识以表明所述眼底图像为左眼眼底图像或右眼眼底图像，将眼底图像及对应的标识作为数据集，然后将数据集划分为训练集和测试集，训练集的数量大于测试集的数量，基于训练集对深度神经网络，例如，卷积神经网络进行训练，得到左右眼识别模型，再基于测试集测试所训练好的左右眼识别模型的测试通过率，当测试通过率大于或等于预设通过率阈值时，输出所述左右眼识别模型，当测试通过率小于预设通过率阈值时，重新划分训练集和测试集并基于新的训练集训练左右眼识别模型直到测试通过率大于或等于预设通过率阈值。
由于左眼眼底图像和右眼眼底图像中，黄斑区域和视盘区域的相对位置有所差异，左眼眼底图像中，视盘区域在左，黄斑区域在右，黄斑区域在视盘区域的右边；右眼眼底图像中，视盘区域在右，黄斑区域在左，黄斑区域在视盘区域的左边。
当所述第二置信度小于预设第二置信度阈值时，表明眼底图像检测模型检测出的黄斑区域置信度非常低，或者没有检测出黄斑区域，此时还需进一步识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像，并进而采用不同的修正方式修正黄斑区域的检测框，并进而修正黄斑区域的中心点。
修正模块307，用于针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正。
所述针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正包括：
针对所述左眼眼底图像，采用第一修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第一修正模型为：
针对所述右眼眼底图像，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：
其中，W表示所述待检测的眼底图像的宽，H表示所述待检测的眼底图像的高，(xoc，yoc)为计算得到的所述视盘区域的中心点坐标，h为所述视盘区域对应的所述第一检测框的高，(yfovea，yfovea)为修正得到的黄斑区域的中心点坐标。
根据本发明的一个优选实施例，所述修正模块307还用于：
当所述第二置信度小于所述预设第一置信度阈值且大于所述预设第二置信度阈值时，采用第三修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第三修正模型为：
xfc＝0.5*xdc+0.5*xfovea，
yfc＝0.5*ydc+0.5*yfovea，
其中，(xfc，yfc)是最终修正得到的黄斑区域的中心点坐标，(xdc，ydc)是计算得到的所述黄斑区域的中心点坐标，(xfovea，yfovea)是根据视盘区域中心点坐标修正得到的黄斑区域中心点坐标。
第二置信度介于预设第一置信度阈值和预设第二置信度阈值之间时，表明眼底图像检测模型检测出黄斑区域，但检测出的黄斑区域的置信度不高，标记的黄斑区域的检测框准确度不高，需要修正黄斑区域的检测框，并进而修正黄斑区域的中心点。
根据本发明的一个优选实施例，当所述第二置信度大于所述预设第一置信度阈值时，所述眼底图像黄斑中心定位装置30还包括：
确定模块308，用于将根据所述第二检测框计算得到的所述黄斑区域的中心点坐标作为最终的黄斑区域中心点坐标。
若眼底图像检测模型检测出黄斑区域且黄斑区域对应的置信度较高(大于预设第一置信度阈值)，认为眼底图像检测模型检测出的黄斑区域是较好的，此时可以不需要眼底图像检测模型检测出视盘区域。仅当眼底图像检测模型不能检测出黄斑区域或者检测出黄斑区域但黄斑区域对应的置信度较低(小于预设第一置信度阈值)，此时才需要依赖视盘区域的检测结果对黄斑区域进行修正。因而，采用上述技术方案，可以在一定程度上减少对视盘区域的依赖。
需要说明的是，上述公式中出现的0.3、07、2.42、0.39及0.5等均是通过大量实验研究确定的。
综上，本发明提供的眼底图像黄斑中心定位装置，通过基于Mask RCNN网络训练得到眼底图像检测模型，通过眼底图像检测模型输出待检测的眼底图像中的视盘区域及黄斑区域的检测框及对应检测框的置信度，再根据检测框计算出视盘区域和黄斑区域中心点的坐标，最后根据左右眼中黄斑区域和视盘区域的对应关系，利用视盘中心对未检出的黄斑区域及黄斑区域置信度较低的眼底图像进行修正。即使在黄斑区域被遮挡或眼底图像质量差的情况下依然可以对黄斑区域中心点进行有效的定位。解决了基于深度学习的黄斑定位方法中因图像质量、病变遮挡等产生黄斑区域检测失败的问题。且，眼底图像检测模型分别对黄斑区域和视盘区域独立检测，使得即使在眼底图像中视盘区域缺失的情况下，黄斑中心依然可以有效定位，消除了传统方法中黄斑中心定位与视盘中心定位的依赖性。
此外，对Mask RCNN网络结构进行改变，减少了网络参数的计算量，提升了眼底图像检测模型的检测速度，提高了黄斑中心定位的时效性，在特征金字塔网络层之后加入了注意力层，使得网络的特征提取能力更专注于视盘区域和黄斑区域，进一步提升了眼底图像检测模型的检测速度，提升了眼底图像检测模型的检测精度，辅助提升了对黄斑区域中心点的定位。
实施例三
图4为本发明实施例三提供的电子设备的示意图。所述电子设备40包括存储器401、处理器402、通信总线403以及收发器404，所述存储器401中存储有可在所述处理器402上运行的程序代码，例如眼底图像黄斑中心定位程序。所述处理器402执行所述程序代码时实现上述眼底图像黄斑中心定位方法实施例中的步骤。
示例性的，所述程序代码可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器401中，并由所述处理器402执行，以完成本方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述程序代码在所述电子设备40中的执行过程。例如，所述程序代码可以被分割成图3中的输入模块301、训练模块302、获取模块303、计算模块304、比较模块305、识别模块306、修正模块307及确定模块308，各模块具体功能参见实施例二。
所述电子设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图4仅仅是电子设备40的示例，并不构成对电子设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备40还可以包括输入输出设备、网络接入设备、总线等。
所称处理器402可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器402也可以是任何常规的处理器等，所述处理器402是所述电子设备40的控制中心，利用各种接口和线路连接整个电子设备40的各个部分。
所述存储器401可用于存储所述程序代码，所述处理器402通过运行或执行存储在所述存储器401内的计算机程序或模块，以及调用存储在存储器401内的数据，实现所述电子设备40的各种功能。所述存储器401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备40的使用所创建的数据等。此外，存储器401可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述电子设备40集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种眼底图像黄斑中心定位方法，其特征在于，所述方法包括：
将待检测的眼底图像输入至预先训练好的眼底图像检测模型中；
获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框、黄斑区域及对应的第二检测框和置信度；
根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标；
比较所述置信度与预设第一置信度阈值和预设第二置信度阈值，其中，所述预设第一置信度阈值大于所述预设第二置信度阈值；
当所述置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像；
针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正，包括：针对所述左眼眼底图像，采用第一修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第一修正模型为：
针对所述右眼眼底图像，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：
其中，W表示所述待检测的眼底图像的宽，H表示所述待检测的眼底图像的高，(xoc，yoc)为计算得到的所述视盘区域的中心点坐标，h为所述视盘区域对应的所述第一检测框的高，(xfovea，yfovea)为修正得到的黄斑区域的中心点坐标。
2.如权利要求1所述的方法，其特征在于，所述方法包括：
当所述置信度小于所述预设第一置信度阈值且大于所述预设第二置信度阈值时，采用第三修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第三修正模型为：
xfc＝0.5*xdc+0.5*xfovea，
yfc＝0.5*ydc+0.5*yfovea，
其中，(xfc，yfc)是最终修正得到的黄斑区域的中心点坐标，(xdc，ydc)是计算得到的所述黄斑区域的中心点坐标，(xfovea，yfovea)是根据视盘区域中心点坐标修正得到的黄斑区域中心点坐标。
3.如权利要求1所述的方法，其特征在于，所述方法包括：
当所述置信度大于所述预设第一置信度阈值时，将根据所述第二检测框计算得到的所述黄斑区域的中心点坐标作为最终的黄斑区域中心点坐标。
4.如权利要求1所述的方法，其特征在于，所述眼底图像检测模型的训练过程包括：
获取多张眼底图像；
对每张眼底图像中的一种或多种特征区域进行标记，所述特征区域为黄斑区域、视盘区域；
基于标记了一种或多种特征区域的眼底图像及对应特征区域的类别构建样本数据集；
将所述样本数据集随机分为第一数量的训练集和第二数量的测试集；
将所述训练集输入至Mask RCNN网络中进行训练，得到眼底图像检测模型；
将所述测试集输入至所述眼底图像检测模型中进行测试，得到测试通过率；
判断所述测试通过率是否大于预设通过率阈值；
当所述测试通过率大于或者等于所述预设通过率阈值时，结束眼底图像检测模型的训练；否则，当所述测试通过率小于所述预设通过率阈值时，增加所述训练集的数量并基于增加数量后的训练集训练Mask RCNN网络直至所述测试通过率大于或者等于所述预设通过率阈值。
5.如权利要求4所述的方法，其特征在于，在所述获取多张眼底图像之后，所述方法还包括：
对所述眼底图像进行预定角度的翻转处理；
对翻转处理后的眼底图像标记一种或多种所述特征区域；
所述基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建样本数据集包括：基于标记了一种或多种所述特征区域的眼底图像及对应特征区域的类别构建第一样本数据集，基于标记了一种或多种所述特征区域的翻转处理后的眼底图像及对应特征区域的类别构建第二样本数据集，将所述第一样本数据集和所述第二样本数据集作为所述样本数据集。
6.如权利要求4所述的方法，其特征在于，所述Mask RCNN网络的网络结构包括：
多层主干网络，每层主干网络采用MobileNet V2网络；
多层特征金字塔网络层，上一层特征金字塔网络层的输入为下一层特征金字塔网络层的输出及与所述上一层特征金字塔网络层位于同一层的主干网络的输出之和；
注意力层。
7.一种眼底图像黄斑中心定位装置，其特征在于，所述装置包括：
输入模块，用于将待检测的眼底图像输入至预先训练好的眼底图像检测模型中；
获取模块，用于获取所述眼底图像检测模型的检测结果，其中，所述检测结果包括：眼底图像中的视盘区域及对应的第一检测框、黄斑区域及对应的第二检测框和置信度；
计算模块，用于根据所述第一检测框计算所述视盘区域的中心点坐标和根据所述第二检测框计算所述黄斑区域的中心点坐标；
比较模块，用于比较所述置信度与预设第一置信度阈值和预设第二置信度阈值，其中，所述预设第一置信度阈值大于所述预设第二置信度阈值；
识别模块，用于当所述置信度小于所述预设第二置信度阈值时，采用预先训练的左右眼识别模型识别所述待检测的眼底图像为左眼眼底图像还是右眼眼底图像；
修正模块，用于针对所述左眼眼底图像和所述右眼眼底图像采用不同的修正模型对所述黄斑区域的中心点进行修正，包括：针对所述左眼眼底图像，采用第一修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第一修正模型为：
针对所述右眼眼底图像，采用第二修正模型和所述视盘区域的中心点坐标对所述黄斑区域的中心点进行修正，所述第二修正模型为：
其中，W表示所述待检测的眼底图像的宽，H表示所述待检测的眼底图像的高，(xoc，yoc)为计算得到的所述视盘区域的中心点坐标，h为所述视盘区域对应的所述第一检测框的高，(xfovea，yfovea)为修正得到的黄斑区域的中心点坐标。
8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至6中任一项所述眼底图像黄斑中心定位方法。
9.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述眼底图像黄斑中心定位方法。
CN201910964514.1A 2019-10-11 2019-10-11 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 Active CN111046717B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910964514.1A CN111046717B (zh) 2019-10-11 2019-10-11 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
JP2021568982A JP7242906B2 (ja) 2019-10-11 2020-05-29 眼底画像から黄斑中心を位置特定する方法、装置、電子機器及び記憶媒体
US17/620,733 US20220415087A1 (en) 2019-10-11 2020-05-29 Method, Device, Electronic Equipment and Storage Medium for Positioning Macular Center in Fundus Images
PCT/CN2020/093338 WO2021068523A1 (zh) 2019-10-11 2020-05-29 眼底图像黄斑中心定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964514.1A CN111046717B (zh) 2019-10-11 2019-10-11 眼底图像黄斑中心定位方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111046717A CN111046717A (zh) 2020-04-21
CN111046717B true CN111046717B (zh) 2024-01-30

Family

ID=70231797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964514.1A Active CN111046717B (zh) 2019-10-11 2019-10-11 眼底图像黄斑中心定位方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20220415087A1 (zh)
JP (1) JP7242906B2 (zh)
CN (1) CN111046717B (zh)
WO (1) WO2021068523A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046717B (zh) * 2019-10-11 2024-01-30 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
CN112006649A (zh) * 2020-08-25 2020-12-01 张寅升 一种基于神经网络和自适应形态学约束的黄斑检测方法
CN112150463A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 用于确定黄斑中心凹位置的方法及装置
CN112017187B (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN112785582B (zh) * 2021-01-29 2024-03-22 北京百度网讯科技有限公司 热力图生成模型的训练方法、装置、电子设备和存储介质
CN113297913B (zh) * 2021-04-26 2023-05-26 云南电网有限责任公司信息中心 一种配网现场作业人员穿衣规范的识别方法
CN112991343B (zh) * 2021-04-30 2021-08-13 北京至真互联网技术有限公司 眼底图像黄斑区域的识别检测方法和装置及设备
CN113723406B (zh) * 2021-09-03 2023-07-18 乐普（北京）医疗器械股份有限公司 一种对冠脉造影图像进行支架定位的处理方法和装置
CN113808164A (zh) * 2021-09-08 2021-12-17 西安电子科技大学 红外视频多目标跟踪方法
CN113902743A (zh) * 2021-12-08 2022-01-07 武汉爱眼帮科技有限公司 一种基于云端计算的糖尿病视网膜病变的识别方法及装置
CN114937024A (zh) * 2022-06-13 2022-08-23 依未科技(北京)有限公司 图像评估方法、装置和计算机设备
CN114998353B (zh) * 2022-08-05 2022-10-25 汕头大学·香港中文大学联合汕头国际眼科中心 一种自动检测玻璃体混浊斑飘动范围的系统
CN115049734A (zh) * 2022-08-12 2022-09-13 摩尔线程智能科技(北京)有限责任公司 在图像中定位目标物的方法和装置
CN115132357B (zh) * 2022-08-30 2022-12-23 深圳大学总医院 基于医学影像图预测目标疾病指标状态的装置
CN116309391B (zh) * 2023-02-20 2023-09-05 依未科技(北京)有限公司 图像处理方法及装置、电子设备及存储介质
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质
CN116823828B (zh) * 2023-08-29 2023-12-08 武汉楚精灵医疗科技有限公司 黄斑变性程度参数确定方法、装置、设备及存储介质
CN117437231B (zh) * 2023-12-21 2024-04-26 依未科技(北京)有限公司 近视眼底结构改变的定位方法及装置、图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292877A (zh) * 2017-07-05 2017-10-24 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN108717696A (zh) * 2018-05-16 2018-10-30 上海鹰瞳医疗科技有限公司 黄斑影像检测方法和设备
CN109635669A (zh) * 2018-11-19 2019-04-16 北京致远慧图科技有限公司 图像分类方法、装置及分类模型的训练方法、装置
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150238074A1 (en) * 2014-02-24 2015-08-27 Image Technologies Corporation Autofluorescence imaging of macular pigment: image quality criteria and corrections
CN105243669B (zh) 2015-10-15 2018-05-04 四川和生视界医药技术开发有限公司 眼底图像自动识别分区方法
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
CN109377474B (zh) 2018-09-17 2021-06-15 苏州大学 一种基于改进Faster R-CNN的黄斑定位方法
CN109934823A (zh) * 2019-03-25 2019-06-25 天津工业大学 一种基于深度学习的dr眼底图像黄斑水肿分级方法
CN111046717B (zh) * 2019-10-11 2024-01-30 平安科技（深圳）有限公司 眼底图像黄斑中心定位方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292877A (zh) * 2017-07-05 2017-10-24 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN108717696A (zh) * 2018-05-16 2018-10-30 上海鹰瞳医疗科技有限公司 黄斑影像检测方法和设备
CN109635669A (zh) * 2018-11-19 2019-04-16 北京致远慧图科技有限公司 图像分类方法、装置及分类模型的训练方法、装置
CN109662686A (zh) * 2019-02-01 2019-04-23 北京致远慧图科技有限公司 一种眼底黄斑定位方法、装置、系统及存储介质
CN109886955A (zh) * 2019-03-05 2019-06-14 百度在线网络技术（北京）有限公司 用于处理眼底图像的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的左右眼识别;钟志权等;计算机研究与发展;第55卷(第08期);第1667-1672页 *

Also Published As

Publication number Publication date
CN111046717A (zh) 2020-04-21
US20220415087A1 (en) 2022-12-29
JP7242906B2 (ja) 2023-03-20
WO2021068523A1 (zh) 2021-04-15
JP2022534209A (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
CN111046717B (zh) 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
US20210166383A1 (en) Method and device for detecting and locating lesion in medical image, equipment and storage medium
Niemeijer et al. Segmentation of the optic disc, macula and vascular arch in fundus photographs
CN110570421B (zh) 多任务的眼底图像分类方法和设备
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
Deng et al. Retinal fundus image registration via vascular structure graph matching
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
KR102458324B1 (ko) 학습 모델을 이용한 데이터 처리 방법
CN110580466A (zh) 婴儿踢被子行为识别方法、装置、计算机设备及存储介质
WO2021190656A1 (zh) 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN110599480A (zh) 多源输入的眼底图像分类方法和设备
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN113066066A (zh) 视网膜异常分析方法及设备
CN116051631A (zh) 光斑标注方法及系统
Tóth et al. Efficient sampling-based energy function evaluation for ensemble optimization using simulated annealing
WO2022127043A1 (zh) 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
CN110598652B (zh) 眼底数据预测方法和设备
CN117409002A (zh) 一种用于创伤的视觉识别检测系统及其检测方法
CN116030042B (zh) 一种针对医生目诊的诊断装置、方法、设备及存储介质
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
Niemeijer et al. Automatic Detection of the Optic Disc, Fovea and Vacular Arch in Digital Color Photographs of the Retina.
KR20220133834A (ko) 학습 모델을 이용한 데이터 처리 방법
CN115456974A (zh) 基于人脸关键点的斜视检测系统、方法、设备及介质
CN114373216A (zh) 用于眼前节octa的眼动追踪方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017501

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant