CN115409774A - 一种基于深度学习的眼检测方法及斜视筛查系统 - Google Patents

一种基于深度学习的眼检测方法及斜视筛查系统 Download PDF

Info

Publication number
CN115409774A
CN115409774A CN202210827461.0A CN202210827461A CN115409774A CN 115409774 A CN115409774 A CN 115409774A CN 202210827461 A CN202210827461 A CN 202210827461A CN 115409774 A CN115409774 A CN 115409774A
Authority
CN
China
Prior art keywords
eye
strabismus
center
deep learning
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210827461.0A
Other languages
English (en)
Inventor
吴栩平
刘玉萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shijing Medical Software Co ltd
Original Assignee
Guangzhou Shijing Medical Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shijing Medical Software Co ltd filed Critical Guangzhou Shijing Medical Software Co ltd
Priority to CN202210827461.0A priority Critical patent/CN115409774A/zh
Publication of CN115409774A publication Critical patent/CN115409774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明实施例公开了一种基于深度学习的眼检测方法，包括以下步骤：a.准备用于眼部图像识别的深度学习检测模型；b.获取受检者的左眼注视眼部图像与右眼注视眼部图像；c.利用所述深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。本发明实施例还公开了一种基于深度学习的斜视筛查系统，用于获得受检者左右眼的斜视度并判断受检者是否存在斜视的风险。

Description

一种基于深度学习的眼检测方法及斜视筛查系统
技术领域
本发明涉及人工智能深度学习领域，尤其涉及一种基于深度学习的眼检测方法及斜视筛查系统。
背景技术
斜视(strabismus)是指眼外肌协调运动失常导致双眼不能同时注视同一物体的疾病，可由先天或后天的因素导致。除了影响美观外，斜视还会导致弱视、双眼单视功能异常等，是眼科多发病、常见病，患病率约为3％～5％。正常情况下双眼运动协调一致，双眼可同时注视同一目标，并使目标在双眼黄斑部成像，传导到大脑视觉中枢，重叠成一个完整且有立体感觉的单一物像。当因各种神经肌肉疾病导致双眼运动不协调时，就会发生斜视，可能出现将一个物体看成2个影像的情况。
现有的斜视筛查手段多为人工筛查，例如角膜映光法是目前眼科门诊常用的斜视初步判定方法，需要去医院由专业人员进行筛查，效率低下。也有借助于某些特定专用设备进行筛查的方法，但成本高昂。
角膜映光法(Hirschberg)是检查临床检查患者他觉斜视角最常用最简便的方法，也是临床其他绝大部分他觉斜视角检查的基础。受检者注视约33cm处的点光源视标，眼角膜上出现一光亮的小点映现，称为角膜映光点，根据角膜映光点相对瞳孔中心的位置判断受检者的斜视度数，角膜映光点偏移瞳孔中心1mm，相当于斜视7圆周度，记为(°)。通常，当角膜映光点位于瞳孔边缘者，斜视度约为10°～15°；角膜映光点位于瞳孔边缘与角膜边缘中间时，斜视度约为25°～30°；角膜映光点位于角膜边缘时，斜视度约为45°。然而，由于是人工估计，不仅难以得到较精确的斜视度数据，而且由于无法排除kappa角的影响，斜视度数据容易失真。
目前还没有便利的AI图像识别方法来自动获取角膜、瞳孔和映光点的位置数据或估计斜视度数据，本发明则弥补了这种自动识别筛查方式的空白，通过分别对受检者的两眼注视眼部图像进行基于深度学习网络模型的图像识别，训练好的深度学习网络模型能够自动识别诸如角膜、瞳映光点的轮廓，克服例如purkinje反射成像造成的映光点模糊、瞳孔边缘反差不足等问题，能够快速准确地检测出角膜、瞳孔和映光点中心的相对位置坐标，从而为诸如角膜映光法提供足够精确的位置数据，实现同步排除kappa角影响得到真实斜视度。所提供的斜视筛查系统能够根据模型识别结果计算给出受检者是否疑似存在斜视或斜视的风险程度，极大便利了斜视早期筛查，不仅提高了筛查效率，而且显著降低了筛查成本，有助于斜视筛查的普及。
发明内容
有鉴于此，为解决现有技术问题，本发明提供了一种基于深度学习的眼检测方法。本发明操作简单，可先用智能手机拍两张受检者分别为左眼注视与右眼注视下的眼部照片，然后将所拍的左眼注视与右眼注视的眼部照片上传，经深度学习模型系统分析处理即可检测出受检者的眼球上的角膜、瞳孔、映光点等的位置坐标数据。本发明还提供了一种基于深度学习的斜视筛查系统，通过模型检测计算获取受检者的真实斜视角数据，显示直观的检查结果，为受检者提供潜在斜视风险判断，有助于受检者及早发现斜视风险，从而实现对斜视的快速筛查。
本发明无需专业人员进行操作，也无需特定专业设备，成本低廉并且易于普及，受检者只需要提供左眼注视与右眼注视的眼部照片即可，解决了现有人工斜视筛查手段存在的成本较高且不方便、斜视检查不及时不准确的技术问题。
本发明实施例提供了一种基于深度学习的眼检测方法，包括以下步骤：
a.准备用于眼部图像识别的深度学习检测模型；
b.获取受检者的左眼注视眼部图像与右眼注视眼部图像；
c.利用所述深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。
在一些实施方案中，所述深度学习模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的关键点。
在一些实施方案中，所述深度学习检测模型通过以下方法训练得到，包括：1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；2)搭建深度神经网络模型结构；3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。
优选地，所述数据集的关键点标注包括对单只眼选用36关键点的标注方式，其中角膜包含16个关键点，瞳孔包含12个关键点，映光点包含8个关键点。
优选地，所述深度神经网络模型结构可采用HigherHRNet模型结构。
在一些实施方案中，所述方法还包括获取受检者的年龄和性别信息，并据此估计受检者角膜的实际横径和垂直径。
在一些实施方案中，步骤b还包括利用具有光源的摄像装置拍摄受检者的左眼注视眼部图像与右眼注视眼部图像，其中受检者距离摄像镜头一定距离处，保持光源常亮，使受检者眼睛与光源保持在同一水平线，遮盖右眼，左眼注视光源，在去掉右眼遮盖的瞬间拍摄图像，即获得左眼注视眼部图像；再遮盖左眼，右眼注视光源，在去掉左眼遮盖的瞬间拍摄图像，即获得右眼注视眼部图像。
在一些实施方案中，步骤c还可包括：1)利用所述深度学习检测模型对受检者的左眼注视眼部图像与右眼注视眼部图像进行检测，获得左眼注视与右眼注视时的角膜、瞳孔和映光点的多个关键点；2)根据检测到的关键点分别对角膜、瞳孔、映光点的轮廓进行圆拟合，圆心即为中心，获得包括角膜中心、瞳孔中心和映光点中心的位置坐标的模型检测结果。
优选地，步骤c还可包括：3)利用所述模型检测结果计算受检者的左右眼的kappa角和映光点中心到瞳孔中心的偏移量，计算受检者两眼的斜视角。
本发明实施例还提供了一种基于深度学习的斜视筛查系统，所述系统包括接收单元，用于接收受检者的左眼注视眼部图像与右眼注视眼部图像；处理单元，用于利用深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得包括受检者两眼的角膜、瞳孔和映光点的位置数据的模型检测结果；分析单元，用于根据所述模型检测结果计算左右眼的斜视度并判断受检者是否存在斜视的风险；输出单元，用于输出受检者的斜视风险报告。
在一些实施方案中，所述接收单元接收到的受检者的左眼注视眼部图像与右眼注视眼部图像是由移动终端例如智能手机、ipad等拍摄并上传的。
在一些实施方案中，所述深度学习模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的关键点；所述深度学习检测模型通过以下方法训练得到，包括：
1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；2)搭建深度神经网络模型结构；3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。
在一些实施方案中，所述处理单元获得的受检者两眼的角膜、瞳孔和映光点的位置数据包括受检者左眼注视和右眼注视时两眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标。
在一些实施方案中，，所述分析单元还用于根据左眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算左眼的kappa角，根据右眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算右眼的kappa角。
在一些实施方案中，所述分析单元还用于根据左眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述右眼的kappa角计算右眼的斜视度，根据右眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述左眼的kappa角计算左眼的斜视度。
在一些实施方案中，所述分析单元判断受检者是否存在斜视风险的判据为：若任一眼的斜视度超过10°，则受检者的斜视风险为高；若两眼的斜视度均不超过10°，则受检者的斜视风险为低。
在一些实施方案中，所述输出单元选自移动终端、显示器或打印机等输出或显示设备。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例的基于深度学习的眼检测方法的流程图。
图2为本发明实施例的基于深度学习的斜视筛查系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明的目的在于提供一种操作方便，成本低廉，科学客观的可迅速普及的斜视筛查系统。为实现上述目的，本发明实施例提出一种基于深度学习的眼检测方法，包括以下步骤：a.准备用于眼部图像识别的深度学习检测模型；b.获取受检者的左眼注视眼部图像与右眼注视眼部图像；c.利用所述深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。
作为具体实施例，图1示出一种基于深度学习的眼检测方法的流程图。
第一，准备用于眼部图像识别的深度学习检测模型，例如可以利用深度神经网络通过训练得到眼部关键点的检测模型，该模型可用于获得角膜、瞳孔和映光点的轮廓的关键点。
具体而言，该检测模型的训练过程包括：
1)制作包括训练集和测试集的数据集：包括准备具有清晰眼部轮廓的多张人脸图像，例如可以准备100-1000张，在图像上应有可分辨的角膜、瞳孔和映光点轮廓；在所述人脸图像上对角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，例如可以对单只眼选用36关键点的标注方式，其中角膜包含16个关键点，瞳孔包含12个关键点，映光点包含8个关键点；再将所有标注好的图像根据一定比例(例如8:2的比例)随机分成训练集与测试集。
2)搭建深度学习网络模型，例如可以搭建一个深度神经网络(DNN)模型结构，本实施例采用HigherHRNet模型结构。
3)将训练集传入该深度神经网络模型进行训练，得到深度学习检测模型；
4)利用测试集对该深度学习检测模型进行评价，直至模型精度达到要求为止，例如本实施例的模型精度可达到98％以上。
第二，可以输入受检者的年龄、性别等身份信息，例如可以根据受检者的年龄与性别估计受检者角膜的实际横径hsize与垂直径vsize。当然，如果受检者进行过专门的眼科检查具有相应数据，也可以直接输入角膜的实际横径hsize与垂直径vsize。
本发明的目的之一是提供便捷的眼检测方法和斜视筛查系统，而大多数受检者通常没有检测过准确的角膜直径数据，考虑到人角膜的横径和垂直径的差异性不大，例如通常成人角膜的横径为11.5-12mm，垂直径为10.5-11mm，并且未成年人角膜直径随年龄和性别分布数据也有较为充分的研究，因此通过估算的数据可以作为初步筛查的基础。
作为一个优选方案，也可以在拍摄图像的同时在平行于受检者脸部的平面上设置已知尺寸的参照物，例如尺子、硬币等，以利于估计受检者的角膜尺寸。
第三，利用具有光源例如闪光灯的摄像装置例如智能手机、ipad等拍摄两张分别为左眼注视与右眼注视的眼部照片。以左眼注视为例，拍照方式可以如下：坐在距离手机(或摄像头)约33cm处左右，打开手机闪光灯，眼睛与闪光灯保持在同一水平线，调整焦距，使图像集中于双眼。利用遮盖片或手遮盖右眼，左眼注视闪光灯，在去掉右眼遮盖的瞬间拍摄一张图像，即为所需要的左眼注视的照片。右眼注视采用同样拍摄方式，遮盖左眼，右眼注视闪光灯，在去掉左眼遮盖的瞬间拍摄一张图像，即为所需要的右眼注视的照片。
第四，上传拍摄的图像，例如左眼注视拍摄的图像可选择左视模式，右眼注视拍摄的图像则可选择右视模式。利用上述深度学习模型对左视模式和右视模式的眼部图像进行检测，可分别获得左眼注视与右眼注视时的角膜、瞳孔与映光点的多个关键点。根据检测到的关键点可分别对角膜、瞳孔、映光点轮廓进行圆拟合，圆心即为中心，则可获得角膜中心、瞳孔中心与映光点中心的相对位置坐标。
第五，根据模型检测结果，还可以进一步计算相关参数。若为左视模式，则计算左眼的kappa角(此处用映光点到瞳孔中心的偏移量表示)，以及右眼映光点到瞳孔中心的偏移量；若为右视模式，则计算右眼的kappa角以及左眼映光点到瞳孔中心的偏移量。
偏移量的计算方式如下：设检测得到角膜中心像素坐标为(xc,yc,rc)，瞳孔中心像素坐标为(xp,yp,rp)，映光点中心像素坐标为(xr,yr,rr)。其中，x,y分别表示拟合圆的圆心的水平像素坐标和垂直像素坐标，r为拟合圆的半径。因此，水平偏移量hbias＝(xr-xp)*hsize/rc，垂直偏移量vbias＝(yr-yp)*vsize/rc，单位为mm。
第六，根据左视和右视两种模式下计算出的数值，可以计算出两眼的真实斜视度，并可以借此判断受检者是否疑似斜视或存在斜视风险。
例如，本实施例采用角膜映光法计算斜视度，在距离光源(闪光灯)约33cm的情况下，映光点偏移瞳孔中心1mm，相当于视轴偏斜7圆周度，记为(°)。具体计算方式如下：设根据左视模式获得的左眼kappa角记为(xkl,ykl)，右眼映光点到瞳孔中心的偏移量为(xbr,ybr)；根据右视模式获得的右眼kappa角记为(xkr,ykr)，左眼映光点到瞳孔中心的偏移量为(xbl,ybl)，则左眼的水平斜视度为(xbl-xkl)*7°，垂直斜视度为(ybl-ykl)*7°；右眼的水平斜视度为(xbr-xkr)*7°，垂直斜视度为(ybr-ykr)*7°。通常而言，若计算出的斜视度在一给定阈值之内，例如在10°以内，可以认为正常或斜视风险低，而若斜视度超过该阈值例如10°，则受检者疑似存在斜视或斜视风险高。
根据本发明的另一实施例，还提供了本发明实施例还提供了一种基于深度学习的斜视筛查系统，所述系统包括接收单元，用于接收受检者的左眼注视眼部图像与右眼注视眼部图像；处理单元，用于利用深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得包括受检者两眼的角膜、瞳孔和映光点的位置数据的模型检测结果；分析单元，用于根据所述模型检测结果计算两眼的斜视度并判断受检者是否疑似存在斜视或斜视风险程度；输出单元，用于输出受检者的斜视筛查报告。
如图2所示，接收单元可用于接收受检者身份信息及受检者的左眼注视眼部图像与右眼注视眼部图像；处理单元可用于利用深度学习检测模型识别检测得到例如两眼的角膜、瞳孔和映光点中心的位置坐标；分析单元可用于根据上述坐标计算诸如两眼kappa角、映光点偏移量等相关参数，并计算两眼的真实斜视度，根据判据判断受检者是否疑似存在斜视等；输出单元可以是诸如智能手机、显数器、打印机等输出设备，用于输出受检者的斜视筛查报告。
优选地，接收单元接收到的受检者的左眼注视眼部图像与右眼注视眼部图像可以是由移动终端例如智能手机、ipad等拍摄并上传至诸如服务器等接收设备。
优选地，所述深度学习检测模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的关键点；所述深度学习检测模型通过以下方法训练得到，包括：
1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；2)搭建深度神经网络模型结构；3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。
作为替代方案，左眼注视眼部图像与右眼注视眼部图像中可以在眼平面上设置具有已知长度的参照物，以便于处理单元基于该参照物计算出角膜横径和垂直径的准确数值。处理单元可以某一参考点(例如角膜中心或瞳孔中心)为原点计算受检者左眼注视和右眼注视时两眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标。
分析单元还用于根据左眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算左眼的kappa角，根据右眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算右眼的kappa角。分析单元还用于根据左眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述右眼的kappa角计算右眼的斜视度，根据右眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述左眼的kappa角计算左眼的斜视度。具体计算方式如前所述，在此不再赘述。
通常，分析单元判断受检者是否存在斜视的判据为：若任一眼的斜视度超过10°，则受检者疑似存在斜视或斜视风险为高；若两眼的斜视度均不超过10°，则受检者的斜视风险为低。
为描述的方便和简洁，所属领域的技术人员可以清楚地了解到，所述系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统、装置和方法可以通过其它的方式实现。例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。所述单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种基于深度学习的眼检测方法，其特征在于，包括以下步骤：
a.准备用于眼部图像识别的深度学习检测模型；
b.获取受检者的左眼注视眼部图像与右眼注视眼部图像；
c.利用所述深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得受检者两眼的角膜、瞳孔和映光点的位置数据。
2.根据权利要求1所述的方法，其特征在于，所述深度学习模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的轮廓的关键点。
3.根据权利要求2所述的方法，其特征在于，所述深度学习检测模型通过以下方法训练得到，包括：
1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；
2)搭建深度神经网络模型结构；
3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；
4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。
4.根据权利要求3所述的方法，其特征在于，所述数据集的关键点标注包括对单只眼选用36关键点的标注方式，其中角膜包含16个关键点，瞳孔包含12个关键点，映光点包含8个关键点。
5.根据权利要求3所述的方法，其特征在于，所述深度神经网络模型结构采用HigherHRNet模型结构。
6.根据权利要求1所述的方法，其特征在于，还包括通过受检者的年龄和性别估计受检者角膜的实际横径和垂直径或者通过所述图像中设置的已知尺寸的参照物估计受检者角膜的实际横径和垂直径。
7.根据权利要求1所述的方法，其特征在于，步骤b还包括利用具有光源的摄像装置拍摄受检者的左眼注视眼部图像与右眼注视眼部图像，其中受检者距离摄像镜头一定距离处，保持光源常亮，使受检者眼睛与光源保持在同一水平线，遮盖右眼，左眼注视光源，在去掉右眼遮盖的瞬间拍摄图像，即获得左眼注视眼部图像；再遮盖左眼，右眼注视光源，在去掉左眼遮盖的瞬间拍摄图像，即获得右眼注视眼部图像。
8.根据权利要求1所述的方法，其特征在于，步骤c还包括：
1)利用所述深度学习检测模型对受检者的左眼注视眼部图像与右眼注视眼部图像进行检测，获得左眼注视与右眼注视时的角膜、瞳孔和映光点的多个关键点；
2)根据检测到的关键点分别对角膜、瞳孔、映光点的轮廓进行圆拟合，圆心即为中心，获得包括角膜中心、瞳孔中心和映光点中心的位置坐标的模型检测结果。
9.根据权利要求8所述的方法，其特征在于，步骤c还包括：
3)利用所述模型检测结果计算受检者的左右眼的kappa角和映光点中心到瞳孔中心的偏移量，计算得到排除kappa角影响的受检者两眼的斜视度。
10.一种基于深度学习的斜视筛查系统，其特征在于，所述系统包括接收单元，用于接收受检者的左眼注视眼部图像与右眼注视眼部图像；处理单元，用于利用深度学习检测模型对所述左眼注视眼部图像与右眼注视眼部图像进行检测分析，获得包括受检者两眼的角膜、瞳孔和映光点的位置数据的模型检测结果；分析单元，用于根据所述模型检测结果计算左右眼的斜视度并判断受检者是否存在斜视的风险；输出单元，用于输出受检者的斜视筛查报告。
11.如权利要求10所述的斜视筛查系统，其特征在于，所述接收单元接收到的受检者的左眼注视眼部图像与右眼注视眼部图像是由移动终端拍摄并上传的。
12.如权利要求10所述的斜视筛查系统，其特征在于，所述深度学习模型是利用深度神经网络训练得到的关键点检测模型，用于获得角膜、瞳孔和映光点的关键点；所述深度学习检测模型通过以下方法训练得到，包括：
1)制作包括训练集和测试集的数据集，包括准备具有清晰眼部轮廓的多张人脸图像，在所述人脸图像上对眼部的角膜、瞳孔和映光点的特征区域的轮廓进行关键点标注，再将所有标注好的图像根据一定比例随机分成训练集与测试集；
2)搭建深度神经网络模型结构；
3)将所述训练集传入所述深度神经网络进行训练，得到深度学习检测模型；
4)利用所述测试集对所述深度学习检测模型进行评价，直至模型精度达到98％以上。
13.如权利要求10所述的斜视筛查系统，其特征在于，所述处理单元获得的受检者两眼的角膜、瞳孔和映光点的位置数据包括受检者左眼注视和右眼注视时的两眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标。
14.如权利要求13所述的斜视筛查系统，其特征在于，所述分析单元还用于根据左眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算左眼的kappa角，根据右眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标计算右眼的kappa角。
15.如权利要求14所述的斜视筛查系统，其特征在于，所述分析单元还用于根据左眼注视时右眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述右眼的kappa角计算右眼的斜视度，根据右眼注视时左眼的角膜中心、瞳孔中心和映光点中心的相对位置坐标和所述左眼的kappa角计算左眼的斜视度。
16.如权利要求15所述的斜视筛查系统，其特征在于，所述分析单元判断受检者是否存在斜视风险的判据为：若任一眼的斜视度超过10°，则受检者的斜视风险为高；若两眼的斜视度均不超过10°，则受检者的斜视风险为低。
17.如权利要求10所述的斜视筛查系统，其特征在于，所述输出单元选自移动终端、显示器或打印机。
CN202210827461.0A 2022-07-13 2022-07-13 一种基于深度学习的眼检测方法及斜视筛查系统 Pending CN115409774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210827461.0A CN115409774A (zh) 2022-07-13 2022-07-13 一种基于深度学习的眼检测方法及斜视筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210827461.0A CN115409774A (zh) 2022-07-13 2022-07-13 一种基于深度学习的眼检测方法及斜视筛查系统

Publications (1)

Publication Number Publication Date
CN115409774A true CN115409774A (zh) 2022-11-29

Family

ID=84158060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210827461.0A Pending CN115409774A (zh) 2022-07-13 2022-07-13 一种基于深度学习的眼检测方法及斜视筛查系统

Country Status (1)

Country Link
CN (1) CN115409774A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644796A (zh) * 2022-12-14 2023-01-31 广州视景医疗软件有限公司 一种基于斜视度的ac/a检测方法和装置
CN116027910A (zh) * 2023-03-29 2023-04-28 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统
CN116831516A (zh) * 2023-07-20 2023-10-03 广州视景医疗软件有限公司 一种角膜曲率的生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102961117A (zh) * 2012-11-06 2013-03-13 温州医学院 基于移动平台的斜视诊断装置
CN107085864A (zh) * 2017-06-01 2017-08-22 北京大学第三医院 基于特征点的眼镜建模装置及方法、眼镜制作方法及眼镜
CN109288493A (zh) * 2017-07-25 2019-02-01 珠海学院有限公司 一种数字化斜视诊断方法、装置和系统
CN110575132A (zh) * 2019-07-25 2019-12-17 北京爱诺斯科技有限公司 一种基于偏心摄影的斜视程度的计算方法
CN112989939A (zh) * 2021-02-08 2021-06-18 佛山青藤信息科技有限公司 一种基于视觉的斜视检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102961117A (zh) * 2012-11-06 2013-03-13 温州医学院 基于移动平台的斜视诊断装置
CN107085864A (zh) * 2017-06-01 2017-08-22 北京大学第三医院 基于特征点的眼镜建模装置及方法、眼镜制作方法及眼镜
CN109288493A (zh) * 2017-07-25 2019-02-01 珠海学院有限公司 一种数字化斜视诊断方法、装置和系统
CN110575132A (zh) * 2019-07-25 2019-12-17 北京爱诺斯科技有限公司 一种基于偏心摄影的斜视程度的计算方法
CN112989939A (zh) * 2021-02-08 2021-06-18 佛山青藤信息科技有限公司 一种基于视觉的斜视检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOWEN CHENG等: "Higherhrnet: Scale-aware representation learning for bottom-up human pose estimation", 《ARXIV》, pages 3 - 4 *
卢文胜等: "《眼科常见疾病临床诊疗》", 科学技术文献出版社, pages: 68 - 69 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644796A (zh) * 2022-12-14 2023-01-31 广州视景医疗软件有限公司 一种基于斜视度的ac/a检测方法和装置
CN116027910A (zh) * 2023-03-29 2023-04-28 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统
CN116831516A (zh) * 2023-07-20 2023-10-03 广州视景医疗软件有限公司 一种角膜曲率的生成方法及装置
CN116831516B (zh) * 2023-07-20 2024-02-06 广州视景医疗软件有限公司 一种角膜曲率的生成方法及装置

Similar Documents

Publication Publication Date Title
US10898071B2 (en) System and method for measurement of refractive error of an eye based on subjective distance metering
CN109310314B (zh) 用于眼位偏斜测量的移动装置应用
CN115409774A (zh) 一种基于深度学习的眼检测方法及斜视筛查系统
US9149179B2 (en) System and method for identifying eye conditions
EP3649577B1 (en) Application to determine reading/working distance
US10945637B2 (en) Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus
EP3295863B1 (en) Measurement method for determining a value of a visual correction need for near vision of an individual in a natural posture for near vision
de Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
US20150257639A1 (en) System and device for preliminary diagnosis of ocular diseases
KR20120127790A (ko) 시선추적 시스템 및 그 방법
EP3746839B1 (en) Method for determining refractory power of eye using immersive system and electronic device thereof
KR20150036395A (ko) 사시 검출
CN111295129A (zh) 视敏度检查
CN112954296B (zh) 基于双目视觉的眼底对焦方法、系统以及存储介质
CN115414002A (zh) 一种基于视频流的眼检测方法及斜视筛查系统
Huang A Depth Learning-Based Approach for Vision Prevention and Detection Utilized on Mobile Devices
WO2023148372A1 (en) A computer-implemented systems and methods for interactively measuring either or both sides of the interval of clear vision of the eye
Rostami Detecting Keratoconus Using Convolutional Neural Network on Smartphone
Coppin Mathematical modeling of a light field fundus camera and its applications to retinal imaging
CN117243560A (zh) 一种视野检测用视野计系统及其方法
CN117530654A (zh) 一种实时的双眼瞳孔检查系统及检测方法
US20170055820A1 (en) Systems, methods and apparatus for tracking changes in an ocular scene
CN115334956A (zh) 脉络膜成像
CN109008936A (zh) 基于参照物的屈光度检测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination