CN115019380A - 基于眼部图像的斜视智能识别方法、装置、终端及介质 - Google Patents

基于眼部图像的斜视智能识别方法、装置、终端及介质 Download PDF

Info

Publication number
CN115019380A
CN115019380A CN202210636570.4A CN202210636570A CN115019380A CN 115019380 A CN115019380 A CN 115019380A CN 202210636570 A CN202210636570 A CN 202210636570A CN 115019380 A CN115019380 A CN 115019380A
Authority
CN
China
Prior art keywords
pupil
strabismus
eye
cornea
reflectivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210636570.4A
Other languages
English (en)
Inventor
张贵英
龚浩天
徐文静
姜泽玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Medical University
Original Assignee
Guangzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Medical University filed Critical Guangzhou Medical University
Priority to CN202210636570.4A priority Critical patent/CN115019380A/zh
Publication of CN115019380A publication Critical patent/CN115019380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于眼部图像的斜视智能识别方法、装置、终端及介质，与现有技术相比，通过眼球分割网络提取瞳孔区域和角膜映光点的信息，从而获得单眼角膜反射率；通过随机森林模型根据单眼角膜反射率、瞳孔区域和角膜映光点的信息进行投票决策，获得第一预测结果；通过高维特征提取网络提取反映斜视状态的深度特征，并结合单眼角膜反射率获得第二预测结果，将上述预测结果加权平均，获得人眼斜视识别结果。因此，通过分析眼部图像，能够简单准确地识别人眼状态，发现眼睛可能存在斜视问题从而及时提醒用户去医院诊断和治疗。

Description

基于眼部图像的斜视智能识别方法、装置、终端及介质
技术领域
本发明涉及视力检测技术领域，尤其涉及的是一种基于眼部图像的斜视智能识别方法、装置、终端及介质。
背景技术
引起眼睛斜视的原因很多，可能是幼儿时期发育不完善所致，也有可能是不正确的用眼习惯导致。因为不正确的用眼，会导致眼球运动中枢集合过强或者外展不足，进而就会造成两颗眼球不是过于集合就是过于分离，很容易出现斜视的情况。
由于缺乏简单方便的检测方法和装置，目前只有在斜视度数比较高，肉眼观察到异常时，人们才会去医院诊断和治疗，导致错过及早干预和治疗的时机。
因此，现有技术有待改进和提高。
发明内容
本发明的主要目的在于提供一种基于眼部图像的斜视智能识别方法、装置、智能终端及存储介质，通过拍摄的眼部图像，能够简单方便地识别眼睛是否存在斜视，以提醒用户及时去医院作进一步的诊断和治疗。
为了实现上述目的，本发明第一方面提供一种基于眼部图像的斜视智能识别方法，所述方法包括：
将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
可选的，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
根据所述瞳孔区域信息，获得瞳孔的边缘数据，所述边缘数据包括左边缘数据和右边缘数据；
根据所述瞳孔区域信息和所述边缘数据，根据最小二乘法拟合所述瞳孔，获得拟合圆；
基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率。
可选的，所述基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
获得所述拟合圆的半径和圆心坐标；
基于所述角膜映光点信息，获得角膜映光点的坐标；
计算所述圆心坐标与所述角膜映光点的坐标的差值并计算所述差值与所述拟合圆的半径的比值，获得所述单眼角膜反射率。
可选的，所述融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果，包括：
将所述单眼角膜反射率与所述瞳孔特征进行向量相乘，获得融合特征；
将所述融合特征输入全连接层，获得所述第二斜视预测结果。
可选的，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率之后，还包括：
获取瞳孔形变指数；
基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
可选的，所述将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果，包括：
基于所述瞳孔区域信息，获得瞳孔坐标和瞳孔半径；
基于所述角膜映光点信息，获得角膜映光点的坐标；
将所述瞳孔坐标、所述瞳孔半径、所述角膜映光点的坐标和所述单眼角膜反射率输入随机森林模型，根据投票机制获得所述第一斜视预测结果。
本发明第二方面提供一种基于眼部图像的斜视智能识别装置，其中，上述装置包括：
图像分割模块，用于将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
单眼角膜反射率模块，用于基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
随机森林模块，用于将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
高维特征提取模块，用于将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
融合模块，用于融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
判定模块，用于将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
可选的，还包括斜视度数模块，用于获取瞳孔形变指数，基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于眼部图像的斜视智能识别程序，上述基于眼部图像的斜视智能识别程序被上述处理器执行时实现任意一项上述基于眼部图像的斜视智能识别方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于眼部图像的斜视智能识别程序，上述基于眼部图像的斜视智能识别程序被处理器执行时实现任意一项上述基于眼部图像的斜视智能识别方法的步骤。
由上可见，与现有技术相比，通过眼球分割网络提取瞳孔区域和角膜映光点的信息，从而获得单眼角膜反射率；通过随机森林模型根据单眼角膜反射率、瞳孔区域和角膜映光点的信息进行投票决策，获得第一预测结果；通过高维特征提取网络提取反映斜视状态的深度特征，并结合单眼角膜反射率获得第二预测结果，将上述预测结果加权平均，获得斜视识别结果。因此，通过分析拍摄的眼部图像，能够简单准确地识别眼睛是否存在斜视，以及时提醒用户去医院作进一步的诊断和治疗。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的基于眼部图像的斜视智能识别方法流程示意图；
图2是图1实施例的模型示意图；
图3是图1实施例的步骤S200具体流程示意图；
图4是图1实施例的角膜映光点和瞳孔中心示意图；
图5是本发明实施例提供的基于眼部图像的斜视智能识别装置的结构示意图；
图6是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
按照斜视的方向来分类，斜视包括内斜、外斜、上斜、下斜。如果按照斜视的性质来分，又可以分为单眼性的斜视和交替性的斜视。
其中，内斜视和外斜视都是一种眼位的不正常，是双眼视功能不正常造成的，在一个眼睛(主视眼)注视一个正前方的目标时，另一个眼睛偏向内侧是内斜视，偏向眼睛外侧是外斜视。
由于斜视平时很难发现，特别是间歇性斜视，只有斜视度数比较高的时候，肉眼才能发现。由于不能及时发现，错过了及时干预和治疗的最佳时期。因此需要一种检测方法，平时就可以方便的检测眼睛状态是否异常，以提醒用户及时去医院诊断和治疗。
本发明提供了一种基于眼部图像的斜视智能识别方法，输入拍摄的眼部图像，就可以能够简单准确地检测人眼状态，及时发现眼睛存在的问题。
示例性方法
如图1所示，本发明实施例提供一种基于眼部图像的斜视智能识别方法，可以运行在具备图像拍摄功能的各种终端上，如电脑终端、平板电脑、智能手机等；也可以采用专门的拍摄装置拍摄，再处理拍摄的眼部图像获得识别结果。
具体地，上述方法包括如下步骤：
步骤S100：将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
具体地，本实施例的拍摄装置包括柔性光源和高分辨率相机，柔性光源固定在高分辨率相机的正上方。在柔性光源的下方设置有红色标志物，红色标记物位置与镜头贴近，用以引导被检测者目光注视该红色标志物。采用该装置可以更好地获取到眼部图像。本实施例为了方便儿童检测，将相机固定在三脚架上，可以通过调整三脚架角度，降低或升高相机与地面的高度。
由于卷积神经网络U-Net的模型架构结合上下文信息、训练速度快、使用数据量小，满足眼部图像分割的诉求。U-Net是一个对称的网络架构，包括编码器和解码器，图像会先经过编码器处理，再经过解码器处理，最终实现图像分割。因此，本发明中的眼球分割网络优选为U-Net卷积神经网络。
其中，编码器部分也可以选择VGG(深层卷积网络结构)，ResNet(残差卷积网络结构)等。随着卷积层的加深，特征图的长宽减小，通道增加。虽然编码器提取了图像的高级特征，但是丢弃了图像的位置信息。而眼部图像编码时不需要位置信息，只需要提取眼部图像的内容信息。解码器的每一层都通过反卷积，并且和编码器相对应的初级特征结合，逐渐恢复图像的位置信息。在解码器中随着卷积层的加深，特征图的长宽增大，通道减少。U-Net的损失函数表达式为：
Figure BDA0003682337530000071
其中，y为自变量，
Figure BDA0003682337530000072
为期望值，N为单个批次输入图像的数量，L1为眼球分割网络单个批次总损失值。
U-Net分割网络利用深度学习特征自动对眼球区域和角膜映光点区域进行分割，获得瞳孔区域信息和角膜映光点信息。其中瞳孔区域信息包括瞳孔的边界、瞳孔位置、瞳孔区域像素等；角膜映光点信息主要包括角膜映光点所在的位置坐标。
步骤S200：基于瞳孔区域信息和角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
具体地，根据瞳孔区域信息与角膜映光点信息，分别获得瞳孔位置和角膜映光点的位置，分析两者位置之间的关系就可以获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，如角膜映光点位于瞳孔中心偏左的位置、角膜映光点位于瞳孔中心偏右的位置；角膜映光点位于瞳孔中心偏上的位置等。
进一步地，由于斜视估算度数Y与单眼角膜反射率(Ro)之间为非线性关系，预先建立以斜视估算度数Y为因变量、单眼角膜反射率(Ro)为自变量的非线性回归方程：
Figure BDA0003682337530000081
其中k为系数常量，b为偏移量，r表示瞳孔形变指数。
在获得单眼角膜反射率之后，还可以获取瞳孔形变指数，即将瞳孔形变指数统计学中非线性回归转化线性回归方案进行求解，令u＝ln(Y-b)，c＝ln(k)，v＝ln R0，则原非线性回归问题Y＝kR0 r+b可以转化为线性回归问题u＝rv+c，最终通过线性回归方法最小二乘法即可求得瞳孔形变指数，并将单眼角膜反射率和瞳孔形变指数输入预先建立的非线性回归方程，获得斜视度数的估计结果。
与现有的角膜映光法度量斜视度数不同，根据本发明的单眼角膜反射率(SCLRDR)可以测算单眼斜视程度，同时与目前特征角膜反射偏差比(CCLRDR)相比，只需要单眼就可以计算，并且精确程度一致。
步骤S300：将瞳孔区域信息、角膜映光点信息和单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
具体地，随机森林是一个包含多个决策树的分类器，根据输入的瞳孔区域信息、角膜映光点信息等眼球分割网络获得的位置信息(如瞳孔坐标、通孔半径、角膜映光点的坐标)和单眼角膜反射率进行投票决策，获得第一斜视预测结果。本实施例中主要检测正常状态、内斜视状态、外斜视状态，第一斜视预测结果为对三种分类投票产生的概率。
首先需要对随机森林模型进行预先训练：输入眼球分割网络获得的瞳孔半径、瞳孔坐标，映光点坐标以及单眼角膜反射率。眼部图像的分类标签为内斜视、外斜视和正常。设定随机森林中树的数量为1000，通过训练样本进行训练。
步骤S400：将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
具体地，本实施例中的高维特征提取网络为GoogLeNet-V3神经网络，该网络结构包含了大量层结构，使用1*1，3*3，5*5以及1*7和7*1滤波器，并将最终结果整合在作为下一层输入。能够减少网络参数数量但是保留高效提取，可以优化计算时间。该基于卷积神经网络的高维特征提取网络，通过深度学习方法实现数据驱动的特征自动设定和优化，得到反应斜视状态的瞳孔特征。
由于GoogLeNet-v3要求输入图像维度为(3×299×299)，因此输入高维特征提取网络前，还需要对眼部图像作比例缩放。
其中，GoogLeNet-V3神经网络的损失函数定义为：
Figure BDA0003682337530000091
y为自变量，
Figure BDA0003682337530000092
为期望值，N为单个批次输入图像数量，L2为高维特征提取网络单个批次总损失值。
步骤S500：融合单眼角膜反射率和瞳孔特征，获得第二斜视预测结果；
具体地，将单眼角膜反射率输入高维特征提取网络以和高维特征提取网络提取的瞳孔特征融合，获得第二斜视预测结果。在本实施例中主要检测正常状态、内斜视状态、外斜视状态，第二斜视预测结果为三种分类的概率。
本实施例中，首先将单眼角膜反射率与瞳孔特征进行向量相乘，获得融合特征，然后将融合特征输入全连接层，获得第二斜视预测结果。即：即在卷积层和全连接层之间进行瞳孔特征与单眼角膜反射率的融合。考虑到单眼角膜反射率(SCLRDR)仅有一维，简单地使用张量外积的形式即可完成特征融合，且不需要耗费更多计算资源。假如图像高维特征为：(x1,x2,...,x1000)，融合后的特征为(x1,x2,...,x1000)gSCLRDR，全连接层维度为(1000×3)，最终三分类产生的输出记为(V1g,V2g,V3g)。
步骤S600：对第一斜视预测结果和第二斜视预测结果进行加权平均，获得斜视识别结果。
具体地，在获得第一斜视预测结果和第二斜视预测结果后，根据设定的权重对两个预测结果进行加权平均，获得最终的斜视识别结果。该斜视识别结果为三种分类的概率。
本实施例中，加权平均表达式为：
(V1,V2,V3)＝u(V1g,V2g,V3g)+(1-u)(V1r,V2r,V3r)
其中u代表权重，本实施例中设置为0.7，(V1g,V2g,V3g)为高维特征提取网络输出的第一斜视预测结果，(V1r,V2r,V3r)为随机森林模型输出的第二斜视预测结果。最后通过归一化获得每种分类的预测概率。
综上所述，如图2所示，通过眼球分割网络分割识别瞳孔区域和角膜映光点，可以更加有效的提取眼球目标区域，能够更加精确的定位瞳孔点。通过随机森林模型进行投票决策，获得第一预测结果；通过高维特征提取网络获得第二预测结果，最后将上述预测结果加权平均，获得斜视识别结果。因此，通过对眼部图像进行处理，获得多种模型的预测结果，并对结果进行融合，能够简单准确地检测斜视状态，及时发现眼睛是否异常。
在一个实施例中，如图3所示，上述步骤S200具体包括如下步骤：
步骤S210：根据瞳孔信息，获得边缘数据，所述边缘数据包括左边缘数据和右边缘数据；
步骤S220：根据所述瞳孔区域信息和所述边缘数据，根据最小二乘法拟合所述瞳孔，获得拟合圆；
具体地，参考图4所示，根据瞳孔信息中的边界信息，获得左边缘数据和右边缘数据。基于最小二乘法拟合瞳孔圆心，设圆心为(A,B)，半径为R，选定特征区域ο的左边缘或右边缘点集合T中的任意一点可以表示为{(xi,yi)|(xi,yi)∈T}，最终最小二乘法优化函数为：
Figure BDA0003682337530000101
其中a＝-2A,b＝-2B,c＝A2+B2-R2，求解之后获得圆心坐标，即瞳孔中心位置。
本发明考虑到眼皮或眼睑遮挡瞳孔，从而对瞳孔区域上下位置的边缘点引起干扰，因此选用左右位置的边缘点。
步骤S230：基于拟合圆和角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率。
具体地，首先计算拟合圆的半径和圆心坐标；根据角膜映光点信息获得角膜映光点的坐标；然后计算圆心坐标与角膜映光点的坐标之间的差值，计算差值与拟合圆的半径的比值，获得单眼角膜反射率。即：单眼角膜反射率(SCLRDR)特征是映光点与瞳孔中心点之间的水平距离与眼球半径的比例关系，以右眼为例，单眼角膜反射率的表达式为：
Figure BDA0003682337530000111
其中，Llc为映光点与瞳孔中心点之间的水平距离，Rr为右眼球半径，dr为瞳孔中心点的坐标，xr为映光点的坐标。
由上所述，单眼角膜反射率是映光点与瞳孔中心点之间的水平距离与眼球半径的比例关系，相比现有的角膜映光法，通过度量映光点和瞳孔半径的比值可以更精确的反应斜视异常程度。
本发明方案通过准确率度量系统性能，准确率指标为：
Figure BDA0003682337530000112
其中True表示斜视分类预测正确，Total表示总样本。经使用约200张预测样本实践测试，准确率可达96.6％。并且本发明对于眼部遮挡也有一定的抗干扰性，即对于幼儿佩戴眼镜后会对映光点产生干扰，而传统的仅仅基于映光点的算法难以判别，但是本发明结合深度学习的高维特征提取网络，可以很好的排除干扰，准确识别。
示例性设备
如图5所示，对应于上述基于眼部图像的斜视智能识别方法，本发明实施例还提供一种基于眼部图像的斜视智能识别装置，上述基于眼部图像的斜视智能识别装置包括：
图像分割模块600，用于将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
单眼角膜反射率模块610，用于基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
随机森林模块620，用于将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
高维特征提取模块630，用于将眼部图像输入高维特征提取网络，获得瞳孔特征；
融合模块640，用于融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
判定模块650，用于将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
可选的，还包括斜视度数模块，用于获取瞳孔形变指数，基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
具体的，本实施例中，上述基于眼部图像的斜视智能识别装置的各模块的具体功能可以参照上述基于眼部图像的斜视智能识别方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于眼部图像的斜视智能识别程序。该内存储器为非易失性存储介质中的操作系统和基于眼部图像的斜视智能识别程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于眼部图像的斜视智能识别程序被处理器执行时实现上述任意一种基于眼部图像的斜视智能识别方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于眼部图像的斜视智能识别程序，上述基于眼部图像的斜视智能识别程序被上述处理器执行时进行以下操作指令：
将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
可选的，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
根据所述瞳孔区域信息，获得瞳孔的边缘数据，所述边缘数据包括左边缘数据和右边缘数据；
根据所述瞳孔区域信息和所述边缘数据，根据最小二乘法拟合所述瞳孔，获得拟合圆；
基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率。
可选的，所述基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
获得所述拟合圆的半径和圆心坐标；
基于所述角膜映光点信息，获得角膜映光点的坐标；
计算所述圆心坐标与所述角膜映光点的坐标的差值并计算所述差值与所述拟合圆的半径的比值，获得所述单眼角膜反射率。
可选的，所述融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果，包括：
将所述单眼角膜反射率与所述瞳孔特征进行向量相乘，获得融合特征；
将所述融合特征输入全连接层，获得所述第二斜视预测结果。
可选的，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率之后，还包括：
获取瞳孔形变指数；
基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
可选的，所述将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果，包括：
基于所述瞳孔区域信息，获得瞳孔坐标和瞳孔半径；
基于所述角膜映光点信息，获得角膜映光点的坐标；
将所述瞳孔坐标、所述瞳孔半径、所述角膜映光点的坐标和所述单眼角膜反射率输入随机森林模型，根据投票机制获得所述第一斜视预测结果。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于眼部图像的斜视智能识别程序，上述基于眼部图像的斜视智能识别程序被处理器执行时实现本发明实施例提供的任意一种基于眼部图像的斜视智能识别方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.基于眼部图像的斜视智能识别方法，其特征在于，所述方法包括：
将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
2.如权利要求1所述的基于眼部图像的斜视智能识别方法，其特征在于，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
根据所述瞳孔区域信息，获得瞳孔的边缘数据，所述边缘数据包括左边缘数据和右边缘数据；
根据所述瞳孔区域信息和所述边缘数据，根据最小二乘法拟合所述瞳孔，获得拟合圆；
基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率。
3.如权利要求2所述的基于眼部图像的斜视智能识别方法，其特征在于，所述基于所述拟合圆和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率，包括：
获得所述拟合圆的半径和圆心坐标；
基于所述角膜映光点信息，获得角膜映光点的坐标；
计算所述圆心坐标与所述角膜映光点的坐标的差值并计算所述差值与所述拟合圆的半径的比值，获得所述单眼角膜反射率。
4.如权利要求1所述的基于眼部图像的斜视智能识别方法，其特征在于，所述融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果，包括：
将所述单眼角膜反射率与所述瞳孔特征进行向量相乘，获得融合特征；
将所述融合特征输入全连接层，获得所述第二斜视预测结果。
5.如权利要求1所述的基于眼部图像的斜视智能识别方法，其特征在于，所述基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率之后，还包括：
获取瞳孔形变指数；
基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
6.如权利要求1所述的基于眼部图像的斜视智能识别方法，其特征在于，所述将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果，包括：
基于所述瞳孔区域信息，获得瞳孔坐标和瞳孔半径；
基于所述角膜映光点信息，获得角膜映光点的坐标；
将所述瞳孔坐标、所述瞳孔半径、所述角膜映光点的坐标和所述单眼角膜反射率输入随机森林模型，根据投票机制获得所述第一斜视预测结果。
7.基于眼部图像的斜视智能识别装置，其特征在于，所述装置包括：
图像分割模块，用于将眼部图像输入眼球分割网络，获得瞳孔区域信息和角膜映光点信息，所述眼球分割网络为用于分割眼部图像的卷积神经网络；
单眼角膜反射率模块，用于基于所述瞳孔区域信息和所述角膜映光点信息，获得反映瞳孔与角膜映光点之间位置关系的单眼角膜反射率；
随机森林模块，用于将所述瞳孔区域信息、所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型，获得第一斜视预测结果；
高维特征提取模块，用于将眼部图像输入高维特征提取网络，获得反映斜视状态的瞳孔特征；
融合模块，用于融合所述单眼角膜反射率和所述瞳孔特征，获得第二斜视预测结果；
判定模块，用于将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均，获得斜视识别结果。
8.如权利要求7所述的基于眼部图像的斜视智能识别装置，其特征在于，还包括斜视度数模块，用于获取瞳孔形变指数，基于所述单眼角膜反射率和所述瞳孔形变指数，根据预先建立的非线性回归方程，获得斜视度数的估计结果。
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于眼部图像的斜视智能识别程序，所述基于眼部图像的斜视智能识别程序被所述处理器执行时实现如权利要求1-7任意一项所述基于眼部图像的斜视智能识别方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于眼部图像的斜视智能识别程序，所述基于眼部图像的斜视智能识别程序被处理器执行时实现如权利要求1-7任意一项所述基于眼部图像的斜视智能识别方法的步骤。
CN202210636570.4A 2022-06-07 2022-06-07 基于眼部图像的斜视智能识别方法、装置、终端及介质 Pending CN115019380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210636570.4A CN115019380A (zh) 2022-06-07 2022-06-07 基于眼部图像的斜视智能识别方法、装置、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210636570.4A CN115019380A (zh) 2022-06-07 2022-06-07 基于眼部图像的斜视智能识别方法、装置、终端及介质

Publications (1)

Publication Number Publication Date
CN115019380A true CN115019380A (zh) 2022-09-06

Family

ID=83073475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210636570.4A Pending CN115019380A (zh) 2022-06-07 2022-06-07 基于眼部图像的斜视智能识别方法、装置、终端及介质

Country Status (1)

Country Link
CN (1) CN115019380A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385806A (zh) * 2023-05-29 2023-07-04 四川大学华西医院 眼部图像斜视类型的分类方法、系统、设备及存储介质
CN116823746A (zh) * 2023-06-12 2023-09-29 广州视景医疗软件有限公司 一种基于深度学习的瞳孔尺寸预测方法及装置
CN117727087A (zh) * 2024-02-07 2024-03-19 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385806A (zh) * 2023-05-29 2023-07-04 四川大学华西医院 眼部图像斜视类型的分类方法、系统、设备及存储介质
CN116385806B (zh) * 2023-05-29 2023-09-08 四川大学华西医院 眼部图像斜视类型的分类方法、系统、设备及存储介质
CN116823746A (zh) * 2023-06-12 2023-09-29 广州视景医疗软件有限公司 一种基于深度学习的瞳孔尺寸预测方法及装置
CN116823746B (zh) * 2023-06-12 2024-02-23 广州视景医疗软件有限公司 一种基于深度学习的瞳孔尺寸预测方法及装置
CN117727087A (zh) * 2024-02-07 2024-03-19 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统
CN117727087B (zh) * 2024-02-07 2024-05-03 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统

Similar Documents

Publication Publication Date Title
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
EP3674968B1 (en) Image classification method, server and computer readable storage medium
US10878237B2 (en) Systems and methods for performing eye gaze tracking
CN115019380A (zh) 基于眼部图像的斜视智能识别方法、装置、终端及介质
US10564446B2 (en) Method, apparatus, and computer program for establishing a representation of a spectacle lens edge
US9779492B1 (en) Retinal image quality assessment, error identification and automatic quality correction
EP2975997B1 (en) System and method for on-axis eye gaze tracking
KR20200004841A (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
CN109684915B (zh) 瞳孔跟踪图像处理方法
JP2008192100A (ja) 瞼検出装置及びプログラム
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN112837805B (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
CN113158821B (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
CN112232448B (zh) 图像分类方法、装置、电子设备和存储介质
CN110503068A (zh) 视线估计方法、终端及存储介质
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
KR20220145412A (ko) 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치
Jana et al. A semi-supervised approach for automatic detection and segmentation of optic disc from retinal fundus image
CN117338234A (zh) 一种屈光度与视力联合检测方法
CN115456974A (zh) 基于人脸关键点的斜视检测系统、方法、设备及介质
CN115375611A (zh) 一种基于模型训练的屈光检测方法和检测系统
Sumitha et al. Experimental Approach to Identify the Optimal Deep CNN Models to Early Detection of Glaucoma from Fundus CT-Scan Images
CN116473501B (zh) 一种插片式主观验光结果自动记录方法、装置及系统
CN117137427A (zh) 一种基于vr的视力检测方法及装置、智能眼镜
CN113116292B (zh) 基于眼部外观图像的眼位测量方法、装置、终端和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination