CN111476151A - 眼球检测方法、装置、设备及存储介质 - Google Patents
眼球检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111476151A CN111476151A CN202010261001.7A CN202010261001A CN111476151A CN 111476151 A CN111476151 A CN 111476151A CN 202010261001 A CN202010261001 A CN 202010261001A CN 111476151 A CN111476151 A CN 111476151A
- Authority
- CN
- China
- Prior art keywords
- eye image
- eyeball
- target
- position information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 191
- 238000001514 detection method Methods 0.000 title claims abstract description 160
- 210000001508 eye Anatomy 0.000 claims abstract description 187
- 230000002441 reversible effect Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 18
- 230000004044 response Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 210000000554 iris Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了眼球检测方法、装置、设备及存储介质。其中，该方法包括：获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。本发明实施例提供的技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。
Description
技术领域
本发明实施例涉及图像识别领域，尤其涉及眼球检测方法、装置、设备及存储介质。
背景技术
眼球检测技术一般包括眼球关键点定位技术，是图像处理和计算机视觉领域一项重要的技术，目标是为了准确定位出虹膜以及瞳孔等在输入人脸图像或视频中的位置，主要包括虹膜边界或者边界上的关键点的检测以及瞳孔中心点的检测。眼球检测技术在娱乐直播、短视频特效、虚拟人偶以及安防等领域有重要的作用。
目前，眼球检测方法大致上可以分为两大类，一类是基于传统计算机视觉领域的手工特征提取方法，另外一类是基于神经网络技术的方法。前者主要是利用图像的梯度来提取特征，例如尺度不变特征变换(Scale-invariant feature transform，SIFT)特征，并结合传统算法(例如霍夫变换和支持向量机等)做虹膜边缘检测或关键点检测，这类方案需要针对不同场景设置不同参数，而且准确性一般较低。后者主要是利用多层卷积神经网络对图像进行特征提取，再回归关键点的位置，这类方案较前者准确性高，但是模型的计算复杂度高，对计算资源有很高的要求。因此，现有的眼球检测方案仍不够完善，需要改进。
发明内容
本发明实施例提供了眼球检测方法、装置、设备及存储介质，可以优化现有的眼球检测方案。
第一方面，本发明实施例提供了一种眼球检测方法，该方法包括：
获取待检测的目标眼部图像；
将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
第二方面，本发明实施例提供了一种眼球检测装置，该装置包括：
目标眼部图像获取模块，用于获取待检测的目标眼部图像；
图像输入模块，用于将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
位置信息确定模块，用于根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的眼球检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的眼球检测方法。
本发明实施例中提供的眼球检测方案，获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。通过采用上述技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。
附图说明
图1为本发明实施例提供的一种眼球检测方法的流程示意图；
图2为本发明实施例提供的一种眼球关键点分布示意图；
图3为本发明实施例提供的又一种眼球检测方法的流程示意图；
图4为本发明实施例提供的另一种眼球检测方法的流程示意图；
图5为本发明实施例提供的一种眼球检测流程示意图；
图6为本发明实施例提供的一种眼球检测模型网络结构示意图；
图7为本发明实施例提供的一种可逆残差网络结构示意图；
图8为本发明实施例提供的一种眼球检测装置的结构框图；
图9为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种眼球检测方法的流程示意图，该方法可以由眼球检测装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图1所示，该方法包括：
步骤101、获取待检测的目标眼部图像。
示例性的，计算机设备例如可包括手机、平板电脑、笔记本电脑以及个人数字助理等移动终端设备，也可包括台式电脑等其他设备。另外，本发明实施例可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，计算复杂度得到了有效控制，因此，可广泛适用于移动计算平台和其他计算资源受限的平台，也即，计算机设备可以是计算资源有限的设备，如低端(如硬件配置较低)手机以及安防设备等等，经试验表明，可达到毫秒级的运行速度。
本发明实施例提供的方案可应用于各种应用场景中，如涉及用户视线方向追踪、眼球追踪以及其他需要使用到眼球位置相关信息的应用中。可选的，可应用在视频直播或短视频应用中的特效、贴纸、虚拟人偶以及3D表情等功能中，还可应用在安防设备中用来辅助虹膜人脸识别和活体检测等。
示例性的，目标眼部图像可以是包含人眼的图像。人眼区域在整个目标眼部图像中所占比例不限，目标眼部图像中可包含人脸五官中其他部位，也可仅包含人眼，本发明实施例不做限定。
可选的，对于一些应用场景来说，如摄像头等图像采集装置所采集的原始图像中一般会包含整个人脸，还可能包含其他如人物背景等图像信息，因此，可以对原始图像进行进一步的裁剪等操作，得到目标眼部图像，以减少运算量。
步骤102、将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型。
本发明实施例中所采用的用于进行眼球检测的眼球检测模型具体可以是包含可逆残差网络的卷积神经网络模型。现有技术中的眼球检测模型中一般使用较多层的卷积网络，计算复杂度非常高，无法再计算资源有限的设备上使用，并且，由于计算复杂度高，计算速度也受到很大影响，计算效率低，影响眼球检测的实时性。为了降低计算复杂度，本发明实施例将可逆残差网络应用于眼球检测模型中，可在模型中设置一个或多个基于可逆残差网络的模块，可以在保证精度的同时提高计算效率。其中，可逆残差网络在眼球检测模型中的具体位置、可逆残差网络的具体数量、以及可逆残差网络中的具体参数可根据实际应用和场景进行设置，本发明实施例不做具体限定。另外，眼球检测模型中还可包括卷积层、池化层以及全连接层等，具体结构本发明实施例也不做限定，可通过重新组合和设计卷积层来平衡神经网络的准确性和复杂度，在基本保持准确性的前提下降低网络的复杂度。
示例性的，可根据实际需求确定眼部检测模型对应的网络结构，得到眼部检测训练模型，并利用训练数据对眼部检测训练模型进行训练，优化眼部检测训练模型中各参数的取值，进而得到训练好的眼球检测模型，也即本发明实施例中的预先训练的眼球检测模型。
步骤103、根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
示例性的，目标眼部图像中的眼球关键点例如可包括虹膜周边的点，还可包括瞳孔中心点。其中，眼球关键点的具体数量不做限定，例如20个，可包括虹膜周边的19个点和瞳孔中心点。
目标眼部图像中的眼球关键点的位置信息可包括眼球关键点的与位置相关的信息，如眼球关键点的坐标信息，又如眼球关键点的可见性信息等等。其中，坐标信息可以包括眼球关键点在目标眼部图像中的平面坐标值，可见性信息可包括关键点是否被眼皮遮挡。图2为本发明实施例提供的一种眼球关键点分布示意图，如图所示，共标记出了20个关键点，其中编号为11到17的点由于被眼皮遮挡，可见性信息为不可见点。
示例性的，可根据位置信息包含的具体内容对用于模型训练的训练数据进行标记。例如，可选取预设数量的眼部图像，对眼部图像中的关键点坐标以及可见性等进行标记，得到训练眼部图像，用于模型训练，其中预设数量可根据模型精度以及准确度等实际需求设定，一般为上万等级，如60000。
本发明实施例中提供的眼球检测方法，获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。通过采用上述技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。
图3为本发明实施例提供的又一种眼球检测方法的流程示意图，在上述各可选实施例基础上，对获取待检测的目标眼部图像进行优化。
示例性的，所述获取待检测的目标眼部图像，可包括：采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息；根据所述眼角位置信息截取双眼图像；根据所述双眼图像确定目标眼部图像。这样设置的好处在于，可进一步减少运算量，提升检测效率。其中，双眼图像可以是同时包含左眼和右眼的图像，双眼图像也可以是分别包含左眼和右眼的两个图像。可选的，所述根据所述眼角位置信息截取双眼图像，包括：根据所述眼角位置信息分别截取左眼图像和右眼图像。这样设置的好处在于，有利于针对左眼和右眼进行有针对性的检测，并可有效控制眼球检测模型的规模。
可选的，根据所述双眼图像确定目标眼部图像包括：将所述双眼图像缩小调整至预设尺寸，得到目标眼部图像。这样设置的好处在于，可进一步控制计算量。一般的，输入图片，即待检测图像，可能尺寸较大，尤其是一些高清图像，若直接采用截取的双眼图像作为目标眼部图像输入至眼球检测模型中，会带来较大的计算负担，而且对准确度起到提升的作用有限，可以在保证准确度的情况下降低尺寸，得到预设尺寸。其中，预设尺寸可以根据实际需求设置，双眼图像的类型不同，对应的预设尺寸不同。以双眼图像为同时包含左眼和右眼的图像为例，预设尺寸可以是30像素*90像素；以双眼图像包含左眼图像和右眼图像为例，预设尺寸可以是30像素*30像素。
可选的，该方法包括：
步骤301、采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息。
示例性的，待检测图像可以是包含人脸的图像，例如可以来源于视频直播图像以及监控录像中的图像等，具体来源不做限定。预设人脸检测方法可根据实际情况进行选择，例如SIFT方法等。其中，眼角位置信息可包括左眼的两个内眼角以及右眼的两个内眼角在待检测图像中的具体位置信息，如坐标信息。
步骤302、根据眼角位置信息分别截取左眼图像和右眼图像。
示例性的，以左眼图像为例，可以左眼的两个内眼角对应的两点之间的距离为一个边长构建一个矩形的裁剪框。可选的，为了确保这个框能将整个眼睛包含进去，可以对矩形框做预设比例的向外扩展，预设比例可根据实际需求设置。例如，两个内眼角对应的两点距离为L，预设比例为k，矩形为正方形，那么正方形的边长为kL，正方形裁剪框可以以两个内眼角连线的中点为中心。
示例性的，根据所述眼角位置信息分别截取左眼图像和右眼图像，可包括：根据当前眼睛对应的眼角位置信息确定内眼角点的相对位置，其中，所述当前眼睛包括左眼和右眼；根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线；截取当前眼睛图像。这样设置的好处在于，由于人头部姿势的不同以及拍摄角度的不同，可能导致两内眼角点连线并未处于同一水平线，将待检测图像进行旋转后，可以实现将内眼角点调整为处于同一水平线，这样截取得到的左眼图像和右眼图像更加标准，保证输入到网络的图片变化少，有大致相同的布局，进而方便眼部检测模型快速准确地进行关键点定位。
进一步的，所述根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线，包括：根据所述相对位置计算所述内眼角点连线的中心点；计算通过所述中心点的水平线与所述内眼角点连线的夹角；根据所述夹角确定旋转矩阵；基于所述旋转矩阵对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线。这样设置的好处在于，能够更加精准地对待检测图像进行旋转。
可选的，眼球检测模型对应的训练数据包括经过随机扰动处理和随机旋转处理的训练眼部图像。这样设置的好处在于，可以提高模型的鲁棒性。其中，随机旋转处理可以针对裁剪框进行。例如，对裁剪框进行一定概率的随机角度旋转，随机角度的范围可进行预设，例如1度到5度。
步骤303、将左眼图像和右眼图像分别缩小调整至预设尺寸，得到目标眼部图像。
示例性的，将左眼图像和右眼图像分别缩小调整至30*30大小，得到目标左眼图像和目标右眼图像。
步骤304、将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型。
步骤305、根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的坐标信息和可见性信息。
若在进行眼部图像截取前对待检测图像进行了旋转操作，那么可选的，所述目标眼部图像中的眼球关键点的位置信息包括所述眼球关键点在所述待检测图像中的坐标信息；所述根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息，包括：根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的相对位置信息；基于所述旋转矩阵对所述相对位置信息进行反向旋转处理，得到所述目标眼部图像中的眼球关键点在所述待检测图像中的坐标信息。这样设置的好处在于，可以准确计算出眼球关键点在待检测图像中的坐标信息，为后续的如特效以及贴纸等其他相关应用提供依据。其中，基于所述旋转矩阵对所述相对位置信息进行反向旋转处理例如可包括：根据旋转矩阵计算反向旋转矩阵，计算反向旋转矩阵与相位位置信息中包含的坐标信息的乘积，得到目标眼部图像中的眼球关键点在所述待检测图像中的坐标信息，反向旋转矩阵为旋转矩阵的逆矩阵。
本发明实施例提供的眼球检测方法，采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息，根据眼角位置信息截取左眼图像和右眼图像，并进行尺寸缩小处理，进而确定对应的目标左眼图像和右眼图像，可以有效减少运算量，有效控制眼球检测模型的规模，提升检测效率。
图4为本发明实施例提供的另一种眼球检测方法的流程示意图，在上述各可选实施例基础上进行优化。
示例性的，所述将所述目标眼部图像输入至预先训练的眼球检测模型中，根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息，包括：将第一目标眼部图像输入至预先训练的眼球检测模型中，根据所述眼球检测模型的第一输出结果确定所述第一目标眼部图像中的眼球关键点的位置信息；对第二目标眼部图像进行水平翻转并输入至所述眼球检测模型中，根据所述眼球检测模型的第二输出结果确定所述第二目标眼部图像中的眼球关键点的中间位置信息，对所述中间位置信息进行水平翻转处理，得到所述第二目标眼部图像中的眼球关键点的位置信息；其中，所述第一目标眼部图像为目标左眼图像，所述第二目标眼部图像为目标右眼图像；或者，所述第一目标眼部图像为目标右眼图像，所述第二目标眼部图像为目标左眼图像。这样设置的好处在于，利用左右眼的对称关系，只需要针对其中一只眼睛训练一个眼球检测模型，之后这个模型也可以用到另外一只眼睛眼上，即一个模型两用，而不用单独训练两个模型，提升模型的训练效率以及适用范围。
图5为本发明实施例提供的一种眼球检测流程示意图，可参照图5对本发明实施例进行进一步理解。
可选的，该方法包括：
步骤401、采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息。
步骤402、根据眼角位置信息分别截取左眼图像和右眼图像。
步骤403、将左眼图像和右眼图像分别缩小调整至预设尺寸，得到目标左眼图像和目标右眼图像。
示例性的，将左眼图像和右眼图像分别缩小调整至30*30像素大小，得到目标左眼图像和目标右眼图像。
步骤404、将目标右眼图像输入至预先训练的眼球检测模型中，根据眼球检测模型的第一输出结果确定目标右眼图像中的眼球关键点的位置信息。
示例性的，眼球检测模型包含多个可逆残差网络，还包括卷积层、池化层和全连接层。具体的，从输入至输出方向上包含卷积层、池化层、可逆残差网络、池化层、可逆残差网络、池化层、可逆残差网络和全连接层。其中，全连接层可以包括至少两个，根据第一全连接层的输出确定所述目标眼部图像中的眼球关键点的坐标信息，根据承接第二全连接层的预设激活函数的输出确定所述目标眼部图像中的眼球关键点的可见性信息。其中，预设激活函数例如可以是sigmoid函数。
具体的，图6为本发明实施例提供的一种眼球检测模型网络结构示意图，如图6所示，眼球检测模型可选的一种网络结构可包括顺次连接的卷积层、极大池化层、可逆残差模块(可逆残差网络)、极大池化层、可逆残差模块、极大池化层、可逆残差模块、可逆残差模块和第三全连接层(C64)，第三全连接层连接第一全连接层(C40)和第二全连接层(C20)。
本发明实施例中，可以将模型的输入图像尺寸降低到30个像素，即30*30像素大小。图6中卷积层和全连接层中的C代表该层中的输出通道(channel)数目，比如3x3卷积C8表示当前层是一个3x3的卷积层输出8个特征图。极大值池化使用2x2池化。利用了可逆残差模块的结构来提升模型的准确性。图7为本发明实施例提供的一种可逆残差网络结构示意图，如图7所示，展示了一个输入特征channel数目为m，扩张参数为k，输出特征channel数目为n的可逆残差模块，图6中可逆残差模块中的值分别代表m、k和n，如(8,8,1)表示该可逆残差模块的输入特征channel数目为8，扩张参数为8，输出特征channel数目为1，每个可逆残差模块中的值可根据实际需求设置。在图6所示的网络结构中，每一个卷积层后面还可以设置一个批标准化(Batch Normalization，BN)归一化层和一个线性整流函数(RectifiedLinear Unit,ReLU)激活层。其中，BN归一化层的设置可以让训练的目标函数更好地收敛；ReLU激活层的设置可以增加网络的非线性性。图6中的全连接层C20会得到20个值，紧跟其后的sigmoid激活函数对20个值独立操作，输出20个0到1之间的数，可以作为对应的关键点是否可见概率，0为完全不可见，1为完全可见。
步骤405、对目标左眼图像进行水平翻转并输入至眼球检测模型中，根据眼球检测模型的第二输出结果确定目标左眼图像中的眼球关键点的中间位置信息，对中间位置信息进行水平翻转处理，得到目标左眼图像中的眼球关键点的位置信息。
可选的，本发明实施例中，可以将目标右眼图像和目标左眼图像分别输入网络，也可以将目标右眼图像以及水平翻转后的目标左眼图像合在一起输入网络，具体不做限定。
步骤406、汇总目标右眼图像中的眼球关键点的位置信息和目标左眼图像中的眼球关键点的位置信息，得到眼球关键点检测结果。
本发明实施例提供的眼球检测方法，针对一只眼睛进行眼球检测模型的训练，在眼球检测时，对另外一只眼睛进行水平翻转，达到同一个模型对两只眼睛进行检测的目的，提升模型的适用范围。另外，本发明实施例中通过对眼球检测模型的网络结构进行进一步优化，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。
图8为本发明实施例提供的一种眼球检测装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行眼球检测方法来进行眼球检测。如图8所示，该装置包括：
目标眼部图像获取模块801，用于获取待检测的目标眼部图像；
图像输入模块802，用于将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
位置信息确定模块803，用于根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
本发明实施例中提供的眼球检测装置，获取待检测的目标眼部图像，将目标眼部图像输入至预先训练的眼球检测模型中，其中，眼球检测模型为包含可逆残差网络的卷积神经网络模型，根据眼球检测模型的输出结果确定目标眼部图像中的眼球关键点的位置信息。通过采用上述技术方案，由于预先训练的眼球检测模型为包含可逆残差网络的卷积神经网络模型，可以在保证眼球检测精度的同时有效提高眼球检测的计算效率，进而快速得到眼球检测结果，提升眼球检测相关应用的响应速度。
本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的眼球检测装置。图9为本发明实施例提供的一种计算机设备的结构框图。计算机设备900包括存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序，所述处理器902执行所述计算机程序时实现本发明实施例提供的眼球检测方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的眼球检测方法。
上述实施例中提供的眼球检测装置、设备以及存储介质可执行本发明任意实施例所提供的眼球检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的眼球检测方法。
注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。
Claims (13)
1.一种眼球检测方法，其特征在于，包括：
获取待检测的目标眼部图像；
将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述眼球关键点的位置信息包括眼球关键点的坐标信息和/或眼球关键点的可见性信息。
3.根据权利要求1所述的方法，其特征在于，所述获取待检测的目标眼部图像，包括：
采用预设人脸检测方法对待检测图像进行检测，以确定眼角位置信息；
根据所述眼角位置信息截取双眼图像；
根据所述双眼图像确定目标眼部图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述眼角位置信息截取双眼图像，包括：
根据所述眼角位置信息分别截取左眼图像和右眼图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述眼角位置信息分别截取左眼图像和右眼图像，包括：
根据当前眼睛对应的眼角位置信息确定内眼角点的相对位置，其中，所述当前眼睛包括左眼和右眼；
根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线；
截取当前眼睛图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述相对位置对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线，包括：
根据所述相对位置计算所述内眼角点连线的中心点；
计算通过所述中心点的水平线与所述内眼角点连线的夹角；
根据所述夹角确定旋转矩阵；
基于所述旋转矩阵对所述待检测图像进行旋转，以使所述内眼角点处于同一水平线。
7.根据权利要求6所述的方法，其特征在于，所述目标眼部图像中的眼球关键点的位置信息包括所述眼球关键点在所述待检测图像中的坐标信息；
所述根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息，包括：
根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的相对位置信息；
基于所述旋转矩阵对所述相对位置信息进行反向旋转处理，得到所述目标眼部图像中的眼球关键点在所述待检测图像中的坐标信息。
8.根据权利要求3所述的方法，其特征在于，所述根据所述双眼图像确定目标眼部图像，包括：
将所述双眼图像缩小调整至预设尺寸，得到目标眼部图像。
9.根据权利要求4所述的方法，其特征在于，所述将所述目标眼部图像输入至预先训练的眼球检测模型中，根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息，包括：
将第一目标眼部图像输入至预先训练的眼球检测模型中，根据所述眼球检测模型的第一输出结果确定所述第一目标眼部图像中的眼球关键点的位置信息；
对第二目标眼部图像进行水平翻转并输入至所述眼球检测模型中，根据所述眼球检测模型的第二输出结果确定所述第二目标眼部图像中的眼球关键点的中间位置信息，对所述中间位置信息进行水平翻转处理，得到所述第二目标眼部图像中的眼球关键点的位置信息；
其中，所述第一目标眼部图像为目标左眼图像，所述第二目标眼部图像为目标右眼图像；或者，所述第一目标眼部图像为目标右眼图像，所述第二目标眼部图像为目标左眼图像。
10.根据权利要求1所述的方法，其特征在于，所述眼球检测模型中包含至少两个全连接层，根据第一全连接层的输出确定所述目标眼部图像中的眼球关键点的坐标信息，根据承接第二全连接层的预设激活函数的输出确定所述目标眼部图像中的眼球关键点的可见性信息。
11.一种眼球检测装置，其特征在于，包括：
目标眼部图像获取模块，用于获取待检测的目标眼部图像；
图像输入模块，用于将所述目标眼部图像输入至预先训练的眼球检测模型中，其中，所述眼球检测模型为包含可逆残差网络的卷积神经网络模型；
位置信息确定模块，用于根据所述眼球检测模型的输出结果确定所述目标眼部图像中的眼球关键点的位置信息。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010261001.7A CN111476151B (zh) | 2020-04-03 | 2020-04-03 | 眼球检测方法、装置、设备及存储介质 |
| PCT/CN2021/085237 WO2021197466A1 (zh) | 2020-04-03 | 2021-04-02 | 眼球检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010261001.7A CN111476151B (zh) | 2020-04-03 | 2020-04-03 | 眼球检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476151A true CN111476151A (zh) | 2020-07-31 |
| CN111476151B CN111476151B (zh) | 2023-02-03 |
Family
ID=71750560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010261001.7A Active CN111476151B (zh) | 2020-04-03 | 2020-04-03 | 眼球检测方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111476151B (zh) |
| WO (1) | WO2021197466A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021197466A1 (zh) * | 2020-04-03 | 2021-10-07 | 百果园技术(新加坡)有限公司 | 眼球检测方法、装置、设备及存储介质 |
| CN113591815A (zh) * | 2021-09-29 | 2021-11-02 | 北京万里红科技有限公司 | 生成眼角识别模型的方法及识别眼部图像中眼角的方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578753B (zh) * | 2022-09-23 | 2023-05-05 | 中国科学院半导体研究所 | 人体关键点检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229301A (zh) * | 2017-11-03 | 2018-06-29 | 北京市商汤科技开发有限公司 | 眼睑线检测方法、装置和电子设备 |
| CN108229293A (zh) * | 2017-08-09 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
| US20190377409A1 (en) * | 2018-06-11 | 2019-12-12 | Fotonation Limited | Neural network image processing apparatus |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10185891B1 (en) * | 2016-07-08 | 2019-01-22 | Gopro, Inc. | Systems and methods for compact convolutional neural networks |
| CN108009531B (zh) * | 2017-12-28 | 2022-01-07 | 北京工业大学 | 一种多策略防欺诈的人脸识别方法 |
| CN108509894A (zh) * | 2018-03-28 | 2018-09-07 | 北京市商汤科技开发有限公司 | 人脸检测方法及装置 |
| CN110096968B (zh) * | 2019-04-10 | 2023-02-07 | 西安电子科技大学 | 一种基于深度模型优化的超高速静态手势识别方法 |
| CN111476151B (zh) * | 2020-04-03 | 2023-02-03 | 广州市百果园信息技术有限公司 | 眼球检测方法、装置、设备及存储介质 |
-
2020
- 2020-04-03 CN CN202010261001.7A patent/CN111476151B/zh active Active
-
2021
- 2021-04-02 WO PCT/CN2021/085237 patent/WO2021197466A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229293A (zh) * | 2017-08-09 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN108229301A (zh) * | 2017-11-03 | 2018-06-29 | 北京市商汤科技开发有限公司 | 眼睑线检测方法、装置和电子设备 |
| US20190377409A1 (en) * | 2018-06-11 | 2019-12-12 | Fotonation Limited | Neural network image processing apparatus |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021197466A1 (zh) * | 2020-04-03 | 2021-10-07 | 百果园技术(新加坡)有限公司 | 眼球检测方法、装置、设备及存储介质 |
| CN113591815A (zh) * | 2021-09-29 | 2021-11-02 | 北京万里红科技有限公司 | 生成眼角识别模型的方法及识别眼部图像中眼角的方法 |
| CN113591815B (zh) * | 2021-09-29 | 2021-12-21 | 北京万里红科技有限公司 | 生成眼角识别模型的方法及识别眼部图像中眼角的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476151B (zh) | 2023-02-03 |
| WO2021197466A1 (zh) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| US20210343041A1 (en) | Method and apparatus for obtaining position of target, computer device, and storage medium | |
| US20220076000A1 (en) | Image Processing Method And Apparatus | |
| CN111476151B (zh) | 眼球检测方法、装置、设备及存储介质 | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| JP7476428B2 (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| US9264702B2 (en) | Automatic calibration of scene camera for optical see-through head mounted display | |
| CN106529409B (zh) | 一种基于头部姿态的眼睛注视视角测定方法 | |
| US20190251675A1 (en) | Image processing method, image processing device and storage medium | |
| US11074430B2 (en) | Directional assistance for centering a face in a camera field of view | |
| US11778403B2 (en) | Personalized HRTFs via optical capture | |
| US20230132407A1 (en) | Method and device of video virtual background image processing and computer apparatus | |
| US11816880B2 (en) | Face recognition method and apparatus, computer device, and storage medium | |
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN111339928B (zh) | 眼神调节方法、装置及存储介质 | |
| CN111091075B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN108717704B (zh) | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 | |
| WO2021135639A1 (zh) | 活体检测方法及装置 | |
| JP2023545190A (ja) | 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム | |
| US10929982B2 (en) | Face pose correction based on depth information | |
| CN110555426A (zh) | 视线检测方法、装置、设备及存储介质 | |
| WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| WO2019075656A1 (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN112183200B (zh) | 一种基于视频图像的眼动追踪方法和系统 | |
| WO2023202285A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: 31a, 15th floor, building 30, maple commercial city, bangrang Road, Brazil Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd. Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000 Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |