CN109086713A - 眼部识别方法、装置、终端及存储介质 - Google Patents
眼部识别方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN109086713A CN109086713A CN201810847632.XA CN201810847632A CN109086713A CN 109086713 A CN109086713 A CN 109086713A CN 201810847632 A CN201810847632 A CN 201810847632A CN 109086713 A CN109086713 A CN 109086713A
- Authority
- CN
- China
- Prior art keywords
- point
- sample
- eye
- region
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种眼部识别方法、装置、设备及存储介质，属于图形处理技术领域。所述方法包括：获取目标图像；调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，眼部特征点中包括内外眼角点、边界点以及中心点；且内外眼角点、边界点和中心点符合预设直线关系；根据边界点的边界坐标，在目标图像中确定出虹膜区域。本申请通过调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点坐标，由于同时定位符合预设直线关系的内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此提高了定位瞳孔区域的准确度，从而提高了眼部识别的准确度。
Description
技术领域
本申请涉及图形处理技术领域，特别涉及一种眼部识别方法、装置、终端及存储介质。
背景技术
面部识别是基于人或动物的面部的特征区域进行识别的一种生物识别技术，面部识别技术中，对眼部区域的识别可应用于眼部追踪、视线追踪、身份识别、面部美化等领域。其中，眼部区域包括虹膜区域和瞳孔区域。
相关技术中，眼部识别方法包括：终端在获取到目标图像后，通过对目标图像进行识别得到用于标注目标图像中眼部区域的眼部特征点的坐标，根据眼部特征点的坐标在目标图像中确定眼部区域。其中，眼部区域中包括瞳孔区域，眼部特征点中包括用于标注瞳孔区域的中心点。
在某些情况下，例如当目标图像中虹膜区域颜色较深时，虹膜区域内的瞳孔区域的梯度信息并不明显，终端难以根据梯度信息对位于虹膜区域内的瞳孔区域进行定位，导致定位得到的眼部特征点中的中心点的坐标在某些情况下并不准确。
发明内容
本申请实施例提供了一种眼部识别方法、装置、设备及存储介质，可以用以解决相关技术中的眼部识别方法在某些情况下并不准确的问题。所述技术方案如下：
一方面，本申请实施例提供了一种眼部识别方法，所述方法包括：
获取目标图像，所述目标图像中包括至少一个眼部区域，所述眼部区域中包括虹膜区域和瞳孔区域；
调用机器学习模型对所述目标图像进行处理，得到所述目标图像的眼部特征点的坐标，所述眼部特征点中包括内外眼角点、用于标注所述虹膜区域的边界点、用于标注所述瞳孔区域的中心点；且所述内外眼角点、所述边界点和所述中心点符合预设直线关系；
根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域。
一方面，本申请实施例提供了一种机器学习模型的训练方法，所述方法包括：
获取至少一组样本图像；
获取所述样本图像中的样本眼部特征点的标定结果，得到样本图像和所述样本图像对应的样本眼部特征点组成的样本图像数据组，所述标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点；
将所述样本图像输入原始机器学习模型，得到训练结果；
对于每组所述样本图像数据组，将所述训练结果与所述样本眼部特征点的坐标进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本眼部特征点的坐标之间的误差；
根据至少一组所述样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型，所述机器学习模型用于识别目标图像中的内外眼角点、用于标注所述虹膜区域的边界点和用于标注所述瞳孔区域的中心点。
一方面，本申请实施例提供了一种眼部识别装置，所述装置包括：
获取模块，用于获取目标图像，所述目标图像中包括眼部区域，所述眼部区域中包括虹膜区域和瞳孔区域；
处理模块，用于调用机器学习模型对所述目标图像进行处理，得到所述目标图像的眼部特征点的坐标，所述眼部特征点中包括内外眼角点、用于标注所述虹膜区域的边界点、用于标注所述瞳孔区域的中心点；且所述内外眼角点、所述边界点和所述中心点符合预设直线关系；根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域。
一方面，本申请实施例提供了一种机器学习模型的训练装置，所述装置包括：
获取模块，用于获取至少一组样本图像；获取所述样本图像中的样本眼部特征点的标定结果，得到样本图像和所述样本图像对应的样本眼部特征点组成的样本图像数据组，所述标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点；
处理模块，用于将所述样本图像输入原始机器学习模型，得到训练结果；对于每组所述样本图像数据组，将所述训练结果与所述样本眼部特征点的坐标进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本眼部特征点的坐标之间的误差；根据至少一组所述样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型，所述机器学习模型用于识别目标图像中的内外眼角点、用于标注所述虹膜区域的边界点和用于标注所述瞳孔区域的中心点。
一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的眼部识别方法。
一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的机器学习模型的训练方法。
一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的眼部识别方法。
一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的机器学习模型的训练方法。
本申请实施例提供的技术方案带来的有益效果至少为：
通过调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点坐标，眼部特征点坐标中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，由于同时定位符合预设直线关系内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此解决了相关技术在某些情况下根据梯度信息难以对位于虹膜区域内的瞳孔区域进行定位的问题，提高了定位瞳孔区域的准确度，从而提高了眼部识别的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的眼部识别方法的实施环境图；
图2是本申请一个示例性实施例提供的眼部识别方法的流程图；
图3是本申请一个示例性实施例提供的眼部识别界面的检测区域示意图；
图4是眼睛区域的示意图；
图5是本申请一个示例性实施例提供的眼部识别方法的流程图；
图6是本申请一个示例性实施例提供的卷积神经网络的结构示意图；
图7是本申请一个示例性实施例提供的目标图像中的眼部特征点示意图；
图8是本申请一个示例性实施例提供的机器学习模型的训练方法步骤图；
图9是内边界点在眼部区域外的示意图；
图10是本申请一个示例性实施例提供的眼部识别装置的结构框图；
图11是本申请一个示例性实施例提供的机器学习模型的训练装置的结构框图；
图12是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行介绍：
机器学习模型：是一种运算模型，由大量的节点(或称神经元)之间相互联接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。样本输入机器学习模型的节点后，通过每个节点输出一个输出结果，该输出结果作为下一个节点的输入样本，机器学习模型通过样本最终输出结果对每个节点的策略函数和权重进行调整，该过程被称为训练。
卷积神经网络：(Convolutional Neural Network，CNN)：是一种机器学习模型，包括至少两层级联的卷积层、每一层卷积层之后的池化层以及顶端的全连接层(FullyConnected Layers，FC)组成。
眼部特征点定位：是电子设备通过算法获取目标图像中的眼部特征点的坐标的方法。其中，眼部特征点是用于标注目标图像中的眼部区域的像素点，例如，标注眼部区域内眼角的内眼角点、标注眼部区域外眼角的外眼角点、标注眼部区域中虹膜区域的边界点、标注眼部区域中瞳孔区域的中心点等。
瞳孔：是动物或人眼睛内虹膜中心的小圆孔，为光线进入眼睛的通道。虹膜上瞳孔括约肌的收缩可以使瞳孔缩小，瞳孔开大肌的收缩使瞳孔散大，瞳孔的开大与缩小控制进入瞳孔的光量。
虹膜：是眼球前部含色素的环形薄膜，其位于瞳孔外侧，呈圆形。通常虹膜所在的圆的圆心位置是瞳孔的中心。
面部美化：是终端识别得到目标图像中的特征区域后，对特征区域中的图像进行处理，得到美化后的图标图像的技术。例如，终端对识别得到的目标图像中的面部皮肤区域进行磨皮处理、减淡处理、提亮处理等；或，终端对识别得到的目标图像中的鼻子区域进行伸长处理、缩短鼻翼处理等。
本申请实施例中的眼部识别方法可应用于对目标图像的眼部区域进行识别的场景中，具体可应用于终端对目标图像中的虹膜区域进行美化的场景，或，终端对用户的瞳孔进行视线追踪的场景，或，终端对视频中的目标进行眼部追踪的场景，当然也适用于其它需要眼部识别的场景，本申请实施例不做限定。
对目标图像中的虹膜区域进行美化的场景
用户通过终端对目标图像进行面部美化时，通常需要对虹膜区域进行美化。例如，相关技术中，用户可通过终端的摄像头进行自拍得到一张目标图像后，启动面部美化的应用程序对目标图像进行美化。应用程序对目标图像进行识别得到用于标注目标图像中眼部区域的眼部特征点的坐标，根据眼部特征点的坐标在目标图像中确定眼部区域，对眼部区域进行美化处理。由于相关技术中应用程序识别出的眼部特征点中通常只包括眼部区域的轮廓点和眼部区域中瞳孔区域的中心点，因此应用程序难以对眼部区域中的虹膜区域定位准确，导致对目标图像中的虹膜区域的美化效果较差。
本申请实施例中，面部美化的应用程序通过调用机器学习模型对目标图像处理，得到包括用于标注虹膜区域的边界点的眼部特征点的坐标，根据边界点的边界坐标确定目标图像中的虹膜区域，从而能够准确地对目标图像中的虹膜区域进行定位，进而对定位得到的虹膜区域进行美化，提升了面部美化的应用程序的美化效果。
对用户的瞳孔进行视线追踪的场景
用户可通过终端实现视线追踪，例如，终端通过设置于本地的摄像头拍摄得到用户的视频，将视频中的每一帧图像作为目标图像，对目标图像进行识别得到用于标注目标图像中眼部区域的眼部特征点的坐标，根据眼部特征点的坐标在目标图像中确定瞳孔区域，通过对瞳孔区域的识别实现对用户的瞳孔进行视线追踪。比如当终端根据识别得到的每一帧目标图像中的瞳孔区域，判断用户的瞳孔向上运动，从而根据用户的瞳孔的向上运动对终端显示屏中的显示界面做向上翻动的处理。由于相关技术中终端识别出的眼部特征点中通常只包括眼部区域的轮廓点和眼部区域中瞳孔区域的中心点，当目标图像中虹膜区域颜色较深时，虹膜区域内的瞳孔区域的梯度信息并不明显，终端难以根据梯度信息对位于虹膜区域内的瞳孔区域进行定位，因此定位得到的瞳孔区域并不准确，从而导致终端的视线追踪效果较差。
本申请实施例中，终端通过调用机器学习模型对目标图像处理，得到包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点的眼部特征点的坐标，由于同时定位符合预设直线关系的内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此解决了相关技术在某些情况下根据梯度信息难以对位于虹膜区域内的瞳孔区域进行定位的问题，提高了定位瞳孔区域的准确度，从而提高了视线追踪的准确度。
对视频中的目标进行眼部追踪的场景
终端通过设置于本地的摄像头拍摄得到用户的视频，将视频中的每一帧图像作为目标图像，对目标图像进行识别得到用于标注目标图像中眼部区域的眼部特征点的坐标，根据得到的每一帧目标图像的眼部特征点的坐标，在每一帧目标图像上显示眼部特征点，用户可通过每一帧目标图像的眼部特征点确认目标图像中的眼部区域，实现眼部追踪。例如，在启动终端的摄像应用程序后，在拍摄界面显示用户的眼部区域的眼部特征点，或，在监控录像中显示目标人物的眼部区域的眼部特征点。由于相关技术中终端识别出的眼部特征点中通常只包括眼部区域的轮廓点和眼部区域中瞳孔区域的中心点，当目标图像中虹膜区域颜色较深时，虹膜区域内的瞳孔区域的梯度信息并不明显，终端难以根据梯度信息对位于虹膜区域内的瞳孔区域进行定位，因此定位得到的瞳孔区域并不准确；同时，只显示眼部区域的轮廓点和瞳孔区域的中心点，导致眼部追踪的精度较低。
本申请实施例中，终端通过调用机器学习模型对目标图像处理，得到包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点的眼部特征点的坐标，根据边界点坐标在目标图像中确定瞳孔区域，在每一帧目标图像中显示眼部特征点。由于同时定位符合预设直线关系的内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此解决了相关技术在某些情况下根据梯度信息难以对位于虹膜区域内的瞳孔区域进行定位的问题，提高了定位瞳孔区域的准确度，从而提高了定位瞳孔区域的准确度；同时，由于显示的眼部特征点包括内外眼角点、边界点以及中心点，提高了眼部追踪的精度。
请参考图1，其示出了本申请一个示例性实施例提供的眼部识别方法的实施环境图。如图1所示，该实施环境包括第一终端110、第二终端120、一个或多个服务器130以及有线或无线网络140。
在一个可选的应用场景中，第一终端110通过本地的摄像头采集到目标图像，该目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域，该目标图像可以是一张图像，也可以是视频中的一帧图像；第一终端110通过调用本地的机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，其中，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，且内外眼角点、边界点和中心点符合预设直线关系；第一终端110通过眼部特征点的坐标，在目标图像中确定出虹膜区域，对虹膜区域进行美化处理，得到美化处理后的目标图像。
在得到美化处理后的目标图像后，第一终端110可通过有线或无线网络140将美化处理后的目标图像上传至服务器130，服务器130将美化后的目标图像存储在用户数据库中，第二终端120可通过有线或无线网络140从服务器130处获取美化后的目标图像。
其中，第一用户可通过第一终端110将美化后的目标图像通过社交应用程序发送至第二用户对应的第二终端120，服务器130是社交应用程序对应的服务器；或，第一用户通过第一终端110将美化后的目标图像通过社交应用程序上传至个人空间，第二用户通过第二终端120通过社交应用程序浏览第一用户的个人空间时获取美化后的目标图像，服务器130是社交应用程序对应的服务器；或，第一用户通过第一终端110登录社交网页，将将美化后的目标图像上传至社交网页上的个人空间，第二用户通过第二终端120浏览社交网页上的第一用户的个人空间时获取美化后的目标图像，服务器130是社交网页对应的服务器。
在另一个可选的应用场景中，第一终端110通过本地的摄像头采集到目标图像，该目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域，该目标图像可以是一张图像，也可以是视频中的一帧图像；第一终端110通过调用本地的机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，其中，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，且内外眼角点、边界点和中心点符合预设直线关系；第一终端110通过有线或无线网络140将眼部特征点的坐标发送至服务器130；服务器130根据眼部特征点的坐标与标准眼部特征点的坐标进行匹配，当匹配通过时，允许第一终端110访问服务器130的用户数据库。
在另一个可选的应用场景中，第一终端110通过本地的摄像头采集到视频，将视频中的每一帧图像作为目标图像，该目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域；第一终端110通过调用本地的机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，其中，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，且内外眼角点、边界点和中心点符合预设直线关系；第一终端110通过有线或无线网络140将目标图像以及眼部特征点的坐标发送至服务器130；服务器130通过在每一帧目标图像上显示的眼部特征点实现眼部追踪；或，第二终端120通过有线或无线网络140访问服务器130，得到每一帧目标图像以及眼部特征点的坐标，通过每一帧目标图像中眼部特征点的坐标，在目标图像上显示眼部特征点，实现眼部追踪。
可选地，第一终端110可以泛指多个终端中的一个，第二终端120可以泛指多个终端中的一个，本实施例仅以第一终端110和第二终端120来举例说明。第一终端110和第二终端120的设备类型相同或不同，该设备类型包括：智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机中的至少一种。以下实施例以终端包括智能手机来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
请参考图2，其示出了本申请一个示例性实施例提供的眼部识别方法的流程图。该方法可应用于图1中的第一终端110中，该方法包括：
步骤201，获取目标图像，目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域。
终端可通过开启本地的摄像头采集图像作为目标图像；或，终端通过开启本地的摄像头采集视频，将视频中的一帧图像作为目标图像；或，终端获取本地存储的一张图像作为目标图像。其中，目标图像中包括眼部区域，每个眼部区域包括虹膜区域和瞳孔区域。
可选的，终端在采集图像时，按照预设配置在该图像上生成用于眼部识别的目标检测区域，将目标检测区域的图像作为目标图像。
示例性的，如图3所示，终端110在启动眼部识别应用程序后，开启终端110的摄像头采集图像，在图像采集界面300中显示有目标检测区域301，眼部识别应用程序在通过摄像头采集到图像后，将采集到的图像中位于目标检测区域301中的图像作为目标图像100。
步骤202，调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点。
其中，机器学习模型用于表示基于样本图像数据组训练得到的图像中眼部区域的定位规律。样本图像数据组包括样本图像和所述样本图像对应的样本眼部特征点的坐标，样本图像中被标定的样本眼部特征点包括：样本内外眼角点、用于标注虹膜区域的样本边界点、用于标注瞳孔区域的样本中心点；且样本内外眼角点、样本边界点和样本中心点符合上述预设直线关系。
终端调用机器学习模型，将目标图像输入至机器学习模型中，机器学习模型包括至少两层级联的子模型集合，第一层子模型集合在对目标图像中进行特征提取后，得到第一局部特征区域，将第一局部特征区域输入至下一层子模型集合中，下一层子模型集合对第一局部特征区域进行二次特征提取，得到第二局部特征区域，将第二局部特征区域输入再下一层的子模型集合，……，以此类推，得到至少两层子模型集合中每一层子模型集合输出的局部特征区域，通过全连接层对局部特征区域进行识别，得到目标图像中的眼部特征点的坐标。其中，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点；内外眼角点、边界点和中心点符合预设直线关系。
由于内外眼角点、边界点和中心点符合预设直线关系，机器学习模型在内外眼角点、边界点以及中心点中可通过预设直线关系辅助对中心点的定位，提高了对中心点定位的准确度。
如图4所示，眼部区域400包括以下区域：虹膜区域401、瞳孔区域402、内眼角403、外眼角404、上眼皮区域405以及下眼皮区域406。其中，虹膜区域401近似圆形，虹膜401所在的参考圆的圆心位置与瞳孔区域402的中心位置接近，虹膜区域401的参考圆的半径被定义为虹膜半径；瞳孔区域402呈小圆孔的形状，其对应有瞳孔半径。
步骤203，根据边界点的边界坐标，在目标图像中确定出虹膜区域。
终端在获取到边界坐标后，即可在目标图像中确定出虹膜区域。示例性的，眼部特征点中还包括用于标注上眼皮区域的上眼皮点和用于标注下眼皮区域的下眼皮点，将上眼皮点、下眼皮点以及边界点围绕的区域确定为虹膜区域；或，终端确定上眼皮点组成的上眼皮线以及下眼皮点组成的下眼皮线，根据边界点和中心点确定虹膜区域的参考圆，将上眼皮线与上眼皮线之间的参考圆的区域确定为虹膜区域。
终端在确定出虹膜区域后，即可实现对虹膜区域的美化，对目标图像进行身份识别，或，对目标图像中的眼睛进行追踪。
综上所述，本申请实施例中，通过调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点坐标，眼部特征点坐标中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，由于同时定位符合预设直线关系内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此解决了相关技术在某些情况下根据梯度信息难以对位于虹膜区域内的瞳孔区域进行定位的问题，提高了定位瞳孔区域的准确度，从而提高了眼部识别的准确度。
请参考图5，其示出了本申请一个示例性实施例提供的眼部识别方法的流程图。该方法可应用于图1中的第一终端110中，该方法包括：
步骤501，获取目标图像，目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域。
终端获取目标图像的方法可参考图2实施例中的步骤201，在此不做赘述。
步骤502，调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标。
示例性的，以机器学习模型为卷积神经网络为例，如图6所示，卷积神经网络600包括至少两个级联的卷积层601以及全连接层603，每个卷积层601之后连接有池化层602。
其中，每个卷积层601通过一个卷积矩阵作为过滤器，当在过滤器中输入图像时，卷积层601把过滤器里面的权值和图像里对应的像素值相乘，把所有结果加和，得到一个加和值。然后重复这个过程，从左到右、从上到下卷积图像的每一个区域，每一步都可以得到一个值，得到的矩阵即为该图像经过卷积层601特征提取之后的特征区域。
池化层602的作用是简化卷积层里输出的信息，减少数据维度，降低计算开销，控制过拟合。
全连接层603用于将每个卷积层601和每个卷积层601之后的池化层602输出的特征图像综合之后进行分类，得到分类结果。
终端调用卷积神经网络600，将目标图像100输入至卷积神经网络600中，第一层卷积层在对目标图像中进行特征提取后，得到局部特征区域，由第一层池化层对特征提取后的局部特征区域进行池化处理，得到第一局部特征区域；将第一局部特征区域输入至下一层卷积层中，下一层卷积层对第一局部特征区域进行二次特征提取，得到二次特征提取后的局部特征区域，由第二层池化层对二次特征提取后的局部特征区域进行二次池化处理，得到第二局部特征区域，……，以此类推，得到目标图像经过每一层卷积层601和每一层卷积层601之后的池化层602的输出的局部特征区域。
全连接层603对局部特征区域进行识别，确定眼部区域对应的眼部特征区域，根据眼部特征区域得到眼部区域对应的眼部特征点的坐标。其中，眼部特征点中包括内眼角点、外眼角点、内边界点、外边界点以及中心点；内眼角点、内边界点和中心点符合第一直线关系，外眼角点、外边界点和中心点符合第二直线关系。
由于内眼角点、内边界点和中心点符合第一直线关系，外眼角点、外边界点和中心点符合第二直线关系，卷积神经网络600在对眼部特征点定位时，可根据上述预设直线关系对中心点进行辅助定位，解决了当颜色较深的虹膜区域与瞳孔区域的亮度接近时，瞳孔区域的梯度信息不明显所导致的对中心点定位不准的问题。
终端在获取到眼部特征点坐标后，进入步骤503a或步骤503b。
步骤503a，根据眼部特征点中上眼皮点的上眼皮坐标、下眼皮点的下眼皮坐标以及边界坐标，将上眼皮点、下眼皮点以及边界点环绕的区域确定为虹膜区域。
眼部特征点中还包括用于标注上眼皮区域的m个上眼皮点，以及用于标注下眼皮区域的n个下眼皮点，m和n为正整数。
示例性的，如图7所示，眼部区域700对应的眼部特征点包括用于标注虹膜区域的内边界点701、用于标注虹膜区域的外边界点702、用于标注瞳孔区域的中心点703、用于标注内眼角区域的内眼角点704，用于标注外眼角区域的外眼角点705，用于标注上眼皮区域的上眼皮点706以及用于标注下眼皮区域的下眼皮点707。其中，内边界点701、内眼角点704以及中心点703位于同一直线上；外边界点702、外眼角点705以及中心点703位于同一直线上。
机器学习模型处理目标图像得到眼部特征点后，确定得到每个眼部特征点的类型，例如，机器学习模型在得到位于瞳孔区域的中心位置附近的眼部特征点后，通过训练可确定该眼部特征点即为标注瞳孔区域的中心点703。同理，终端可得到上眼皮点的上眼皮坐标、下眼皮点的下眼皮坐标以及边界点的边界坐标，将上眼皮点、下眼皮点以及边界点环绕的区域确定为虹膜区域。
步骤504，对虹膜区域进行美化处理，得到虹膜美化后的目标图像。
终端在目标图像中确定虹膜区域后，可通过以下方式中的至少一种对虹膜区域进行美化处理：(1)终端增加虹膜区域的面积：通过增加虹膜区域所占据的面积，对虹膜区域进行放大处理达到美化虹膜区域的目的；(2)终端降低虹膜区域的亮度：通过降低虹膜区域的亮度，加深了虹膜区域的颜色达到美化虹膜区域的目的；(3)终端改变虹膜区域的颜色：通过改变虹膜区域的颜色对虹膜区域进行美瞳处理，达到美化虹膜区域的目的。
步骤503b，根据眼部特征点的坐标在目标图像上显示眼部特征点。
终端在获取到眼部特征点的坐标后，在目标图像上显示眼部特征点。由于眼部特征点中包括用于标注虹膜区域的边界点以及用于标注瞳孔图像的中心点，因此通过在目标图像上显示眼部特征点能够提高眼部追踪的精度。
综上所述，本申请实施例中，通过调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点坐标，眼部特征点坐标中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点，由于同时定位符合预设直线关系内外眼角点、边界点以及中心点能够辅助机器学习模型对中心点的定位，因此解决了相关技术在某些情况下根据梯度信息难以对位于虹膜区域内的瞳孔区域进行定位的问题，提高了定位瞳孔区域的准确度，从而提高了眼部识别的准确度。
可选的，本申请实施例中，根据眼部特征点中上眼皮点的上眼皮坐标、下眼皮点的下眼皮坐标以及边界坐标，将上眼皮点、下眼皮点以及边界点环绕的区域确定为虹膜区域，提高了确定目标图像中虹膜区域的准确度。
可选的，本申请实施例中，通过增加虹膜的面积；和/或；降低虹膜区域的亮度；和/或，改变虹膜区域的颜色对虹膜区域进行美化处理，提高了美化处理虹膜区域的准确度。
终端在调用机器学习模型之前，需要对机器学习模型进行训练，如图8所示，对机器学习模型的训练方法包括但不仅限于如下步骤：
步骤801，获取至少一组样本图像。
终端可通过人工输入的方式获取样本图像；或，终端自身采集样本图像。样本图像可以包括具有眼部区域的图像、不具有眼部区域的图像、以及眼部区域过大的图像、眼部区域过小的图像或模糊不清的图像。
步骤802，获取样本图像中的样本眼部特征点的标定结果，得到样本图像和样本图像对应的样本眼部特征点组成的样本图像数据组。
其中，标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点
示例性的，第一样本图像数据组包括样本图像1，以及样本图像1中的样本眼部特征点的坐标；第二样本图像数据组包括样本图像2，以及样本图像2中的样本眼部特征点的坐标，以此类推。
示例性的，终端通过以下方式获取标定结果：
步骤801a，终端在样本图像中的眼部区域标注样本内角点和样本外角点。可选的，终端标注眼部区域的轮廓的8个样本眼部特征点，包括3个样本上眼皮点、3个样本下眼皮点、1个样本内眼角点以及1个样本外眼角点。
步骤801b，终端获取覆盖样本图像中的虹膜区域的参考圆，将参考圆的圆心确定为样本中心点。示例性的，终端获取样本内角点和样本内角点之间的距离；将该距离的1/5至该距离的1/3的值作为参考圆的半径的取值范围，在该取值范围内调整参考圆，使得该参考圆将虹膜区域全部包含在内，将该圆的圆心作为瞳孔区域对应的样本中心点。
步骤801c，终端获取样本中心点与样本内角点的第一连线，以及样本中心点和样本外角点的第二连线。
步骤801d，终端将第一连线与参考圆的轮廓之间的交点确定为样本内边界点。
步骤801e，终端将第二连线与参考圆的轮廓之间的交点确定为样本外边界点。当样本内边界点在样本图像中的眼部区域之外时，丢弃该样本内边界点；当样本外边界点在样本图像中的眼部区域之外时，丢弃该样本外边界点。
如图9所示，第一连线与参考圆的轮廓之间的交点出现在第一连线的延长线上时，内边界点在眼部区域外，此时眼部区域的眼部特征点中不包括在眼部区域外的内边界点。
步骤803，将样本图像输入原始机器学习模型，得到训练结果。
终端将样本图像输入原始机器学习模型，得到样本图像的眼部特征点坐标，将原始机器模型输出的每张样本图像的样本眼部特征点的坐标作为训练结果。
步骤804，对于每组样本图像数据组，将训练结果与样本眼部特征点的坐标进行比较，得到计算损失，该计算损失用于指示训练结果与样本眼部特征点的坐标之间的误差。
终端将训练结果与每张样本图像的标注结果进行比较，得到计算损失。例如，终端将样本图像1输入原始机器学习模型，得到样本图像1的训练结果1中的样本中心点坐标为(1,1)，而样本图像1的标注结果1中的样本中心点坐标为(1,0.5)，终端将训练结果1和标注结果1中的包括样本中心点在内的样本眼部特征点的坐标的差值作为计算损失。
步骤805，根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型。
终端根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型。其中，该机器学习模型用于识别目标图像中的内外眼角点、边界点以及中心点。
请参考图10，其示出了本申请一个示例性实施例提供的眼部识别装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为图1实施例中的第一终端110。该装置包括获取模块1010以及处理模块1020。
获取模块1010，用于获取目标图像，目标图像中包括眼部区域，眼部区域中包括虹膜区域和瞳孔区域。
处理模块1020，用于调用机器学习模型对目标图像进行处理，得到目标图像的眼部特征点的坐标，眼部特征点中包括内外眼角点、用于标注虹膜区域的边界点、用于标注瞳孔区域的中心点；且内外眼角点、边界点和中心点符合预设直线关系；根据边界点的边界坐标，在目标图像中确定出虹膜区域。
在一个可选的实施例中，内外眼角点包括内眼角点和外眼角点，用于标注虹膜区域的边界点包括内边界点和外边界点；内眼角点、内边界点和中心点符合第一直线关系；外眼角点、外边界点和中心点符合第二直线关系。
在一个可选的实施例中，机器学习模型用于表示基于样本图像数据组训练得到的图像中眼部区域的定位规律。
机器学习模型是根据至少一组样本图像数据组训练得到的，样本图像数据组包括：样本图像和样本图像对应的样本眼部特征点的坐标。
样本图像中被标定的样本眼部特征点包括：样本内外眼角点、用于标注虹膜区域的样本边界点、用于标注瞳孔区域的样本中心点；且样本内外眼角点、样本边界点和样本中心点符合预设直线关系。
在一个可选的实施例中，获取模块1010，还用于获取至少一组样本图像；获取样本图像中的样本眼部特征点的标定结果，标定结果包括按照预设直线关系标定的样本内外眼角点、样本边界点、样本中心点。
处理模块1020，还用于将样本图像输入原始机器学习模型，得到训练结果；对于每组样本图像数据组，将训练结果与样本眼部特征点的坐标进行比较，得到计算损失，计算损失用于指示训练结果与样本眼部特征点的坐标之间的误差；根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型。
在一个可选的实施例中，机器学习模型包括卷积层和全连接层；
处理模块1020，还用于通过卷积层提取得到目标图像的至少一个局部特征区域；通过全连接层对局部特征区域进行识别，确定眼部区域对应的眼部特征区域；通过全连接层根据眼部特征区域得到眼部区域对应的眼部特征点的坐标。
在一个可选的实施例中，眼部区域还包括上眼皮区域和下眼皮区域，眼部特征点中还包括用于标注上眼皮区域的m个上眼皮点，以及用于标注下眼皮区域的n个下眼皮点，m和n为正整数；
处理模块1020，还用于根据上眼皮点的上眼皮坐标、下眼皮点的下眼皮坐标以及边界坐标，将上眼皮点、下眼皮点以及边界点环绕的区域确定为虹膜区域。
在一个可选的实施例中，处理模块1020，还用于增加虹膜区域的面积；和/或；降低虹膜区域的亮度；和/或，改变虹膜区域的颜色。
请参考图11，其示出了本申请一个示例性实施例提供的机器学习模型的训练装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为图1实施例中的第一终端110或服务器130。该装置包括获取模块1110以及处理模块1120。
获取模块1110，用于获取至少一组样本图像；获取样本图像中的样本眼部特征点的标定结果，得到样本图像和样本图像对应的样本眼部特征点组成的样本图像数据组，标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点。
处理模块1120，用于将样本图像输入原始机器学习模型，得到训练结果；对于每组样本图像数据组，将训练结果与样本眼部特征点的坐标进行比较，得到计算损失，计算损失用于指示训练结果与样本眼部特征点的坐标之间的误差；根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型，机器学习模型用于识别目标图像中的内外眼角点、用于标注虹膜区域的边界点和用于标注瞳孔区域的中心点。
在一个可选的实施例中，样本内外眼角点包括样本内眼角点和样本外眼角点；用于标注虹膜区域的样本边界点包括样本内边界点和样本外边界点；样本内眼角点、样本内边界点和样本中心点符合第一直线关系；样本外眼角点、样本外边界点和样本中心点符合第二直线关系。
在一个可选的实施例中，处理模块1120，还用于在样本图像中的眼部区域标注样本内眼角点和样本外眼角点。
获取模块1110，还用于获取覆盖样本图像中的虹膜区域的参考圆，将参考圆的圆心确定为样本中心点；获取样本中心点与样本内眼角点的第一连线，以及样本中心点和样本外眼角点的第二连线。
处理模块1120，还用于将第一连线与参考圆的轮廓之间的交点确定为样本内边界点；将第二连线与参考圆的轮廓之间的交点确定为样本外边界点。
在一个可选的实施例中，获取模块1110，还用于获取样本内眼角点和样本内眼角点之间的距离；将距离的1/5至距离的1/3的值作为参考圆的半径。
在一个可选的实施例中，处理模块1120，还用于当样本内边界点在样本图像中的眼部区域之外时，丢弃样本内边界点；当样本外边界点在样本图像中的眼部区域之外时，丢弃样本外边界点。
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。该终端1200可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器。终端1200还可能被称为用户设备、便携式终端等其他名称。
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中提供的眼部识别方法或机器学习模型的训练方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
触摸显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏1205还具有采集在触摸显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。触摸显示屏1205用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，触摸显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，触摸显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207用于提供用户和终端1200之间的音频接口。音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，可以根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1216，也称距离传感器，通常设置在终端1200的正面。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (18)
1.一种眼部识别方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像中包括眼部区域，所述眼部区域中包括虹膜区域和瞳孔区域；
调用机器学习模型对所述目标图像进行处理，得到所述目标图像的眼部特征点的坐标，所述眼部特征点中包括内外眼角点、用于标注所述虹膜区域的边界点、用于标注所述瞳孔区域的中心点；且所述内外眼角点、所述边界点和所述中心点符合预设直线关系；
根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域。
2.根据权利要求1所述的方法，其特征在于，所述内外眼角点包括内眼角点和外眼角点，所述用于标注所述虹膜区域的边界点包括内边界点和外边界点；
所述内眼角点、所述内边界点和所述中心点符合第一直线关系；
所述外眼角点、所述外边界点和所述中心点符合第二直线关系。
3.根据权利要求1所述的方法，其特征在于，所述机器学习模型用于表示基于样本图像数据组训练得到的图像中眼部区域的定位规律；
所述机器学习模型是根据至少一组样本图像数据组训练得到的，所述样本图像数据组包括：样本图像和所述样本图像对应的样本眼部特征点的坐标；
所述样本图像中被标定的样本眼部特征点包括：样本内外眼角点、用于标注虹膜区域的样本边界点、用于标注瞳孔区域的样本中心点；且所述样本内外眼角点、所述样本边界点和所述样本中心点符合所述预设直线关系。
4.根据权利要求3所述的方法，其特征在于，所述调用机器学习模型对所述目标图像进行处理之前，还包括：
获取至少一组所述样本图像；
获取所述样本图像中的样本眼部特征点的标定结果，所述标定结果包括按照所述预设直线关系标定的所述样本内外眼角点、所述样本边界点、所述样本中心点；
将所述样本图像输入原始机器学习模型，得到训练结果；
对于每组所述样本图像数据组，将所述训练结果与所述样本眼部特征点的坐标进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本眼部特征点的坐标之间的误差；
根据所述至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到所述机器学习模型。
5.根据权利要求1至4任一所述的方法，其特征在于，所述机器学习模型包括卷积层和全连接层；
所述调用机器学习模型对所述目标图像进行处理，得到所述目标图像的眼部特征点的坐标，包括：
通过所述卷积层提取得到所述目标图像的至少一个局部特征区域；
通过所述全连接层对所述局部特征区域进行识别，确定所述眼部区域对应的眼部特征区域；
通过所述全连接层根据所述眼部特征区域得到所述眼部区域对应的眼部特征点的坐标。
6.根据权利要求5所述的方法，其特征在于，所述眼部区域还包括上眼皮区域和下眼皮区域，所述眼部特征点中还包括用于标注所述上眼皮区域的m个上眼皮点，以及用于标注下眼皮区域的n个下眼皮点，m和n为正整数；
所述根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域，包括：
根据所述上眼皮点的上眼皮坐标、所述下眼皮点的下眼皮坐标以及所述边界坐标，将所述上眼皮点、所述下眼皮点以及所述边界点环绕的区域确定为所述虹膜区域。
7.根据权利要求6所述的方法，其特征在于，所述根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域之后，还包括：
增加所述虹膜区域的面积；
和/或；
降低所述虹膜区域的亮度；
和/或，
改变所述虹膜区域的颜色。
8.一种机器学习模型的训练方法，其特征在于，所述方法包括：
获取至少一组样本图像；
获取所述样本图像中的样本眼部特征点的标定结果，得到样本图像和所述样本图像对应的样本眼部特征点组成的样本图像数据组，所述标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点；
将所述样本图像输入原始机器学习模型，得到训练结果；
对于每组所述样本图像数据组，将所述训练结果与所述样本眼部特征点的坐标进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本眼部特征点的坐标之间的误差；
根据至少一组所述样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型，所述机器学习模型用于识别目标图像中的内外眼角点、用于标注所述虹膜区域的边界点和用于标注所述瞳孔区域的中心点。
9.根据权利要求8所述的方法，其特征在于，所述样本内外眼角点包括样本内眼角点和样本外眼角点，所述用于标注所述虹膜区域的样本边界点包括样本内边界点和样本外边界点；
所述样本内眼角点、所述样本内边界点和所述样本中心点符合第一直线关系；
所述样本外眼角点、所述样本外边界点和所述样本中心点符合第二直线关系。
10.根据权利要求8所述的方法，其特征在于，所述获取所述样本图像中的样本眼部特征点的标定结果，包括：
在所述样本图像中的眼部区域标注所述样本内眼角点和所述样本外眼角点；
获取覆盖所述样本图像中的虹膜区域的参考圆，将所述参考圆的圆心确定为所述样本中心点；
获取所述样本中心点与所述样本内眼角点的第一连线，以及所述样本中心点和所述样本外眼角点的第二连线；
将所述第一连线与所述参考圆的轮廓之间的交点确定为所述样本内边界点；
将所述第二连线与所述参考圆的轮廓之间的交点确定为所述样本外边界点。
11.根据权利要求10所述的方法，其特征在于，所述获取覆盖所述样本图像中的虹膜区域的参考圆，包括：
获取所述样本内眼角点和所述样本内眼角点之间的距离；
将所述距离的1/5至所述距离的1/3的值作为所述参考圆的半径。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
当所述样本内边界点在所述样本图像中的眼部区域之外时，丢弃所述样本内边界点；
当所述样本外边界点在所述样本图像中的眼部区域之外时，丢弃所述样本外边界点。
13.一种眼部识别装置，其特征在于，所述装置包括：
获取模块，用于获取目标图像，所述目标图像中包括眼部区域，所述眼部区域中包括虹膜区域和瞳孔区域；
处理模块，用于调用机器学习模型对所述目标图像进行处理，得到所述目标图像的眼部特征点的坐标，所述眼部特征点中包括内外眼角点、用于标注所述虹膜区域的边界点、用于标注所述瞳孔区域的中心点；且所述内外眼角点、所述边界点和所述中心点符合预设直线关系；根据所述边界点的边界坐标，在所述目标图像中确定出所述虹膜区域。
14.一种机器学习模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取至少一组样本图像；获取所述样本图像中的样本眼部特征点的标定结果，得到样本图像和所述样本图像对应的样本眼部特征点组成的样本图像数据组，所述标定结果包括按照预设直线关系标定的样本内外眼角点、用于标注虹膜区域的样本边界点和用于标注瞳孔区域的样本中心点；
处理模块，用于将所述样本图像输入原始机器学习模型，得到训练结果；对于每组所述样本图像数据组，将所述训练结果与所述样本眼部特征点的坐标进行比较，得到计算损失，所述计算损失用于指示所述训练结果与所述样本眼部特征点的坐标之间的误差；根据至少一组所述样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到机器学习模型，所述机器学习模型用于识别目标图像中的内外眼角点、用于标注所述虹膜区域的边界点和用于标注所述瞳孔区域的中心点。
15.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7任一所述的眼部识别方法。
16.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求8至12任一所述的机器学习模型的训练方法。
17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至7任一所述的眼部识别方法。
18.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求8至12任一所述的机器学习模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810847632.XA CN109086713B (zh) | 2018-07-27 | 2018-07-27 | 眼部识别方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810847632.XA CN109086713B (zh) | 2018-07-27 | 2018-07-27 | 眼部识别方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086713A true CN109086713A (zh) | 2018-12-25 |
| CN109086713B CN109086713B (zh) | 2019-11-15 |
Family
ID=64833361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810847632.XA Active CN109086713B (zh) | 2018-07-27 | 2018-07-27 | 眼部识别方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086713B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020597A (zh) * | 2019-02-27 | 2019-07-16 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| CN110111316A (zh) * | 2019-04-26 | 2019-08-09 | 广东工业大学 | 基于眼部图像识别弱视的方法及系统 |
| CN110648296A (zh) * | 2019-09-24 | 2020-01-03 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
| CN110942043A (zh) * | 2019-12-02 | 2020-03-31 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
| CN111008929A (zh) * | 2019-12-19 | 2020-04-14 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111461970A (zh) * | 2020-04-09 | 2020-07-28 | 北京百度网讯科技有限公司 | 图像处理方法、装置和电子设备 |
| CN111753168A (zh) * | 2020-06-23 | 2020-10-09 | 广东小天才科技有限公司 | 一种搜题的方法、装置、电子设备及存储介质 |
| TWI754806B (zh) * | 2019-04-09 | 2022-02-11 | 栗永徽 | 利用深度學習定位虹膜之裝置與方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614919B1 (en) * | 1998-12-25 | 2003-09-02 | Oki Electric Industry Co., Ltd. | Method of extracting iris region and individual identification device |
| CN1686051A (zh) * | 2005-05-08 | 2005-10-26 | 上海交通大学 | 基于vpf和改进的susan的眼角和瞳孔的定位方法 |
| US7298874B2 (en) * | 2001-03-06 | 2007-11-20 | Senga Advisors, Llc | Iris image data processing for use with iris recognition system |
| CN104463159A (zh) * | 2014-12-31 | 2015-03-25 | 北京释码大华科技有限公司 | 一种定位虹膜的图像处理方法和装置 |
| CN105447450A (zh) * | 2015-11-12 | 2016-03-30 | 北京天诚盛业科技有限公司 | 虹膜识别中判断左右虹膜的方法和装置 |
| EP3139303A1 (en) * | 2015-09-07 | 2017-03-08 | Samsung Electronics Co., Ltd. | Method and apparatus for eye tracking |
| CN106557727A (zh) * | 2015-09-30 | 2017-04-05 | 华邦电子股份有限公司 | 瞳孔中心定位方法及电子装置 |
| CN106650616A (zh) * | 2016-11-09 | 2017-05-10 | 北京巴塔科技有限公司 | 虹膜定位方法及可见光虹膜识别系统 |
| CN106934365A (zh) * | 2017-03-09 | 2017-07-07 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种可靠的青光眼患者自我检测方法 |
| CN107844736A (zh) * | 2016-09-19 | 2018-03-27 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
| CN107862304A (zh) * | 2017-11-30 | 2018-03-30 | 西安科锐盛创新科技有限公司 | 眼部状态的判断方法 |
-
2018
- 2018-07-27 CN CN201810847632.XA patent/CN109086713B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614919B1 (en) * | 1998-12-25 | 2003-09-02 | Oki Electric Industry Co., Ltd. | Method of extracting iris region and individual identification device |
| US7298874B2 (en) * | 2001-03-06 | 2007-11-20 | Senga Advisors, Llc | Iris image data processing for use with iris recognition system |
| CN1686051A (zh) * | 2005-05-08 | 2005-10-26 | 上海交通大学 | 基于vpf和改进的susan的眼角和瞳孔的定位方法 |
| CN104463159A (zh) * | 2014-12-31 | 2015-03-25 | 北京释码大华科技有限公司 | 一种定位虹膜的图像处理方法和装置 |
| EP3139303A1 (en) * | 2015-09-07 | 2017-03-08 | Samsung Electronics Co., Ltd. | Method and apparatus for eye tracking |
| CN106557727A (zh) * | 2015-09-30 | 2017-04-05 | 华邦电子股份有限公司 | 瞳孔中心定位方法及电子装置 |
| CN105447450A (zh) * | 2015-11-12 | 2016-03-30 | 北京天诚盛业科技有限公司 | 虹膜识别中判断左右虹膜的方法和装置 |
| CN107844736A (zh) * | 2016-09-19 | 2018-03-27 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
| CN106650616A (zh) * | 2016-11-09 | 2017-05-10 | 北京巴塔科技有限公司 | 虹膜定位方法及可见光虹膜识别系统 |
| CN106934365A (zh) * | 2017-03-09 | 2017-07-07 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种可靠的青光眼患者自我检测方法 |
| CN107862304A (zh) * | 2017-11-30 | 2018-03-30 | 西安科锐盛创新科技有限公司 | 眼部状态的判断方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020597A (zh) * | 2019-02-27 | 2019-07-16 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| CN110020597B (zh) * | 2019-02-27 | 2022-03-11 | 中国医学科学院北京协和医院 | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 |
| TWI754806B (zh) * | 2019-04-09 | 2022-02-11 | 栗永徽 | 利用深度學習定位虹膜之裝置與方法 |
| CN110111316A (zh) * | 2019-04-26 | 2019-08-09 | 广东工业大学 | 基于眼部图像识别弱视的方法及系统 |
| CN110648296A (zh) * | 2019-09-24 | 2020-01-03 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
| CN110648296B (zh) * | 2019-09-24 | 2022-10-11 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
| CN110942043A (zh) * | 2019-12-02 | 2020-03-31 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
| CN110942043B (zh) * | 2019-12-02 | 2023-11-14 | 深圳市迅雷网络技术有限公司 | 一种瞳孔图像处理方法及相关装置 |
| CN111008929A (zh) * | 2019-12-19 | 2020-04-14 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111008929B (zh) * | 2019-12-19 | 2023-09-26 | 维沃移动通信（杭州）有限公司 | 图像矫正方法及电子设备 |
| CN111461970A (zh) * | 2020-04-09 | 2020-07-28 | 北京百度网讯科技有限公司 | 图像处理方法、装置和电子设备 |
| CN111461970B (zh) * | 2020-04-09 | 2023-08-11 | 北京百度网讯科技有限公司 | 图像处理方法、装置和电子设备 |
| CN111753168A (zh) * | 2020-06-23 | 2020-10-09 | 广东小天才科技有限公司 | 一种搜题的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086713B (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086713B (zh) | 眼部识别方法、装置、终端及存储介质 | |
| KR102597385B1 (ko) | 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스 및 저장 매체 | |
| CN107844781A (zh) | 人脸属性识别方法及装置、电子设备及存储介质 | |
| CN110059661A (zh) | 动作识别方法、人机交互方法、装置及存储介质 | |
| CN111382624B (zh) | 动作识别方法、装置、设备及可读存储介质 | |
| CN111161035B (zh) | 菜品推荐方法、装置、服务器、电子设备及存储介质 | |
| CN107945163A (zh) | 图像增强方法及装置 | |
| WO2021147434A1 (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
| US11030733B2 (en) | Method, electronic device and storage medium for processing image | |
| CN110147805A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN109977775B (zh) | 关键点检测方法、装置、设备及可读存储介质 | |
| CN109558837A (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN109285178A (zh) | 图像分割方法、装置及存储介质 | |
| CN108288032A (zh) | 动作特征获取方法、装置及存储介质 | |
| CN108363982A (zh) | 确定对象数量的方法及装置 | |
| CN109840584A (zh) | 卷积神经网络模型、数据处理方法及装置 | |
| CN109886208A (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| CN111062248A (zh) | 图像检测的方法、装置、电子设备及介质 | |
| CN109978996A (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
| CN110427108A (zh) | 基于眼球追踪的拍照方法及相关产品 | |
| CN107958223A (zh) | 人脸识别方法及装置、移动设备、计算机可读存储介质 | |
| CN109992685A (zh) | 一种检索图片的方法及装置 | |
| CN108848405A (zh) | 图像处理方法和装置 | |
| CN110991445A (zh) | 竖排文字识别方法、装置、设备及介质 | |
| CN110147796A (zh) | 图像匹配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210917 Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
| TR01 | Transfer of patent right |