CN110956071A - 眼部关键点的标注及其检测模型的训练方法和装置 - Google Patents

Abstract

本发明实施例公开一种眼部关键点的标注及其检测模型的训练方法和装置。方法包括：获得人脸图像及人脸图像对应的标注眼睑曲线；针对每一标注眼睑曲线，基于数学积分原理，对标注眼睑曲线进行积分，确定标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点；基于标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、待利用眼睑点及预设等分点数，从标注上眼睑曲线和标注下眼睑曲线中，分别确定出等分上眼睑点和等分下眼睑点，进而结合标注眼角点，确定每一人脸图像对应的眼部关键点，以实现标注出具有较明显语义特征的眼部关键点且提高标注效率。

Description

眼部关键点的标注及其检测模型的训练方法和装置

技术领域

本发明涉及智能检测技术领域，具体而言，涉及一种眼部关键点的标注及其检测模型的训练方法和装置。

背景技术

对图像中人眼的眼部关键点的检测在多个方面具有重要作用，例如：在疲劳检测过程中，疲劳检测系统可以基于预先训练的眼部关键点检测模型，从图像中检测出所包含的人眼的上下眼睑的眼部关键点，进而，基于上下眼睑的眼部关键点，计算人眼的上下眼睑之间距离，作为人眼的开闭距离，进而基于人眼的开闭距离在预设时长内的开闭距离，确定图像对应的人员是否处于疲劳状态，实现对人员的疲劳状态的检测。又例如：在美颜过程中，美颜相机可以基于预先训练的眼部关键点检测模型，从图像中检测出所包含的人眼的上下眼睑的眼部关键点，进而，基于图像中人眼的上下眼睑的眼部关键点的位置，对人眼进行放缩处理，以实现对人眼的美化。其中，上述预先训练的眼部关键点检测模型为：基于标注有人眼的眼部关键点的样本图像训练所得。

可见，为了获得眼部关键点检测模型，对人眼的眼部关键点的标注至关重要。相关技术中，上述眼部关键点一般都是标注人员手动标注的，对于标注人员手动标注的眼部关键点而言，不同的标注人员对眼部关键点的标注标准并不统一，所标注的眼部关键点的语义特征不明显，且手动标注眼部关键点的效率低。

发明内容

本发明提供了一种眼部关键点的标注及其检测模型的训练方法和装置，以实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。具体的技术方案如下。

第一方面，本发明实施例提供了一种眼部关键点的标注方法，该方法包括：获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，所述人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；

针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从所述标注上眼睑曲线和所述标注下眼睑曲线中，确定出多个待利用眼睑点；

针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、所述多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点；

将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

可选的，获得每一人脸图像对应的眼睑曲线的步骤，包括：

针对每一人脸图像，基于该人脸图像中的标注眼角点、上眼睑的标注眼睑点以及预设的曲线拟合算法，拟合出表征所述上眼睑的上眼睑曲线；并基于该人脸图像中的标注眼角点、下眼睑的标注眼睑点以及所述预设的曲线拟合算法，拟合出表征所述下眼睑的下眼睑曲线，以得到所述人脸图像对应的眼睑曲线。

可选的，在所述将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点的步骤之后，所述方法还包括：针对每一人脸图像，基于该人脸图像中的眼部关键点，从该人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像；

将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据，其中，所述标定信息包括所对应眼睛图像中的眼部关键点的位置信息。

可选的，所述将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据的步骤，包括：

获得每一人脸图像对应的真实眼睛开闭长度；

获得每一人脸图像对应的实测眼睛开闭长度，其中，所述实测眼睛开闭长度为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

针对每一人脸图像，计算该人脸图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值，作为该人脸图像对应的实测偏差；

将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据，其中，所述标定信息包含：所对应眼睛图像标注的眼部关键点的位置信息，以及该眼睛图像所对应人脸图像对应的实测偏差。

可选的，在所述获得人脸图像以及每一人脸图像对应的标注眼睑曲线的步骤之前，所述方法还包括：对每一人脸图像中人员面部的眼睛的上下眼睑进行标注的过程，其中，针对每一人脸图像，执行如下步骤，以对每一人脸图像中人员面部的眼睛的上下眼睑进行标注：

获得第一人脸图像并显示，其中，所述第一人脸图像包含人员面部的眼睛，所述第一人脸图像为所述人脸图像中的一个；

接收标注人员针对所述第一人脸图像中眼睛的上下眼睑触发的标注指令，其中，所述标注指令携带所标注的标注点的位置信息；

若检测到所述标注人员至少两次触发针对所述第一人脸图像中指定眼睑的标注指令，基于所述标注人员触发的至少两次标注指令携带的标注点的位置信息，以及预设的曲线拟合算法，确定表征所述指定眼睑的指定眼睑曲线，其中，所述指定眼睑为：所述第一人脸图像中眼睛的上眼睑和下眼睑；

在所述第一人脸图像中显示所述指定眼睑曲线，以使得所述标注人员检测所标注的标注点是否为所述指定眼睑上的眼睑点或眼角点。

第二方面，本发明实施例提供了一种眼部关键点检测模型的训练方法，该方法包括：

获得训练数据，其中，所述训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，所述标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，所述等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；所述标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像；

将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

可选的，在所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤之前，所述方法还包括：

针对每一眼睛图像，对该眼睛图像进行转正处理，得到转正图像，其中，所述转正处理为：使得该眼睛图像中的标注眼角点的位置信息中的纵坐标均相同的处理；

基于每一转正图像中等分眼睑点和标注眼角点的位置信息，更新每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息；

所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤包括：

将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

可选的，所述眼睛图像包括左眼图像和左眼图像对应的右眼图像；

在所述将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤之前，所述方法还包括：对所述左眼图像或所述左眼图像对应的右眼图像进行镜像处理，得到镜像图像；

对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，若对所述左眼图像进行镜像处理，未进行镜像的图像为所述左眼图像对应的右眼图像；若对所述左眼图像对应的右眼图像进行镜像处理，未进行镜像的图像为所述左眼图像；

所述将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤，包括：

将每一拼接图像以及每一拼接图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型，其中，所述标定信息包括：镜像图像中的等分眼睑点和标注眼角点镜像之后的位置信息以及未进行镜像的图像中的等分眼睑点和标注眼角点的位置信息。

可选的，每一眼睛图像对应的标定信息还包括：该眼睛图像对应的实测偏差，所述实测偏差为：该眼睛图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值；所述实测眼睛开闭长度为基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤，包括：

将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息及眼睛图像对应的实测偏差，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型，其中，所述眼部关键点检测模型用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，并检测图像对应的实测偏差。

可选的，在所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤之后，所述方法还包括：

获得待检测图像，其中，所述待检测图像包括待检测人员的眼睛；

将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点。

可选的，在所述将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点的步骤之后，所述方法还包括：利用索贝尔sobel算法，对所述待检测图像进行边缘提取，得到所述待检测图像对应的灰阶边缘图；

基于所述待检测图像中眼睛的上下眼睑的等分眼睑点和眼角点，以及预设的曲线拟合算法，确定所述待检测人员的上下眼睑的眼睑曲线，作为待检测眼睑曲线，并在所述灰阶边缘图中，绘制所述待检测眼睑曲线，其中，所述待检测眼睑曲线包括：表征所述待检测人员的上眼睑的待检测上眼睑曲线和表征所述待检测人员的下眼睑的待检测下眼睑曲线；

基于所述待检测眼睑曲线中的等分眼睑点，在所述灰阶边缘图中确定多组参考点，其中，每组参考点中包括与所述待检测眼睑曲线中等分眼睑点对应的点；

针对每组参考点，基于该组参考点、所述待检测眼睑曲线中的眼角点以及所述预设的曲线拟合算法，确定出该组参考点对应的参考曲线，并在所述灰阶边缘图中绘制每组参考点对应的参考曲线，其中，每组参考点对应的参考曲线包括：表征所述待检测人员的上眼睑的参考上眼睑曲线和表征所述待检测人员的下眼睑的参考下眼睑曲线；

在所述灰阶边缘图中，针对每一第一上眼睑曲线，确定该第一上眼睑曲线对应的像素点的像素值之和，其中，所述第一上眼睑曲线包括：每组参考点所对应参考上眼睑曲线和所述待检测上眼睑曲线；

从每一第一上眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一上眼睑曲线，作为表征所述待检测人员的上眼睑的目标上眼睑曲线；

在所述灰阶边缘图中，针对每一第一下眼睑曲线，确定该第一下眼睑曲线对应的像素点的像素值之和，其中，所述第一下眼睑曲线包括：每组参考点所对应参考下眼睑曲线和所述待检测下眼睑曲线；

从每一第一下眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一下眼睑曲线，作为表征所述待检测人员的下眼睑的目标下眼睑曲线；

基于数学积分原理，对目标眼睑曲线进行积分，确定出所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度和目标下眼睑曲线的第四曲线长度；分别从所述目标上眼睑曲线和所述目标下眼睑曲线中，确定出多个参考眼睑点；

基于所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度、目标下眼睑曲线的第四曲线长度、所述多个参考眼睑点以及预设等分点数，从所述目标眼睑曲线中目标上眼睑曲线和目标下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点。

第三方面，本发明实施例提供了一种眼部关键点的标注装置，该装置包括：第一获得模块，被配置为获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，所述人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；

第一确定模块，被配置为针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从所述标注上眼睑曲线和所述标注下眼睑曲线中，确定出多个待利用眼睑点；

第二确定模块，被配置为针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、所述多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点；

第三确定模块，被配置为将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

第四方面，本发明实施例提供了一种眼部关键点检测模型的训练装置，该装置包括：

第二获得模块，被配置为获得训练数据，其中，所述训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，所述标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，所述等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；所述标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像；

输入模块，被配置为将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

由上述内容可知，本发明实施例提供的一种眼部关键点的标注及其检测模型的训练方法和装置，可以获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点；针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和预设等分点数减1个等分下眼睑点；将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

应用本发明实施例，可以对人脸图像对应的标注眼睑曲线进行积分，确定出标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度，并分别对标注上眼睑曲线和标注下眼睑曲线密集取点，以从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点，进而基于标注上眼睑曲线的第一曲线长度、标注上眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注上眼睑曲线上，确定出预设等分点数减1个等分上眼睑点；并基于标注下眼睑曲线的第二曲线长度、标注下眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注下眼睑曲线上，确定出预设等分点数减1个等分下眼睑点，以实现半自动地从人脸图像包含的眼睛的上下眼睑中标注出具有较明显的语义特征的等分眼睑点，实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以对人脸图像对应的标注眼睑曲线进行积分，确定出标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度，并分别对标注上眼睑曲线和标注下眼睑曲线密集取点，以从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点，进而基于标注上眼睑曲线的第一曲线长度、标注上眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注上眼睑曲线上，确定出预设等分点数减1个等分上眼睑点；并基于标注下眼睑曲线的第二曲线长度、标注下眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注下眼睑曲线上，确定出预设等分点数减1个等分下眼睑点，以实现半自动地从人脸图像包含的眼睛的上下眼睑中标注出具有较明显的语义特征的等分眼睑点，实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。

2、利用每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，从该人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像，并将眼睛图像及其对应的包括所对应眼睛图像中的眼部关键点的位置信息的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据，将具有较明显的语义特征的眼部关键点作为眼部关键点检测模型的训练数据，在一定程度上可以训练得到稳定性以及检测准确性较高的眼部关键点检测模型。

3、利用每一人脸图像对应的真实眼睛开闭长度和实测眼睛开闭长度，确定出每一人脸图像对应的实测偏差，该实测偏差可以表征出测量所得的眼睛上下眼睑之间的距离与真实的眼睛上下眼睑之间的距离之间的差距，将该实测偏差，作为用于检测眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据的一部分，可以使得训练得到的眼部关键点检测模型可以针对图像输出测量所得的上下眼睑之间的距离，与真实的上下眼睑之间的距离之间的实测偏差，进而，可以根据该实测偏差修正测量所得的上下眼睑之间的距离，在一定程度上提高测量所得的上下眼睑之间的距离的准确性。

4、在标注人员针对人脸图像中眼睛的上下眼睑进行标注时，可以实时根据标注人员标注的标注点生成指定眼睑的指定眼睑曲线，并显示，以使得标注人员可以对其所标注的标注点进行检查，确定所标注的标注点是否为指定眼睑上的眼睑点或眼角点，在一定程度上可以高效的保证标注人员所标注的眼睑点或眼角点的准确性，提高标注人员的标注效率。

5、利用包括标注有等分眼睑点和标注眼角点的眼睛图像，以其对应的包括该标注的等分眼睑点和标注眼角点的位置信息的标定信息的训练数据，训练初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。使得眼部关键点检测模型可以从图像中确定出具有较明显的语义特征的眼部关键点，并在一定程度上保证眼部关键点检测模型的稳定性以及检测准确性。

6、在训练眼部关键点检测模型之前，将眼睛图像进行转正处理，进而基于转正处理后的眼睛图像及其对应的标定信息训练眼部关键点检测模型，在一定程度上可以减轻训练眼部关键点检测模型的训练负担，并在一定程度上提高训练所得的眼部关键点检测模型对图像中眼睛的眼部关键点的检测精度。

7、对左眼图像或右眼图像进行镜像处理得到镜像图像，进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；后续的可以利用拼接图像及其对应的标定信息训练初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型，在一定程度上可以缩短训练时间。后续的，在利用眼部关键点检测模型对图像进行检测时，可以首先对从图像中确定出的左眼图像以及右眼图像进行相应的处理，及转正、镜像以及拼接处理，可以使得眼部关键点检测模型同时对处理后所得的图像中的两只人眼中的眼部关键点进行检测，即通过一次检测过程则可检测出该处理后所得的图像中两只人眼的上下眼睑的眼部关键点，简化了利用眼部关键点检测模型，对眼部关键点的检测过程。

8、利用训练所得的眼部关键点检测模型，确定出图像中上下眼睑的等分眼睑点和眼角点之后，利用sobel算法，对图像进行边缘提取，得到图像对应的灰阶边缘图，进而，利用上下眼睑的等分眼睑点和眼角点，分别确定上眼睑对应的多组参考点，以及下眼睑对应的多组参考点，进而分别针对上下眼睑，基于其对应的多组参考点以及预设的曲线拟合算法，确定出多条表征上眼睑或下眼睑的参考曲线，利用表征上眼睑的参考曲线以及待检测上眼睑曲线上、灰阶边缘图中的像素点的像素值的和，确定出最贴合灰阶边缘图中上眼睑的曲线，作为表征该上眼睑的目标上眼睑曲线；同理的，利用表征下眼睑的参考曲线以及待检测下眼睑曲线上、灰阶边缘图中的像素点的像素值的和，确定出最贴合灰阶边缘图中下眼睑的曲线，作为表征该上眼睑的目标下眼睑曲线。在一定程度上提高图像中上下眼睑的检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的眼部关键点的标注方法的一种流程示意图；

图2A、2B、2C以及2D分别为人脸图像对应的标注眼睑曲线的示意图；

图3为本发明实施例提供的眼部关键点检测模型的训练方法的一种流程示意图；

图4为本发明实施例提供的眼部关键点的标注装置的一种结构示意图；

图5为本发明实施例提供的眼部关键点检测模型的训练装置的一种结构示意图；

图6为本发明实施例提供的眼部关键点检测模型的训练装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种眼部关键点的标注及其检测模型的训练方法和装置，以实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的眼部关键点的标注方法的一种流程示意图。该方法应用于电子设备，该电子设备可以为具有较强计算处理能力的设备，例如服务器等，其中，为了布局清楚，后续描述中，可以将实现眼部关键点的标注方法的电子设备成为第一电子设备。该方法具体包括以下步骤：

S101：获得人脸图像以及每一人脸图像对应的标注眼睑曲线。

其中，人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线。

本发明实施例中，人脸图像中可以包括人员面部的两只眼睛，如图2B和图2D所示，也可以仅包括面部的一只眼睛，如图2A和图2C，这都是可以的。其中，当人脸图像中包括人员面部的两只眼睛时，人脸图像中标注有该两只眼睛的标注眼角点和上下眼睑的标注眼睑点，此时，人脸图像对应的标注眼睑曲线包括：左眼对应的标注眼睑曲线，和右眼对应的标注眼睑曲线。左眼对应的标注眼睑曲线包括：基于左眼对应的标注眼睑点和标注眼角点生成的、表征左眼的上眼睑的标注上眼睑曲线和表征左眼的下眼睑的标注下眼睑曲线。右眼对应的标注眼睑曲线包括：基于右眼对应的标注眼睑点和标注眼角点生成的、表征右眼的上眼睑的标注上眼睑曲线和表征右眼的下眼睑的标注下眼睑曲线。

在本发明的一种实现方式中，每一人脸图像对应的标注眼睑曲线，可以是在标注人员针对人脸图像中眼睛的上下眼睑进行标注时，基于所标注的眼睛的上眼睑的标注眼睑点以及预设的曲线拟合算法生成的，以及基于所标注的眼睛的下眼睑的标注眼睑点以及预设的曲线拟合算法生成的。进而第一电子设备获得人脸图像时，同时获得该人脸图像对应的标注眼睑曲线。

在本发明的另一种实现方式中，获得每一人脸图像对应的眼睑曲线的步骤，可以包括：针对每一人脸图像，基于该人脸图像中的标注眼角点、上眼睑的标注眼睑点以及预设的曲线拟合算法，拟合出表征所述上眼睑的上眼睑曲线；并基于该人脸图像中的标注眼角点、下眼睑的标注眼睑点以及预设的曲线拟合算法，拟合出表征下眼睑的下眼睑曲线，以得到人脸图像对应的眼睑曲线。

本实现方式中，第一电子设备获得人脸图像之后，可以基于人脸图像中标注的所包含眼睛的标注眼角点和上眼睑的标注眼睑点，以及预设的曲线拟合算法，拟合得到表征该眼睛的上眼睑的上眼睑曲线，作为标注上眼睑曲线；并基于人脸图像中标注的所包含眼睛的标注眼角点和下眼睑的标注眼睑点，以及预设的曲线拟合算法，拟合得到表征该眼睛的下眼睑的下眼睑曲线，作为标注下眼睑曲线。其中，该预设的曲线拟合算法可以为三次样条插值算法。可以理解的是，每一眼睛包括两个标注眼角点，该眼角点为表征该眼睛的上眼睑的标注上眼睑曲线和表征该眼睑的下眼睑的标注下眼睑曲线的交点。

S102：针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点。

本步骤中，第一电子设备针对每一标注眼睑曲线，可以基于数据积分原理，对该标注眼睑曲线进行积分，及分别对该标注眼睑曲线中的标注上眼睑曲线进行积分，确定出该标注上眼睑曲线的曲线长度，作为第一曲线长度；对该标注眼睑曲线中的标注下眼睑曲线进行积分，确定出该标注下眼睑曲线的曲线长度，作为第二曲线长度。

进而，第一电子设备针对每一标注眼睑曲线，在该标注眼睑曲线中的标注上眼睑曲线上密集取点，确定出多个待利用眼睑点，例如：取预设数量个点，即确定出预设数量个待利用眼睑点。

同理的，第一电子设备针对每一标注眼睑曲线，在该标注眼睑曲线中的标注下眼睑曲线上密集取点，确定出多个待利用眼睑点，例如：取预设数量个点，即确定出预设数量个待利用眼睑点。

S103：针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和预设等分点数减1个等分下眼睑点。

本步骤中，第一电子设备确定出每一标注眼睑曲线中标注上眼睑曲线上的多个待利用眼睑点以及标注下眼睑曲线上的多个待利用眼睑点之后，利用第一曲线长度以及预设等分点数，确定出所需要标注的每相邻的两个等分上眼睑点之间的距离，其中，该每相邻的两个等分上眼睑点之间的距离等于第一曲线长度与预设等分点数的比值。后续的，第一电子设备可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该眼角点某一待利用眼睑点之间的距离，为每相邻的两个等分上眼睑点之间的距离的整数倍，则可以确定该待利用眼睑点为等分上眼睑点。该整数倍可以是1倍到预设等分点数减1倍。或者，电子设备可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该某一待利用眼睑点与该眼角点之间的距离为每相邻的两个等分上眼睑点之间的距离，则确定该待利用眼睑点为第一个等分上眼睑点，进而，以该第一个等分上眼睑点为起始位置，依次遍历该第一个等分上眼睑点之后的待利用眼睑点，在确定出某一待利用眼睑点与该第一个等分上眼睑点之间的距离为每相邻的两个等分上眼睑点之间的距离，则确定该待利用眼睑点为第二个等分上眼睑点，以此类推，确定出预设等分点数减1个等分上眼睑点。

同理的，利用第二曲线长度以及预设等分点数，确定出所需要标注的每相邻的两个等分下眼睑点之间的距离，其中，该每相邻的两个等分下眼睑点之间的距离等于第二曲线长度与预设等分点数的比值。后续的，第一电子设备可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该眼角点某一待利用眼睑点之间的距离，为每相邻的两个等分下眼睑点之间的距离的整数倍，则可以确定该待利用眼睑点为等分下眼睑点。该整数倍可以是1倍到预设等分点数减1倍。或者，电子设备可以从某一个眼角点处开始计算该眼角点与待利用眼睑点之间的距离，当确定出该某一待利用眼睑点与该眼角点之间的距离为每相邻的两个等分下眼睑点之间的距离，则确定该待利用眼睑点为第一个等分下眼睑点，进而，以该第一个等分下眼睑点为起始位置，依次遍历该第一个等分下眼睑点之后的待利用眼睑点，在确定出某一待利用眼睑点与该第一个等分下眼睑点之间的距离为每相邻的两个等分下眼睑点之间的距离，则确定该待利用眼睑点为第二个等分下眼睑点，以此类推，确定出预设等分点数减1个等分下眼睑点。

其中，当人脸图像中包括左眼和右眼时，分别针对左眼对应的标注眼睑曲线执行上述步骤，和右眼对应的标注眼睑曲线执行上述步骤。

S104：将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

第一电子设备确定出人脸图像所包含眼睛的上下眼睑的等分眼睑点之后，将该人脸图像所包含眼睛的上下眼睑的等分眼睑点，以及标注眼角点，确定为该人脸图像对应的眼部关键点。其中，该眼睛的上下眼睑的等分眼睑点包括眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点。

并且，第一电子设备可以基于所确定出的人脸图像所包含眼睛的上下眼睑的等分眼睑点的位置信息，在人脸图像的眼睛的上下眼睑中标注出各等分眼睑点，保存该标注有眼睛的上下眼睑的等分眼睑点和标注眼角点的人脸图像。在一种情况中，还可以保存每一人脸图像对应的标注眼睑曲线。还可以以文本形式保存眼睛的上下眼睑的等分眼睑点和标注眼角点在人脸图像中的位置信息。

应用本发明实施例，可以对人脸图像对应的标注眼睑曲线进行积分，确定出标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度，并分别对标注上眼睑曲线和标注下眼睑曲线密集取点，以从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点，进而基于标注上眼睑曲线的第一曲线长度、标注上眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注上眼睑曲线上，确定出预设等分点数减1个等分上眼睑点；并基于标注下眼睑曲线的第二曲线长度、标注下眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注下眼睑曲线上，确定出预设等分点数减1个等分下眼睑点，以实现半自动地从人脸图像包含的眼睛的上下眼睑中标注出具有较明显的语义特征的等分眼睑点，实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。

在本发明的另一实施例中，在所述将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点的步骤之后，所述方法还可以包括：

针对每一人脸图像，基于该人脸图像中的眼部关键点，从该人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像；将眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据，其中，标定信息包括所对应眼睛图像中的眼部关键点的位置信息。

在本实施例中，第一电子设备确定出每一人脸图像中的眼部关键点之后，可以基于该眼部关键点在人脸图像中的位置，确定出眼睛所在区域，并从人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像。其中，该眼睛所在区域可以为包含眼睛的最小的矩形区域，或者可以为包含眼睛的最小的矩形区域向周围扩展预设像素点的区域，这都是可以的。其中，向周围扩展预设像素点为：向包含眼睛的最小的矩形区域的上下左右四个方向分别扩展预设像素点。每一人脸图像与其截取出的眼睛图像存在对应关系。

确定出眼睛图像之后，针对每一眼睛图像，确定该眼睛图像中所标注的眼部关键点在该眼睛图像中的位置信息，作为该眼睛图像对应标定信息，并将该标注有眼部关键点的眼睛图像以及该眼睛图像对应的标定信息，确定用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据。

可以理解的是，通过该标注有眼部关键点的眼睛图像以及该眼睛图像对应的标定信息，可以训练出可以检测得到图像中眼睛的上下眼睑中的等分眼睑点以及眼角点的眼部关键点检测模型。其中，为了布局清楚，训练该眼部关键点检测模型的过程在后续进行介绍。

在本发明的另一实施例中，所述将眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据的步骤，可以包括：获得每一人脸图像对应的真实眼睛开闭长度；

获得每一人脸图像对应的实测眼睛开闭长度，其中，实测眼睛开闭长度为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

针对每一人脸图像，计算该人脸图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值，作为该人脸图像对应的实测偏差；

将眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据，其中，标定信息包含：所对应眼睛图像标注的眼部关键点的位置信息，以及该眼睛图像所对应人脸图像对应的实测偏差。

在一种情况中，当人脸图像为基于多图像采集设备系统所采集得到的人脸图像时，可以基于该多图像采集设备系统中的多个图像采集设备，在同一时刻针对同一人员的面部采集的包含人员面部的图像，构建该人员面部的真实三维人脸模型，并且该人员面部的真实三维人脸模型中包含人员的眼睛的上下眼睑。基于真实三维人脸模型中，包含的人员的眼睛的上下眼睑的中心眼睑点，可以确定出人员的眼睛的上下眼睑之间的距离，作为该每一包含人员面部的图像对应的真实眼睛开闭长度，即每一包含人员面部的人脸图像对应的真实眼睛开闭长度。其中，上述真实三维人脸模型，可以基于当前任一种可基于多个包含人员面部的图像，进行人员的三维人脸模型重建的技术构建得到。

其中，上述基于真实三维人脸模型中，包含的人员的眼睛的上下眼睑的中心眼睑点，可以确定出人员的眼睛的上下眼睑之间的距离的过程，可以是：

针对人员的一个眼睛为例进行说明：获得人脸图像中眼睛的第一眼角点的第一二维位置信息，第二眼角点的第二二维位置信息和上下眼睑中每一等分眼睑点的第三二维位置信息；从真实三维人脸模型中确定眼睛的第一眼角点的第一三维位置信息以及第二眼角点的第二三维位置信息；基于第一三维位置信息、第二三维位置信息以及预设的曲线方程，构建第一眼角约束，其中，第一眼角约束通过公式(1)表示；基于预设的第一数值、预设的第二数值以及第一眼角约束，构建第二眼角约束，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。其中，第一数值可以取0，第二数值可以取1第二眼角约束通过公式(2)表示；基于曲线方程、每一眼睑点的第三位置信息以及每一图像采集设备的位姿信息和内参信息，构建等分眼睑点对应的重投影误差约束，其中，上述重投影误差约束可以通过观测到的各等分眼睑点的第三二位位置信息，与各等分眼睑点对应的真实三维人脸模型中的等分眼睑空间点投影至该人脸图像中的投影位置之间的距离构建得到；基于人脸图像中等分眼睑点的有序性，构建有序性约束，可以通过公式(3)；基于第一眼角约束、第二眼角约束、重投影误差约束以及有序性约束，构建用于表征眼睛的上眼睑和下眼睑的眼睑空间曲线方程，即联立上述四个约束对应的方程，求解得到用于表征眼睛的上眼睑和下眼睑的眼睑空间曲线方程。基于该上眼睑和下眼睑的眼睑空间曲线方程，确定上眼睑的2等分点和下眼睑的2等分点，计算上眼睑的2等分点和下眼睑的2等分点之间的距离，作为眼睛的上下眼睑之间的距离。

其中，公式(1)：

其中，(x₀，y₀，z₀)表示第一三维位置信息，(x₁，y₁，z₁)表示第二三维位置信息，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、和c₃分别为所需求得的系数，t为自变量。

公式(2)：

公式(3)：0≤t₁≤t₂…≤t_i…≤t_M≤1(3)；其中，当确定表征上眼睑的眼见空间曲线方程时，t_i表示第i个上眼睑的等分眼睑点的第三二维位置信息，相应的，M表示上眼睑的等分眼睑点的个数；当确定表征下眼睑的眼见空间曲线方程时，t_i表示第i个下眼睑的等分眼睑点的第三二维位置信息，相应的，M表示下眼睑的等分眼睑点的个数。

第一电子设备获得每一人脸图像对应的真实眼睛开闭长度之后，可以获得每一人脸图像对应的实测眼睛开闭长度。其中，实测眼睛开闭长度可以为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，该目标三维人脸模型可以为：采用3DMM(3D Morphable Models，三维可变形模型)技术，基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，该目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑。

进而，第一电子设备针对每一人脸图像，计算该人脸图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值，作为该人脸图像对应的实测偏差；其中，该实测偏差可以确定出所对应眼睛的真实眼睛开闭长度与实测眼睛开闭长度之间的差异程度，其中，该实测偏差越大，所对应眼睛的真实眼睛开闭长度与实测眼睛开闭长度之间的差异程度越大。其中，人脸图像中包括左眼和右眼时，可以分别获得该人脸图像中左眼对应的真实眼睛开闭长度和实测眼睛开闭长度，右眼对应的真实眼睛开闭长度和实测眼睛开闭长度；基于左眼对应的真实眼睛开闭长度和实测眼睛开闭长度，确定左眼对应的实测偏差；基于右眼对应的真实眼睛开闭长度和实测眼睛开闭长度，确定右眼对应的实测偏差，作为该人脸图像对应的实测偏差。

进而，第一电子设备将眼睛图像，及其对应的标定信息，确定为用于检测图像中眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据，该标定信息包括所对应眼睛图像标注的眼部关键点的位置信息，和该眼睛图像所对应人脸图像对应的实测偏差。

后续的，基于眼睛图像，及其对应的标定信息训练所得的眼部关键点检测模型，不仅可以检测出图像中眼睛的上下眼睑中的等分眼睑点，同时可检测出该图像中眼睛对应的实测偏差，进而，可以基于该实测偏差校正该图像对应的实测眼睛开闭长度，以得到较准确地眼睛开闭长度。进而，利用该较准确地眼睛开闭长度执行其他任务时，可以提高其他任务地结果地准确性。

在本发明的另一实施例中，在所述获得人脸图像以及每一人脸图像对应的标注眼睑曲线的步骤之前，所述方法还可以包括：

对每一人脸图像中人员面部的眼睛的上下眼睑进行标注的过程，其中，针对每一人脸图像，执行如下步骤，以对每一人脸图像中人员面部的眼睛的上下眼睑进行标注：

获得第一人脸图像并显示，其中，第一人脸图像包含人员面部的眼睛，第一人脸图像为人脸图像中的一个；

接收标注人员针对第一人脸图像中眼睛的上下眼睑触发的标注指令，其中，标注指令携带所标注的标注点的位置信息；

若检测到标注人员至少两次触发针对第一人脸图像中指定眼睑的标注指令，基于标注人员触发的至少两次标注指令携带的标注点的位置信息，以及预设的曲线拟合算法，确定表征指定眼睑的指定眼睑曲线，其中，指定眼睑为：第一人脸图像中眼睛的上眼睑和下眼睑；

在第一人脸图像中显示指定眼睑曲线，以使得标注人员检测所标注的标注点是否为指定眼睑上的眼睑点或眼角点。

在获得人脸图像以及每一人脸图像对应的标注眼睑曲线之前，还可以包括对每一人脸图像中人员面部的眼睛的上下眼睑进行标注的过程。其中，该标注过程为：标注人员对人脸图像中人员面部的眼睛的上下眼睑标注眼角点和眼睑点的过程。

本发明实施例中，第一电子设备在检测到标注人员触发的人脸图像标注开始指令之后，可以获得第一人脸图像，该第一人脸图像为上述人脸图像中的任一图像，该第一人脸图像包含人员面部的眼睛。第一电子设备显示该第一人脸图像，标注人员可以针对该第一人脸图像中眼睛的上下眼睑进行标注，第一电子设备接收标注人员针对第一人脸图像中眼睛的上下眼睑触发的标注指令，该标注指令中携带所标注的标注点的位置信息。

第一电子设备基于该标注指令中携带的所标注的标注点的位置信息，在第一人脸图像中相应位置处显示预设标注图标；第一电子设备可以实时统计标注人员针对第一人脸图像中指定眼睑触发的标注指令的次数；若检测到标注人员至少两次触发针对第一人脸图像中指定眼睑的标注指令，即该指定眼睑包括至少两个标注点时，第一电子设备基于标注人员触发的至少两次标注指令携带的标注点的位置信息，以及预设的曲线拟合算法，确定表征指定眼睑的指定眼睑曲线；并在第一人脸图像中显示该指定眼睑曲线，标注人员可以观察该指定眼睑曲线，检测该指定眼睑曲线是否与第一人脸图像中的指定眼睑重合，即检测所标注的标注点是否为指定眼睑上的眼睑点或眼角点。

后续的，标注人员确定需要修改所标注的标注点的位置时，标注人员可以触发标注点位置修改指令，第一电子设备获得该标注点位置修改指令，其中，该标注点位置修改指令中携带待修改位置的标注点的当前位置信息以及所要修改到的目标位置信息，第一电子设备将该待修改位置的标注点从当前位置信息对应的位置，移动至所要修改到的目标位置信息对应的位置处，即在目标位置信息对应的位置处显示预设标注图标，并删除该当前位置信息对应的位置显示的预设标注图标。并且，第一电子设备重新基于该指定眼睑中修改后的标注点的新的位置信息和其他标注点的位置信息，以及预设的曲线拟合算法，确定表征指定眼睑的新的指定眼睑曲线，并在第一人脸图像中显示，以使得标注人员继续检测所标注的标注点是否为指定眼睑上的眼睑点或眼角点。

直至第一电子设备检测到标注人员针对该第一人脸图像触发保存指令时，第一电子设备保存该第一人脸图像及其对应的保存指令触发时刻所包含的标注点，和每一标注点的位置信息。一种情况中，第一人脸图像中保存指令触发时刻所包含的标注点可以包括眼睛的两个眼角点，以及上眼睑的上眼睑点和下眼睑的下眼睑点。其中，该上眼睑点和下眼睑点的数量可以相同，可以不同，例如：上眼睑点的数量可以为3个，下眼睑点的数量可以为 4个等等。其中，该预设标注图标可以为一个实心圆或空心圆，也可以为其他形状的实心图像或空心图像，这都是可以的。

可以理解的是，该标注过程可以在第一电子设备上执行，也可以在不同于第一电子设备的其他电子设备上执行，这都是可以。若在不同于第一电子设备的其他电子设备上执行该标注过程，可以是在标注人员对人脸图像标注完成后，将标注有眼睛的上下眼睑标注眼角点和眼睑点的人脸图像上传至云端，以使得第一电子设备执行眼部关键点的标注时，可以从云端获得该标注有眼睛的上下眼睑标注眼角点和眼睑点的人脸图像。

本发明实施例，可以在一定程度上可以高效的保证标注人员所标注的眼睑点或眼角点的准确性，提高标注人员的标注效率。

如图2A、图2B、图2C以及图2D所示，为人脸图像对应的标注眼睑曲线的示意图。其中，图2A所示人脸图像包括一只眼睛，且该眼睛可以完全被检测到，该人脸图像对应的标注眼睑曲线可以包括该眼睛的标注上眼睑曲线和标注下眼睑曲线。其中，图2A、图 2B、图2C以及图2D中被遮挡的位置为人脸所在位置处。

图2B所示人脸图像包括两只眼睛，且该两只眼睛均可以完全被检测到，该人脸图像对应的标注眼睑曲线可以包括左眼的标注上眼睑曲线和标注下眼睑曲线，以及右眼的标注上眼睑曲线和标注下眼睑曲线。图2B中右图为左图中眼睛所在位置的局部放大图。

图2C所示人脸图像中包括一只眼睛，且该眼睛的内眼角被遮挡，标注人员在标注该类人脸图像中的部分被遮挡的眼睛的上下眼睑的眼睑点和眼角点时，一种情况，可以通过经验将该被遮挡的眼睛中被遮挡的位置处的眼睑点和眼角点，直接标注出。另一种情况，当该人脸图像为基于多图像采集设备系统所采集的图像时，可以基于该人脸图像对应的其他人脸图像，重建出该人脸图像对应的人员的三维人脸模型，进而，从该三维人脸模型中，确定处该人脸图像中眼睛被遮挡的位置处对应的眼睛空间点，进而，将该眼睛空间点重投影至该人脸图像中，以确定该被遮挡的位置处的眼睑点和/或眼角点。其中，上述部分被遮挡的眼睛可以指被遮挡的面积不超过预设面积的眼睛。图2C中右图为左图眼睛所在位置的局部放大图。

图2D所示人脸图像中包括两只眼睛，且一只眼睛可以被晚间检测到，一只眼睛被部分遮挡。此时标注人员可以根据经验，将该被遮挡的眼睛中被遮挡的位置处的眼睑点和眼角点，直接标注出。或者，当该人脸图像为基于多图像采集设备系统所采集的图像时，可以基于该人脸图像对应的其他人脸图像，重建出该人脸图像对应的人员的三维人脸模型，进而，从该三维人脸模型中，确定处该人脸图像中眼睛被遮挡的位置处对应的眼睛空间点，进而，将该眼睛空间点重投影至该人脸图像中，以确定该被遮挡的位置处的眼睑点和/或眼角点。图2D中右图为左图中左眼所在位置的局部放大图。

其中，上述人脸图像与该人脸图像对应的其他人脸图像均为被该多图像采集设备系统采集的图像，且为同一时刻采集的图像。

其中，为了避免第一电子设备出现误识别的情况，如将针对下眼睑标注的标注点识别为针对上眼睑标注的标注点，或将针对上眼睑标注的标注点识别为针对下眼睑标注的标注点，第一电子设备可以设置成限制标注人员分开针对眼睛的上下眼睑的标注点进行标注，例如：可以首先指示标注人员标注眼睛的上眼睑的标注点，此时，标注人员无法标注该眼睛的下眼睑的标注点；当检测到标注人员触发表征上眼睑的标注点已标注完成的指令后，再指示标注人员标注该眼睛的下眼睑的标注点，此时标注人员无法标注该眼睛的上眼睑的标注点。

相应的，在一种情况中，标注人员在对人脸图像中眼睛的上下眼睑进行标注时，眼睛的上下眼睑的相交处为所对应眼睛的内外眼角处。第一电子设备为了保证上下眼睑的眼睑曲线可以分别相交与所对应的内外眼角处。第一电子设备在检测到上眼睑中的标注点已标注完成，当标注人员在下眼睑中标注的一标注点的位置，距离已标注的某一眼角点的位置，低于预设距离时，可将该标注点从当前位置吸附至该眼角点的位置处。其中，已标注的眼角点可以指：已标注的上眼睑中的标注点横轴坐标最小和最大的标注点。

图3为本发明实施例提供的眼部关键点检测模型的训练方法的一种流程示意图。该方法应用于电子设备，该电子设备可以为具有较强计算处理能力的设备，例如服务器等，其中，为了布局清楚，后续描述中，可以将实现眼部关键点检测模型的训练方法的电子设备成为第二电子设备。该方法具体包括以下步骤：

S301：获得训练数据。其中，该训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像。

第二电子设备可以首先获得训练数据，其中，该训练数据可以包括多个眼睛图像及每一眼睛图像对应的标定信息。该眼睛图像标注有眼睛的上下眼睑中等分眼睑点和标注眼角点。其中，该等分眼睑点和标注眼角点的具体获得流程可以参见上述眼部关键点的标注流程中的获得等分眼睑点和标注眼角点的获得流程，在此不再进行赘述。

S302：将眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

本步骤中，该初始的眼部关键点检测模型可以为：基于深度学习的神经网络模型。第二电子设备将眼睛图像以及每一眼睛图像对应的标定信息包括的眼部关键点的位置信息，输入初始的眼部关键点检测模型，其中，该眼部关键点包括所对应眼睛的上下眼睑中的等分眼睑点和眼角点。

第二电子设备通过初始的眼部关键点检测模型针对每一眼睛图像，提取该眼睛图像中的图像特征，并基于所提取的图像特征，检测出该眼睛图像中眼睛的眼部关键点和及其位置信息；并将所检测出眼部关键点的位置信息，与所对应标定信息中的眼部关键点的位置信息进行匹配，若匹配成功，确定初始的眼部关键点检测模型收敛，得到训练所得的眼部关键点检测模型；若匹配不成功，确定初始的眼部关键点检测模型未收敛，调整初始的眼部关键点检测模型的参数，返回执行将眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型的步骤，直至匹配成功，确定初始的眼部关键点检测模型收敛，得到训练所得的眼部关键点检测模型。

其中，眼睛图像与检测出的眼部关键点的位置信息存在对应关系，眼睛图像与标定信息存在对应关系，相应的，检测出的眼部关键点的位置信息与标定信息存在对应关系。

上述将所检测出眼部关键点的位置信息，与所对应标定信息中的眼部关键点的位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一所检测出眼部关键点的位置信息与其对应的标定信息中的眼部关键点的位置信息之间的损失值，判断该损失值是否小于预设损失阈值；若判断该损失值小于预设损失阈值，且，若当前的判断损失值小于预设损失阈值的次数超过预定次数，或，当前的判断损失值小于预设损失阈值的次数占总次数的比值超过预设比值阈值，确定匹配成功，可确定初始的眼部关键点检测模型收敛，得到训练所得的眼部关键点检测模型；若判断该损失值不小于预设损失阈值，确定匹配不成功。

上述过程仅作为一种确定该初始的眼部关键点检测模型收敛的示例，本发明实施例可以利用任一可以表征模型收敛的确定方式，确定初始的眼部关键点检测模型是否收敛，进而以训练得到眼部关键点检测模型。

其中，上述预设的损失函数可以为smooth L1loss(平滑的1范数损失)、wing loss(机翼损失)以及KL loss(即KL散度损失)等损失函数。

上述调整初始的眼部关键点检测模型的参数的过程中，可以基于使得训练过程中的眼部关键点检测模型所检测到的眼部关键点的位置信息和所对应的标定信息中的眼部关键点的位置信息之间的“差距”越来越小的原则，进行调整，其中，可以使用SGD(Stochastic Gradient Descent，随机梯度下降)或SGDR(stochastic gradient descentwith restarts，带重启的随机梯度下降方法)等优化策略。其中，训练过程中批处理大小可以为256，其初始学习率可以为0.04。

可以理解的是，从眼睛图像中检测出的眼部关键点与眼睛图像对应的标定信息中包括的位置信息对应的眼部关键点存在对应关系，在计算每一所检测出眼部关键点的位置信息与其对应的标定信息中的眼部关键点的位置信息之间的损失值时，需要计算每一对存在对应关系的检测出的眼部关键点的位置信息，与标定信息中的眼部关键点的位置信息之间的损失值。

其中，所获得的训练数据中所包括的眼睛图像的数量越多，训练所得的眼部关键点检测模型的稳定性越高，且基于该眼部关键点检测模型所获得的检测结果的准确性也越高。

应用本发明实施例，利用包括标注有等分眼睑点和标注眼角点的眼睛图像，以其对应的包括该标注的等分眼睑点和标注眼角点的位置信息的标定信息的训练数据，训练初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。使得眼部关键点检测模型可以从图像中确定出具有较明显的语义特征的眼部关键点，并在一定程度上保证眼部关键点检测模型的稳定性以及检测准确性。

在本发明的另一实施例中，在所述S302之前，所述方法还可以包括：

针对每一眼睛图像，对该眼睛图像进行转正处理，得到转正图像，其中，该转正处理为：使得该眼睛图像中的标注眼角点的位置信息中的纵坐标均相同的处理；

基于每一转正图像中等分眼睑点和标注眼角点的位置信息，更新每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息；

所述S302，可以包括：将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

在一种情况中，人脸图像中人员的面部可能会出现倾斜的情况，本实施例中，为了提高训练所得的眼部关键点检测模型的检测结果的精度，在利用眼睛图像及其标定信息训练初始的眼部关键点检测模型之前，可以首先对眼睛图像进行转正处理，得到转正图像，即使得眼睛图像中的标注眼角点的位置信息中的纵坐标均相同。并重新确定眼部关键点在转正图像中位置信息，并基于每一转正图像中眼部关键点，即等分眼睑点和标注眼角点的位置信息，更新每一转正图像对应的标定信息包括的眼部关键点，即等分眼睑点和标注眼角点的位置信息。并将每一转正图像以及每一转正图像对应的标定信息输入初始的眼部关键点检测模型。这在一定程度上可以减轻训练眼部关键点检测模型的训练负担，并在一定程度上提高训练所得的眼部关键点检测模型对图像中眼睛的眼部关键点的检测精度。

在本发明的另一实施例中，该眼睛图像包括左眼图像和左眼图像对应的右眼图像；

在所述将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤之前，所述方法还可以包括：对左眼图像或左眼图像对应的右眼图像进行镜像处理，得到镜像图像；

对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，若对左眼图像进行镜像处理，未进行镜像的图像为左眼图像对应的右眼图像；若对左眼图像对应的右眼图像进行镜像处理，未进行镜像的图像为左眼图像；

所述将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤，可以包括：

将每一拼接图像以及每一拼接图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型，其中，标定信息包括：镜像图像中的等分眼睑点和标注眼角点镜像之后的位置信息以及未进行镜像的图像中的等分眼睑点和标注眼角点的位置信息。

其中，眼睛图像包括：包含目标人员左眼的图像，可称为左眼图像；和包含目标人员的右眼的图像，可称为左眼图像对应的右眼图像。

为了在一定程度上降低利用训练所得的眼部关键点检测模型，检测到图像中眼睛的眼部关键点的复杂度，并缩短利用训练所得的眼部关键点检测模型，检测得到图像中眼睛的眼部关键点所需的检测时间。本实施例中，可对左眼图像或左眼图像进行镜像处理，得到镜像图像，进而对镜像图像及未进行镜像的图像进行拼接，得到眼睛图像对应的拼接图像。

将每一拼接图像及其对应的标定信息输入初始的眼部关键点检测模型，以训练该初始的眼部关键点检测模型。对左眼图像或左眼图像对应的右眼图像进行镜像处理，可以使得左眼图像镜像为镜像后的右眼图像，或使得右眼图像镜像为镜像后的左眼图像，在一定程度上可以缩短训练时间。后续的，在利用眼部关键点检测模型对图像进行检测时，可以首先对从图像中确定出的左眼图像以及右眼图像进行相应的处理，即转正、镜像以及拼接处理，可以使得眼部关键点检测模型同时对处理后所得的图像中的两只人眼中的眼部关键点进行检测，即通过一次检测过程则可检测出该处理后所得的图像中两只人眼的上下眼睑的眼部关键点，简化了利用眼部关键点检测模型，对眼部关键点的检测过程。

其中，上述对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像的过程，可以是：对镜像图像以及未进行镜像的图像进行空间维度的拼接或者通道维度的拼接，其中，该空间维度的拼接可以为：将镜像图像以及未进行镜像的图像进行左右拼接或上下拼接。左右拼接可以是：镜像图像的右侧边与未进行镜像的图像的左侧边进行拼接，镜像图像的左侧边与未进行镜像的图像的右侧边进行拼接。上下拼接可以是：镜像图像的上侧边与未进行镜像的图像的下侧边进行拼接，镜像图像的下侧边与未进行镜像的图像的上侧边进行拼接。上述通道维度的拼接可以为：将镜像图像以及未进行镜像的图像进行前后拼接，即将镜像图像以及未进行镜像的图像叠加拼接。

相应的，此时，可以在之前进行转正处理时，将镜像图像对应的原图像中的眼角点的纵坐标值，和未进行镜像的图像的眼角点的纵坐标值均调整成相同的值。其中，镜像图像对应的原图像为：进行镜像处理得到该镜像图像的图像。

在本发明的另一实施例中，每一眼睛图像对应的标定信息还可以包括：该眼睛图像对应的实测偏差，实测偏差为：该眼睛图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值；实测眼睛开闭长度为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

所述S302，可以包括：将眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息及眼睛图像对应的实测偏差，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型，其中，眼部关键点检测模型用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，并检测图像对应的实测偏差。

本实现方式中，可以将眼睛图像中等分眼睑的位置信息、标注眼角点的位置信息以及眼睛图像对应的实测偏差，均作为眼睛图像对应的标定信息，进而利用该眼睛图像以及眼睛图像对应的标定信息，训练初始的眼部关键点检测模型，即将眼睛图像以及眼睛图像对应的标定信息，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型，其中，本实现方式中，训练完成的眼部关键点检测模型：即可以用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，又可以检测图像对应的实测偏差。

其中，初始的眼部关键点检测模型，包括：特征提取层、第一特征分类层及第二特征分类层。该特征提取层可以指：卷积层和池化层等用于提取图像的图像特征的层；该第一特征分类层可以指：用于基于图像特征检测图像中眼部关键点及其位置信息的全连接层。该第二特征分类层可以指：用于检测图像对应的实测偏差的全连接层。

上述将眼睛图像以及眼睛图像对应的标定信息，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型的过程，可以是：首先将每一眼睛图像输入特征提取层，提取该眼睛图像中的图像特征；进而将图像特征输入第一特征分类层，确定该眼睛图像中眼部关键点的当前位置信息；进而将当前位置信息及其对应的标定信息中的眼部关键点的位置信息进行匹配，若匹配成功，则确定初始的眼部关键点检测模型中特征点检测分支模型收敛，得到中间眼部关键点检测模型；其中，该征点检测分支模型为包含特征提取层和第一特征分类层的模型；若匹配失败，则调整特征提取层和第一特征分类层的参数，并返回执行将每一眼睛图像输入特征提取层，提取该眼睛图像中的图像特征的步骤，直至确定匹配成功，得到中间眼部关键点检测模型。该中间眼部关键点检测模型：可以检测图像中眼部关键点的位置信息。该中间眼部关键点检测模型包括训练完成的特征提取层和第一特征分类层以及未训练的第二特征分类层。

进而，将眼睛图像输入中间眼部关键点检测模型的特征提取层，得到眼睛图像的图像特征；将图像特征输入中间眼部关键点检测模型的第一特征分类层，确定眼睛图像中眼部关键点的位置信息；基于眼睛图像中眼部关键点的位置信息，确定眼睛图像对应的当前实测偏差；将当前实测偏差输入中间眼部关键点检测模型中的第二特征分类层，将当前实测偏差与其对应的标定信息中的实测偏差进行匹配，若匹配成功，则确定中间眼部关键点检测模型收敛，得到训练完成的眼部关键点检测模型，该训练完成的眼部关键点检测模型包括训练完成的特征提取层和第一特征分类层以及训练完成的第二特征分类层；若匹配失败，则调整中间眼部关键点检测模型的该第二特征分类层的参数，返回执行将眼睛图像输入中间眼部关键点检测模型的特征提取层，得到眼睛图像的图像特征的步骤，直至匹配成功，确定中间眼部关键点检测模型收敛，得到训练所得的眼部关键点检测模型。该训练所得的眼部关键点检测模型即可以检测图像中的眼部关键点，又可以检测图像对应的实测偏差。

另一种情况中，还可以是：首先基于上述眼睛图像以及眼睛图像对应的包含眼部关键点的位置信息的标定信息，训练得到可以检测得到图像中眼睛的眼部关键点的位置信息的眼部关键点检测模型，作为中间眼部关键点检测模型，其中，该中间眼部关键点检测模型包括训练完成的特征提取层和第一特征分类层以及未训练的第二特征分类层。该特征提取层可以指：该中间眼部关键点检测模型的卷积层和池化层等用于提取图像的特征的层；该第一特征分类层可以指：该中间眼部关键点检测模型的用于检测图像中眼部关键点及其位置信息的全连接层。上述第二特征分类层可以指：该中间眼部关键点检测模型的用于检测图像对应的实测偏差的全连接层。

第二电子设备获得多个其他眼睛图像，并获得每一其他眼睛图像对应的标定信息，该其他眼睛图像对应的标定信息包括该其他眼睛图像对应的实测偏差；将多个其他眼睛图像以及每一其他眼睛图像对应的标定信息，输入该中间眼部关键点检测模型；针对每一其他眼睛图像，基于训练完成的特征提取层提取该其他眼睛图像的图像特征，并将该图像特征输入训练完成的第一特征分类层，得到该其他眼睛图像眼部关键点的位置信息。

第二电子设备基于该其他眼睛图像眼部关键点的位置信息，确定该其他眼睛图像对应的当前实测偏差，将该当前实测偏差输入该中间眼部关键点检测模型的未训练的第二特征分类层，将该当前实测偏差与所对应的标定信息中的实测偏差进行匹配，若匹配成功，确定该中间眼部关键点检测模型收敛，得到训练完成的眼部关键点检测模型，该训练完成的眼部关键点检测模型包括上述训练完成的特征提取层和第一特征分类层以及训练完成的第二特征分类层；若匹配失败，则调整中间眼部关键点检测模型的该第二特征分类层的参数，返回执行将其他眼睛图像，以及每一其他眼睛图像对应的标定信息，输入中间眼部关键点检测模型的步骤，直至匹配成功，确定中间眼部关键点检测模型收敛，得到训练所得的眼部关键点检测模型。该训练所得的眼部关键点检测模型即可以检测图像中的眼部关键点，又可以检测图像对应的实测偏差。

其中，该当前实测偏差的具体计算流程，可以参见上述眼部关键点的标注流程中的实测偏差的具体计算流程，在此不再进行赘述。

在本发明的另一实施例中，在所述S302之后，所述方法还可以包括：

获得待检测图像，其中，待检测图像包括待检测人员的眼睛；

将待检测图像输入眼部关键点检测模型，确定待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点。

本实施例中，在第二电子设备获得训练所得的眼部关键点检测模型之后，可以利用该训练所得的眼部关键点检测模型，检测待检测图像中的待检测人员的眼睛中的眼角点以及上下眼睑中的等分眼角点，及眼角点在待检测图像中的位置信息，以及上下眼睑中的等分眼角点在待检测图像中的位置信息。

在一种实现方式中，在将待检测图像输入眼部关键点检测模型之前，还可以检测待检测人员的面部的面部特征点，其中，该面部特征点用于表征待检测人员的面部的各部位所在位置，该面部的各个部位可以包括鼻子、嘴唇、眉毛、眼睛、下颌、脸颊、耳朵以及额头等部位。该面部的各个部位的面部特征点可以分别包括：面部中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的嘴角以及嘴唇的外边缘的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出眼睛所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等；还可以包括表征出额头所在位置的各特征点，如额头轮廓上的各特征点等，如头发与额头的交接处的各特征点。

通过该面部特征点，从待检测图像中确定出眼睛所在区域，并将眼睛所在区域从待检测图像中截取出，得到待检测图像对应的眼睛图像，作为待检测眼睛图像，进而，将待检测眼睛图像输入该训练所得的眼部关键点检测模型，以在一定程度上提高检测出的待检测人员眼睛中的眼角点以及上下眼睑中的等分眼角点的准确性。

在一种实现方式中，当该待检测眼睛图像包括待检测左眼图像和待检测右眼图像时，可以对待检测左眼图像和待检测右眼图像均进行转正处理，即使得待检测左眼图像中两眼角点的位置信息中的纵坐标值相同，使得待检测右眼图像中两眼角点的位置信息中的纵坐标值相同；将转正处理后的待检测眼睛图像输入该训练所得的眼部关键点检测模型，以在一定程度上提高检测出的人员眼睛中的眼角点以及上下眼睑中的等分眼角点的准确性，并在一定程度上较低该训练所得的眼部关键点检测模型的检测难度。

在一种实现方式中，获得转正处理之后的待检测左眼图像或待检测右眼图像，进行镜像处理，得到镜像眼睛图像，将镜像眼睛图像和未进行镜像的眼睛图像进行拼接，得到拼接眼睛图像，将该拼接眼睛图像输入该训练所得的眼部关键点检测模型，以使得该训练所得的眼部关键点检测模型可以一次性的检测得到镜像眼睛图像中的眼部关键点及其位置信息，和未进行镜像的眼睛图像中的眼部关键点及其位置信息；后续的，将镜像眼睛图像中眼部关键点的位置信息进行镜像处理，以得到眼部关键点在镜像眼睛图像对应的镜像前的图像中的位置信息。进而，得到转正处理之后的待检测左眼图像中眼部关键点的位置信息以及待检测右眼图像中眼部关键点的位置信息。

在本发明的另一实施例中，在所述将待检测图像输入眼部关键点检测模型，确定待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点的步骤之后，所述方法还可以包括：

利用索贝尔sobel算法，对待检测图像进行边缘提取，得到待检测图像对应的灰阶边缘图；

基于待检测图像中眼睛的上下眼睑的等分眼睑点和眼角点，以及预设的曲线拟合算法，确定待检测人员的上下眼睑的眼睑曲线，作为待检测眼睑曲线，并在灰阶边缘图中，绘制待检测眼睑曲线，其中，待检测眼睑曲线包括：表征待检测人员的上眼睑的待检测上眼睑曲线和表征待检测人员的下眼睑的待检测下眼睑曲线；

基于待检测眼睑曲线中的等分眼睑点，在灰阶边缘图中确定多组参考点，其中，每组参考点中包括与待检测眼睑曲线中等分眼睑点对应的点；

针对每组参考点，基于该组参考点、待检测眼睑曲线中的眼角点以及预设的曲线拟合算法，确定出该组参考点对应的参考曲线，并在灰阶边缘图中绘制每组参考点对应的参考曲线，其中，每组参考点对应的参考曲线包括：表征待检测人员的上眼睑的参考上眼睑曲线和表征待检测人员的下眼睑的参考下眼睑曲线；

在灰阶边缘图中，针对每一第一上眼睑曲线，确定该第一上眼睑曲线对应的像素点的像素值之和，其中，第一上眼睑曲线包括：每组参考点所对应参考上眼睑曲线和待检测上眼睑曲线；

从每一第一上眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定数值最大的和对应的第一上眼睑曲线，作为表征待检测人员的上眼睑的目标上眼睑曲线；

在灰阶边缘图中，针对每一第一下眼睑曲线，确定该第一下眼睑曲线对应的像素点的像素值之和，其中，第一下眼睑曲线包括：每组参考点所对应参考下眼睑曲线和所述待检测下眼睑曲线；

从每一第一下眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定数值最大的和对应的第一下眼睑曲线，作为表征待检测人员的下眼睑的目标下眼睑曲线；

基于数学积分原理，对目标眼睑曲线进行积分，确定出目标眼睑曲线中目标上眼睑曲线的第三曲线长度和目标下眼睑曲线的第四曲线长度；分别从目标上眼睑曲线和目标下眼睑曲线中，确定出多个参考眼睑点；

基于目标眼睑曲线中目标上眼睑曲线的第三曲线长度、目标下眼睑曲线的第四曲线长度、多个参考眼睑点以及预设等分点数，从目标眼睑曲线中目标上眼睑曲线和目标下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和预设等分点数减1个等分下眼睑点。

本实施例中，为了更准确的确定出待检测图像中待检测人员的眼睛的上下眼睑，在获得该训练所得的眼部关键点检测模型输出的该待检测图像中眼睛的眼角点的位置信息以及上下眼睑的等分眼睑点的位置信息之后，可以继续使用索贝尔sobel算法，对待检测图像进行边缘提取，得到待检测图像对应的灰阶边缘图，其中，sobel算法可以将待检测图像中的边缘均提取出。该灰阶边缘图中眼睛的上下眼睑对应的像素点的像素值可以为255，而其他位处于边缘的部位对应的像素点的像素值可以为0，以可以表征出待检测图像中处于边缘的部位，如眼睛的上下眼睑。

基于待检测图像中眼睛的上下眼睑的等分眼睑点和眼角点，及预设的曲线拟合算法，可以确定出待检测人员的上下眼睑的眼睑曲线，作为待检测眼睑曲线。可以理解的，灰阶边缘图中每一像素点与待检测图像中的每一像素点存在一一对应的关系，基于该对应的关系，将所确定出的待检测眼睑曲线，在灰阶边缘图中绘制出，并可以在该灰阶边缘图中所绘制出的待检测眼睑曲线，确定出相应的眼睛的眼角点及其位置信息和等分眼睑点及其位置信息。

基于待检测眼睑曲线中的等分眼睑点，在灰阶边缘图的待检测眼睑曲线周围确定多组参考点，其中，每组参考点中包括与待检测眼睑曲线中等分眼睑点对应的点。如图4所示，可以是在灰阶边缘图的待检测眼睑曲线的上下位置处分别确定至少一组参考点。可以理解的是，待检测眼睑曲线中包括：表征眼睛的上眼睑的待检测上眼睑曲线和表征下眼睑的待检测下眼睑曲线。上述在灰阶边缘图的待检测眼睑曲线的上下位置处分别确定至少一组参考点，可以是：分别针对待检测上眼睑曲线的上下位置处分别确定至少一组参考点，和针对待检测下眼睑曲线的上下位置处分别确定至少一组参考点。其中，图4中白色的曲线分别表示灰阶边缘图中眼睛的上眼睑所在位置和下眼睑所在位置，图4中灰色曲线表示待检测眼睑曲线中待检测上眼睑曲线和待检测下眼睑曲线，其中，灰色曲线上的白色实心点表示待检测眼睑曲线中等分眼睑点以及眼角点。如图4中所示，待检测上眼睑曲线中等分眼睑点对应两组参考点，分别为白色空心点和灰色空心点，并且待检测下眼睑曲线中等分眼睑点对应两组参考点，分别为白色空心点和灰色空心点。

针对每组参考点，基于该组参考点、待检测眼睑曲线中的眼角点以及预设的曲线拟合算法，确定出该组参考点对应的参考曲线，并在灰阶边缘图中绘制每组参考点对应的参考曲线。在灰阶边缘图中，针对每一第一上眼睑曲线，确定该第一上眼睑曲线对应的像素点的像素值之和，即确定每组参考点所对应参考上眼睑曲线对应的像素点的像素值之和，以及待检测上眼睑曲线对应的像素点的像素值之和。

其中，在灰阶边缘图中眼睛的上下眼睑位置处的像素点的像素值为255，在上述每一第一上眼睑曲线对应的像素点的像素值之和中，像素值之和的数值越大，表征该第一上眼睑曲线与灰阶边缘图中眼睛的上眼睑越贴合，相应的，将像素值之和的数值最大的第一上眼睑曲线，确定为表征待检测人员的上眼睑的目标上眼睑曲线。

同理的，在灰阶边缘图中，针对每一第一下眼睑曲线，确定该第一下眼睑曲线对应的像素点的像素值之和，即确定每组参考点所对应参考下眼睑曲线对应的像素点的像素值之和，以及待检测下眼睑曲线对应的像素点的像素值之和。其中，在灰阶边缘图中眼睛的上下眼睑位置处的像素点的像素值为255，在上述每一第一下眼睑曲线对应的像素点的像素值之和中，像素值之和的数值越大，表征该第一下眼睑曲线与灰阶边缘图中眼睛的下眼睑越贴合，相应的，将像素值之和的数值最大的第一下眼睑曲线，确定为表征待检测人员的下眼睑的目标下眼睑曲线。

进而，基于数学积分原理，对目标眼睑曲线进行积分，确定出目标眼睑曲线中目标上眼睑曲线的第三曲线长度和目标下眼睑曲线的第四曲线长度；分别对目标上眼睑曲线和标下眼睑曲线进行密集取点，例如：取出预设书两个点；即从目标上眼睑曲线中确定出多个参考眼睑点，并从目标下眼睑曲线中确定出多个参考眼睑点；进而，基于目标上眼睑曲线的第三曲线长度、目标上眼睑曲线中的多个参考眼睑点以及预设等分点数，从目标上眼睑曲线中确定出预设等分点数减1个等分上眼睑点。基于目标下眼睑曲线的第四曲线长度、目标下眼睑曲线中的多个参考眼睑点以及预设等分点数，从目标下眼睑曲线中确定出预设等分点数减1个等分下眼睑点。

其中，上述基于目标上眼睑曲线的第三曲线长度、目标上眼睑曲线中的多个参考眼睑点以及预设等分点数，从目标上眼睑曲线中确定出预设等分点数减1个等分上眼睑点的过程，可以参见上述基于标注眼睑曲线中标注上眼睑曲线的第一曲线长度、多个待利用眼睑点以及预设等分点数，从标注上眼睑曲线中确定出预设等分点数减1个等分上眼睑点的过程。并且，上述基于目标下眼睑曲线的第四曲线长度、目标下眼睑曲线中的多个参考眼睑点以及预设等分点数，从目标下眼睑曲线中确定出预设等分点数减1个等分下眼睑点的过程，可以参见上述基于标注眼睑曲线中标注下眼睑曲线的第二曲线长度、多个待利用眼睑点以及预设等分点数，从标注下眼睑曲线中确定出预设等分点数减1个等分下眼睑点的过程，在此不再赘述。

相应于上述方法实施例，图5为本发明实施例提供的眼部关键点的标注装置的一种结构示意图。该装置包括：

第一获得模块510，被配置为获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，所述人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；

第一确定模块520，被配置为针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从所述标注上眼睑曲线和所述标注下眼睑曲线中，确定出多个待利用眼睑点；

第二确定模块530，被配置为针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、所述多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点；

第三确定模块540，被配置为将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

应用本发明实施例，可以对人脸图像对应的标注眼睑曲线进行积分，确定出标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度，并分别对标注上眼睑曲线和标注下眼睑曲线密集取点，以从标注上眼睑曲线和标注下眼睑曲线中，确定出多个待利用眼睑点，进而基于标注上眼睑曲线的第一曲线长度、标注上眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注上眼睑曲线上，确定出预设等分点数减1个等分上眼睑点；并基于标注下眼睑曲线的第二曲线长度、标注下眼睑曲线上的多个待利用眼睑点及预设等分点数，从标注下眼睑曲线上，确定出预设等分点数减1个等分下眼睑点，以实现半自动地从人脸图像包含的眼睛的上下眼睑中标注出具有较明显的语义特征的等分眼睑点，实现标注出具有较明显的语义特征的眼部关键点且在一定程度上提高标注效率。

本发明的另一实施例中，第一获得模块510，被具体配置为

针对每一人脸图像，基于该人脸图像中的标注眼角点、上眼睑的标注眼睑点以及预设的曲线拟合算法，拟合出表征所述上眼睑的上眼睑曲线；并基于该人脸图像中的标注眼角点、下眼睑的标注眼睑点以及所述预设的曲线拟合算法，拟合出表征所述下眼睑的下眼睑曲线，以得到所述人脸图像对应的眼睑曲线。

本发明的另一实施例中，所述装置还包括：截取模块(图像未示出)，被配置为在所述将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点之后，针对每一人脸图像，基于该人脸图像中的眼部关键点，从该人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像；

第四确定模块(图像未示出)，被配置为将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据，其中，所述标定信息包括所对应眼睛图像中的眼部关键点的位置信息。

本发明的另一实施例中，所述第三确定模块540，被具体配置为：获得每一人脸图像对应的真实眼睛开闭长度；获得每一人脸图像对应的实测眼睛开闭长度，其中，所述实测眼睛开闭长度为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；针对每一人脸图像，计算该人脸图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值，作为该人脸图像对应的实测偏差；将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据，其中，所述标定信息包含：所对应眼睛图像标注的眼部关键点的位置信息，以及该眼睛图像所对应人脸图像对应的实测偏差。

本发明的另一实施例中，所述装置还包括：标注模块(图像未示出)，被配置为在所述获得人脸图像以及每一人脸图像对应的标注眼睑曲线之前，对每一人脸图像中人员面部的眼睛的上下眼睑进行标注的过程，其中，所述标注模块包括：获得显示单元(图像未示出)，被配置为获得第一人脸图像并显示，其中，所述第一人脸图像包含人员面部的眼睛，所述第一人脸图像为所述人脸图像中的一个；接收单元(图像未示出)，被配置为接收标注人员针对所述第一人脸图像中眼睛的上下眼睑触发的标注指令，其中，所述标注指令携带所标注的标注点的位置信息；确定单元(图像未示出)，被配置为若检测到所述标注人员至少两次触发针对所述第一人脸图像中指定眼睑的标注指令，基于所述标注人员触发的至少两次标注指令携带的标注点的位置信息，以及预设的曲线拟合算法，确定表征所述指定眼睑的指定眼睑曲线，其中，所述指定眼睑为：所述第一人脸图像中眼睛的上眼睑和下眼睑；显示单元(图像未示出)，被配置为在所述第一人脸图像中显示所述指定眼睑曲线，以使得所述标注人员检测所标注的标注点是否为所述指定眼睑上的眼睑点或眼角点。

相应于上述方法实施例，如图6所示，本发明实施例提供了一种眼部关键点检测模型的训练装置，该装置包括：

第二获得模块610，被配置为获得训练数据，其中，所述训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，所述标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，所述等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；所述标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像；

输入模块620，被配置为将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

本发明的另一实施例中，所述装置还包括：转正模块(图中未示出)，被配置为在所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型之前，针对每一眼睛图像，对该眼睛图像进行转正处理，得到转正图像，其中，所述转正处理为：使得该眼睛图像中的标注眼角点的位置信息中的纵坐标均相同的处理；

更新模块(图中未示出)，被配置为基于每一转正图像中等分眼睑点和标注眼角点的位置信息，更新每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息；

所述输入模块620，被具体配置为：将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

本发明的另一实施例中，所述眼睛图像包括左眼图像和左眼图像对应的右眼图像；所述装置还包括：镜像模块(图中未示出)，被配置为在所述将每一转正图像，以及每一转正图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型之前，对所述左眼图像或所述左眼图像对应的右眼图像进行镜像处理，得到镜像图像；拼接模块(图中未示出)，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，若对所述左眼图像进行镜像处理，未进行镜像的图像为所述左眼图像对应的右眼图像；若对所述左眼图像对应的右眼图像进行镜像处理，未进行镜像的图像为所述左眼图像；所述输入模块620，被具体配置为：将每一拼接图像以及每一拼接图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型，其中，所述标定信息包括：镜像图像中的等分眼睑点和标注眼角点镜像之后的位置信息以及未进行镜像的图像中的等分眼睑点和标注眼角点的位置信息。

本发明的另一实施例中，每一眼睛图像对应的标定信息还包括：该眼睛图像对应的实测偏差，所述实测偏差为：该眼睛图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值；所述实测眼睛开闭长度为基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

所述输入模块620，被具体配置为：将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息及眼睛图像对应的实测偏差，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型，其中，所述眼部关键点检测模型用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，并检测图像对应的实测偏差。

本发明的另一实施例中，所述装置还包括：第三获得模块(图中未示出)，被配置为在所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型之后，获得待检测图像，其中，所述待检测图像包括待检测人员的眼睛；第五确定模块(图中未示出)，被配置为将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点。

本发明的另一实施例中，所述装置还包括：提取模块(图中未示出)，被配置为在所述将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点之后，利用索贝尔sobel算法，对所述待检测图像进行边缘提取，得到所述待检测图像对应的灰阶边缘图；第一确定绘制模块(图中未示出)，被配置为基于所述待检测图像中眼睛的上下眼睑的等分眼睑点和眼角点，以及预设的曲线拟合算法，确定所述待检测人员的上下眼睑的眼睑曲线，作为待检测眼睑曲线，并在所述灰阶边缘图中，绘制所述待检测眼睑曲线，其中，所述待检测眼睑曲线包括：表征所述待检测人员的上眼睑的待检测上眼睑曲线和表征所述待检测人员的下眼睑的待检测下眼睑曲线；第六确定模块(图中未示出)，被配置为基于所述待检测眼睑曲线中的等分眼睑点，在所述灰阶边缘图中确定多组参考点，其中，每组参考点中包括与所述待检测眼睑曲线中等分眼睑点对应的点；第二确定绘制模块(图中未示出)，被配置为针对每组参考点，基于该组参考点、所述待检测眼睑曲线中的眼角点以及所述预设的曲线拟合算法，确定出该组参考点对应的参考曲线，并在所述灰阶边缘图中绘制每组参考点对应的参考曲线，其中，每组参考点对应的参考曲线包括：表征所述待检测人员的上眼睑的参考上眼睑曲线和表征所述待检测人员的下眼睑的参考下眼睑曲线；第七确定模块(图中未示出)，被配置为在所述灰阶边缘图中，针对每一第一上眼睑曲线，确定该第一上眼睑曲线对应的像素点的像素值之和，其中，所述第一上眼睑曲线包括：每组参考点所对应参考上眼睑曲线和所述待检测上眼睑曲线；第八确定模块(图中未示出)，被配置为从每一第一上眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一上眼睑曲线，作为表征所述待检测人员的上眼睑的目标上眼睑曲线；第九确定模块(图中未示出)，被配置为在所述灰阶边缘图中，针对每一第一下眼睑曲线，确定该第一下眼睑曲线对应的像素点的像素值之和，其中，所述第一下眼睑曲线包括：每组参考点所对应参考下眼睑曲线和所述待检测下眼睑曲线；第十确定模块(图中未示出)，被配置为从每一第一下眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一下眼睑曲线，作为表征所述待检测人员的下眼睑的目标下眼睑曲线；第十一确定模块(图中未示出)，被配置为基于数学积分原理，对目标眼睑曲线进行积分，确定出所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度和目标下眼睑曲线的第四曲线长度；分别从所述目标上眼睑曲线和所述目标下眼睑曲线中，确定出多个参考眼睑点；第十二确定模块(图中未示出)，被配置为基于所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度、目标下眼睑曲线的第四曲线长度、所述多个参考眼睑点以及预设等分点数，从所述目标眼睑曲线中目标上眼睑曲线和目标下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种眼部关键点的标注方法，其特征在于，包括：

获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，所述人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；

针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从所述标注上眼睑曲线和所述标注下眼睑曲线中，确定出多个待利用眼睑点；

针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、所述多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点；

将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

2.如权利要求1所述的方法，其特征在于，在所述将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点的步骤之后，所述方法还包括：

针对每一人脸图像，基于该人脸图像中的眼部关键点，从该人脸图像中截取出眼睛所在区域图像，得到标注有眼部关键点的眼睛图像；

将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据，其中，所述标定信息包括所对应眼睛图像中的眼部关键点的位置信息。

3.如权利要求2所述的方法，其特征在于，所述将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的眼部关键点的眼部关键点检测模型的训练数据的步骤，包括：

获得每一人脸图像对应的真实眼睛开闭长度；

获得每一人脸图像对应的实测眼睛开闭长度，其中，所述实测眼睛开闭长度为：基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

针对每一人脸图像，计算该人脸图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值，作为该人脸图像对应的实测偏差；

将所述眼睛图像及其对应的标定信息，确定为用于检测图像中眼睛的上下眼睑中等分眼睑点的眼部关键点检测模型的训练数据，其中，所述标定信息包含：所对应眼睛图像标注的眼部关键点的位置信息，以及该眼睛图像所对应人脸图像对应的实测偏差。

4.如权利要求1-3任一项所述的方法，其特征在于，在所述获得人脸图像以及每一人脸图像对应的标注眼睑曲线的步骤之前，所述方法还包括：

对每一人脸图像中人员面部的眼睛的上下眼睑进行标注的过程，其中，针对每一人脸图像，执行如下步骤，以对每一人脸图像中人员面部的眼睛的上下眼睑进行标注：

获得第一人脸图像并显示，其中，所述第一人脸图像包含人员面部的眼睛，所述第一人脸图像为所述人脸图像中的一个；

接收标注人员针对所述第一人脸图像中眼睛的上下眼睑触发的标注指令，其中，所述标注指令携带所标注的标注点的位置信息；

若检测到所述标注人员至少两次触发针对所述第一人脸图像中指定眼睑的标注指令，基于所述标注人员触发的至少两次标注指令携带的标注点的位置信息，以及预设的曲线拟合算法，确定表征所述指定眼睑的指定眼睑曲线，其中，所述指定眼睑为：所述第一人脸图像中眼睛的上眼睑和下眼睑；

在所述第一人脸图像中显示所述指定眼睑曲线，以使得所述标注人员检测所标注的标注点是否为所述指定眼睑上的眼睑点或眼角点。

5.一种眼部关键点检测模型的训练方法，其特征在于，所述方法包括：

获得训练数据，其中，所述训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，所述标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，所述等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；所述标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像；

将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

6.如权利要求5所述的方法，其特征在于，每一眼睛图像对应的标定信息还包括：该眼睛图像对应的实测偏差，所述实测偏差为：该眼睛图像对应的真实眼睛开闭长度与实测眼睛开闭长度的比值；所述实测眼睛开闭长度为基于人脸图像对应的目标三维人脸模型中眼睛的上下眼睑所确定的长度，所述目标三维人脸模型为：基于所对应人脸图像中的人脸特征点以及预设的三维人脸模型确定的人脸模型，所述目标三维人脸模型包括：基于该人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，构建的眼睛的上下眼睑；

所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤，包括：

将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息及眼睛图像对应的实测偏差，输入初始的眼部关键点检测模型，以训练得到眼部关键点检测模型，其中，所述眼部关键点检测模型用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点，并检测图像对应的实测偏差。

7.如权利要求5所述的方法，其特征在于，在所述将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型的步骤之后，所述方法还包括：

获得待检测图像，其中，所述待检测图像包括待检测人员的眼睛；

将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点。

8.如权利要求7所述的方法，其特征在于，在所述将所述待检测图像输入所述眼部关键点检测模型，确定所述待检测图像中待检测人员的眼睛的上下眼睑的等分眼睑点和眼角点的步骤之后，所述方法还包括：

利用索贝尔sobel算法，对所述待检测图像进行边缘提取，得到所述待检测图像对应的灰阶边缘图；

基于所述待检测图像中眼睛的上下眼睑的等分眼睑点和眼角点，以及预设的曲线拟合算法，确定所述待检测人员的上下眼睑的眼睑曲线，作为待检测眼睑曲线，并在所述灰阶边缘图中，绘制所述待检测眼睑曲线，其中，所述待检测眼睑曲线包括：表征所述待检测人员的上眼睑的待检测上眼睑曲线和表征所述待检测人员的下眼睑的待检测下眼睑曲线；

基于所述待检测眼睑曲线中的等分眼睑点，在所述灰阶边缘图中确定多组参考点，其中，每组参考点中包括与所述待检测眼睑曲线中等分眼睑点对应的点；

针对每组参考点，基于该组参考点、所述待检测眼睑曲线中的眼角点以及所述预设的曲线拟合算法，确定出该组参考点对应的参考曲线，并在所述灰阶边缘图中绘制每组参考点对应的参考曲线，其中，每组参考点对应的参考曲线包括：表征所述待检测人员的上眼睑的参考上眼睑曲线和表征所述待检测人员的下眼睑的参考下眼睑曲线；

在所述灰阶边缘图中，针对每一第一上眼睑曲线，确定该第一上眼睑曲线对应的像素点的像素值之和，其中，所述第一上眼睑曲线包括：每组参考点所对应参考上眼睑曲线和所述待检测上眼睑曲线；

从每一第一上眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一上眼睑曲线，作为表征所述待检测人员的上眼睑的目标上眼睑曲线；

在所述灰阶边缘图中，针对每一第一下眼睑曲线，确定该第一下眼睑曲线对应的像素点的像素值之和，其中，所述第一下眼睑曲线包括：每组参考点所对应参考下眼睑曲线和所述待检测下眼睑曲线；

从每一第一下眼睑曲线对应的像素点的像素值之和中，确定出数值最大的和，并确定所述数值最大的和对应的第一下眼睑曲线，作为表征所述待检测人员的下眼睑的目标下眼睑曲线；

基于数学积分原理，对目标眼睑曲线进行积分，确定出所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度和目标下眼睑曲线的第四曲线长度；分别从所述目标上眼睑曲线和所述目标下眼睑曲线中，确定出多个参考眼睑点；

基于所述目标眼睑曲线中目标上眼睑曲线的第三曲线长度、目标下眼睑曲线的第四曲线长度、所述多个参考眼睑点以及预设等分点数，从所述目标眼睑曲线中目标上眼睑曲线和目标下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点。

9.一种眼部关键点的标注装置，其特征在于，包括：

第一获得模块，被配置为获得人脸图像以及每一人脸图像对应的标注眼睑曲线，其中，所述人脸图像中标注有所包含眼睛的标注眼角点和上下眼睑的标注眼睑点，每一标注眼睑曲线包括：基于所对应标注眼睑点和标注眼角点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线；

第一确定模块，被配置为针对每一标注眼睑曲线，基于数学积分原理，对该标注眼睑曲线进行积分，确定出该标注眼睑曲线中标注上眼睑曲线的第一曲线长度和标注下眼睑曲线的第二曲线长度；分别从所述标注上眼睑曲线和所述标注下眼睑曲线中，确定出多个待利用眼睑点；

第二确定模块，被配置为针对每一标注眼睑曲线，基于该标注眼睑曲线中标注上眼睑曲线的第一曲线长度、标注下眼睑曲线的第二曲线长度、所述多个待利用眼睑点以及预设等分点数，从该标注眼睑曲线中标注上眼睑曲线和标注下眼睑曲线中，分别确定出预设等分点数减1个等分上眼睑点和所述预设等分点数减1个等分下眼睑点；

第三确定模块，被配置为将每一人脸图像中的标注眼角点、等分上眼睑点和等分下眼睑点，确定为每一人脸图像对应的眼部关键点。

10.一种眼部关键点检测模型的训练装置，其特征在于，包括：

第二获得模块，被配置为获得训练数据，其中，所述训练数据包括标注有眼睛的上下眼睑中等分眼睑点和标注眼角点的眼睛图像以及每一眼睛图像对应的标定信息，所述标定信息包括：所对应眼睛图像中标注的等分眼睑点和标注眼角点的位置信息，所述等分眼睑点包括：基于人脸图像对应的标注眼睑曲线以及数学积分原理，确定出的人脸图像中眼睛的上眼睑的等分上眼睑点和下眼睑的等分下眼睑点；所述标注眼睑曲线包括：基于所对应人脸图像中标注的眼睛的标注眼角点和上下眼睑的标注眼睑点生成的、表征上眼睑的标注上眼睑曲线和表征下眼睑的标注下眼睑曲线，每一眼睛图像为从所对应人脸图像中截取出的眼睛所在区域图像；

输入模块，被配置为将所述眼睛图像，以及每一眼睛图像对应的标定信息包括的等分眼睑点和标注眼角点的位置信息，输入初始的眼部关键点检测模型，以训练得到用于检测图像中眼睛的上下眼睑中的等分眼睑点和眼角点的眼部关键点检测模型。

Images