CN112613448B - 人脸数据标注方法及系统 - Google Patents

Abstract

本发明提供一种人脸数据标注方法及系统，该方法包括：获取待标注人脸图像中预设关键点的预设位置信息；根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。本发明提供一种人脸数据标注方法及系统，通过待标注人脸图像中的已知位置的预设关键点，以及预设关键点之间的几何位置信息，推测出待标注人脸图像中其它的标注信息，与传统的经过神经网络或聚类算法进行标注相比，不需要进行神经网络的训练或聚类模型的收敛等，提高了人脸数据标注方法的计算效率，适合大规模的人脸数据标注。

Description

人脸数据标注方法及系统

技术领域

本发明涉及图像处理及计算机技术领域，尤其涉及一种人脸数据标注方法及系统。

背景技术

随着深度学习技术的飞速发展，计算机计算能力的不断提升，原本仅存在实验室内的人工智能技术逐步走向工业化，这其中以人脸检测及其识别技术尤为热门，人脸识别门禁、人脸识别考勤和人脸识别支付等衍生技术大大方便了人们的生活。

基于深度学习原理的人脸检测及其识别技术依赖大量的数据支持，这些数据大多数时候并非只需要采集到即可，还需要付诸大量的人力予以标注，最终人脸检测和识别的技术指标受标注质量影响很大。然而，人工标注过程中很容易受到标注人员主观性的影响，且十分容易出错，而且标注越复杂，出错的可能性越大。

因此为了减少错误标注，一般要减少标注的复杂性，但是，简单的标注常常不能满足日益复杂的需求，例如，仅标注了人脸在图片中的矩形区域的数据，无法满足需要检测眼睛、鼻子、嘴巴位置的深度学习任务，为了解决这些问题，目前已经有一些通过机器学习来辅助进行标注的方法。

现有技术中提供一种人脸标注方法、装置及设备，其通过聚类的方式来对待标注人脸数据进行聚类，具体步骤如下：1、获取人脸数据库中任意两个人脸之间的人脸距离；2、根据待聚类人脸与其它人脸之间的人脸距离，获取待聚类人脸的近邻人脸；3、计算待聚类人脸和近邻人脸之间的复合共享近邻得分；4、根据该人脸距离以及复合共享近邻得分对待聚类人脸进行聚类，得到包含有人脸的分类；5、标注分类中尚未标注的人脸。

该聚类方法不适合类别太多的数据集，如果有几十万上百万的人脸，聚类模型花费时间长、且很难收敛，从而导致人脸标注的效率较低。

发明内容

本发明提供一种人脸数据标注方法及系统，用以解决现有技术中人脸标注的效率较低的缺陷，实现高效的人脸标注。

本发明提供一种人脸数据标注方法，包括：

获取待标注人脸图像中预设关键点的预设位置信息；

根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

根据本发明提供一种的人脸数据标注方法，所述标注信息包括所述待标注人脸图像中人脸的旋转角度，所述预设关键点包括左眼、右眼、鼻子，相应地，所述根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息，包括：

根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度。

根据本发明提供一种的人脸数据标注方法，所述根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度，包括：

根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角；

根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，其中，所述旋转角度中包括围绕预设空间坐标系中Z轴旋转的所述翻滚角和围绕Y轴旋转的所述偏航角。

根据本发明提供一种的人脸数据标注方法，所述根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角，应用如下公式获得：

其中，roll表示翻滚角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息；

和/或，

所述根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，应用如下公式获得：

其中，yaw表示所述旋转角度中的偏航角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息，(x₃,y₃)表示所述鼻子的预设位置信息。

根据本发明提供一种的人脸数据标注方法，还包括：

根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，所述预设关键点还包括左嘴角和右嘴角。

根据本发明提供一种的人脸数据标注方法，所述根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，包括：

所述目标关键点包括左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角中的一种或多种；

若判断获知所述翻滚角的绝对值小于预设旋转阈值，则根据如下公式计算目标关键点的标注位置信息：

(nx_i,ny_i)＝(x_i×cos(roll)+y_i×cos(roll),y_i×cos(roll)-x_i×cos(roll))，

i＝1,2,3,4,5，

hee＝0.9×(mmy-ny₃)，

rmx₁＝rmx₇＝nx₁-sw/3，

rmx₂＝rmx₈＝rmx₁₄＝nx₁，

rmx₃＝rmx₉＝nx₁+sw/3，

rmx₄＝rmx₁₀＝nx₂-sw/3，

rmx₅＝rmx₁₁＝rmx₁₆＝nx₂，

rmx₆＝rmx₁₂＝nx₂+sw/3，

rmx₁₃＝nx₁-sw/2，

rmx₁₅＝nx₃，

rmx₁₇＝nx₂+sw/2，

rmx₁₈＝nx₄，

rmx₁₉＝(nx₄+nx₅)/2，

rmx₂₀＝nx₅，

rmy₁＝rmy₂＝rmy₃＝rmy₄＝rmy₅＝rmy₆＝emy-hee，

rmy₇＝rmy₈＝rmy₉＝ny₁，

rmy₁₀＝rmy₁₁＝rmy₁₂＝ny₂，

rmy₁₃＝rmy₁₄＝rmy₁₅＝rmy₁₆＝rmy₁₇＝ny₃，

rmy₁₈＝ny₄，

rmy₁₉＝(ny₄+ny₅)/2，

rmy₂₀＝ny₅，

(rx_m,rx_n)＝(rmx_m×cos(roll)-rmy_m×sin(roll),rmx_m×sin(roll)+rmy_m×cos(roll))，

m＝1,2,3,…,20，

其中，(x₄,y₄)表示所述左嘴巴的预设位置信息，(x₅,y₅)表示所述右嘴巴的预设位置信息，(rx₁,ry₁)表示所述左眉毛左端的标注位置信息，(rx₂,ry₂)表示所述左眉毛中间的标注位置信息，(rx₃,ry₃)表示所述左眉毛右端的标注位置信息，(rx₄,ry₄)表示所述右眉毛左端的标注位置信息，(rx₅,ry₅)表示所述右眉毛中间的标注位置信息，(rx₆,ry₆)表示所述右眉毛右端的标注位置信息，(rx₇,ry₇)表示所述左眼睛左端的标注位置信息，(rx₈,ry₈)表示所述左眼睛中间的标注位置信息，(rx₉,ry₉)表示所述左眼睛右端的标注位置信息，(rx₁₀,ry₁₀)表示所述右眼睛左端的标注位置信息，(rx₁₁,ry₁₁)表示所述右眼睛中间的标注位置信息，(rx₁₂,ry₁₂)表示所述右眼睛右端的标注位置信息，(rx₁₃,ry₁₃)表示所述左脸颊的标注位置信息，(rx₁₄,ry₁₄)表示所述左脸蛋的标注位置信息，(rx₁₅,ry₁₅)表示所述鼻子的标注位置信息，(rx₁₆,ry₁₆)表示所述右脸蛋的标注位置信息，(rx₁₇,ry₁₇)表示所述右脸颊的标注位置信息，(rx₁₈,ry₁₈)表示所述左嘴角的标注位置信息，(rx₁₉,ry₁₉)表示所述嘴部中间的标注位置信息，(rx₂₀,ry₂₀)表示所述右嘴角的标注位置信息。

根据本发明提供一种的人脸数据标注方法，还包括：

根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息。

根据本发明提供一种的人脸数据标注方法，所述预设矩形检测框的标注位置信息包括一对角点的坐标，所述根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息，包括：

若判断获知所述旋转角度的翻滚角的绝对值大于所述预设旋转阈值，则应用如下公式进行计算：

(bmx₁,bmy₁)＝(nx₁-sw/2,emy-1.1·hee)，

(bmx2,bmy2)＝(nx2+sw/2,2·mmy-ny3)，

(bx_n,by_n)＝(bmx_n×cos(roll)-bmy_n×sin(roll),bmx_n×sin(roll)+bmy_n×cos(roll))，

n＝1,2，

其中，(bx₁,by₁)表示所述预设矩形检测框中端点的坐标，(bx₂,by₂)表示对角端点的坐标。

根据本发明提供一种的人脸数据标注方法，还包括：

将所述预设矩形检测框的长和宽等分为N份，获取N*N个子矩形区域，N为正整数；

随机选取n个子矩形区域，随机缩减n个子矩形区域边界，得到n个不规则形状的子矩形区域，所有n个不规则形状的子矩形区域内的像素构成所述人脸图像中被遮挡的部分；

从集合S中随机选取与n个不规则形状的子矩形区域一一对应的相同形状的区域，将对应的相同形状的区域替换不规则形状的子矩形区域，得到被遮挡过后的新图片；

其中，集合S表示所述待标注人脸图像中非人脸部分的像素集合。

本发明还提供一种人脸数据标注系统，包括：

预设关键点模块，用于获取待标注人脸图像中预设关键点的预设位置信息；

标注模块，用于根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸数据标注方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸数据标注方法的步骤。

本发明提供一种人脸数据标注方法及系统，通过待标注人脸图像中的已知位置的预设关键点，以及预设关键点之间的几何位置信息，推测出待标注人脸图像中其它的标注信息，与传统的经过神经网络或聚类算法进行标注相比，不需要进行神经网络的训练或聚类模型的收敛等，提高了人脸数据标注方法的计算效率，适合大规模的人脸数据标注。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种人脸数据标注方法的流程图；

图2为本发明提供的一种人脸数据标注系统的结构示意图；

图3为本发明提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种人脸数据标注方法，其目的是根据少量已知位置的预设关键点的信息，得出待标注人脸图像中其它目标关键点的标注信息。

本发明实施例提供的一种人脸数据标注方法，如图1所示，该方法包括：

110，获取待标注人脸图像中预设关键点的预设位置信息；

待标注人脸图像为需要进行标注扩展的图像，在该待标注人脸图像上，这些预设关键点的位置信息是已知的，称之为预设位置信息。

120，根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

根据预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，所谓的几何位置关系是指方位上的位置关系，以及标注信息与预设关键点之间的几何联系，推导出待标注人脸图像中的标注信息，该标注信息可以根据实际需要进行确定，比如可以是人脸旋转角度、待标注人脸图像中人脸上的其它五官的位置信息等。

本发明提供一种人脸数据标注方法，通过待标注人脸图像中的已知位置的预设关键点，以及预设关键点之间的几何位置信息，推测出待标注人脸图像中其它的标注信息，与传统的经过神经网络或聚类算法进行标注相比，不需要进行神经网络的训练或聚类模型的收敛等，提高了人脸数据标注方法的计算效率，适合大规模的人脸数据标注。

在上述实施例的基础上，优选地，所述标注信息包括所述待标注人脸图像中人脸的旋转角度，所述预设关键点包括左眼、右眼、鼻子，相应地，所述根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息，包括：

根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度。

本发明实施例中，预设位置信息是指预设关键点在待标注人脸图像上的坐标，该预设关键点为待标注人脸图像中的左眼睛、右眼睛和鼻子。

然后根据左眼睛的预设位置信息、右眼睛的预设位置信息和鼻子的预设位置信息，当待标注人脸图像中的人脸具有一定的旋转角度时，左眼睛、右眼睛和鼻子之间的位置在几何上是与该旋转角度具有一定关系的，结合三者之间的几何位置关系，推导出待标注人脸图像中人脸的旋转角度。

本发明实施例提供一种人脸数据标注方法，根据左眼、右眼和鼻子的预设位置信息，计算出待标注人脸图像中人脸的旋转角度，其根据预设关键点的预设位置信息与预设关键点之间的几何位置关系，推导出人脸的旋转角度，与传统的经过神经网络或聚类算法进行标注相比，不需要进行神经网络的训练或聚类模型的收敛等，提高了人脸数据标注方法的计算效率，适合大规模的人脸数据标注。

在上述实施例的基础上，优选地，所述根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度，包括：

具体地，根据左眼睛的预设位置信息、右眼睛的预设位置信息和鼻子的预设位置信息，计算出人脸的旋转角度，人脸的旋转角度包括围绕空间直角坐标系Z轴旋转的翻滚角(roll角)，和围绕空间直角坐标系Y轴旋转的偏航角(yaw角)。

空间坐标系是指以经过脖子水平横截面圆心且垂直于水平横截面的直线为Y轴，以经过鼻子中心点且垂直相交Y轴、且垂直于图片平面的直线为Z轴，以经过Y轴Z轴交点且同时垂直于Y轴和Z轴的直线为X轴建立的空间直角坐标系。

根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角；

具体地，根据左眼在图片中的坐标信息和右眼在图片中的坐标信息，根据二者之间的几何位置关系，计算得到人脸的翻滚角。具体地计算步骤见公式(1)：

其中，roll表示翻滚角，(x₁,y₁)表示所述左眼的坐标信息，(x₂,y₂)表示所述右眼的坐标信息。

根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，其中，所述旋转角度中包括围绕预设空间坐标系中Z轴旋转的所述翻滚角和围绕Y轴旋转的所述偏航角。

然后根据左眼的坐标信息、右眼的坐标信息以及鼻子的坐标信息，根据三者的几何位置关系和偏航角之间的联系，计算得到偏航角。

具体地计算步骤如下：

(1)基于左眼坐标、右眼坐标和鼻子坐标，应用公式(2)和公式(3)，计算出中间坐标(nx,ny)：

(2)、应用公式(4)和公式(5)计算中间距离d₁和d₂。

(3)、应用公式(6)计算出偏航角。

在上述实施例的基础上，优选地，还包括：

根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，所述预设关键点还包括左嘴角和右嘴角。

具体地，本发明实施例中预设关键点还包括左嘴角和右嘴角，也就是说，在待标注人脸图像中，人脸左嘴角和右嘴角的坐标也是已知的，在已知左眼、右眼、鼻子、左嘴角和右嘴角坐标的基础上，推测出人脸图像中其它目标关键点的标注信息，本发明实施例中，其它目标关键点的标注信息是指在直角坐标系中目标关键点的坐标。

本发明实施例中，直角坐标系是指以待标注人脸图像左上角为原点，以图片上边框为X轴，以图片左边框为Y轴建立的。

本发明实施例中，目标关键点包括左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角中的一种或多种，具体可以根据实际需要进行选择。

需要说明的，此处鼻子的标注信息是指鼻子在直角坐标系中的坐标信息，与预设关键点中鼻子的已知位置信息是不同的。

在上述实施例的基础上，优选地，所述根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，包括：

所述目标关键点包括左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角中的一种或多种；

若判断获知所述翻滚角的绝对值小于预设旋转阈值，则根据如下公式计算目标关键点的标注位置信息：

(nx_i,ny_i)＝(x_i×cos(roll)+y_i×cos(roll),y_i×cos(roll)-x_i×cos(roll))，

i＝1,2,3,4,5，

hee＝0.9×(mmy-ny₃)，

rmx₁＝rmx₇＝nx₁-sw/3，

rmx₂＝rmx₈＝rmx₁₄＝nx₁，

rmx₃＝rmx₉＝nx₁+sw/3，

rmx₄＝rmx₁₀＝nx₂-sw/3，

rmx₅＝rmx₁₁＝rmx₁₆＝nx₂，

rmx₆＝rmx₁₂＝nx₂+sw/3，

rmx₁₃＝nx₁-sw/2，

rmx₁₅＝nx₃，

rmx₁₇＝nx₂+sw/2，

rmx₁₈＝nx₄，

rmx₁₉＝(nx₄+nx₅)/2，

rmx₂₀＝nx₅，

rmy₁＝rmy₂＝rmy₃＝rmy₄＝rmy₅＝rmy₆＝emy-hee，

rmy₇＝rmy₈＝rmy₉＝ny₁，

rmy₁₀＝rmy₁₁＝rmy₁₂＝ny₂，

rmy₁₃＝rmy₁₄＝rmy₁₅＝rmy₁₆＝rmy₁₇＝ny₃，

rmy₁₈＝ny₄，

rmy₁₉＝(ny₄+ny₅)/2，

rmy₂₀＝ny₅，

(rx_m,rx_n)＝(rmx_m×cos(roll)-rmy_m×sin(roll),rmx_m×sin(roll)+rmy_m×cos(roll))，

m＝1,2,3,…,20，

其中，(x₄,y₄)表示所述左嘴巴的预设位置信息，(x₅,y₅)表示所述右嘴巴的预设位置信息，(rx₁,ry₁)表示所述左眉毛左端的标注位置信息，(rx₂,ry₂)表示所述左眉毛中间的标注位置信息，(rx₃,ry₃)表示所述左眉毛右端的标注位置信息，(rx₄,ry₄)表示所述右眉毛左端的标注位置信息，(rx₅,ry₅)表示所述右眉毛中间的标注位置信息，(rx₆,ry₆)表示所述右眉毛右端的标注位置信息，(rx₇,ry₇)表示所述左眼睛左端的标注位置信息，(rx₈,ry₈)表示所述左眼睛中间的标注位置信息，(rx₉,ry₉)表示所述左眼睛右端的标注位置信息，(rx₁₀,ry₁₀)表示所述右眼睛左端的标注位置信息，(rx₁₁,ry₁₁)表示所述右眼睛中间的标注位置信息，(rx₁₂,ry₁₂)表示所述右眼睛右端的标注位置信息，(rx₁₃,ry₁₃)表示所述左脸颊的标注位置信息，(rx₁₄,ry₁₄)表示所述左脸蛋的标注位置信息，(rx₁₅,ry₁₅)表示所述鼻子的标注位置信息，(rx₁₆,ry₁₆)表示所述右脸蛋的标注位置信息，(rx₁₇,ry₁₇)表示所述右脸颊的标注位置信息，(rx₁₈,ry₁₈)表示所述左嘴角的标注位置信息，(rx₁₉,ry₁₉)表示所述嘴部中间的标注位置信息，(rx₂₀,ry₂₀)表示所述右嘴角的标注位置信息。

具体地，计算目标关键点的标注位置信息步骤如下：

(1)、判断roll角的绝对值是否大于10度，如果大于，说明人脸的偏转角度过大，可以想象的是，如果人脸的偏转角度过大，人脸中的五官可能无法显示在图像中，这种情况下返回空集并结束流程；否则，进入步骤(2)。

此处10度即为预设旋转阈值，可根据实际需要进行选择。

(2)、假设左眼的预设位置信息为(x₁,y₁)，右眼的预设位置信息为(x₂,y₂)，鼻子的预设位置信息为(x₃,y₃)，左嘴巴的预设位置信息为(x₄,y₄)，右嘴巴的预设位置信息(x₅,y₅)。

(3)、按照公式(7)计算中间坐标(nx_i,ny_i)。

(nx_i,ny_i)＝(x_i×cos(roll)+y_i×cos(roll),y_i×cos(roll)-x_i×cos(roll))，(7)

i＝1,2,3,4,5，进入步骤(4)。

(4)、按照公式(8)-公式(11)计算emy、mmy、sw、hee。

hee＝0.9×(mmy-ny₃)，(11)

然后进入步骤(5)。

(5)、设左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角的坐标为(rx_m,ry_m)，m＝1,2,…,20，进入步骤(6)。

(6)、计算中间坐标(rmx_i,rmy_i)。

rmx₁＝rmx₇＝nx₁-sw/3，(12)

rmx₂＝rmx₈＝rmx₁₄＝nx₁，(13)

rmx₃＝rmx₉＝nx₁+sw/3，(14)

rmx₄＝rmx₁₀＝nx₂-sw/3，(15)

rmx₅＝rmx₁₁＝rmx₁₆＝nx₂，(16)

rmx₆＝rmx₁₂＝nx₂+sw/3，(17)

rmx₁₃＝nx₁-sw/2，(18)

rmx₁₅＝nx₃，(19)

rmx₁₇＝nx₂+sw/2，(20)

rmx₁₈＝nx₄，(21)

rmx₁₉＝(nx₄+nx₅)/2，(22)

rmx₂₀＝nx₅，(23)

rmy₁＝rmy₂＝rmy₃＝rmy₄＝rmy₅＝rmy₆＝emy-hee，(24)

rmy₇＝rmy₈＝rmy₉＝ny₁，(25)

rmy₁₀＝rmy₁₁＝rmy₁₂＝ny₂，(26)

rmy₁₃＝rmy₁₄＝rmy₁₅＝rmy₁₆＝rmy₁₇＝ny₃，(27)

rmy₁₈＝ny₄，(28)

rmy₁₉＝(ny₄+ny₅)/2，(29)

rmy₂₀＝ny₅，(30)

进入步骤(7)。

(7)按照公式(31)计算出(rx_m,ry_m)，m＝1,2,…,20。

(rx_m,rx_n)＝(rmx_m×cos(roll)-rmy_m×sin(roll),rmx_m×sin(roll)+rmy_m×cos(roll))，

m＝1,2,3,…,20，(31)

在上述实施例的基础上，优选地，还包括：

根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息。

具体地，当待标注人脸图像中已经存在矩形检测框时，可以根据左眼的坐标信息、右眼的坐标信息、鼻子的坐标信息、左嘴角的坐标信息和右嘴角的坐标信息，计算得出待标注人脸图像中矩形检测框的标注位置信息，此处，矩形检测框即为预设矩形检测框，矩形检测框的标注位置信息是指在直角坐标系中矩形检测框离原点最近的端点和最远的端点的坐标。其中，最近端点和最远端点为矩形检测框的一对角点。

在上述实施例的基础上，优选地，所述预设矩形检测框的标注位置信息包括一对角点的坐标，所述根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息，包括：

若判断获知所述旋转角度的翻滚角的绝对值大于所述预设旋转阈值，则应用如下公式进行计算：

(bmx₁,bmy₁)＝(nx₁-sw2,emy-1.1·hee)，

(bmx₂,bmy₂)＝(nx₂+sw/2,2·mmy-ny₃)，

(bx_n,by_n)＝(bmx_n×cos(roll)-bmy_n×sin(roll),bmx_n×sin(roll)+bmy_n×cos(roll))，

n＝1,2，

其中，(bx₁,by₁)表示所述预设矩形检测框中端点的坐标，(bx₂,by₂)表示对角端点的坐标。

具体地，计算预设矩形检测框中一对角点的坐标步骤如下：

(1)、判断翻滚角的绝对值是否大于10度，此处10度表示预设旋转阈值，若是则返回空集并结束流程，否则进入步骤2；

(2)、设左眼坐标为(x₁,y₁)，右眼坐标为(x₂,y₂)，鼻子坐标为(x₃,y₃)，左嘴角坐标为(x₄,y₄)，右嘴角坐标为(x₅,y₅)，进入步骤3；

(3)、应用公式(32)和公式(33)计算预设矩形检测框中距离坐标原点最近的角点坐标(bmx₁,bmy₁)和(bmx₂,bmy₂)。

(bmx₁,bmy₁)＝(nx₁-sw/2,emy-1.1·hee)，(32)

(bmx₂,bmy₂)＝(nx₂+sw/2,2·mmy-ny₃)，(33)

然后进入步骤4。

(4)、应用公式(34)计算预设矩形检测框的两个对角坐标(bx₁,by₁)和(bx₂,by₂)。

(bx_n,by_n)＝(bmx_n×cos(roll)-bmy_n×sin(roll),bmx_n×sin(roll)+bmy_n×cos(roll))，

n＝1,2，(34)

输出(bx₁,by₁)和(bx₂,by₂)。

本发明实施例提供的一种人脸数据标注方法，还可以根据预设关键点的位置信息，在该图片中的人脸图像被遮挡时，输出人脸中被遮挡的像素的坐标和存在遮挡时的新图像。

在上述实施例的基础上，优选地，还包括：

将所述预设矩形检测框的长和宽等分为N份，获取N*N个子矩形区域，N为正整数；

具体地，将预设矩形检测框的长和宽均等分为N份，即将预设矩形检测框分为N*N个子矩形区域，其中，N为正整数，本发明实施例中优选1、2和3。

随机选取n个子矩形区域，随机缩减n个子矩形区域边界，得到n个不规则形状的子矩形区域，所有n个子矩形区域内的像素构成所述人脸图像中被遮挡的部分。

从N*N个子矩形区域随机选取出n个子矩形区域，对于每个随机选择出来的子矩形区域，随机缩减每个子矩形区域的边界，得到n个不规则形状的子矩形区域，n个子矩形区域内的像素构成人脸图像中被遮挡的部分。

在上述实施例的基础上，优选地，还包括：

从集合S中随机选取与n个不规则形状的子矩形区域一一对应的相同形状的区域，将对应的相同形状的区域替换不规则形状的子矩形区域，得到被遮挡过后的新图片；

其中，集合S表示所述待标注人脸图像中非人脸部分的像素集合。

从集合S中随机选择n个和上述过程中不规则形状子区域一一对应的相同形状的区域，使用选择的n个区域内的像素一一替换上面n个子区域内的像素，集合S∈I，并且S∩R＝Φ，得到的新图片记为np，np即为被遮挡过后的新图片。

集合S表示所述待标注人脸图像中非人脸部分的像素集合，I表示待标注人脸图片区域所有像素构成集合，R表示预设矩形检测框内所有像素构成集合。

本发明一优选实施例提供一种人脸数据标注方法，该方法包括：

(1)、首先获取待标注人脸图像，该待标注人脸图像中包括左眼、右眼、鼻子、左嘴角和右嘴角5个预设关键点的在图像中的坐标。

(2)根据左眼坐标、右眼坐标，在空间坐标系中，按照公式(1)计算出人脸的翻滚角。

(3)根据左眼坐标、右眼坐标和鼻子坐标，在空间坐标系中，按照公式(2)至公式(6)计算出人脸的偏航角。

(4)判断翻滚角的绝对值是否大于10度，如果大于，返回空集并结束流程；否则，根据左眼坐标、右眼坐标、鼻子坐标、左嘴角坐标和右嘴角坐标，在直角坐标系中，按照公式(7)至公式(31)计算出待标注人脸图像中在直角坐标系中左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角的坐标。

(5)、接着根据左眼坐标、右眼坐标、鼻子坐标、左嘴角坐标和右嘴角坐标，按照公式(32)到(34)计算出预设矩形检测框中一对角点的坐标，作为预设矩形检测框的标注信息。

(6)、设整个待标注人脸图片区域所有像素构成集合I，所有人脸预设矩形检测框内所有像素构成集合R，进入步骤7；

(7)、将预设矩形检测框的长和宽等分为N份，进而将矩形区域等分为N*N个子矩形区域，N为大于0的整数，本发明实施例优选1、2、3，进入步骤8；

(8)、随机选择n个子矩形区域，随机缩减所述子矩形区域边界，得到n个不规则形状的子区域，记录所有n个子区域内的像素的坐标为pn，pn表示被遮挡部分的像素坐标，n为介于0到N*N的整数，进入步骤9；

(9)、从集合S中随机选择n个和步骤8中不规则形状子区域一一对应的相同形状的区域，使用选择的n个区域内的像素一一替换步骤8所述的n个子区域内的像素，集合S∈I，并且S∩R＝Φ，得到的新图片记为np，np即为被遮挡过后的新图片进入步骤10；

(10)、输出np和pn。

本发明实施例提供的一种人脸数据标注系统，如图2所示，该系统包括预设关键点模块201和标注模块202，其中：

预设关键点模块201用于获取待标注人脸图像中预设关键点的预设位置信息；

标注模块202用于根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

本实施例为与上述方法实施例相对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。

本发明实施例提供的一种电子设备，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(CommunicationsInterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行一种人脸数据标注方法，该方法包括：

获取待标注人脸图像中预设关键点的预设位置信息；

根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种人脸数据标注方法，该方法包括：

获取待标注人脸图像中预设关键点的预设位置信息；

根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种人脸数据标注方法，该方法包括：

获取待标注人脸图像中预设关键点的预设位置信息；

根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种人脸数据标注方法，其特征在于，包括：

获取待标注人脸图像中预设关键点的预设位置信息；

根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息；

所述标注信息包括所述待标注人脸图像中人脸的旋转角度，所述预设关键点包括左眼、右眼、鼻子，相应地，所述根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息，包括：

根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度；

所述根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度，包括：

根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角；

根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，其中，所述旋转角度中包括围绕预设空间坐标系中Z轴旋转的所述翻滚角和围绕Y轴旋转的所述偏航角；

所述根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角，应用如下公式获得：

其中，roll表示翻滚角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息；

和/或，

所述根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，应用如下公式获得：

其中，yaw表示所述旋转角度中的偏航角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息，(x₃,y₃)表示所述鼻子的预设位置信息。

2.根据权利要求1所述的人脸数据标注方法，其特征在于，还包括：

根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，所述预设关键点还包括左嘴角和右嘴角。

3.根据权利要求2所述的人脸数据标注方法，其特征在于，所述根据所述旋转角度、所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中目标关键点的标注位置信息，包括：

所述目标关键点包括左眉毛左端、左眉毛中间、左眉毛右端、右眉毛左端、右眉毛中间、右眉毛右端、左眼睛左端、左眼睛中间、左眼睛右端、右眼睛左端、右眼睛中间、右眼睛右端、左脸颊、左脸蛋、鼻子、右脸蛋、右脸颊、左嘴角、嘴部中间、右嘴角中的一种或多种；

若判断获知所述翻滚角的绝对值小于预设旋转阈值，则根据如下公式计算目标关键点的标注位置信息：

(nx_i,ny_i)＝(x_i×cos(roll)+y_i×cos(roll),y_i×cos(roll)-x_i×cos(roll))，

i＝1,2,3,4,5，

hee＝0.9×(mmy-ny₃)，

rmx₁＝rmx₇＝nx₁-sw/3，

rmx₂＝rmx₈＝rmx₁₄＝nx₁，

rmx₃＝rmx₉＝nx₁+sw/3，

rmx₄＝rmx₁₀＝nx₂-sw/3，

rmx₅＝rmx₁₁＝rmx₁₆＝nx₂，

rmx₆＝rmx₁₂＝nx₂+sw/3，

rmx₁₃＝nx₁-sw/2，

rmx₁₅＝nx₃，

rmx₁₇＝nx₂+sw/2，

rmx₁₈＝nx₄，

rmx₁₉＝(nx₄+nx₅)/2，

rmx₂₀＝nx₅，

rmy₁＝rmy₂＝rmy₃＝rmy₄＝rmy₅＝rmy₆＝emy-hee，

rmy₇＝rmy₈＝rmy₉＝ny₁，

rmy₁₀＝rmy₁₁＝rmy₁₂＝ny₂，

rmy₁₃＝rmy₁₄＝rmy₁₅＝rmy₁₆＝rmy₁₇＝ny₃，

rmy₁₈＝ny₄，

rmy₁₉＝(ny₄+ny₅)/2，

rmy₂₀＝ny₅，

(rx_m,rx_n)＝(rmx_m×cos(roll)-rmy_m×sin(roll),rmx_m×sin(roll)+rmy_m×cos(roll))，

m＝1,2,3,…,20，

其中，(x₄,y₄)表示所述左嘴角的预设位置信息，(x₅,y₅)表示所述右嘴角的预设位置信息，(rx₁,ry₁)表示所述左眉毛左端的标注位置信息，(rx₂,ry₂)表示所述左眉毛中间的标注位置信息，(rx₃,ry₃)表示所述左眉毛右端的标注位置信息，(rx₄,ry₄)表示所述右眉毛左端的标注位置信息，(rx₅,ry₅)表示所述右眉毛中间的标注位置信息，(rx₆,ry₆)表示所述右眉毛右端的标注位置信息，(rx₇,ry₇)表示所述左眼睛左端的标注位置信息，(rx₈,ry₈)表示所述左眼睛中间的标注位置信息，(rx₉,ry₉)表示所述左眼睛右端的标注位置信息，(rx₁₀,ry₁₀)表示所述右眼睛左端的标注位置信息，(rx₁₁,ry₁₁)表示所述右眼睛中间的标注位置信息，(rx₁₂,ry₁₂)表示所述右眼睛右端的标注位置信息，(rx₁₃,ry₁₃)表示所述左脸颊的标注位置信息，(rx₁₄,ry₁₄)表示所述左脸蛋的标注位置信息，(rx₁₅,ry₁₅)表示所述鼻子的标注位置信息，(rx₁₆,ry₁₆)表示所述右脸蛋的标注位置信息，(rx₁₇,ry₁₇)表示所述右脸颊的标注位置信息，(rx₁₈,ry₁₈)表示所述左嘴角的标注位置信息，(rx₁₉,ry₁₉)表示所述嘴部中间的标注位置信息，(rx₂₀,ry₂₀)表示所述右嘴角的标注位置信息。

4.根据权利要求3所述的人脸数据标注方法，其特征在于，还包括：

根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息。

5.根据权利要求4所述的人脸数据标注方法，其特征在于，所述预设矩形检测框的标注位置信息包括一对角点的坐标，所述根据所述旋转角度、所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息、所述左嘴角的预设位置信息和所述右嘴角的预设位置信息，获取所述待标注人脸图像中预设矩形检测框的标注位置信息，包括：

若判断获知所述旋转角度的翻滚角的绝对值大于所述预设旋转阈值，则应用如下公式进行计算：

(bmx₁,bmy₁)＝(nx₁-sw/2,emy-1.1·hee)，

(bmx₂,bmy₂)＝(nx₂+sw/2,2·mmy-ny₃)，

(bx_n,by_n)＝(bmx_n×cos(roll)-bmy_n×sin(roll),bmx_n×sin(roll)+bmy_n×cos(roll))，

n＝1,2，

其中，(bx₁,by₁)表示所述预设矩形检测框中端点的坐标，(bx₂,by₂)表示对角端点的坐标。

6.根据权利要求5所述的人脸数据标注方法，其特征在于，还包括：

将所述预设矩形检测框的长和宽等分为N份，获取N*N个子矩形区域，N为正整数；

随机选取n个子矩形区域，随机缩减n个子矩形区域边界，得到n个不规则形状的子矩形区域，所有n个不规则形状的子矩形区域内的像素构成所述人脸图像中被遮挡的部分；

从集合S中随机选取与n个不规则形状的子矩形区域一一对应的相同形状的区域，将对应的相同形状的区域替换不规则形状的子矩形区域，得到被遮挡过后的新图片；

其中，集合S表示所述待标注人脸图像中非人脸部分的像素集合。

7.一种人脸数据标注系统，其特征在于，包括：

预设关键点模块，用于获取待标注人脸图像中预设关键点的预设位置信息；

标注模块，用于根据所述预设关键点的预设位置信息以及不同的预设关键点之间的几何位置关系，获取所述待标注人脸图像中的标注信息；

所述标注信息包括所述待标注人脸图像中人脸的旋转角度，所述预设关键点包括左眼、右眼、鼻子；

所述标注模块，具体用于根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度；

所述根据所述左眼的预设位置信息、所述右眼的预设位置信息、所述鼻子的预设位置信息，以及所述左眼、所述右眼和所述鼻子之间的几何位置关系，获取所述待标注人脸图像中人脸的旋转角度，包括：

根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角；

根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，其中，所述旋转角度中包括围绕预设空间坐标系中Z轴旋转的所述翻滚角和围绕Y轴旋转的所述偏航角；

所述根据所述左眼的预设位置信息和所述右眼的预设位置信息，获取翻滚角，应用如下公式获得：

其中，roll表示翻滚角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息；

和/或，

所述根据所述左眼的预设位置信息、所述右眼的预设位置信息和所述鼻子的预设位置信息，获取偏航角，应用如下公式获得：

其中，yaw表示所述旋转角度中的偏航角，(x₁,y₁)表示所述左眼的预设位置信息，(x₂,y₂)表示所述右眼的预设位置信息，(x₃,y₃)表示所述鼻子的预设位置信息。

Images