CN111178117B - 数据处理方法及装置 - Google Patents

Abstract

本发明实施例提出了一种数据处理方法及装置，涉及人脸识别领域，该方法包括：获取当前帧图片中目标人脸的多个特征点；依据多个目标特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，第一偏侧程度值表征当前帧图片中目标人脸在水平方向上的偏侧程度，第二偏侧程度值表征当前帧图片中目标人脸在竖直方向上的偏侧程度；依据第一偏侧程度值和第二偏侧程度值，得到当前偏侧程度值；当当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别。本发明实施例所提供的一种数据处理方法及装置，能够提升在多帧图片中筛选出满足精度的图片的速度。

Description

数据处理方法及装置

技术领域

本发明涉及人脸识别领域，具体而言，涉及一种数据处理方法及装置。

背景技术

人脸姿态估计在人脸优选、人脸分析等应用中有重要的实际意义。一个准确、高效的人脸姿态估计方法不仅仅可以缩短人脸识别整体耗时，还可以为人脸属性等信息提供参考。

发明内容

本发明的目的在于提供一种数据处理方法及装置，能够提升在多帧图片中筛选出满足精度的图片的速度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：获取当前帧图片中目标人脸的多个特征点；依据所述多个目标特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度；依据所述第一偏侧程度值和所述第二偏侧程度值，得到当前偏侧程度值；当所述当前偏侧程度值大于第一预设阈值时，将所述当前帧图片不用于第一预设神经网络模型中进行人脸识别。

第二方面，本发明实施例提供了一种数据处理装置，所述装置包括：特征提取模块，用于获取当前帧图片中目标人脸的多个特征点；面积计算模块，用于计算所述多个特征点按照第一预设规则构成的三角形的面积；偏侧程度计算模块，用于依据所述多个目标特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度；当前偏侧程度值计算模块，用于依据所述第一偏侧程度值和所述第二偏侧程度值，得到当前偏侧程度值；判断模块，用于判断所述当前偏侧程度值是否大于第一预设阈值，其中，当所述判断模块判定所述当前偏侧程度值大于所述第一预设阈值时，将所述当前帧图片不用于第一预设神经网络模型中进行人脸识别。

第三方面，本发明实施例提供了一种摄像设备，所述摄像设备包括存储器，用于存储一个或多个程序；处理器。当所述一个或多个程序被所述处理器执行时，实现上述的数据处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法。

相对于现有技术，本发明实施例所提供的一种数据处理方法及装置，通过依据将多个特征点计算得到的第一偏侧程度值和第二偏侧程度值，进而依据第一偏侧程度值和第二偏侧程度值得到当前偏侧程度值，且在当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别，相比于现有技术，使用于人脸识别的图片均为当前偏侧程度值在第一预设阈值范围内的图片，能够提升在多帧图片中筛选出满足精度的图片的速度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出了本发明实施例所提供的一种摄像设备的一种示意性结构图；

图2示出了本发明实施例所提供的一种数据处理方法的一种示意性流程图；

图3为人脸定点示意图；

图4为图2中S200的子步骤的一种示意性流程图；

图5为图4中S210的子步骤的一种示意性流程图；

图6为三角形的一种示意性构成图；

图7为图2中S200的子步骤的另一种示意性流程图；

图8为图7中S230的子步骤的一种示意性流程图；

图9为第一交点与第二交点的一种示意性位置图；

图10为图7中S240的子步骤的一种示意性流程图；

图11为图2中S300的子步骤的一种示意性流程图；

图12示出了本发明实施例所提供的一种数据处理装置的一种示意性结构图；

图13示出了本发明实施例所提供的一种数据处理装置的偏侧程度计算模块的一种示意性结构图；

图14示出了本发明实施例所提供的一种数据处理装置的面积计算单元的一种示意性结构图；

图15示出了本发明实施例所提供的一种数据处理装置的交点获取单元的一种示意性结构图；

图16示出了本发明实施例所提供的一种数据处理装置的第二偏侧程度值计算单元的一种示意性结构图；

图17示出了本发明实施例所提供的一种数据处理装置的当前偏侧程度值计算模块的一种示意性结构图。

图中：10-摄像设备；110-存储器；120-处理器；130-存储控制器；140-外设接口；150-射频单元；160-通讯总线/信号线；170-摄像单元；200-数据处理装置；210-特征提取模块；220-偏侧程度计算模块；221-面积计算单元；2211-第一连线生成子单元；2212-面积生成子单元；222-第一偏侧程度计算单元；223-交点获取单元；2231-第二连线生成子单元；2232-交点计算子单元；224-第二偏侧程度计算单元；2241-第一旋转角度计算子单元；2242-第二旋转角度计算子单元；2243-第二偏侧程度值计算子单元；230-当前偏侧程度值计算模块；231-中间程度值生成单元；232-当前偏侧程度值生成单元；240-判断模块；250-识别偏侧程度值生成模块；260-当前偏侧程度值更新模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

在对人脸识别的应用场景中，比如说人脸识别考勤机，需要对多帧的人脸进行优选，挑选出质量最高、角度最佳、最适合识别的一帧图像来进行人脸识别，以减少后续操作流程中的耗时，并提升人脸识别的准确率。

现有技术中，一般采用单一计算公式，将人脸关键点信息(比如人脸中的嘴唇、鼻子、眼睛等)作为偏侧角度的计算依据，得到表征偏侧角度的数值。但这种方法在面对人脸偏侧程度较大时，由于受人脸关键点信息的定位精度的影像，导致偏侧角度的计算结果误差较大，效果较大；并且由于人脸的尺度、表情很难保持一致，因此这种方法的鲁棒性也较差。

现有技术中还采用对人脸图像进行3D复原的做法，形成一个3D模型，然后在此基础上对3D人脸完成分析，得到人脸偏侧角度。虽然这一类方法的精度很高，但由于需要对人脸图像进行3D复原，导致运算时间较长；尤其是在3D重建时，由于重建的过程需要耗费较多的时间，导致实际应用中很难达到实时性。

基于上述现有技术的缺陷，本发明实施例所提供的一种改进方式为：通过依据将多个特征点计算得到的第一偏侧程度值和第二偏侧程度值，进而依据第一偏侧程度值和第二偏侧程度值得到当前偏侧程度值，且在当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别。

请参阅图1，图1示出了本发明实施例所提供的一种摄像设备10的一种示意性结构图，在本发明实施例中，所述摄像设备10包括存储器110、存储控制器130，一个或多个(图中仅示出一个)处理器120、外设接口140、射频单元150、摄像单元170等。这些组件通过一条或多条通讯总线/信号线160相互通讯。

存储器110可用于存储软件程序以及模组，如本发明实施例所提供的数据处理装置200对应的程序指令/模组，处理器120通过运行存储在存储器110内的软件程序以及模组，从而执行各种功能应用以及图像处理，如本发明实施例所提供的数据处理方法。

其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

处理器120可以是一种集成电路芯片，具有信号处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。

外设接口140将各种输入/输入装置耦合至处理器120以及存储器110。在一些实施例中，外设接口140，处理器120以及存储控制器130可以在单个芯片中实现。在本发明其他的一些实施例中，他们还可以分别由独立的芯片实现。

射频单元150用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

摄像单元170用于拍摄照片，以使处理器120对拍摄的照片进行处理。

可以理解，图1所示的结构仅为示意，摄像设备10可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参阅图2，图2示出了本发明实施例所提供的一种数据处理方法的一种示意性流程图，在本发明实施例中，该数据处理方法包括以下步骤：

S100，获取当前帧图片中目标人脸的多个特征点。

在对当前帧图片处理前，需要获取当前帧图片中目标人脸的多个特征点，也就是对当前帧图片中的目标人脸进行人脸定点。通常来说，人脸定点包括对人脸部的眼睛、眉毛、鼻翼、嘴唇等部位的定位，一般可以通过计算机视觉技术完成，比如利用Align CNN模型，并加入裁剪技术，得到如图3所示的人脸定点，在如图3所示的示意图中，共计定位出21个关键点，并以坐标(x_j,y_j)的形式进行存储。

S200，依据多个目标特征点，分别得到第一偏侧程度值和第二偏侧程度值。

人脸的偏侧角度分别水平方向上的偏侧和竖直方向上的偏侧，可以解释为：以一姿态作为标准，在左右摇头时产生的是水平方向上的偏侧，在上下点头时产生的是竖直方向上的偏侧。而在对当前帧图片中的目标人脸进行处理时，目标人脸的偏侧往往包含了水平方向上的偏侧及竖直方向上的偏侧，即是说，目标人脸在当前帧图片中可能既有左右摇头的动作也有上下点头的动作。

因此，在获取定点结果后，利用定点得到的多个特征点，分别目标人脸在当前帧图片中的第一偏侧程度值和第二偏侧程度值，其中，第一偏侧程度值表征当前帧图片中目标人脸在水平方向上的偏侧程度，第二偏侧程度值表征当前帧图片中目标人脸在竖直方向上的偏侧程度。

可选地，作为一种实施方式，请参阅图4，图4为图2中S200的子步骤的一种示意性流程图，在本发明实施例中，S200中得到第一偏侧程度值的方式包括以下子步骤：

S210，计算多个特征点按照第一预设规则构成的三角形的面积。

S220，根据三角形的面积得到第一偏侧程度值。

在本发明实施例中，在计算第一偏侧程度值时，按照第一预设规则构成三角形，然后计算该三角形的面积。由于人脸左右摇摆的幅度不同，则按照相同的预设规则形成的三角形的面积也会产生差异，因此，利用该三角形的面积，可以求取表征人脸左右摇摆幅度的偏侧值。

可选地，作为一种实施方式，所获得的多个特征点中，包括有第一区域特征点集、第二区域特征点集及第三区域特征点集，其中，所获得的多个特征点中，包含有多个计算点，比如图3所示中的点1一直到点21，而第一区域特征点集、第二区域特征点集及第三区域特征点集各自包含的点则为点1到点21中的部分点，且第一区域特征点集、第二区域特征点集及第三区域特征点集各自包含的点互相不重合，而且，第一区域特征点集、第二区域特征点集及第三区域特征点集包含的所有点的集合可以等于所获得的多个特征点的集合，也可以小于所获得的多个特征点的集合，这取决于第一区域特征点集、第二区域特征点集及第三区域特征点集各自在当前帧图片上的分区情况而定。比如在如图3所示的示意图中，第一区域特征点集可以包括人脸左眼区域及左眉区域所包含的所有点，第二区域特征点集可以包括人脸右眼区域及右眉区域所包含的所有点，而第三区域特征点集可以包括人脸嘴唇区域所包含的所有点；或者是，第一区域特征点集可以包括人脸左眼区域及左眉区域所包含的所有点，第二区域特征点集可以包括人脸右眼区域及右眉区域所包含的所有点，而第三区域特征点集可以包括人脸嘴唇区域及鼻翼区域所包含的所有点。

但值得注意的是，第一区域特征点集与第二区域特征点集及第三区域特征点集三者不位于同一直线上。

可选地，作为一种实施方式，请参阅图5，图5为图4中S210的子步骤的一种示意性流程图，在本发明实施例中，S210包括以下子步骤：

S211，由第一区域特征点集包含的计算点与第三区域特征点集包含的计算点确定第一连线、由第二区域特征点集包含的计算点与第三区域特征点集包含的计算点确定第二连线以及由第三区域特征点集包含的计算点确定第三连线。

如上所述，在利用定点得到的多个特征点确定出一个三角形时，在获得的第一区域特征点集、第二区域特征点集及第三区域特征点集中，由第一区域特征点集包含的计算点与第三区域特征点集包含的计算机确定一条第一连线、且由第二区域特征点集包含的计算点与第三区域特征点集包含的计算点确定一条第二连线，以及由于第三区域特征点集包含的计算点确定一条第三连线，然后由这三条连线构成一个三角形。

比如，作为一种实施方式，请参阅图6，图6为三角形的一种示意性构成图，第一区域特征点集包括第一外侧眼角点，第二区域特征点集包括第二外侧眼角点，第三区域特征点集包括第一嘴角点、第二嘴角点及上嘴唇中心点，也即是说，第一区域特征点集和第二区域特征点集各自包含了两个外侧眼角点中的其中一个，而第三区域特征点集包含了两个嘴角点以及上唇中心点。

并且，可选地，作为一种实施方式，第一外侧眼角点与第一嘴角点位于目标人脸的同一侧，比如，第一外侧眼角点定为图6中的点10，而第一嘴角点定为图6中的点21，可以理解，此时第二外侧眼角点则为图6中的点7，第二嘴角点则为图6中的点20。

此时，第一连线则为第一外侧眼角点10与第一嘴角点21的连线，第二连线为第二外侧眼角点7与第二嘴角点20的连线，第三连线为当前帧图片的竖直方向上经过上嘴唇中心点14的直线，具体的连线结果如图6所示。

可以理解，在本发明实施例其他的一些实施方式中，第一连线的形成还可以采用其他的方式，比如，第一外侧眼角点与第二嘴角点的连线为第一连线，相应地，第二外侧眼角点与第一嘴角点的连线则为第二连线，或者是，当第一区域特征点集还包括第一眉尾点时，第一连线还可以是第一眉尾点与第一嘴角点的连线，只要能确定出三条连线构成如图6所示的三角形即可，比如，当第一区域特征点集还包括第一眉尾点时，第一连线还可以是第一眉尾点与第二嘴角点的连线，而第二连线为第二外侧眼角点与第一嘴角点的连线，或者是，当第一区域特征点集还包括第一眉尾点且第二区域特征点集还包括有第二眉尾点时，第一连线为第一眉尾点与第一嘴角点的连线，而第二连线为第二眉尾点与第一嘴角点的连线。

S212，计算第一连线与第二连线及第三连线所构成的三角形面积。

如图6所示，在确定得到第一连线、第二连线及第三连线后，依据这三条连线两两相交得到的三个交点，比如图6中的点O、点A及点B，得到一个确定的三角形，比如图6中的Δ_OAB。并且，由于定位得到的所有点各自均有坐标(x_j,y_j)，因此，可以利用每个点的坐标求得三条连线各自的表达式，然后再利用三个联系各自的表达式，求得三个交点各自的坐标，进而利用三个交点各自的坐标，得到所围成的三角形的面积。

基于上述设计，本发明实施例所提供的一种数据处理方法，通过依据目标人脸中的特征点所构成的三角形的面积，用以表征第一偏侧程度值，进而表征目标人脸在水平方向上的偏侧程度，而非依赖于单一的计算公式，提升了评价目标人脸在水平方向上的偏侧程度的鲁棒性。

请继续参阅图4，S300，根据三角形的面积得到第一偏侧程度值。

利用上述得到的三角形的面积，比如图6中Δ_OAB的面积，得到第一偏侧程度值，即

其中，A₁为第一偏侧程度值，为Δ_OAB的面积，第一偏侧程度值表征当前帧图片中目标人脸在水平方向上的偏侧程度，第一偏侧程度值越大，表征目标人脸在水平方向上的偏侧程度越大；相对地，第一偏侧程度值越小，表征目标人脸在水平方向上的偏侧程度越小。

而由三角形的面积得到第一偏侧程度值的方式可以是：直接将三角形的面积作为第一偏侧程度值，或者是，根据预设的比例系数处理三角形的面积后，将得到的结果作为第一偏侧程度值，只要能根据三角形的面积得到第一偏侧程度值即可。

可选地，作为一种实施方式，请参阅图7，图7为图2中S200的另一种示意性流程图，在本发明实施例中，S200中得到第二偏侧程度值的方式包括以下子步骤：

S230，确定多个特征点中的第一点集包含的多个计算点按照第二预设规则连线得到的第一交点以及确定多个特征点中的第二点集包含的多个计算点按照第三预设规则连线得到的第二交点。

如上所述，人脸的偏侧角度分别水平方向上的偏侧和竖直方向上的偏侧，上述得到的第一偏侧程度值表征的是当前帧图片中目标人脸在水平方向上的偏侧程度。

在计算当前帧图片中目标人脸竖直方向上的偏侧程度时，先按照多个特征点中的第一点集包含的多个计算点，按照第二预设规则连线得到第一交点，以及按照多个特征点中的第二点集包含的多个计算点，按照第二预设规则连线得到第二交点。

可选地，作为一种实施方式，请参阅图8，图8为图7中S230的子步骤的一种示意性流程图，在本发明实施例中，S230包括以下子步骤：

S231，由多个特征点中的第一点集包含的多个计算点两两相连得到多条第一点集连线，以及由多个特征点中的第二点集包含的多个计算点两两相连得到多条第二点集连线。

在连线得到第一交点和第二交点时，首先按照点与点之间两两相连的方式，将多个特征点中的第一点集包含的多个计算点，按照两两相连的方式得到多条第一点集连线；相应地，在多个特征点中的第二点集包含的多个计算点中，同样按照两两相连的方式得到多条第二点集连线。

值得说明的是，在获得第一点集连线时，并不是说第一点集里面的所有点均会参与两两相连得到第一点集连线，只要得到的第一点集连线的数量超过两条，且所得到的所有第一点集连线间不完全相互平行即可；同理，在获得第二点集连线时，同样并非是第二点集里面的所有点均会参与两两相连得到第二点集连线，只要得到的第二点集连线的数量超过两条，且所得到的所有第二点集连线间不完全相互平行即可。

S232，依据多条第一点集连线中的两条连线的交点作为第一交点，以及依据多条第二点集连线中的两条连线的交点作为第二交点。

可选地，作为一种实施方式，第一点集包括第一外侧眼角点、第二外侧眼角点、第一鼻翼点和第二鼻翼点，第二点集包括第一内侧眼角点、第二内侧眼角点、第一鼻翼点及第二鼻翼点。

并且，作为一种实施方式，将第一外侧眼角点和第二鼻翼点连线与第二外侧眼角点和第一鼻翼点连线的交点作为第一交点；将第一内侧眼角点和第二鼻翼点连线与第二内侧眼角点和第一鼻翼点连线的交点作为第二交点。比如，请参阅图9，图9为第一交点与第二交点的一种示意性位置图，假定第一外侧眼角点、第一内侧眼角点和第一鼻翼点均位于图9中人脸的左脸部分，而第二外侧眼角点、第二内侧眼角点和第二鼻翼点则均位于图9中人脸的右脸部分，点10和点11构成的连线与点7和点13构成的连线的交点P则为第一交点；点9和点11构成的连线与点8和点13构成的连线的交点Q则为第二交点。

可以理解，在本发明实施例其他的一些实施方式中，第一点集还可以包括其他的点，比如第一眉尾点、第二眉尾点等，第二点集也可以包括其他的点，比如第一眉头点、第二眉头点等，这取决于对第一点集和第二点集各自的定义。

并且，在本发明实施例其他的一些实施方式中，第一交点还可以是第一外侧眼角点和第一鼻翼点连线与第二外侧眼角点和第二鼻翼点连线的交点，相应地，第二交点还可以是第一内侧眼角点和第一鼻翼点连线与第二内侧眼角点和第二鼻翼点连线的交点，只要能够通过确定的方式得到第一交点和第二交点即可，比如，当第一点集中还包括第一眉尾点和第二眉尾点时，第一交点还可以是第一眉尾点和第二鼻翼点连线与第二眉尾点和第一鼻翼点连线的交点。

值得说明的是，S230与S210之间并没有固定的先后执行关系，可以是先执行S210再执行S230，也可以是先执行S230再执行S210，这取决于所涉及的功能而定，比如，在本发明实施例其他的一些实施方式中，S210还可以是与S230一起执行。

请继续参阅图7，S240，依据第一交点和第二交点，得到第二偏侧程度值。

在得到上述的第一交点和第二交点后，例如图9中的点P与点Q，根据这两个交点在预设坐标系下的坐标，进而得到该目标人脸在当前帧图片中的第二偏侧程度值，其中，该第二偏侧程度值表征当前帧图片中目标人脸在竖直方向上的偏侧程度。

可选地，作为一种实施方式，在该当前帧图片中建立有预设坐标系，第一交点及第二交点均位于预设坐标系中，预设坐标系包括第一坐标轴和第二坐标轴，请参阅图10，图10为图7中S240的子步骤的一种示意性流程图，在本发明实施例中，S240包括以下子步骤：

S241，依据第一预设方程处理第一交点和第二交点，得到第一旋转角度。

基于第一交点和第二交点各自在预设坐标系中的坐标，根据第一预设方程处理第一交点和第二交点，进而得到第一旋转角度，其中，第一旋转角度表征当前帧图片中目标人脸与第一坐标轴的夹角。

可选地，作为一种实施方式，得到第一旋转角度的计算公式为：

其中，α为第一旋转角度，x₁、y₁分别为第一交点在预设坐标系下的x坐标和y坐标，x₂、y₂分别为第二交点在预设坐标系下的x坐标和y坐标。

S242，依据第二预设方程处理第一交点和第二交点，得到第二旋转角度。

同上述第一旋转角度的计算方式，基于上述第一交点和第二交点各自在预设坐标系下的坐标，依据第二预设方程处理该第一交点和第二交点，进而得到第二旋转角度，其中，第二旋转角度表征当前帧图片中目标人脸与第二坐标轴的夹角。

可选地，作为一种实施方式，得到第一旋转角度的计算公式为：

其中，β为第一旋转角度，x₁、y₁分别为第一交点在预设坐标系下的x坐标和y坐标，x₂、y₂分别为第二交点在预设坐标系下的x坐标和y坐标。

值得说明的是，S241与S242之间并没有固定的先后执行关系，可以是先执行S241再执行S242，也可以是先执行S242再执行S241，这取决于所涉及的功能而定，比如，在本发明实施例其他的一些实施方式中，S241还可以是与S242一起执行。

S243，依据第一旋转角度和第二旋转角度，得到第二偏侧程度值。

依据上述的第一旋转角度α和第二旋转角度β得到第二偏侧程度值的方式可以是：将第一旋转角度α和第二旋转角度β分别乘以第一预设系数和第二预设系数后求和，即是说，第二偏侧程度值的计算公式为：

其中，A₂为第二偏侧程度值，为第一预设系数，/>为第二预设系数。

并且，值得说明的是，在本发明实施例其他的一些实施方式，还可以采用其他的方式计算第一偏侧程度值和第二偏侧程度值，比如，在获得当前帧图片时，先由当前帧图片中目标人脸的2D人脸图像转换为3D人脸图像，然后再于3D人脸图像上制作标准的3D人脸图像(既没有水平方向上的偏侧也没有竖直方向上的偏侧)，然后依据标准的3D人脸图像，计算转换得到的3D人脸图像在水平方向及竖直方向上的偏侧程度，进而得到第一偏侧程度值和第二偏侧程度值，主要能够依据当前帧图片中的目标人脸计算得到第一偏侧程度值和第二偏侧程度值即可。

请继续参阅图2，S300，依据第一偏侧程度值和第二偏侧程度值，得到当前偏侧程度值。

如上所述，第一偏侧程度值表征的是当前帧图片中目标人脸在水平方向上的偏侧程度，第二偏侧程度值表征的是当前帧图片中目标人脸在竖直方向上的偏侧程度，而一般来说，目标人脸在当前帧图片中，既包含水平方向上的偏侧，也包含有竖直方向上的偏侧，因此，基于上述得到的第一偏侧程度值和第二偏侧程度值得到当前偏侧程度值，该当前偏侧程度值表征的是目标人脸在当前帧图片中的复合偏侧程度。

可选地，作为一种实施方式，请参阅图11，图11为图2中S300的子步骤的一种示意性流程图，在本发明实施例中，S300包括以下子步骤：

S310，计算第三预设系数、第四预设系数各自与第一偏侧程度值和第二偏侧程度值的乘积，分别得到第一中间程度值和第二中间程度值。

S320，以第一中间程度值与第二中间程度值两者的和作为当前偏侧程度值。

综上，当前偏侧程度值的计算公式为：

其中，A为当前偏侧程度值，为第三预设系数，/>为第四预设系数，A₁为第一偏侧程度值，A₂为第二偏侧程度值。

S600，判断当前偏侧程度值是否大于第一预设阈值；当当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别；当当前偏侧程度值小于或等于第一预设阈值时，将当前帧图片用于第一预设神经网络模型中进行人脸识别。

第一预设阈值表征的是目标人脸在当前帧图片中的偏侧极限，将上述得到的当前偏侧程度值与第一预设阈值相比对，当当前偏侧程度值大于第一预设阈值时，表征目标人脸在当前帧图片的偏侧程度过大，超过了能容许的偏侧极限，此时则将当前帧图片不用于第一预设神经网络中进行人脸识别；相应地，当当前偏侧程度值小于或等于第一预设阈值时，表征目标人脸在当前帧图片中的偏侧程度处于偏侧极限的范围内，此时则将当前帧图片用于第一预设神经网络中进行人脸识别。

并且，在当前帧图片的判断结束后，则以下一帧图片重新作为新的当前帧图片，继续执行上述的步骤。

基于上述设计，本发明实施例所提供的一种数据处理方法，通过依据将多个特征点计算得到的第一偏侧程度值和第二偏侧程度值，进而依据第一偏侧程度值和第二偏侧程度值得到当前偏侧程度值，且在当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别，相比于现有技术，使用于人脸识别的图片均为当前偏侧程度值在第一预设阈值范围内的图片，能够提升在多帧图片中筛选出满足精度的图片的速度。

在上述的过程中，当当前帧图片中的目标人脸的当前偏侧程度值小于或等于第一预设阈值时，当前帧图片将会用于第一预设神经网络模型中进行人脸识别，此时是不需要准确获悉当前帧图片中目标人脸的偏侧程度值的；反之，当当前帧图片中的目标人脸的当前偏侧程度值大于第一预设阈值时，当前帧图片将不会用于第一预设神经网络模型中进行人脸识别，此时则需要对当前帧图片中的目标人脸的偏侧程度值作出精确的计算。

因此，可选地，作为一种实施方式，请继续参阅图2，当当前偏侧程度值大于第一预设阈值时，该数据处理方法还包括：

S500，以第二预设神经网络模型处理当前帧图片，得到当前帧图片中目标人脸的识别偏侧程度值。

第二预设神经网络模型为用于识别目标人脸在当前帧图片中的偏侧程度值的神经网络模型，比如采用基于CNN(Convolutional Neural Network，卷积神经网络)网络模型的人脸角度预测模型，将预先标定好的人脸偏侧角度与人脸图像送入到第二预设神经网络模型中进行训练，得到一个人脸预测网络。

因此，当判定目标人脸在当前帧图片中的当前偏侧程度值大于第一预设阈值时，利用该第二预设神经网络模型，处理该当前帧图片，进而得到该当前帧图片中目标人脸的识别偏侧程度值。由于该识别偏侧程度值是由训练后的第二神经网络模型识别得到的，其精度远大于上述计算得到的当前偏侧程度值。

S600，以识别偏侧程度值更新当前偏侧程度值。

可选地，作为一种实施方式，以识别偏侧程度值更新当前偏侧程度值的公式为：

S＝(1-λ)B+λA，

其中，A为当前偏侧程度值，B为识别偏侧程度值，S为更新后的当前偏侧程度值，λ为预设参数。

并且，作为一种实施方式，在本发明实施例中，当当前偏侧程度值大于第二预设阈值时，λ＝0，当当前偏侧程度值小于或等于第二预设阈值、且大于第二预设阈值的一半时，λ＝0.5，当当前偏侧程度值小于或等于第二预设阈值的一半时，λ＝1。上述以识别偏侧程度值更新当前偏侧程度值的公式的意义在于，在当前偏侧程度值较小时，比如小于或等于第二预设阈值的一半时，则以计算得到的当前偏侧程度值为主；而在当前偏侧程度值较大时，比如大于第二预设阈值时，则以第二预设神经网络模型识别得到的识别偏侧程度值为主；而在当前偏侧程度值小于或等于第二预设阈值、且大于第二预设阈值的一半时，则结合当前偏侧程度值和识别偏侧程度值两者的结合得到最终的结果。

值得说明的是，第二预设阈值大于上述的第一预设阈值，并且，在本发明实施例其他的一些实施方式中，预设参数λ还可以是固定的值。

基于上述设计，本发明实施例所提供的一种数据处理方法，通过在判定当前偏侧程度值大于第一预设阈值时，以第二预设神经网络模型处理该当前帧图片，进而得到当前帧图片中目标人脸的识别偏侧程度值，以采用该识别偏侧程度值更新当前偏侧程度值，提升当前偏侧程度值的精度，提升不同应用场景下的适用性。

请参阅图12，图12示出了本发明实施例所提供的一种数据处理装置200的一种示意性结构图，在本发明实施例中，该数据处理装置200包括特征提取模块210、偏侧程度计算模块220、当前偏侧程度值计算模块230及判断模块240。

特征提取模块210用于获取当前帧图片中目标人脸的多个特征点。

偏侧程度计算模块220用于依据所述多个目标特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度。

可选地，作为一种实施方式，请参阅图13，图13示出了本发明实施例所提供的一种数据处理装置200的偏侧程度计算模块220的一种示意性结构图，在本发明实施例中，该偏侧程度计算模块220包括面积计算单元221及第一偏侧程度计算单元222。

面积计算单元221用于计算所述多个特征点按照第一预设规则构成的三角形的面积。

可选地，作为一种实施方式，所述多个特征点中包括第一区域特征点集、第二区域特征点集及第三区域特征点集，请参阅图14，图14示出了本发明实施例所提供的一种数据处理装置200的面积计算单元221的一种示意性结构图，在本发明实施例中，该面积计算单元221包括第一连线生成子单元2211及面积生成子单元2212。

第一连线生成子单元2211用于由所述第一区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第一连线、由所述第二区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第二连线以及由所述第三区域特征点集包含的计算点确定第三连线。

面积生成子单元2212用于计算所述第一连线与所述第二连线及所述第三连线所构成的三角形面积。

请继续参阅图13，第一偏侧程度计算单元222用于根据所述三角形的面积得到第一偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度。

可选地，作为一种实施方式，请继续参阅图13，在本发明实施例中，该偏侧程度计算模块220还包括交点获取单元223和第二偏侧程度计算单元224。

交点获取单元223用于确定所述多个特征点中的第一点集包含的多个计算点按照第二预设规则连线得到的第一交点以及确定所述多个特征点中的第二点集包含的多个计算点按照第三预设规则连线得到的第二交点。

请参阅图15，图15示出了本发明实施例所提供的一种数据处理装置200的交点获取单元223的一种示意性结构图，在本发明实施例中，该交点获取单元223包括第二连线生成子单元2231及交点计算子单元2232。

第二连线生成子单元2231用于由所述多个特征点中的所述第一点集包含的多个计算点两两相连得到多条第一点集连线，以及由所述多个特征点中的所述第二点集包含的多个计算点两两相连得到多条第二点集连线。

交点计算子单元2232用于依据所述多条第一点集连线中的两条连线的交点作为所述第一交点，以及依据所述多条第二点集连线中的两条连线的交点作为所述第二交点。

请继续参阅图13，第二偏侧程度计算单元224用于依据所述第一交点和所述第二交点，得到第二偏侧程度值，其中，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度。

可选地，作为一种实施方式，所述第一交点及所述第二交点均位于预设坐标系中，请参阅图16，图16示出了本发明实施例所提供的一种数据处理装置200的第二偏侧程度计算单元224的一种示意性结构图，在本发明实施例中，该第二偏侧程度计算单元224包括第一旋转角度计算子单元2241、第二旋转角度计算子单元2242及第二偏侧程度值计算子单元2243。

第一旋转角度计算子单元2241用于依据第一预设方程处理所述第一交点和所述第二交点，得到第一旋转角度，其中，所述第一旋转角度表征所述当前帧图片中所述目标人脸与所述第一坐标轴的夹角。

第二旋转角度计算子单元2242用于依据第二预设方程处理所述第一交点和所述第二交点，得到第二旋转角度，其中，所述第二旋转角度表征所述当前帧图片中所述目标人脸与所述第二坐标轴的夹角。

第二偏侧程度值计算子单元2243用于依据所述第一旋转角度和所述第二旋转角度，得到所述第二偏侧程度值。

请继续参阅图12，当前偏侧程度值计算模块230用于依据所述第一偏侧程度值和所述第二偏侧程度值，得到当前偏侧程度值。

可选地，作为一种实施方式，请参阅图17，图17示出了本发明实施例所提供的一种数据处理装置200的当前偏侧程度值计算模块230的一种示意性结构图，在本发明实施例中，该当前偏侧程度值计算模块230包括中间程度值生成单元231及当前偏侧程度值生成单元232。

中间程度值生成单元231用于计算第三预设系数、第四预设系数各自与所述第一偏侧程度值和所述第二偏侧程度值的乘积，分别得到第一中间程度值和第二中间程度值。

当前偏侧程度值生成单元232用于以所述第一中间程度值与所述第二中间程度值两者的和作为所述当前偏侧程度值。

请继续参阅图12，判断模块240用于判断所述当前偏侧程度值是否大于第一预设阈值，其中，当所述判断模块240判定所述当前偏侧程度值大于所述第一预设阈值时，将所述当前帧图片不用于第一预设神经网络模型中进行人脸识别。

可选地，作为一种实施方式，请继续参阅图12，在本发明实施例中，该数据处理装置200还包括识别偏侧程度值生成模块250及当前偏侧程度值更新模块260。

识别偏侧程度值生成模块250用于以第二预设神经网络模型处理所述当前帧图片，得到所述当前帧图片中所述目标人脸的识别偏侧程度值。

当前偏侧程度值更新模块260用于以所述识别偏侧程度值更新所述当前偏侧程度值。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明实施例所提供的一种数据处理方法及装置，通过依据将多个特征点计算得到的第一偏侧程度值和第二偏侧程度值，进而依据第一偏侧程度值和第二偏侧程度值得到当前偏侧程度值，且在当前偏侧程度值大于第一预设阈值时，将当前帧图片不用于第一预设神经网络模型中进行人脸识别，相比于现有技术，使用于人脸识别的图片均为当前偏侧程度值在第一预设阈值范围内的图片，能够提升在多帧图片中筛选出满足精度的图片的速度；还通过依据目标人脸中的特征点所构成的三角形的面积，用以表征第一偏侧程度值，进而表征目标人脸在水平方向上的偏侧程度，而非依赖于单一的计算公式，提升了评价目标人脸在水平方向上的偏侧程度的鲁棒性；通过在判定当前偏侧程度值大于第一预设阈值时，以第二预设神经网络模型处理该当前帧图片，进而得到当前帧图片中目标人脸的识别偏侧程度值，以采用该识别偏侧程度值更新当前偏侧程度值，提升当前偏侧程度值的精度，提升不同应用场景下的适用性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种数据处理方法，其特征在于，所述方法包括：

获取当前帧图片中目标人脸的多个特征点；所述多个特征点中包括第一区域特征点集、第二区域特征点集及第三区域特征点集；所述第一区域特征点集、所述第二区域特征点集及所述第三区域特征点集各自包含的点互相不重合；

依据所述多个特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度；

依据所述第一偏侧程度值和所述第二偏侧程度值，得到当前偏侧程度值；

当所述当前偏侧程度值大于第一预设阈值时，将所述当前帧图片不用于第一预设神经网络模型中进行人脸识别；

所述依据所述多个特征点，得到第一偏侧程度值的步骤，包括：

由所述第一区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第一连线、由所述第二区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第二连线以及由所述第三区域特征点集包含的计算点确定第三连线；

计算所述第一连线与所述第二连线及所述第三连线所构成的三角形面积；

根据所述三角形的面积得到所述第一偏侧程度值。

2.如权利要求1所述的方法，其特征在于，所述第一区域特征点集包括第一外侧眼角点，所述第二区域特征点集包括第二外侧眼角点，所述第三区域特征点集包括第一嘴角点、第二嘴角点及上嘴唇中心点；

所述第一连线为所述第一外侧眼角点与所述第一嘴角点的连线，所述第二连线为所述第二外侧眼角点与所述第二嘴角点的连线，所述第三连线为所述当前帧图片的竖直方向上经过所述上嘴唇中心点的直线。

3.如权利要求1所述的方法，其特征在于，所述依据所述多个特征点，得到第二偏侧程度值的步骤，包括：

由所述多个特征点中的第一点集包含的多个计算点两两相连得到多条第一点集连线，以及由所述多个特征点中的第二点集包含的多个计算点两两相连得到多条第二点集连线；

依据所述多条第一点集连线中的两条连线的交点作为第一交点，以及依据所述多条第二点集连线中的两条连线的交点作为第二交点；

依据所述第一交点和所述第二交点，得到所述第二偏侧程度值。

4.如权利要求3所述的方法，其特征在于，所述第一点集包括第一外侧眼角点、第二外侧眼角点、第一鼻翼点和第二鼻翼点，所述第二点集包括第一内侧眼角点、第二内侧眼角点、所述第一鼻翼点及所述第二鼻翼点；

所述第一交点为所述第一外侧眼角点和所述第二鼻翼点连线与所述第二外侧眼角点和所述第一鼻翼点连线的交点；

所述第二交点为所述第一内侧眼角点和所述第二鼻翼点连线与所述第二内侧眼角点和所述第一鼻翼点连线的交点。

5.如权利要求3所述的方法，其特征在于，所述第一交点及所述第二交点均位于预设坐标系中，所述预设坐标系包括第一坐标轴和第二坐标轴，所述依据所述第一交点和所述第二交点，得到第二偏侧程度值的步骤，包括：

依据第一预设方程处理所述第一交点和所述第二交点，得到第一旋转角度，其中，所述第一旋转角度表征所述当前帧图片中所述目标人脸与所述第一坐标轴的夹角；

依据第二预设方程处理所述第一交点和所述第二交点，得到第二旋转角度，其中，所述第二旋转角度表征所述当前帧图片中所述目标人脸与所述第二坐标轴的夹角；

依据所述第一旋转角度和所述第二旋转角度，得到所述第二偏侧程度值。

6.如权利要求1所述的方法，其特征在于，当所述当前偏侧程度值大于所述第一预设阈值时，所述方法还包括：

以第二预设神经网络模型处理所述当前帧图片，得到所述当前帧图片中所述目标人脸的识别偏侧程度值；

以所述识别偏侧程度值更新所述当前偏侧程度值。

7.一种数据处理装置，其特征在于，所述装置包括：

特征提取模块，用于获取当前帧图片中目标人脸的多个特征点；所述多个特征点中包括第一区域特征点集、第二区域特征点集及第三区域特征点集；所述第一区域特征点集、所述第二区域特征点集及所述第三区域特征点集各自包含的点互相不重合；偏侧程度计算模块，用于依据所述多个特征点，分别得到第一偏侧程度值和第二偏侧程度值，其中，所述第一偏侧程度值表征所述当前帧图片中所述目标人脸在水平方向上的偏侧程度，所述第二偏侧程度值表征所述当前帧图片中所述目标人脸在竖直方向上的偏侧程度；

偏侧程度计算模块，用于由所述第一区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第一连线、由所述第二区域特征点集包含的计算点与所述第三区域特征点集包含的计算点确定第二连线以及由所述第三区域特征点集包含的计算点确定第三连线；计算所述第一连线与所述第二连线及所述第三连线所构成的三角形面积；根据所述三角形的面积得到所述第一偏侧程度值；

当前偏侧程度值计算模块，用于依据所述第一偏侧程度值和所述第二偏侧程度值，得到当前偏侧程度值；

判断模块，用于判断所述当前偏侧程度值是否大于第一预设阈值，其中，当所述判断模块判定所述当前偏侧程度值大于所述第一预设阈值时，将所述当前帧图片不用于第一预设神经网络模型中进行人脸识别。