CN110751009A - 人脸识别方法、目标识别方法、装置和电子设备 - Google Patents

Abstract

本申请提供了一种人脸识别方法、目标识别方法、装置和电子设备，其中，该方法包括：检测待识别图像中是否包含有侧脸图像；如果是，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像，基于该正脸图像进行人脸识别。本申请实施例中，先检测图片中是否有侧脸图像，如有存在侧脸图像，则通过脸部转换模型将侧脸图像转换为对应的正脸图像，进而再对该正脸图像进行人脸识别，该方式可以避免对侧脸进行人脸识别时识别准确率较低的问题，提高了人脸识别的准确率。

Description

人脸识别方法、目标识别方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种人脸识别方法、目标识别方法、装置和电子设备。

背景技术

目前，传统的人脸检测和识别方式大多基于人脸的正面特征实现。但是在很多实际拍摄环境下，如行车记录仪、监控摄像头等，往往仅能拍摄到人脸的侧脸图像；由于这些侧脸图像可能会遗失部分人脸特征，并且脸型、以及五官的位置关系也会发生变化，通过传统的人脸检测可能检测不到侧脸，即使检测到侧脸，后续也经常会识别错误，导致人脸识别的准确度较差。

发明内容

有鉴于此，本申请实施例的目的在于提供一种人脸识别方法、目标识别方法、装置和电子设备，以提高人脸识别的准确度。

根据本申请的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令，以执行一个或多个以下操作：

一种人脸识别方法，该方法包括以下步骤：检测待识别图像中是否包含有侧脸图像；如果是，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；基于正脸图像进行人脸识别。

在一些实施例中，上述检测待识别图像中是否包含有侧脸图像还可以包括以下步骤：对待识别图像进行人脸检测；如果检测到人脸，检测人脸所在区域中的参考部位信息；根据参考部位信息判断人脸是否为侧脸；如果是侧脸，确定待识别图像中包含有侧脸图像。

在一些实施例中，上述根据参考部位信息判断人脸是否为侧脸，可以采用以下两种方式进行，一种方式包括以下步骤：如果检测到的参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由鼻部位置点、左嘴角位置点和左眼位置点组成的第一三角形的第一面积，以及由鼻部位置点、右嘴角位置点和右眼位置点组成的第二三角形的第二面积；计算第一面积与第二面积的面积比例；根据面积比例判断人脸是否为侧脸。另一种方式包括以下步骤：如果检测到的参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将人脸所在区域分为左区域和右区域；计算左区域与右区域的面积比例；根据面积比例判断人脸是否为侧脸。其中，上述两种实施方式中均包括步骤：根据面积比例判断人脸是否为侧脸，该步骤包括：在预先存储的角度表中，查找面积比例对应的侧脸角度；其中，角度表包括面积比例与侧脸角度的对应关系；如果查找到的侧脸角度非0，确定人脸为侧脸。

在一些实施例中，上述检测待识别图像中是否包含有侧脸图像包括以下步骤：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的人脸区域框，确定待识别图像包含有侧脸图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧脸样本和侧脸样本对应的正脸样本，其中，侧脸样本和正脸样本均预先标注有侧脸角度，且正脸样本的侧脸角度为0；应用侧脸样本和正脸样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像，可以采用以下两种方式进行，一种方式包括以下步骤：基于预先训练好的脸部转换模型对侧脸图像进行编码，得到编码向量；通过脸部转换模型对编码向量进行解码转换，得到正脸图像。另一种方式包括以下步骤：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸对齐和人脸正面化操作，得到侧脸图像的正脸图像。

在一些实施例中，上述基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像，还可以采用以下方式进行，该方式包括以下步骤：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到侧脸图像的正脸图像；上述基于正脸图像进行人脸识别，包括以下步骤：对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；基于得到部位的特征数据进行人脸识别。

根据本申请的另一个方面，还提供一种目标识别方法，该方法包括以下步骤：检测待识别图像中是否包含有目标对象的侧视图像；如果是，基于预先训练好的对象转换模型，将侧视图像转换为正视图像；基于正视图像进行目标识别。

在一些实施例中，上述检测待识别图像中是否包含有目标对象的侧视图像，可以由两种方式实现，一种方式包括以下步骤：对待识别图像进行目标对象检测；如果检测到的目标对象，检测目标对象所在区域中的参考部位信息；根据参考部位信息判断目标对象是否为侧视对象；如果是，确定待识别图像中包含有目标对象的侧视图像。另一种方式包括以下步骤：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的对象区域框，确定待识别图像包含有目标对象的侧视图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧视对象样本和侧视对象样本对应的正视对象样本，其中，侧视对象样本和正视对象样本均预先标注有侧视角度，且正视对象样本的侧视角度为0；应用侧视对象样本和正视对象样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述基于预先训练好的对象转换模型，将侧视图像转换为正视图像，可以由两种方式实现，一种方式包括以下步骤：基于预先训练好的对象转换模型对侧视图像进行编码，得到编码向量；通过对象转换模型对编码向量进行解码转换，得到正视图像。另一种方式包括以下步骤：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到侧视图像的正视图像。

在一些实施例中，上述基于预先训练好的对象转换模型，将侧视图像转换为正视图像，还可以由以下方式实现，该方式包括以下步骤：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到侧视图像的正视图像；上述基于正视图像进行目标识别包括以下步骤：对正视图像进行对象部位对齐，得到正视图像中每个部位的特征数据；基于得到部位的特征数据进行目标识别。

根据本申请的另一方面，还提供一个或多个人脸识别装置，该装置包括：侧脸图像检测模块，用于检测待识别图像中是否包含有侧脸图像；正脸图像转换模块，用于如果侧脸图像检测模块检测到侧脸图像，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；人脸识别模块，用于基于正脸图像进行人脸识别。

在一些实施例中，上述侧脸图像检测模块可以用于：对待识别图像进行人脸检测；如果检测到的人脸，检测人脸所在区域中的参考部位信息；根据参考部位信息判断人脸是否为侧脸；如果是侧脸，确定待识别图像中包含有侧脸图像。

在一些实施例中，上述侧脸图像检测模块还可以用于：如果检测到的参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由鼻部位置点、左嘴角位置点和左眼位置点组成的第一三角形的第一面积，以及由鼻部位置点、右嘴角位置点和右眼位置点组成的第二三角形的第二面积；计算第一面积与第二面积的面积比例；根据面积比例判断人脸是否为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：如果检测到的参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将人脸所在区域分为左区域和右区域；计算左区域与右区域的面积比例；根据面积比例判断人脸是否为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：在预先存储的角度表中，查找面积比例对应的侧脸角度；其中，角度表包括面积比例与侧脸角度的对应关系；如果查找到的侧脸角度非0，确定人脸为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的人脸区域框，确定待识别图像包含有侧脸图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧脸样本和侧脸样本对应的正脸样本，其中，侧脸样本和正脸样本均预先标注有侧脸角度，且正脸样本的侧脸角度为0；应用侧脸样本和正脸样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述正脸图像转换模块可以用于：基于预先训练好的脸部转换模型对侧脸图像进行编码，得到编码向量；通过脸部转换模型对编码向量进行解码转换，得到正脸图像。

在一些实施例中，上述正脸图像转换模块还可以用于：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸对齐和人脸正面化操作，得到侧脸图像的正脸图像。

在一些实施例中，上述正脸图像转换模块还用于：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到侧脸图像的正脸图像；上述人脸识别模块用于：对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；基于得到部位的特征数据进行人脸识别。

根据本申请的另一个方面，还提供一种目标识别装置，该装置包括：侧视图像检测模块，用于检测待识别图像中是否包含有目标对象的侧视图像；正视图像转换模块，用于如果侧视图像检测模块检测到侧视图像，基于预先训练好的对象转换模型，将侧视图像转换为正视图像；目标识别模块，用于基于正视图像进行目标识别。

在一些实施例中，上述侧视图像检测模块可以用于：对待识别图像进行目标对象检测；如果检测到的目标对象，检测目标对象所在区域中的参考部位信息；根据参考部位信息判断目标对象是否为侧视对象；如果是，确定待识别图像中包含有目标对象的侧视图像。

在一些实施例中，上述侧视图像检测模块还可以用于：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的对象区域框，确定待识别图像包含有目标对象的侧视图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧视对象样本和侧视对象样本对应的正视对象样本，其中，侧视对象样本和正视对象样本均预先标注有侧视角度，且正视对象样本的侧视角度为0；应用侧视对象样本和正视对象样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述正视图像转换模块可以用于：基于预先训练好的对象转换模型对侧视图像进行编码，得到编码向量；通过对象转换模型对编码向量进行解码转换，得到正视图像。

在一些实施例中，上述正视图像转换模块还可以用于：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到侧视图像的正视图像。

在一些实施例中，上述正视图像转换模块还可以用于：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到侧视图像的正视图像。上述目标识别模块可以用于：对正视图像进行对象部位对齐，得到正视图像中每个部位的特征数据；基于得到部位的特征数据进行目标识别。

根据本申请的另一个方面，还提供一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如上述人脸识别方法的步骤，或者如上述目标识别方法的步骤。

根据本申请的另一个方面，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的人脸识别方法的步骤，或者上述的目标识别方法的步骤。

基于上述人脸识别方法的任一方面，首先检测待识别图像中是否包含有侧脸图像；如果包含有侧脸图像，则通过脸部转换模型将侧脸图像转换为正脸图像，进而再对该正脸图像进行人脸识别。该方式中，先检测图片中是否有侧脸图像，如有存在侧脸图像，则通过脸部转换模型将侧脸图像转换为对应的正脸图像，进而再对该正脸图像区域进行人脸识别，该方式可以避免对侧脸进行人脸识别时识别准确率较低的问题，提高了人脸识别的准确率。

另外，基于上述目标识别方法的任一方面，先检测图片中是否有侧视图像，如有存在侧视图像，则通过对象转换模型将侧视图像转换为对应的正视图像，进而再对该正视图像进行目标识别，该方式可以避免对侧视图像进行目标识别时识别准确率较低的问题，提高了目标识别的准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种电子设备的结构示意图；

图2示出了本申请实施例所提供的一种人脸识别方法的流程图；

图3示出了本申请实施例所提供的另一种人脸识别方法的流程图；

图4示出了本申请实施例所提供的一种参考部位信息的示意图；

图5示出了本申请实施例所提供的另一种参考部位信息的示意图；

图6示出了本申请实施例所提供的另一种人脸识别方法的流程图；

图7示出了本申请实施例所提供的另一种人脸识别方法的流程图；

图8示出了本申请实施例所提供的一种侧脸图像通过脸部转换模型得到正脸图像的示意图；

图9示出了本申请实施例所提供的另一种侧脸图像通过脸部转换模型得到正脸图像的示意图；

图10示出了本申请实施例所提供的一种目标识别方法的流程图；

图11示出了本申请实施例所提供的一种人脸识别装置的结构示意图；

图12示出了本申请实施例所提供的一种目标识别装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

图1示出可以实现本申请思想的服务器110、服务请求方终端130、服务提供方终端140的电子设备200的示例性硬件和软件组件的一种电子设备的结构示意图。例如，处理器可以用于电子设备200上，并且用于执行本申请中的功能。

电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的人脸识别方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。

例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。

为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本申请中的电子设备200还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。

基于上述电子设备的描述，本申请实施例首先描述一种人脸识别方法，如图2所示一种人脸识别方法的流程图，该方法包括如下步骤：

步骤S202，检测待识别图像中是否包含有侧脸图像；

该待识别图像可以通过设备拍摄得到，如行车记录仪、摄像头等具有拍摄功能的设备；该待识别图像还可以从视频帧中截取，该视频帧也可以由上述设备拍摄得到；该待识别图像还可以从数据库或网络中获取。一般而言，设备从人脸的正面拍摄得到人脸的正脸图像，从人脸的侧面拍摄得到人脸的侧脸图像；相对于正脸图像，侧脸图像可以具有多种侧脸角度、如30度、45度、60度、75度等。通常，侧脸图像与正脸图像相比，脸型轮廓会发生变化、五官的形状、相对位置关系会发生变化，另外还可能遗失被遮挡一侧的特征，如被遮挡一侧的脸部眼睛、眉毛等。

在检测过程中，通常先判断待识别图像中是否能够检测到人脸特征，该人脸特征可以为局部人脸特征，如眼睛、鼻子、嘴巴中的一种或多种；如果能够从待识别图像中检测到人脸特征，则说明该待识别图像中存在人脸；进而再检测该人脸是否是侧脸。在检测该人脸是否是侧脸的过程中，可以预设侧脸条件，该侧脸条件可以根据五官的位置关系、左右脸的比例、缺少的脸部特征等设置，如果检测到的人脸满足上述侧脸条件，则可以确定上述待识别图像中包含有侧脸图像。

步骤S204，如果待识别图像中包含有侧脸图像，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；

该脸部转换模型可以通过多种机器学习模型训练得到，如神经网络等；该机器学习模型可以基于人脸的对称性，从侧脸图像中提取一侧人脸的人脸特征，然后再将该人脸特征对称映射至被遮挡一侧的脸部，从而得到正脸图像。

步骤S206，基于正脸图像进行人脸识别。

转换得到正脸图像后，即可通过相关的人脸识别方式进行人脸识别；具体而言，可以提取正脸图像中的各个特征点，将提取到的特征点与人脸数据库中保存的特征点进行比较，从而得到上述待识别图像中人脸的身份信息。

本发明实施例提供的上述人脸识别方法，首先检测待识别图像中是否包含有侧脸图像；如果包含有侧脸图像，则通过脸部转换模型将侧脸图像转换为正脸图像，进而再对该正脸图像进行人脸识别。该方式中，先检测图片中是否有侧脸图像，如有存在侧脸图像，则通过脸部转换模型将侧脸图像转换为对应的正脸图像，进而再对该正脸图像区域进行人脸识别，该方式可以避免对侧脸进行人脸识别时识别准确率较低的问题，提高了人脸识别的准确率。

本发明实施例还提供另一种人脸识别方法，该方法在上述实施例的基础上实现；该方法重点描述基于人脸所在区域中的参考部位信息确定待识别图像中是否包含有侧脸图像的方式；如图3所示另一种人脸识别方法的流程图，该方法包括如下步骤：

步骤S302，获取待识别图像；

步骤S304，对待识别图像进行人脸检测，判断是否检测到人脸；如果是，执行步骤S306；如果否，结束；

该人脸检测可以通过神经网络等机器学习方式实现。待识别图像经人脸检测后，其检测结果可以以检测框的形式标识在待识别图像上，该检测框中为检测到的人脸的图像区域；该检测结果可以为人脸的图像区域的位置信息，如坐标、图像区域的长度、宽度等信息。如果检测不到人脸，该检测结果可以为零或者错误，以告知用户该待识别图像中不存在人脸；此时，则无需在执行后续流程，继续获取下一个待识别图像进行处理。

步骤S306，检测人脸所在区域中的参考部位信息；

具体地，参考图4所示的一种参考部位信息的示意图，该参考部位信息可以包含人脸的各种位置点或者特定位置点间组成的面部区域；其中，该位置点可以为眉毛、眼镜、鼻子、嘴巴、耳朵、耳朵等的中心点、轮廓点，以及脸部轮廓点等；特定位置点之间连线即可得到面部区域，如图4中，左眼睛中心处的位置点、鼻尖处的位置点和左侧嘴角处的位置点连续得到左侧脸部区域；右眼睛中心处的位置点、鼻尖处的位置点和右侧嘴角处的位置点连续得到右侧脸部区域。可以理解，参考部位信息包含的位置点越多，该参考部位信息越能真实反映待识别图像中人脸的整体轮廓和器官细节等特征。

步骤S308，根据参考部位信息判断人脸是否为侧脸；如果是，执行步骤S310；如果否，执行步骤S314；

其中一种方式中，如果检测到的参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由鼻部位置点、左嘴角位置点和左眼位置点组成的第一三角形的第一面积，以及由鼻部位置点、右嘴角位置点和右眼位置点组成的第二三角形的第二面积；再计算上述第一面积与第二面积的面积比例，进而根据该面积比例判断人脸是否为侧脸。

图4作为一种示例，可以将左眼中心点作为脸部左眼位置点、右眼中心点作为右眼位置点、鼻尖作为鼻部位置点；当然，左眼位置点和右眼位置点还可以为眼睛的内眼角位置点、外眼角位置点等；鼻部位置点也可以为鼻部其他的位置点等，在此不做具体限定。上述由鼻部位置点、左嘴角位置点和左眼位置点组成的第一三角形，即可通过鼻部位置点、左嘴角位置点和左眼位置点连线得到，该第一三角形可以如图4中的横向纹理绘制的三角形。上述由鼻部位置点、右嘴角位置点和右眼位置点组成的第二三角形，即可通过鼻部位置点、右嘴角位置点和右眼位置点连线得到，该第二三角形可以如图4中的纵向纹理绘制的三角形。

上述第一三角形的第一面积和第二三角形的第二面积可以采用预设的计算公式或采用坐标积分求解面积的方法进行计算；其中，预设的计算公式通常根据第一三角形和第二三角形的边长和内角建立的，例如，该计算公式可以设置为：

其中，a和b为第二三角形的任两边长度，θ为两边夹角的角度值。如图4所示的第二三角形的两边a和b，及夹角θ，通过a和b的长度，及夹角θ即可计算得到第二三角形的第二面积，按照同样的方式可以计算得到第一三角形的第一面积，在此不再赘述。

得到上述第一三角形的第一面积和第二三角形的第二面积之后，即可将第一三角形的第一面积除以第二三角形的第二面积得到上述第一面积与第二面积的面积比例，也可以将第二三角形的第二面积除以第一三角形的第一面积得到上述第一面积与第二面积的面积比例。可以理解，当人脸为正脸时，第一三角形的第一面积和第二三角形的第二面积相同，或存在微小差异，此时的面积比例为一或接近一；当人脸为侧脸时，第一三角形的第一面积和第二三角形的第二面积会产生明显差异，此时二者的面积比例会距离“1”较远；基于此，可以设置一个比例阈值，该比例阈值通常为“1”附近的一个数值区域，当上述面积比例超出该数值区域时，即可确定该人脸为侧脸。

根据参考部位信息判断人脸是否为侧脸的另一种方式中，如果检测到的参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将人脸所在区域分为左区域和右区域；再计算左区域与右区域的面积比例；进而根据该面积比例判断人脸是否为侧脸。

图5示出了另一种参考部位信息的示意图；图5中示出了由鼻部位置点组成的鼻部区域，即鼻根位置点n1、左鼻翼位置点n2、右鼻翼位置点n3、鼻尖位置点n4，将这些位置点连接构成封闭空间即上述鼻部区域。另外，将鼻根位置点n1和鼻尖位置点n4连接，可以得到鼻部区域的中心线。将该鼻部区域的中心线进行延长，即可将人脸所在区域分为左区域和右区域；具体实现时，鼻部区域的中心线可以沿着鼻唇沟位置点n5、上唇中心位置点m1、下唇中心位置点m2和下颚最低位置点位置点f1进行延长，即可得到中心线的延长线。在进一步确定左区域和右区域的具体位置范围时，可以获取参数部分信息中的其他位置点，如眉毛位置点、人脸轮廓位置点，将这些位置点以平滑曲线连接，并与上述中心线的延长线形成两个闭合区域，这两个闭合区域即为上述左区域和右区域，如图5所示的长虚线所围成的左区域和右区域。

在进行左区域和右区域的面积计算时，可以采用坐标积分的方式进行计算。与上述方式类似，可以设置一个比例阈值，该比例阈值通常为一附近的一个数值区域，当左区域和右区域的面积比例超出该数值区域时，即可确定该人脸为侧脸。

在上述两种判断人脸是否为侧脸的方式中，最后都需要根据面积比例判断人脸是否为侧脸；其中一种方式中，可以设置一个面积比例阈值，通过比较进行判断。具体实现时，求取第一面积和第二面积的比值，或求取左区域和右区域的面积比值，以获取待识别图像的人脸面部比值，将该人脸面部比值与预设的面积比例阈值进行比较，进而判断人脸是否为侧脸。由于人脸为非对称性图形，且参考部位的布局和个数会影响面积的计算，因此，预设的面部比例阈值通常设置为一个以“1”为中心的浮动取值范围，以便于包容面积的计算误差，及人脸固有的对称误差，例如，预设的面部比例阈值可以设定为0.9至1.1，当人脸面部比值小于0.9或大于1.1时，则认为人脸为侧脸，否则，认为人脸为正脸。该面部比例阈值具体可以根据实际需求设置。

另一种方式中，可以预先设置一个角度表，该角度表中保存了面积比例与侧脸角度的对应关系；在预先存储的该角度表中，查找面积比例对应的侧脸角度；如果查找到的侧脸角度非0，确定人脸为侧脸。在实际实现时，如果人脸只是略微侧脸，通常不会影响人脸识别的效果，基于此，为了进一步减低运算量，可以设置一个角度范围，如果查找到的测量角度超出该角度范围，可以确定该人脸为侧脸，如该角度范围为-10到10度，具体可以根据实际需求设置。

步骤S310，确定待识别图像中包含有侧脸图像；

步骤S312，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；

步骤S314，基于正脸图像进行人脸识别。

上述方式中，首先通过人脸检测得到待识别图像中的人脸参考信息，并根据该人脸参考信息，将人脸划分为两个的面积区域，通过比较两个面积区域的比值确定人脸是否为侧脸；如果检测到有侧脸图像，再基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；并基于正脸图像进行人脸识别。这种利用人脸参考部分将人脸进行划分不同面积区域的方式，能够准确对待识别图像中的人脸是否为侧脸进行判断，判断方法易于实现，且具有较高的准确性。

本发明实施例还提供另一种人脸识别方法，该方法在上述实施例的基础上实现；该方法重点描述另一种确定待识别图像中是否包含有侧脸图像的方式，该方式中，通过预先训练好的模型识别待识别图像中是否包含有侧脸图像；如图6所示另一种人脸识别方法的流程图，该方法包括如下步骤：

步骤S602，获取待识别图像；

步骤S604，对待识别图像进行人脸检测，判断是否检测到人脸；如果是，执行步骤S606；如果否，结束；

步骤S606，将待识别图像输入预先训练好的角度分类模型；

该角度分类模型可以对待识别图像中的人脸进行角度判断，并输出角度判断结果，该角度判断结果可以包含人脸的侧脸角度值，还可以包含该人脸对应的检测框位置。另外，该角度分类模型具体可以通过下述步骤01和02得到：

步骤01，获取侧脸样本和侧脸样本对应的正脸样本，其中，侧脸样本和正脸样本均预先标注有侧脸角度，且正脸样本的侧脸角度为0；

具体实现时，侧脸样本和侧脸样本对应的正脸样本可以通过数据库获得，也可以通过截取视频帧得到；对于同一个人的侧脸样本和正脸样本，可以设置有相同的标识；同一个人的侧脸样本中可以包含有多种侧脸角度的样本，其正脸样本可以包含有多张样本，每张正脸样本的拍摄角度、面部表情可能有所不同。

上述侧脸样本和正脸样本中预先标注的侧脸角度，可以预先根据实际需求确定标注精度，该标注精度可以为5度，此时上述侧脸样本和正脸样本中标注的侧脸角度可以为0度、5度、10度、15度等；该标注精度也可以为10度，此时上述侧脸样本和正脸样本中标注的侧脸角度可以为0度、10度、20度、30度等；可以理解，标注精度越高，训练得到的角度分类模型的分类精度也就越高；标注精度越低，训练得到的角度分类模型的分类精度也就越低；具体可以根据模型的实际分类需求设置，在此不做限定。

步骤02，应用上述侧脸样本和正脸样本训练初始分类模型，得到训练好的角度分类模型。

具体地，该初始分类模型可以为逻辑回归、决策树、神经网络等模型。在训练过程中，可以通过分类损失函数对训练过程进行监督，该分类损失函数可以为平方损失函数、交叉熵损失函数或归一化指数函数(softmax函数)等；当分类损失函数输出的损失值收敛或者满足预设的损失值阈值时，即可确定模型训练完成，得到训练好的角度分类模型。

步骤S608，判断上述角度分类模型输出信息是否包含有角度非0的人脸区域框；如果是，执行步骤S610；如果否，执行步骤S614；

步骤S610，确定待识别图像包含有侧脸图像；

步骤S612，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；

步骤S614，基于正脸图像进行人脸识别。

上述方式中，利用预先训练的角度分类模型对待识别图像中的人脸进行检测，如果检测到有侧脸图像，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；并基于正脸图像进行人脸识别。该角度分类模型基于多组人像样本进行学习和训练，具有较强的预测能力，能够准确对待识别图像中的人脸进行侧脸角度预测，且侧脸角度的预测准确度更高。

本发明实施例还提供另一种人脸识别方法，该方法在上述实施例的基础上实现；该方法重点描述将侧脸图像转换为正脸图像的具体方式；如图7所示另一种人脸识别方法的流程图，该方法包括如下步骤：

步骤S702，获取待识别图像；

步骤S704，对待识别图像进行人脸检测，判断是否检测到人脸；如果是，执行步骤S706；如果否，结束；

步骤S706，将待识别图像输入预先训练好的角度分类模型；

步骤S708，判断上述角度分类模型输出信息是否包含有角度非0的人脸区域框；如果是，执行步骤S710；如果否，执行步骤S716；

步骤S710，确定待识别图像中包含有侧脸图像。

步骤S712，基于预先训练好的脸部转换模型对侧脸图像进行编码，得到编码向量；

其中，该脸部转换模型可以利用神经网络训练得到，如特征金字塔网络等。上述编码的过程可以理解为对侧脸图像提取特征点的过程，上述编码向量中可以包含有提取到的各个特征点，以及特征点的位置、相对位置等信息。

该脸部转换模型具体可以通过下述方式训练得到：通过数据库或截取视频帧获得多个侧脸样本以及每个侧脸样本对应的正脸样本；逐一将每组侧脸样本和对应的正脸样本输入至初始模型中进行训练，以使模型学习到侧脸样本与正脸样本的对应关系，以及转换关系。

具体而言，在脸部转换模型训练的过程中，可以提取侧脸样本和正脸样本中的参考部分的特征点，根据侧脸角度及上述特征点，对脸部转换模型进行训练，其中一种训练方式为，在训练过程中，以正脸样本的特征点为学习目标，对侧脸角度为-90度到90度范围内的所有侧脸样本进行训练，生成一套适用于全侧脸角度的脸部转换模型，以便在未知侧脸角度的情况下，可以采用该模型对侧脸的特征值进行编译，得到编码向量。

另一种训练方式为，按着标注的标注精度，将同一侧脸角度的侧脸样本进行训练，以生成与该侧脸角度对应的脸部转换模型，最终生成适用于全侧脸角度的脸部转换模型集合群，该脸部转换模型集合群包括多组脸部转换模型，每组脸部转换模型适用于一个特定的侧脸角度；具体可以预先将侧脸角度进行分类，如分为五类，分别为90度、45度、0度、-45度、-90度等，也可以划分为其他角度类型。具体实现时，根据待识别的图片中人像的侧脸角度，调用该侧脸角度所匹配的脸部转换模型，利用该脸部转换模型进行侧脸图像的编译。其中，侧脸样本的标注精度值越小，所建立的脸部转换模型集合群越精细，对不同侧脸图片的编译精准性越高。在上述侧脸图像编译的过程中，该脸部转换模型可以提取侧脸图像中的多个特征点，并将特征点以一定的形式进行编译，生成编码向量，该编码向量中包含有从侧脸图像提取到的各个特征点，以及特征点的位置、相对位置等信息。

步骤S714，通过脸部转换模型对编码向量进行解码转换，得到正脸图像；

具体而言，在上述解码转换的过程中，可以预设一个正脸图像的模板图像，该模板图像中预设有各个特征点的标准位置；根据各个特征点的标准位置、以及上述编码向量中包含的各个特征点位置；可以得到上述侧脸图像与上述模板图像的映射关系，该映射关系可以通过矩阵式的形式表达；通过该映射关系，将侧脸图像中的各个像素点映射至正脸图像的模板图像中，从而得到该侧脸图像对应的正脸图像。

图8示出了一种侧脸图像通过上述脸部转换模型得到正脸图像的示意图；脸部转换模型对侧脸图像进行编码的过程，可以通过编码器实现，该编码器可以包含多层卷积层，每侧卷积层用于输出对应尺度的特征图，对于特征金字塔网络，依次相邻的多次卷积层输出的特征图尺度依次变小，该特征图即为上述编码向量。在解码过程中，相当于对特征图进行逐层融合的过程，较小尺度的特征图融合至下一层较大尺度的特征图中，直至到达最后一层的最大尺度的特征图，得到融合后的最终特征图；该最终特征图再经卷积运算，即可得到上述正脸图像、其中，上述融合的过程通常包含线性差值、逐点相加、逐点相乘等。

图9示出了另一种侧脸图像通过上述脸部转换模型得到正脸图像的示意图；为了评估上述脸部转换模型的转换效果，可以将模型输出的正脸图像和侧脸图像对应的标准正脸图像进行比较，得到二者的相似度，通常，相似度越高，上述脸部转换模型的转换效果越好。具体而言，上述比较的过程，也可以通过网络实现，该网络也可以称为辨别器，该辨别器可以由多层卷积层组成，通过分别提取模型输出的正脸图像和侧脸图像对应的标准正脸图像的特征，比较二者特征的相似度，即可得到两幅图像的相似度。

上述方式中，通过编码和解码转换的方式得到侧脸图像对应的正脸图像；在另一种方式中，还可以根据侧脸图像的侧脸角度，对图像进行人脸正面化处理，具体可以通过步骤11和12实现：

步骤11，获取侧脸图像的侧脸角度；

其中，侧脸图片中侧脸角度可以利用上述角度分类模型获取待识别图像中人像的侧脸角度；还可以通过图4或图5所示的方法获取面积区域的比值，根据预先设置的角度表，查找面积比例对应的侧脸角度，具体实现过程可以参考上述步骤308和步骤806。

步骤12，将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到侧脸图像的正脸图像。

其中，脸部转换模型通常包括预先训练好的多组正面化转换模板，其中，每组正面化转换模板对应一个特定的侧脸角度，该正面化转换模板对侧脸图像的各个特征点转化为标准正脸时的填补和位置换算关系，进行了预先训练。

在进行人脸正面化操作过程中，可以利用侧脸角度获取该侧脸角度下的正面化转换模板，根据侧脸图像中的各个特征点的位置信息，先将侧脸图中已显示的特征点经过旋转、缩放以及平移等操作进行位置转换，待转换完成后，根据转换后的特征点的位置信息，再对未显示部分的特征点进行填补和位置换算，其中，该位置信息通常包括特征点的位置、坐标信息及所在的区域长宽等。

步骤S716，对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；

由于侧面图像转换为正脸图像的过程中，人脸的图像区域的位置信息会发生变化，基于此，先对正脸图像进行人脸检测，将正脸图像对应的人脸图像以检测框的形式标识在该正脸图像中，再对该检测框中的人脸图像进行人脸对齐操作。在对正脸图像进行人脸对齐的过程中，可以利用预先建立的平均人脸模型作为对齐标准，该平均人脸模型通常是在不改变人脸特征点的分布的基础上，将数据库中所有的人脸归一化后生成的人脸模型，具体实现时，可以利用平均人脸模型，对正脸图像的特征点所构成的特征模型进行匹配修正，最终得到最接近平均人脸模型的特征模型，该特征模型通常包括多个参考部位的位置信息、区域大小和形状、及面部纹理等特征数据。

上述方式中，通过对检测到的侧脸图像先进行正面化操作得到正脸图像后再进行对齐操作的方式，得到待识别图像中人像参考部位的特征数据，在另一种方式中，还可以根据侧脸图像的侧脸角度，对图像进行人脸对齐、人脸正面化处理，具体可以通过步骤21、22和23实现：

步骤21，获取侧脸图像的侧脸角度；

步骤22，将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸的对齐和正面化操作，得到侧脸图像的正脸图像。

其中，该脸部转换模型通常包括预先训练好的多个侧脸面部模板，和预先训练好的正面化转换模板，其中，每个侧脸面部模板对应一个特定的侧脸角度，该侧脸面部模板预设了特定侧脸角度下的各个特征点的侧脸标准位置；该正面化转换模板包括了在不同侧脸角度下，侧脸面部模板中图像转成标准正脸的补填及位置换算关系。

在对侧脸图像进行人脸对齐操作的过程中，利用侧脸角度调取对应该侧脸角度下的侧脸面部模板，根据侧脸面部模板中各个特征点的侧脸标准位置、以及上述侧脸图像中包含的各个特征点位置；将侧脸图像中的各个特征点位置经过旋转、缩放以及平移等操作，将该侧脸图像中的特征点移动到侧脸面部模板中的特征点的侧脸标准位置下，以使侧脸图像对齐成为该侧脸角度下的标准侧脸人像。

在对对齐后的侧脸图像进行人脸正面化操作的过程中，利用该侧脸角度下的补填及位置换算关系，及标准侧脸人像中的各个特征点，可以先对该标准侧脸人像中未显示完全的侧脸部分进行特征点的补填，再将补填后的标准侧脸人像中的全部特征点进行位置信息的换算，最终生成正脸图像。

步骤23，获取正脸图像中每个部位的特征数据。

上述方式中，通过对检测到的侧脸图像进行对齐操作得到标准侧脸人像后，再进行正面化操作方式，得到待识别图像中人像参考部位的特征数据，在另一种方式中，还可以根据侧脸图像的侧脸角度，对图像进行人脸对齐、人脸正面化和再对齐处理，这种双对齐方式具体可以通过步骤31、32和33实现：

步骤31，获取侧脸图像的侧脸角度；

步骤32，将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸的对齐和正面化操作，得到侧脸图像的正脸图像；

步骤33，对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；

采用上述双对齐的方式，在侧脸图像转换为正脸图像的过程中，将侧脸图像对齐为标准侧脸人像后，再进行人脸的正面化得到正脸图像，再将该正脸图像再次对齐，最终获得的部位的特征数据，该特征数据能够更为准确、真实地反映人脸的特征。

步骤S718，基于得到部位的特征数据进行人脸识别。

该过程中，可以将得到部位的特征数据逐一与人像数据库中保存的特征数据进行比对，将比对成功的特征数据对应的身份信息确定为待识别图像中人脸的身份信息。

上述方式中，利用预先训练好的角度分类模型对待识别图像中是否包含有侧脸图像进行检测；如果检测到有侧脸图像，基于预先训练好的脸部转换模型，对侧脸图像进行编码，将得到的编码向量进行解码后；生成正脸图像；通过对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；基于得到部位的特征数据进行人脸识别。这种将侧脸图像经编码和解码操作后生成的正脸图像的方式，提高了侧脸图像转换为正脸图像的准确度，这种将正脸图像进行人脸对齐的方式，更深入地获取了待识别图像中的人像特征数据，以便于利用该特征数据对人像进行深度识别和分析。

本发明实施例还提供一种目标识别方法，如图10所示，该方法包括如下步骤：

步骤S1002，检测待识别图像中是否包含有目标对象的侧视图像；

该目标对象可以为人脸，也可以为宠物脸、车图像或者特殊配饰(如手提包)等其它目标对象；

步骤S1004，如果是，基于预先训练好的对象转换模型，将侧视图像转换为正视图像；

步骤S1006，基于正视图像进行目标识别。

需要说明的是，上述目标识别方法在执行之前，可以预先确定识别的目标对象的种类或种类范围；基于该种类或种类范围的目标对象，再进行上述检测、转换为正视图像、进行目标识别等过程；相对于不限定目标对象种类的方式，该方式可以提高目标对象的识别准确度和识别效果。

另外，本实施例中的目标识别方法的步骤，具体实现方式可以参考上述实施例中的人脸识别方法中相应步骤的描述实现，在此不再赘述。

上述目标识别方法，先检测图片中是否有侧视图像，如有存在侧视图像，则通过对象转换模型将侧视图像转换为对应的正视图像，进而再对该正视图像进行目标识别，该方式可以避免对侧视图像进行目标识别时识别准确率较低的问题，提高了目标识别的准确率。

进一步地，上述检测待识别图像中是否包含有目标对象的侧视图像，可以有两种方式，一种方式包括以下步骤：对待识别图像进行目标对象检测；如果检测到的目标对象，检测目标对象所在区域中的参考部位信息；根据参考部位信息判断目标对象是否为侧视对象；如果是，确定待识别图像中包含有目标对象的侧视图像。另一种方式包括以下步骤：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的对象区域框，确定待识别图像包含有目标对象的侧视图像。其中，角度分类模型的训练过程包括：获取侧视对象样本和侧视对象样本对应的正视对象样本，其中，侧视对象样本和正视对象样本均预先标注有侧视角度，且正视对象样本的侧视角度为0；应用侧视对象样本和正视对象样本训练初始分类模型，得到训练好的角度分类模型。

基于预先训练好的对象转换模型，将侧视图像转换为正视图像，可以有两种方式，一种方式包括以下步骤：基于预先训练好的对象转换模型对侧视图像进行编码，得到编码向量；通过对象转换模型对编码向量进行解码转换，得到正视图像。另一种方式包括以下步骤：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到侧视图像的正视图像。

基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像的另一种方式还包括以下步骤：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到侧视图像的正视图像；基于正视图像进行目标识别，可以包括以下步骤：对正视图像进行对象部位对齐，得到正视图像中每个部位的特征数据；基于得到部位的特征数据进行目标识别。

对应于上述人脸识别方法实施例，参见图11所示的一种人脸识别装置的结构示意图，该人脸识别装置实现的功能对应上述人脸识别方法执行的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图11所示，该装置包括：

侧脸图像检测模块1102，用于检测待识别图像中是否包含有侧脸图像；

正脸图像转换模块1104，用于如果侧脸图像检测模块检测到侧脸图像，基于预先训练好的脸部转换模型，将侧脸图像转换为正脸图像；

人脸识别模块1106，用于基于正脸图像进行人脸识别。

上述人脸识别装置，首先检测待识别图像中是否包含有侧脸图像；如果包含有侧脸图像，则通过脸部转换模型将侧脸图像转换为正脸图像，进而再对该正脸图像进行人脸识别。该方式中，先检测图片中是否有侧脸图像，如有存在侧脸图像，则通过脸部转换模型将侧脸图像转换为对应的正脸图像，进而再对该正脸图像区域进行人脸识别，该方式可以避免对侧脸进行人脸识别时识别准确率较低的问题，提高了人脸识别的准确率。

上述人脸识别装置中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。

在一些实施例中，上述侧脸图像检测模块可以用于：对待识别图像进行人脸检测；如果检测到的人脸，检测人脸所在区域中的参考部位信息；根据参考部位信息判断人脸是否为侧脸；如果是侧脸，确定待识别图像中包含有侧脸图像。

在一些实施例中，上述侧脸图像检测模块还可以用于：如果检测到的参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由鼻部位置点、左嘴角位置点和左眼位置点组成的第一三角形的第一面积，以及由鼻部位置点、右嘴角位置点和右眼位置点组成的第二三角形的第二面积；计算第一面积与第二面积的面积比例；根据面积比例判断人脸是否为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：如果检测到的参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将人脸所在区域分为左区域和右区域；计算左区域与右区域的面积比例；根据面积比例判断人脸是否为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：在预先存储的角度表中，查找面积比例对应的侧脸角度；其中，角度表包括面积比例与侧脸角度的对应关系。如果查找到的侧脸角度非0，确定人脸为侧脸。

在一些实施例中，上述侧脸图像检测模块还可以用于：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的人脸区域框，确定待识别图像包含有侧脸图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧脸样本和侧脸样本对应的正脸样本，其中，侧脸样本和正脸样本均预先标注有侧脸角度，且正脸样本的侧脸角度为0；应用侧脸样本和正脸样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述正脸图像转换模块可以用于：基于预先训练好的脸部转换模型对侧脸图像进行编码，得到编码向量；通过脸部转换模型对编码向量进行解码转换，得到正脸图像。

在一些实施例中，上述正脸图像转换模块还可以用于：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸对齐和人脸正面化操作，得到侧脸图像的正脸图像。

在一些实施例中，上述正脸图像转换模块还可以用于：获取侧脸图像的侧脸角度；将侧脸角度和侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到侧脸图像的正脸图像；人脸识别模块可以用于：对正脸图像进行人脸对齐，得到正脸图像中每个部位的特征数据；基于得到部位的特征数据进行人脸识别。

对应于上述目标识别方法实施例，参见图12所示的一种目标识别装置的结构示意图，该目标识别装置实现的功能对应上述目标识别方法执行的步骤。该装置可以理解为上述服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图12所示，该装置包括：

侧视图像检测模块1202，用于检测待识别图像中是否包含有目标对象的侧视图像；

正视图像转换模块1204，用于如果侧视图像检测模块检测到侧视图像，基于预先训练好的对象转换模型，将侧视图像转换为正视图像；

目标识别模块1206，用于基于正视图像进行目标识别。

上述目标识别装置，先检测图片中是否有侧视图像，如有存在侧视图像，则通过对象转换模型将侧视图像转换为对应的正视图像，进而再对该正视图像进行目标识别，该方式可以避免对侧视图像进行目标识别时识别准确率较低的问题，提高了目标识别的准确率。

在一些实施例中，上述侧视图像检测模块可以用于：对待识别图像进行目标对象检测；如果检测到的目标对象，检测目标对象所在区域中的参考部位信息；根据参考部位信息判断目标对象是否为侧视对象；如果是，确定待识别图像中包含有目标对象的侧视图像。

在一些实施例中，上述侧视图像检测模块还可以用于：将待识别图像输入预先训练好的角度分类模型；如果角度分类模型输出信息包含有角度非0的对象区域框，确定待识别图像包含有目标对象的侧视图像。

在一些实施例中，上述角度分类模型的训练过程包括：获取侧视对象样本和侧视对象样本对应的正视对象样本，其中，侧视对象样本和正视对象样本均预先标注有侧视角度，且正视对象样本的侧视角度为0；应用侧视对象样本和正视对象样本训练初始分类模型，得到训练好的角度分类模型。

在一些实施例中，上述正视图像转换模块可以用于：基于预先训练好的对象转换模型对侧视图像进行编码，得到编码向量；通过对象转换模型对编码向量进行解码转换，得到正视图像。

在一些实施例中，上述正视图像转换模块还可以用于：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到侧视图像的正视图像。

在一些实施例中，上述正视图像转换模块还可以用于：获取侧视图像的侧视角度；将侧视角度和侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到侧视图像的正视图像；目标识别模块可以用于：对正视图像进行对象部位对齐，得到正视图像中每个部位的特征数据；基于得到部位的特征数据进行目标识别。

对应上述人脸识别方法及目标识别方法，还需要一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述人脸识别方法实施例的步骤，或者上述目标识别方法实施例的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (36)

1.一种人脸识别方法，其特征在于，包括：

检测待识别图像中是否包含有侧脸图像；

如果是，基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像；

基于所述正脸图像进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，检测待识别图像中是否包含有侧脸图像的步骤，包括：

对待识别图像进行人脸检测；

如果检测到人脸，检测人脸所在区域中的参考部位信息；

根据所述参考部位信息判断所述人脸是否为侧脸；

如果是侧脸，确定所述待识别图像中包含有侧脸图像。

3.根据权利要求2所述的方法，其特征在于，根据所述参考部位信息判断所述人脸是否为侧脸的步骤，包括：

如果检测到的所述参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由所述鼻部位置点、所述左嘴角位置点和所述左眼位置点组成的第一三角形的第一面积，以及由所述鼻部位置点、所述右嘴角位置点和所述右眼位置点组成的第二三角形的第二面积；

计算所述第一面积与所述第二面积的面积比例；

根据所述面积比例判断所述人脸是否为侧脸。

4.根据权利要求2所述的方法，其特征在于，根据所述参考部位信息判断所述人脸是否为侧脸的步骤，包括：

如果检测到的所述参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将所述人脸所在区域分为左区域和右区域；

计算所述左区域与所述右区域的面积比例；

根据所述面积比例判断所述人脸是否为侧脸。

5.根据权利要求3或4所述的方法，其特征在于，根据所述面积比例判断所述人脸是否为侧脸的步骤，包括：

在预先存储的角度表中，查找所述面积比例对应的侧脸角度；其中，所述角度表包括面积比例与侧脸角度的对应关系；

如果查找到的所述侧脸角度非0，确定所述人脸为侧脸。

6.根据权利要求1所述的方法，其特征在于，检测待识别图像中是否包含有侧脸图像的步骤，包括：

将待识别图像输入预先训练好的角度分类模型；

如果所述角度分类模型输出信息包含有角度非0的人脸区域框，确定所述待识别图像包含有侧脸图像。

7.根据权利要求6所述的方法，其特征在于，所述角度分类模型的训练过程包括：

获取侧脸样本和所述侧脸样本对应的正脸样本，其中，所述侧脸样本和所述正脸样本均预先标注有侧脸角度，且所述正脸样本的侧脸角度为0；

应用所述侧脸样本和所述正脸样本训练初始分类模型，得到训练好的角度分类模型。

8.根据权利要求1所述的方法，其特征在于，基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像的步骤，包括：

基于预先训练好的脸部转换模型对所述侧脸图像进行编码，得到编码向量；

通过所述脸部转换模型对所述编码向量进行解码转换，得到正脸图像。

9.根据权利要求1所述的方法，其特征在于，基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像的步骤，包括：

获取所述侧脸图像的侧脸角度；

将所述侧脸角度和所述侧脸图像，输入预先训练好的脸部转换模型进行人脸对齐和人脸正面化操作，得到所述侧脸图像的正脸图像。

10.根据权利要求1所述的方法，其特征在于，基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像的步骤，包括：获取所述侧脸图像的侧脸角度；将所述侧脸角度和所述侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到所述侧脸图像的正脸图像；

基于所述正脸图像进行人脸识别的步骤，包括：对所述正脸图像进行人脸对齐，得到所述正脸图像中每个部位的特征数据；基于得到所述部位的特征数据进行人脸识别。

11.一种目标识别方法，其特征在于，包括：

检测待识别图像中是否包含有目标对象的侧视图像；

如果是，基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像；

基于所述正视图像进行目标识别。

12.根据权利要求11所述的方法，其特征在于，检测待识别图像中是否包含有目标对象的侧视图像的步骤，包括：

对待识别图像进行目标对象检测；

如果检测到的目标对象，检测所述目标对象所在区域中的参考部位信息；

根据所述参考部位信息判断所述目标对象是否为侧视对象；

如果是，确定所述待识别图像中包含有目标对象的侧视图像。

13.根据权利要求11所述的方法，其特征在于，检测待识别图像中是否包含有目标对象的侧视图像的步骤，包括：

将待识别图像输入预先训练好的角度分类模型；

如果所述角度分类模型输出信息包含有角度非0的对象区域框，确定所述待识别图像包含有目标对象的侧视图像。

14.根据权利要求13所述的方法，其特征在于，所述角度分类模型的训练过程包括：

获取侧视对象样本和所述侧视对象样本对应的正视对象样本，其中，所述侧视对象样本和所述正视对象样本均预先标注有侧视角度，且所述正视对象样本的侧视角度为0；

应用所述侧视对象样本和所述正视对象样本训练初始分类模型，得到训练好的角度分类模型。

15.根据权利要求11所述的方法，其特征在于，基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像的步骤，包括：

基于预先训练好的对象转换模型对所述侧视图像进行编码，得到编码向量；

通过所述对象转换模型对所述编码向量进行解码转换，得到正视图像。

16.根据权利要求11所述的方法，其特征在于，基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像的步骤，包括：

获取所述侧视图像的侧视角度；

将所述侧视角度和所述侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到所述侧视图像的正视图像。

17.根据权利要求11所述的方法，其特征在于，基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像的步骤，包括：获取所述侧视图像的侧视角度；将所述侧视角度和所述侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到所述侧视图像的正视图像；

基于所述正视图像进行目标识别的步骤，包括：对所述正视图像进行对象部位对齐，得到所述正视图像中每个部位的特征数据；基于得到所述部位的特征数据进行目标识别。

18.一种人脸识别装置，其特征在于，包括：

侧脸图像检测模块，用于检测待识别图像中是否包含有侧脸图像；

正脸图像转换模块，用于如果所述侧脸图像检测模块检测到侧脸图像，基于预先训练好的脸部转换模型，将所述侧脸图像转换为正脸图像；

人脸识别模块，用于基于所述正脸图像进行人脸识别。

19.根据权利要求18所述的装置，其特征在于，所述侧脸图像检测模块用于：

对待识别图像进行人脸检测；

如果检测到的人脸，检测人脸所在区域中的参考部位信息；

根据所述参考部位信息判断所述人脸是否为侧脸；

如果是侧脸，确定所述待识别图像中包含有侧脸图像。

20.根据权利要求19所述的装置，其特征在于，所述侧脸图像检测模块用于：

如果检测到的所述参考部位信息中包括鼻部位置点、左嘴角位置点、左眼位置点、右嘴角位置点和右眼位置点，计算由所述鼻部位置点、所述左嘴角位置点和所述左眼位置点组成的第一三角形的第一面积，以及由所述鼻部位置点、所述右嘴角位置点和所述右眼位置点组成的第二三角形的第二面积；

计算第一面积与所述第二面积的面积比例；

根据所述面积比例判断所述人脸是否为侧脸。

21.根据权利要求19所述的装置，其特征在于，所述侧脸图像检测模块用于：

如果检测到的所述参考部位信息中包括鼻部区域，以鼻部区域的中心线为界将所述人脸所在区域分为左区域和右区域；

计算所述左区域与所述右区域的面积比例；

根据所述面积比例判断所述人脸是否为侧脸。

22.根据权利要求20或21所述的装置，其特征在于，所述侧脸图像检测模块用于：

在预先存储的角度表中，查找所述面积比例对应的侧脸角度；其中，所述角度表包括面积比例与侧脸角度的对应关系；

如果查找到的所述侧脸角度非0，确定所述人脸为侧脸。

23.根据权利要求18所述的装置，其特征在于，所述侧脸图像检测模块用于：

将待识别图像输入预先训练好的角度分类模型；

如果所述角度分类模型输出信息包含有角度非0的人脸区域框，确定所述待识别图像包含有侧脸图像。

24.根据权利要求23所述的装置，其特征在于，所述角度分类模型的训练过程包括：

获取侧脸样本和所述侧脸样本对应的正脸样本，其中，所述侧脸样本和所述正脸样本均预先标注有侧脸角度，且所述正脸样本的侧脸角度为0；

应用所述侧脸样本和所述正脸样本训练初始分类模型，得到训练好的角度分类模型。

25.根据权利要求18所述的装置，其特征在于，所述正脸图像转换模块用于：

基于预先训练好的脸部转换模型对所述侧脸图像进行编码，得到编码向量；

通过所述脸部转换模型对所述编码向量进行解码转换，得到正脸图像。

26.根据权利要求18所述的装置，其特征在于，所述正脸图像转换模块用于：

获取所述侧脸图像的侧脸角度；

将所述侧脸角度和所述侧脸图像，输入预先训练好的脸部转换模型进行人脸对齐和人脸正面化操作，得到所述侧脸图像的正脸图像。

27.根据权利要求18所述的装置，其特征在于，所述正脸图像转换模块用于：获取所述侧脸图像的侧脸角度；将所述侧脸角度和所述侧脸图像，输入预先训练好的脸部转换模型进行人脸正面化操作，得到所述侧脸图像的正脸图像；

所述人脸识别模块用于：对所述正脸图像进行人脸对齐，得到所述正脸图像中每个部位的特征数据；基于得到所述部位的特征数据进行人脸识别。

28.一种目标识别装置，其特征在于，包括：

侧视图像检测模块，用于检测待识别图像中是否包含有目标对象的侧视图像；

正视图像转换模块，用于如果所述侧视图像检测模块检测到侧视图像，基于预先训练好的对象转换模型，将所述侧视图像转换为正视图像；

目标识别模块，用于基于所述正视图像进行目标识别。

29.根据权利要求28所述的装置，其特征在于，所述侧视图像检测模块用于：

对待识别图像进行目标对象检测；

如果检测到的目标对象，检测所述目标对象所在区域中的参考部位信息；

根据所述参考部位信息判断所述目标对象是否为侧视对象；

如果是，确定所述待识别图像中包含有目标对象的侧视图像。

30.根据权利要求28所述的装置，其特征在于，所述侧视图像检测模块用于：

将待识别图像输入预先训练好的角度分类模型；

如果所述角度分类模型输出信息包含有角度非0的对象区域框，确定所述待识别图像包含有目标对象的侧视图像。

31.根据权利要求30所述的装置，其特征在于，所述角度分类模型的训练过程包括：

获取侧视对象样本和所述侧视对象样本对应的正视对象样本，其中，所述侧视对象样本和所述正视对象样本均预先标注有侧视角度，且所述正视对象样本的侧视角度为0；

应用所述侧视对象样本和所述正视对象样本训练初始分类模型，得到训练好的角度分类模型。

32.根据权利要求28所述的装置，其特征在于，所述正视图像转换模块用于：

基于预先训练好的对象转换模型对所述侧视图像进行编码，得到编码向量；

通过所述对象转换模型对所述编码向量进行解码转换，得到正视图像。

33.根据权利要求28所述的装置，其特征在于，所述正视图像转换模块用于：

获取所述侧视图像的侧视角度；

将所述侧视角度和所述侧视图像，输入预先训练好的对象转换模型进行对象部位对齐和正视化操作，得到所述侧视图像的正视图像。

34.根据权利要求28所述的装置，其特征在于，所述正视图像转换模块用于：获取所述侧视图像的侧视角度；将所述侧视角度和所述侧视图像，输入预先训练好的对象转换模型进行对象部位正视化操作，得到所述侧视图像的正视图像；

所述目标识别模块用于：对所述正视图像进行对象部位对齐，得到所述正视图像中每个部位的特征数据；基于得到所述部位的特征数据进行目标识别。

35.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以运行时执行如权利要求1至10任一所述的人脸识别方法的步骤，或者如权利要求11至17任一所述的目标识别方法的步骤。

36.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的人脸识别方法的步骤，或者如权利要求11至17任一所述的目标识别方法的步骤。

Images