CN110348331A - 人脸识别方法及电子设备 - Google Patents

Abstract

本发明涉及人脸识别领域，公开一种人脸识别方法及电子设备。其中，人脸识别方法包括：获取人脸图像，人脸图像被划分成多个局部区域图像；分类每个局部区域图像，得到分类结果，分类结果包括异常分类结果与正常分类结果；修正分类结果为异常分类结果的局部区域图像；根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别人脸图像。即使某个局部区域图像出现异常，通过修正异常分类结果的局部区域图像，使得后续识别人脸时，可以结合未修正的局部区域图像及预注册图像，精确地识别人脸，进而提高识别效果。

Description

人脸识别方法及电子设备

技术领域

本发明涉及人脸识别领域，尤其涉及一种人脸识别方法及电子设备。

背景技术

随着人脸识别技术的发展，众多业务场景需要使用人脸识别技术配合完成一定业务需求。

然而，在实际应用人脸识别技术过程中，由于一些用户当前人脸相对于预注册人脸的变化幅度比较大，容易导致人脸识别失败，例如，眼睛被头发遮挡或者夸张的人脸表情等等因素。

发明内容

本发明实施例的一个目的旨在提供一种人脸识别方法及电子设备，以提高人脸识别效果。

在第一方面，本发明实施例提供一种人脸识别方法，包括：

获取人脸图像，所述人脸图像被划分成多个局部区域图像；

分类每个所述局部区域图像，得到分类结果，所述分类结果包括异常分类结果与正常分类结果；

修正所述分类结果为异常分类结果的局部区域图像；

根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别所述人脸图像。

在第二方面，本发明实施例提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的人脸识别方法。

在第三方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被移动载体执行时，使电子设备执行任一项所述的人脸识别方法。

在第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行任一项所述的人脸识别方法。

相对于传统技术，在本发明各个实施例提供的人脸识别方法及电子设备中，获取人脸图像，人脸图像被划分成多个局部区域图像，分类每个局部区域图像，得到分类结果，分类结果包括异常分类结果与正常分类结果，修正分类结果为异常分类结果的局部区域图像，根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别人脸图像。因此，即使某个局部区域图像出现异常，通过修正异常分类结果的局部区域图像，使得后续识别人脸时，可以结合未修正的局部区域图像及预注册图像，精确地识别人脸，进而提高识别效果。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1a是本发明实施例提供的一种人脸识别应用场景的示意图；

图1b是本发明实施例提供的一种人脸识别系统的结构示意图；

图2a是本发明实施例提供的一种人脸识别方法的流程示意图；

图2b是本发明实施例提供的截取人脸图像各个局部区域图像的示意图；

图2c是本发明实施例提供的人脸图像的左眼及右眼被遮挡物遮挡的示意图；

图2d是图2a中S24的流程示意图；

图2e是本发明实施例提供的人脸图像、左眼图像、右眼图像、鼻子图像及嘴巴图像的各自图像特征向量作拼接处理的示意图；

图3a是本发明实施例提供的一种人脸识别装置的结构示意图；

图3b是图3a中识别模块的结构示意图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。

本发明实施例提供的人脸识别方法，可以在任何合适类型、具有运算能力的电子设备中执行，诸如摄像机、人脸扫描设备、通道检测设备、服务器、台式计算机、智能手机、平板电脑以及其他电子产品中。其中，此处的服务器可以是一个物理服务器或者多个物理服务器虚拟而成的一个逻辑服务器。服务器也可以是多个可互联通信的服务器组成的服务器群，且各个功能模块可分别分布在服务器群中的各个服务器上。

在一些实施例中，所述电子设备可被构造成任意合适形状，并应用在任何合适的业务场所，例如，电子设备可被构造成人脸扫描设备，人脸扫描设备可执行下文所阐述的人脸识别方法，当人脸扫描设备成功识别用户人脸时，则触发下一步业务逻辑。再例如，电子设备可被构造成通道检测设备，同理可得，通道检测设备可执行下文所阐述的人脸识别方法，当通道检测设备成功识别用户人脸时，开放闸栏。当通道检测设备识别用户人脸失败时，禁止开放闸栏。

请参阅图1a，图1a是本发明实施例提供的一种人脸识别应用场景的示意图。如图1a所示，人脸识别应用场景100包括公共区域11、前台区域12、电梯区域13及入口区域14，各个区域互相连通。

其中，入口区域14设置有三台通道检测设备141，每台通道检测设备141皆配置有对应的闸栏142，并且，每相邻两个通道检测设备141的闸栏142相对设置并且闸栏142位于每相邻两个通道检测设备141之间，通道检测设备141可控制对应的闸栏142收拢或者展开，当相向的两个闸栏142都收拢，于是，用户便可以进入入口区域14。当相向的两个闸栏142都展开，于是，用户被禁止入内。

在本实施例中，每相邻两个通道检测设备141之间皆设置有摄像机143，摄像机143用于拍摄需要进入入口区域14的每个用户的人脸图像。

为了保证用户顺利进入，一般而言，需要预先采集合法用户处于正常状态下的人脸图像，将合法用户处于正常状态下的人脸图像预先注册在系统内，可以理解的是，此处所指的正常状态是指用户人脸收敛表情至正常表现状态，或者，用于识别人脸的局部区域未出现异常现象，其中，异常现象包括所述局部区域过暗、过亮、被异物遮挡等等。

当检测到采集的人脸图像匹配预先注册的人脸图像时，通道检测设备141可控制对应的闸栏142收拢，于是，用户便可以入内。当检测到采集的人脸图像未匹配预先注册的人脸图像或者未预先注册与采集的人脸图像对应的预注册图像时，通道检测设备141可控制对应的闸栏142展开，于是，用户便被禁止入内。

可以理解的是，检测人脸是否匹配预注册图像的操作可在摄像机143或通道检测设备141或者云端服务器完成，例如，摄像机143采集人脸图像，并向通道检测设备141发送人脸图像，通道检测设备141根据人脸图像进行识别，亦可以是，摄像机142采集人脸图像并对人脸图像进行识别。

请参阅图1b，图1b是本发明实施例提供的一种人脸识别系统的结构示意图。如图1b所示，人脸识别系统包括通道检测设备141、摄像机143、服务器144及智能终端145。

通道检测设备141与摄像机143通讯，摄像机143向通道检测设备141发送人脸图像，通道检测设备141根据人脸图像进行识别。

服务器144分别与通道检测设备141和智能终端145通讯，其中，智能终端145可以向服务器144发送各个用户的预注册图像，以便服务器144将预注册图像更新至通道检测设备141，例如，智能终端145向服务器144发送当天访客的预注册图像，于是，服务器将当天访客的预注册图像更新至通道检测设备141，后续，访客到访时，通道检测设备141便可以根据访客的预注册图像进行人脸识别。

当到访用户的人脸出现异常情况时，往往比较容易识别失败，例如，用户作出比较夸张的表情，通道检测设备141未能够正确地识别出用户。

因此，本发明实施例提供一种人脸识别方法。请参阅图2a，人脸识别方法S200包括：

S21、获取人脸图像，人脸图像被划分成多个局部区域图像；

在本实施例中，人脸图像可以由摄像机实时采集的，亦可以从本地数据库中调取的，其中，人脸图像可以为只包含多个人脸局部区域的图像，例如，人脸图像只包含眼睛、鼻子及其它脸部特征，再例如，人脸图像只包含鼻子、嘴巴及其它脸部特征，亦可以为完整头部图像，例如，人脸图像包含额头、头发、眼睛、鼻子、嘴巴及其它脸部特征。

在本实施例中，局部区域图像为人脸图像中局部区域呈现几何特征的图像，诸如眼睛、鼻子、嘴巴都属于人脸图像中的局部区域并且呈现几何特征的，因此，局部区域图像包括以下任意一种或两种以上的区域图像：左眼图像、右眼图像、鼻子图像和/或嘴巴图像。

在一些实施例中，为了方便得到人脸图像中各个局部区域图像，电子设备需要对人脸图像作预处理。

举例而言，首先，预先设计一个尺寸大小为1024×1024的标准人脸，选择眼睛、嘴巴及鼻子作为关键点，其中，标准左眼的位置为(100，100)，标准右眼的位置为(300，100)，标准鼻尖的位置为(150，150)，嘴巴的标准左嘴角的位置为(300，100)，嘴巴的标准右嘴角的位置为(300，300)。

其次，当电子设备获取到人脸图像后，电子设备将人脸图像缩放到一定尺寸上，例如，尺寸大小为256×256或者1024×1024。

再次，将缩放后的人脸图像作关键点对齐处理，例如，通过变换矩阵将缩放后的人脸图像中关键点与标准人脸中与之对应的关键点对齐，例如，将缩放后的人脸图像的左眼仿射变换至标准左眼的位置，将缩放后的人脸图像的鼻尖仿射变换至标准鼻尖的位置等等。

在一些实施例中，变换矩阵可由仿射变换方法(Affine Transformation)计算出，其中，仿射变换方法包括平移变换、缩放变换、剪切变换、旋转变换。

最后，在对齐后的人脸图像中，电子设备分别以左眼的中心、以右眼的中心、以鼻尖为中心、以左右嘴角连线的中点为中心，以对应并且固定形状的截取工具截取对应的区域图像，以便得到对应的局部区域图像，例如，请参阅图2b，电子设备使用尺寸大小为(60×60)并呈正方形的截取工具2b1截取以鼻尖为中心的鼻子区域，得到鼻子图像。再例如，电子设备使用尺寸大小为半径40并呈圆形的截取工具截取以左眼的中心的左眼区域，得到左眼图像。

以此类推，电子设备便可以得到4个局部区域图像，分别为左眼图像、右眼图像、鼻子图像及嘴巴图像。

S22、分类每个局部区域图像，得到分类结果，分类结果包括异常分类结果与正常分类结果；

在本实施例中，分类结果用于指示局部区域图像的正常或异常，当某个局部区域图像的分类结果为异常分类结果时，则所述局部区域图像为异常的。同理可得，当某个局部区域图像的分类结果为正常分类结果时，则所述局部区域图像为正常的。

可以理解的是，异常分类结果用于在识别人脸时，描述局部区域图像的图像状态偏离标准图像状态，正常分类结果用于在识别人脸时，描述局部区域图像的图像状态匹配标准图像状态。

例如，当左眼或右眼闭眼时，此图像状态下的左眼或右眼并未有利于识别人脸，因此，左眼或右眼处于闭眼状态，则左眼或右眼各自对应的局部区域图像的分类结果皆为异常分类结果，反之，当左眼或右眼睁眼时，此图像状态下的左眼或右眼有利于识别人脸，因此，左眼或右眼处于睁眼状态，则左眼或右眼各自对应的局部区域图像的分类结果皆为正常分类结果。

再例如，请参阅图2c，当左眼或右眼2c1被遮挡物遮挡，或者，所在光线过暗时，此图像状态下的左眼或右眼并未有利于识别人脸，因此，则左眼或右眼各自对应的局部区域图像的分类结果皆为异常分类结果，反之，当左眼或右眼未出现遮挡物遮挡或者所在光线不阻碍人脸识别时，此图像状态下的左眼或右眼有利于识别人脸，因此，则左眼或右眼各自对应的局部区域图像的分类结果皆为正常分类结果。

再例如，当鼻子被遮挡物遮挡或所在光线过暗时，此图像状态下的鼻子并未有利于识别人脸，因此，则鼻子对应的局部区域图像的分类结果为异常分类结果，反之，当鼻子未被遮挡物遮挡或者所在光线不阻碍人脸识别时，此图像状态下的鼻子有利于识别人脸，因此，则鼻子对应的局部区域图像的分类结果为正常分类结果。

再例如，当嘴巴被遮挡物遮挡或所在光线过暗或者嘴巴张开角度超过预设阈值时，此图像状态下的嘴巴并未有利于识别人脸，因此，则嘴巴对应的局部区域图像的分类结果为异常分类结果，反之，当嘴巴未被遮挡物遮挡或者所在光线或者嘴巴张开角度低于预设阈值而不阻碍人脸识别时，此图像状态下的嘴巴有利于识别人脸，因此，则嘴巴对应的局部区域图像的分类结果为正常分类结果。

可以理解的是，对于需要识别的人脸图像，其可以同时存在一个或者多个局部区域图像出现异常，例如，左眼被头发遮挡，与此同时，嘴巴张开的角度大于30度。因此，通过分类一张人脸图像的各个局部区域图像，其可以得到全部局部区域图像的分类结果都是异常分类结果，或者，全部局部区域图像的分类结果都是正常分类结果，或者，一部分局部区域图像的分类结果是异常分类结果，一部分局部区域图像的分类结果是正常分类结果。

电子设备可以采用任意合适的分类算法对各个局部区域图像进行分类，诸如基于人脸特征点的识别算法(Feature-based recognition algorithms)、基于整幅人脸图像的识别算法(Appearance-based recognition algorithms)、基于模板的识别算法(Template-based recognition algorithms)、利用神经网络进行识别的算法(Recognition algorithms using neural network)等等。

在一些实施例中，电子设备可以构建预设分类模型，根据预设分类模型分类每个局部区域图像，得到分类结果。构建预设分类模型时，可以训练一定量的训练数据，以便预设分类模型能够学习到如何将局部区域图像分类为异常分类结果或正常分类结果，例如，训练10000张分类结果为异常分类结果的局部区域图像。

在一些实施例中，预设分类模型可以选择卷积神经网络框架模型(ConvolutionalNeural Network，CNN)，其中，卷积神经网络框架模型可以采用任意合适的神经网络模型，诸如LetNet-5模型，其中，LetNet-5模型具体包括：依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层，各个卷积层用于通过卷积运算，可以使原图像信号特征增强，并且降低噪音。各个采样层用于利用图像局部相关性的原理，对图像进行子抽样，减少数据处理量同时保留有用信息。

S23、修正分类结果为异常分类结果的局部区域图像；

在本实施例中，通过分类处理，由于已知某个局部区域图像是异常的，为了提高后续识别人脸的效果，降低分类结果为异常分类结果的局部区域图像对人脸识别的影响，需要将分类结果为异常分类结果的局部区域图像进行修正，例如，删除异常分类结果的局部区域图像，或者，将异常分类结果的局部区域图像还原恢复成正常分类结果的局部区域图像，或者，将异常分类结果的局部区域图像修正至预设图像，采用修正方法，后续人脸识别而进行计算时，降低异常分类结果的局部区域图像对计算结果的影响，进而提高识别效果。

由于分类结果为正常分类结果的局部区域图像未被修正，于是，电子设备也便得到未修正的局部区域图像。由于分类结果为异常分类结果的局部区域图像被修正，于是，电子设备也便得到修正后的局部区域图像，例如，左眼闭合，右眼、鼻子、嘴巴皆正常，电子设备修正左眼图像，并且不对右眼图像、鼻子图像、嘴巴图像作修正，于是，电子设备便得到修正后的左眼图像，未修正的右眼图像、鼻子图像、嘴巴图像。

S24、根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别人脸图像。

在本实施例中，预注册图像为预先注册在电子设备数据库的图像，预注册图像作为标准参考图像，用于配合采集的人脸图像作对比识别。

预注册图像可被划分成多个预注册局部区域图像，多个预注册局部区域图像的图像特征向量可被预先提取而预存在电子设备的数据库内，例如，预注册局部区域图像为预注册左眼图像，预注册左眼图像的图像特征向量预存在电子设备的数据库内。

在本实施例中，电子设备提取修正后的局部区域图像及未修正的局部区域图像的各自图像特征向量，建立对应维度的图像特征向量，例如，为了提高后续识别效果，电子设备可以从各个局部区域图像中提取出128维特征向量，后续识别时，其计算的结果更加精确。

在一些实施例中，未修正的及已修正的局部区域图像的图像特征向量可以通过预设特征提取模型而提取得到，因此，在一些实施例中，电子设备还构建预设特征提取模型，例如，通过预先训练一定量的各个局部区域图像，配置后各个函数，以此构建预设特征提取模型。

当提取完修正后的局部区域图像及未修正的局部区域图像的各自图像特征向量后，电子设备拼接修正后的局部区域图像及未修正的局部区域图像的各自图像特征向量，并将拼接后的图像特征向量与预注册图像的图像特征向量作运算，根据运算结果，识别人脸图像，例如，运算结果匹配预设结果阈值时，则成功识别人脸图像。运算结果未匹配预设结果阈值时，则识别人脸图像失败。

总体而言，即使某个局部区域图像出现异常，通过修正异常分类结果的局部区域图像，使得后续识别人脸时，可以结合未修正的局部区域图像及预注册图像，精确地识别人脸，进而提高识别效果。

如前各个实施例所言，当局部区域图像出现异常时，其异常表现可以呈现多种类型，例如，局部区域图像为左眼图像或右眼图像时，一种异常表现为被遮挡物所遮挡，另一种异常表现为眼睛闭眼，再例如，局部区域图像为嘴巴图像时，一种异常表现为被遮挡物所遮挡，另一种异常表现为嘴巴张开角度超过预设角度阈值(例如30度)。

因此，为了使得分类结果更多样化，一方面，电子设备可以建立二分类模型，另一方面，在一些实施例中，电子设备还可以建立三分类模型。可以理解的是，无论在二分类模型亦或三分类模型中，局部区域图像的正常分类结果都是眼睛睁开、眼睛无遮拦、鼻子无遮拦、嘴巴无遮拦及嘴巴闭合。

针对异常分类结果，对于二分类模型，令异常分类结果分别为眼睛闭合、眼睛遮拦、鼻子遮拦、嘴巴遮拦及嘴巴张开预设角度。在一些实施例中，电子设备还可以根据每类局部区域图像的分类结果，为所述局部区域图像配置标签值，例如，令分类结果为异常分类结果的局部区域图像的标签值为0，分类结果为正常分类结果的局部区域图像的标签值为1。

针对异常分类结果，对于三分类模型，当局部区域图像为鼻子图像时，令分类结果为异常分类结果的鼻子图像的标签值为0，分类结果为正常分类结果的鼻子图像的标签值为1。当局部区域图像为左眼图像或右眼图像时，令异常分类结果是被遮挡物遮挡而产生的左眼图像或右眼图像的标签值为0，分类结果为正常分类结果的左眼图像或右眼图像的标签值为1，异常分类结果是闭眼而产生的左眼图像或右眼图像的标签值为2。当局部区域图像为嘴巴图像时，令异常分类结果是被遮挡物遮挡而产生的嘴巴图像的标签值为0，分类结果为正常分类结果的嘴巴图像的标签值为1，异常分类结果是嘴巴张开超过预设角度阈值而产生的嘴巴图像的标签值为2。

总体而言，对于三分类模型，异常分类结果包括第一异常分类结果与第二异常分类结果，其中，第一异常分类结果包括眼睛遮拦、鼻子遮拦及嘴巴遮拦，第二异常分类结果包括眼睛闭合及嘴巴张开超过预设角度阈值。

当电子设备通过二分类模型或三分类模型分类出各个局部区域图像的分类结果后，于是，电子设备在修正分类结果为异常分类结果的局部区域图像的过程中，可以选择对应的修正方式修正分类结果为异常分类结果的局部区域图像。

举例而言，随着二分类模型的二分类结果，电子设备将分类结果为异常分类结果的局部区域图像的图像特征向量修正为预设特征向量，其中，所述预设特征向量为删除所述异常分类结果的局部区域图像的特征向量值，或者足以将异常分类结果的局部区域图像修正为后续提高人脸识别效果的特征向量值，例如，在一张人脸图像中，左眼图像为闭合，鼻子图像为被遮挡物遮挡，其它局部区域图像为正常，电子设备将左眼图像与鼻子图像的各自图像特征向量都修正为0，亦即，将异常分类结果的局部区域图像的图像特征向量全部置零。

再举例而言，随着三分类模型的三分类结果，电子设备将分类结果为第一异常分类结果的局部区域图像的图像特征向量修正为预设特征向量，将分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与正常分类结果对应的图像特征向量，例如，在一张人脸图像中，右眼图像被遮挡物遮挡，左眼图像为闭合，嘴巴图像的张开角度超过45度，由于右眼图像的分类结果为第一异常分类结果，左眼图像及嘴巴图像的分类结果都为第二异常分类结果，因此，电子设备将右眼图像的图像特征向量全部置0，将左眼图像的闭合状态还原成睁开状态，将嘴巴图像的张开状态还原成闭合状态，亦即，将左眼图像及嘴巴图像各自的图像特征向量修正为与正常分类结果对应的图像特征向量。

在一些实施例中，电子设备可以采用任意合适算法或工具将分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与正常分类结果对应的图像特征向量，例如，左眼图像为闭合，电子设备使用Exemplar GANs方法，在条件GAN的基础上加入参考信息，将左眼的闭合状态还原成睁开状态，具体的，电子设备从人脸图像中标出左眼，以标准睁开左眼图像或感知代码(perceptual code)为指导，对图像进行补全，通过输入的左眼图像和补全图像之间的内容/重构损失，计算生成器参数的梯度，用补全图像、另一个groundtruth图像和标准睁开左眼图像或感知代码，计算鉴别器参数的梯度，通过生成器反向传播鉴别器的误差，用感知损失对生成器的参数进行更新，从而得到睁开状态的左眼图像。

在三分类模型中，电子设备将分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与正常分类结果对应的图像特征向量后，得到修正后的局部区域图像。

一般的，当局部区域图像被修正后，后续进行人脸识别计算时，为了使得修正后的局部区域图像参与人脸识别计算的计算结果更加精确，电子设备可以采用任意合适的方式降低修正后局部区域图像带来的误差。

举例而言，令修正后的局部区域图像的图像特征向量为第一图像特征向量，未修正的局部区域图像的图像特征向量为第二图像特征向量。请参阅图2d，S24包括：

S241、拼接第一图像特征向量及第二图像特征向量，得到局部总图像特征向量；

在一些实施例中，按照预注册图像中各个标准局部区域图像在数据库的拼接顺序，将第一图像特征向量及第二图像特征向量作拼接处理，例如，依序将左眼图像、右眼图像、鼻子图像及嘴巴图像的各自图像特征向量作拼接处理，其中，由于左眼图像及鼻子图像是异常的，电子设备先前对左眼图像及鼻子图像作修正处理，因此，左眼图像及鼻子图像各自对应的图像特征向量为第一图像特征向量，右眼图像及嘴巴图像是正常的，电子设备先前未对右眼图像及嘴巴图像作修正处理，因此，右眼图像及嘴巴图像各自对应的图像特征向量为第二图像特征向量。

S242、根据分类结果为正常分类结果的局部区域图像的数量，计算补偿系数；

在本实施例中，可以理解的是，对于前述的三分类模型，当电子设备将分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与正常分类结果对应的图像特征向量之后，原本分类结果为第二异常分类结果的局部区域图像可变为分类结果为正常分类结果的局部区域图像。

在一些实施例中，计算补偿系数时，电子设备可以根据式子：M＝X*Y，N＝K*Y，H＝M/N，计算补偿系数，其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

举例而言，一张人脸图像包含4个局部区域图像，分别为左眼图像、右眼图像、鼻子图像及嘴巴图像，亦即，X＝4。如前所述的二分类模型或三分类模型，正常分类结果的局部区域图像的标签值都为1，亦即，Y＝1，因此，M＝X*Y＝4*1＝4。假设在所述人脸图像中，左眼图像及嘴巴图像的分类结果都是异常分类结果，右眼图像及鼻子图像的分类结果都是正常分类结果，亦即，K＝2，因此，N＝K*Y＝2*1＝2，H＝4/2＝2。

再举例而言，当所述人脸图像中4个局部区域图像的四个分类结果都是正常分类结果，则：X＝4，Y＝1，M＝4，K＝4，N＝4，H＝1。

再举例而言，当所述人脸图像中4个局部区域图像的3个分类结果都是正常分类结果,1个分类结果为异常分类结果，则：X＝4，Y＝1，M＝4，K＝1，N＝1，H＝4。

S243、将局部总图像特征向量乘以补偿系数，得到补偿后的总图像特征向量；

举例而言，令局部总图像特征向量M＝[M1,M2,M3,M4]，其中，M1、M2、M3、M4分别是左眼图像、右眼图像、鼻子图像及嘴巴图像各自对应的图像特征向量，根据式子：M*H＝P，计算补偿后的总图像特征向量，其中，P为补偿后的总图像特征向量。

S244、根据补偿后的总图像特征向量及预注册图像的注册图像特征向量，识别人脸图像。

在一些实施例中，电子设备可以使用任意合适算法根据补偿后的总图像特征向量及预注册图像的注册图像特征向量识别人脸图像，例如，电子设备计算补偿后的总图像特征向量与预注册图像的注册图像特征向量之间的欧式距离，判断欧式距离是否小于或等于预设欧式距离，若是，确定人脸图像匹配预注册图像，若否，确定人脸图像未匹配预注册图像。

因此，通过上述方法计算补偿系数，并将补偿系数补偿修正后的局部区域图像可能带来的识别误差，其能够更加精确地识别人脸。

在一些实施例中，整体的人脸图像除了包含上述各个实施例所阐述的4大局部区域图像，单单就整体的人脸图像而言，其也是包含能够识别人脸的其它图像特征向量，因此，整体的人脸图像也可以作为参与识别人脸图像计算时的图像特征向量。

因此，在一些实施例中，请结合图2e，令人脸图像的图像特征向量为第三图像特征向量。电子设备在根据修正后的局部区域图像、未修正的局部区域图像及预注册图像识别人脸图像时，还可以拼接第三图像特征向量及局部总图像特征向量，得到全局总图像特征向量，例如，按照预注册图像中各个标准局部区域图像在数据库的拼接顺序，将第三图像特征向量、第一图像特征向量及第二图像特征向量作拼接处理，例如，依序将人脸图像、左眼图像、右眼图像、鼻子图像及嘴巴图像的各自图像特征向量作拼接处理。

在得到补偿后的总图像特征向量的过程中，电子设备将全局总图像特征向量乘以所述补偿系数，得到补偿后的总图像特征向量。

由于多了人脸图像的图像特征向量，其还可以采用下述方式计算补偿系数，例如，电子设备根据式子：M＝(X+1)*Y，N＝(K+1)*Y，H＝M/N，计算补偿系数，其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

举例而言，一张人脸图像包含4个局部区域图像，分别为左眼图像、右眼图像、鼻子图像及嘴巴图像，亦即，X＝4。如前所述的二分类模型或三分类模型，正常分类结果的局部区域图像的标签值都为1，亦即，Y＝1，因此，M＝(X+1)*Y＝5*1＝5。假设在所述人脸图像中，左眼图像及嘴巴图像的分类结果都是异常分类结果，右眼图像及鼻子图像的分类结果都是正常分类结果，亦即，K＝2，因此，N＝(K+1)*Y＝3*1＝3，H＝5/3。

再举例而言，当所述人脸图像中4个局部区域图像的四个分类结果都是正常分类结果，则：X＝4，Y＝1，M＝5，K＝4，N＝5，H＝1。

再举例而言，当所述人脸图像中4个局部区域图像的3个分类结果都是正常分类结果,1个分类结果为异常分类结果，则：X＝4，Y＝1，M＝5，K＝1，N＝2，H＝2.5。

当加入人脸图像的第三图像特征向量后，识别人脸时，其计算结果更加精确，识别效果更好。

需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

作为本发明实施例的另一方面，本发明实施例提供一种人脸识别装置。请参阅图3a，人脸识别装置300包括：获取模块31、分类模块32、修正模块33及识别模块34。

获取模块31用于获取人脸图像，人脸图像被划分成多个局部区域图像。

分类模块32用于分类每个局部区域图像，得到分类结果，分类结果包括异常分类结果与正常分类结果。

修正模块33用于修正分类结果为异常分类结果的局部区域图像。

识别模块34用于根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别人脸图像。

总体而言，即使某个局部区域图像出现异常，通过修正异常分类结果的局部区域图像，使得后续识别人脸时，可以结合未修正的局部区域图像及预注册图像，精确地识别人脸，进而提高识别效果。

在一些实施例中，修正模块33用于将分类结果为异常分类结果的局部区域图像的图像特征向量修正为预设特征向量。

在一些实施例中，异常分类结果包括第一异常分类结果与第二异常分类结果。修正模块33用于将分类结果为第一异常分类结果的局部区域图像的图像特征向量修正为预设特征向量，将分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与正常分类结果对应的图像特征向量。

在一些实施例中，预设特征向量为0。

在一些实施例中，令修正后的局部区域图像的图像特征向量为第一图像特征向量，未修正的局部区域图像的图像特征向量为第二图像特征向量。请参阅图3b，识别模块34包括：拼接单元341、计算单元342、补偿单元343及识别单元344。

拼接单元341用于拼接第一图像特征向量及第二图像特征向量，得到局部总图像特征向量。

计算单元342用于根据分类结果为正常分类结果的局部区域图像的数量，计算补偿系数。

补偿单元343用于将局部总图像特征向量乘以补偿系数，得到补偿后的总图像特征向量。

识别单元344用于根据补偿后的总图像特征向量及预注册图像的注册图像特征向量，识别人脸图像。

在一些实施例中，计算单元342用于根据式子：M＝X*Y，N＝K*Y，H＝M/N，计算补偿系数，其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

在一些实施例中，令人脸图像的图像特征向量为第三图像特征向量。识别模块34还用于拼接第三图像特征向量及局部总图像特征向量，得到全局总图像特征向量。则：补偿单元343还用于将全局总图像特征向量乘以补偿系数，得到补偿后的总图像特征向量。

在一些实施例中，计算单元342还用于根据式子：M＝(X+1)*Y，N＝(K+1)*Y，H＝M/N，计算补偿系数，其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

在一些实施例中，识别单元344还用于计算补偿后的总图像特征向量与预注册图像的注册图像特征向量之间的欧式距离，判断欧式距离是否小于或等于预设欧式距离，若是，确定人脸图像匹配预注册图像，若否，确定人脸图像未匹配预注册图像。

在一些实施例中，局部区域图像包括以下任意一种或两种以上的区域图像：左眼图像、右眼图像、鼻子图像和/或嘴巴图像。

在一些实施例中，分类模块32还用于根据预设分类模型，分类每个局部区域图像，得到分类结果。

需要说明的是，上述人脸识别装置可执行本发明实施例所提供的人脸识别方法，具备执行方法相应的功能模块和有益效果。未在人脸识别装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的人脸识别方法。

图4是本发明实施例提供的一种电子设备的电路原理框图。如图4所示，该电子设备400包括一个或多个处理器41以及存储器42。其中，图4中以一个处理器41为例。

处理器41和存储器42可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器42作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的人脸识别方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的非易失性软件程序、指令以及模块，从而执行人脸识别装置的各种功能应用以及数据处理，即实现上述方法实施例人脸识别方法以及上述装置实施例的各个模块或单元的功能。

存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器42中，当被所述一个或者多个处理器41执行时，执行上述任意方法实施例中的人脸识别方法。

本发明实施例的电子设备400以多种形式存在，在执行以上描述的各个步骤。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图4中的一个处理器41，可使得上述一个或多个处理器可执行上述任意方法实施例中的人脸识别方法。

本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的人脸识别方法。

总体而言，即使某个局部区域图像出现异常，通过修正异常分类结果的局部区域图像，使得后续识别人脸时，可以结合未修正的局部区域图像及预注册图像，精确地识别人脸，进而提高识别效果。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种人脸识别方法，其特征在于，包括：

获取人脸图像，所述人脸图像被划分成多个局部区域图像；

分类每个所述局部区域图像，得到分类结果，所述分类结果包括异常分类结果与正常分类结果；

修正所述分类结果为异常分类结果的局部区域图像；

根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别所述人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述修正所述分类结果为异常分类结果的局部区域图像，包括：

将所述分类结果为异常分类结果的局部区域图像的图像特征向量修正为预设特征向量。

3.根据权利要求1所述的方法，其特征在于，所述异常分类结果包括第一异常分类结果与第二异常分类结果；

所述修正所述分类结果为异常分类结果的局部区域图像，包括：

将所述分类结果为第一异常分类结果的局部区域图像的图像特征向量修正为预设特征向量；

将所述分类结果为第二异常分类结果的局部区域图像的图像特征向量修正为与所述正常分类结果对应的图像特征向量。

4.根据权利要求2或3所述的方法，其特征在于，所述预设特征向量为0。

5.根据权利要求2或3所述的方法，其特征在于，令修正后的局部区域图像的图像特征向量为第一图像特征向量，未修正的局部区域图像的图像特征向量为第二图像特征向量；

所述根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别所述人脸图像，包括：

拼接所述第一图像特征向量及所述第二图像特征向量，得到局部总图像特征向量；

根据所述分类结果为正常分类结果的局部区域图像的数量，计算补偿系数；

将所述局部总图像特征向量乘以所述补偿系数，得到补偿后的总图像特征向量；

根据所述补偿后的总图像特征向量及预注册图像的注册图像特征向量，识别所述人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述分类结果为正常分类结果的局部区域图像的数量，计算补偿系数，包括：

根据式子：M＝X*Y，N＝K*Y，H＝M/N，计算补偿系数；

其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

7.根据权利要求5所述的方法，其特征在于，令所述人脸图像的图像特征向量为第三图像特征向量；

所述根据修正后的局部区域图像、未修正的局部区域图像及预注册图像，识别所述人脸图像，还包括：

拼接所述第三图像特征向量及所述局部总图像特征向量，得到全局总图像特征向量；

则：所述将所述局部总图像特征向量乘以所述补偿系数，得到补偿后的总图像特征向量，包括：

将所述全局总图像特征向量乘以所述补偿系数，得到补偿后的总图像特征向量。

8.根据权利要求7所述的方法，其特征在于，所述根据所述分类结果为正常分类结果的局部区域图像的数量，计算补偿系数，包括：

根据式子：M＝(X+1)*Y，N＝(K+1)*Y，H＝M/N，计算补偿系数；

其中，X为局部区域图像的数量，Y为分类结果为正常分类结果的局部区域图像的标签值，M为当每个局部区域图像的分类结果为正常分类结果时的总标签值，K为分类结果为正常分类结果的局部区域图像的数量，N为分类结果为正常分类结果的局部区域图像的总正常标签值，H为补偿系数。

9.根据权利要求5所述的方法，其特征在于，所述根据所述补偿后的总图像特征向量及预注册图像的注册图像特征向量，识别所述人脸图像，包括：

计算补偿后的总图像特征向量与预注册图像的注册图像特征向量之间的欧式距离；

判断所述欧式距离是否小于或等于预设欧式距离；

若是，确定所述人脸图像匹配预注册图像；

若否，确定所述人脸图像未匹配预注册图像。

10.根据权利要求1所述的方法，其特征在于，所述局部区域图像包括以下任意一种或两种以上的区域图像：左眼图像、右眼图像、鼻子图像和/或嘴巴图像。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述分类每个所述局部区域图像，得到分类结果，包括：

根据预设分类模型，分类每个所述局部区域图像，得到分类结果。

12.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-11任一项所述的人脸识别方法。