CN108154093B - 人脸信息识别方法及装置、电子设备、机器可读存储介质 - Google Patents

Abstract

本公开是关于一种人脸信息识别方法及装置、电子设备、机器可读存储介质。该人脸信息识别方法包括：确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；根据所述特征图确定每个候选区域对应的特征向量；通过并行调用不同的识别算法，利用所述特征向量识别不同种类的人脸信息。可见，本实施例中可以在并行确定人脸概率和人脸特征，相对比先后计算出人脸概率和人脸特征，可以减少处理时间，提高识别效率；尤其在多次重新计算人脸特征的场景下，减少时间更加明显，从而可以提升用户体验。

Description

人脸信息识别方法及装置、电子设备、机器可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种人脸信息识别方法及装置、 电子设备、机器可读存储介质。

背景技术

目前，例如智能手机等移动终端配置有前置摄像头。在拍摄图像的过程 中，前置摄像头可以检测到候选区域内的人脸以及确定人脸的位置。然后， 还可以根据用户所选取的功能识别出人脸的性别和年龄。

然而，由于性别识别和年龄识别在人脸检测之后进行。若性别或者年龄 识别不准确，则需要重新识别，导致识别时间过长，检测效率低，降低用户 体验。

发明内容

本公开提供一种人脸信息识别方法及装置、电子设备、机器可读存储介 质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提供一种人脸信息识别方法，所述方法 包括：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的 尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量识别不同种类的人脸 信息。

可选地，确定输入图像的多个候选区域和所述输入图像的特征图包括：

基于显著性检测方法确定所述输入图像中多个候选区域；

利用卷积神经网络确定所述输入图像的特征图。

可选地，根据所述特征图确定每个候选区域对应的特征向量包括：

根据所述每个候选区域的区域信息和所述输入图像与所述特征图之间的 缩放系数，确定所述候选区域在所述特征图中对应的特征区域；

根据每个特征区域确定所述特征区域对应的特征向量。

可选地，根据所述特征图确定每个候选区域对应的特征向量包括：

对所述每个特征区域进行最大值池化操作；

将池化操作后的特征区域转换为预设长度的特征向量。

可选地，所述识别算法还包括第四神经网络，所述方法还包括：

调用所述第四神经网络，根据所述特征向量确定所述每个候选区域的区 域信息调整量；

若所述区域信息调整量小于或者等于调整量阈值，则执行利用所述特征 向量识别不同种类的人脸信息的步骤；

若所述区域信息调整量大于所述调整量阈值，则根据所述每个候选区域 的区域信息调整量更新所述每个候选区域的区域信息，执行根据所述特征图 确定每个候选区域对应的特征向量的步骤。

可选地，利用所述特征向量识别不同种类的人脸信息之后，所述方法还 包括：

对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈 值，从所述多个候选区域中剔除所述人脸概率对应的候选区域得到第一候选 区域；

对所述第一候选区域进行非极大值抑制处理，得到人脸区域。

根据本公开实施例的第二方面，提供一种人脸信息识别装置，所述方法 包括：

特征图确定模块，用于确定输入图像的多个候选区域和所述输入图像的 特征图，所述特征图的尺寸小于所述输入图像的尺寸；

特征向量确定模块，用于根据所述特征图确定每个候选区域对应的特征 向量；

人脸信息识别模块，用于通过并行调用不同的识别算法，利用所述特征 向量识别不同种类的人脸信息。

可选地，所述特征图确定模块包括：

候选区域确定单元，用于基于显著性检测方法确定所述输入图像中多个 候选区域；

特征图确定单元，用于利用卷积神经网络确定所述输入图像的特征图。

可选地，所述特征向量确定模块包括：

特征区域确定单元，用于根据所述每个候选区域的区域信息和所述输入 图像与所述特征图之间的缩放系数，确定所述候选区域在所述特征图中对应 的特征区域；

特征向量确定单元，用于根据每个特征区域确定所述特征区域对应的特 征向量。

可选地，所述特征向量确定模块包括：

特征区域池化单元，用于对所述每个特征区域进行最大值池化操作；

特征向量转换单元，用于将池化操作后的特征区域转换为预设长度的特 征向量。

可选地，所述识别算法还包括第四神经网络，所述装置还包括：

信息调整量确定模块，用于调用所述第四神经网络，根据所述特征向量 确定所述每个候选区域的区域信息调整量；

判断模块，用于在所述区域信息调整量小于或者等于调整量阈值时，触 发人脸信息识别模块；

所述判断模块，还用于在所述区域信息调整量大于所述调整量阈值时， 根据所述每个候选区域的区域信息调整量更新所述每个候选区域的区域信息， 并触发特征向量确定模块。

可选地，所述装置还包括：

第一区域获取模块，用于对比所述人脸概率与概率阈值，在所述人脸概 率小于或等于所述概率阈值时，从所述多个候选区域中剔除所述人脸概率对 应的候选区域得到第一候选区域；

人脸区域获取模块，用于对所述第一候选区域进行非极大值抑制处理， 得到人脸区域。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的 尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量识别不同种类的人脸 信息。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存 储有计算机程序，该程序被处理器执行时实现：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的 尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量识别不同种类的人脸 信息。

本公开的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本公开实施例中通过获取输入图像中每个候选区域 的特征向量，然后根据该特征向量确定每个候选区域的人脸概率和人脸特征， 最终可以识别出人脸区域和该人脸区域对应的人脸特征。可见，本实施例中 可以在并行确定人脸概率和人脸特征，相对比先后计算出人脸概率和人脸特 征，可以减少处理时间，提高识别效率；尤其在多次重新计算人脸特征的场 景下，减少时间更加明显，从而可以提升用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性 的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公 开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种人脸信息识别方法的流程示意图；

图2是根据一示例性实施例示出的确定每个候选区域对应特征向量的流 程示意图；

图3是根据一示例性实施例示出的最大值池化处理的示意图；

图4是根据另一示例性实施例示出的一种人脸信息识别方法的流程示意 图；

图5是根据又一示例性实施例示出的一种人脸信息识别方法的流程示意 图；

图6是根据又一示例性实施例示出的一种人脸信息识别方法的流程示意 图；

图7是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图8是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图9是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图10是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图11是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图12是根据一示例性实施例示出的一种人脸信息识别装置的框图；

图13是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的 描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所 有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一 些方面相一致的装置例子。

图1是根据一示例性实施例示出的一种人脸信息识别方法的流程示意图。 本公开实施例中，识别是指确定物体在输入图像的区域信息以及该物体的类 别，可以应用于计算机、手机、平板电脑等终端或服务器或者服务器群组， 还可以应用于为其它能够识别图片中物体的装置，以实现图像检索或者自动 驾驶等业务。参见图1，一种人脸信息识别方法包括步骤101～步骤103：

101，确定输入图像的多个候选区域和所述输入图像的特征图，所述特征 图的尺寸小于所述输入图像的尺寸。

本实施例中，可以对输入图像进行显著性检测，从而可以确定物体的多 个候选区域。其中，显著性检测算法可以采用相关技术中的选择性搜索 (Selective Search)方法或候选区域提取网络(Region Proposal Networks)， 具体检测步骤在此不再详述。

需要说明的是，上述多个候选区域的数量可以为数百或者数千，每个候 选区域的区域信息可以包括横坐标、纵坐标、候选区域的宽度和高度。

本实施例中，可以利用卷积神经网络(CNN)对输入图像进行卷积运算， 从而得到输入图像的特征图F_c。可理解的是，CNN网络的层数、每一层卷积 核的数量以及每一个卷积核的大小可以根据网络速度和精度进行调整，从而 得到需要大小的特征图，该特征图通常可以采用矩阵形式表示。

102，根据所述特征图确定每个候选区域对应的特征向量。

本实施例中，可以首先获取输入图像和特征图之间的缩放系数，并根据 缩放系数以及每个候选区域的区域信息确定每个候选区域对应的特征区域。 然后将每个特征区域转换成对应的特征向量。图2是根据另一示例性实施例 示出的确定每个候选区域对应特征向量的流程示意图。参见图2，确定每个 候选区域对应的特征向量可以包括步骤201和步骤202：

201，根据所述每个候选区域的区域信息和所述输入图像与所述特征图之 间的缩放系数，确定所述候选区域在所述特征图中对应的特征区域。

在一实施例中，获取输入图像和特征图之间的缩放系数可以包括：

在下采样操作中，与特征图F_c缩小相关的因素包括至少一个卷积层中卷 积核(kernel)的数量、大小和卷积时的步长(stride)。由于第一神经网络 在训练完成后，卷积核的数量、大小和步长是固定的，即训练完成后卷积核 的数量、大小和步长是该第一神经网络的输入参数的一部分，因此本实施例 中可以从第一神经网络的输入参数中获取卷积核的数量、大小和步长，然后 根据预设公式计算出缩放系数s_c。之后，根据每个候选区域的区域信息和缩 放系数可以确定每个候选区域在特征图F_c上对应的特征区域 r_c＝(x_c,y_c,w_c,h_c)＝(s_c*x,s_c*y,s_c*w,s_c*h)。这样候选区域与特征图上的特征区域 建立了一一对应的关系。

本实施例中，在特征向量输入第一神经网络之前，可以采用最大值池化 处理方式将全部特征区域r_c处理为统一尺寸，这样每个特征区域对应的特征 向量具有相同的长度。

如图3所示，以2*2的卷积核，步长为2为例，最大值池化处理过程包 括：

卷积核在图3(a)的位置301时，对应区域{3，6，4，7}，选择最大值 为7；

卷积核向右移动2个单元到达位置302，此时卷积核的对应区域{1，4， 7，8}，选择最大值为8；

卷积核向左和下各移动2个单元，到达在图3(a)的位置303，此时卷 积核的对应区域{2，2，2，4}，选择最大值为4；

卷积核向右移动2个单元，到达在图3(a)的位置304，对应区域{1，2， 3，4}，选择最大值为4。

经过上述最大值池化处理可以得到图3(b)所示结果，即{7，8，4，4}。

202，根据每个特征区域确定所述特征区域对应的特征向量。

本实施例中，可以对特征区域r_c进行降维处理得到特征向量f_c，有利于 减少计算量。在一实施例中，可以按照逐行写入向量的方式，得到特征向量f_c， 还可以按逐写入向量的方式，得到特征向量f_c。以逐行写入向量的方式为例， 假设特征区域r_c为

则逐行写入向量得到{1,5,9；5,4,0；2,7,3}。

本实施例中，通过最大值池化处理，可以使每个候选区域对应的特征区 域具有相同的尺寸，这样特征区域转换后可以得到具有预设长度的特征向量， 减少后续过程中多层感知器(Multi-layer Perceptron，MLP)的数量以及提高 计算准确度。

在另一实施例中，第一神经网络可以包括多个权重系数不同的神经网络， 这样可以处理不同尺寸的特征区域。然后将特征区域按照指定规则转换为预 设长度的特征向量，同样可以实现本公开的方案。

103，通过并行调用不同的识别算法，利用所述特征向量识别不同种类的 人脸信息。

本实施例中，人脸信息可以包括：人脸概率、人脸年龄或者人脸性别。 需要说明的是，人脸信息中，人脸年龄和人脸性别可以分别识别，也可以同 时识别，可以根据具体场景进行设置。

本实施例中，识别算法可以包括第一神经网络、第二神经网络和第三神 经网络；其中所述第一神经网络用于识别所述每个候选区域的人脸概率；所 述第二神经网络用于识别所述每个候选区域的人脸年龄；所述第三神经网络 用于识别所述每个候选区域的人脸性别。

根据各识别算法识别不同种类信息的步骤在后续实施例中说明，在此不 作说明。

可见，本实施例中可以并行确定人脸信息，相对比先后计算出人脸概率 和人脸特征，本实施例可以减少处理时间，提高识别效率；尤其在重新计算 人脸特征的场景下，减少时间更加明显，从而可以提升用户体验。

图4是根据再一示例性实施例示出的一种人脸信息识别方法的流程示意 图，可以应用于同时确定输入图像中人脸概率和人脸年龄的场景，参见图4， 该人脸信息识别方法包括步骤401～步骤403：

401，确定输入图像的多个候选区域和所述输入图像的特征图，所述特征 图的尺寸小于所述输入图像的尺寸。

步骤401和步骤101的具体方法和原理一致，详细描述请参考图1及步 骤101的相关内容，此处不再赘述。

402，根据所述特征图确定每个候选区域对应的特征向量。

步骤402和步骤102的具体方法和原理一致，详细描述请参考图1及步 骤102的相关内容，此处不再赘述。

403，并行调用第一神经网络和第二神经网络，利用所述特征向量分别识 别人脸概率和人脸年龄。

本实施例中，将特征向量分别输入到第一神经网络和第二神经网络，然 后第一神经网络输出多个候选区域的人脸概率，第二神经网络输出多个候选 区域的人脸年龄。

第一神经网络在使用之前，可以利用预设数量的输入图像样例进行训练， 从而调整第一神经网络中各连接节点的权重系数，直至第一神经输出的实际 结果和期望结果的误差小于误差阈值，训练过程包括：

(1)从输入图像样例取出一样例图像，把样例图像输入到第一神经网络 中；

(2)由第一神经网络分别计算第一神经网络每一层中节点的输出；

(3)计算第一神经网络的实际结果和期望结果的误差；

(4)从输出层反向计算到第一隐藏层，根据一定原则向减小误差方向调 整第一神经网络中各个层之间连接权值；

(5)对输入图像样例中的每一个样例图像，重复以上步骤(1)～(4)， 直到输入图像样例的实际结果和期望结果的误差达到要求为止。

本实施例仅介绍了第一神经网络的一种训练方式，可理解的是，本实施 例还可以根据第一神经网络的选型、卷积核的数量和大小调整第一神经网络 的训练方式，在此不作限定。

在第一神经网络识别出的人脸概率之后，还基于人脸概率对多个候选区 域进行筛选，进而将人脸年龄匹配到人脸区域，包括：

本实施例中，可以事先设置人脸概率的概率阈值，例如该概率阈值为0.8。 然后对比人脸概率和概率阈值，并根据对比结果确定人脸区域。若人脸概率 小于或者等于概率阈值，则剔除该人脸概率对应的候选区域，最终可以剩下 的多个候选区域作为第一候选区域。

本实施例中，基于检测评价函数(Intersection Over Union，IOU)对第 一候选区域进行非极大值抑制处理，处理完成后得到的候选区域即人脸区域。

其中，检测评价函数的计算公式为IOU为两个候选区域的交集与两个候 选区域的并集的比值，具体计算过程可以参考相关技术，在此不再赘述。

本实施例中，将人脸信息中的人脸年龄匹配到人脸区域，即该人脸区域 的信息可以包括：人、人脸概率、人脸年龄。

可见，本实施例中可以并行确定人脸信息，可以减少处理时间，提高识 别效率；尤其在重新计算人脸特征的场景下，减少时间更加明显，从而可以 提升用户体验。另外，本实施例中为所确定出的人脸区域匹配人脸年龄，提 升用户的使用体验。

图5是根据再一示例性实施例示出的一种人脸信息识别方法的流程示意 图，可以应用于同时确定输入图像中人脸概率和人脸年龄的场景，参见图5， 该人脸信息识别方法包括步骤501～步骤503：

501，确定输入图像的多个候选区域和所述输入图像的特征图，所述特征 图的尺寸小于所述输入图像的尺寸。

步骤501和步骤101的具体方法和原理一致，详细描述请参考图1及步 骤101的相关内容，此处不再赘述。

502，根据所述特征图确定每个候选区域对应的特征向量。

步骤502和步骤102的具体方法和原理一致，详细描述请参考图1及步 骤102的相关内容，此处不再赘述。

503，并行调用第一神经网络和第三神经网络，利用所述特征向量分别识 别人脸概率和人脸性别。

本实施例中，将特征向量分别输入到第一神经网络和第三神经网络，然 后第一神经网络输出多个候选区域的人脸概率，第三神经网络输出多个候选 区域的人脸性别。

步骤503和步骤403的基于人脸概率确定人脸区域的具体方法和原理， 详细描述请参考图4及步骤403的相关内容，此处不再赘述。

需要说明的是，该第三神经网络在使用之前，可以利用预设数量的输入 图像样例进行训练，每个样例包括多个候选区域的区域信息，训练过程可以 参考第一神经网络的训练方式，在此不再赘述。

为使第一神经网络和第三神经网络具有更好的识别效果，可理解的是， 可以采用相同的输入图像样例进行训练，训练过程中输入图像样例具有与人 脸信息相匹配的参数信息。

本实施例中，将人脸信息中的人脸性别匹配到人脸区域，即该人脸区域 的信息可以包括：人、人脸概率、人脸性别。

可见，本实施例中可以并行确定人脸信息，可以减少处理时间，提高识 别效率；尤其在重新计算人脸特征的场景下，减少时间更加明显，从而可以 提升用户体验。另外，本实施例中为所确定出的人脸区域匹配人脸年龄，提 升用户的使用体验。

图6是根据又一示例性实施例示出的一种人脸信息识别方法的流程示意 图，应用于步骤101中确定每个候选区域的区域信息的准确度需要提高的场 景，调整过程基于步骤102中确定的特征向量进行，参见图6，该人脸信息 识别方法包括步骤601～步骤606：

601，确定输入图像的多个候选区域和所述输入图像的特征图，所述特征 图的尺寸小于所述输入图像的尺寸。

步骤601和步骤101的具体方法和原理一致，详细描述请参考图1及步 骤101的相关内容，此处不再赘述。

602，根据所述特征图确定每个候选区域对应的特征向量。

步骤602和步骤102的具体方法和原理一致，详细描述请参考图1及步 骤102的相关内容，此处不再赘述。

603，通过并行调用不同的识别算法，利用所述特征向量识别不同种类的 人脸信息。

步骤63和步骤103的具体方法和原理一致，详细描述请参考图1及步骤 103的相关内容，此处不再赘述。

604，通过并行调用第四神经网络对所述特征向量进行识别，确定所述多 个候选区域中每个候选区域的区域信息调整量。

本实施例中，将特征向量输入到第四神经网络中，可以得到每个候选区 域的区域信息调整量。

需要说明的是，第四神经网络在使用之前，可以利用预设数量的输入图 像样例进行训练，每个样例包括多个候选区域的区域信息，训练过程可以参 考第一神经网络的训练方式，在此不再赘述。

还需要说明的是，步骤603和步骤604的执行顺序不作限定。在一实施 例中，步骤603和步骤604并列执行。为方便画图以及理解，本实施例中， 以步骤604先于步骤603执行，但是步骤603和步骤604同为从步骤602中 获取特征向量。

605，判断区域信息调整量是否小于或者等于调整量阈值。

本实施例中，判断区域信息调整量和调整量阈值的大小，若区域信息调 整量小于或者等于调整量阈值，则执行步骤603。在步骤603和步骤604同 时执行时，则以上一次步骤603的结果为最终结果；也可以再执行一次步骤603，然后将执行后的结果为最终结果。可以根据具体情况进行设置，在此不 作限定。

需要说明的是，步骤605中，终止条件区域信息调整量小于或者等于调 整量阈值，还可以替换为迭代次数大于或者等于次数阈值。同样可以实现本 公开的方案。

606，判断区域信息调整量是否小于或者等于调整量阈值。

本实施例中，根据每个候选区域的区域信息和区域信息调整量更新所述 每个候选区域的区域信息，继续执行步骤602。

可理解的是，步骤604、步骤605、步骤606可以执行多次，执行次数或 者终止条件可以根据第四神经网络的消耗时间和区域信息的准确度进行调整。

可见，本发明实施例通过调整每个候选区域的区域信息，可以提高每个 候选区域的准确度，从而可以提高特征向量的准确度，最终提高人脸信息的 准确度，提升用户体验。

图7是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图7，该人脸信息识别装置700包括：

特征图确定模块701，用于确定输入图像的多个候选区域和所述输入图 像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；

特征向量确定模块702，用于根据所述特征图确定每个候选区域对应的 特征向量；

人脸信息识别模块703，用于通过并行调用不同的识别算法，利用所述 特征向量识别不同种类的人脸信息。

图8是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图8，在图7所示实施例的人脸信息识别装置的基础上，该人脸信息识别装 置中特征向量确定模块701还包括：

候选区域确定单元801，用于基于显著性检测方法确定所述输入图像中 多个候选区域；

特征图确定单元802，用于利用卷积神经网络确定所述输入图像的特征 图。

图9是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图9，在图7所示实施例的人脸信息识别装置的基础上，该人脸信息识别装 置中特征向量确定模块702还包括：

特征区域确定单元901，用于根据所述每个候选区域的区域信息和所述 输入图像与所述特征图之间的缩放系数，确定所述候选区域在所述特征图中 对应的特征区域；

特征向量确定单元902，用于根据每个特征区域确定所述特征区域对应 的特征向量。

在一实施例中，所述人脸信息包括：人脸概率、人脸年龄或者人脸性别。

在一实施例中，所述识别算法包括第一神经网络、第二神经网络和第三 神经网络；其中所述第一神经网络用于识别所述每个候选区域的人脸概率； 所述第二神经网络用于识别所述每个候选区域的人脸年龄；所述第三神经网 络用于识别所述每个候选区域的人脸性别。

图10是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图10，在图7所示实施例的人脸信息识别装置的基础上，该人脸信息识别装 置中特征向量确定模块702还包括：

特征区域池化单元1001，用于对所述每个特征区域进行最大值池化操作；

特征向量转换单元1002，用于将池化操作后的特征区域转换为预设长度 的特征向量。

图11是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图11，在图7所示实施例的人脸信息识别装置的基础上，该人脸信息识别装 置1100还包括：

信息调整量确定模块1104，用于调用所述第四神经网络，根据所述特征 向量确定所述每个候选区域的区域信息调整量；

判断模块1105，用于在所述区域信息调整量小于或者等于调整量阈值时， 触发人脸信息识别模块；

所述判断模块1106，还用于在所述区域信息调整量大于所述调整量阈值 时，触发区域信息更新模块1106；

所述区域信息更新模块1106，用于根据所述每个候选区域的区域信息调 整量更新所述每个候选区域的区域信息，并发送给特征向量确定模块1102。

图12是根据一示例性实施例示出的一种人脸信息识别装置的框图。参见 图12，在图7所示实施例的人脸信息识别装置的基础上，该人脸信息识别装 置1200还包括：

第一区域获取模块1204，用于对比所述人脸概率与概率阈值，在所述人 脸概率小于或等于所述概率阈值时，从所述多个候选区域中剔除所述人脸概 率对应的候选区域得到第一候选区域；

人脸区域获取模块1205，用于对所述第一候选区域进行非极大值抑制处 理，得到人脸区域。

图13是根据一示例性实施例示出的一种电子设备的框图。例如，电子设 备1300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制 台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图13，电子设备1300可以包括以下一个或多个组件：处理组件1302， 存储器1304，电源组件1306，多媒体组件1308，音频组件1310，输入/输出 (I/O)的接口1312，传感器组件1314，以及通信组件1316。其中，存储器 1304用于存储处理组件1302可执行的指令。处理组件1302从存储器1304 读取指令以实现：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的 尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量识别不同种类的人脸 信息。

处理组件1302通常控制装置1300的整体操作，诸如与显示，电话呼叫， 数据通信，相机操作和记录操作相关联的操作。处理组件1302可以包括一个 或多个处理器1320来执行指令。此外，处理组件1302可以包括一个或多个 模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可 以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。

存储器1304被配置为存储各种类型的数据以支持在装置1300的操作。 这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令， 联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类 型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储 器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只 读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)， 磁存储器，快闪存储器，磁盘或光盘。

电源组件1306为装置1300的各种组件提供电力。电源组件1306可以包 括电源管理系统，一个或多个电源，及其他与为装置1300生成、管理和分配 电力相关联的组件。

多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口 的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。 如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入 信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上 的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测 与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组 件1308包括一个前置摄像头和/或后置摄像头。当装置1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒 体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具 有焦距和光学变焦能力。

音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310 包括一个麦克风(MIC)，当装置1300处于操作模式，如呼叫模式、记录模 式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信 号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施 例中，音频组件1310还包括一个扬声器，用于输出音频信号。

I/O接口1312为处理组件1302和外围接口模块之间提供接口，上述外 围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页 按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1314包括一个或多个传感器，用于为装置1300提供各个方 面的状态评估。例如，传感器组件1314可以检测到装置1300的打开/关闭状 态，组件的相对定位，例如所述组件为装置1300的显示器和小键盘，传感器 组件1314还可以检测装置1300或装置1300一个组件的位置改变，用户与装 置1300接触的存在或不存在，装置1300方位或加速/减速和装置1300的温 度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物 理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如 CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该 传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力 传感器或温度传感器。

通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式 的通信。装置1300可以接入基于通信标准的无线网络，如WiFi，2G或3G， 或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来 自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中， 所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如， 在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术， 超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1300可以被一个或多个应用专用集成电路

(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编 程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微 处理器或其他电子元件实现。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储 介质，例如包括指令的存储器1304，上述指令可由装置1300的处理器1320 执行。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储 器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本 公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性 变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确 结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所 附的权利要求来限制。

Claims (12)

1.一种人脸信息识别方法，其特征在于，所述方法包括：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量并行识别不同种类的人脸信息；所述人脸信息包括：人脸概率、人脸年龄或者人脸性别；

对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈值，从所述多个候选区域中剔除所述人脸概率对应的候选区域，得到所述人脸概率大于所述概率阈值的第一候选区域；对所述第一候选区域进行非极大值抑制处理，得到人脸区域；将人脸信息匹配到人脸区域，得到所述人脸区域的人脸信息；

所述识别算法包括第一神经网络，所述第一神经网络包括多个权重系数不同的神经网络，每个权重系数的神经网络处理对应尺寸的特征图，每个权重系数的神经网络所处理的特征图可转换为预设长度的特征向量；所述第一神经网络根据多个权重系数和对应的人脸概率计算出最终的人脸概率；

所述识别算法包括第四神经网络，所述方法还包括：

调用所述第四神经网络，根据所述特征向量确定所述每个候选区域的区域信息调整量；

若所述区域信息调整量小于或者等于调整量阈值，则执行利用所述特征向量并行识别不同种类的人脸信息的步骤；

若所述区域信息调整量大于所述调整量阈值，则根据所述每个候选区域的区域信息调整量更新所述每个候选区域的区域信息，执行根据所述特征图确定每个候选区域对应的特征向量的步骤。

2.根据权利要求1所述的人脸信息识别方法，其特征在于，确定输入图像的多个候选区域和所述输入图像的特征图包括：

基于显著性检测方法确定所述输入图像中多个候选区域；

利用卷积神经网络确定所述输入图像的特征图。

3.根据权利要求1所述的人脸信息识别方法，其特征在于，根据所述特征图确定每个候选区域对应的特征向量包括：

根据所述每个候选区域的区域信息和所述输入图像与所述特征图之间的缩放系数，确定所述候选区域在所述特征图中对应的特征区域；

根据每个特征区域确定所述特征区域对应的特征向量。

4.根据权利要求1所述的人脸信息识别方法，其特征在于，根据所述特征图确定每个候选区域对应的特征向量包括：

对所述每个特征区域进行最大值池化操作；

将池化操作后的特征区域转换为预设长度的特征向量。

5.根据权利要求1所述的人脸信息识别方法，其特征在于，利用所述特征向量并行识别不同种类的人脸信息之后，所述方法还包括：

对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈值，从所述多个候选区域中剔除所述人脸概率对应的候选区域得到第一候选区域；

对所述第一候选区域进行非极大值抑制处理，得到人脸区域。

6.一种人脸信息识别装置，其特征在于，所述装置包括：

特征图确定模块，用于确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；

特征向量确定模块，用于根据所述特征图确定每个候选区域对应的特征向量；

人脸信息识别模块，用于通过并行调用不同的识别算法，利用所述特征向量并行识别不同种类的人脸信息；所述人脸信息包括：人脸概率、人脸年龄或者人脸性别；对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈值，从所述多个候选区域中剔除所述人脸概率对应的候选区域，得到所述人脸概率大于所述概率阈值的第一候选区域；对所述第一候选区域进行非极大值抑制处理，得到人脸区域；将人脸信息匹配到人脸区域，得到所述人脸区域的人脸信息；

所述识别算法包括第一神经网络，所述第一神经网络包括多个权重系数不同的神经网络，每个权重系数的神经网络处理对应尺寸的特征图，每个权重系数的神经网络所处理的特征图可转换为预设长度的特征向量；所述第一神经网络根据多个权重系数和对应的人脸概率计算出最终的人脸概率；

所述识别算法包括第四神经网络，所述装置还包括：

信息调整量确定模块，用于调用所述第四神经网络，根据所述特征向量确定所述每个候选区域的区域信息调整量；

判断模块，用于在所述区域信息调整量小于或者等于调整量阈值时，触发人脸信息识别模块；

所述判断模块，还用于在所述区域信息调整量大于所述调整量阈值时，触发区域信息更新模块；

所述区域信息更新模块，用于根据所述每个候选区域的区域信息调整量更新所述每个候选区域的区域信息。

7.根据权利要求6所述的人脸信息识别装置，其特征在于，所述特征图确定模块包括：

候选区域确定单元，用于基于显著性检测方法确定所述输入图像中多个候选区域；

特征图确定单元，用于利用卷积神经网络确定所述输入图像的特征图。

8.根据权利要求6所述的人脸信息识别装置，其特征在于，所述特征向量确定模块包括：

特征区域确定单元，用于根据所述每个候选区域的区域信息和所述输入图像与所述特征图之间的缩放系数，确定所述候选区域在所述特征图中对应的特征区域；

特征向量确定单元，用于根据每个特征区域确定所述特征区域对应的特征向量。

9.根据权利要求6所述的人脸信息识别装置，其特征在于，所述特征向量确定模块包括：

特征区域池化单元，用于对所述每个特征区域进行最大值池化操作；

特征向量转换单元，用于将池化操作后的特征区域转换为预设长度的特征向量。

10.根据权利要求6所述的人脸信息识别装置，其特征在于，所述装置还包括：

第一区域获取模块，用于对比所述人脸概率与概率阈值，在所述人脸概率小于或等于所述概率阈值时，从所述多个候选区域中剔除所述人脸概率对应的候选区域得到第一候选区域；

人脸区域获取模块，用于对所述第一候选区域进行非极大值抑制处理，得到人脸区域。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量并行识别不同种类的人脸信息；所述人脸信息包括：人脸概率、人脸年龄或者人脸性别；

对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈值，从所述多个候选区域中剔除所述人脸概率对应的候选区域，得到所述人脸概率大于所述概率阈值的第一候选区域；对所述第一候选区域进行非极大值抑制处理，得到人脸区域；将人脸信息匹配到人脸区域，得到所述人脸区域的人脸信息；

所述识别算法包括第一神经网络，所述第一神经网络包括多个权重系数不同的神经网络，每个权重系数的神经网络处理对应尺寸的特征图，每个权重系数的神经网络所处理的特征图可转换为预设长度的特征向量；所述第一神经网络根据多个权重系数和对应的人脸概率计算出最终的人脸概率；

所述识别算法包括第四神经网络，所述处理器还用于：

调用所述第四神经网络，根据所述特征向量确定所述每个候选区域的区域信息调整量；

若所述区域信息调整量小于或者等于调整量阈值，则执行利用所述特征向量并行识别不同种类的人脸信息的步骤；

若所述区域信息调整量大于所述调整量阈值，则根据所述每个候选区域的区域信息调整量更新所述每个候选区域的区域信息，执行根据所述特征图确定每个候选区域对应的特征向量的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现：

确定输入图像的多个候选区域和所述输入图像的特征图，所述特征图的尺寸小于所述输入图像的尺寸；

根据所述特征图确定每个候选区域对应的特征向量；

通过并行调用不同的识别算法，利用所述特征向量并行识别不同种类的人脸信息；所述人脸信息包括：人脸概率、人脸年龄或者人脸性别；

对比所述人脸概率与概率阈值，若所述人脸概率小于或等于所述概率阈值，从所述多个候选区域中剔除所述人脸概率对应的候选区域，得到所述人脸概率大于所述概率阈值的第一候选区域；对所述第一候选区域进行非极大值抑制处理，得到人脸区域；将人脸信息匹配到人脸区域，得到所述人脸区域的人脸信息；

所述识别算法包括第一神经网络，所述第一神经网络包括多个权重系数不同的神经网络，每个权重系数的神经网络处理对应尺寸的特征图，每个权重系数的神经网络所处理的特征图可转换为预设长度的特征向量；所述第一神经网络根据多个权重系数和对应的人脸概率计算出最终的人脸概率；

所述识别算法包括第四神经网络，所述处理器还用于：

调用所述第四神经网络，根据所述特征向量确定所述每个候选区域的区域信息调整量；

若所述区域信息调整量小于或者等于调整量阈值，则执行利用所述特征向量并行识别不同种类的人脸信息的步骤；

若所述区域信息调整量大于所述调整量阈值，则根据所述每个候选区域的区域信息调整量更新所述每个候选区域的区域信息，执行根据所述特征图确定每个候选区域对应的特征向量的步骤。

Images