CN112580472A - 一种快速轻量的人脸识别方法、装置、机器可读介质及设备 - Google Patents

Abstract

本发明公开了一种快速轻量的人脸识别方法，包括：人脸检测步骤：对待检测视频进行检测，得到检测目标，并获取检测目标的人脸图像；关键点提取步骤：对人脸图像进行人脸关键点提取，并基于人脸关键点进行人脸对齐；活体校验步骤：基于对齐后的人脸图像对相应的检测目标进行活体校验；特征值计算步骤：根据对齐后的人脸图像计算人脸图像的人脸特征值；人脸识别步骤：基于人脸特征值对所述检测目标进行人脸识别；其中，人脸检测步骤、关键点提取步骤、活体检测步骤、特征值计算步骤、人脸识别步骤异步执行；活体校验步骤与特征值计算步骤并行执行。本发明通过将活体校验步骤与特征提取步骤并行执行，从而节省了一半时间，在人脸识别时实现快速响应。

Description

一种快速轻量的人脸识别方法、装置、机器可读介质及设备

技术领域

本发明涉及人工智能领域，具体涉及一种快速轻量的人脸识别方法、装置、机器可读介质及设备。

背景技术

人脸识别是目前应用最广泛的生物身份鉴别技术，具有非接触、无需配合等良好特性。但人脸识别以图像或视频为数据源，需要经历繁多的步骤和复杂的运算，远不如声音、指纹、密码等数据那样简单。一些经典和成熟的做法需要配备性能强劲的硬件设施，成本高、体积大，只适用于少数商业场景；而近些年逐渐兴起的pad、闸机等小型识别设备，又因速度慢、准确性差，无法满足用户的识别需求。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种快速轻量的人脸识别方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种快速轻量的人脸识别方法，包括：

人脸检测步骤：对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

关键点提取步骤：对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

活体校验步骤：基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

特征值计算步骤：根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

人脸识别步骤：基于所述人脸特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

可选地，所述人脸检测步骤包括：

对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

可选地，所述活体校验步骤包括：

获取检测目标的红外光感人脸图像与可见光感人脸图像；

根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感图的真实程度，对所述检测目标进行活体校验。

可选地，该方法还包括：

人脸选择步骤：基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。

可选地，该方法还包括：

人脸质量评估步骤：基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度。

可选地，该方法还包括：

图像预处理步骤：通过CPU、GPU、RGA对所述待检测视频进行预处理；所述预处理包括以下至少之一：视频数据流的转码、缩放、旋转、镜像。

为实现上述目的及其他相关目的，本发明提供一种快速轻量的人脸识别装置，包括：

人脸检测模块，用于执行人脸检测步骤，所述人脸检测步骤对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

关键点提取模块，用于执行关键点提取步骤，所述关键点提取步骤对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

活体校验模块，用于执行活体校验步骤，所述活体校验步骤基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

特征值计算模块，用于执行特征值计算步骤，所述特征值计算步骤根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

人脸识别模块，用于执行人脸识别步骤，所述人脸识别步骤基于所述人脸特征特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

可选地，所述人脸检测模块包括：

目标检测子模块，用于对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

人脸检测子模块，用于对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

轨迹获取子模块，用于根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

分组子模块，用于以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

可选地，所述活体校验模块包括：

图像获取子模块，用于获取检测目标的红外光感人脸图像与可见光感人脸图像；

图像校验子模块，用于根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感图的真实程度，对所述检测目标进行活体校验。

可选地，该装置还包括：

人脸选择模块，用于执行人脸选择步骤，所述人脸选择步骤基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。

可选地，该装置还包括：

人脸质量评估模块，用于执行人脸质量评估步骤，所述人脸质量评估步骤基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度。

可选地，该装置还包括：

预处理模块，用于执行图像预处理步骤，所述图像预处理步骤通过CPU、GPU、RGA对所述待检测视频进行预处理；所述预处理包括以下至少之一：视频数据流的转码、缩放、旋转、镜像。为实现上述目的及其他相关目的，本发明还提供一种快速轻量的人脸识别设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种快速轻量的人脸识别方法、装置、机器可读介质及设备，具有以下有益效果：

本发明的一种快速轻量的人脸识别方法，包括：人脸检测步骤：对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；关键点提取步骤：对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；活体校验步骤：基于对齐后的人脸图像对相应的所述检测目标进行活体校验；特征值计算步骤：根据对齐后的人脸图像计算所述人脸图像的人脸特征值；人脸识别步骤：基于所述人脸特征值对所述检测目标进行人脸识别；其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。本发明通过将所述活体校验步骤与特征值计算步骤并行执行，将原本限制反应时效的两个核心计算步骤并行运算，从而节省了一半时间，在人脸识别时实现快速响应，突破了原有的性能瓶颈，在保证准确率的同时，大幅度提升了处理帧率和运算速度。

附图说明

图1为本发明一实施例一种快速轻量的人脸识别方法的流程图；

图2为本发明一实施例人脸检测步骤的方法流程图；

图3为本发明一实施例活体校验步骤的方法流程图；

图4为本发明一实施例一种快速轻量的人脸识别装置的硬件结构示意图；

图5为本发明一实施例人脸检测模块的结构示意图；

图6为本发明一实施例活体校验模块的结构示意图；

图7为本发明一实施例中终端设备的硬件结构示意图；

图8为本发明一实施例中终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，一种快速轻量的人脸识别方法，包括：

S11人脸检测步骤：对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

S12关键点提取步骤：对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

S13活体校验步骤：基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

S14特征值计算步骤：根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

S15人脸识别步骤：基于所述人脸特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

本发明通过将所述活体校验步骤与所述特征值计算步骤并行执行，将原本限制反应时效的两个核心计算步骤并行运算，从而节省了一半时间，在人脸识别时实现快速响应，突破了原有的性能瓶颈，在保证准确率的同时，大幅度提升了处理帧率和运算速度。

在一实施例中，在步骤S11前还包括初始化步骤，通过所述初始化步骤提前执行一次一些通用的操作，以避免重复，减少了运行时的资源占用和耗时，可以避免每次处理的时候临时开辟，不仅有利用资源的重复利用，也节省每次的响应时间。其中，初始化步骤可以包括设置系统参数，例如，后续图像预处理步骤中对图片的大小的设置，人脸质量评估步骤中阈值的设置等等。

由于通过摄像头获取的图像与人脸检测步骤所需的数据在格式、尺寸、方向等方面有一定的差异，所以每次处理应当先将获取的视频数据转换为人脸检测算法能够接受的表达形式。因此，在执行人脸检测步骤前，需要执行图像预处理步骤，所述像预处理步骤用于对图像进行预处理。在对图像进行预处理时，可以通过一些不常用的硬件，例如RGA(Raster Graphic Acceleration)，进行视频数据的转码、缩放、旋转、镜像等操作，大幅度提升转码速度。具体的，可以通过CPU(Central Processing Unit，CPU)、GPU(GraphicsProcessing Unit，GPU)、RGA(Raster Graphic Acceleration)对所述待检测视频进行预处理。在本实施例中，使用RGA也参与到图像处理的步骤中，可以提升转码速度，同时节约CPU和GPU等主要运算部件的资源占用。

在一实施例中，如图2所示，所述人脸检测步骤包括：

S12对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

S22对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

S23根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

S24以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

其中，目标的检测可以通过深度神经网络模型，配合推理引擎，即将待检测的视频逐帧输入到深度网络模型中，得到一个或多个检测目标。获取了检测目标后，通过人脸检测算法，对一个或多个检测目标进行人脸检测，得到多个人脸图像。其中，人脸检测算法可以是基于深度神经网络的检测算法。需要说明的是，此时得到的多个人脸图像可能是杂乱无章的，因此，需要根据最近一段历史帧的人脸图像，将相近位置，符合运动趋势的人脸图像进行串联，从而把独立而无关的每一帧图像理解为连续运动的图像序列，得到每个检测目标的运动轨迹，并为最近若干帧的大量图像以人为单位进行串联分组，得到每个检测目标在一段时间内的人脸图像。

在一实施例中，该方法还包括：

人脸选择步骤：基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。其中，人脸选择是通过人脸角度作为选择标准，即选取最端正的一幅人脸图像进行后续的活体校验步骤与人脸识别步骤。这是因为在选取前期，通过检测方式直接粗略估算出人脸角度要比得到人脸质量分的性价比更高，如果想直接一步得到人脸质量，是比较耗时的，会影响本系统的响应速度。

在一实施例中，该方法还包括：

人脸质量评估步骤：基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，其中，人脸质量的评估可以通过一个分数表示；所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度，选择这些影响因素中的一个或多个作为人脸质量影响因素来计算人脸质量分，这样既可以表达对人脸类似程度的需求，也希望像人脸的同时也有比较清晰的图像展示，从而过滤得到较好的人脸图像。在进行人脸质量评估时，通过设置一个质量阈值分数，将不合格的人脸给过滤掉，即若计算出的人脸质量分小于的述质量阈值分数，则将该人脸图像淘汰不参与到后续的计算步骤中。

在完成人脸图像的筛选后，需要进行活体校验，而在校验之前，需要进行关键点提取步骤，并完成人脸关键点对齐。关键点是人脸上的一组预先设计好的关键点位，类似于五官位置但数量更多、内容更丰富。通过对人脸图像关键点的检测，可以得知这个人处于什么姿态。更重要的是，通过人脸关键点对齐将不同人脸按照其关键点位把图像映射到相同的标准点位置上，就能得到尺寸、位置、姿态都相对统一的人脸图像，更有利于进行计算和比较。

在完成人脸对齐步骤后，需执行活体校验步骤。所述的活体校验是为了防止一些用户企图用虚假照片等手段攻击识别，冒充他人使用。具体地，如图3所示，所述活体校验步骤包括：

S31获取检测目标的红外光感人脸图像与可见光感人脸图像；

S32根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感人脸图像的真实程度，对所述检测目标进行活体校验。通过活体校验，保证识别系统不被恶意攻击。

其中，红外光感人脸图像与可见光感人脸图像可以通过又目摄像头来获取，或通过单独的红外摄像头、可见光摄像头来采集，若采用单独的红外摄像头和可见光摄像头，则两个摄像头的位置非常近。在正常情况下，认为可见光感人脸图像和红外光感人脸图像人所在位置区别较小，若两者差距较大，则可以认为是一个人拿着一个面具或照片。若此时进行活体校验，则校验结果为不通过。

其中，在正常情况下，关键点位对应程度可以理解为红外光感人脸图像的人脸关键点与可见光人脸图像的人脸关键点的距离比较近，若不是一个人的话，则可以认为是两个目标。

其中，约外光感人脸图像的真实程度可以通过一个训练好的深度神经网络模型来实别，区别目标是否为真人，其中在训练深度神经网络模型时，可以通过照片、面具、模型等组成训练集来训练。

当然，还可以通过人体皮肤等因素来进行活体校验。

在特征提取步骤中，通过一种预先设计的数值表示方式，来表征每幅人脸图像。这组数值的计算，通常依赖于一个深度神经网络及其推理引擎，将图像表征为数值是为了方便下一步的人脸识别。

在人脸识别步骤中，在通过获取到图片的表征数值(“特征值”)后，将获取到的人脸图像的特征值与注册入库的各人脸特征值进行距离度量。通常来说，使用相似度来表示两个特征的近似程度，进而表示两幅人脸图像的相似程度。一张实时照片提取特征值后，可以跟已经注册入库的各人脸特征值进行相似度比对，然后将分数按从高到低排序，如果最高分满足的阈值，则认为这两个特征值及其代表的ID匹配成功，从而完成人脸识别。

应该理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明可以应用于市场上现有的小成本硬件上，通过低成本实现高性能，性价比非常高。

如图4所示，一种快速轻量的人脸识别装置，包括：

人脸检测模块41，用于执行人脸检测步骤，所述人脸检测步骤对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

关键点提取模块42，用于执行关键点提取步骤，所述关键点提取步骤对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

活体校验模块43，用于执行活体校验步骤，所述活体校验步骤基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

特征值计算模块44，用于执行特征值计算步骤，所述特征值计算步骤根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

人脸识别模块45，用于执行人脸识别步骤，所述人脸识别步骤基于所述人脸特征特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

本发明通过将所述活体校验步骤与所述特征值计算步骤并行执行，将原本限制反应时效的两个核心计算步骤并行运算，从而节省了一半时间，在人脸识别时实现快速响应，突破了原有的性能瓶颈，在保证准确率的同时，大幅度提升了处理帧率和运算速度。

在一实施例中，该装置还包括初始化模块，用于执行初始化步骤，通过所述初始化步骤提前执行一次一些通用的操作，以避免重复，减少了运行时的资源占用和耗时，可以避免每次处理的时候临时开辟，不仅有利用资源的重复利用，也节省每次的响应时间。其中，初始化步骤可以包括设置系统参数，例如，后续图像预处理步骤中对图片的大小的设置，人脸质量评估步骤中阈值的设置等等。

由于通过摄像头获取的图像与人脸检测步骤所需的数据在格式、尺寸、方向等方面有一定的差异，所以每次处理应当先将获取的视频数据转换为人脸检测算法能够接受的表达形式。因此，该装置还包括预处理模块，用于在执行人脸检测步骤前，执行图像预处理步骤，所述像预处理步骤用于对图像进行预处理。在对图像进行预处理时，可以通过一些不常用的硬件，例如RGA(Raster Graphic Acceleration)，进行视频数据的转码、缩放、旋转、镜像等操作，大幅度提升转码速度。具体的，可以通过CPU(Central Processing Unit，CPU)、GPU(Graphics Processing Unit，GPU)、RGA(Raster Graphic Acceleration)对所述待检测视频进行预处理。在本实施例中，使用RGA也参与到图像处理的步骤中，可以提升转码速度，同时节约CPU和GPU等主要运算部件的资源占用。

在一实施例中，如图5所示，所述人脸检测模块包括：

目标检测子模块51，用于对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

人脸检测子模块52，用于对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

轨迹获取子模块53，用于根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

分组子模块54，用于以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

其中，目标的检测可以通过深度神经网络模型，配合推理引擎，即将待检测的视频逐帧输入到深度网络模型中，得到一个或多个检测目标。获取了检测目标后，通过人脸检测算法，对一个或多个检测目标进行人脸检测，得到多个人脸图像。其中，人脸检测算法可以是基于深度神经网络的检测算法。需要说明的是，此时得到的多个人脸图像可能是杂乱无章的，因此，需要根据最近一段历史帧的人脸图像，将相近位置，符合运动趋势的人脸图像进行串联，从而把独立而无关的每一帧图像理解为连续运动的图像序列，得到每个检测目标的运动轨迹，并为最近若干帧的大量图像以人为单位进行串联分组，得到每个检测目标在一段时间内的人脸图像。

在一实施例中，该装置还包括：

人脸选择模块，用于执行人脸选择步骤，所述人脸选择步骤基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。其中，人脸选择是通过人脸角度作为选择标准，即选取最端正的一幅人脸图像进行后续的活体校验步骤与人脸识别步骤。这是因为在选取前期，通过检测方式直接粗略估算出人脸角度要比得到人脸质量分的性价比更高，如果想直接一步得到人脸质量，是比较耗时的，会影响本系统的响应速度。

在一实施例中，该装置还包括：

人脸质量评估模块，用于执行人脸质量评估步骤，所述人脸质量评估步骤基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，其中，人脸质量的评估可以通过一个分数表示；所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度，选择这些影响因素中的一个或多个作为人脸质量影响因素来计算人脸质量分，这样既可以表达对人脸类似程度的需求，也希望像人脸的同时也有比较清晰的图像展示，从而过滤得到较好的人脸图像。在进行人脸质量评估时，通过设置一个质量阈值分数，将不合格的人脸给过滤掉，即若计算出的人脸质量分小于的述质量阈值分数，则将该人脸图像淘汰不参与到后续的计算步骤中。

在完成人脸图像的筛选后，需要进行活体校验，而在校验之前，需要通过关键点提取模块进行关键点计算与关键点的对齐。关键点是人脸上的一组预先设计好的关键点位，类似于五官位置但数量更多、内容更丰富。通过对人脸图像关键点的检测，可以得知这个人处于什么姿态。更重要的是，将不同人脸按照其关键点位把图像映射到相同的标准点位置上，就能得到尺寸、位置、姿态都相对统一的人脸图像，更有利于进行计算和比较。

在完成人脸对齐步骤后，需执行活体校验步骤。所述的活体校验是为了防止一些用户企图用虚假照片等手段攻击识别，冒充他人使用。具体地，如图6所示，所述活体校验模块包括：

图像获取子模块61，用于获取检测目标的红外光感人脸图像与可见光感人脸图像；

图像校验子模块62，用于根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感图的真实程度，对所述检测目标进行活体校验。

通过活体校验，保证识别系统不被恶意攻击。

其中，红外光感人脸图像与可见光感人脸图像可以通过又目摄像头来获取，或通过单独的红外摄像头、可见光摄像头来采集，若采用单独的红外摄像头和可见光摄像头，则两个摄像头的位置非常近。在正常情况下，认为可见光感人脸图像和红外光感人脸图像人所在位置区别较小，若两者差距较大，则可以认为是一个人拿着一个面具或照片。若此时进行活体校验，则校验结果为不通过。

其中，在正常情况下，关键点位对应程度可以理解为红外光感人脸图像的人脸关键点与可见光人脸图像的人脸关键点的距离比较近，若不是一个人的话，则可以认为是两个目标。

其中，约外光感人脸图像的真实程度可以通过一个训练好的深度神经网络模型来实别，区别目标是否为真人，其中在训练深度神经网络模型时，可以通过照片、面具、模型等组成训练集来训练。

当然，还可以通过人体皮肤等因素来进行活体校验。

在一实施例中，所述特征提取模块通过一种预先设计的数值表示方式，来表征每幅人脸图像。这组数值的计算，通常依赖于一个深度神经网络及其推理引擎，将图像表征为数值是为了方便下一步的人脸识别。

在一实施例中，所述人脸识别模块在通过获取到图片的表征数值(“特征值”)后，将获取到的人脸图像的特征值与注册入库的各人脸特征值进行距离度量。通常来说，使用相似度来表示两个特征的近似程度，进而表示两幅人脸图像的相似程度。一张实时照片提取特征值后，可以跟已经注册入库的各人脸特征值进行相似度比对，然后将分数按从高到低排序，如果最高分满足的阈值，则认为这两个特征值及其代表的ID匹配成功，从而完成人脸识别。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图7为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图8为本申请的一个实施例提供的终端设备的硬件结构示意图。图8是对图7在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图8实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种快速轻量的人脸识别方法，其特征在于，包括：

人脸检测步骤：对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

关键点提取步骤：对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

活体校验步骤：基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

特征值计算步骤：根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

人脸识别步骤：基于所述人脸特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

2.根据权利要求1所述的快速轻量的人脸识别方法，其特征在于，所述人脸检测步骤包括：

对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

3.根据权利要求1所述的快速轻量的人脸识别方法，其特征在于，所述活体校验步骤包括：

获取检测目标的红外光感人脸图像与可见光感人脸图像；

根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感图的真实程度，对所述检测目标进行活体校验。

4.根据权利要求1或2所述的快速轻量的人脸识别方法，其特征在于，该方法还包括：

人脸选择步骤：基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。

5.根据权利要求4所述的快速轻量的人脸识别方法，其特征在于，该方法还包括：

人脸质量评估步骤：基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度。

6.根据权利要求1所述的快速轻量的人脸识别方法，其特征在于，该方法还包括：

图像预处理步骤：通过CPU、GPU、RGA对所述待检测视频进行预处理；所述预处理包括以下至少之一：视频数据流的转码、缩放、旋转、镜像。

7.一种快速轻量的人脸识别装置，其特征在于，包括：

人脸检测模块，用于执行人脸检测步骤，所述人脸检测步骤对待检测视频进行检测，得到一个或多个检测目标，并获取所述一个或多个检测目标的人脸图像；

关键点提取模块，用于执行关键点提取步骤，所述关键点提取步骤对所述人脸图像进行人脸关键点提取，并基于所述人脸关键点进行人脸对齐；

活体校验模块，用于执行活体校验步骤，所述活体校验步骤基于对齐后的人脸图像对相应的所述检测目标进行活体校验；

特征值计算模块，用于执行特征值计算步骤，所述特征值计算步骤根据对齐后的人脸图像计算所述人脸图像的人脸特征值；

人脸识别模块，用于执行人脸识别步骤，所述人脸识别步骤基于所述人脸特征特征值对所述检测目标进行人脸识别；

其中，所述人脸检测步骤、关键点提取步骤、所述活体校验步骤、所述特征值计算步骤、所述人脸识别步骤异步执行；所述活体校验步骤与所述特征值计算步骤并行执行。

8.根据权利要求7所述的快速轻量的人脸识别装置，其特征在于，所述人脸检测模块包括：

目标检测子模块，用于对一段时间内的待检测视频进行逐帧检测，得到一个或多个检测目标；

人脸检测子模块，用于对所述一个或多个检测目标进行人脸检测，得到多个人脸图像；

轨迹获取子模块，用于根据最近一段历史帧的人脸图像，将相近位置、符合运动趋势的人脸图像进行串联，得到每个检测目标的运动轨迹；

分组子模块，用于以人为单位为最近若干帧的人脸图像进行串联分组，得到每个检测目标在一段时间内的人脸图像。

9.根据权利要求7所述的快速轻量的人脸识别装置，其特征在于，所述活体校验模块包括：

图像获取子模块，用于获取检测目标的红外光感人脸图像与可见光感人脸图像；

图像校验子模块，用于根据所述红外光感人脸图像与所述可见光感人脸图像的位置偏差程度、关键点位对应程度及红外光感图的真实程度，对所述检测目标进行活体校验。

10.根据权利要求7或8所述的快速轻量的人脸识别装置，其特征在于，该装置还包括：

人脸选择模块，用于执行人脸选择步骤，所述人脸选择步骤基于人脸角度从所述一个或多个目标在一段时间内的人脸图像中获取目标人脸图像。

11.根据权利要求10所述的快速轻量的人脸识别装置，其特征在于，该装置还包括：

人脸质量评估模块，用于执行人脸质量评估步骤，所述人脸质量评估步骤基于人脸质量影响因素对所述目标人脸图像进行人脸质量评估，所述人脸质量影响因素包括以下至少之一：人脸角度、人脸相似度、图像清晰度、图像亮度。

12.根据权利要求7所述的快速轻量的人脸识别装置，其特征在于，该装置还包括：

预处理模块，用于执行图像预处理步骤，所述图像预处理步骤通过CPU、GPU、RGA对所述待检测视频进行预处理；所述预处理包括以下至少之一：视频数据流的转码、缩放、旋转、镜像。

13.一种快速轻量的人脸识别设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-6中一个或多个所述的方法。

14.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-6中一个或多个所述的方法。

Images