CN106169067B - 一种高通量警用动态人脸采集比对方法及系统 - Google Patents

Abstract

本发明公开一种高通量警用动态人脸采集比对方法及系统，包括以下步骤：(1)快速检测与抓拍动态人脸，(2)后台系统分析，(3)三维矫正复原，(4)图像预处理、特征提取并比对。本发明涉及的一种高通量警用动态人脸采集比对方法及系统，针对警用人像数据图像种类多、质量差异大、数据规模大、应用场景多样性等特点，通过高准确率的、快速的人像特征提取和比对方法，在人像比对过程中克服人脸因姿态、饰物、光照、对焦等产生的图像偏差，实现人脸特征的快速、准确比对，使得人脸识别技术能在实战中起到重要作用，具有应用前景。

Description

一种高通量警用动态人脸采集比对方法及系统

技术领域

本发明涉及一种动态人脸采集比对方法及系统，尤其涉及一种高通量警用动态人脸采集比对方法及系统，以及其在智能感知通道门方面的应用。

背景技术

现有技术的感知通道中的视频采集模块，大多通过前端网络摄像机完成，而采集到的视频经过H.264编码，传送视频码流到后端分析服务器中，由分析服务器对视频码流进行解码，对解码后的视频图像再进行视频智能分析。现有技术具有明显的缺陷：1、视频经过了一次编解码的过程，视频质量有一定损失；2、视频解码的过程需要耗费后端分析服务器较多的运算资源，将全部的视频智能分析都集中在后端服务器进行也会带来较大的分析延时，不适应对实时性要求较高的应用。

现有技术的感知通道中的视频采集模块，大多采用基于人脸检测算法，其缺陷在于：1、人脸很容易被伪装，如戴口罩或者墨镜就会检测失效，无法获取该人员的人脸数据；2、人脸检测容易受人脸角度的影响，非正脸容易检测失效造成漏报和重报；3、人脸检测对相机架设要求高，离人越近效果越好，但是离人较近又很容易造成行人的警惕性；4、由于人脸检测仅提取到人脸信息，得到的信息只包含单一的正面人脸照，信息量偏少，对后续综合应用不利。

现有技术的传统比对算法，靠单一的形状特征或单一的灰度特征都无法有效和可靠的进行人脸识别，并且传统算法都使用2D模型，缺乏空间信息。

由于警用人像数据具有图像种类多、质量差异大、数据规模大、应用场景多样性等特点。现有技术无法准确、快速进行人像特征的提取与比对，使得人脸识别技术未能起到应有的作用。

发明内容

为克服现有技术的缺陷，本发明第一方面的目的是提供一种高通量警用动态人脸采集比对方法。其步骤如下：

(1)摄像机快速检测与抓拍动态人脸，通过运行计算机视觉算法，对监控画面中的行人目标进行定位，从进入到离开画面，全程进行跟踪监控，目标消失后，把目标的全身照片和人脸照片的视频流传给后台系统。

(2)后台系统通过人脸跟踪算法对摄像机拍摄到的原始码进行分析，进行动态人脸跟踪和检测，抓取人员进入感知通道的第一张照片及人员从进入拍摄范围到离开拍摄范围期间最标准的第一张人脸照片。

(3)对于侧脸、低头、抬头等超出范围的人脸照片，经过三维矫正复原为接近正脸的照片，并修复丢失的信息，得到高清晰度的人脸图像。

所述三维矫正方法为3D人像复原方法，3D模型是对人脸更好的刻画，为特征抽取模块提供更多信息，所述3D人像复原方法为，(a)通过关键点位置匹配在3D模型库中找到最相似的模型；(b)对三角面片描述的3D模型的表面进行重建；(c)对各器官的形状进行微调，使得3D模型和图像更相似，同时修复人脸因遮挡或模糊引起的信息丢失，将人脸图像清晰化。

其中，所述步骤(b)中的表面重建过程包括姿态校正与光照校正，所述姿态校正方法为：截取视频中相对质量较好的一副人脸图像，基于3D Face Morphable Model对该图像进行拟合，得到该人脸对应的3D人脸，再利用3D图形学操作进行人脸姿态校正得到校正后的3D信息。所述光照校正基于姿态校正后得到的3D信息，结合Spherical Harmonics纠正“阴阳脸”、逆光等光照问题，得到一张光照均匀的人脸图像。

所述步骤(c)中的人脸图像清晰化方法为，对于步骤(b)得到的低分辨率人脸图像，基于低-高人脸图像样本先验信息，对其进行超分辨率增强，从而得到高清晰度的人脸图像。

(4)对矫正后的人脸图像进行预处理和特征提取，与人像库进行比对，如果命中则报警。

所述人脸图像预处理为光照预处理算法，以SQI和DoG这两种光照预处理算法为基础提出算法变体，假设一张人脸图像中的光照可以用其低频分量近似表达，从而采用某种高通或带通滤波器对图像进行滤波，达到去除光照的目的，本算法中采用块状滤波操作，用积分图进行快速计算。

所述人脸图像特征提取的算法以具有快速算法的BRIEFF特征提取为基础，在旋转大于30°时自动切换SURF特征提取，在对有较大模糊的图像配准时自动切换BRISK特征提取。以上特征提取都与适于人脸特点的MB-LBP特征提取相融合，改进为更适合于人脸识别的算法变体。一般情形下采用耗时最短的BRIEFF特征提取，其耗时约为SURF的十分之一，但BRIEFF特征提取的旋转不变性较差；当旋转大于30°时自动切换为计算复杂度较低、旋转不变性高的SURF特征提取，在对有较大模糊的图像配准时自动切换具有尺度不变性和较好鲁棒性的BRISK特征提取。

所述人像库比对的方法为次线性复杂度的人脸检索算法，即，一种具有次线性复杂度的近似最近邻检索算法，在尽量保证最近邻分类器(NN)精度的条件下，大幅提升检索速度。具体地，所述次线性复杂度的人脸检索算法基于局部敏感的Hashing算法与人脸识别的特点，其流程为：(a)首先指定一组Hash函数，离线计算注册人脸图像库的Hash向量，并按每一维排序；(b)当给定一张检索图像时，计算其Hash向量，将对每一维在注册库中进行二分查找，确定最相似的候选样本；(c)融合所有维得到最终候选集；(d)最后在候选集内进行人脸识别。

步骤(d)所述在候选集内使用的人脸识别方法，选自特征脸(Eigenface)方法、隐马尔科夫模型(Hidden Markov Model，简称HMM)方法、基于几何特征的方法(即，结构匹配方法)、人工神经网络(Artifical Neural Network，简称ANN)方法、弹性图匹配(ElasticBunch Graph Matching，简称EBGM)方法中的一种或多种组合。

初步实验表明，在近似不影响性能的情况下，次线性复杂度的人脸检索算法比常规人脸检索系统的加速比达到30以上。所述常规人脸检索系统为具有线性复杂度的最近邻分类器。

本发明第二方面的目的是提供一种高通量警用动态人脸采集比对系统，基于本发明涉及的一种高通量警用动态人脸采集比对方法。所述系统包括，平台照片处理服务组件、人脸比对服务组件、任务分类器、人脸比对任务处理池、人证合一任务处理池、比对结果接收组件、比对结果接收组件、比对参数获取接口、比对参数设置接口、单独的照片比对接口、临时布控库增删查改接口。

所述系统的比对过程为一个异步过程，平台照片处理服务组件将收集到的所有照片按照顺序调用人脸比对服务组件，人脸比对服务组件接收到照片后，由任务分类器进行任务的分类，交付人脸比对任务处理池或人证合一任务处理池分别进行处理，处理完毕后的结果，交由比对结果接收组件，并进行上报。

所述比对参数获取接口的功能是获取比对服务器实时状态、使用率等，用于判断对比服务器实时状态。所述比对参数设置接口可设置不同设备对比库关联，即设置某台设备对应的比对数据库。所述单独的照片比对接口，用于上传一张照片与之前采集的抓拍人员比较。所述临时布控库增删查改接口用于增加缉控库以外的库数据。

进一步地，所述一种高通量警用动态人脸采集比对系统还包括人像抓拍采集照片上传接口、身份证采集照片上传接口、比对结果推送服务组件、缉控库同步服务组件。更进一步地，所述缉控库由人像缉控库和人员信息缉控库两部分组成。

本发明第三方面的目的是提供一种基于高通量警用动态人脸采集比对系统应用于智能感知通道。

所述智能感知通道包括底座、第一侧壁、第二侧壁、顶壁、外接电源、稳压电源、工控机、第一射频芯片、第二射频芯片、可调式功率放大器、第一发射天线、第二发射天线、第一接收天线、第二接收天线、三通、安全传输模块、信息比对存储模块。所述高通量警用动态人脸采集比对系统安装于所述智能感知通道的顶壁。

本发明涉及的一种高通量警用动态人脸采集比对方法及系统，直接对原始码进行分析，无编解码的过程，视频的质量不受影响，不额外占用运算资源，人脸抓拍率不低于80％，解决分析延时的问题，可运用于对实时性要求较高的应用。

本发明涉及的一种高通量警用动态人脸采集比对方法及系统，采用计算机视觉算法，保证对戴口罩或者墨镜人员的正常检测；对监控画面中的行人目标进行定位，从进入到离开画面，全程进行跟踪监控，监控图像不受人脸角度的影响、摄像设备也无需距离行人目标很近。本发明采用基于3D模型的三维矫正方法，对于侧脸、低头、抬头等超出范围的人脸照片，经过三维矫正复原为接近正脸的照片，并修复丢失的信息，得到高清晰度的人脸图像，利于后续的综合应用。

针对警用人像数据图像种类多、质量差异大、数据规模大、应用场景多样性等特点，本发明涉及的一种高通量警用动态人脸采集比对方法及系统针对上述实际问题，提供了高准确率的、快速的人像特征提取和比对方法，在人像比对过程中克服人脸因姿态、饰物、光照、对焦等产生的图像偏差，实现人脸特征的快速、准确比对，使得人脸识别技术能在实战中起到重要作用。

本发明涉及的一种基于高通量警用动态人脸采集比对系统的智能感知通道，在保证动态人脸信息采集比对的同时，保持极低的误报率，保证人员的正常通行，不影响通行速度。

具体实施方式

下面通过具体实施例，进一步对本发明的技术方案进行具体说明。应该理解，下面的实施例只是作为具体说明，而不限制本发明的范围，同时本领域的技术人员根据本发明所做的显而易见的改变和修饰也包含在本发明范围之内。

实施例1

一种高通量警用动态人脸采集比对方法，其步骤如下：

(1)摄像机快速检测与抓拍动态人脸，通过运行计算机视觉算法，对监控画面中的行人目标进行定位，从进入到离开画面，全程进行跟踪监控，目标消失后，把目标的全身照片和人脸照片的视频流传给后台系统。

(2)后台系统通过人脸跟踪算法对摄像机拍摄到的原始码进行分析，进行动态人脸跟踪和检测，抓取人员进入感知通道的第一张照片及人员从进入拍摄范围到离开拍摄范围期间最标准的第一张人脸照片。

(3)对于侧脸、低头、抬头等超出范围的人脸照片，经过三维矫正复原为接近正脸的照片，并修复丢失的信息，得到高清晰度的人脸图像。

所述三维矫正方法为3D人像复原方法，3D模型是对人脸更好的刻画，为特征抽取模块提供更多信息，所述3D人像复原方法为，(a)通过关键点位置匹配在3D模型库中找到最相似的模型；(b)对三角面片描述的3D模型的表面进行重建；(c)对各器官的形状进行微调，使得3D模型和图像更相似，同时修复人脸因遮挡或模糊引起的信息丢失，将人脸图像清晰化。

其中，所述步骤(b)中的表面重建过程包括姿态校正与光照校正，所述姿态校正方法为姿态校正：截取视频中相对质量较好的一副人脸图像，基于3D Face Morphable Model对该图像进行拟合，得到该人脸对应的3D人脸，再利用3D图形学操作进行人脸姿态校正得到校正后的3D信息。所述光照校正基于姿态校正后得到的3D信息，结合SphericalHarmonics纠正“阴阳脸”、逆光等光照问题，得到一张光照均匀的人脸图像。

所述步骤(c)中的人脸图像清晰化方法为，对于步骤(b)得到的低分辨率人脸图像，基于低-高人脸图像样本先验信息，对其进行超分辨率增强，从而得到高清晰度的人脸图像。

(4)对矫正后的人脸图像进行预处理和特征提取，与人像库进行比对，如果命中则报警。

所述人脸图像预处理为光照预处理算法，以SQI和DoG这两种光照预处理算法为基础提出算法变体，假设一张人脸图像中的光照可以用其低频分量近似表达，从而采用某种高通或带通滤波器对图像进行滤波，达到去除光照的目的，本算法中采用块状滤波操作，用积分图进行快速计算。

所述人脸图像特征提取的算法以具有快速算法的BRIEFF特征提取为基础，在旋转大于30°时自动切换SURF特征提取，在对有较大模糊的图像配准时自动切换BRISK特征提取。以上特征提取都与适于人脸特点的MB-LBP特征提取相融合，改进为更适合于人脸识别的算法变体。一般情形下采用耗时最短的BRIEFF特征提取，其耗时约为SURF的十分之一，但BRIEFF特征提取的旋转不变性较差；当旋转大于30°时自动切换为计算复杂度较低、旋转不变性高的SURF特征提取，在对有较大模糊的图像配准时自动切换具有尺度不变性和较好鲁棒性的BRISK特征提取。

所述人像库比对的方法为次线性复杂度的人脸检索算法，即，一种具有次线性复杂度的近似最近邻检索算法，在尽量保证最近邻分类器(NN)精度的条件下，大幅提升检索速度。具体地，所述次线性复杂度的人脸检索算法基于局部敏感的Hashing算法与人脸识别的特点，其流程为：(a)首先指定一组Hash函数，离线计算注册人脸图像库的Hash向量，并按每一维排序；(b)当给定一张检索图像时，计算其Hash向量，将对每一维在注册库中进行二分查找，确定最相似的候选样本；(c)融合所有维得到最终候选集；(d)最后在候选集内进行人脸识别。所述在候选集内使用的人脸识别方法，选自特征脸(Eigenface)方法、隐马尔科夫模型(Hidden Markov Model，简称HMM)方法、基于几何特征的方法、人工神经网络(Artifical Neural Network，简称ANN)方法、弹性图匹配(Elastic Bunch GraphMatching，简称EBGM)方法中的一种或多种组合。

初步实验表明，在近似不影响性能的情况下，次线性复杂度的人脸检索算法比常规人脸检索系统的加速比达到30以上。所述常规人脸检索系统为具有线性复杂度的最近邻分类器。

实施例2

一种高通量警用动态人脸采集比对系统，基于实施例1中的一种高通量警用动态人脸采集比对方法。所述系统包括，平台照片处理服务组件、人脸比对服务组件、任务分类器、人脸比对任务处理池、人证合一任务处理池、比对结果接收组件、比对结果接收组件、比对参数获取接口、比对参数设置接口、单独的照片比对接口、临时布控库增删查改接口。

所述系统的比对过程为一个异步过程，平台照片处理服务组件将收集到的所有照片按照顺序调用人脸比对服务组件，人脸比对服务组件接收到照片后，由任务分类器进行任务的分类，交付人脸比对任务处理池或人证合一任务处理池分别进行处理，处理完毕后的结果，交由比对结果接收组件，并进行上报。

所述比对参数获取接口的功能是获取比对服务器实时状态、使用率等，用于判断对比服务器实时状态。所述比对参数设置接口可设置不同设备对比库关联，即设置某台设备对应的比对数据库。所述单独的照片比对接口，用于上传一张照片与之前采集的抓拍人员比较。所述临时布控库增删查改接口用于增加缉控库以外的库数据。

所述一种高通量警用动态人脸采集比对系统还包括人像抓拍采集照片上传接口、身份证采集照片上传接口、比对结果推送服务组件、缉控库同步服务组件。所述缉控库由人像缉控库和人员信息缉控库两部分组成。

经测试，实施例2所述一种高通量警用动态人脸采集比对系统具有以下性能：(1)系统能够快速抓取画面中符合识别条件的人脸，自动采集人员进入感知通道的第一张人脸照片及人员从进入通道到离开通道期间最标准的人脸照片；(2)人脸图像抓取时间＜1秒(从人像离开画面开始计算)；(3)抓取的人脸图像大于50×50像素；(4)人脸抓取率不低于80％；(5)设备能够将人脸图像、采集时间、采集地点进行结构化存储；(6)系统具备30天人像信息的存储能力；(7)在人脸识别姿态处于左右旋转[-5°，5°]，俯仰角度[-10°，10°]，平面旋转[-10°，10°]范围内，5万布控库，不低头的人员布控命中率达到75％，误报率小于千分之二。

实施例3

一种智能感知通道包括底座、第一侧壁、第二侧壁、顶壁、外接电源、稳压电源、工控机、第一射频芯片、第二射频芯片、可调式功率放大器、第一发射天线、第二发射天线、第一接收天线、第二接收天线、三通、安全传输模块、信息比对存储模块。在智能感知通道的顶壁上安装有实施例2的高通量警用动态人脸采集比对系统。

Claims (6)

1.一种高通量警用动态人脸采集比对方法，其特征在于：其步骤如下：

(1)摄像机快速检测与抓拍动态人脸，通过运行计算机视觉算法，对监控画面中的行人目标进行定位，从进入到离开画面，全程进行跟踪监控，目标消失后，把目标的全身照片和人脸照片的视频流传给后台系统；

(2)后台系统通过人脸跟踪算法对摄像机拍摄到的原始码进行分析，进行动态人脸跟踪和检测，抓取人员进入感知通道的第一张照片及人员从进入拍摄范围到离开拍摄范围期间最标准的第一张人脸照片；

(3)对于侧脸、低头、抬头超出范围的人脸照片，经过三维矫正复原为接近正脸的照片，并修复丢失的信息，得到高清晰度的人脸图像；

所述三维矫正方法为3D人像复原方法，步骤如下：(a)通过关键点位置匹配在3D模型库中找到最相似的模型；(b)对三角面片描述的3D模型的表面进行重建；(c)对各器官的形状进行微调，使得3D模型和图像更相似，同时修复人脸因遮挡或模糊引起的信息丢失，将人脸图像清晰化；

其中，所述步骤(b)中的表面重建过程包括姿态校正与光照校正，所述姿态校正方法为：截取视频中的一幅人脸图像，基于3D Face Morphable Model对该图像进行拟合，得到该人脸对应的3D人脸，再利用3D图形学操作进行人脸姿态校正得到校正后的3D信息；所述光照校正基于姿态校正后得到的3D信息，结合Spherical Harmonics纠正“阴阳脸”、逆光光照问题，得到一张光照均匀的人脸图像；

所述步骤(c)中的人脸图像清晰化方法为，对于步骤(b)得到的低分辨率人脸图像，基于低-高人脸图像样本先验信息，对其进行超分辨率增强，从而得到高清晰度的人脸图像；

(4)对矫正后的人脸图像进行预处理和特征提取，与人像库进行比对，如果命中则报警；

所述人脸图像预处理为光照预处理算法，以SQI和DoG这两种光照预处理算法为基础提出算法变体，假设一张人脸图像中的光照可以用其低频分量近似表达，从而采用某种高通或带通滤波器对图像进行滤波，达到去除光照的目的，本算法中采用块状滤波操作，用积分图进行快速计算；

所述人脸图像特征提取的算法以具有快速算法的BRIEFF特征提取为基础，在人脸图像旋转大于30°时自动切换SURF特征提取，在对有模糊的图像配准时自动切换BRISK特征提取；以上特征提取都与适于人脸特点的MB-LBP特征提取相融合，改进为更适合于人脸识别的算法变体；

所述人像库比对的方法为次线性复杂度的人脸检索算法，即，一种具有次线性复杂度的近似最近邻检索算法；具体地，所述次线性复杂度的人脸检索算法基于局部敏感的Hashing算法与人脸识别的特点，其流程为：(a)首先指定一组Hash函数，离线计算注册人脸图像库的Hash向量，并按每一维排序；(b)当给定一张检索图像时，计算其Hash向量，将对每一维在注册库中进行二分查找，确定最相似的候选样本；(c)融合所有维得到最终候选集；(d)最后在候选集内进行人脸识别。

2.根据权利要求1所述的一种高通量警用动态人脸采集比对方法，其特征在于：步骤(4)(d)所述候选集内使用的人脸识别方法，选自特征脸方法、隐马尔科夫模型方法、基于几何特征的方法、人工神经网络方法、弹性图匹配方法中的一种或多种组合。

3.一种高通量警用动态人脸采集比对系统，其特征在于：所述系统基于权利要求1或2所述的一种高通量警用动态人脸采集比对方法；

所述系统包括平台照片处理服务组件、人脸比对服务组件、任务分类器、人脸比对任务处理池、人证合一任务处理池、比对结果接收组件、比对参数获取接口、比对参数设置接口、单独的照片比对接口、临时布控库增删查改接口；

所述系统的比对过程为一个异步过程，所述平台照片处理服务组件将收集到的所有照片按照顺序调用所述人脸比对服务组件，所述人脸比对服务组件接收到照片后，由所述任务分类器进行任务的分类，交付所述人脸比对任务处理池或所述人证合一任务处理池分别进行处理，处理完毕后的结果，交由所述比对结果接收组件，并进行上报；

所述比对参数获取接口的功能是获取比对服务器实时状态、使用率，用于判断对比服务器实时状态；所述比对参数设置接口可设置不同设备对比库关联，即设置某台设备对应的比对数据库；所述单独的照片比对接口，用于上传一张照片与之前采集的抓拍人员比较；所述临时布控库增删查改接口用于增加缉控库以外的库数据。

4.根据权利要求3所述的一种高通量警用动态人脸采集比对系统，其特征在于：所述一种高通量警用动态人脸采集比对系统还包括人像抓拍采集照片上传接口、身份证采集照片上传接口、比对结果推送服务组件、缉控库同步服务组件。

5.根据权利要求4所述的一种高通量警用动态人脸采集比对系统，其特征在于：所述缉控库由人像缉控库和人员信息缉控库两部分组成。

6.一种智能感知通道，其特征在于：所述智能感知通道基于权利要求3～5任一项所述的一种高通量警用动态人脸采集比对系统；

包括底座、第一侧壁、第二侧壁、顶壁、外接电源、稳压电源、工控机、第一射频芯片、第二射频芯片、可调式功率放大器、第一发射天线、第二发射天线、第一接收天线、第二接收天线、三通、安全传输模块、信息比对存储模块；所述一种高通量警用动态人脸采集比对系统安装于所述智能感知通道的顶壁。