CN104751197A - 基于视频分析的车辆行驶中驾驶员人脸识别装置及其识别方法 - Google Patents

Abstract

本发明公开了基于视频分析的车辆行驶中驾驶员人脸识别装置，包括DSP控制单元、高清视频捕获单元、人脸检测识别单元、存储单元、传输器。本发明还公开了基于视频分析的车辆行驶中驾驶员人脸识别方法，步骤包括：(1)动态视频图像预处理；(2)动态人脸检测；(3)人脸识别。本发明的有益效果在于，采用帧间差分、背景模型估计优化、运动物体检测、Gabor小波目标识别模型和算法，效果好、效率高。

Description

基于视频分析的车辆行驶中驾驶员人脸识别装置及其识别方法

技术领域

本发明涉及一种基于视频分析的车辆行驶中驾驶员人脸识别装置及其识别方法，属于图像识别以及分析的技术领域。

背景技术

人脸识别是生物特性智能分析技术的一个主要方向，智能分析技术的原理是让计算机通过特定的数学模型和核心算法程序提取视频信号中所包含的内容信息或是个体运动信息，以实现计算机对于视频的“理解”，让计算机能“明白”视频中所展现的是什么内容或者发生的是什么样的“事件”，再通过规则的比对和判断，识别出这些事件的特性，继续令计算机对个体进行行为分析，判断这些行为是否符合规则，不符合规则的事件就可以进行即时的发现和报警，摆脱了人工的干预和判断，实现令计算机“代替”人进行监控，也即实现了“智能监控”。

随着我国大中城市近年来快速增加的安防、技防、交通监控系统，监控录像的数量呈爆炸性增长态势，安防人员想要盯紧所有监控画面以及要从海量的视频监控图像中找到需要的图像数据几乎不可能。

目前我国市场上常见的机动车驾驶员人脸识别基本上可分为两种形式，一种是在车内安装摄像机并人脸识别，目的是监控其规范驾驶行为，难度较低；另一种是静态识别，即车辆在非行驶状态下的检测和识别，目的也是监控其驾驶行为。

发明内容

本发明要解决的技术问题是提供一种基于视频分析的车辆行驶中驾驶员人脸识别装置及其识别方法，

本发明是通过以下技术方案来实现的。

一种基于视频分析的车辆行驶中驾驶员人脸识别装置，包括：

DSP控制单元、高清视频捕获单元、人脸检测识别单元、存储单元、传输器，上述存储单元为客运管理平台提供数据，上述DSP控制单元包括DSP控制主机、模数变换器、增益放大器、电平转换电路，上述高清视频捕获单元包括两台摄像机以及供电的电源，上述人脸检测识别单元包括数据采集器、特征分类器，上述增益放大器接收上述高清视频捕获单元并连接上述模数变换器，上述模数变换器与上述DSP控制主机连接，上述DSP控制主机连接上述增益放大器，上述电平转换电路给上述DSP控制主机转换电平，上述DSP控制主机连接上述采集器、上述特征分类器，上述DSP控制主机连接上述存储单元，上述DSP控制主机连接上述传输器。

进一步地，上述存储单元包括SD卡和外接USB存储设备。

一种基于视频分析的车辆行驶中驾驶员人脸识别方法，步骤包括：

(1)动态视频图像预处理：

选取参考帧作为参考图像，用当前帧和参考图像作差分运算，分割出运动物体；

(2)动态人脸检测：

用一组6元数据来表示人脸在某一帧中可能的位置和大小范围，R＝(X_S,X_E,Y_S,Y_E,Z_E,Z_S)，X、Y、Z分别描述人脸中心位置在X、Y方向的范围以及人脸大小区域范围，右下标S、E分别表示最初位置以及最终位置，即将人脸区域界定在一个正方形，同时用F＝(X、Y、Z)中的三元素依次表达人脸的中心位置和大小，

检测算法公式如下：

α、β、γ界定了人脸在两帧之间的大小尺寸和位置的最大变化区间，右下标M表示X、Y的中心，动态人脸检测结果即是高清视频中有人脸或没有人脸，是则就进行下一步，否则返回(1)；

(3)人脸识别：

采用Gabor目标特征识别模型和算法：

Gabor小波变换：

$\mathrm{\ψ}(\mathrm{\κ},z)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\left|\right|k\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}].[\exp \left(\mathrm{ikz}\right)-\exp [-\frac{{\mathrm{\σ}}^2}{2}\left]\right]$

σ是与小波频率带宽有关的常数；z＝(x,y)为空间位置坐标；κ确定了Gabor内核的方向和尺度；

Gabor变换与Gabor内核的卷积为：

J_k(z)＝Ι(z)*Ψ(k,z)

设J_k(z)的幅值和相位分别为Α_k和φ_k，则组合不同尺度和方向的J_k(z)，构成图像在z位置处的Gabor特征矢量。

进一步地，(3)：在采用8个方向和5个尺度的采样时，方向和尺度上的κ为其中κ_ν＝κ_max/f^ν为采样尺度，v∈{0,1,…,4}为尺度标号，Φ_μ＝πμ/8为采样方向，μ∈{0,1,…,7}为方向标号，Κ_max为最大频率，f是频域中的内核间隔因子，令参数Κ_max＝π/2、σ＝2π。

本发明的有益效果：

通过实时检测各监控路口高速行驶的过往车辆，发现运动车辆后触发高清视频捕获，经图像预处理后提取车辆前部座位数据，锁定驾驶员人脸目标特征，启动DSP模式识别程序，解算检测数据，与基础数据库比对，最终输出结果。符合报警的自动给出报警信号，无须报警的存入基础数据库。本方案具体采用帧间差分、背景模型估计优化、运动物体检测、Gabor小波目标识别模型和算法，效果好、效率高。

附图说明

图1为本发明基于视频分析的车辆行驶中驾驶员人脸识别装置的结构示意图；

图2为本发明DSP控制单元的连接示意图；

图3为方法总体流程图；

图4为本发明基于视频分析的车辆行驶中驾驶员人脸识别方法的处理流程图。

具体实施方式

下面根据附图和实施例对本发明作进一步详细说明。

图1为本发明基于视频分析的车辆行驶中驾驶员人脸识别装置的结构示意图，图2为本发明DSP控制单元的连接示意图，参照图1、图2，本发明，基于视频分析的车辆行驶中驾驶员人脸识别装置，包括：

DSP控制单元1、高清视频捕获单元2、人脸检测识别单元3、存储单元4、传输器5。存储单元通过移动介质向客运管理平台提供数据，通常使用U盘。

其中，上述DSP控制单元包括DSP控制主机11、模数变换器12、增益放大器13、电平转换电路14，上述高清视频捕获单元包括两台摄像机以及供电的电源(图中未显示)，上述人脸检测识别单元包括数据采集器31、特征分类器32，上述增益放大器13接收上述高清视频捕获单元2并连接上述模数变换器12，上述模数变换器12与上述DSP控制主机11连接，上述DSP控制主机11连接上述增益放大器13，上述电平转换电路14给上述DSP控制主机11转换电平，上述DSP控制主机11连接上述采集器31、上述特征分类器32，上述DSP控制主机11连接上述存储单元4，上述DSP控制主机11连接上述传输器5。

具体，存储单元4包括SD卡41和外接USB存储设备42。

其工作过程：数据采集模块启动时，通过电平转换电路，唤醒DSP控制主机，整个装置进入工作模式；DSP控制主机控制模数转换器，将视频的视频信号转换为数字信号，并存入缓存；当采集的数据量达到识别条件后，DSP控制主机控制采集器和特征分类器处理该识别信息；并将识别结果发送信息给存储单元。

图3为方法总体流程图，参照图3，本发明的总体流程为路口布控高清摄像机-运动车辆图像捕获-车辆特征识别-预处理-目标特征提取-前排目标检测-人脸识别处理单元。

图4为本发明基于视频分析的车辆行驶中驾驶员人脸识别方法的处理流程图，具体的，本发明提供的方法即基于视频分析的车辆行驶中驾驶员人脸识别方法，步骤包括：

(1)动态视频图像预处理：

选取参考帧作为参考图像，用当前帧和参考图像作差分运算，分割出运动物体。

本发明需对高速行驶的车辆驾驶人进行人脸识别，采用运动物体连续跟踪的方法，首先就是要将运动车辆检测出来。本方案采用背景差分法进行运动检测，背景差分就是在背景静止的条件下，选取一参考帧作为参考图像，用当前帧和参考图像作差分运算，能准确的分割出运动物体。此方法具有较强的自适应性，处理速度快，具有实时性，而且这个方法对同色的物体不敏感,所以它能很好的解决阴影问题。

(2)动态人脸检测：

用一组6元数据来表示人脸在某一帧中可能的位置和大小范围，R＝(X_S,X_E,Y_S,Y_E,Z_E,Z_S)，X、Y、Z分别描述人脸中心位置在X、Y方向的范围以及人脸大小区域范围，右下标S、E分别表示最初位置以及最终位置，即将人脸区域界定在一个正方形，同时用F＝(X、Y、Z)中的三元素依次表达人脸的中心位置和大小，

检测算法公式如下：

α、β、γ界定了人脸在两帧之间的大小尺寸和位置的最大变化区间，右下标M表示X、Y的中心，动态人脸检测结果即是高清视频中有人脸或没有人脸，是则就进行下一步，否则返回(1)。

人脸检测的目的是自动确定图像中是否存在人脸，并给出人脸个数、大小及其位置等参数。

世界上没有两张完全相同的人脸，但不同的人脸却具有共性，具有固定的结构和良好的对称性。具有自身的内在属性，反映在图像上，具有一定的空间相关性，即人脸规则。因此人脸模式的共性为人脸检测提供了依据。

人脸信息的绝大部分属于低频成分，凭借这些信息可将人脸模式从其他模式中辨别出来。降低分辨率会削弱人脸的个性，增强人脸的共性，因此降低分辨率无疑是人脸检测最有效的途径之一。

常用的计算机检测人脸算法有人脸特征点识别算法、整幅人脸图像识别算法、基于模板的人脸识别算法、利用神经网络进行识别的算法等。

本发明针对复杂动态变化背景下的人脸定位、跟踪、识别等问题，采用基于模板匹配结合神经元网络的动态人脸检测算法。该算法将人脸动态检测问题转化为当前帧中由前一帧结果提供约束范围的人脸检测问题，采用基于模板匹配与人工神经网的人脸检测技术定位人脸，实现了人脸的动态检测。通过对动态检测问题进行合理的约束，并且对检测算法进行了优化，保证了检测的实时性、有效性。

(3)人脸识别：

采用Gabor目标特征识别模型和算法：

Gabor小波变换：

$\mathrm{\ψ}(\mathrm{\κ},z)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\left|\right|k\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}].[\exp \left(\mathrm{ikz}\right)-\exp [-\frac{{\mathrm{\σ}}^2}{2}\left]\right]$

σ是与小波频率带宽有关的常数；z＝(x,y)为空间位置坐标；κ确定了Gabor内核的方向和尺度；

Gabor变换与Gabor内核的卷积为：

J_k(z)＝Ι(z)*Ψ(k,z)

设J_k(z)的幅值和相位分别为Α_k和φ_k，则组合不同尺度和方向的J_k(z)，构成图像在z位置处的Gabor特征矢量。

(3)：在采用8个方向和5个尺度的采样时，方向和尺度上的κ为其中κ_ν＝κ_max/f^ν为采样尺度，v∈{0,1,…,4}为尺度标号，Φ_μ＝πμ/8为采样方向，μ∈{0,1,…,7}为方向标号，Κ_max为最大频率，f是频域中的内核间隔因子，令参数Κ_max＝π/2、σ＝2π。

Gabor小波特征对光线、姿态等特征识别效果稳定，在人脸识别领域的应用非常广泛，已经成为了最为主流的人脸特征抽取方法。

Gabor小波变换是在时频域进行信号分析处理的重要工具，其变换系数有着良好的视觉特性和生物学背景。与传统的傅立叶变换相比：1)Gabor小波变换具有良好的时频局部化特性，即非常容易地调整Gabor滤波器的方向、基频带宽及中心频率从而能够最好的兼顾信号在时空域和频域中的分辨能力；2)Gabor小波变换具有多分辨率特性即变焦能力，即采用多通道滤波技术，将一组具有不同时频域特性的Gabor小波应用于图像变换，每个通道都能够得到输入图像的某种局部特性，这样可以根据需要在不同粗细粒度上分析图像。

Gabor小波变换所采用的核(Kernels)与哺乳动物视觉皮层简单细胞2D感受野剖面(Profile)非常相似，具有优良的空间局部性和方向选择性，可以看作一个对方向和尺度敏感的有方向性的显微镜，能够抓住图像局部区域内多个方向的空间频率(尺度)和局部性结构特征。二维Gabor函数也类似于增强边缘以及峰、谷、脊轮廓等底层图像特征，这相当于增强了被认为是面部关键部件的眼睛、鼻子、嘴巴等信息，同时也增强了诸于黑痣、酒窝、伤疤等局部特征，从而使得在保留总体人脸信息的同时增强局部特性。

Gabor小波变换针对本发明有以下两大重要特性：

1)小波变换对光照变化不敏感，且能容忍车辆行驶过程中的一定程度的图像旋转和变形，当采用基于欧氏距离进行识别时，特征模式与待测特征不需要严格的对应，故能提高目标检测和特征识别的稳定性。

处理的数据量较少，能满足系统的实时性要求等。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此领域技术的人士能够了解本发明内容并加以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于视频分析的车辆行驶中驾驶员人脸识别装置，其特征在于，包括：

DSP控制单元、高清视频捕获单元、人脸检测识别单元、存储单元、传输器，所述存储单元为客运管理平台提供数据，所述DSP控制单元包括DSP控制主机、模数变换器、增益放大器、电平转换电路，所述高清视频捕获单元包括两台摄像机以及供电的电源，所述人脸检测识别单元包括数据采集器、特征分类器，所述增益放大器接收所述高清视频捕获单元并连接所述模数变换器，所述模数变换器与所述DSP控制主机连接，所述DSP控制主机连接所述增益放大器，所述电平转换电路给所述DSP控制主机转换电平，所述DSP控制主机连接所述采集器、所述特征分类器，所述DSP控制主机连接所述存储单元，所述DSP控制主机连接所述传输器。

2.根据权利要求1所述的基于视频分析的车辆行驶中驾驶员人脸识别装置，其特征在于，所述存储单元包括SD卡和外接USB存储设备。

3.一种基于视频分析的车辆行驶中驾驶员人脸识别方法，其特征在于，步骤包括：

(1)动态视频图像预处理：

选取参考帧作为参考图像，用当前帧和参考图像作差分运算，分割出运动物体；

(2)动态人脸检测：

用一组6元数据来表示人脸在某一帧中可能的位置和大小范围，R＝(X_S,X_E,Y_S,Y_E,Z_E,Z_S)，X、Y、Z分别描述人脸中心位置在X、Y方向的范围以及人脸大小区域范围，右下标S、E分别表示最初位置以及最终位置，即将人脸区域界定在一个正方形，同时用F＝(X、Y、Z)中的三元素依次表达人脸的中心位置和大小，

检测算法公式如下：

α、β、γ界定了人脸在两帧之间的大小尺寸和位置的最大变化区间，右下标M表示X、Y的中心，动态人脸检测结果即是高清视频中有人脸或没有人脸，是则就进行下一步，否则返回(1)；

(3)人脸识别：

采用Gabor目标特征识别模型和算法：

Gabor小波变换：

$\mathrm{\ψ}(\mathrm{\κ},z)=\frac{{\left|\right|k\left|\right|}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\left|\right|k\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}]\·[\exp \left(\mathrm{ikz}\right)-\exp [-\frac{{\mathrm{\σ}}^2}{2}\left]\right]$

σ是与小波频率带宽有关的常数；z＝(x,y)为空间位置坐标；κ确定了Gabor内核的方向和尺度；

Gabor变换与Gabor内核的卷积为：

J_k(z)＝Ι(z)*Ψ(k,z)

设J_k(z)的幅值和相位分别为Α_k和φ_k，则组合不同尺度和方向的J_k(z)，构成图像在z位置处的Gabor特征矢量。

4.根据权利要求3所述的基于视频分析的车辆行驶中驾驶员人脸识别方法，其特征在于，(3)：在采用8个方向和5个尺度的采样时，方向和尺度上的κ为其中κ_ν＝κ_max/f^ν为采样尺度，v∈{0,1,…,4}为尺度标号，Φ_μ＝πμ/8为采样方向，μ∈{0,1,…,7}为方向标号，Κ_max为最大频率，f是频域中的内核间隔因子，令参数Κ_max＝π/2、 $f=\sqrt{2},$ σ＝2π。