CN104463125A

CN104463125A - 基于dsp的人脸自动检测跟踪装置及其方法

Info

Publication number: CN104463125A
Application number: CN201410765020.8A
Authority: CN
Inventors: 汲清波; 王飞祥; 任超; 谢宇; 岳新启; 曲乐炜
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2014-12-11
Filing date: 2014-12-11
Publication date: 2015-03-25

Abstract

本发明公开了基于DSP的人脸自动检测跟踪装置及其方法。摄像机获取实时模拟视频图像数据，通过视频输入端口传送给解码模块；解码模块将其转换为数字视频图像数据；DSP数字信号处理器将数字视频图像数据存储于同步动态存储器中，DSP数字信号处理器包括人脸检测单元和人脸跟踪单元，人脸检测单元从同步动态存储器中读取数字视频图像数据，对数字视频图像数据进行人脸检测处理得到人脸区域；人脸跟踪单元读取数字视频图像进行人脸跟踪处理得到跟踪结果，将跟踪结果图像通过OSD FPGA模块传送给编码模块；编码模块进行数模转换后，传送给监视器进行跟踪结果图像显示。本发明具有检测速度快、跟踪精度高的优点。

Description

基于DSP的人脸自动检测跟踪装置及其方法

技术领域

本发明属于人脸检测与跟踪领域，尤其涉及一种应用DSP嵌入式的，基于DSP的人脸自动检测跟踪装置及其方法。

背景技术

近年来，人工智能逐渐开始受到各界人士的重视，在认知科学、机器学习、自然语言处理、计算机视觉、计算机博弈和智能控制等领域都有着重要的应用，其中人脸自动检测跟踪技术是人工智能的关键技术之一。

人脸自动检测跟踪技术是近几年比较热门的研究课题，根据公开的文献资料显示，国内外有许多学者致力于研究人脸的检测跟踪技术，比如：张样等人撰写的《一种快速人脸跟踪算法的研究》，牛德姣等人撰写的《实时视频图像中的人脸检测与跟踪》，王传旭等人撰写的《一种基于肤色与LBP特征融合的人脸跟踪算法》等等。虽然人脸自动检测跟踪技术已经较为成熟，但是由于人脸特征点很多，且容易受到外界环境因素的影响，比如：光照、姿态、遮挡、成像系统等，因此如何设计出一种高鲁棒性、高准确性的系统仍是目前亟待解决的关键技术问题之一。

人脸自动检测跟踪算法比较复杂，而且为了满足客户的需求，系统的实时性、鲁棒性以及准确性都需要达到一定的标准。人脸自动检测跟踪系统需要在极短的时间内存储并处理大量的数据，这就对算法以及硬件平台的存取处理数据的速度和算法的整体架构提出了更高的要求。许多学者对人脸自动检测跟踪技术的研究大多停留在理论层面，将其真正地运用到嵌入式系统的比较少。现有专利《基于DSP的嵌入式人脸自动检测装置和方法》公开在中华人民共和国国家知识产权局上，公开号是CN1428694A，它提供了一种检测装置，并没有将跟踪技术与检测技术融为一体，现有专利《一种自动检测跟踪水位的方法》公开在中华人民共和国国家知识产权局上，公开号是CN103278209A，它只是提供了一种水位自动检测跟踪方法。使用DSP芯片实现人脸自动检测跟踪技术的专利未见公开。

发明内容

本发明的目的是提供一种应用在嵌入式系统上的基于DSP的人脸自动检测跟踪装置。本发明的目的还包括提供一种检测速度快、跟踪精度高的，基于DSP的人脸自动检测跟踪方法。

基于DSP的人脸自动检测跟踪装置，包括摄像机和监视器，还包括DSP数字信号处理器、视频输入端口、视频输出端口、解码模块、编码模块、同步动态存储器、Flash、OSD FPGA模块和电源模块，

摄像机获取实时模拟视频图像数据，通过视频输入端口传送给解码模块；

解码模块将接收到的模拟视频图像数据转换为数字视频图像数据，传送给DSP数字信号处理器；

DSP数字信号处理器将数字视频图像数据存储于同步动态存储器中，DSP数字信号处理器包括人脸检测单元和人脸跟踪单元，人脸检测单元从同步动态存储器中读取数字视频图像数据，对数字视频图像数据进行人脸检测处理得到人脸区域；人脸跟踪单元读取数字视频图像进行人脸跟踪处理得到跟踪结果，将跟踪结果图像通过OSD FPGA模块传送给编码模块；

编码模块将接收到的跟踪结果图像进行数模转换后，传送给监视器进行跟踪结果图像显示；

电源模块为DSP数字信号处理器、OSD FPGA模块、视频输入端口和视频输出端口提供电源。

基于DSP的人脸自动检测跟踪方法包括以下几个步骤：

步骤一：摄像机实时采集视频图像；

步骤二：人脸检测单元对采集后的视频图像进行直方图均衡化处理；

步骤三：对直方图均衡化处理后的图像数据依次进行肤色检测和人脸检测，如果采集到人脸区域，输出人脸的位置和大小信息；如果没有采集到人脸区域，重复步骤一～步骤三；

步骤四：人脸跟踪单元读取下一帧视频图像，进行光照补偿；

步骤五：根据得到的人脸的位置和大小信息，采用综合颜色和纹理特征的粒子跟踪算法对人脸区域进行人脸跟踪；

步骤六：利用跟踪窗口自适应调整策略对跟踪窗口的大小进行适当的调整，并将跟踪结果输出到监视器上显示；

步骤七：判断读入的视频图像帧是否是最后一帧，如果不是，读入下一帧视频图像数据，返回到步骤四；如果是，则结束跟踪。

基于DSP的人脸自动检测跟踪方法还包括：

1、肤色检测和人脸检测的方法为：

1)对图像数据基于YC_bC_r肤色空间进行肤色检测，提取出肤色区域；

2)采用闭运算处理得到的肤色区域，依据肤色区域的面积和长宽的限制，消除噪声点和孤立点，得到类人脸区域；

3)将类人脸区域用Adaboost算法训练出的级联分类器进行检测，过滤掉非人脸区域，得到人脸区域，完成人脸的初定位。

2、采用综合颜色和纹理特征的粒子跟踪算法对人脸区域进行人脸跟踪方法为：

人脸跟踪系统的状态变量为X＝[x y dx dy]，其中x,y表示人脸的中心位置，dx,dy表示x,y方向上的变化量；

人脸跟踪系统的动态模型为：

S_t＝AS_t-1+W_t-1

其中：S为状态参量，W_t-1为噪声矩阵，A为确定性矩阵，

A = [\begin{matrix} 1 & 0 & ΔT & 0 \\ 0 & 1 & 0 & ΔT \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}]

其中：ΔT为图像序列采样间隔；

对于每一个粒子的观测量都由颜色观测量和纹理观测量两部分组成，其中目标区域颜色观测量为：

p_{c} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{c}} \exp (- \frac{d_{c}^{2}}{2 σ_{c}^{2}})

其中，σ_c为高斯标准差，d_c为目标区域与人脸模型颜色的相似度，

目标区域的纹理观测量为：

p_{g} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{g}} \exp (- \frac{d_{g}^{2}}{2 σ_{g}^{2}})

其中：d_g为目标区域与人脸模型纹理的相似度，

每个粒子的权重为：

w_{t}^{i} = w_{t - 1}^{i} p (z_{t} | X_{t}),

其中，p(z_t|X_t)＝p_c(z_t|X_t)p_g(z_t|X_t)。

有益效果：

本发明将人脸检测技术与人脸跟踪技术进行了有效的融合，并且将人脸自动检测跟踪程序整合进RF5框架结构，最后在嵌入式系统上成功实现。本发明所涉及的人脸自动检测跟踪装置检测速度快、跟踪精度高、系统稳定性好、便于维护与管理，本发明可应用于智能监控系统、智能交通、智能门禁系统等多处场合。

附图说明

图1、基于DSP的人脸自动检测跟踪系统的构成方框图。

图2、基于DSP的人脸自动检测跟踪装置的硬件系统结构框图。

图3、基于DSP的人脸自动检测跟踪系统的处理流程图。

图4、基于RF5的人脸自动检测跟踪算法的框架结构。

具体实施方式

随着人工智能技术的发展，人们对智能产品的要求也越来越高，比如，在智能监控系统中，当有非法人员闯入禁区防区时，人脸自动检测跟踪系统需要第一时间通知用户，用户收到通知后，可以第一时间做出反应，从而消除传统监控系统事发不能及时处理的缺点。因此，人脸自动检测跟踪技术的鲁棒性、实时性以及准确性都需要达到比较高的标准。人脸自动检测跟踪系统包括两个主要技术环节，见图1，首先是人脸检测，即找出输入图像中人脸的具体位置和大小，然后是人脸跟踪，对后续输入图像中的人脸位置进行预测、更新，从而实现人脸的自动检测跟踪。

基于DSP的嵌入式人脸自动检测跟踪装置，见图2，其特征包括：摄像机、监视器、DSP数字信号处理器、视频输入输出端口、编解码模块、4M*64bit同步动态存储器、8～32M位Flash、OSD FPGA模块以及电源模块。

其中DSP数字信号处理器采用的是TI公司C6000系列DSP中最新的定点DSP(TMS320DM642)，其核心是C6416型高性能数字信号处理器，具有很强的处理性、可编程性和灵活性，特别适用于机器视觉、医学成像、网络视频监控以及基于数字视频/图像处理的消费类电子产品等高速DSP应用领域。

OSD FPGA模块使用的是Xi linx XC2S300E系列FPGA，对于OSD功能，FPGA为DM642视频通道和SAA7105视频编码器之间提供了一个接口，从而使从DM642视频通道输出的8bit视频输出直接连接到SAA7105编码器。

同步动态存储器采用的是4M*64bit的SDRAM，可以满足人脸自动检测跟踪复杂图像时所需的大量数据空间。

编解码模块使用的是SAA7115解码芯片和SAA7105编码芯片，其中SAA7115是可以通过DM642的I²C总线进行编程的，并且可以连接所有的主要合成视频标准，例如NTSC、PAL和SECAM，这些都可以通过解码器的内部寄存器进行适当的编程；SAA7105可以进行RGB、HD合成视频，NTSC/PAL复合视频的编码，也可对依靠SAA7105内部寄存器进行编程的S-Video进行编码，SAA7105的内部编程寄存器也可以通过DM642的I²C总线进行配置。

8～32M位Flash采用的是AMD公司的NOR FLASH芯片Am29LV033C,其容量是4M*8bit，最快读取速度70ns，64个64b的扇区，0.32um工艺技术，数据可保持20年不丢失。

人脸自动检测跟踪方法的工作原理：在8～32M位Flash内的人脸自动检测跟踪自启动程序的控制下，通过摄像机获取实时视频图像数据，由视频输入端口将模拟视频图像数据送往解码芯片SAA7115，完成模数转换，然后将数字视频图像数据送往DM642视频接口处理，最后存入到4M*64bit的同步动态存储器中。DM642从SDRAM中读取数字图像数据，人脸自动检测跟踪程序对进入到DM642的数字图像数据首先进行图像预处理，即进行灰度直方图均衡化；再由人脸自动检测跟踪程序的肤色检测模块依据肤色在YC_bC_r空间特有的聚类性以及区域长宽比和面积的限制筛选出人脸感兴趣区域；然后由人脸自动检测跟踪程序的人脸检测模块依据adaboost算法进行人脸检测，找出人脸的位置及大小；之后由程序的光照补偿模块采用参考白方法对后续数字图像数据进行校正，防止光照变暗时对跟踪效果的影响；然后由程序的人脸跟踪模块依据粒子滤波算法进行人脸跟踪，最后跟踪结果图像数据通过OSD FPGA模块送往编码芯片SAA7105进行编码，完成数模转换，并通过视频输出端口送往监视器显示。

基于RF5的人脸自动检测跟踪算法的框架结构，见图4，利用综合颜色和纹理特征的粒子滤波人脸自动检测跟踪算法对人脸进行自动检测跟踪时，由于算法的复杂性，导致系统的实时性不高。针对这一问题，本发明提出了基于RF5的人脸自动检测跟踪算法的框架结构，其特征包括以下模块：

a)采集线程：

主要负责通过摄像机采集实时视频图像数据，为处理线程提供清晰的视频图像数据以备处理。

b)显示线程

主要的任务是将处理线程处理后的视频图像数据传递到监视器进行显示。

c)处理线程

对采集线程传递来的视频图像数据进行人脸的检测与跟踪，并将处理后的视频图像数据传递给显示线程。

为了使本发明所提及的基于DSP的人脸自动检测跟踪装置以及方法更容易被使用者理解，以下结合附图以及附录，对本发明进行进一步的阐释说明。

依据附图1，基于DSP的人脸自动检测跟踪系统主要包括两个模块：人脸检测和人脸跟踪。首先该系统从摄像机获取原始视频流，其次人脸检测模块对视频流中的图像数据进行处理，找出人脸在图像中所处的位置及大小，然后由人脸跟踪模块对人脸图像进行跟踪，最后将检测跟踪结果输出到监视器上显示。

依据附图2，基于DSP的人脸自动检测跟踪系统可详细描述为：在8～32M位Flash内的人脸自动检测跟踪自启动程序的控制下，通过摄像机获取原始视频图像数据，由视频输入端口0和视频输入端口1将模拟视频图像数据送往解码芯片SAA7115，完成模数转换，然后将数字视频图像数据送往DM642视频接口处理，最后存入到4M*64bit的同步动态存储器中。DM642从SDRAM中读取数字图像数据，人脸自动检测跟踪程序对进入到DM642的数字图像数据首先进行人脸检测，然后由程序的人脸跟踪模块进行人脸跟踪，最后跟踪结果图像数据通过OSD FPGA模块送往编码芯片SAA7105进行编码，完成数模转换，并通过视频输出端口2送往监视器显示。

下面依据附图3以及附录对基于DSP的人脸自动检测跟踪方法进行详细说明，人脸自动检测跟踪方法包括以下步骤：

1)首先通过摄像头获取实时视频图像数据，并且在程序的控制下，对该视频图像数据进行隔行隔列采集。

2)然后对隔行隔列采集后的视频图像数据进行灰度直方图均衡化处理。其具体步骤如下：

a.给出原始图像的所有灰度级s_k(k＝0,1,…,255)。

b.统计原始图像各灰度级的像素数n_k。

c.计算图像的累积直方图：

t_{k} = EH (s_{k}) = [255 Σ_{i = 0}^{k} \frac{n_{i}}{n}], k = 0,1, \cdot \cdot \cdot, 255

d.统计新直方图各灰度级的像素数n_k。

e.计算新的直方图：

p(t_k)＝n_k/n

3)接着在YC_bC_r空间下，利用基于肤色和Adaboost的人脸检测算法对均衡化后的视频图像进行人脸检测，如果该视频图像中存在人脸，则系统会返回人脸的位置和大小信息；如果该视频图像中不存在人脸，则系统会返回到第一步，重新读取新的视频帧，并再次执行以上步骤。其中所用到的人脸检测算法的具体步骤如下：

a.采用基于YC_bC_r肤色空间的肤色检测，提取出肤色区域。经过大量的试验设定77＜C_b<127和133＜C_r＜173，就能够很好地把肤色区域分割出来。

b.采用闭运算处理得到的肤色区域，填充细小空洞，平滑边界。然后依据区域面积、长宽的限制，消除噪声点和孤立点。找出所有符合条件的区域，这些区域即为类人脸区域。

c.将得到的类人脸区域依次用Adaboost算法训练出的级联分类器进行再检测，过滤掉非人脸区域，得到人脸区域，完成人脸的初定位。

4)得到人脸的位置和大小信息后，系统读入下一帧图像数据，开始进行人脸跟踪阶段。

5)首先对新读入的视频图像数据进行光照补偿，采用的是参考白的光照补偿方法。其具体步骤如下：

a.统计原图像各个灰度级的像素个数n_k。

b.找出亮度在前5％的像素，并标记处边界灰度num。

c.按照下式计算调整系数co：

co = 255 Σ_{k = 255 - num}^{255} n_{k} / Σ_{k = 255 - num}^{255} {kn}_{k}

d.最后调整图像的RGB三个分量，即各自乘以调整系数。

6)然后利用综合颜色和纹理特征的粒子滤波跟踪算法对光照补偿后的视频图像进行人脸跟踪，其中颜色特征采用的是加权颜色直方图，纹理特征采用的是方向梯度直方图。该方法的主要步骤如下：

(1)加权颜色直方图

颜色特征非常稳定，对非刚体运动目标变形、旋转、尺度变化具有一定的鲁棒性，因此采用加权颜色直方图作颜色分布模型。

目标区域的颜色分布模型为：

p_{x_{0}} (n) = C Σ_{i = 1}^{N} k (| | \frac{x_{i} - x_{0}}{a} | |) δ [h (x_{i}) - n]

式中：表示区域中心点在x₀处的区域颜色分布；n为直方图条柱索引；N为目标区域的总像素数；k(·)为核函数，用来给目标区域内的像元分配权值系数；δ(·)为单位冲激函数；h(x_i)为x_i的颜色分配给颜色直方图中的相应条柱；C为归一化系数。

(2)方向梯度直方图

方向梯度直方图可以看作是对目标纹理的一种表示，其中包含一定的结构信息。为了提高人脸跟踪的鲁棒性，本发明在颜色特征描述的基础上，引入了方向梯度直方图特征对颜色信息进行补充。

首先利用梯度算子[-1 0 1]^T和[-1 0 1]与人脸目标区域做卷积，得到像素点的梯度幅值G(x,y)和梯度方向θ(x,y)如下：

G (x, y) = \sqrt{{(\frac{&PartialD; I (x, y)}{&PartialD; x})}^{2} + {(\frac{&PartialD; I (x, y)}{&PartialD; y})}^{2}}

θ (x, y) = \arctan (\frac{(\frac{&PartialD; I (x, y)}{&PartialD; y})}{(\frac{&PartialD; I (x, y)}{&PartialD; x})})

将方向角0°～360°等分为m个区间，目标区域梯度分布模型为：

q_{x_{0}} (n) = C^{'} Σ_{i = 1}^{N} k ({| | \frac{x_{i} - x_{0}}{a} | |}^{2}) G (x_{i}) δ [θ (x_{i}) - n]

其中C′为归一化系数，k(·)为核函数，本发明使用m＝36，即以10°为单位将区域划分。

(3)综合颜色和纹理的粒子滤波人脸跟踪

定义X＝[x y dx dy]为系统状态变量，其中x,y表示人脸的中心位置；dx,dy表示x,y方向上的变化量。系统的动态模型为：

S_t＝AS_t-1+W_t-1

式中：S为状态参量；W_t-1为噪声矩阵；A为确定性矩阵。

A = [\begin{matrix} 1 & 0 & ΔT & 0 \\ 0 & 1 & 0 & ΔT \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}]

其中：ΔT为图像序列采样间隔。

p_{c} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{c}} \exp (- \frac{d_{c}^{2}}{2 σ_{c}^{2}})

其中：σ_c为高斯标准差；d_c为目标区域与人脸模型颜色的相似度。p_c(z_t|X_t)值越大，说明候选目标与目标模板颜色越相似，则候选目标为真实目标的可能性越大。

目标区域的纹理观测量为：

p_{g} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{g}} \exp (- \frac{d_{g}^{2}}{2 σ_{g}^{2}})

其中：d_g为目标区域与人脸模型纹理的相似度。

综合多种特征可实现各特征间信息互补，提高跟踪的鲁棒性，由此结合t时刻状态X_t下的颜色观测量和纹理观测量,可得：

p(z_t|X_t)＝p_c(z_t|X_t)p_g(z_t|X_t)

则每个粒子的权重为：

w_{t}^{i} = w_{t - 1}^{i} p (z_{t} | X_{t})

7)接着利用跟踪窗口自适应调整策略对跟踪窗口的大小进行适当的调整，并将跟踪结果输出到监视器上显示。

8)最后判别读入的该视频帧是否是最后一帧，如果不是，则系统返回到第4步，重新读入视频图像数据，并再次执行以上步骤；如果是，则系统结束人脸的跟踪。

本发明在DSP嵌入式平台上成功实现了人脸的快速检测及稳定跟踪。在人脸检测阶段，利用基于肤色的Adaboost算法检测人脸，提高了程序的检测速度以及准确性；在人脸跟踪阶段，利用综合颜色和纹理特征的粒子滤波算法跟踪人脸，实验表明，当人脸受到外界因素影响时，仍可保持稳定跟踪。

Claims

1.基于DSP的人脸自动检测跟踪装置，包括摄像机和监视器，其特征在于：还包括DSP数字信号处理器、视频输入端口、视频输出端口、解码模块、编码模块、同步动态存储器、Flash、OSD FPGA模块和电源模块，

2.一种基于权利要求1所述的基于DSP的人脸自动检测跟踪装置的检测跟踪方法，其特征在于，包括以下几个步骤：

步骤一：摄像机实时采集视频图像；

3.根据权利要求2所述的一种基于DSP的人脸自动检测跟踪方法，其特征在于：所述的肤色检测和人脸检测的方法为：

4.根据权利要求2或3所述的一种基于DSP的人脸自动检测跟踪方法，其特征在于：所述的采用综合颜色和纹理特征的粒子跟踪算法对人脸区域进行人脸跟踪方法为：

人脸跟踪系统的动态模型为：

S_t＝AS_t-1+W_t-1

其中：S为状态参量，W_t-1为噪声矩阵，A为确定性矩阵，

A = [\begin{matrix} 1 & 0 & ΔT & 0 \\ 0 & 1 & 0 & ΔT \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}]

其中：ΔT为图像序列采样间隔；

p_{c} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{c}} \exp (- \frac{d_{c}^{2}}{2 σ_{c}^{2}})

目标区域的纹理观测量为：

p_{g} (z_{t} | X_{t}) = \frac{1}{\sqrt{2 π} σ_{g}} \exp (- \frac{d_{g}^{2}}{2 σ_{g}^{2}})

其中：d_g为目标区域与人脸模型纹理的相似度，

每个粒子的权重为：

w_{t}^{i} = w_{t - 1}^{i} p (z_{t} | X_{t}),

其中，p(z_t|X_t)＝p_c(z_t|X_t)p_g(z_t|X_t)。