CN101196990A - 网络嵌入式多路人脸检测系统及人脸检测方法 - Google Patents

Abstract

本发明涉及一种网络嵌入式多路人脸检测系统及人脸检测方法，是一种可通过网络灵活配置各项检测参数实现多路的、高清晰的人脸检测的系统和方法。本发明包括：中央处理模块，存储器和输入输出三大模块，各个模块间通过总线连接。本发明使用的是多通道、多路摄取图像的方法，采取多通道、多路的好处在于可以对物体进行较全面的摄取，获取更多的信息，产生更多的有用的数据，最终对提高图像的分析能力产生明显的影响。由于本发明使用基于外观的CS－ADAboost方法对人脸进行检测能克服一定程度的光照和姿态对成像的影响，以及背景对人脸图像的影响，在环境较差的情况下可以较清晰的分析出人脸的图像，提高了对人脸的识别率。

Description

网络嵌入式多路人脸检测系统及人脸检测方法

技术领域

本发明涉及一种网络嵌入式多路人脸检测系统及人脸检测方法，是一种用于识别图形的数据识别方法和装置，是一种利用数据识别的方法对人脸进行智能化识别的嵌入式系统。是一种可通过网络灵活配置各项检测参数实现多路的、高清晰的人脸检测的系统和方法。

背景技术

人脸检测是指在指定图象中确定所有人脸(如果存在)的位置、大小和位姿的过程。作为人脸识别这一智能信息处理中的一项基础技术，人脸检测近年来已成为图像处理，模式识别与计算机视觉领域内一项受到普遍重视、研究异常活跃的课题。

人脸检测的研究经过几十年的技术发展已日趋成熟。但是早期的人脸检测主要针对具有简单背景的人脸图象。近几年随着对公共安全的关注，要求实用的人脸识别系统能够适用与大多数实际场景即具有一定的适应能力。今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视觉监测等方面有着重要的应用价值。

人脸检测研究具有重要的实用价值和学术价值。因为人脸是一类具有丰富的细节变化的三维结构目标，此类目标的检测问题的困难和挑战性在于：(1)因姿态、外貌、表情、肤色等不同，人脸具有模式的可变性。(2)人脸因各种附属物的影响如可能存在眼镜、胡须等，部分人脸可能被遮挡住.(3)三维人脸成像所得的人脸图像与光源(光谱，光源分布，强度)照射情况和成像情况(感应器，镜头)等密切相关。因此，成功构造出实用的人脸检测系统，需要解决很多实际难题。

由于人脸检测算法的复杂性，现有的算法大都是在单通道视频图像上以较低分辨率的图像上实现人脸检测，这类方法的缺点是：检测参数设置不灵活；单通道检测性能过低；低分辨率检测的人脸过小不够清晰，同时由于现有的压缩算法大都是有损的，因此进一步降低了人脸图像的质量，从而大大影响了人脸图像的保存质量和实用价值。

发明内容

本发明的目的在于提出一种网络嵌入式多路人脸检测系统及人脸检测方法，本发明的人脸检测系统可通过网络灵活配置各项检测参数实现多路的、高清晰的人脸检测。所述的系统利用高清晰度的多路摄像装置获取图像，增加了图像获取的灵活性和准确性。所述方法能对图像进行基于外观的CS-ADAboost方法的检测，一定程度上克服的光照和姿态对成像的影响，准确的实现人脸检测。

本发明的目的是这样实现的：一种网络嵌入式多路人脸检测系统，包括：多台用于图像数据采集的摄像装置，所述的摄像装置与传输图像数据的多路高分辨率视频图像采集接口的输入端连接，所述多路高分辨率视频图像采集接口的输出端与视频解码器的输入端连接，视频解码器的输出端与作为中央处理器的数字信号处理器DSP的信号输入端连接，所述的数字信号处理器与先入先出存储器FIFO、同步动态随机存储器SDRAM、可擦写存储器、复杂可编程逻辑器件CPLD连接；所述数字信号处理器的以太网接口EMAC与实现RJ45以太网络接口的以太网收发器连接；所述复杂可编程逻辑器件的控制端连接多个用于视频输出的视频编码器；所述复杂可编程逻辑器件与视频解码器、以太网收发器连接；所述先入先出存储器与一个通用异步串行收发接器UART、DB9接口、RS232接口顺序连接。

一种网络嵌入式多路人脸检测系统，其特征在于，包括：多台用于图像数据采集的摄像装置，所述的摄像装置与传输图像数据的多路高分辨率视频图像采集接口的输入端连接，所述多路高分辨率视频图像采集接口的输出端与视频解码器的输入端连接，视频解码器的输出端与作为中央处理器的数字信号处理器DSP的信号输入端连接，所述的数字信号处理器与先入先出存储器FIFO、同步动态随机存储器SDRAM、可擦写存储器、复杂可编程逻辑器件CPLD连接；所述数字信号处理器的以太网接口EMAC与实现RJ45以太网络接口的以太网收发器连接；所述复杂可编程逻辑器件的控制端连接多个用于视频输出的视频编码器；所述复杂可编程逻辑器件与视频解码器、以太网收发器连接；所述先入先出存储器与一个通用异步串行收发接器UART、DB9接口、RS232接口顺序连接。

本发明产生的有益效果是：本发明使用的是多通道、多路摄取图像的方法，采取多通道、多路的好处在于可以对物体进行较全面的摄取，获取更多的信息，产生更多的有用的数据，最终对提高图像的分析能力产生明显的影响。由于本发明使用基于外观的CS-ADAboost方法对人脸进行检测能克服一定程度的光照和姿态对成像的影响，以及背景对人脸图像的影响，在环境较差的情况下可以较清晰的分析出人脸的图像，提高了对人脸的识别率。在图像检测过程中本发明还具有外部参数的设置，系统操作人员可以利用外部参数的设置在图像检测过程中对图像参数进行主动设置，以便根据当时当地的环境情况获取清晰的图像数据。本发明在图像压缩过程中系统操作人员也可以利用外部参数的设置在图像压缩过程中进行设置，以利提高图像通过网络传输时的质量。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例一所述网络嵌入式多路人脸检测系统的原理框图；

图2是本发明实施例五所述网络嵌入式多路人脸检测方法的运行原理框图；

图3是本发明实施例六所述启动并运行人脸检测单元的步骤中的人脸检测算法处理程序的运行原理框图。

具体实施方式

实施例一：

本实施例是一种网络嵌入式多路人脸检测系统，如图1的框图所示。所述系统包括：多台用于图像数据采集的摄像装置，所述的摄像装置与传输图像数据的多路高分辨率视频图像采集接口的输入端连接，所述多路高分辨率视频图像采集接口的输出端与视频解码器的输入端连接，视频解码器的输出端与作为中央处理器的数字信号处理器DSP的信号输入端连接，所述的数字信号处理器与先入先出存储器FIFO、同步动态随机存储器SDRAM、可擦写存储器、复杂可编程逻辑器件CPLD连接；所述数字信号处理器的以太网接口EMAC与实现RJ45以太网络接口的以太网收发器连接；所述复杂可编程逻辑器件的控制端连接多个用于视频输出的视频编码器；所述复杂可编程逻辑器件与视频解码器、以太网收发器连接；所述先入先出存储器与一个通用异步串行收发接器UART、DB9接口、RS232接口顺序连接。

本实施例中所使用的硬件系统可以理解为由中央处理模块、存储器模块和输入输出模块三大硬件模块组成。各个模块间通过总线连接，实现各种数据和程序交换。所述的网络嵌入式多路人脸检测匹配有人脸检测算法软件及数据，视频压缩算法软件，网络传输算法软件和操作系统存放在可擦写存储器中。运行的软件主要包含基于改进的CS-ADAboost的人脸检测算法软件，视频图像压缩算法软件，网络传输算法软件和操作系统。其中操作系统负责实时管理人脸检测算法以及压缩算法，网络传输算法和数据的输入输出同步。

其中中央处理模块是一个作为中央处理器的数字信号处理器DSP(DigitalSignal Processor，其型号是TMS320DM642)，是一种特别适合于进行数字信号处理运算的微处理器，是一种典型的嵌入式系统芯片。该微处理器是由美国德州仪器(Texas Instruments，Ti)公司生产的专用高性能多媒体处理器，其主要应用是实时快速地实现各种数字信号处理浮点运算。基于这种数字信号处理器设计的软件系统具有灵活、精确、稳定性好、抗干扰强、设备尺寸小、造价低、速度快等突出优点，非常适用于场地受限、稳定性要求高的应用领域。中央处理模块中还配置有先入先出存储器(First In First Out，FIFO，其型号是16C550)、同步动态随机存储器(SDRAM，其型号是MT48LC8M32)、复杂可编程逻辑器件(CPLD，其型号是XC9536XL)；所述数字信号处理器的以太网接口(EMAC)与以太网收发器(Ethernet Transceiver，其型号是DP83846)连接，实现了RJ45以太网络接口，可以将人脸检测结果通过以太网输出；所述数字信号处理器的信号输入端连接四个视频解码器(Video decoder，其型号是TVP5150)，该视频解码器的视频输入端连接摄像装置用于图像数据采集；所述复杂可编程逻辑器件的控制端连接四个视频编码器(Video enoder，其型号是SAA7105)用于视频输出；所述先入先出存储器与一个通用异步串行收发接器(UART，其型号是MAX3243)、DB9接口依次连接，人脸检测结果也可以RS232串口协议形式从DB9接口输出。

实施例二：

本实施例是在实施例一的基础上对所述摄像装置的改进。所述摄像装置可以是摄像头、数码相机、数字摄像机中的一种。是一种可以输出数字图像信号的图像获取装置。

实施例三：

本实施例是在实施例一的基础上对所述摄像装置的改进。所述的摄像装置可以是能够采集模拟视频信号的电子器件。即可以是模拟摄像头，模拟摄像机，等等。

实施例四：

本实施例是在实施例一基础上对所述可擦写存储器的改进。所述的可擦写存储器是闪存FLASH或者是硬盘FD。

实施例五：

本实施例是网络嵌入式多路人脸检测方法的具体实施例。

目前，国外对人脸检测问题的研究很多，比较著名的有MIT，CMU等；国内的清华大学、北京工业大学、中科院计算所和自动化所等都有人员从事人脸检测相关的研究。分析国内外公开的人脸检测技术资料，已经有一些方法来实现人脸检测如基于知识的方法，基于不变特征的方法，基于外观的学习方法。中国专利200510086248.5公开一种复杂背景图像中的鲁棒人脸检测方法，该方法是基于外观的CS-ADAboost方法。

本实施例是使用网络嵌入式多路人脸检测系统获取图像并基于外观CS-ADAboost方法对获取的图像进行分析，排除周围环境的干扰，得到清晰图像的方法，其运行过程如图2所示。

本实施例所使用的网络嵌入式多路人脸检测系统包括：至少有一台摄像装置，本实施例使用4台摄像装置。所述的摄像装置可以是模拟摄像装置也可以是数字摄像装置，使用的摄像装置可以是摄像头、数码相机、数字摄像机中的一种。所述的摄像装置还可以是能够采集模拟视频信号的电子器件。摄像装置与可擦写存储器、视频解码器、多路高分辨率视频采集接口组成的“多路视频采集单元”。该单元支持PAL制或NTSC制模拟视频信号，采集得到D1或VGA格式的高清晰数字视频图像信号。由作为中央处理器的数字信号处理器、先入先出存储器FIFO Rom、同步动态随机存储器SDRAM、可擦写存储器FLASH组成的“人脸检测单元”。所述的数字信号处理器可以是一种嵌入式数字信号处理器DSP(Digital Signal Prosessor)，也可以是其他形式的微处理器。由作为中央处理器的数字信号处理器、先入先出存储器、同步动态随机存储器、可擦写存储器组成的“视频压缩单元”。由视频编码器、复杂可编程逻辑器件CPLD、以太网收发器、通用异步串行收发器组成“网络数据和指令传输单元”，这里所述的指令指的是机器指令。本实施例的主要步骤包括：

A、启动网络嵌入式多路人脸检测系统并进行系统初始化的步骤。系统的启动首先要做的是将系统初始化，做好准备工作。

B、启动并运行多路视频采集单元的步骤。单元启动后首先依次通过个摄像装置采集各路高清晰图像。如果是模拟摄像设备，就要将模拟视频信号经视频解码器处理后变成数字视频信号，完成多路高分辨率视频信号的采集。图像采集后须将视频信号以一定的格式准备好。多路模拟视频信号经视频解码器处理后变成4路4:2:2的D1格式的YUV数字视频信号，然后将该数字视频信号转换为4:2:0的D1格式的YUV视频信号逐一作为人脸检测的输入图像准备好。准备好格式的图像存储至同步动态随机存储器中，通知并等待人脸检测单元处理。

C、启动并运行人脸检测单元的步骤，将固化在可擦写存储器中的人脸检测算法处理程序装载入同步动态随机存储器中运行，依次对多路图像进行快速人脸检测处理。检测处理的过程有许多种，例如可以采用基于知识的方法、基于不变特征的方法、基于外观的学习方法等等。本实施例采用的是一种通过CS-ADAboost训练的基于外观的学习方法进行检测，处理过程包括：将输入数字信号处理器的图像进行尺度归一化处理；进而计算积分图像，依次从左到右从上到下取20×20像素窗口积分图像；进行人脸特征结构预处理分析，将20×20像素窗口分为上下对称的两部分并分别统计像素均值，如果上部分像素均值小于下部分像素均值，则进行分类器分析，否则立即停止该窗口的分析，进行下一个20×20像素窗口分析；采用训练好的CS-ADAboost多层人脸分类器对20×20像素窗口判断，如果通过CS-ADAboost多层人脸分类器所有层的判断，则认为该窗口包含人脸，记下该位置P(X0，Y0)和尺度C0，否则抛弃该窗口，不进行后续处理。所述人脸分类器是CS-ADAboost分类器。整帧处理结束，保存检测结果并输出至同步动态随机存储器中。

通过运用这些检测处理方法如果在视频图像中检测到人脸，按照检测到的位置，将人脸图像从视频图像中剪裁出来，并以一定的格式准备好，存储到可擦写存储器中。按照上述处理过程，依次对各路视频图象完成人脸检测，通知并等待视频图像压缩单元处理。人脸检测单元在检测到人脸时系统操作人员可以通过“外部参数设置命令”对人脸检测位置、人脸检测尺寸、人脸输出图像大小、人脸图像是否进行去隔行处理各参数进行设置。人脸检测单元在未接到系统操作人员发出的“外部参数设置命令”时，人脸检测位置，人脸检测尺寸，人脸输出图像大小，人脸图像是否进行去隔行处理等参数按默认参数运行。默认参数为：人脸检测位置默认为整幅图像，人脸检测尺寸默认为20×20-576×576，人脸输出图像大小默认为原始尺寸，人脸图像进行去隔行处理。

D、启动并运行图像压缩单元的步骤，将固化在可擦写存储器中的视频图像压缩程序装载入同步动态随机存储器中运行，并按顺序对多路检测到的人脸视频图像逐一编码压缩，压缩量化参数采用Mpeg4压缩算法进行编码压缩，输出压缩码流至可擦写存储器中，通知并等待网络数据和指令传输单元处理。在图像压缩过程进行前系统操作人员可以通过“外部参数设置命令”对人脸图像质量进行压缩设置。在未接到系统操作人员发出的“外部参数设置命令”时，人脸图像采取失真最小的量化方法进行压缩。

E、启动并运行网络数据和命令传输单元，将固化在可擦写存储器中的网络数据和命令传输程序装载入同步动态随机存储器中运行，接到人脸压缩图像准备就绪等待传输命令后，网络数据和命令传输单元启动并通过网络接口发送数据。在系统运行期间，网络数据和命令传输单元一直等待外部发来的命令，一旦接到命令，即进行命令解析，并根据命令参数对人脸检测或压缩进行设置，并按顺序对压缩好的图像通过网络接口发送至其他接收设备。这些记录设备可以是专用大型硬盘库或者是远程显示设备，或者是网络上连接的其他电脑。

F、检测所有各路图像是否检测完成，如果“否”则回到启动并运行人脸检测单元的步骤，如果“是”则停止运行网络嵌入式多路人脸检测系统，并释放资源，结束。

实施例六：

本实施例是在实施例五启动并运行人脸检测单元的步骤中的人脸检测算法处理程序的改进，本实施例的运行过程如图3所示。其步骤为：

人脸检测单元单元启动，内存分配和参数和参数设置，装载训练好的分类器数的子步骤；

输入图像并归一化的子步骤；

图像积分计算的子步骤；

依次取20×20积分图像的子步骤；

用训练好的CS-ADAboost多层人脸分类器对20×20像素窗口图像判断是否是人脸的子步骤；如果“是”则进入下一步，如果“否”则跳过下一步；

保存检测结果的子步骤；

判断整张处理是否结束的子步骤；如果“是”则进入下一步，如果“否”则回到依次取20×20积分图像的子步骤；

视频信号输出，检测结果输出的子步骤；

是否继续处理下一帧的子步骤，如果“是”则回到输入图像并归一化的子步骤，如果“否”则进入下一步；

释放资源，人脸检测结束的子步骤。

上述处理直至多组多尺度图像都处理完毕，统计图像中人脸出现的数目，完成对一个通道视频图像的人脸检测。

Claims (6)

1.一种网络嵌入式多路人脸检测系统，其特征在于，包括：多台用于图像数据采集的摄像装置，所述的摄像装置与传输图像数据的多路高分辨率视频图像采集接口的输入端连接，所述多路高分辨率视频图像采集接口的输出端与视频解码器的输入端连接，视频解码器的输出端与作为中央处理器的数字信号处理器DSP的信号输入端连接，所述的数字信号处理器与先入先出存储器FIFO、同步动态随机存储器SDRAM、可擦写存储器、复杂可编程逻辑器件CPLD连接；所述数字信号处理器的以太网接口EMAC与实现RJ45以太网络接口的以太网收发器连接；所述复杂可编程逻辑器件的控制端连接多个用于视频输出的视频编码器；所述复杂可编程逻辑器件与视频解码器、以太网收发器连接；所述先入先出存储器与一个通用异步串行收发接器UART、DB9接口、RS232接口顺序连接。

2.根据权利要求1所述的网络嵌入式多路人脸检测系统，其特征在于，所述的用于图像数据采集的摄像装置是摄像头、数码照相机、数字照相机中的一种。

3.根据权利要求1所述的网络嵌入式多路人脸检测系统，其特征在于，所述的用于图像数据采集的摄像装置是能够采集模拟视频信号的电子元件。

4.根据权利要求1所述的网络嵌入式多路人脸检测系统，其特征在于，所述的可擦写存储器是闪存FLASH或硬盘FD。

5.一种网络嵌入式多路人脸检测方法，所使用的网络嵌入式多路人脸检测系统包括：由多台摄像装置、可擦写存储器、视频解码器、多路高分辨率视频图像采集接口组成的多路视频采集单元，由作为中央处理器的数字信号处理器、先入先出存储器、同步动态随机存储器、可擦写存储器组成的人脸检测单元，由作为中央处理器的数字信号处理器、先入先出存储器、同步动态随机存储器、可擦写存储器组成的视频压缩单元，由视频编码器、复杂可编程逻辑器件、以太网收发器、通用异步串行收发器组成的网络数据和指令传输单元，其特征在于所述网络嵌入式多路人脸检测方法的步骤包括：

启动网络嵌入式多路人脸检测系统并进行系统初始化的步骤；

启动并运行多路视频采集单元的步骤，依次采集各路高清晰图像，将模拟视频信号经视频解码器处理后变成数字视频信号，完成多路高分辨率视频信号的采集，并将视频信号以一定的格式准备好，存储至同步动态随机存储器中，通知并等待人脸检测单元处理；

启动并运行人脸检测单元的步骤，将固化在可擦写存储器中的人脸检测算法处理程序装载入同步动态随机存储器中运行，依次对多路图像进行快速人脸检测，当在视频图像中检测到人脸时，按照检测到的位置，将人脸图像从视频图像中剪裁出来，并以一定的格式准备好，存储到同步动态随机存储器中，按照上述处理过程，依次对各路视频图象完成人脸检测，通知并等待视频图像压缩单元处理；人脸检测单元在检测到人脸时可以通过外部参数设置命令对人脸检测位置、人脸检测尺寸、人脸输出图像大小、人脸图像是否进行去隔行处理各参数进行设置，人脸检测单元在未接到外部参数设置命令时，人脸检测位置、人脸检测尺寸、人脸输出图像大小、人脸图像是否进行去隔行处理各参数按默认参数运行，默认参数为：人脸检测位置默认为整幅图像，人脸检测尺寸默认为20×20-576×576，人脸输出图像大小默认为原始尺寸，人脸图像进行去隔行处理；

启动并运行图像压缩单元的步骤，将固化在可擦写存储器中的视频图像压缩程序装载入同步动态随机存储器中运行，并按顺序对多路检测到的人脸视频图像逐一编码压缩，压缩过程为：预测、变换、量化、可变长度编码；将压缩码流输出至可擦写存储器中，通知并等待网络数据和指令传输单元处理，在未接到外部参数设置命令时，人脸图像采取失真最小的量化方法进行压缩；

启动并运行网络数据和指令传输单元，将固化在可擦写存储器中的网络数据和命令传输程序装载入同步动态随机存储器中运行，并按顺序对压缩好的图像通过网络接口发送至记录或网络接收设备；

检测所有各路图像是否检测完成，如果“否”则回到启动并运行人脸检测单元的步骤，如果“是”则停止运行网络嵌入式多路人脸检测系统，并释放资源，结束。

6.根据权利要求5所述的网络嵌入式多路人脸检测方法，其特征在于，启动并运行人脸检测单元的步骤中人脸检测算法处理程序中的子步骤：

人脸检测单元单元启动，内存分配和参数和参数设置，装载训练好的分类器数的子步骤；

输入图像并归一化的子步骤；

图像积分计算的子步骤；

依次取20×20积分图像的子步骤；

用训练好的CS-ADAboost多层人脸分类器对20×20像素窗口图像判断是否是人脸的子步骤；如果“是”则进入下一步，如果“否”则跳过下一步；

保存检测结果的子步骤；

判断整张处理是否结束的子步骤；如果“是”则进入下一步，如果“否”则回到依次取20×20积分图像的子步骤；

视频信号输出，检测结果输出的子步骤；

是否继续处理下一帧的子步骤，如果“是”则回到输入图像并归一化的子步骤，如果“否”则进入下一步；

释放资源，人脸检测结束的子步骤。

Images