CN1403997A - 数字视频人脸自动识别系统 - Google Patents

Abstract

本发明涉及一种数字视频人脸自动识别系统，属机器视觉领域的技术产品。系统硬件由视频输入器(1)、图像采集卡(2)、并行处理器(3)和显示屏(4)组成。软件由图像采集模块、分割模块、预处理模块、识别模块、并行处理模块、数据存储查询模块、显示模块、报警模块、远程传输模块组成。数字视频人脸自动识别系统采用内含隐马尔可夫模型的识别方法，实现对静态(如照片等)和动态(如行人)人脸进行自动识别。该系统具有非接触无损，易于标定人脸图像，识别率高且速度快，工作可靠，易于使用和维护，既可直观显示人脸真彩色图像，又可实时自动识别人脸等优点。可广泛应用于需要进行人脸自动识别的场所，是保障公共安全的有力技术工具。

Description

数字视频人脸自动识别系统

技术领域：

本发明涉及一种数字视频人脸自动识别系统，属机器视觉领域的技术产品。

背景技术：

机器视觉人脸识别技术是利用机器视觉分析人脸图像，从中提取出有效的识别信息，用以辨认身份的一门极富挑战性的技术。人脸识别研究涉及机器视觉、模式识别、神经网络、生理学、解剖学、认知科学等学科。人脸识别的研究始于60年代末[1]，90年代成为科研热点，目前人脸识别大多属于研究课题，还不是实用化领域的活跃课题。人脸识别难度非常大，主要表现在人脸表情丰富，随年龄增长而变化，人脸图像受光照、成像角度及成像距离影响，人脸皮肤之间是平缓过渡很难建立人脸三维模型等。

目前，人脸识别常用的研究方法有：几何特征方法[1]，特征脸方法[2]，SVD分解方法[3]，人脸等密度线分析方法[4]，弹性图匹配方法[5]等。引证文件：

1.W Bledsoe.Man-machine facial recognition.Panoramic Research Inc，Palo

  Alto，CA，1966，Rep PRI：22.

2.Turk M，Pentland A.Face recognition using eigenfaces.In：Proc.of IEEE

  Conf.on CVPR，1991：586-591.

3.Ziquan Hong.Algebraic feature extraction of image for recognition.Pattern

  Recognition，1991，24(3)：211-219.

4.Nakamura O，Mathur S，Minami T.Identification of human faces based on

  isodensity maps.Pattern Recognition，1991，24(3)：263-272.

5.Lades M，Vorbuggen J，Buhman J et al.Distortion invariant object

  recognition in the dynamic link architecture.IEEE Trans.On Computers，

  1991，42(3)：300-311.

6.Lawrence Rabiner，Biing-Hwang Juang. Fundamentals of Speech

  Recognition.Pretice-Hall International，Inc.1993，321-389.

隐马尔可夫模型(Embedded Hidden Markov Models，EHMM)的方法[6]。隐马尔可夫模型是一系列描述信号统计特性的统计模型，它包括一个基本的不可观察的马尔可夫链(Markov Chain)。马尔可夫链包括有限个状态、状态转移概率矩阵和初始状态概率分布。虽然状态是隐藏的(即不可直接观察)，但状态能够根据概率分布(不管是离散还是连续的)产生观察量。

发明内容：

本发明的数字视频人脸自动识别系统提出在人脸识别中采用内含隐马尔可夫模型(Embedded Hidden Markov Models，EHMM)的方法[6]。对于一幅正面的人脸来说，马尔可夫的“状态”包括头发、前额、眼睛、鼻子和嘴巴，这些状态以相同的顺序从上到下出现，即使是图像平面有一定程度的倾斜。因此，这些脸上的特征区域被指定为一个状态，即从上到下的一维连续HMM。如果一维HMM中的每个状态是由HMM表达的，那么这个一维的HMM称为内含的隐马尔可夫模型(EHMM，Embedded HMM)。这样，在一个EHMM中包含了沿一个方向上的一系列超状态(super states)和另一个方向上的一系列内含状态(embedded states)。超状态用来构建一个方向上的二维数据，内含状态用来构建另一个方向上的数据。

本发明的隐马尔可夫模型的组成元素包括：

1.N₀个超状态S₀＝{S_0，i)，1≤i≤N₀；

2.初始超状态分布，П₀＝{π_0，i}，π_0，i是超状态i出现在零时间的概率；

3.超状态转移概率矩阵，A₀＝{α_0，ij)，α_0，ij是超状态i转移到超状态j的概率；

4.内含隐马尔可夫模型Λ，包括

  ●超状态k中的内含状态数目N₁ ^(k)，以及其中的内含状态S₁ ^(k)＝{S_1，i ^(k)}，1≤i≤N₁ ^(k)；

  ●初始状态分布Π₁ ^(k)＝{π_1，i ^(k)}，π_1，i ^(k)是超状态k中的内含状态i出现在零时间的概率；

  ●状态转移概率矩阵A₁ ^(K)＝{a_1，jk ^(k)}，a_1，jk ^(k)是超状态k中的内含状态j转移到内

    含状态k的概率；

5.状态概率矩阵B^(k)＝{b_i ^(k)(O_t0，t1)}，O_t0，t1是图像中t₀行t₁列的观察向量；

令Λ^(k)＝{Π₁ ^(k)，A₁ ^(k)，B^(k)}为定义超状态k的系列参数，则内含马尔可夫模型可以用下式来表示 $\mathrm{\λ}=({\mathrm{\Π}}_0,A_0,\mathrm{\Λ}\},(\mathrm{\Λ}=\{{\mathrm{\Λ}}^{\left(1\right)},{\mathrm{\Λ}}^{\left(2\right)},{\mathrm{\Λ}}^{\left(3\right)},{\mathrm{K\Λ}}^{\left(N_0\right)}\})$

本发明采用由标准的开放式(off-shelf)组件构成硬件配置，结合发明人研究开发的基于内含隐马尔可夫模型识别方法的软件模块，形成一套完整的数字视频人脸自动识别系统，实现对静态(如照片等)和动态(如行人)人脸以机器视觉技术进行实时在线自动识别，同时实现采用并行处理技术对整个系统的软、硬件进行多任务管理。本系统在实时识别人脸的同时，还可以提供实时识别结果存储查询以及实时远程数据交换。

本发明的数字视频人脸自动识别系统的技术方案为：数字视频人脸自动识别系统硬件由视频输入器(1)、图像采集卡(2)、并行处理器(3)和显示屏(4)组成。软件由图像采集模块、分割模块、预处理模块、识别模块、并行处理模块、数据存储查询模块、显示模块、报警模块、远程传输模块组成。

利用机器视觉技术自动识别人脸的数字视频人脸自动识别系统，其实现步骤如下：

1.把视频输入器(1)对准标定视场内的被测照片(静态)或行人(动态)；

2.把视频输入器(1)连接到数字视频人脸自动识别系统的图像采集卡(2)的

  视频输入端；

3.将欲执行人脸检测任务的系统软件程序存入并行处理器(3)的程序存储

  器中；

4.启动系统的并行处理器(3)，CPU按程序初始化系统硬件视频输入器(1)、

  图像采集卡(2)、并行处理器(3)和显示屏(4)，并初始化系统软件，

  同时自动建立标准人脸模板库；

5.并行处理器(3)调用图像采集软件模块控制图像采集卡(2)按系统预先设

  定的或由用户设定的采样周期采集视频输入器(1)视场内的照片(静态)

  或行人(动态)图像；

6.并行处理器(3)调用分割软件模块对采集到内存的照片(静态)或行人(动

  态)图像进行分割处理并提取出人脸图像；

7.并行处理器(3)调用预处理软件模块将提取出的人脸图像进行预处理，消

  除背景噪声；

8.并行处理器(3)调用识别软件模块对预处理后的人脸图像进行识别；

9.如果经过识别的人脸与标准人脸库中的人脸相符，并行处理器(3)调用报

  警软件模块发出声光报警提示信号；

10.并行处理器(3)调用显示软件模块把经过识别的人脸按照最大相似性原

  则显示在显示器(4)上；

11.并行处理器(3)调用数据存储查询软件模块把经过识别的人脸实时存入

  数据库中，供实时或事后排查；

12.并行处理器(3)调用远程传输软件模块把识别结果通过并行处理器(3)上

  的通信端口传输到远程指挥中心；

13.并行处理器(3)调用并行处理软件模块对以上所叙的a至g项的任务进行

  多任务管理以及并行处理，同时控制系统的开始、停止、人工干预和异

  常情况处理。

本发明与现有技术相比具有以下优点：

1.采用以内含隐马尔可夫模型为核心的识别方法以及开放式的硬件体系构

  建数字视频人脸自动识别系统，实现对静态(如照片等)和动态(如行

  人)人脸图像进行实时在线自动识别；

2.基于内含隐马尔可夫模型的识别方法对人脸表情的变化、人脸模式的多

  样性、人脸角度变化、人脸的姿态、光线变化等条件具有一定的不敏感

  性；

3.易于标定人脸图像；

4.采用并行处理机制对整个系统的软、硬件进行多任务管理；

5.本系统在实时识别人脸的同时，还可以提供实时识别结果查询以及实时

  远程数据交换。

6.可实时自动识别人脸同时提供被测人脸直观的真彩色图像；

7.非接触无损；

8.系统既可以独立运行又可以与中心控制室进行远程数据交换；

9.采样周期可人工从毫秒调节到秒、分、时；

10.多种配置的模糊查询功能提供了现场实时查询和事后排查的方便性。

数字视频人脸自动识别系统可广泛应用于安全、公安、军事、海关、银行、宾馆、企业、政府等部门出入口，以及其它行业需要进行人脸自动识别的场所，是保障公共安全的有力技术工具。

附图说明

附图1为数字视频人脸自动识别系统的硬件体系结构框图。

附图2为数字视频人脸自动识别系统的工作原理框图。

附图3为数字视频人脸自动识别系统的软件流程图。

具体实施方式

下面结合附图并以动态(行人)人脸图像识别为实例对本发明作进一步详述：

数字视频动态人脸自动识别系统硬件由视频输入器(1)、图像采集卡(2)、并行处理器(3)和显示屏(4)组成。视频输入器(1)可以是扫描仪、数字相机，也可以是标准速率、非标准速率、线阵、面阵视频模拟或数字摄像机、激光、X光机、声纳或可获取图像的标准器件。图像采集卡(2)是标准模拟或数字图像采集卡，也可以是USB接口的数字摄像机或者是视频编辑卡能与并行处理器(3)内存进行数据交换的软件模块或硬件模块，插接在并行处理器(3)的PCI、ISA或相应的标准结构总线上。并行处理器(3)是具有标准计算机功能的主控设备，含机箱、CPU及其主板、内存、ROM或硬盘、通信口、有源底版等。显示屏(4)是标准计算机兼容的显示器，一般与并行处理器(3)连接安放在一起。软件由图像采集模块、分割模块、预处理模块、识别模块、数据存储查询模块、显示模块、报警模块、远程传输模块组成。

本发明的视频输入器(1)、图像采集卡(2)、并行处理器(3)、显示屏(4)均是可直接购置的标准器件。

数字视频动态人脸自动识别系统可以安装在安全、公安、军事、海关、银行、宾馆、企业、政府等部门行人出入口，或其它行业需要进行人脸自动识的场所，系统视频输入器(1)可采用模拟或数字摄像机，摄像机的安装高度约1至20米。并行处理器(3)一般安装在保安人员值班室或有关人员办公室内，也可安装在室外，但需要进行防水、防尘、防盗等处理。视频输入器(1)与并行处理器(3)的连接如果采用视频电缆，则间距通常不超过300米，采用邮电线路、计算机网络线路、光缆或无线通信连接时，间距可达通信线路长度的物理极限。如果人脸识别结果需要远程传输到指挥中心，则可通过标准的公共通信或专用通信线路连通并行处理器(3)的通信端口和指挥中心的数据连端口即可。

利用机器视觉技术对动态人脸进行自动识别采用下列步骤：

1.把视频输入器(1)对准出入口标定视场内的被测行人；

2.把视频输入器(1)连接到数字视频人脸自动识别系统的图像采集卡(2)的

  视频输入端；

3.将欲执行人脸检测任务的系统软件程序存入并行处理器(3)的程序存储

  器中；

4.启动系统的并行处理器(3)，CPU按程序初始化系统硬件视频输入器(1)、

  图像采集卡(2)、并行处理器(3)和显示屏(4)，并初始化系统软件，

  同时自动建立标准人脸模板库；

5.并行处理器(3)调用图像采集软件模块控制图像采集卡(2)按系统预先设

  定的或由用户设定的采样周期采集视频输入器(1)视场内的行人图像；

6.并行处理器(3)调用分割软件模块对采集到内存的行人图像进行分割处

  理并提取出人脸图像；

7.并行处理器(3)调用预处理软件模块将提取出的人脸图像进行预处理，消

  除背景噪声；

8.并行处理器(3)调用识别软件模块对预处理后的人脸图像进行识别；

9.如果经过识别的人脸与标准人脸库中的人脸相符，并行处理器(3)调用报

  警软件模块发出声光报警提示信号；

10.并行处理器(3)调用显示软件模块把经过识别的人脸按照最大相似性原

  则显示在显示器(4)上；

11.并行处理器(3)调用数据存储查询软件模块把经过识别的人脸实时存入

  数据库中，供事后排查；

12.并行处理器(3)调用远程传输软件模块把识别结果通过并行处理器(3)上

  的通信端口传输到远程指挥中心；

13.并行处理器(3)调用并行处理软件模块对以上所叙的a至g项的任务进行

  多任务管理以及并行处理，同时控制系统的开始、停止、人工干预和异

  常情况处理。

Claims (13)

1. 融合基于内含隐马尔可夫模型的识别方法、机器视觉技术和并行处理技术构成的数字视频人脸自动识别系统，由视频输入器(1)、图像采集卡(2)、并行处理器(3)和显示屏(4)组成，其特征在于数字视频人脸自动识别系统自动识别人脸的实现步骤如下：

   1.把视频输入器(1)对准标定视场内的被测照片(静态)或行人(动态)；
2. 2.把视频输入器(1)连接到数字视频人脸自动识别系统的图像采集卡(2)

     的视频输入端；
3. 3.将欲执行人脸检测任务的系统软件程序存入并行处理器(3)的程序存储

     器中；
4. 4.启动系统的并行处理器(3)，CPU按程序初始化系统硬件视频输入器

     (1)、图像采集卡(2)、并行处理器(3)和显示屏(4)，并初始化系

     统软件，同时自动建立标准人脸模板库；
5. 5.并行处理器(3)调用图像采集软件模块控制图像采集卡(2)按系统预先

     设定的或由用户设定的采样周期采集视频输入器(1)视场内的照片(静

     态)或行人(动态)图像；
6. 6.并行处理器(3)调用分割软件模块对采集到内存的照片(静态)或行人

     (动态)图像进行分割处理并提取出人脸图像；
7. 7.并行处理器(3)调用预处理软件模块将提取出的人脸图像进行预处理，

     消除背景噪声；
8. 8.并行处理器(3)调用识别软件模块对预处理后的人脸图像进行识别；
9. 9.如果经过识别的人脸与标准人脸库中的人脸相符，并行处理器(3)调用

     报警软件模块发出声光报警提示信号；
10. 10.并行处理器(3)调用显示软件模块把经过识别的人脸按照最大相似性原

       则显示在显示器(4)上；
11. 11.并行处理器(3)调用数据存储查询软件模块把经过识别的人脸实时存入

       数据库中，供实时或事后排查；
12. 12.并行处理器(3)调用远程传输软件模块把识别结果通过并行处理器(3)

       上的通信端口传输到远程指挥中心；
13. 13.并行处理器(3)调用并行处理软件模块对以上所叙的a至g项的任务进

       行多任务管理以及并行处理，同时控制系统的开始、停止、人工干预

       和异常情况处理。

Images