CN101196985A - 一种用于复杂背景图像的眼睛定位装置与方法 - Google Patents

Abstract

本发明涉及一种用于复杂背景图像的眼睛定位装置与方法，使用一个定位装置，装置中的数字信号处理器配置有先入先出存储器、同步动态随机存储器、可擦写存储器、复杂可编程逻辑器件、视频解码器、摄像装置、定位算法软件及数据；所述定位的步骤是：启动所述定位装置，将固化在可擦写存储器中的人脸检测、眼睛定位软件装载入数字信号处理器中运行；启动摄像装置采集包含人脸图像的模拟视频信号；该模拟视频信号经视频解码器处理后变成4∶2∶2的YUV格式的数字视频信号；然后将该数字视频信号送入数字信号处理器；数字信号处理器对输入的数字视频信号进行逐帧检测人脸在图像中的位置，并在检测出的人脸图像区域中使用眼睛定位算法进行处理，定位出眼睛位置。

Description

一种用于复杂背景图像的眼睛定位装置与方法

技术领域

本发明涉及一种人脸识别技术领域，特别是一种在复杂背景图像中基于数字信号处理器(Digital Signal Processor，DSP)的眼睛定位装置和方法。

技术背景

眼睛定位是人脸信息处理的一项关键技术，是人脸识别、人脸检索的基础。眼睛定位需要克服光照、尺度、姿态、平面旋转、图像质量等因素给眼睛外观带来变化影响，此外，眼睛定位还需要克服眼睛开闭、眼镜反光、饰物和镜框的遮挡带来的定位困难。

已有技术中公开的眼睛定位算法是基于启发式规则的方法。这类方法主要是根据眼睛的先验知识来制定定位规则。这类方法一般适应外界变化的能力较差，往往只能处理器官的一种或几种变化，稳定性和精度与实际应用有一定差距。因此，需要提出一种新的眼睛定位装置和眼睛定位方法。

发明内容

本发明的目的在于提供一个用于复杂背景图像的眼睛定位装置，该装置中的数字信号处理器(Digital Signal Processor，DSP)匹配有眼睛定位算法软件，可以灵活、精确、稳定、快速进行眼睛定位。

本发明的目的是由下述技术方案实现的：一种用于复杂背景图像的眼睛定位装置，包括一个数字信号处理器，该数字信号处理器配置有先入先出存储器、同步动态随机存储器、可擦写存储器、复杂可编程逻辑器件、定位算法软件及数据；所述数字信号处理器的以太网接口与以太网收发器连接，用于眼睛定位结果输出；所述数字信号处理器的信号输入端连接一个视频解码器，该视频解码器输入端连接摄像装置用于图像数据采集；所述复杂可编程逻辑器件的控制端连接一个视频编码器用于视频输出；所述先入先出存储器与一个通用异步串行收发器、DB9接口依次连接，用于眼睛定位结果输出。

本发明的另一个目的在于提供一种用于复杂背景图像的眼睛定位方法，该方法基于数字信号处理器(DSP)，可以灵活、精确、稳定、快速进行人脸眼睛定位。

本发明的另一个目的是由下述技术方案实现的：一种用于复杂背景图像的眼睛定位方法，使用一个定位装置，该装置包括一个数字信号处理器，该数字信号处理器配置有先入先出存储器、同步动态随机存储器、可擦写存储器、复杂可编程逻辑器件、视频解码器、摄像装置、定位算法软件及数据；所述定位的步骤是：

A、启动所述定位装置，将固化在可擦写存储器中的人脸检测、眼睛定位软件装载入数字信号处理器中运行；

B、启动摄像装置采集包含人脸图像的模拟视频信号；

C、该模拟视频信号经视频解码器处理后变成4:2:2的YUV格式的数字视频信号；然后将该数字视频信号送入数字信号处理器；

D、数字信号处理器对输入的数字视频信号进行逐帧检测人脸在图像中的位置，并在检测出的人脸图像区域中使用眼睛定位算法进行处理，定位出眼睛位置，眼睛定位的结果通过以太网络输出到计算机上作进一步处理。

所述眼睛定位算法的步骤是：

E、利用输入人脸图像在竖直方向投影的均值、方差函数比值来计算左、右眼睛可能存在的区域；

F、在左、右眼睛可能存在的两个区域中穷举判断所有的矩形区域小图像，定义为小窗口，对每个小窗口抽取微结构特征，然后利用单只眼睛检测器对该小窗口进行判断，判断其是否是可能的眼睛位置，从而得到可能的眼睛候选位置；

G、利用眼睛对分类器从眼睛候选位置中验证每一对可能的眼睛对候选，根据后验概率从所有候选眼睛对中选择后验概率最大的眼睛候选对，将该眼睛候选对作为双眼的最佳位置，从而定位出双眼在人脸区域的坐标位置。

本发明与已有技术相比具有如下优点：

1、本发明的眼睛定位装置内固化有眼睛定位算法软件，构成人脸眼睛定位系统，该系统具有灵活、精确、稳定性好、抗干扰强、速度快等突出优点。

2、本发明的眼睛定位方法可以在数字信号处理器DSP上鲁棒地、高速地实现复杂背景图像下的眼睛定位。

附图说明

以下结合附图及实施例对本发明作进一步说明。

图1、本发明的眼睛定位装置原理图

图2、本发明的眼睛定位方法的流程图

图3、本发明的微结构模板示意图

图4、本发明的眼睛定位装置的一个实施例

具体实施方式

实施例一：

参见图1、图4，用于复杂背景图像的眼睛定位装置，包括一个数字信号处理器2(Digital Signal Processor，DSP，其型号是TMS320DM642)，该数字信号处理器配置有先入先出存储器5(First In First Out，FIFO，其型号是16C550)、同步动态随机存储器3(SDRAM，其型号是MT48LC8M32)、可擦写存储器4(FLASH，其型号是AM29LV160DB)、复杂可编程逻辑器件8(CPLD，其型号是XC9536XL)；所述数字信号处理器的以太网接口(EMAC)与以太网收发器7(Ethernet Transceiver，其型号是DP83846)连接，实现了RJ45以太网络接口，可以将眼睛定位结果通过以太网络实现网络输出；所述数字信号处理器的信号输入端连接一个视频解码器1(Video decoder，其型号是TVP5150)，该视频解码器的视频输入端可连接摄像装置用于图像数据采集；所述复杂可编程逻辑器件的控制端连接一个视频编码器9(Video enoder，其型号是SAA7105)用于视频输出；所述先入先出存储器与一个通用异步串行收发器6(UART，其型号是MAX3243)、DB9接口依次连接，眼睛定位结果也可以RS232串口协议形式从DB9接口输出。

本实施例中，所述的眼睛定位装置匹配有眼睛定位算法软件及数据，该软件及数据存放在可擦写存储器中，该软件及数据包括单只眼睛检测器、眼睛对分类器，眼睛定位算法所需要的常数、眼睛检测器参数及眼睛对分类器参数。可擦写存储器中还存放DSP程序代码。

本实施例中，所述的摄像装置可以是摄像头、数码相机、数字摄像机中的一种。所述的摄像装置还可以是能够采集模拟视频信号的电子器件。

参见图4，本发明的眼睛定位装置的左面连接摄像头10，本发明的眼睛定位装置的右面连接台式计算机11。

本实施例中的数字信号处理器是一种特别适合于进行数字信号处理运算的微处理器，该微处理器是美国德州仪器(Texas Instruments，Ti)公司生产的专用高性能多媒体处理器，其主要应用是实时快速地实现各种数字信号处理算法。基于这种数字信号处理器设计的软件系统具有灵活、精确、稳定性好、抗干扰强、设备尺寸小、造价低、速度快等突出优点，非常适用于场地受限、稳定性要求高的应用领域。

本发明的工作原理如下：输入的模拟视频信号经过视频解码器处理后量化成4:2:2的YUV数字视频信号；送入数字信号处理器处理并进行眼睛定位；一方面，处理后的数字视频信号通过视频编码器变成PAL格式的模拟视频信号以便显示器或液晶电视等设备显示；另一方面，数字信号处理器通过其本身所具有的以太网接口与以太网收发器连接，实现了RJ45以太网络接口，可以将眼睛定位结果通过以太网输出；眼睛定位结果也可以以RS232串口协议从DB9接口输出；复杂可编程逻辑器件则对视频编码器、视频解码器和数字信号处理器实现同步复位、片选和读写操作等方面的控制；同步动态随机存储器用于眼睛定位算法运行提供内存支持。

对一张检测到的人脸图像，本发明首先利用输入人脸图像在竖直方向投影的均值、方差函数比值来计算左右眼睛可能存在的区域；然后在两个区域中穷举判断所有的矩形区域小图像(定义为小窗口)，对每个小窗口抽取微结构特征，然后利用AdaBoost算法训练得到的单只眼睛检测器对该小窗口进行判断，判断其是否是可能的人眼位置，从而得到可能的人眼候选位置；然后利用眼睛对分类器从人眼候选位置中验证每一对可能的眼睛对候选，根据后验概率从所有候选眼睛对中估计出双眼的最佳位置，从而定位出双眼在人脸区域的坐标位置。当系统上电后，引导程序将可擦写存储器(又称为Flash闪存)中的程序代码加载入数字信号处理器中运行，而常数、眼睛检测器参数及眼睛对分类器参数则加载到系统的RAM中。当有数字视频信号输入时，数字信号处理器就开始逐帧检测人脸。只要在某一帧检测到人脸区域，数字信号处理器就利用上述算法定位眼睛位置。

实施例二：

参见图2，一种用于复杂背景图像的眼睛定位方法，使用实施例一公开的定位装置，该装置包括一个数字信号处理器，该数字信号处理器配置有先入先出存储器、同步动态随机存储器、可擦写存储器、复杂可编程逻辑器件、视频解码器、摄像装置、定位算法软件及数据；所述定位的步骤是：

A、启动所述定位装置，将固化在可擦写存储器中的人脸检测、眼睛定位软件装载入数字信号处理器中运行；该软件及数据包括单只眼睛检测器、眼睛对分类器，眼睛定位算法所需要的常数、眼睛检测器参数及眼睛对分类器参数；

B、启动摄像装置采集包含人脸图像的模拟视频信号；

C、该模拟视频信号经视频解码器处理后变成4:2:2的YUV格式的数字视频信号；然后将该数字视频信号送入数字信号处理器；

D、数字信号处理器对输入的数字视频信号进行逐帧检测人脸在图像中的位置，并在检测出的人脸图像区域中使用眼睛定位算法进行处理，定位出眼睛位置，眼睛定位的结果通过以太网络输出到计算机上作进一步处理。

所述眼睛定位算法的步骤是：

E、利用输入人脸图像在竖直方向投影的均值、方差函数比值来计算左、右眼睛可能存在的区域；

F、在左、右眼睛可能存在的两个区域中穷举判断所有的矩形区域小图像，定义为小窗口，对每个小窗口抽取微结构特征，然后利用单只眼睛检测器对该小窗口进行判断，判断其是否是可能的眼睛位置，从而得到可能的眼睛候选位置；

G、利用眼睛对分类器从眼睛候选位置中验证每一对可能的眼睛对候选，根据后验概率从所有候选眼睛对中选择后验概率最大的眼睛候选对，将该眼睛候选对作为双眼的最佳位置，从而定位出双眼在人脸区域的坐标位置。

本实施例中，计算左、右眼睛所在矩形区域的方式如下：

将输入的人脸图像在竖直方向投影，得到投影直方图，计算竖直方向投影直方图的均值函数和方差函数，利用均值函数和方差函数的比值的峰值来确定左眼矩形区域与右眼矩形区域在竖直方向上的分界线；然后根据统计到的眼睛在人脸区域竖直方向上的分布规律，确定左、右眼区域的上下边界，从而确定左、右眼睛所在的矩形区域。所述的统计到的眼睛在人脸区域竖直方向上的分布规律可以是预先统计出来的数据。

利用单只眼睛检测器在左眼睛矩形区域检测左眼睛候选位置的算法如下：

在左眼睛所在矩形区域内穷举搜索每个24×12像素大小的小窗口(或者称为小图像)，在该小窗口里利用图3所示的(a、b、c、d、e)5种类型的微结构模板来提取微结构特征，每一种微结构特征通过计算微结构模板所覆盖小图像中黑色区域和白色区域内像素灰度和的差值而得到，并且微结构模板相对于该小窗口的位置及该微结构模板的尺寸(即图3中的a、b、c、d中的W和H及e中的W₁、H₁、W₂和H₂)可以改变，共得到42727个微结构特征。将这些微结构特征利用该小窗口的均值和方差归一化，然后送入利用AdaBoost算法设计的单只眼睛检测器进行分类判别，如果通过单只眼睛检测器的判断，则认为该小窗口包含一个眼睛候选，输出其位置和其置信度，否则认为该小窗口不含眼睛候选。

根据候选置信度从大到小的顺序输出最多前20个左眼睛候选位置。

利用单只眼睛检测器在右眼睛矩形区域检测右眼睛候选位置的算法与上述的在左眼睛矩形区域检测左眼睛候选位置的算法相同，经过计算得出结果。

根据候选置信度从大到小的顺序输出最多前20个右眼睛候选位置。

利用眼睛对分类器验证眼睛候选对的算法如下：

为了排除眼睛候选中的误检测和不精确的定位结果，先将左右眼睛候选两两配对，得到眼睛对所在区域，并将每对眼睛对所在区域归一化成25×15像素大小的眼睛候选对图像，在该归一化图像里利用图3所示的5种类型的微结构模板来提取微结构特征，每一种微结构特征通过计算微结构模板所覆盖图像中黑色区域和白色区域内像素灰度和的差值而得到，并且微结构模板相对于该区域的位置及该模板的尺寸(即图3中的a、b、c、d中的W和H及e中的W₁、H₁、W₂和H₂)可以改变，共得到71210个微结构特征。将这些微结构特征利用该归一化图像的均值和方差归一化，然后送入利用AdaBoost算法设计的眼睛对分类器进行分类判别，如果通过眼睛对分类器的判断，则认为该候选对包含一个眼睛候选，输出其位置和其置信度，否则认为该候选对不含眼睛候选。

对所有通过判断的候选对按置信度从大到小排序，取置信度最大的前3对候选的平均位置作为眼睛的中心位置，取置信度最大的候选对的置信度值作为最后眼睛定位的置信度，输出眼睛位置和置信度。

本发明的特点在于，首先在输入的人脸图像中计算人眼可能存在的矩形区域，然后在每只眼睛的矩形区域内利用Adaboost算法训练的单眼睛分类器穷举搜索可能的单眼睛候选位置，然后将左右眼睛两两配对得到眼睛对所在区域，将该区域进行适当的尺度归一化和灰度均衡化，以消除因光照和尺寸的不同造成的影响，然后将这些候选对图像区域送入由Adaboost算法训练而成的具有极低误检率和低误接受率的眼睛对分类器中进行分类识别，从候选对中得到精确的眼睛位置和置信度。

实施例三：

本发明应用于人脸识别考勤管理系统的实例。人脸包含丰富的信息，人与人之间通过人脸来辨别身份、感知情绪、判断性别和估计年龄。人脸自然成为人与计算机交互的最便捷方式之一。人脸认证就是利用人脸图像进行计算机自动个人身份认证，以代替传统的密码、证件、印章等身份认证方式，是一种基于生理特征的身份认证方法，具有不易伪造、不会丢失和方便快捷的特点。本系统从眼睛定位装置的以太网络输出接收数字视频信号及人眼定位结果，然后送入人脸认证核心进行认证，从而实现考勤管理功能。本系统可以有效杜绝代打考勤事件的发生，体现了现代考勤管理制度的公正性和高效性。

实施例四：

本发明应用于人脸黑名单监控系统的实例。在人群中识别目标人员一直以来都是一项耗时耗力且具有挑战性的工作，人脸黑名单监控系统就是利用人脸识别技术对目标人群进行识别和监控。本系统从眼睛定位装置的以太网络输出接收视频流及人眼定位结果，然后送入人脸识别核心进行识别，当视频流中的可疑人与黑名单中预设的犯罪分子相吻合时，系统就可以实时报警。

Claims (5)

1.一种用于复杂背景图像的眼睛定位装置，其特征在于：包括一个数字信号处理器(2)，该数字信号处理器配置有先入先出存储器(5)、同步动态随机存储器(3)、可擦写存储器(4)、复杂可编程逻辑器件(8)、定位算法软件及数据；所述数字信号处理器的以太网接口与以太网收发器(7)连接，用于眼睛定位结果输出；所述数字信号处理器的信号输入端连接一个视频解码器，该视频解码器输入端连接摄像装置用于图像数据采集；所述复杂可编程逻辑器件的控制端连接一个视频编码器用于视频输出；所述先入先出存储器与一个通用异步串行收发器(6)、DB9接口依次连接，用于眼睛定位结果输出。

2.根据权利要求1所述的用于复杂背景图像的眼睛定位装置，其特征在于：所述的摄像装置可以是摄像头、数码相机、数字摄像机的一种。

3.根据权利要求1所述的用于复杂背景图像的眼睛定位装置，其特征在于：所述的摄像装置是可以采集模拟视频信号的器件。

4.一种用于复杂背景图像的眼睛定位方法，其特征在于：使用一个定位装置，该装置包括一个数字信号处理器，该数字信号处理器配置有先入先出存储器、同步动态随机存储器、可擦写存储器、复杂可编程逻辑器件、视频解码器、摄像装置、定位算法软件及数据；所述定位的步骤是：

A、启动所述定位装置，将固化在可擦写存储器中的人脸检测、眼睛定位软件装载入数字信号处理器中运行；

B、启动摄像装置采集包含人脸图像的模拟视频信号；

C、该模拟视频信号经视频解码器处理后变成4:2:2的YUV格式的数字视频信号；然后将该数字视频信号送入数字信号处理器；

D、数字信号处理器对输入的数字视频信号进行逐帧检测人脸在图像中的位置，并在检测出的人脸图像区域中使用眼睛定位算法进行处理，定位出眼睛位置，眼睛定位的结果通过以太网络输出到计算机上作进一步处理。

5.根据权利要求4所述的眼睛定位方法，其特征在于：所述眼睛定位算法的步骤是：

E、利用输入人脸图像在竖直方向投影的均值、方差函数比值来计算左、右眼睛可能存在的区域；

F、在左、右眼睛可能存在的两个区域中穷举判断所有的矩形区域小图像，定义为小窗口，对每个小窗口抽取微结构特征，然后利用单只眼睛检测器对该小窗口进行判断，判断其是否是可能的眼睛位置，从而得到可能的眼睛候选位置；

G、利用眼睛对分类器从眼睛候选位置中验证每一对可能的眼睛对候选，根据后验概率从所有候选眼睛对中选择后验概率最大的眼睛候选对，将该眼睛候选对作为双眼的最佳位置，从而定位出双眼在人脸区域的坐标位置。

Images