CN103106393A - 一种基于机器人平台的嵌入式人脸识别智能身份认证系统 - Google Patents

Abstract

本发明提供了一种基于机器人平台的嵌入式人脸识别智能身份认证系统，是一种采用人脸一些独特生物特征对人身份进行认证的技术，其具有两大功能：人脸注册和人脸比对。人脸注册包括人脸采集、人脸图像预处理、特征点提取、特征模板存储和输出显示，在嵌入式系统的监控应用结构中，前端采用模拟摄像机，经A/D转换由高速DSP进行算法处理，通过对外接FIFO和SDRAM等接口实现高速图像分割和识别算法，通过网络视频编码器，将模拟视频经过数字化、压缩、打包等过程，数据压缩后通过网络进行传输给视频需求者输出显示。人脸比对与人脸注册不同在于特征点提取后将特征模板与人脸特征模板库中的特征模板进行匹配，最后输出匹配结果。

Description

一种基于机器人平台的嵌入式人脸识别智能身份认证系统

技术领域

本发明涉及图像处理和人脸识别技术领域，更具体地说，本发明涉及一种利用人脸识别相机实现人脸注册和人脸比对的嵌入式智能身份认证系统。

背景技术

近年来，计算机图像技术的应用范围越来越广，利用计算机、图象处理、模式识别等技术实现身份验证也越来越成为当前模式识别和人工智能领域的一个研究热点，人脸识别主要应用于公安(罪犯识别等)、出入境验证、机场安检、安全验证系统、信用卡验证等方面。人脸识别系统作为一项先进的高科技技术防范和验证手段，在一些经济发达的国家和地区已经广泛应用于科研、工业、博物馆、酒店、商场、医疗监护、银行、监狱等高安全性要求的重要场所，具有广阔的应用前景。

由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。人的指纹、掌纹、眼虹膜、脱氧核糖核酸(DNA)以及人脸相貌等人体特征具有人体所固有的不可复制的唯一性、稳定性，无法复制，失窃或被遗忘。由于每个人的这些特征都不相同，因此利用人体的这些独特的生理特征可以准确地识别每个人的身份，目前已有的人体生物识别方法包括人脸识别、指纹识别、声音识别、掌形识别、签名识别、眼虹膜、视网膜识别等。其中，利用人脸特征进行身份验证又是最自然直接的手段，相比其它人体生物特征，它具有直接、友好、方便的特点，更易于为用户所接受，因此备受关注。

嵌入式人脸智能识别主要涉及摄像机标定、物体识别、运动分割与跟踪、图像数据处理、高层语义理解等内容，是计算机视觉领域的前沿研究方向。它具有广泛的应用前景及巨大的潜在经济价值，已引起了许多科研机构及研究人员的浓厚兴趣。例如，英国科学家正在开发“智能”识别新技术，这一技术有望使未来的闭路电视监视器不仅可自动识别扒手和盗车贼，而且还会预报地铁或机场内可能发生的行凶抢劫或恐怖活动；H.J.Zhang等提出了基于帧间直方图差的智能监控镜头分割算法，因为其算法复杂度低，镜头分割效果好，成为目前大受欢迎的方法；在国内，中国科学院自动化研究所、清华大学、和中国科学院计算所等都加强了相关的研究。

嵌入式人脸智能识别系统具有人脸获取直接隐蔽、人脸特征信息编码数据量小、识别速度快、识别准确率高、拒识率低、甄别简便、安全性高、使用条件简单等优点，是一种直接、方便、容易被人们接受的非侵犯性身份认证方法。

发明内容

本发明提供了一种嵌入式人脸识别智能身份认证系统，是一种采用人脸的一些独特生物特征对人身份进行智能识别的身份认证技术。本发明有两大功能：人脸注册和人脸比对。人脸注册主要包括人脸采集、人脸图像预处理、特征点提取、特征模板存储和输出显示，在基于嵌入式系统的监控应用结构中，前端采用模拟摄像机，经过A/D转换，由高速DSP进行算法处理，通过对外接FIFO和SDRAM等接口，实现高速图像分割和识别算法，通过网络视频编码器，将模拟视频经过数字化、压缩、打包等过程，经过数据压缩通过网络进行传输，发送到视频需求者输出显示。人脸比对的前三步与人脸注册相同，但在特征点提取后是将生成的特征模板与存储在人脸特征模板库中的特征模板进行特征匹配，最后输出显示匹配结果。

本发明的另一目的在于提供一种有效、快速、便捷的背景、环境建模方法，实现运动载台下的实时目标跟踪和24小时监控数据融合夜间视频增强可视化和24小时监控下夜间运动目标的检测与跟踪。

本发明的另一目的在于提供一种可行的可见光图像与热红外图像的融合方法，实现遮挡情况下多目标跟踪和对象重叠与分离检测。

本发明的另一目的在于提供一种基于机器人平台的人脸识别系统，实现同一个摄像头可以对不同角度的检测。

本发明的另一目的在于利用单摄像头实现主从视频跟踪，实现在对象色彩形状相似和对象空间位置靠近情况下的对象强互遮挡后分离，达到长时间遮挡情况下多目标跟踪。

本发明的另一目的在于提供一种远距离的身份识别模块，实现监控系统中的脸像、步态、体形特征的身份识别，和他们相融合的身份识别。

本发明的另一目的在于提供一种基于DSP的CCD/CMOS监控图像采集设计方案，可以首次实现监控状态下的CCD/CMOS摄像头控制。

为实现上述目的，本发明拟对采集的人脸图像进行分割与处理，通过给特定目标区域作标记，实现人脸特征模板提取，最后通过视频压缩算法，通过网络和视频服务器连接。整个研究大致分四个步骤：

步骤一：图像预处理模块，主要包括滤波处理和图像分割。

滤波处理可以减少光和影的变化对运动目标识别的影响，使系统差分图像的阈值降低，这样更能保留更多的图像细节，使系统对多个目标的识别，定位更加准确，增强整个系统的鲁棒性。滤波的方法可以采用频域和空域的滤波方法。图像分割主要是将图像分成若干个有意义的区域的处理技术。图像分割算法可以基于边缘的和基于区域。

步骤二：自动聚焦模块。

自动聚焦模块，通过边缘检测技术提取图像的边缘点，统计边缘点的数目，当边缘点的数目达到最大值的时候，图像的细节体现的最丰富，即可认为此时的图像最清晰，聚焦完成。

步骤三：图像采集控制模块和自动聚焦模块。

图像采集控制模块和自动聚焦模块，自主研发设计CCD/CMOS芯片和DSP数据处理设计，控制曝光时间和采样触发时间。并通过边缘检测技术提取图像的边缘点，统计边缘点的数目，当边缘点的数目达到最大值的时候，图像的细节体现的最丰富，即可认为此时的图像最清晰，聚焦完成。

步骤四：数据压缩和传输模块。

数据压缩和传输模块。数据压缩采用目前国际视频编码标准，如ITU制定的H.261，H.263，H.264和ISO制定的MPEG-1，MPEG-2，MPEG-4，H.263/H.264等基于运动估计与运动补偿的帧间压缩方案。

步骤五：接口控制模块。

为适应相关领域的需要，拟开发的嵌入式系统需提供标准接口模块。目前你提供的模块主要有：摄像头驱动模块，标准串口RS232，RS485模块(用来控制普通电子锁)，Weigand和Mifare驱动模块(用来控制国际通用标准电磁锁)，网络接口(和相关控制中心联系)等。

本发明的优点在于提出一种有效、快速、便捷的背景、环境建模方法，实现运动载台下的实时目标跟踪和24小时监控数据融合夜间视频增强可视化和24小时监控下夜间运动目标的检测与跟踪。

本发明的优点在于提出一种可行的可见光图像与热红外图像的融合方法，实现遮挡情况下多目标跟踪和对象重叠与分离检测。

本发明的优点在于人脸识别与机器人技术结合，实现多角度自动人脸检测。

本发明的优点在于利用单摄像头实现主从视频跟踪，实现在对象色彩形状相似和对象空间位置靠近情况下的对象强互遮挡后分离，达到长时间遮挡情况下多目标跟踪。

本发明的优点在于远距离的身份识别模块，实现监控系统中的脸像、步态、体形特征的身份识别，和他们相融合的身份识别。

本发明的优点在于提出基DSP的CCD/CMOS监控图像采集设计方案，可以首次实现监控状态下的CCD/CMOS摄像头控制。

附图说明

图1是本发明嵌入式人脸识别智能身份认证系统示意图。

图2是本发明基于机器人平台的人脸智能捕捉摄像头示意图。

图3是本发明DSP监控系统示意图。

图4是本发明人脸识别系统业务流程图。

图5是本发明顾客人脸识别流程图。

图6是本发明人脸识别软件接口列表图。

图7是本发明人脸捕捉效果图。

图8是本发明在机器人平台下人脸识别系统多目标捕捉图。

具体实施方式

下面将结合附图对本发明做进一步的详细说明。

参见图1所示，嵌入式人脸识别智能身份认证系统主要具有两大功能：人脸注册和人脸比对，包括：人脸采集1，本发明利用摄像头对人脸进行采集；DSP监控系统2，主要功能是人脸图像预处理、特征点提取、算法处理等；数据处理3，通过对外接FIFO和SDRAM等接口，实现高速图像分割和识别算法；视频服务系统4，图像通过网络视频编码器，将模拟视频经过数字化、压缩、打包等过程，经过数据压缩通过网络进行传输，发送到视频需求者输出显示。人脸比对与人脸注册的不同之处在于数据处理3部分，人脸比对在特征点提取后是将生成的特征模板与存储在人脸特征模板库中的特征模板进行特征匹配，最后输出匹配结果。

参见图2所示，本发明的一大特点是将机器人平台作为摄像头的载体对人脸进行拍摄捕捉，机器人摄像捕捉平台包括：摄像装置11、环形主动光源12、Y向旋转台13、X向旋转平台14、机器人底座15。在对人脸进行摄像捕捉时，摄像头会自动对准人的脸部，获取人脸信息。为了扩大捕捉区域，机器人具有X和Y两个旋转方向的自由度。当X向旋转平台14旋转一周时，摄像头可以捕捉四周的人脸信息；当Y向旋转平台13再进行旋转时，摄像头可以捕捉所有方向的人脸信息。

参见图3所示，DSP监控系统2包括：DSP数据处理单元21、I/O输入输出部分22、动态存储部分23、数据库和数据模板存储24、图像采集器CAMERA25、通信部分26。

嵌入式系统的核心是嵌入式微处理器：DSP数据处理单元21，其具备4个特点：(1)对实时和多任务有很强的支持能力，能完成多任务并且有较短的中断响应时间，从而使内部的代码和实时操作系统的执行时间减少到最低限度；(2)具有功能很强的存储区保护功能，这是由于嵌入式系统的软件结构已模块化，而为了避免在软件模块之间出现错误的交叉作用，需要设计强大的存储区保护功能，同时也有利于软件诊断；(3)可扩展的处理器结构，以能迅速地扩展出满足应用的高性能的嵌入式微处理器；(4)嵌入式微处理器的功耗必须很低，尤其是用于便携式的无线及移动的计算和通信设备中靠电池供电的嵌入式系统更是如此，功耗只能为mW甚至μW级。

在工作时，由图像采集器CAMERA25接收摄像头采集的人脸图像，通过I/O输入输出部分22对处理单元进行I/O控制，动态存储部分23存储捕捉的人脸信息，数据库和数据模板存储24提供人脸对比信息，通信部分26承担嵌入式微处理器与外部的通信。I/O输入输出部分22、动态存储部分23、数据库和数据模板存储24、图像采集器CAMERA25、通信部分26与DSP数据处理单元21之间都是双向通信方式。

参见图1所示，DSP视频监控系统通过对外接FIFO和SDRAM等接口，实现高速图像分割和识别算法。

参见图1所示，图像通过网络视频编码器，经过数据压缩通过网络进行传输，发送到视频需求者输出显示。

实施方式一：客流人脸信息识别

参见图4所示，本发明可以利用基于机器人平台的摄像头及图像采集卡获得的视频数据，对视频图像中静止或行走的不同姿态的行人进行检测和跟踪，可以获得指定时段和指定区域内的人流量，同时，对采集到的人脸进行特征提取分析，进一步推断统计出各性别及年龄段，从而使客流的数据更加精确、细化。

一体机循环播放广告(没感应到顾客时)51；当顾客经过(5米内)，人脸识别软件截取顾客头像图片，并向后台发送数据52；过渡动画，吸引顾客走近53；顾客驻留在一体机前(2米内)，人脸识别软件判断顾客的年龄和性别，并向后台发送数据54；智能推荐商品55；顾客离开，人脸识别系统向后台发送数据56。然后循环此过程。详细流程参见图5所示。

第一步，当顾客还没有接近机器人摄像头时，互动广告系统播放广告吸引顾客，人脸识别软件初始化参数601，包括：监听事件结果的返回频率、人脸检测像素范围、摄像头视角范围、顾客关注度等。

第二步，输入摄像头捕捉顾客距离参数，注册获取客户列表的事件602。

第三步，顾客靠近感应区(假定距离为5米)，摄像头开始捕捉获取顾客的人脸信息603。

第四步，循环触发事件604。

第五步，返回客户列表605。

第六步，分析摄像头捕捉的人脸信息，确定优先客户606。

第七部，抓取客户头像607。

第八步，抓取优先客户头像608。

第九步，返回照片流609。

第十步，优先客户靠近体验区(假定距离为2米)610。

第十一步，再次返回客户列表611。

第十二步，判断进入体验区612。

第十三步，分析顾客年龄613。

第十四步，分析顾客性别614。

第十五步，后序逻辑处理615。

人脸识别软件对顾客进行实时检测，每条顾客信息中应包括以下属性：

人脸识别软件接口列表如图6所示。身份认证系统捕捉人脸信息效果如图7所示。

实施方式二：多目标人脸信息识别

本发明利用摄像头或原有的监控摄像头及图像采集卡获得的视频数据，对视频图像中静止或行走的不同姿态的行人进行检测和跟踪，可以获得指定时段和指定区域内的人流量，同时，对采集到的人脸进行特征提取分析，进一步推断统计出各性别及年龄段，从而使客流的数据更加精确、细化，效果参见图8所示。

以上所述仅为本发明的几种具体实施例，以上实施例仅用于对本发明的技术方案和发明构思做说明而非限制本发明的权利要求范围。凡本技术领域中技术人员在本专利的发明构思基础上结合现有技术，通过逻辑分析、推理或有限实验可以得到的其他技术方案，也应该被认为落在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于机器人平台的嵌入式人脸识别智能身份认证系统，其特征在于，是一种以机器人为检测平台，采用人脸的一些独特生物特征对人身份进行智能识别的身份认证技术。

2.根据权利要求1所述的身份认证系统，其特征在于，所述系统的两大功能是：人脸注册和人脸比对，脸注册主要包括人脸采集、人脸图像预处理、特征点提取、特征模板存储和输出显示，在基于嵌入式系统的监控应用结构中，前端采用模拟摄像机，经过A/D转换，由高速DSP进行算法处理，通过对外接FIFO和SDRAM等接口，实现高速图像分割和识别算法，通过网络视频编码器，将模拟视频经过数字化、压缩、打包等过程，经过数据压缩通过网络进行传输，发送到视频需求者输出显示；人脸比对的前三步与人脸注册相同，但在特征点提取后是将生成的特征模板与存储在人脸特征模板库中的特征模板进行特征匹配，最后输出显示匹配结果。

3.根据权利要求1所述的身份认证系统，其特征在于，提供一种基于机器人平台的人脸识别系统，实现同一个摄像头可以对不同角度的检测，机器人摄像捕捉平台包括：摄像装置、环形主动光源、Y向旋转台、X向旋转平台、机器人底座；对人脸进行摄像捕捉时，摄像头会自动对准人的脸部，获取人脸信息；为了扩大捕捉区域，机器人具有X和Y两个旋转方向的自由度，当X向旋转平台旋转一周时，摄像头可以捕捉四周的人脸信息，当Y向旋转平台再进行旋转时，摄像头可以捕捉所有方向的人脸信息。

4.根据权利要求1所述的身份认证系统，其特征在于，利用单摄像头实现主从视频跟踪，实现在对象色彩形状相似和对象空间位置靠近情况下的对象强互遮挡后分离，达到长时间遮挡情况下多目标跟踪。

5.根据权利要求1所述的身份认证系统，其特征在于，提供一种远距离的身份识别模块，实现监控系统中的脸像、步态、体形特征的身份识别，和他们相融合的身份识别；同时提供一种可行的可见光图像与热红外图像的融合方法，实现遮挡情况下多目标跟踪和对象重叠与分离检测。

6.根据权利要求1所述的身份认证系统，其特征在于，提供一种基于DSP的CCD/CMOS监控图像采集设计方案，可以首次实现监控状态下的CCD/CMOS摄像头控制。

7.根据权利要求6所述的DSP监控系统，其特征在于，其包括DSP数据处理单元、I/O输入输出部分、动态存储部分、数据库和数据模板存储、图像采集器CAMERA、通信部分。

8.根据权利要求6所述的DSP监控系统，其特征在于，其在工作时，由图像采集器CAMERA接收摄像头采集的人脸图像，通过I/O输入输出部分对处理单元进行I/O控制，动态存储部分存储捕捉的人脸信息，数据库和数据模板存储提供人脸对比信息，通信部分承担嵌入式微处理器与外部的通信，I/O输入输出部分、动态存储部分、数据库和数据模板存储、图像采集器CAMERA、通信部分与DSP数据处理单元之间都是双向通信方式。

9.根据权利要求6所述的DSP监控系统，其特征在于，其通过对外接FIFO和SDRAM等接口，实现高速图像分割和识别算法，图像通过网络视频编码器，经过数据压缩通过网络进行传输，发送到视频需求者输出显示。

10.根据权利要求1所述的身份认证系统，其特征在于，所述系统拟对采集的人脸图像进行分割与处理，通过给特定目标区域作标记，实现人脸特征模板提取，最后通过视频压缩算法，通过网络和视频服务器连接，整个研究大致分五个模块：

模块一：图像预处理模块，主要包括滤波处理和图像分割；

模块二：自动聚焦模块；

模块三：图像采集控制模块和自动聚焦模块；

模块四：数据压缩和传输模块；

模块五：接口控制模块。

Images