CN1801181A - 人脸与车牌自动识别机器人 - Google Patents

Abstract

本发明公开了一种在实际环境中，实时和准确地识别出活动的人脸与车牌号码的机器人；该机器人包括2个用于获取活动的人脸与车牌图像的CMOS彩色摄像机和1块图像处理板以及1台个人计算机、用于追踪活动的人脸与车牌的5自由度双眼立体视觉装置、5个直流伺服电机和1个直流伺服驱动器以及1块数据采集卡、通过与人脸样本图像库比对识别人脸的人脸识别系统、用于识别车牌号码的车牌识别系统，还包括指纹识别装置，声音识别装置。本发明适用于刑事侦察、出入境关口、军事要地的人员与车辆实时监控，政府机关和住宅小区进出口安全检查、停车场所和公路收费站收费管理等领域。

Description

人脸与车牌自动识别机器人

技术领域

本发明涉及图像识别机器人，具体是一种人脸与车牌自动识别机器人。

背景技术

目前，人脸自动识别研究大多是在一个固定或者标准的人脸图像库上进行的。比如，英国剑桥大学采用ORL标准人脸图像库、美国Yale大学采用标准人脸图像库、US Army采用FERET人脸图像库、Umist实验室采用多姿态标准人脸图像库进行人脸自动识别研究。标准人脸图像库提供的人脸特征参数处于静止和稳定的状态，一旦建立了就不会改变。但是在实际应用时，由于人脸通常处于活动状态，因此采用标准人脸图像库进行识别，其识别率低下。

对于活动的人脸自动识别问题，现在多数研究只是在摄像机处于静止状态下对活动的人脸进行识别，摄像机拍摄活动的人脸角度和范围都非常有限。并且这些研究通常只采用单个摄像机对活动的人脸进行识别，因而准确率较低。

此外，目前对车牌号码的自动识别研究，现有的识别技术还不能很好地识别出不完整或者倾斜以及模糊的车牌字符。

发明内容

本发明克服了现有技术的不足，提供了一种活动的人脸与车牌自动识别机器人，它能够在刑事侦察，出入境关口、军事要地、政府机关、住宅小区、停车场所、公路收费站等场合对来往的人员与车辆进行监控，实时、准确、自动地识别出有关的人员与车辆，识别范围宽。

为了解决上述技术问题，本发明的人脸与车牌自动识别机器人包括：

图像输入装置，通过2个CMOS彩色摄像机和1块图像处理板来捕获和预处理活动的人脸与车牌图像；

图像追踪装置，通过5自由度双眼立体视觉装置、5个直流伺服电机和1个直流伺服驱动器以及1块数据采集卡来控制2个CMOS彩色摄像机追踪活动的人脸与车牌；

人脸识别系统，通过与人脸样本图像库进行比对识别出人脸。所述人脸识别系统由使用嵌入式隐马尔可夫(E-HMM)建模方法提取待识别人脸(前额、眼睛、鼻子、嘴、下巴)特征的特征提取部分、通过双向嵌入式算法比较待识别人脸图像与人脸样本图像E-HMM参数的最匹配概率识别部分、通过比较待识别人脸图像与人脸样本图像欧式距离的算法、以及更新人脸样本图像库的人脸数据更新部分构成；

车牌识别系统，用于识别出车牌号码。所述车牌识别系统由将车牌图像转换为灰度图像的车牌图像预处理部分、用于定位车牌图像中车牌号码区域的车牌定位部分、用于提取单个车牌字符的车牌字符提取部分，以及用于识别所提取出的单个车牌字符的车牌字符识别部分构成。

所述图像追踪装置由5自由度双眼立体视觉装置、5个带有光电编码器的直流伺服电机和1个直流伺服驱动器以及1块数据采集卡构成，所述2台CMOS彩色摄像机分别安装于2个直流伺服电机上，所述2台直流伺服电机分别与另外2台直流伺服电机连接，所述另外2台直流伺服电机共同与另1台直流伺服电机连接，所述每台直流伺服电机与直流电机驱动器连接，所述直流电机驱动器与1块数据采集卡和个人计算机连接。

本发明的人脸与车牌自动识别机器人，还包括指纹识别装置。所述指纹识别装置由采集指纹的指纹采集仪、将所采集到的指纹分成左环、右环、拱、涡、棚状拱、不辨型六类的指纹分类部分、求取指纹局部方向来提取纹型特征的纹型特征提取部分、通过可变大小的匹配门限进行指纹匹配识别的指纹识别部分。

本发明的人脸与车牌自动识别机器人，还包括声音识别装置。所述声音识别装置由用于采集输入语音，并处理为音频数据格式的音频采集部分、用于通过语音转化和语音合成识别声音的声音识别部分。

与现有技术相比，本发明的优点是能够在实际环境中，实时、准确、自动地识别出活动的人脸与车牌信息，识别范围宽，识别准确率高。

附图说明

图1是本发明的人脸与车牌自动识别机器人结构示意图；

图2是本发明的目标追踪流程图；

图3是本发明的目标追踪算法框图；

图4是本发明的人脸识别过程图；

图5是本发明的人脸图像特征提取流程图；

图6是本发明的人脸图像识别程序框图；

图7是本发明的人脸图像更新程序框图；

图8是本发明的车牌识别过程图；

图9是本发明的车牌图像预处理程序框图；

图10是本发明的车牌区域定位程序框图；

图11是本发明的车牌字符分割程序框图；

图12是本发明的车牌字符识别程序框图；

图13是本发明的指纹识别过程图；

图14是本发明的指纹特征提取与分类过程图；

图15是本发明的指纹特征一次匹配程序框图；

图16是本发明的指纹特征二次匹配程序框图；

图17是本发明的语音转换识别过程图。

具体实施方式

下面结合附图与具体实施方式对本发明的人脸与车牌自动识别机器人作进一步详细地描述：

如图1所示，两个CMOS彩色摄像机1-1、1-2分别安装于直流伺服电机2-1、2-2上，并通过图像处理板3与个人计算机4连接，直流伺服电机2-1、2-2分别与直流伺服电机2-3、2-4连接，直流伺服电机2-3、2-4与直流伺服电机2-5连接，直流伺服电机2-1、2-2、2-3、2-4均与数据采集卡5、直流伺服电机驱动器6连接，5个光电编码器分别安装在5个直流伺服电机的转轴上，直流伺服电机驱动器6与数据采集卡5以及人计算机4连接，语音输入装置8、指纹采集仪9分别与人计算机4连接。

所述两个CMOS摄像机的间距为75mm，其镜头到直流伺服电机2-5的转轴之间距离均为85mm，并选用三星SCC-421P型彩色摄像机；所述图像处理板3选用可以将模拟视频信号滤波，并完成A/D转换后，直接通过PCI总线以25fps速度传入个人计算机内存、型号为TM2168的图像处理板；所述数据采集卡5选用装有100KHz 12Bit的A/D和D/A转换器、提供8双/16单模拟输入通道和2路模拟输出通道、支持软件查询方式和中断方式、传输率达100K、PCI总线接口、同步工作频率为33MHz、最高传输速率为132MB/S、型号为ART-PCI2003的数据采集卡；所述5个直流伺服电机均选用型号为R4322-76792A的直流伺服电机；所述个人计算机的主板为华硕P4C800、CPU为P42.0、RAM为512M、硬盘为80G。

如图2所示，图像跟踪装置工作过程包括如下步骤：

(1)2个CMOS彩色摄像机获取目标图像时，通过图像处理板将视频信号预处理后直接传入个人计算机；

(2)5个光电编码器将分别检测到的5个直流伺服电机旋转角度以脉冲信号的形式通过数据采集卡输入个人计算机；

(3)个人计算机对同时由2个CMOS彩色摄像机获得的2幅图像进行定位处理，检测出目标(人脸或车牌)在2个图像平面上的当前位置，计算出其相对于2个CMOS彩色摄像机所在的空间位置；

(4)个人计算机通过PID控制算法确定5个直流伺服电机的参考输入，计算出5个直流伺服电机的指定旋转角度(位置)；

(5)5个直流伺服电机的指定旋转角度(位置)通过数据采集卡输出到直流伺服电机驱动器，控制5个直流伺服电机带动2个CMOS彩色摄像机作上、下、左、右、旋转运动。

上述步骤(3)所述进行目标图像定位处理，检测目标在图像平面上当前位置的流程如图3所示，包括：

(1)个人计算机判断目标图像是否需要进行基于颜色的CamShift跟踪。如果不需要，则选取目标区域特征点进行跟踪，得到目标位置；如果需要，则开始进行CamShift跟踪；

(2)将目标图像从RGB转换到HSV色彩空间，统计H分量直方图；

(3)根据H分量直方图从当前帧图像生成反投影图；

(4)根据前一帧图像的投影图，使用CamShift算法得到目标在当前帧的位置；

(5)个人计算机判断目标图像是否受到背景颜色干扰。如果受到背景颜色干扰，则选取目标区域特征点进行跟踪，得到目标位置；如果没有受到背景颜色干扰，则得到目标位置图像，定位过程结束。

如图4所示，人脸识别过程包括如下步骤：

(1)活动的(比如，行走过程中某人的)人脸图像；

(2)待测人脸图像进行跟踪，捕获人脸跟踪图像；

(3)预处理捕获的人脸图像；

(4)在预处理后的图像中定位人脸图像区域；

(5)对预处理后的图像进行特征提取，计算其E-HMM参数；

(6)将计算出的E-HMM参数与人脸样本图像库中人脸E-HMM参数比对，识别出人脸或者提示未知信息。

上述步骤(4)所述在预处理后的图像中定位人脸图像区域采用Anil K.Jain的人脸肤色模型结合相似度以及人脸轮廓来进行定位人脸，定义r＝R/(R+G+B)和b＝B/(R+G+B)，把三维基色空间降解成二维半基色空间，用基于频域的同态滤波法对人脸图像进行光照补偿处理。在二维的半基色空间上，人脸肤色区域相对集中，并近似地服从Gauss分布。根据所考察的像素离该中心的远近可得到一个肤色相似度，再给定一个阈值对该分布图进行二值化，进而就可以确定人脸的区域。

上述步骤(5)所述对预处理后的图像进行特征提取，计算其E-HMM参数的流程如图5所示，包含如下步骤：

(1)判断人脸样本图像库中存储的图像数目是否达到数据库设定的人脸图像总数。如果已经达到，则终止建立；如果尚未达到，则继续建立；

(2)提取人脸具有代表性的姿态图像；

(3)训练第k个人的人脸图像E-HMM参数；

(4)重复步骤(1)的操作。

上述步骤(6)所述将预处理后的图像E-HMM参数与人脸样本图像库中的人脸E-HMM参数比对，识别出人脸或者提示未知信息的流程如图6所述，包括：

(1)分别计算2台CMOS摄像机获得的待识别人脸图像E-HMM参数a₁和a₂；

(2)提取人脸样本图像库中每个人脸E-HMM参数；

(3)利用Vterbi算法计算所有训练过的样本产生观察向量的概率，通过比较匹配算法所给出的概率值来确定待识别的人脸，概率值计算公式为P(O_t/λ_k)＝max((P₁(O_t/λ_p)+P₂(O_t/λ_p))/2)，1≤p≤N，式中P(O_t/λ_k)为最匹配的概率值，N是人脸样本图像库中的人脸总数，O_t表示人脸t的观察向量，λ_p表示人脸样本图像库中第p个对象的E-HMM参数；

(4)由于本机器人采用了2个CMOS摄像机，能同时得到同一个人脸的2幅图像，计算出与人脸样本的匹配概率为P_n＝(P₁+P₂)/2，P₁和P₂分别表示由同一个人脸的两幅图像得到的2个匹配概率值。判断待测人脸是否与人脸样本匹配。如果匹配，识别出人脸；

(5)如果不匹配，重复步骤(2)。

如图7所示，人脸样本图像库更新部分工作流程包括如下步骤：

(1)对待识别人脸图像依据如图4所示步骤进行识别；

(2)对识别出的人脸样本图像库中的人脸图像，计算其与该数据库中人脸图像9种姿态间欧式距离的最小值；

(3)计算出的最小值小于阈值θ，则用此人脸图像更新该数据库中相应的人脸姿态图像，重新计算其E-HMM参数；

(4)所计算出的最小值大于阈值θ，则不更新该数据库中的人脸图像数据。

如图8所示，车牌识别过程包括如下步骤：

(1)捕获慢速行驶中的汽车图像；

(2)对待测图像进行跟踪，捕获车牌跟踪图像；

(3)预处理图像；

(4)从预处理后的图像中定位出车牌区域；

(5)分割车牌区域的车牌字符；

(6)识别车牌字符；

(7)与车牌样本图像数据库中存储的车牌进行比对，识别出车主信息或者提示未知信息。

上述步骤(3)所述预处理图像如图9所示，包括：

(1)获的彩色车牌图像用灰度变换公式将其转换成灰度图像；

(2)对转换后的灰度图像，用分段灰度线性函数进行灰度拉伸；

(3)采用基于频域的同态滤波法对灰度图像进行光照补偿处理；

(4)用高斯—拉普拉斯算子对该灰度图像进行边缘提取。

上述步骤(4)所述从预处理图像中定位车牌区域如图10所示，包括：

(1)从车牌图像的首行开始，每隔5个像素水平地扫描车牌图像，计算出每行的边缘点总数；

(2)找出水平方向边缘总数最大的20行；

(3)通过分析这20行的行号，根据穿过车牌区域的行号必定相邻的特点，进一步确定可能的车牌区水平位置；

(4)用经典的Hough变换在可能的车牌区水平位置区附近检测直线，通过该区域附近检测出的近似地构成一个矩的两对平行的直线区域确定车牌的外边框位置；

上述步骤(5)所述的分割车牌区域的车牌字符如图11所示，包括：

(1)获得车牌字符的最高点，用一个水平的滑动条从车牌区域的中间开始，逐行向上扫描这一条水平线段上所包含像素为1的点个数，确定一个阈值T₁＝W₁×0.05，其中W₁为车牌区域的宽度，0.05为经验数值，当水平线段上像素点个数小于阈值T₁时停止扫描；

(2)获得车牌字符的最低点，重复上述步骤(1)；

(3)计算车牌字符的高度和宽度，车牌字符的高度H为字符最高点和最低点距离，字符的大约宽度W₂＝H×0.8(0.8为经验数值)；

(4)分割出字符，用一条垂直的滑动条在车牌区域最左边向右移大约一个字符的宽度，接着向左移动，当滑动条上包含像素为1的个数变为0时停止扫描，确定车牌字符的左边界；再将滑动条依次往右移动大约一个字符的宽度，当滑动条上包含像素为1的个数变为0时停止扫描，确定字符的右边界，根据左右边界精确地分割出单个车牌字符。

上述步骤(6)所述的识别车牌字符如图12所示，包括：

(1)用最邻近插值法将精确分割出来的单个车牌字符归一化为64×64大小的点阵；

(2)依次取出模板字符，将模板字符按照上、下、左、右，4个方向周围5个像素的范围内滑动，每次分别计算出L值，然后取其中的最大值L_max作为字符与该模板字符之间相似度的值；

(3)依次从得到待识别字符与模板字符的相似度中找出最大相似度值所对应的模板字符，然后判断是否大于该字符的阈值T。如果L大于T，那么待识别字符的匹配结果就是该模板字符，如果小于T则拒绝识别。

如图13所述，指纹识别过程包括如下步骤：

(1)建立存储指纹特征值和用户信息的指纹样本数据库；

(2)初始化指纹采集仪，所述指纹采集仪选用SecuGen公司的FDU01光学指纹采集仪；

(3)创建指纹识别软件的类函数，所述指纹识别软件选用FDx-SDK软件开发包(包括fplib.dll动态链接库)；

(4)采集指纹图像；

(5)提取指纹特征值数据；

(6)对已知指纹进行用户信息登记，对待查指纹的纹型特征进行提取、分类；

(7)对待查指纹进行特征匹配，识别指纹；

(8)删除指纹识别软件的类函数。

上述步骤(6)所述的指纹特征提取、分类如图14所示，包括：

(1)指纹灰度图像的点方向求取，用离散法取每一个方向上一定数量点的像素值，计算它们与该点灰度的累计差，累计差最小值对应的方向即为该点的方向；

(2)求取指纹灰度图像的块方向，用解析法求解块方向图；

(3)建立一个3层前向神经网络，对大量指纹样本进行纹形分类，然后抽取每一类指纹的纹形特征送入该神经网络进行训练，使用误差反向传播算法让该网络进行学习，并采用遗传算法改进该神经网络的学习。根据训练目标函数对该神经网络的权值进行迭代学习，找到最佳分类权值；

(4)将通过步骤(1)和(2)获得的点方向、块方向输入步骤(3)建立的神经网络，将待测指纹分成左环、右环、拱、涡、棚状拱、不辨型等六类。

上述步骤(7)所述的指纹特征匹配如图15、16所示，包括指纹特征一次匹配和指纹特征二次匹配，其中所述指纹特征一次匹配包括如下步骤：

(1)按照上述步骤(6)所述的特征提取步骤进行特征提取，得到每个特征点的位置(x，y)和类型s(分叉点、末梢点)，以及该点所在脊线的方向角度θ；

(2)以该点为中心建立一个用于匹配的局部邻域特征向量，与该中心点距离大于R(R＝10)的最近5个点(n₁，n₂，n₃，n₄，n₅)作为其邻域特征点，并与该中心点一起用来构造局部特征向量；

(3)假设待识别指纹为A，指纹样本数据库中任意一个指纹为B，点集A＝((x₁ ^A，y₁ ^A，s₁ ^A，θ₁ ^A)，……，(x_M ^A，y_M ^A，s_M ^A，θ_M ^A))表示指纹A上的M个特征点，点集B＝((x₁ ^B，y₁ ^B，s₁ ^B，θ₁ ^B)，……，(x_N ^B，y_N ^B，s_N ^B，θ_N ^B))表示指纹B上的N个特征点，对指纹A上的每个特征点建立局部特征向量，则可以得到一个M维的局部特征向量组，对指纹B上的每个特征点建立局部特征向量，则可以得到一个N维的局部特征向量组；

(4)将指纹A的M维向量组和指纹B的N维向量组进行比较，把指纹A中每一个特征点A_i(i＝1，2，…，M)的局部特征向量与指纹B中每一个特征点B_j(j＝1，2，…，N)的局部特征向量进行一一匹配，将得到的匹配分数记录在矩阵Score_M×N中。匹配分数计算时，若A_i和B_j向量的中心点类型不一致，即s_i ^A≠s_j ^B，则Score[i][j]＝0；若A_i和B_j向量的中心点类型一致，即s_i ^A＝s_j ^B，且其5个邻域分量中有n个邻域点匹配，则Score[i][j]＝n(1≤n≤5)；

(5)完成匹配后，在矩阵Score的每一行中标记出匹配分数最大且不为零的元素，根据这些元素的位置确定特征点A_i与B_j的一一对应，其分数总和称为总匹配分数，并记作G_AB。使用相对匹配分数S＝100×G_AB/(M×5)作为初匹配的判决条件，并设置初匹配门限为最高匹配分数S_max和最低匹配分数S_min。若S＜S_min,为不匹配，不再进入第二阶段；若S_min≤S≤S_max，需进行二次匹配；若S＞S_max，则A和B来自同一指纹。

所述指纹特征二次匹配包括如下步骤：

(1)按照所述指纹特征一次匹配过程中标记出的匹配矩阵Score中分数值最大的元素Score[p][q]，以指纹A的第p个点A_p和B的第q个点B_q作为对2枚指纹进行全局坐标校准的最佳参考点；

(2)直接剔除相差较大的输入指纹图像，对点集的坐标进行调整，坐标校准后得到的点集记为A’＝(A₁’，A₂’，…，A_M’)，B’＝(B₁’，B₂’，…，B_N’)；

(3)将A’中的每个点与B’中的每个点进行基于限界盒的一一匹配，采取以匹配度由高到低的原则建立A_i’与B_j’的一一对应，建立M×N维的匹配度矩阵，进而识别出待测指纹。

本发明的人脸与车牌识别机器人的声音识别过程包括如下步骤：

(1)利用麦克风作为语音识别子系统的输入装置，实时采集音频数据送入到语音识别服务器(ASR)中进行识别，所述语音识别子系统选用北京捷通华声语音技术公司Nusuara语音识别引擎的语音识别子系统；

(2)使用Microsoft Windows提供的低级音频函数进行音频数据采集和预处理；

(3)采用面向对象的方法，利用Nusuara语音识别引擎提供的接口函数完成ASR初始化，词库资源生成，将音频数据送入ASR进行语音识别；

(4)将识别结果从ASR中输出，通过语音转换模块将语音信息输出。

上述步骤(4)所述的语音转换模块，如图17所示包括如下步骤：

(1)文句分析，采用隐藏式马可夫模型算法将所输入的文字加以分析，得到音节和词的语言特征参数；

(2)产生韵律，通过韵律产生器将语言特征参数送入韵律产生器来产生文句的每个音节对应的韵律信息，包括基频轨迹、音量、音长等，将说话的音调、语气、停顿方式，发音长短转换为韵律参数；

(3)语音合成，通过语音合成器根据韵律参数，将语料库中所得到的语音档案加以调整，所述语音合成采用波形拼接法，根据需要的发音从声音资料中选择出合适的声学参数，然后根据韵律模型中得到的韵律参数，透过语音合成演算法产生语音；

(4)语料对比，通过将文句分析的结果和语料库做比较查询，并找出最适当的语音档案作输出。

Claims (4)

1、一种人脸与车牌自动识别机器人，其特征在于包括：

图像输入装置，通过2个CMOS彩色摄像机和1块图像处理板来捕获和预处理活动的人脸与车牌图像；

图像追踪装置，通过5自由度双眼立体视觉装置、5个直流伺服电机和1个直流伺服驱动器、1块数据采集卡来控制2个CMOS彩色摄像机追踪活动的人脸与车牌；

人脸识别系统，通过与人脸样本图像库进行比对识别出人脸；由使用嵌入式隐马尔可夫(E-HMM)建模方法提取待识别人脸的前额、眼睛、鼻子、嘴、下巴的特征提取部分、通过双向嵌入式算法比较待识别人脸图像与人脸样本图像E-HMM参数的最匹配概率识别部分、通过比较待识别人脸图像与人脸样本图像欧式距离的算法、以及更新人脸样本图像库的人脸数据更新部分构成；

车牌识别系统，用于识别出车牌号码；所述车牌识别系统由将车牌图像转换为灰度图像的车牌图像预处理部分、用于定位车牌图像中车牌号码区域的车牌定位部分、用于提取单个车牌字符的车牌字符提取部分、用于识别所提取出的单个车牌字符的车牌字符识别部分构成。

2、根据权利要求1所述人脸与车牌自动识别机器人，其特征在于所述图像追踪装置由5自由度双眼立体视觉装置、5个带有光电编码器的直流伺服电机和1个直流伺服驱动器以及1块数据采集卡构成；所述2台CMOS彩色摄像机分别安装于2个直流伺服电机上，所述2台直流伺服电机分别与另外2台直流伺服电机连接，所述另外2台直流伺服电机共同与另1台直流伺服电机连接；所述每台直流伺服电机与直流电机驱动器连接；所述直流电机驱动器与1块数据采集卡和个人计算机连接。

3、根据权利要求1或2所述人脸与车牌自动识别机器人，其特征还包括指纹识别装置，所述指纹识别装置由采集指纹的指纹采集仪、将采集到的指纹分成左环、右环、拱、涡、棚状拱、不辨型六类指纹分类部分、求取指纹局部方向来提取纹型特征的纹型特征提取部分、通过可变大小的匹配门限进行指纹匹配识别的指纹识别部分。

4、根据权利要求3所述人脸与车牌自动识别机器人，其特征在于还包括声音识别装置，所述声音识别装置由用于采集输入语音，并处理为音频数据格式的音频采集部分、用于通过语音转化和语音合成识别声音的声音识别部分构成。

Images