CN100495427C - 复杂背景下的人耳检测及多信息融合的人耳识别方法 - Google Patents

Abstract

本发明请求保护一种复杂背景下的人耳检测及多信息融合的人耳识别方法，它包括复杂背景下的人耳检测和多信息融合的人耳识别两大步；在人耳检测中可以根据不同应用场合，获取包含人耳在内的人体侧面的图像序列或者静态彩色图片；并对这些图片进行分析，将人体图像从复杂背景下提取出来，然后再对人耳进行进一步的精确定位，获得一个包含人耳图像的最小矩形区域；在人耳识别中对人耳图像利用基于万有引力场转换算法提取出的势能阱个数进行粗分类，同时采用分水岭算法提取人耳边缘，并对这些边缘信息采用H′_SDMHD提取人耳特征，在粗分类的基础上实现最终识别。本发明能够实现复杂背景下的人耳检测和人耳识别，完成从人耳的自动检测到识别的全过程，形成利用人耳作为特征，对身份进行识别的完整系统。

Description

复杂背景下的人耳检测及多信息融合的人耳识别方法

技术领域

本发明属于基于人体生物特征的个人身份识别技术，特别涉及在复杂背景下的人耳定位，以及人耳的力场特征和边缘轮廓特征相结合的识别方法。

背景技术

美国的“9.11”恐怖事件发生以来，有效地利用电子、信息处理、计算机、网络通讯、人工智能等技术，便捷、准确、可靠地识别人员身份，保障社会成员的合法权益和社会公共安全，维护世界和平，已成为世界各国政府及国际社会共同需要解决的重要课题。在现阶段，普遍采用的是基于身份标识的识别方式，如证件、账户、密码等。这种方式虽然实现较为简单，但在使用的方便性和防伪性等方面有着一些难以克服的缺陷。相比之下，利用人体生物特征的识别技术则有着巨大的优势。

目前生物特征识别技术主要有指纹识别、掌纹识别、人脸识别、虹膜识别、视网膜识别、语音识别和签名识别等。这些技术在某些方面存在一定的不足，使其应用受到了一定的限制。而与现有生物特征相比，人耳具有：结构稳定丰富、不受面部表情的影响、非接触式样本采集、容易为人接受等诸多优点。因此，将人耳作为生物识别的对象，具有其自身的鲜明特点，是对生物特征识别领域的一种拓广。

人耳识别技术作为一种新的生物特征鉴别技术，以其独特的优势和应用方向已经引起了研究者越来越多的注意。它涉及到生物特征提取、计算机视觉、图像处理、模式识别和身份认证技术等诸多领域。人耳识别技术既可以作为其他生物识别技术的有益补充，如和人脸、指纹相结合进行识别，也可以单独应用于一些个体身份鉴别的场合。

虽然关于人耳识别技术的研究已有一些，但将多种特征提取方式融合并进行优势互补的研究仍然不多。同时多数识别技术对待识别的图像源有着苛刻的条件限制，而将复杂背景下的人耳检测定位和后续识别相结合的系统更是屈指可数。

发明内容

针对当前鲜有复杂背景下的人耳检测研究和应用，各种人耳识别方法都存在过多的条件限制，人耳检测和人耳识别方面的研究相互独立，尚没有形成一个完整的体系等问题，本发明提出一种方法来实现复杂背景下的人耳检测和人耳识别，完成从人耳的自动检测到识别的全过程。

本发明的技术内容如下：

本发明的总体构思是：对待识别的图像源，无论是动态视频，还是静态图片，都通过相应的算法快速精确定位出人耳；将定位出的人耳进行预处理，然后根据万有引力场转换算法得到人耳图像的势能阱，利用势能阱个数进行人耳粗分类，同时将定位出的人耳用分水岭算法进行边缘检测得到人耳的边缘，然后采用

算法提取人耳特征并利用这些特征进行最终的识别。

本发明的实现步骤如下：

(1)复杂背景下的人耳检测

A.通过摄像机获取含人体侧面的图像序列或者静态彩色图片，对含人体侧面的图像序列采用背景差分模型获取其中的运动物体轮廓，用肤色模型进行人耳粗定位，再用人耳轮廓进行拟合，精确定位出人耳；对静态彩色图片通过肤色模型和侧脸轮廓几何特征的方法定位出人耳。

B.对步骤A检测出的人耳图像进行滤噪，归一化预处理，得到标准的待识别人耳图像。

(2)多信息融合的人耳识别

A.根据万有引力场转换算法得到待识别人耳图像的势能阱，利用势能阱个数进行人耳粗分类。

B.同时，利用分水岭算法对待识别人耳图像进行边缘检测得到人耳的边缘。

C.然后利用步骤(2)B得到的人耳边缘信息，采用

算法提取人耳特征，最后利用人耳识别方法，完成人耳识别。

本发明的优点

本发明与其他人耳识别方法相比，具有以下几个方面的优势：

(1)将人耳检测和人耳识别集成在一起，真正实现了人耳自动识别的全过程。

(2)在人耳检测中能够快速高效地定位出复杂背景下的人耳。这种复杂背景包括静态彩色图片，动态图像序列，涵盖了人耳检测背景中的各种情况。

(3)采用万有引力场转换算法进行人耳特征的粗分类，将识别的范围缩小，节省了识别时间，同时提高了识别的精度。

(4)利用信息融合的方法，把分水岭算法以及

算法结合起来，发挥两种算法的优点，并相互弥补两种算法之间的不足，得到为后面识别作准备的更有效稳定的特征。

附图说明

图1本识别方法的框图

图2力场作用的几何表示

图3合力方向与运动方向关系图

图4场线和势能阱形成过程

图4(a)选取测试像素，图4(b)形成场线，图4(c)形成势能阱

图5利用分水岭算法进行边缘提取

图5(a)原始图像，图5(b)提取后的边缘图像

图6用于计算Hausdorff距离的人耳边缘

具体实施方式

步骤一：复杂背景下的人耳检测

(1)通过摄像机获取含人体侧面的图像序列或者静态彩色图片，对获取的图像源进行判断，根据判断结果选择相应的方法来检测人耳。

如果是含人体侧面的图像序列，采用自适应背景差分模型提取运动目标，利用基于人体活动轮廓跟踪的卡尔曼滤波算法从运动目标中找出人体，然后采用肤色模型提取人体中的肤色区域，再利用人体的坐标比例确定人耳候选区域，完成人耳的粗定位，最后利用人耳轮廓拟合方法精确定位出人耳。

如果是静态彩色图片，通过肤色模型定位出肤色区域，利用人侧脸的长宽比例和区域面积对候选区域进行初步筛选，然后利用人侧脸轮廓几何特征定位出人耳候选区域，最后利用人耳轮廓拟合方法精确定位出人耳。其中，

A.建立肤色模型

是手工从图像中选取含人耳的侧脸肤色区域，进行肤色模型的训练。

B.统计侧脸轮廓几何特征

是统计侧脸长宽比例；计算眼睛和鼻子之间连线的曲率以及鼻子和嘴巴之间连线的曲率，得到侧脸轮廓线；计算人耳到鼻子最高点处的距离范围等。

C.建立人耳轮廓模型

是对人耳图像进行尺寸及灰度的归一化，计算归一化后的人耳轮廓模型。

(2)对步骤一(1)检测出的人耳图像进行滤噪，归一化预处理，得到标准的待识别人耳图像。

步骤二：多信息融合的人耳识别

(1)根据万有引力场转换算法得到待识别人耳图像的势能阱，利用势能阱个数进行人耳粗分类。

万有引力定律是解释物体之间相互作用引力的定律。其公式为：

F＝Gm₁m₂/r²                (1)

其中，F表示两个物体之间的引力，m₁、m₂表示两个物体的质量，r表示它们间的距离，G为万有引力常数，等于6.67×10^-11N·m²/kg²。

万有引力场转换理论把图像的像素看作万有引力场的源头，其中像素的灰度值P代表像素的质量m，两个像素之间的距离为r，为处理方便，本方法假定万有引力常数G为1。图像像素所受的力就形成了一个力场(Force field)。施加在单位灰度像素上的力F_i(r_j)由下面公式(2)给出：

$F_i\left(r_j\right)=P\left(r_i\right)P\left(r_j\right)\frac{r_i-r_j}{{|r_i-r_j|}^3}---\left(2\right)$

其中r_i代表施力像素的位置向量，r_j代表受力像素的位置向量，P(r_i)为施力像素灰度，P(r_j)为受力像素灰度。

特定像素与和它相邻的像素位置如图2所示，其中像素的灰度、受力和相互距离是各不相同的，与它们之间的位置相关。对于像素j，它所受的引力合力等于图像中其它像素施加的引力向量之和。如下面公式(3)所示：

$F\left(r_j\right)=\underset{i}{\mathrm{\Σ}}\left\{\begin{array}{cc}P\left(r_i\right)P\left(r_j\right)\frac{r_i-r_j}{{|r_i-r_j|}^3}& \∀i\≠j\\ 0& \∀i=j\end{array}\right.---\left(3\right)$

其中r_i代表施力像素的位置向量，r_j代表受力像素的位置向量，P(r_i)为施力像素灰度，P(r_j)为受力像素灰度。

本算法得到待识别人耳图像势能阱的过程如下：

A.首先，在待识别人耳图像上选取一些特定像素作为测试像素，为了确保其位置都能够围绕待识别人耳，我们使所取的测试像素位置平均分布于图像的四边上。

B.依据万有引力场转换算法计算出测试像素所受引力合力的大小和方向。测试像素由于受力不平衡而产生运动，它们的运动轨迹形成一条条场线。

引力合力方向和像素运动方向的对应关系如图3所示，由于任何非边缘上的像素都有8个相邻的像素，因此，测试像素最多只有8个可能的运动方向。假设j＝4的像素及其相邻像素的排列如图3所示。当引力合力方向为②方向范围内，我们把它的运动方向定为②方向，即取j＝2像素作为下一测试像素，并计算其所受引力合力大小和方向。依此类推，直到引力合力为零。这样测试像素的整个运动轨迹就形成了一条条的场线。

C.力场所对应的能量场达到平衡，出现没有能量差异的几个点，所有场线汇集并终止于这几个点，其过程如图4所示，图4(a)是选取测试像素，图4(b)是形成场线，图4(c)是形成的势能阱，这几个点都是测试像素所受引力合力为零的点。我们将这样的点定义为势能阱。

D.依据势能阱个数的不同对人耳进行粗分类。

(2)同时，利用分水岭算法对待识别人耳图像进行边缘检测得到人耳的边缘。

分水岭算法是一种基于数学形态学的方法。基本原理是：任何图像可以看作一幅地图，每像素的灰度值代表这个点的海拔高度。首先，从一个灰度值的最低点开始，逐步提高灰度值。以此为标准，可将图像中的各像素分为两个集合，大于该灰度值或小于该灰度值。在小于该灰度值的集合中，如果存在连通区域，将其合并；否则，划为两个或多个区域。其次，随着灰度值的提高，该图像中的所有像素都会处于小于该灰度值的集合中，并划归到不同的区域。最后，利用不同区域中灰度变化速度和范围，去除掉人耳不相关的部分，从而得到精确的人耳轮廓。

在具体实现中，可以采用递归的方式来获得最终的轮廓。

初始化：C[min+1]＝T[min+1]

递归：由C[n-1]求得C[n]

设q代表T[n]中连通分量的集合，在递归的过程中，会出现以下三种情况中的一种：

(a)q∩C[n-1]为空

(b)q∩C[n-1]包含C[n-1]中的一个连通分量

(c)q∩C[n-1]包含C[n-1]多于一个连通分量

当遇到新的最小值时，符合条件(a)，将q并入C[n-1]构成C[n]；q位于某些局部最小值构成汇水盆地时，符合条件(b)，将q并入C[n-1]构成C[n]；当遇到全部分离或部分汇水盆地时，符合条件，在q建水坝，即该点是轮廓点。

其中：C[n]表示第n阶段某区域被水淹没的集合

T[n]表示位于平面g(x，y)＝n下方点的集合

图5显示了利用分水岭算法对原始人耳图像进行边缘提取的结果，图5(a)是原始图像，图5(b)是提取后的边缘图像。

(3)然后利用步骤二(2)得到的人耳边缘信息，采用

算法(Standard DeviationModified Hausdorff Distance，SDMHD)，即标准方差和边缘线段长度差改进的Hausdorff距离算法，提取人耳特征，选择合适的人耳识别方法，完成人耳识别。

与传统的Hausdorff距离不同，本发明采用

来描述人耳间的差异。该距离可以更准确地度量边缘间的差异，从而更好地解决传统Hausdorff距离因噪声点、伪边缘等造成的误差问题。其公式可用下面公式(4)表示：

${H\′}_{\mathrm{SDMHD}}(A,B,k,t)=\left\{\begin{array}{cc}{h\′}_{\mathrm{SDMHD}}(A,B,k,t)& N_A\≤N_B\\ {h\′}_{\mathrm{SDMHD}}(B,A,k,t)& N_A>N_B\end{array}\right.---\left(4\right)$

其中：

${h\′}_{\mathrm{SDMHD}}(A,B,k,t)=\frac{1}{N_A}\underset{a\∈A}{\mathrm{\Σ}}\underset{b\∈B}{\min }\left|\right|a-b\left|\right|+\mathrm{kS}(A,B)+\mathrm{t\ΔN}---\left(5\right)$

${h\′}_{\mathrm{SDMHD}}(B,A,k,t)=\frac{1}{N_B}\underset{b\∈B}{\mathrm{\Σ}}\underset{a\∈A}{\min }\left|\right|b-a\left|\right|+\mathrm{kS}(B,A)+\mathrm{t\ΔN}---\left(6\right)$

S(A，B)表示点集A中一点到点集B中最远距离的标准方差，同理，S(B，A)则表示点集B中一点到点集A中最远距离的标准方差，参数k为加权系数，参数t则为ΔN的加权系数，ΔN代表两个点集间点的数量差异：ΔN＝|N_A-N_B|。

A.特征向量的确定

从图6中可以看出，人耳的主要边缘轮廓可以大致分为4段，也就是图中所标示的4条边缘线段L₁，L₂，L₃，L₄，这4条线段的形状和长短完全可以作为区分不同人耳的特征。所以本方法将这4条线段作为人耳识别的4个特征。

设点集A是人耳特征库中的一幅“标准人耳边缘图像”，包含4条边缘线段L_A1，L_A2，L_A3，L_A4。点集B是一幅待识别的人耳边缘图像同样包含4条边缘线段L_B1，L_B2，L_B3，L_B4。现在要测试B是否与A匹配，可以定义B与A的相对特征向量X_AB如下：

$X_{\mathrm{AB}}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]---\left(7\right)$

其中

x₁＝H′_SDMHD(L_A1，L_B1)         (8)

x₂＝H′_SDMHD(L_A2，L_B2)         (9)

x₃＝H′_SDMHD(L_A3，L_B3)         (10)

x₄＝H′_SDMHD(L_A4，L_B4)         (11)

B.人耳识别

在粗分类的基础上，对采用提取的特征向量，利用现有的识别算法，如支持向量机算法、神经网络算法、K均值算法等，得到最终的识别结果。

应用举例

1.复杂背景下的身份识别装置

本发明能够对复杂背景下的人体侧面图像进行自动定位及人耳的锁定。尽管人的身高有所差别，但可用分辨率较高的采集系统在预先设置好的特定距离处进行摄像，这样既能保证视频中包含可用于识别的帧，同时也使摄像机镜头不必随时跟踪目标，大大降低了成本。一旦获得可识别的视频帧，后续的处理(如前所述)将由计算机自动完成。

2.便携式电子设备的防盗装置

本发明也可用于日益广泛的便携式电子设备的防盗。在用户使用电子设备前，嵌入到便携式电子设备中的人耳识别采集系统会提示用户要求对其耳部进行拍照。获得耳部图像后，本发明的后续处理及识别部分(如前所述)可以在高性能的嵌入式处理器上完成。如果采集的图像不能成功识别，可以提示用户再次进行耳部图像采集直到成功为止。由于便携设备可由用户单独控制，可操作性较强，因此可采用普通的图像采集系统，如现在广泛集成在手机上的摄像头。

Claims (3)

1、复杂背景下的人耳检测及多信息融合的人耳识别方法，其特征在于包括以下步骤：

(1)复杂背景下的人耳检测，步骤如下：

A.通过摄像机获取含人体侧面的图像序列或静态彩色图片，对图像序列采用背景差分模型获取其中的运动物体轮廓，用肤色模型进行人耳粗定位，再用人耳轮廓进行拟合，精确定位出人耳；对静态彩色图片通过肤色模型和侧脸轮廓几何特征的方法定位出人耳图像；

B.对步骤A检测出的人耳图像进行滤噪，归一化预处理，得到标准的待识别人耳图像；

(2)多信息融合的人耳识别，步骤如下：

A.根据万有引力场转换算法得到待识别人耳图像的势能阱，利用势能阱个数进行人耳粗分类；

B.同时，利用分水岭算法对待识别人耳图像进行边缘检测得到人耳边缘信息；

C.然后利用步骤(2)B得到的人耳边缘信息，采用

算法，即标准方差和边缘线段长度差改进的Hausdorff距离算法，提取人耳特征，最后利用人耳识别方法，完成人耳识别。

2、根据权利要求1所述的复杂背景下的人耳检测及多信息融合的人耳识别方法，其特征在于：步骤(2)A中根据万有引力场转换算法得到待识别人耳图像的势能阱步骤如下：

首先，在待识别人耳图像上选取一些特定像素作为测试像素，为了确保其位置都能够围绕待识别人耳，我们使所取的测试像素位置平均分布于图像的四边上；

然后，依据万有引力场转换算法计算出测试像素所受引力合力的大小和方向，测试像素由于受力不平衡而产生运动，它们的运动轨迹形成一条条场线；

万有引力场转换算法如下： $F\left(r_j\right)=\underset{i}{\mathrm{\Σ}}\left\{\begin{array}{cc}P\left(r_i\right)P\left(r_j\right)\frac{r_i-r_j}{{|r_i-r_j|}^3}& \∀i\≠j\\ 0& \∀i=j\end{array}\right.$

其中r_i代表施力像素的位置向量，r_j代表受力像素的位置向量，P(r_i)为施力像素灰度，P(r_j)为受力像素灰度，F(r_j)为受力像素所受引力合力；

最后，力场所对应的能量场达到平衡，出现没有能量差异的几个点，所有场线汇集并终止于这几个点，这几个点都是测试像素所受引力合力为零的点，即为势能阱。

3、根据权利要求1或2所述的复杂背景下的人耳检测及多信息融合的人耳识别方法，其特征在于：步骤(2)C中采用

算法提取人耳特征的算法如下：

${H\′}_{\mathrm{SDMHD}}(A,B,k,t)=\left\{\begin{array}{cc}{h\′}_{\mathrm{SDMHD}}(A,B,k,t)& N_A\≤N_B\\ {h\′}_{\mathrm{SDMHD}}(B,A,k,t)& N_A>N_B\end{array}\right.$

其中：

${h\′}_{\mathrm{SDMHD}}(A,B,k,t)=\frac{1}{N_A}\underset{a\∈A}{\mathrm{\Σ}}\underset{b\∈B}{\min }\left|\right|a-b\left|\right|+\mathrm{kS}(A,B)+\mathrm{t\ΔN}$

${h\′}_{\mathrm{SDMHD}}(B,A,k,t)=\frac{1}{N_B}\underset{b\∈B}{\mathrm{\Σ}}\underset{a\∈A}{\min }\left|\right|b-a\left|\right|+\mathrm{kS}(B,A)+\mathrm{t\ΔN}$

参数a表示点集A中的一点，参数b表示点集B中的一点，参数k表示加权系数，S(A，B)表示点集A中一点到点集B中最远距离的标准方差，S(B，A)则表示点集B中一点到点集A中最远距离的标准方差，ΔN代表两个点集间点的数量的差异：ΔN＝|N_A-N_B|，参数t则为ΔN的加权系数。

Images