CN101419669B - 一种基于Contourlet变换的三维人耳提取方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种可以自动地从三维深度数据中提取出人耳的算法。该算法可以应用于计算机自动人耳识别系统的前端处理方面。本算法通过统计耳朵轮廓在Contourlet变换域不同子带不同位置上系数的分布概率，构建耳朵概率模型，利用这个模型，把非人耳轮廓边缘过滤掉，只留下耳朵边缘，再计算这些边缘的凸壳，从而实现了三维人耳的精确提取。本发明具有较低的计算复杂度，同时提取的三维人耳具有较高的精确度，对于进一步提高计算机自动人耳识别系统性能具有重要的实际应用价值，在身份认证和识别领域具有较好的应用前景。

Description

一种基于Contourlet变换的三维人耳提取方法

技术领域

本发明属于图像处理技术领域，具体为一种可以自动地从三维深度数据中提取出人耳的算法。

技术背景

生物特征识别在身份识别中应用得越来越广泛。相对于指纹识别和虹膜识别，人耳在图像采集上更方便；相对于人脸，人耳不存在表情，也没有化妆品或眼镜的遮挡，特征更为稳定。对于每个人来说，外耳轮廓形状和轮廓内结构分布各不相同，并且这种独特的结构在年龄8～70岁之间几乎不发生变化。因此，人耳识别是一种很有发展潜力的生物特征识别技术。

通常，人耳的上半部分跟头发相邻，两者颜色差异比较大，在彩色图像中表现为明显的边缘，人耳的下半部分比颈部皮肤表面位置高的多，因而在深度图像中表现为明显的边缘，所以Yan等人通过彩色图像和深度图像的结合，使用snake算法提取人耳，取得了较好的效果。他们融合了彩色图像和深度图像的梯度，以一个中心在耳洞的椭圆作为初始轮廓，采用膨胀气球模型的snake算法顺利提取出人耳。由于snake算法要求对象存在闭合的边缘信息，但是人耳在靠近脸颊那边不存在明显的边缘，所以传统的snake轮廓会一直往脸颊扩张。针对这个问题提出了一种改进：如果在深度图像上3×5 范围内没有大的梯度变化，就修改该处的内部能量，使得轮廓停止扩展。但是，文献[11]中提出的对于内部能量修改的改进虽然避免了轮廓向脸颊的膨胀，却也引入了新的问题：轮廓线可能在耳朵内部较为平滑的区域停止膨胀。在使用的snake算法过程中，我们还发现该算法提取轮廓的效果很大程度上依赖于参数取值，并且相关的参数个数较多，除了snake模型的张力、刚度、深度图像的权重、彩色图像的权重和气球压力外，实际运算中还有阻滞系数，轮廓点分布密度等，均需要手动调节。

由于snake算法和它的改进算法存在上述问题，本发明提出一种新的基于Contourlet变换的外耳轮廓提取方法。能够较好地实现三维人耳的精确提取，为后续的人耳识别打下良好的基础，实现更高的识别率。

发明内容

为了解决snake算法和它的改进算法存在上述问题，本发明提出一种新的基于Contourlet变换的外耳轮廓提取方法。该方法步骤如下：

步骤1，训练Contourlet域概率模型：

(1)预处理：进行耳洞检测找到人耳位置，以耳洞为中心，在Z通道，取出人耳周围161×149像素的彩色图像和深度图像；

(2)分别提取Cr通道和深度图像的梯度并求两者的和，再将这个梯度和二值化，把像素点少于27的连通小段清理掉，接着进行细化，所得结果称为边缘图像；

(3)Contourlet变换：对边缘图像做Contourlet变换，分解参数集设置为nlevs；

(4)系数量化与组合：将Contourlet变换得到的系数量化为N级量化系数，相邻的M个量化系数组合成块；将块总共分为NN种不同类型，用索引v表示；

(5)以块为单位，统计这种类型的块在这个位置出现的概率，结果保存在表格中；

(6)对所有训练图像执行上述步骤(1)至(5)，得到系数分布的概率表；

步骤2，应用Contourlet域概率模型提取耳廓：

(1)对测试图像做训练步骤(1)、(2)、(3)相同的操作，得到系数组合成的块；

(2)对于每个块，利用块类型的索引号v查找概率表，在概率表中，如果这种块在这个位置出现的概率小于0.01，就将这个块的所有系数置为零，反之则保留；

(3)反变换：对测试图像中经过步骤(2)处理过的系数做Contourlet反变换；

(4)二值化：对反变换结果通过阈值TH重新二值化；

(5)求凸壳：计算重新二值化的结果的凸壳，获得闭合的曲线，作为耳朵的边缘轮廓；

进行Contourlet变换时采用的参数集设置为nlevs＝[2，3]。

Contourlet变换得到的系数量化级数N取为3，相邻的组合成块的系数个数M取为4。

对反变换结果重新二值化时阈值TH取为0.5，大于阈值的置为1，小于的置为0。

Contourlet变换是M.N.Do等人提出的一种能够捕捉二维信号几何结构的变换方法[13]。通过这种变换，可以对图像进行多尺度、多方向的分解，解决了小波变换在提取方向信息上的不足。Contourlet变换的边缘捕捉方式如附图1(a)所示，它能沿着图像轮廓边缘用比小波变换更少的系数来逼近曲线，从而实现图像的稀疏表示。

Contourlet变换通过塔形方向滤波器组将图像分解成各个尺度上的带通方向子带，它由两个步骤实现：子带分解和方向变换。首先，用拉普拉斯金字塔变换对图像进行多尺度分解以“捕获”奇异点，然后由方向滤波器组将分布在同方向上的奇异点合成一个系数。拉普拉斯金字塔分解和方向滤波器组都具有完全重构性，因此可由变换系数通过反变换得到原图像。

Contourlet分解可以用参数集nlevs＝[l_J，l_J-1，...l_j...，l₂，l₁]表示，其中J为分解尺度的个数，l_j表示第j个尺度上的分解方向数为 

，需满足条件l_j≥2，即每个尺度至少分解为4个方向。附图1(b)是一个频域上的Contourlet变换分割例子，其分解的参数集为：nlevs＝[2，3]，表示将图像分解为两个从细到粗的尺度：第一个尺度(高频细节)进一步分解为2³个方向子带(附图1(b)中的子带5、6、7、8、9、10、11和12)，第二个尺度(中频部分)进一步分解为2²个方向子带(附图中1(b)中的子带1、2、3和4)，最后剩下的子带0是不再做方向分解的低频部分。

本发明主要提出的一种基于Contourlet变换的外耳轮廓提取方法，是先统计人耳边缘在不同位置不同方向的Contourlet系数值出现的概率，得到Contourlet域人耳边缘分 布的概率模型，再利用概率大小对输入的边缘图像进行过滤，滤除不属于人耳的边缘，只留下真正的人耳边缘。最后，计算包含这些边缘的最小凸包，即凸壳(Convex Hull)，凸壳包含的区域就是耳朵区域。实验结果表明，本发明可较好地实现三维人耳的精确提取，为后续的人耳识别打下良好的基础，实现更高的识别率。

本发明的优点是，一是能较好地定位出耳朵轮廓，并提取出外耳，提供给后续识别和判定；二是适用于正面耳朵的检测，即使有少量头发的遮挡，算法依然有效，并且对图像的轻微旋转、光照条件变化不敏感。三是本发明的计算复杂度很低。

附图说明

图1.Contourlet变换。(a)Contourlet变换的边缘捕捉方式，(b)Contourlet变换在频域上的分割

具仃实施方式

关于预处理：

实验使用的是来自University of Notre Dame构建的UND数据库。该数据库是由Minolta Vivid 910深度扫描仪扫描侧面人脸获得的。人坐在距离扫描仪约1.5米的地方，左侧脸正对扫描仪。扫描结果是一幅640×480大小的RGB彩色图像和640×480大小的包含X，Y，Z三个通道坐标的三维深度图像，图像中的点灰度越大表示离扫描仪越近，边上纯黑色的区域表示该处没有深度数据。库里每个对象都有两个扫 描结果，分两次拍摄，两次拍照时间相差17.7周。

Contourlet变换是一种二维图像处理方法，而传感器采集到的数据不仅包含有彩色图像，而且有三维的深度信息，所以需要对数据做一定的预处理。

首先，耳洞检测方法找到人耳位置。然后，以耳洞为中心，取出人耳周围161×149像素的彩色图像和深度图像(仅Z通道)。在YCbCr彩色空间的Cr通道上，皮肤与头发的边缘最为明显，因此提取人耳彩色图像Cr通道的梯度，并进行阈值处理，把较小的梯度值直接置为0，只留下较强的边缘。同样的，对深度图像也提取梯度，也进行阈值处理，只留下较强的边缘。然后把两个梯度图像相加得到联合梯度图像，接着将联合梯度图像二值化，再把像素点少于一定值的连通小段清理掉，最后进行细化处理，便可得到边缘图像。

关于Contourlet域概率模型：

预处理得到的边缘里不仅含有耳朵的边缘，也含有头发的边缘。由于边缘图像中头发边缘的存在，会使提取的耳朵包含大量头发表面等非耳朵信息，使后续识别阶段的识别率大大降低。耳朵的边缘在特定位置具有特定的方向，比如说，在右下角边缘应该是约45度走向，正下方应该呈水平走向等。因此，为了确定边缘走向和位置的关系，我们在Contourlet变换域设计了一个的概率模型，以实现人耳的精确提取，其实现步骤如下所示：

Step 1.变换：对边缘图像做Contourlet变换，分解参数集设置为nlevs＝[2，3]。

Step 2.量化：通过阈值level(level＞0)将Contourlet系数量化为3 级，分别是小于-level的(量化为0)、介于-level和+level之间的(量化为1)以及大于+level的(量化为2)。在Contourlet变换域中的每个系数代表了图像该处一小段边缘的走向，由于相同子带的临近系数具有很大的相关性，为了更好的表示边缘分布关系，我们把每个子带划分为多个不重叠的2×2大小的块，每个块里有4个系数，故共有3⁴＝81种不同类型，用索引0，1，...，80表示，记为v。

Step 3.统计：记索引值为v的块在训练样本里出现的频数为C_n(x，y，v)，则该块的概率为

$P_n(x,y,v)=\frac{C_n(x,y,v)}{C_t}.$

在上式中，下标n表示子带序号，v为块类型索引值，(x，y)为块在第n个子带中的坐标，C_t为训练样本的总个数，通过对边缘图像中只包含耳朵边缘的图像进行统计，得到所有类型的块在所有子带各个位置出现的概率P_n(x，y，v)，获得概率表。

在应用上述模型进行边缘清理时，同样的，首先将边缘图像做Contourlet变换，在每个子带中把临近的2×2个系数组合成为一个块v，然后查找概率表，如果该块在(x，y)处出现概率少于某个阈值，说明该块为耳朵边缘的概率极小，那么就将这4个系数置为零。对Contourlet变换域的每个块做上述处理后，再进行Contourlet反变换，并对反变换后的结果重新二值化，便可得到处理后的边缘图像。

关于计算闭合的轮廓线：

计算处理后的边缘图像的凸壳作为耳朵轮廓线，填充轮廓线获得掩膜，利用这个掩膜在深度图像中挖出耳朵，作为 下一步人耳识别的基础。用Contourlet域概率模型将部分系数置为零，再反变换回来，重新二值化，最后计算凸壳，得到闭合的耳朵轮廓线。

下面说明具体操作过程：

首先训练出Contourlet域概率模型，然后应用Contourlet域概率模型提取耳廓。

Contourlet域概率模型训练步骤：

1.预处理：进行耳洞检测找到人耳位置，以耳洞为中心，取出人耳周围161×149像素的彩色图像和深度图像(仅Z通道)。分别提取Cr通道和深度图像的梯度得到G_Cr和G_r，先把G_Cr和G_r中比较小的梯度值置为0，再求和得到混合梯度G_mix，取一个阈值对G_mix二值化，把像素点少于一定值的连通小段清理掉，接着进行细化，所得结果称为边缘图像。

2.Contourlet变换：对边缘图像做Contourlet变换，分解参数集设置为nlevs＝[2，3]。

3.系数量化与组合：将Contourlet变换得到的系数量化为3级，相邻的4个系数组合成块。

4.统计，获得概率表：以块为单位，统计这种类型的块在这个位置出现的概率，结果保存在表格中。

5.对所有训练图像做上述步骤(1)～(5)，得到系数分布的概率表。

应用Contourlet域概率模型提取耳廓：

1.对测试图像做与训练步骤(1)、(2)、(3)相同的操作，得到系数组合成的块。

2.对于每个块，利用系数矢量的索引号v查找概率表，在概率表中，如果这种块在这个位置出现的概率小于某阈值，就将这个块的4个系数置为零，反之则保留。

3.反变换：对处理过的系数做Contourlet反变换。

4.二值化：对反变换结果重新二值化，实验中阈值取为0.5。

5.求凸壳：计算二值化的结果的凸壳，获得闭合的曲线，作为耳朵的边缘轮廓。

人耳提取结果的好坏可以用提取到的轮廓与真实人耳轮廓的Hausdorff距离来衡量，Hausdorff距离值越小，结果越精确。但是由于真实的人耳边界无法获得，我们用手动提取的人耳轮廓代替真实轮廓。对来自200个不同对象的400个样本(每个对象2个样本)做预处理，从中选出只包含耳朵边缘的部分边缘图像作为训练集建立概率表，使用这个概率表对这400个样本进行耳朵提取，并计算所提取结果与手动提取结果之间Hausdorff距离的平均值。

首先，本发明研究训练集大小与耳朵提取结果之间的关系。训练集个数依次设为10，20，……，90，100，测试集始终是400个样本。当训练集较小时，Hausdorff距离随训练集增大明显减小，当训练集个数大于80个后，距离值还在继续减小，但变化已经不再明显，所以在后面的实验中训练集个数就定为100个。

在训练集个数固定为100个的情况下，利用所提议的方法，对边缘图像进行了处理，由于改进的snake算法一方面需要在图像中低梯度的地方膨胀以到达高梯度的轮廓边缘，另一方面又需要停止在大面积低梯度的地方，防止往脸部膨 胀，所以有部分曲线容易收敛在耳朵上较为平坦的地方，结果获得的也往往是不完整的耳朵，这一点可以从附图9(a)中清楚地看出来。

最后，利用本发明方法的提取结果，在深度图像里取出三维人耳数据点，使用ICP算法进行人耳识别。400个样本来自200个不同的人，每个人都有两个样本，其中质量较高的作为模型在人耳库里注册，称为gallery，另一个用来测试，称为probe。人耳识别时，用ICP算法使probe跟库里的每个gallery逐一匹配，匹配误差最小的一对耳朵作为识别结果。为了加快识别速度，运行ICP算法时对probe进行了下采样，每四行和四列取一个数据点，gallery不做下采样。另外，本发明对使用snake算法提取的人耳做了识别，结果如表1所示。

表1，本发明方法、snake算法结果与手动方法提取人耳的结果和识别结果计较

通过比较，我们发现所提议的人耳提取算法与snake算 法相比，具有更好的效果，与手动提取的轮廓的Hausdorff距离平均仅为4.2象素，采用ICP算法进行识别时识别率达到95.5％，比用手动方法提取出来的耳朵做三维人耳识别得到的识别率仅仅低一个百分点。另外，不同于迭代的snake算法，我们提出的方法运算时间是固定的，由于Contourlet变换具有较高的运算速度，所以所提议的方法在运算时间上也具有较大的优势，参见表1。更进一步，本文提出的基于Contourlet变换的人耳提取算法，克服了snake算法的大量参数需要手动调整的难题，实现了自动的人耳精确提取。

Claims (4)

1.一种基于Contourlet变换的三维人耳提取方法，其特征在于，该方法步骤如下：

步骤1，训练Contourlet域概率模型：

(1)进行耳洞检测找到人耳位置，以耳洞为中心，取出人耳周围161×149像素的彩色图像和深度图像，所述深度图像为包含X、Y、Z三个通道的三维深度图像的Z通道的深度图像；

(2)分别提取所述彩色图像在YC_bC_r彩色空间的Cr通道的梯度和所述深度图像的梯度，并求两者的和，再将这个梯度和二值化，把像素点少于27的连通小段清理掉，接着进行细化，所得结果称为边缘图像；

(3)对所述边缘图像做Contourlet变换，将所述边缘图像分解成各个不同尺度上的子带，其分解参数集设置为nlevs；

(4)将Contourlet变换得到的系数量化为N级量化系数，在每个子带中，相邻的M个量化系数组合成块；将块总共分为N^M种不同类型，用索引号1，2，......N^M-1表示，记为v；

(5)以块为单位，统计类型为v的块在各个子带中的相应位置出现的概率，结果保存在表格中；

(6)对所有训练图像执行上述步骤(1)至(5)，得到系数分布的概率表；

步骤2，应用Contourlet域概率模型提取耳廓：

A、对测试图像做与所述训练步骤(1)、(2)、(3)、(4)相同的操作，得到量化系数组合成的块；

B、对于每个块，利用块类型的索引号v查找所述概率表，在概率表中，如果类型为v的块在各个子带中的相应位置出现的概率小于0.01，就将这个块的所有系数置为零，反之则保留；

C、对测试图像中经过步骤B处理过的系数做Contourlet反变换；

D、对所述反变换的结果通过阈值TH重新二值化；

E、计算所述重新二值化的结果的凸壳，获得闭合的曲线，作为耳朵的边缘轮廓。

2.如权利要求1所述的基于Contourlet变换的三维人耳提取方法，其特征在于，进行所述Contourlet变换时采用的参数集设置为nlevs＝[2，3]。

3.如权利要求1所述的基于Contourlet变换的三维人耳提取方法，其特征在于，所述Contourlet变换得到的系数的量化级数N取为3，相邻的组合成块的系数个数M取为4。

4.如权利要求1所述的基于Contourlet变换的三维人耳提取方法，其特征在于，对所述反变换的结果重新二值化时阈值TH取为0.5，大于阈值的反变换结果置为1，小于阈值的反变换结果置为0。

Images