CN101369309A - 基于主动表观模型和外耳长轴的人耳图像归一化方法 - Google Patents
基于主动表观模型和外耳长轴的人耳图像归一化方法 Download PDFInfo
- Publication number
- CN101369309A CN101369309A CNA2008102230873A CN200810223087A CN101369309A CN 101369309 A CN101369309 A CN 101369309A CN A2008102230873 A CNA2008102230873 A CN A2008102230873A CN 200810223087 A CN200810223087 A CN 200810223087A CN 101369309 A CN101369309 A CN 101369309A
- Authority
- CN
- China
- Prior art keywords
- ear
- people
- image
- shape
- prime
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
基于主动表观模型和外耳长轴的人耳图像归一化方法,属于图像处理技术领域。其特征在于,提出了一种全自动的人耳图像归一化方法。它首先采用主动表观模型AAM的方法构造出人耳的形状模型和纹理模型,其次通过模型拟合算法自动精确地提取出外耳轮廓,然后经过计算找出外耳长轴,最后利用长轴提供的人耳大小和方向信息对图像进行归一化处理。应用本发明所述的方法,可以对人耳图像进行自动的归一化处理,提取到的外耳轮廓完整、拟合度好,为后续工作提供了良好的基础。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种人耳图像的归一化方法
背景技术
国际安全形势的日趋复杂化对身份验证的需求与日俱增。相对于传统方法,基于生物特征的身份识别具有更好的安全性、可靠性和有效性,受到了人们的普遍重视,并开始进入我们社会生活的各个领域。人耳识别作为一种新型的生物特征识别技术,具有不受表情因素影响、可隐蔽性操作、非接触式采集、图像采集成本低等优点,因此有着较强的应用价值。人耳识别技术的研究内容主要涉及人耳图像的自动采集、定位和分割、人耳图像特征的选择与提取、分类识别等。在采集图像过程中,由于摄像系统的位置变化、光照影响等因素,我们获取到的图像不可避免的产生平移、缩放、旋转等几何畸变和灰度范围上的波动。为了减轻这些因素的影响,提高图像质量,保证后续特征点的位置准确度,提高特征识别效果,图像归一化成为人耳识别中必不可少的步骤。目前的人耳图像归一化均是以人耳几何特征为基础的。最早期的Alfred Iannarelli将人耳图像投影到标准画板上的指定区域,然后通过调整放大设备逐步调整人耳图像直至人耳图像和模板匹配。该方法需要人全程参与,自动化程度低。Chang K等人在“基于生物表观模型的人耳和人脸图像的比较和联系”(Chang K,Bowter W,Sarkar S,Victor B.Comparison and Combination of Ear and Face Images in Appearance-BasedBiometrics[J].IEEE transactions on PatternAnalysis and Machine Intelligence,25(9):1160-1165)一文中通过手动标定三角窝和对耳屏两点的方法来对人耳图像归一化。但是并非所有人耳图像都可以清晰地辨别这两个点,而且不同时间拍摄的同一人耳也可能标记出不同的对耳屏。有些文献还提出了一种基于外耳轮廓的起点和终点标记法,即将两点连线的长度及其方向作为人耳大小和方向进行归一化。但是这样分割出的耳朵可能丢失或增加一部分信息,不能真正完整的沿外耳轮廓分割出来。
传统的人耳归一化方法通常都是手动操作图像编辑软件将人耳缩放、切割和旋转,这种方法工作量大,并且精度低。借鉴人脸中比较有效的归一化方法,本发明提出了基于AAM(主动表观模型)的外耳长轴归一化方法。AAM的前身是1995年cootes等人在“Active ShapeModels-Their Training and Application”(T F Cootes,C J Taylor,D H Cooper,et al.Active ShapeModels-Their Training and Application.Computer Vision and Image Understanding,1995,61(1):38~59)提出的ASM(Active Shape Models:主动形状模型),它采用参数化的采样形状来构成对象形状模型,并利用PCA(主元分析)方法建立描述形状的控制点的运动模型,最后利用一组参数来控制形状标志点的位置变化从而逼近当前对象的形状,由于该方法只单纯利用对象的形状,因此准确率不高。Cootes等又于1998年在“Interpreting face images using active appearancemodels”(G J Edwards,C J Taylor,T.F.Cootes.Interpreting face images using active appearancemodels.In:Proceedings of 3rd IEEE International Conference on A FGR.Nara,JAPAN:1998,300-305)提出了AAM(Active Appearance Models:主动表观模型),改进之处在于,它同时利用了对象的形状和纹理信息,因而提取轮廓的成功率较高。而且它也是一种动态轮廓提取方法,通过相应的拟合算法不断调整生成新的AAM模型实例与目标对象进行匹配,直到能和该对象真正吻合,因此能实现目标图像轮廓的自动提取。
发明内容
本发明的目的和要解决的问题是在于提出一种针对人耳图像的全自动的较精确的归一化方法——基于主动表观模型和人耳长轴的归一化方法,来获得姿态和光照等条件较为标准的图片样本,为后续的特征提取和识别创造良好的条件。
本发明的技术方案为:
首先使用AAM自动地精确检测到外耳轮廓的精确位置,并将之分割出来,然后通过计算找出外耳长轴,最终利用长轴提供的人耳的大小和方向信息对图像进行归一化处理,方案流程如附图1所示。
具体技术方案如下:
1.形状模型的建立
1.1 标定模型的特征点
由于外耳轮廓近似椭圆,在标定时,特征点基本上是沿外耳轮廓线均匀分布的。如附图2所示。如果一幅图像是在d维空间,并且用n个点来标定形状,那么我们将这些点的位置坐标相互连接便组成一个n×d个元素的形状向量。例如在一幅二维图像中,我们将n个标识点表示为{(xi,yi)},其中1≤i≤n,那么整个形状向量就是一个2n个元素的向量,表示形式为:
s=(x1,y1,x2,y2,L xn,yn)T。
如果给定N个训练样本,那么我们就可以得到N个这样的向量s,从而组成一个2n×N维的训练集S。
由于图像中物体的形状和位置会存在较大偏差,因此在对训练集中所有形状向量进行统计分析之前,有必要用相似性变换对其进行标准化处理。
1.2 相似性变化
任意抽取S中两个向量s1和s2,其中
s1=(x11,y11,x12,y12,L,x1n,y1n)T
s2=(x21,y21,x22,y22,L,x2n,y2n)T
标准化的过程就是通过将s2进行变换T(·),使s1和s2所代表的目标轮廓中对应边界点的距离平方和最小,即使误差E值达到最小。
可将代表两个形状的向量s1和s2看作二维空间里的两个点,那么这两个点之间的距离平方和E可以看作是这两个向量的加权距离,表示为:
用矩阵形式表示为:
其中,加权矩阵
W=(w1x,w1y,w2x,w2y,L,wnx,wny)T
对于T(·)的选取,采用计算机图形学中常用的相似性变换方式,选取三个变换因子:伸缩因子S%,旋转因子θ和位移因子t,如下式表示:
其中
现在以两个形状向量s1和s2为例,以s1为基准,将s2做相似性变换,可得到:
令
则 代到 式中,可以得出:
E=(AZ-s1)TWTW(AZ-s1)
现在标准化的过程就可以转换为求使E取得最小值的Z的解的过程,也就是要求WAZ=Ws1的最小二乘解。用最小二乘法求解,可以得出:
Z=(ATWA)-1(ATWs1)
因此
θ=arctg(ay/ax)
又因为 ,因此得出:
1.3 建立形状模型
由1.2得到训练集中标准化后的第i个形状向量si,这个向量是2n维的,因此对应2n维空间内的一个点,同理,N个标准化后形状的向量集S就对应2n维空间的N个点。假设这N个点在2n维空间里的分布包含在一个有限的区域范围内,那么这样一个区域被称为容许形状域(ASD)。
下一步,找到一个能够反映由2n维空间中的N个点的变化规律。通过运用主成分分析法(PCA),可得到一组新的变量,称为主成分。第一主成分是该空间内的一个主轴,通过将所有观察对象映射到这个轴上,可形成一个新的变量,它代表了形状变化的最大值。第二主成分是该空间内的另外一个主轴,与第一主轴正交,投影到这个轴上的变量代表形状第二大变化的趋势。主成分中选取最大的几个元通常就可以在很高的比例上描述出原始数据的全部变化信息,因此,可以通过选择主元个数适当降低模型的维数,减少变量的数目(即小于2n)。降维后,可以用主成分的线性组合来表述每一个标定点向量,而且,任意两个向量之间的差和所有向量的均值都可以用主成分的线性组合来表示。
将均值向量记为s0,向量si和s0的差值向量记为dsi,则
dsi=si-s0
其中, 图像形状中的标记点的协方差矩阵记为
将差值向量dsi表示为主成分的线性组合的形式,则
dsi=ri1p1+ri2p2+L+ri2np2n
这里,Pi是第l个主成分轴或向量,ril是一个标量,对应第i个形状在Pi上的权重。主轴经过了长度的归一化,即Pi TPi=1,且相互正交:
因此,我们可以写成:
si=s0+dsi
dsi=RiPi
其中,Ri=diag(ri1,ri2,L,ri2n)是特征系数,pi=[pi1Lpi2n]是特征向量。
由此得到:
si=s0+RiPi
之所以要进行主成分分析,目的在于减少数据的维数,用尽可能少的变量来描述变化量。所以,可将代表形状的N个形状向量表示为形状均值s0与部分主成分加权积的和。假设2n个主成分中的前t个所表示出的数据的变化信息与原始数据表达出的所有变化信息之比已经足够高,达到预先设定的一个比例门限,比如95%,则形状的2n维分布在第t+1个主成分及其后面主成分的方向上具有小宽度。于是通过选择前t个最大特征值对应的特征向量就可以将原始高维数降到t维。
2.纹理模型的建立
为建立反映人耳全局纹理变化规律的统计模型,首先需要获取人耳库中人耳形状轮廓区域内所有像素的灰度值,也就是提取形状无关的纹理值向量,然后利用主成分分析的方法对形状无关的纹理进行分析建模。统计模型的建立需要分五个步骤,首先是对形状模型做三角剖分,其次进行图像弯曲以获取样本图像中的信息;然后是样本图像集的归一化处理;最后是对归一化处理的数据进行统计分析和建立统计模型。
2.1 三角剖分的建立:
为了建立纹理模型,需要获取训练集图像中选定图像的纹理向量。由于人耳形状的不规则性,无法直接从人耳中获取纹理向量,但可将该人耳划分成若干小三角形,然后依序读取每个三角形内部的纹理并按照一定顺序保存下来,从而得到每个人耳的纹理。这里采用三角剖分的方法建立人耳的纹理模型。
三角剖分定义为:给定平面上的n个点的集合p={pi,i=1,2,L,n},两点连线组成线段集合ξ={pipj|pi,pj∈p且i≠j},在P上定义图形T(p)=(pT,ξT),其中,PT表示n个形状点集,ξT是线段集合的最大子集且满足除端点外的任意两线段互不相交的条件,则称T为P上的三角剖分。按照三角剖分思想,须将人耳平均模型做剖分,剖分后如附图4所示。其中,我们使用了58个特征点将一个人耳剖分成90个三角形。
2.2 图像的扭曲
首先我们固定一个标准外形轮廓,由于不同人耳的形状不同,且纹理向量中的元素个数不同,又因为同一下标位置的元素代表的灰度值在图像中的空间位置不存在对应关系,因此需要对人耳中的部分图像做扭曲处理,使得所有纹理向量都归一到同一个外形轮廓中。三角剖分后,人耳图像就是由三角集合组成的。对图像进行扭曲操作,首先需要选择图像中的某些控制点,并试图将其扭曲变换到新的图像中。例如,将一幅图像中的人耳部分进行拉长操作需要首先标识出人耳的外形轮廓,并且需要预先获得人耳拉长之后轮廓的控制点坐标。
通过轮廓控制点对,可以建立扭曲变换。假设待扭曲图像为Gi,基准图像为G0,通过将Gi中的非控制点映射到G0中,便可以完成图像的扭曲工作。具体叙述如下:
假设对图像Gi进行扭曲操作,满足限制条件:图像Gi中的n个控制点{ci}(i=1,2,L,n)被映射到新的控制点{ci’}(i=1,2,L,n),亦即满足如下条件。
f(ci)=ci′
从以上叙述可以看出,图像扭曲的重点在于借助控制点对来建立映射关系。这里通过使用分段仿射变换来建立映射关系,其基本原理如下:
如图5所示,假设三角形I的三个顶点分别为P1,P2和P3,则该三角形内部的任何点的坐标P都可以表示为:
P=αP1+βP2+γP3
且满足:α+β+γ=1,因为P在三角形内部,所以0≤α,β,γ≤1。那么对应的在基准的三角形网格内的像素p′也可以用类似的方式来表达:
P′=αP1′+βP2′+γP3′
其中,P1′,P2′和P3′是对应的基准的三角形网格内的三个顶点。因为P的映射坐标是已知的,而且各个三角形网格的顶点的坐标也是已知的,所以,可以通过求解α,β,γ的值来求得所需要的变换。假设P=[x,y]T,P1=[x1,y1]T,P2=[x2,y2]T,P3=[x3,y3]T,且α,β,γ的值可通过下式确定:
α=1-(β+γ)
这样建立的表观样本都是在平均表观的基准表格中采样的,可以消除旋转、缩放、平移,达到归一化的目的。在实际应用中,对于每一个象素点,首先判断其属于哪个三角形,然后按照以上映射定义进行图像扭曲操作。三角形I变形到三角形I′的过程如附图5所示。
2.3 纹理向量的获取:
在使用三角剖分之后,获取人耳的纹理过程便被划分为求取组成该图像的小三角形纹理的过程。通过对各种形状的三角形所做的分析,可将任何三角形归类为附图6和附图7所示的两种类型中的一种。对于附图6和7,(a1,b1)、(a3,b3)分别是三角形的上下两个端点,(a2,b2)是第三个端点,通过(a2,b2)的水平直线与三角形相交于(a4,b4)。获取纹理向量分为两种情况,首先判断剖分得到的任意小三角形属于附图6和7中的哪种类型。判断的依据是:如果b3<b2则属于第一种情况(附图6),反之属于第二种情况(附图7)。判断完成之后,可用下面方法得到纹理向量。对于情况1,伪码如下:
Gettexture()
{
x=a1+1;
while(a1<x<a2)
{
计算线段X=x与线段((a1,b1),(a3,b3))和((a1,b1),(a2,b2))的交点A和B;
沿线段AB读取图象的灰度值保存至纹理向量中;
x=x+1;
}
while(a2<x<a3)
{
计算线段X=x跟线段((a1,b1),(a3,b3))和((a1,b1),(a2,b2))的相交点C和D;
沿线段CD读取图像的灰度值并保存至纹理向量中;
x=x+1;
}
}
对于情况2,只需将线段((a1,b1),(a3,b3))和((a1,b1),(a2,b2))的位置颠倒即可。
2.4 归一化处理
有了形状无关的纹理图像,需按照某一固定顺序取形状无关的纹理图像中每一个像素的灰度值,生成一个向量A=g1,g2,L,gn。其中,n为形状无关的纹理图像中所有像素点的个数,为克服整体光照不同带来的影响,需对形状无关的灰度向量进行归一化处理。所谓对灰度向量归一化,就是要生成均值为0,方差为1的灰度向量。设A′为归一化后的表观样本,a是伸缩因子,b是位移因子,则归一化可描述为:
A′=[(g1-b)/a,(g2-b)/a,(g3-b)/a,L,(gn-b)/a]
其中:
α=σ
2.5 利用PCA建立纹理模型:
同形状的统计模型一样,这里采用主分量分析(PCA)来建立纹理的统计模型,对这些纹理向量进行主分量分析,一个纹理样本可以通过以下方式得到:
这里的A0是平均纹理向量,Ai是第i个主成分向量,λi是相应的纹理模型参数。
3.AAM模型的拟合计算
算法的目的是为了实现将模板图像对齐到输入图像中去,使得模板图像T(x)与输入图像I(x)的误差最小,其中(x,y)T是像素坐标的列向量。这里使用反向组合算法进行拟合。在光流和视频序列中,图像是随着时间变化的,如从时间t=1到时间t=2,这种情况下模板是从时间t=1时的图像中抽取的子区域,而输入图像I(x)是t=2时的图像。W(x;p)是表示将模板图像T中对应的像素x的光强信息映射到图像I中与像素x对应的仿射变换的位置,而p=(p1,p2,K pn)T是一个矢量参数。反向组合算法在W的基础上进行更新:
W(x;p)←W(x;p)oW(x;Δp)-1
其中W(x;0)点即为x点,T(W(x;0))即为I(x),再对下式求导,令其为零,最后得到变量Δp的表达式为:
其中H是Hessian矩阵: 是对模板求梯度,是在W(x;0)点即为x点的Jacobian式,这样使得Hessian矩阵和梯度值与位置变量Δp无关,可以提前计算,避免了在迭代中的反复运算,提高了算法的效率。
利用AAM进行拟合计算的方法是将AAM的模型实例拟合到输入图像上去,使得利用输入图像与模型实例差的平方和构造的能量函数最小化的过程。
从前面对AAM模型实例建立的描述中可知AAM形状向量是通过对训练图像归一化后的形状进行PCA计算而得到的,它滤除了形状网格全局的位移、旋转和大小变化,因此这样建立的AAM形状模型没有对模型形状的全局位移、旋转和大小进行描述,但是在进行AAM拟合计算时,AAM模型的拟合目标即当前的输入图像因为采样的角度和位置不同往往存在这样的位移、旋转和大小变化,因此需要将全局形变引入到AAM拟合计算中。
定义N(x;q)为二维AAM的全局形状变化函数:
其中参数q=(a,b,tx,ty),前面两个参数a和b与全局形状变化的大小k和旋转θ有关:a=kcosθ-1,b=ksinθ,后面两个参数tx和ty就是位移x和y。在不考虑全局形变时,就默认q=0。在这里T(x)=A(x),这样AAM拟合计算的目的用数学公式进行表达就是求 的最小值,其中λ为表观参数,它控制着AAM模型的表观变化;p为AAM线性形状参数,它控制着AAM模型形状控制点的局部变化;q为全局形状变形映射参数,它控制着形状的全局形变,例如:x和y坐标轴方向上的位移,形状的整体大小变化,旋转的变化都由q值来控制。AAM的拟合过程就是通过不断变化参数组p,q和λ值使得输入图像与AAM模型实例间的能量函数式最小化的过程。
将上式用二范数的形式进行表达,再将其张到Ai向量空间span(Ai)和与Ai垂直向量子空间span(Ai)⊥,这样表达式变化为
再将上式中模板和输入图像的角色进行调换,再进行泰勒展开和求导,最后得到Δp和Δq的表达式
k=1,L,n+4
其中H是Hessian矩阵:
SDk分SDj和SDj+4两部分:
其中n表示按对应特征值大小排序后取前n个形状向量的n值,m值表示相应特征值大小排序后取前m个表观向量的m值。
参数进行了更新,如下式:
(NoW)(x;q,p)←(NoW)(x;q,p)o(NoW)(x;Δq,Δp)-1
因为是对已知的平均表观求梯度,,都是在点W(x;0)即为x点的Jacobian式,Ai(x)是已知的表观向量,所以SDk和H都可以提前计算。利用反向组合算法进行AAM拟合计算,大大减少了迭代运算量,使得AAM的速度明显加快。
4.基于长轴的人耳图像归一化
在运用主动表观模型算法得到外耳轮廓特征点的位置坐标后,就可以根据这些特征点的位置对人耳图像进行归一化。归一化的效果直接影响特征提取和识别效果的好坏。良好的归一化方法应尽可能多的保留人耳原有的结构比例信息和灰度信息。此处采用基于外耳长轴的方法将图像进行归一化。
外耳长轴是指外耳轮廓上距离最长的两点之间的连线。它相对整个人耳来说,具有缩放、平移和旋转不变性。无论人耳相对于摄像头的距离、位置和角度如何变化,外耳长轴相对于整个人耳的比例和位置都不会发生变化。因此,将外耳长轴作为归一化的标准,能够合理的分割出人耳,保证归一化后的图像的特征仍保持不变。获取人耳长轴的方法为:
a.任意取轮廓上一点坐标P,计算轮廓上所有点与它的距离,记取距离最大者;
b.取步骤a中所述点P邻近的一点Q,按步骤a所述方法计算最大距离;
c.重复步骤b,直到遍历完轮廓上的所有坐标点;
d.取距离最大的两个点为长轴的端点。
得到人耳长轴后,对人耳的归一化分三个步骤:旋转归一化,尺度归一化和光照归一化。
4.1 基于长轴的旋转归一化
计算长轴与竖直方向的夹角θ,并依此角度对人耳图像进行旋转,使外耳长轴呈竖直。
4.2 基于长轴和人耳长宽比的尺度归一化
旋转归一化完成后,我们须对图像进行切割,并进行尺度归一化,这样才能保证由人耳图像得到的列向量维数相等,便于后续进行特征提取。通过统计发现,人耳的高宽比均值为1.6575。因此在进行尺度归一化时,将人耳缩放为96×160像素大小是合适的。
具体的方法是:如附图9和10,计算长轴AB的长度,并按比例缩放图像,使所有图像中长轴的长度都等于一个特定值160像素;再按外耳轮廓的最左点C和最右点D用一个矩形将人耳分割出来;最后进行缩放,统一的尺度为:96×160像素大小。但当人耳高宽比太小或太大,缩放至统一尺度时会导致较大形变。所以首先定义人耳长宽比的一个限定范围α(α由经验确定为0.3),认为人耳长宽比在[均值-α,均值+α]之间的图像基本上符合比例标准,因此在归一化时按附图9所示,取其人耳左边界线和右边界线,分割后直接缩放;而长宽比在此范围之外的图像,采取另一种方法:在分割时保持矩形左边界不变,右边界取的是D点所在边界线l1和标准宽度l2(按长宽比均值这个比例得到的矩形右边界线)的中线,如附图10所示,这样分割后再进行缩放,既保证人耳不会发生太大的形变,又不至于丢失或增加太多信息。
4.3 光照归一化
在尺度和旋转归一化之后,还要实现光照归一化,以尽量减轻光照因素对图片的影响。此处,利用直方图均衡化的方法进行光照归一化,此方法在各种应用编程软件中均有对应函数以供使用。
至此,人耳图像的自动归一化过程结束。
本发明和现有技术相比所具有的优点是:
(1)提出了利用AAM(主动表观模型)的人耳轮廓提取方法,与传统的人耳图像需要手动参与相比,本发明能够实现人耳轮廓的自动提取,使提取时间和效率得到明显提高。与ASM(主动形状模型)相比,AAM提取的精度更高,效果更好。
(2)提取出轮廓以后,利用人耳长轴对图像进行旋转、尺度的归一化,并使用灰度直方图进行光照的归一化,归一化的图片质量较好,为人耳身份鉴别系统中后续的特征提取等环节提供了良好的基础。
附图说明
图1:人耳归一化流程图
图2:人耳轮廓特征点标定顺序示意图
图3:训练集平均形状示意图
图4:人耳三角剖分示意图
图5:分段线性仿射示意图
图6:第一类三角形形状示意图
图7:第二类三角形形状示意图
图8:平均纹理模型示意图
图9:人耳长宽比标准时的分割和缩放示意图
图10:人耳长宽比非标准时的分割和缩放示意图
图11:归一化后的结果示例示意图
具体实施方式
本发明对人耳归一化的所有操作均是基于PC机,并在Matlab 7.0开发环境下进行软件设计。以下结合附图和具体的实施例对本发明作进一步的详细说明:
1.建立模型
1.1 标定训练集的特征点
训练集中每个样本图像都是静态的二维灰度图像,每幅图像采用58个特征点进行标定。在标定时,其中24点沿外耳轮廓线分布,34个点沿内耳轮廓线分布。在对训练集中的一幅图像标定时,标定点通常应该被放置在目标边界的拐角处,或是一些很容易被定位的具有明显特征的位置。但是只依靠这些明显的标志点是远远不够的,这些点往往过于稀疏不足以描述目标对象的形状特征,所以,需要在这些点中间增加适当数量的点,并使它们平均分布于特征点之间从而构成描述图像形状的完善的标定点集,这样就构成了构成描述图像形状的完善的标定点集。我们在标定特征点时,要求每幅图像上特征点的方向、顺序严格一致,如附图2所示,其中标号为1,21,24,25,40,41,45,50和58的特征点为主要特征点,而其余的特征点为次要特征点,均匀分布在主要特征点之间。
1.2 建立形状模型
(1)构造形状向量
标定好特征点之后,每个图像中的人耳形状可以表示为:
si=(xi1,L,xin,yi1,L yin)T,(i=1,L,N)
其中,N为样本图像的个数(本文中N=231),(xij,yij)为第i个样本的第j个特征点的坐标值,n为模型的特征点个数(本文中n=58)。这样对于所有训练图像可以建立一个2n×N维的矩阵:
S=(s1,s2,L,sN)
(2)对形状向量标准化处理
标定完成之后,须采用相似性变换的方法将这231个形状向量进行相互对准。对于训练集中的所有形状,标准化的过程其实也就是两两之间的相似性变化过程。整个标准化的流程为:首先,选用s1向量为基准,将其余的N-1个形状向量作相似性变换,使其分别与s1对准,得到新的向量 将这些向量求均值,得到一个均值向量Meansal将这个向量再向s1对准,得到新的向量snew。以snew为基准,再将sa1的每一列进行标准化,得到新的向量 检验一下看是否收敛,若收敛,则sa即为最终的标准化后的形状向量组;若不收敛,则取sa1=sa,重复上述的求均值、标准化等操作,直到最后形状收敛。在这里,收敛的含义就是标准化过程中的伸缩因子s,旋转因子θ和位移因子t的值都局限在很小的值内,即形状的变化可以控制在某个预定义的范围之内。本文中这几个阈值范围为:
这样,经过形状对准之后,就消除了全局的位移、旋转和大小变化。
(3)建立形状模型
使用PCA方法建立形状模型的步骤如下:
Step1:计算形状向量均值s0:
Step2:计算协方差矩阵
Step3:计算协方差矩阵的特征值λi和相应的特征向量pi
Step4:将得到的特征值按降序排列,即:
λi>λi+1,(i=1,L,2n-1)
λi对应的特征向量为pi,我们使前t个特征值占所有2n个特征值之和的比例不小于0.95,即: 那么就得到一个表述样本的先验模型s,形如:
s=s0+RP
其中,R为特征参数向量,P为相应2n×t维特征向量矩阵,即:
R=diag(r1,r2,L,rt),P=[p1,p2,L,pi]
在本文的实验中,求解得到t的值为13,调整参数R的值,形状向量s也发生相应的变化,代表了不同的人耳形状。但R的变化不能太大,至少保证得到的形状不能脱离人耳的基本形状。附图3是我们训练得到的平均形状。
1.3 建立纹理模型
(1)对平均形状模型进行三角剖分
通过连接特征点的方法将平均人耳形状模型划分成90个小三角形的集合,如附图4所示。
(2)以每个三角形为单位,通过图像扭曲,将人耳变形到平均人耳上。
(3)取形状无关的纹理图像中每一像素的灰度值,生成一个纹理向量A=g1,g2,K,gn
(4)对形状无关的纹理向量进行归一化处理以克服整体光照不同带来的影响。
(5)利用PCA建立纹理模型
采用主分量分析来建立纹理的统计模型。这样,我们就得到了纹理模型 这里的A0是平均纹理向量,Ai是第i个主成分,λi是相应的纹理模参数。平均纹理模型如附图8所示:
2.模型拟合
本系统实现的是反向组合的AAM拟合算法,利用反向组合进行AAM拟合计算使得Hessian值可以提前计算,因此本系统的AAM拟合模块分为拟合预计算和拟合迭代计算两个子模块,下面详细介绍这两个子模块。
2.1 拟合预计算
拟合预计算是根据算法原理,结合已建立的AAM模型,提前计算拟合部分需要应用的Hessian值。拟合预计算的输入数据为:平均表观A0,平均形状s0的三角化网格,形状向量si,对应的形状特征值数目n值,表观特征向量Ai,对应的表观特征值数目m值,仿射映射表等参数。拟合预计算的输出数据:不同尺度条件下的Hessian值和相关结果。
2.2 拟合迭代计算
拟合迭代计算模块的输入数据为:形状参数p,全局变化参数q,平均形状s0,形状向量si,输入的测试图像I,平均表观A0,不同尺度下的Hessian值,平均形状s0的三角化网格,仿射映射表,迭代次数和相应的一些参数。拟合计算模块的输出数据为:定位完成后得到的p值和q值以及定位的结果。
在具体实现时,我们通过matlab中的拟合函数fit(img,tmplt,app_img,p_init,n_iters)将模版tmplt拟合到输入图像img上。不断调整生成新的AAM模型实例与待定位的对象进行匹配,直到生成的模型实例能和该对象相匹配从而定位出特征点。
3.基于长轴的人耳归一化
3.1 人耳图像长轴的获取
首先计算外耳轮廓上任意两个特征点之间的距离,以距离最大的两点坐标作为外耳长轴的两个端点。然后计算长轴与竖直方向的夹角θ,并依此角度对人耳图像进行旋转,使外耳长轴呈竖直。
3.2 人耳图像的切割及尺度归一化
计算长轴AB的长度,并按比例缩放图像,使所有图像中长轴的长度都等于一个固定值160像素。然后定义人耳长宽比的一个限定范围α=0.5,对于人耳长宽比在[均值-α,均值+α]之间的图像在归一化时按附图9所示分割后直接缩放;而长宽比在此范围之外的图像,在分割时保持矩形左边界不变,右边界取的是D点所在直线l1和标准宽度l2(按长宽比均值这个比例得到的矩形右边界线)的中线,如附图10所示,这样分割后再进行缩放,既保证人耳不会发生太大的形变,又不至于丢失或增加太多信息。缩放时使用Matlab中的resize()函数将分割好的人耳图像调整至96×160像素大小。
3.3 人耳图像光照归一化
使用Matlab中的histeq()函数进行光照归一化。
本实施例对人耳图像归一化的部分结果如附图11所示。可以看到,本发明提出的方法能有效地对人耳图像实现自动的归一化,可以达到实际应用的要求。
Claims (8)
1.基于主动表观模型和外耳长轴的人耳图像归一化方法,其特征在于:包括人耳轮廓自动提取过程和利用人耳长轴归一化过程两部分,步骤如下:
第一步,建立人耳的平均形状模型;
A.沿外耳轮廓线均匀标定n个点来表现形状,在二维空间,这些点位置坐标相互连接组成一个n×2个元素的形状向量,给定N个样本,就得到一个2n×N维的训练集S;
B.对形状向量进行相似性变化,使得各自代表的目标轮廓中对应边界点的距离平方和最小;
C.使用主元分析PCA的方法得到人耳的基本形状向量s;
第二步,建立人耳纹理模型;
A.对平均形状模型进行三角剖分,连接标定特征点,连接线不能交叉,将平均人耳形状模型划分为小三角形的集合;
B.以每个三角形为单位,通过图像扭曲,将人耳变形到平均人耳上;
C.取形状无关的纹理图像中每一像素的灰度值,生成一个纹理向量A=g1,g2,K,gn;
D.对形状无关的纹理向量进行归一化处理以克服整体光照不同带来的影响;
E.利用PCA建立纹理模型;
第三步,利用反向组合算法进行AAM模型的拟合计算;
第四步,利用人耳长轴进行图像的归一化处理;
A.对提取出的外耳轮廓自动计算得出长轴端点坐标:首先计算外耳轮廓上任意两个特征点之间的距离,以距离最大的两点坐标作为外耳长轴的两个端点;然后计算长轴与竖直方向的夹角θ,并依此角度对人耳图像进行旋转,使外耳长轴呈竖直;
B.利用长轴的斜度进行人耳旋转归一化;
C.利用人耳长轴的长度和人耳长宽比进行尺度的归一化;
D.对图像进行光照归一化。
2.根据权利要求1所述的归一化方法,其特征在于:所述的建立人耳平均形状模型,对形状向量进行相似性变化,具体的实现如下:
a.任意抽取S中两个向量s1和s2,其中
s1=(x11,y11,x12,y12,L,x1n,y1n)T
s2=(x21,y21,x22,y22,L,x2n,y2n)T;
b.以s1为基准,将s2做相似性变换,得到:
其中,A的求法为:
则 其中,Z的求法为:Z=(ax,ay,tx,ty)T=(ATWA)-1(ATWs1),加权矩阵W=(w1x,w1y,w2x,w2y,L,wnx,wny)T。
3.根据权利要求1所述的归一化方法,其特征在于:所述的建立人耳的平均形状模型中,使用主元分析PCA的方法得到人耳的基本形状向量s,具体实现步骤如下:
a.求形状平均向量
b.求形状标记点的协方差矩阵
c.得到形状向量si=s0+RiPi,其中,Ri=diag(ri1,ri2,L,ri2n)是特征系数,pi=[pi1Lpi2n]是Bs的特征向量。
4.根据权利要求1所述的归一化方法,其特征在于:所述的建立人耳的纹理模型,通过图像扭曲,将人耳变形到平均人耳上,具体过程如下:
假设待扭曲图像为Gi,假设P=[x,y]T,P1=[x1,y1]T,P2=[x2,y2]T,P3=[x3,y3]T,P1,P2和P3是待扭曲图像的顶点,则,P=αP1+βP2+γP3,α,β,γ的值通过下式确定:
α=1-(β+γ)
5.根据权利要求1所述的归一化方法,其特征在于:所述的建立人耳的纹理模型,对形状无关的纹理向量进行归一化处理,具体方法为:
按照某一固定顺序取形状无关的纹理图像中每一个像素的灰度值,生成一个向量A=g1,g2,L,gn,其中,n为形状无关的纹理图像中所有像素点的个数,设A′为归一化后的表观样本,a是伸缩因子,b是位移因子,则归一化描述为:
A′=[(g1-b)/a,(g2-b)/a,(g3-b)/a,L,(gn-b)/a]
其中:
a=σ
6.根据权利要求1所述的归一化方法,其特征在于,所述利用人耳长轴进行图像的归一化处理中,自动提取外耳轮廓长轴,具体实现如下:
a.任意取轮廓上一点P的坐标,计算轮廓上所有点与它的距离,取距离最大者;
b.取步骤a中所述点P邻近的一点Q,按步骤a所述方法计算最大距离;
c.重复步骤b,直到遍历完轮廓上的所有坐标点;
d.取距离最大的两个点为长轴的端点。
7.根据权利要求1所述的归一化方法,其特征在于,所述利用人耳长轴进行图像的归一化处理中,计算长轴与竖直方向的夹角θ,并依此角度对人耳图像进行旋转,使外耳长轴呈竖直。
8.根据权利要求1所述的归一化方法,其特征在于,所述利用人耳长轴进行图像的归一化处理中,利用人耳长轴的长度和人耳长宽比进行尺度的归一化,具体是:
a.计算长轴AB的长度,并按比例缩放图像,使所有图像中长轴的长度都等于一个特定值:160像素;
b.人耳分割:定义人耳长宽比的一个限定范围α,当人耳长宽比在[均值-α,均值+α]之间,取其人耳左边界线和右边界线进行分割;当长宽比在此范围之外的图像,在分割时保持矩形左边界线不变,取右边界线l1和标准宽度l2的中线,然后分割;
c.将分割好的耳朵按线性插值法调整至96×160像素大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102230873A CN101369309B (zh) | 2008-09-26 | 2008-09-26 | 基于主动表观模型和外耳长轴的人耳图像归一化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102230873A CN101369309B (zh) | 2008-09-26 | 2008-09-26 | 基于主动表观模型和外耳长轴的人耳图像归一化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101369309A true CN101369309A (zh) | 2009-02-18 |
CN101369309B CN101369309B (zh) | 2011-08-24 |
Family
ID=40413119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102230873A Expired - Fee Related CN101369309B (zh) | 2008-09-26 | 2008-09-26 | 基于主动表观模型和外耳长轴的人耳图像归一化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101369309B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831390A (zh) * | 2012-07-02 | 2012-12-19 | 北京科技大学 | 一种人耳认证系统及方法 |
CN103971112A (zh) * | 2013-02-05 | 2014-08-06 | 腾讯科技(深圳)有限公司 | 图像特征提取方法及装置 |
CN105320919A (zh) * | 2014-07-28 | 2016-02-10 | 中兴通讯股份有限公司 | 人眼定位方法及装置 |
CN106846338A (zh) * | 2017-02-09 | 2017-06-13 | 苏州大学 | 基于混合模型的视网膜oct图像视乳头结构分割方法 |
EP3351172A4 (en) * | 2015-09-14 | 2019-04-17 | Yamaha Corporation | EAR FORM ANALYSIS METHOD, EAR FORM ANALYSIS DEVICE, AND EAR FORM MODEL GENERATION METHOD |
CN109784346A (zh) * | 2018-12-04 | 2019-05-21 | 广东智媒云图科技股份有限公司 | 一种剪影图像的筛选方法、电子设备以及存储介质 |
CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
CN111261187A (zh) * | 2020-02-04 | 2020-06-09 | 清华珠三角研究院 | 一种将语音转换成唇形的方法、系统、装置和存储介质 |
CN113487542A (zh) * | 2021-06-16 | 2021-10-08 | 成都唐源电气股份有限公司 | 一种接触网导线磨耗区域的提取方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070036414A1 (en) * | 2005-08-15 | 2007-02-15 | Siemens Corporate Research Inc | Method for database guided simultaneous multi slice object detection in three dimensional volumetric data |
EP1772827A2 (en) * | 2005-10-05 | 2007-04-11 | Siemens Medical Solutions USA, Inc. | Method and apparatus for the rigid registration of 3D ear impression shapes with skeletons |
CN101014967A (zh) * | 2004-09-08 | 2007-08-08 | 皇家飞利浦电子股份有限公司 | 用于自动耳识别的特征提取算法 |
CN101162503A (zh) * | 2007-11-23 | 2008-04-16 | 重庆大学 | 利用改进Hausdorff距离提取识别人耳特征的方法 |
WO2008063510A1 (en) * | 2006-11-13 | 2008-05-29 | Siemens Medical Solutions Usa, Inc. | Generalized rigid alignment of 3d ear impression models |
-
2008
- 2008-09-26 CN CN2008102230873A patent/CN101369309B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101014967A (zh) * | 2004-09-08 | 2007-08-08 | 皇家飞利浦电子股份有限公司 | 用于自动耳识别的特征提取算法 |
US20070036414A1 (en) * | 2005-08-15 | 2007-02-15 | Siemens Corporate Research Inc | Method for database guided simultaneous multi slice object detection in three dimensional volumetric data |
EP1772827A2 (en) * | 2005-10-05 | 2007-04-11 | Siemens Medical Solutions USA, Inc. | Method and apparatus for the rigid registration of 3D ear impression shapes with skeletons |
WO2008063510A1 (en) * | 2006-11-13 | 2008-05-29 | Siemens Medical Solutions Usa, Inc. | Generalized rigid alignment of 3d ear impression models |
CN101162503A (zh) * | 2007-11-23 | 2008-04-16 | 重庆大学 | 利用改进Hausdorff距离提取识别人耳特征的方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831390A (zh) * | 2012-07-02 | 2012-12-19 | 北京科技大学 | 一种人耳认证系统及方法 |
CN103971112A (zh) * | 2013-02-05 | 2014-08-06 | 腾讯科技(深圳)有限公司 | 图像特征提取方法及装置 |
CN103971112B (zh) * | 2013-02-05 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 图像特征提取方法及装置 |
CN105320919A (zh) * | 2014-07-28 | 2016-02-10 | 中兴通讯股份有限公司 | 人眼定位方法及装置 |
EP3351172A4 (en) * | 2015-09-14 | 2019-04-17 | Yamaha Corporation | EAR FORM ANALYSIS METHOD, EAR FORM ANALYSIS DEVICE, AND EAR FORM MODEL GENERATION METHOD |
CN106846338A (zh) * | 2017-02-09 | 2017-06-13 | 苏州大学 | 基于混合模型的视网膜oct图像视乳头结构分割方法 |
CN109784346A (zh) * | 2018-12-04 | 2019-05-21 | 广东智媒云图科技股份有限公司 | 一种剪影图像的筛选方法、电子设备以及存储介质 |
CN109784346B (zh) * | 2018-12-04 | 2023-10-13 | 广东智媒云图科技股份有限公司 | 一种剪影图像的筛选方法、电子设备以及存储介质 |
CN110060348A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
CN110060348B (zh) * | 2019-04-26 | 2023-08-11 | 北京迈格威科技有限公司 | 人脸图像整形方法及装置 |
CN111261187A (zh) * | 2020-02-04 | 2020-06-09 | 清华珠三角研究院 | 一种将语音转换成唇形的方法、系统、装置和存储介质 |
CN111261187B (zh) * | 2020-02-04 | 2023-02-14 | 清华珠三角研究院 | 一种将语音转换成唇形的方法、系统、装置和存储介质 |
CN113487542A (zh) * | 2021-06-16 | 2021-10-08 | 成都唐源电气股份有限公司 | 一种接触网导线磨耗区域的提取方法 |
CN113487542B (zh) * | 2021-06-16 | 2023-08-04 | 成都唐源电气股份有限公司 | 一种接触网导线磨耗区域的提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101369309B (zh) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101369309B (zh) | 基于主动表观模型和外耳长轴的人耳图像归一化方法 | |
CN108549873B (zh) | 三维人脸识别方法和三维人脸识别系统 | |
Emambakhsh et al. | Nasal patches and curves for expression-robust 3D face recognition | |
Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
WO2016145940A1 (zh) | 人脸认证方法和装置 | |
CN103729631B (zh) | 一种基于视觉的连接器表面特征自动识别方法 | |
JP6798614B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN101777116A (zh) | 一种基于动作跟踪的脸部表情分析方法 | |
CN102332086A (zh) | 一种基于双阈值局部二进制模式的人脸识别方法 | |
CN101980250A (zh) | 基于降维局部特征描述子和隐条件随机场的目标识别方法 | |
CN103886589A (zh) | 面向目标的自动化高精度边缘提取方法 | |
CN106340010B (zh) | 一种基于二阶轮廓差分的角点检测方法 | |
CN103400136A (zh) | 基于弹性匹配的目标识别方法 | |
CN103530645A (zh) | 基于局部二值模式和Zernike矩的纹理图像分类方法及系统 | |
CN105809113A (zh) | 三维人脸识别方法及应用其的数据处理装置 | |
CN103927554A (zh) | 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法 | |
CN112861870A (zh) | 指针式仪表图像矫正方法、系统及存储介质 | |
Zhang et al. | RPI-SURF: A feature descriptor for bubble velocity measurement in froth flotation with relative position information | |
Khan et al. | 3D Head Pose Estimation through Facial Features and Deep Convolutional Neural Networks. | |
CN106778491A (zh) | 人脸3d特征信息的获取方法及设备 | |
CN106980845B (zh) | 基于结构化建模的人脸关键点定位方法 | |
Sreevalsan-Nair et al. | Local geometric descriptors for multi-scale probabilistic point classification of airborne LiDAR point clouds | |
CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
Zhang et al. | Edge detection from RGB-D image based on structured forests | |
CN108090396A (zh) | 一种指纹匹配方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110824 Termination date: 20200926 |
|
CF01 | Termination of patent right due to non-payment of annual fee |