CN100478979C - 利用身材信息辅助人脸信息的身份识别方法 - Google Patents

Abstract

一种利用身材信息辅助人脸信息的身份识别方法，至少包括：采集图像信息，并进行人体检测，获取身材信息；获取人脸信息；将人脸信息和身材信息进行融合识别，获得识别结果。本发明在单一人脸识别的基础上，加入了身材辅助信息，然后将二者融合利用，在少增加或不增加系统成本的前提下，有效地提高了人脸识别系统的识别率和鲁棒性。加入身体信息，实际上相当于将人脸空间划分为根据身体信息所分割的子区域，在子区域中再进行人脸识别就降低了问题的复杂度，大大提高了基于人脸信息的身份识别算法的性能和鲁棒性。而且身材信息可以与人脸信息同时提取，不仅使采集信息的利用率提高，而且减少了系统投入。

Description

利用身材信息辅助人脸信息的身份识别方法

技术领域

本发明涉及一种利用身材信息辅助人脸信息的身份识别方法，特别涉及以身材信息为身份识别的辅助信息，进而达到准确识别目的身份识别方法，属于模式识别与人工智能领域。

背景技术

基于生物信息的身份识别技术是未来的安全识别方向性措施。在生物信息识别可以广泛安全使用的世界里，人类不再需要考虑密码(钥匙)的丢失或者被破译。每个人的生物标识都是可靠而唯一的标识。很多生活和工作中的设备，比如电视，都能够准确地根据身份识别，为人类提供舒适和个性化的服务。

目前有多种基于生物特征的识别方法，包括人脸识别、指纹识别、虹膜识别、掌纹识别等。其中，人脸识别技术是基于生物特征的识别方法中最容易令人接受和需要被测者最少合作的技术，因此有着广泛的应用前景。生物特征识别技术主要包括：

①人脸识别；

②指纹识别；

③掌纹识别；

④虹膜识别；

⑤语音识别；

⑥签名识别；

⑦视网膜识别；

⑧DNA序列匹配；

基于人脸的身份识别也是模式识别，生物信息识别等领域的一个关键课题，具有很大范围的应用价值和广阔的前景。人脸识别的研究已有30多年的历史。目前的人脸识别的方法基本上只局限于人脸表面的信息。对正面的标准人脸图像，最好的基于人脸信息的身份识别技术的识别率已经达到90％以上，已经接近了实际应用的水平。

作为图像分析和理解领域中最成功的应用之一，人脸识别技术始终是近些年研究领域的一个热点问题。根据特征提取的方法可以将基于人脸信息的身份识别算法分为两类：基于解析几何特征的基于人脸信息的身份识别算法和基于全局模板的基于人脸信息的身份识别算法。

特征脸方法是90年代初期由Turk和Pentland(Turk，M.and A.Pentland.Eigenfaces for Recognition.Journal of CognitiveNeuroscience，1991，3(1)：71-86.)提出的目前最流行的算法之一，具有简单有效的特点。但其对于输入的人脸图像的归一化要求较高，而且其性能容易受到光照和姿态变化的影响，现在Eigenface算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法。

而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，尝试了基于特征脸特征提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进版本或扩展算法，如Fisherface、Bayesian概率模型(Baback Moghaddam，Tony Jebara，Alex Pentland.Bayesian FaceRecognition，Pattern Recognition.2000，33：1771-1782.)、支持矢量机(SVM)(Thomas Vetter，Tomaso Poggio.Linear Object Classes andImage Synthesis From a Single Example Image.IEEE Trans.On PAMI，1997，19(7)：733-742.)、线性判别分析(LDA)(P.Belhumeur，J.Hespanha，and D.Kriegman，Eigenfaces vs.Fisherfaces：Recognition using classspecific linear projection.in Proceedings of Fourth EuropeanConference on Computer Vision，ECCCV’96，1996，45-56.)、人工神经网络(K.Etemad and R.Chellapa，Face recognition using discriminanteigenvectors.in Proceedings of ICASSP，1996.)以及双子空间分析方法(Jun Zhang，Yong Yan，Martin Lades.Face Recognition：Eigenface，Elastic Matching and Neural Nets.Proceedings of the IEEE，1997，85(9)：1422-1435.)等等。

FERET’96测试结果(S.A.Rizvi，P.J.Phillips，H.Moon，The FERETVerification Testing Protocol for Face Recognition Algorithms，TRNISTIR 6281，Oct.1998)也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。

近年来，基于几何结构特征和灰度特征融合的算法日趋完善，主要有可变形模型算法(T.F.Cootes and C.J.Taylor，Statistical Models ofAppearance for Computer Vision，Sep.1999)、弹性图匹配技术(LaurenzWiskott，Jean Marc Fellous，Norbert Kruger，Christoph von derMalsburg.Face Recogniton by Elastic Bunch Graph Matching，IEEE Trans.On PAMI，1997，19(7)：775-779.)。其中，前者文献中称为主动外观模型(AAM，Active Appearance Model)，是一种基于可变形模型(FlexibleModels)的、几何特征统计分析和灰度分布统计分析相结合的方法，是既可以用于图像合成，又可以用于图像分析的特征提取和匹配方法，已经吸引了越来越多的注意。而弹性图匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别算法，由于该算法较好的利用了人脸的结构和灰度分布信息，而且还具有自动精确定位面部特征点的功能，因而具有良好的识别效果，该技术在FERET测试中若干指标名列前茅，其缺点是时间复杂度高，实现复杂。

指纹识别是应用比较普遍的个人身份认定方法。从公众的认可程度和媒体的宣传来看，指纹识别是非常能够被用户接受的一种方式。目前国内外指纹识别的产品比较多，但它们只考虑正常人群的指纹特点。从产品的宣传来看，每一种产品都过高地估计了其产品的性能指标。目前的指纹产品对于一类人群有很好的性能。但对于其他人，如老年人和手工劳动者等人却不适应。拒识率和误识率相当高，严重阻碍指纹识别的推广和应用。专门研究适合指纹质量不佳人群的指纹识别算法尚未见报道。2000年发表的一篇文章(D.Maio，D.Maltoni，R.Cappelli，J.L.Wayman，and A.K.Jain.FVC2000：f fingerprint verification competition，In：Proc.15th International Conference Pattern Recognition，Barcelona，September 3-8，2000.)描述了所组织的一次指纹测试。参加测试的单位有大学，研究所和公司。指纹测试的结果并不令人满意。远没有达到当前产品宣传的性能指标和水平。这进一步说明了在指纹自动识别领域，有很多的研究工作要做。

对于掌纹研究已经有较长的历史(H.Cummins and C.Midlo.FingerPrints，Palms and Soles，London：Dover Publications，1943.)。但是，对于掌纹自动识别的研究是近些年的工作。由于掌纹上存在同指纹类似的纹线。因此，多数的研究工作是采用指纹识别的技术路线(N.Duta，A.K.Jain，and Kanti V.Mardia.Matching of Palmprint，To appear in PatternRecognition Letters，2001.)：提取类似指纹的纹线的端点，分叉点作为特征点，采用指纹特征点匹配方法对两张掌纹上的特征点完成匹配。也有研究工作试图在掌纹图像上寻找一些统计特征，但都是一些小样本的探索性的尝试(J.R.Young and H.W.Hammon.Automatic PalmprintVerication Study″，Rome Air Development Center，RADC-TR-81-161FinalTechnical Report，June 1981.；Li Wenxin.Multiple Feature BasedPalmprint Identification，Ph.D thesis，2000，Department of Computing，The Hong Kong Polytechnic University.)，还不具有实用和推广价值。

由于人脸识别、虹膜识别、指纹识别等均有其局限性，仅靠单一生物特征有时无法满足实际对识别性能的需要，因此考虑将这些不同特征、不同鉴别方式结合的多模型鉴别系统已经得到了越来越多的研究人员的关注，是生物特征识别技术的一个重要研究方向。这方面的一个例子是Bigun(Bigun，J.，B.Duc，F.Smeraldi，S.Fischer，and A.Makarov.Multi-Modal Person Authentication，in Face Recognition：From Theoryto Applications，H.Wechsler，J.P.Phillips，V.Bruce，F.Fogelman-Soulie and T.Huang(Eds.)，Springer-Verlag，1998.)在1998年提出的一个监视系统，该系统由语音识别和人脸识别两部分组成，试验表明该系统的性能比单独的语音识别和人脸识别系统更好。

现代科技的发展为我们研制出人们能买得起的性能价格比高的自动人体生物特征鉴别系统提供了可能性，而这种融合了多个生物特征的识别/鉴定系统由于具备多种识别方法的优点，识别率更高、输入方法及识别方法可选等的特点使其成为生物特征识别技术中一个主要的研究方向。

目前基于人脸信息的身份识别算法，主要受到两方面问题的困扰，一是光照变化引起人脸图像变化的问题，另一个是姿态变化引起人脸图像变化的问题。这两种变化都引起图像呈现的非线性变化，并且引起图像的变化程度要超过由于个体身份不同所引起的人脸图像差异，造成基于人脸信息的身份识别算法在光照和姿态变化情况下识别率的急剧下降。而身材信息相对于光照和人脸姿态的变化是不变的，并且，相对于人脸信息来说，身材信息也更为稳定，鲁棒。

一般的基于人脸信息的身份识别算法，将基于人脸信息的识别问题作为模式识别领域的一个子问题进行研究。将需要识别的个体看作模式(或称类)，则基于人脸信息的识别问题转化为模式识别研究中模式的表示和分类问题。对于分类问题而言，问题的复杂性随着类的增长而快速增加，造成基于人脸信息的身份识别算法在大规模人脸识别上变得愈加困难。这也是目前基于人脸信息的身份识别算法在小规模人脸类库上的表现要远远优于大规模人脸类库的原因。参见图1和图2，其分别给出了：在人脸空间中对50和500个人进行建模识别时的人脸特征向量分布情况；尤其对于人脸这样的物体来说，由于人脸都有相近的模式，对于将每张人脸看作一个子类这样的分类问题，在人脸模式空间的表达中，所需要分的子类越多，则相应的从模式识别的角度来讲，子类之间在人脸特征空间中的交集越大，从而使得分类过程中的不确定性增加，造成基于人脸信息的身份识别算法的识别率降低。

一般的基于人脸信息的身份识别算法，将基于人脸信息的识别问题作为模式识别领域的一个子问题进行研究。将需要识别的个体看作模式(或称类)，则基于人脸信息的识别问题转化为模式识别研究中模式的表示和分类问题。对于分类问题而言，问题的复杂性随着类的增长而快速增加，造成了基于人脸信息的身份识别算法在大规模人脸识别上变得愈加困难。这就是目前基于人脸信息的身份识别算法在小规模人脸类库上的表现较佳，而适用于大规模人脸类库则性能急剧下降的原因。

实际上，在大多数基于人脸的身份确认系统中，例如：监控系统和门禁系统，采集人脸图像的同时也采集了身材信息，但身材信息并没有得到利用，甚至被直接丢弃，造成了采集的信息浪费。如果将身材信息进一步处理，然后与人脸识别信息结合来进行识别，可以在少增加或不增加系统成本的前提下，有效地提高人脸识别系统的识别率和鲁棒性。

发明内容

本发明的主要目的在于针对现有技术之不足而提供一种利用身材信息辅助身份识别的方法在单一识别方法的基础上，加入身材辅助信息，然后将二者融合利用，可以在少增加或不增加系统成本的前提下，有效地提高人脸识别系统的识别率和鲁棒性。

本发明的目的是这样实现的：

一种利用身材信息辅助人脸信息的身份识别方法，至少包括：

步骤1：采集图像信息，并进行人体检测，获取身材信息；

步骤2：获取人脸信息；

步骤3：将人脸信息和身材信息进行融合识别，获得识别结果。

上述的步骤1采用基于计算机视觉的方法进行处理，具体包括：

步骤11：采集图像，并判断该图像背景是否强烈变化；是则执行步骤12，否则更新背景知识后结束；

步骤12：将该强烈变化的部分作为前景，直接从该图像背景中分割出强变化的区域；

步骤13：判断该分割出的区域是否为人体；是则执行步骤14；否则丢弃该图像区域；

步骤14：获得身材信息。

在采集图像之前还进一步对摄像设备进行预定标，得到摄像机的内外参数。在判断采集图像背景变化之前还进一步对采集图像通过高斯混合模型，学习背景的概率分布并对相应的变化进行补偿。

在步骤1之前还进一步包括对识别区域进行控制，即：将识别区域设定在室内，并使其没有剧烈而快速的光照和背景变化，同时人体位置和姿态的限制。这样做是为了避免背景对识别产生较大的干扰。

又一种利用身材信息辅助人脸信息的身份识别方法，至少包括：

步骤1：采集图像信息，并进行人体检测，获取身材信息；

步骤2：获取人脸信息；

步骤3：将人脸信息和身材信息进行融合识别，获得识别结果。

上述的步骤1采用基于红外摄像机辅助的方法进行处理，具体包括：

步骤11’：当检测区域内出现待检测个体后，利用红外摄像机进行红外图像采集，对人体在红外图像上的区域从图像中分割，获得人体区域模板；

步骤12’：将上述的人体区域模板与彩色图像摄像机采集到的图像做“与”操作，得到人体区域图像。

步骤13’：判断该分割出的区域是否为人体；是则执行步骤14’；否则丢弃该图像区域；

步骤14’：获得身材信息。

判断人体区域时，首先根据人体模板，对分割出来的图像区域的形状进行匹配，如果该区域与人体模板相匹配，则将该区域确定为人体，并用模板光滑的边缘对分割出的图像区域进行修正，得到光滑的人体轮廓。

获得身材信息时，通过测到的人体各种参数，及三角相似法则直接获取人体各个部分的信息。

在判断人体区域时，还进一步通过激光测距得到人体的位置信息，根据该人体位置信息获得该人体的绝对参数。

上述的获取人脸信息的方法为：

步骤21：对人脸进行定位；(定位方法具体参见：Jun Miao，Baocai Yin，Kongqiao Wang，Lansun Shen，Xuecun Chen，《A hierarchical multiscaleand multiangle system for human face detection in a complex backgroundusing gravity-center template，Pattern Recognition》，Vol.32，No.7，pp.123748，July，1999.)

步骤22：提取个体分类和识别的信息，进行个体身份的识别；能进行个体分类和识别的信息包括所有能区分个体的特征信息，具体是指所提取的人脸特征信息，即：人脸在人脸空间中投影所得到的特征向量和人体身材信息。

上述的步骤3具体包括：

步骤31：对人体身材信息特征空间，采用模式识别中的k-近邻算法(该算法为模式识别领域中一标准的通用算法)进行聚类分析，得到相应的人体特征子空间；

步骤32：根据人体特征空间与人脸特征空间中各点的映射关系，由该人体特征子空间中各点的关系得到人脸特征空间中的相应的人脸特征子空间；

步骤33：对待识别个体，通过对其提取的身材信息，得到其在人体特征空间中的子空间标识，相应地得到其在人脸特征空间中的子空间表示信息；

步骤34：对步骤2中提取的人脸信息，只在相应的人脸特征子空间中进行匹配，获得待识别个体的身份信息。

上述的步骤3具体包括：

步骤31’：分别提取待识别个体的人脸识别信息和人体身材信息；

步骤32’：根据人脸识别信息，用基于人脸信息的身份识别算法对识别个体总集合中的每个个体进行匹配，得到在人脸相似度意义上待识别个体和每个个体的相似性概率；

步骤33’：根据人体身材信息，与识别个体总集合的每个个体进行匹配，得到在人体身材信息相似度意义上待识别个体和每个个体的相似性概率；

步骤34’：对上述的两种相似性概率进行加权融合，得到新的个体身份识别的相似性概率，依据概率最大的原则进行身份的识别。

当采用基于计算机视觉的方法获取人体信息时，人脸信息相似性概率的权重为0.4，人体信息相似性概率的权重为0.6；

当采用基于红外摄像机辅助的方法获取人体信息时，人脸信息相似性概率的权重为0.35，人体信息相似性概率的权重为0.65。

当采用在基于激光测距仪辅助的方法获取人体信息时，人脸信息相似性概率的权重为0.3，人体信息相似性概率的权重为0.7。

本发明在单一人脸识别的基础上，加入了身材辅助信息，然后将二者融合利用，在少增加或不增加系统成本的前提下，有效地提高了人脸识别系统的识别率和鲁棒性。加入身体信息，实际上相当于将人脸空间划分为根据身体信息所分割的子区域，在子区域中再进行人脸识别就降低了问题的复杂度，大大提高了基于人脸信息的身份识别算法的性能和鲁棒性。而且身材信息可以与人脸信息同时提取，不仅使采集信息的利用率提高，而且减少了系统投入。

附图说明

图1为在人脸空间中对50个人进行建模识别时的人脸特征向量分布情况示意图；

图2为在人脸空间中对500个人进行建模识别时的人脸特征向量分布情况示意图；

图3为本发明基于人体信息辅助的人脸识别系统的原理框架示意图；

图4为本发明基于计算机视觉进行身材信息提取方法的流程图；

图5为本发明利用红外信息辅助人体信息提取方法的流程图；

图6为本发明利用激光测距仪定位辅助的人体信息提取方法的流程图；

图7为本发明基于相关空间聚类的身份识别的系统框架示意图；

图8为本发明基于概率融合的身份识别系统框示意图。

具体实施方式

以下结合附图和具体的实施例对本发明作进一步的详细说明：

目前基于人脸信息的身份识别算法，主要受到两方面问题的困扰，一是光照变化引起人脸图像变化的问题，另一个是姿态变化引起人脸图像变化的问题。这两种变化都引起图像呈现的非线性变化，并且引起图像的变化程度要超过由于个体身份不同所引起的人脸图像差异，造成基于人脸信息的身份识别算法在光照和姿态变化情况下识别率的急剧下降。而身材信息相对于光照和人脸姿态的变化是不变的，并且，相对于人脸信息来说，身材信息也更为稳定，鲁棒。

图3所示为为本发明基于人体信息辅助的人脸识别系统的原理框架示意图，基本上包括图像采集和人体检测、身体信息测量、人脸的检测及特征提取、融合身材信息与人脸信息的识别。其中，图像采集和人体检测完成图像信息的采集和检测识别区域内是否存在待识别个体；身体信息测量在检测区域内存在待识别个体的前提下，对个体的身材信息进行提取；人脸的检测及特征提取，采用人脸检测算法进行人脸的定位，然后用基于人脸信息的身份识别算法提取有助于个体分类和识别的信息，并进行个体身份的判断；融合身材信息与人脸信息的识别，将身材信息的识别结果，与人脸信息的识别结果进行融合，获得得出识别结果。

身体信息提取的方法主要有：基于计算机视觉方法的人体身材信息提取；基于红外成像原理的人体身材信息提取；基于激光测距仪辅助的人体身材信息提取。

本发明中人脸检测及特征提取的方法为现有技术中普遍采用的方法，(参见《shiguang Shan，Wen Gao，Debin Zhao，Face Identification FromA Single Example Image Based On Face-Specific Subspace(FSS)，IEEEICASSP2002.May2002.》一书，Shiguang Shan，Wen Gao，Debin Zhao，FaceIdentification From A Single Example Image Based On Face-SpecificSubspace(FSS)，IEEE ICASSP2002.May2002.)，在此不再赘述。

融合身材信息与人脸信息的方法可以是：通过人体身材信息在人脸特征空间中进行聚类分析的方法进行信息融合的策略；在基于人脸信息的身份识别算法所得到概率意义的结果基础上，运用人体身材信息进行概率意义上的信息融合的策略。

本发明中，三种人体检测方法之一与两种融合识别方法之间可以任意组合；即总的实现方法可由上述两类方法自由组合形成。例如：身体信息提取采用基于计算机视觉方法，人脸检测采用基于辐射模板的旋转人脸检测方法，融合方法为通过人体身材信息在人脸特征空间中进行聚类分析的方法；此外，还可以选择基于红外成像原理的人体身材信息提取，人脸检测采用基于辐射模板的旋转人脸检测方法，最后采用基于概率的信息融合方法等。

图4为基于计算机视觉进行身材信息提取方法流程，利用计算机视觉方法从彩色图象中进行任意姿态人体轮廓的提取是一个比较困难的问题。首先要对人体位置、人体姿态等因素进行控制，用以简化问题的难度，可以精确地提取所需的人体各种身体信息。所述的身体信息为能表征个体之间的区别和差异，可对个体身份进行区分和分类，并与人体外形相关的各种绝对几何参数及由相应数学推导而得到的相对几何参数。例如，身高、体宽、腿长、头宽等人体绝对几何参数，头部在身体中比例、腿部在身体中比例、身体高度和身体宽度比等人体相对几何参数。基于计算机视觉方法提取身体信息的步骤包括：

1)采用计算机视觉技术对摄像机进行预定标，学习背景模型。

背景在图像上可以看作灰度的分布函数，由于对背景的约束条件，可以假设背景只有微小和缓慢的变化，通过实现C.Stauffer等人提出的高斯混合模型(Chris Stau.er W.E.L Grimson，“Adaptive background mixturemodels for real-time tracking”，IEEE Proc.CVPR’1998.)，系统学习到背景的概率分布，并可对变化进行补偿。

2)判断背景是否发生强烈变化，若没有强烈变化，则更新背景知识；若有强烈变化，则分割出变化区域；接着判断是否是人体，若是，则得到身体信息；若不是则舍弃图像区域。

在背景模型的基础上，当检测区域内有人到达时，背景会发生强烈的变化，其中强烈变化的部分是前景，即人体部分，可以直接从背景分割出人体图像部分。

实际的工作中，当检测区域内没有人体到达时，系统会根据背景是否变化来动态的调整高斯混合模型的参数以不断的更新以前学过的背景和前景知识，达到准确从背景中分割出人体的目的。

从背景直接分割出来的人体图像其边缘往往比较粗糙，而且背景的剧烈变化也可能由其他运动物体的出现造成。为此，可事先通过样本图像训练的方法，对样本图像中各种人体姿态采用主成分分析(PCA)的方法进行学习。通过学习得到的特征人体作为人体模板，对分割出来的图像区域的形状，采用模板进行匹配，如果该区域能与学习得到的模板进行很好的匹配，则认为该区域是一个人体，并用模板光滑的边缘对分割出的图像区域进行修正，得到光滑的人体轮廓。

由于人体的位置已知，根据小孔成像的原理，可通过图像上测到的人体各种参数，进一步通过三角相似法则直接得到人体各个部分的信息。

还需要注意的是：采用计算机视觉技术对摄像机进行预定标，得到摄像机的内外参数；对识别区域进行控制：将识别区域设在室内，并使其没有剧烈而快速的光照和背景变化，背景在允许的情况下尽可能简单，如选用单调颜色背景；对人体位置和姿态的限制：大部分的基于人脸信息的身份识别算法，都是基于正面人脸进行识别的，要求被确认人用正脸面对数据采集设备。本实施例中要求被确认人在接受确认的时候位于检测区域的指定矩形之内(例如设定一个中心在摄像机光轴方向距摄像机镜头一米的矩形区域)。

图5为基于红外线成像原理的身材信息提取方法流程图。根据红外成像的特点，只要对背景中可发出干扰红外光波的物体的个数作出限制，则可以准确地将各种姿态人体从背景中进行分割。并且这种方法适用于复杂背景和背景多变，光照多变的场合。在将人体从背景中分割之后，同样采用模板匹配的方法对分割出的人体图像进行解释，可得到所需人体信息。

采用红外线技术可以克服普通摄像机仅利用计算机视觉的方法从彩色图像中进行人体的分割会受到种种因素的影响，比如背景的突然变化，光照的突然变化，被确认者身体姿态的偏离等等。本实施例进行人体信息提取的过程如下：

1)当检测区域内出现待检测个体后，利用红外摄像机进行红外图像采集，根据红外成像的特点，人体在红外图像上表现为一个区域。将该红外区域从图像中分割，得到一个二值的人体区域模板。包含人体的部分值为“1”，其余部分值为“0”；

2)将该二值模板与彩色图像摄像机采集到的图像做“与”操作，得到人体区域的彩色图像；

3)采用上述基于计算机视觉的人体信息采集方法的人体模板匹配方法进行匹配，以防止伪人体区域的发生；

4)由于人体的位置已知，根据小孔成像的原理，通过图像上测到的人体各种参数，通过三角相似法直接得到人体各个部分的信息。

值得注意的是：基于红外线成像原理的身材信息提取方法，可以与基于计算机视觉进行身材信息提取方法结合使用，即：先用计算机视觉提取身材信息，再用红外线成像技术对所得图像进行进一步处理，得到更为详尽的身材信息。

利用普通摄像机和红外摄像机的方法，可以精确地估计人体信息的相对参数，但对人体信息绝对参数的(比如身高)估计并不能达到精确的地步，造成这一结果的主要原因是利用对人体行为建模的方法或需要被测者合作的方法都有一定的局限性，通过人体行为建模和计算机视觉方法相结合的手段进行预测，往往因为无法精确预测和跟踪人体的运动行为从而只能对其位置作出粗略的估计；而采用需被识别者合作的方法，则得到的人体信息估计由于被测者合作程度的不同而有所变化。所以，采用激光测距仪辅助的方法，可以准确地预知被测者距摄像机的位置，并可以在此基础上对人体信息的某些绝对参数作出准确地估计。在此基础上，可以通过前面提到的基于计算机视觉的方法或基于红外成像的方法进行人体信息的提取和估计。

图6为基于激光测距仪辅助利用红外线提取身材信息方法的流程图，对人体信息提取的步骤见利用红外成像技术辅助对人体信息进行提取的实现，在本方法中，最后通过激光测距的方法代替预定义距离需要被测者合作的方法，可以得到更精确的人体身材信息。

综上所述，提取身材信息的最简单方法是采用基于计算机视觉的方法，此方法系统不需要增加任何硬件设备，但所得信息不够精确；也可以先用计算机视觉提取身材信息，再用红外线成像技术对所得图像进行进一步处理，得到更为详尽的身材信息；还可以先用计算机视觉提取身材信息，再用基于激光测距仪辅助利用红外线提取身材信息方法，用激光测距仪来帮助获得更为精确的绝对信息。选择何种提取方法，可以根据实际情况而定。

本发明的两种将人脸信息和人体信息相结合进行身份识别的策略为基于相关空间聚类的融合策略和基于概率的融合策略。

假设要对总共含有n个自然人的人脸集合Ω＝{x_i|i＝1...n}进行身份识别，其中x_i表示一个独立的自然人。用向量θ(x_i)＝{α_i1，α_i2...α_im}表示第i个人的人体分类信息，则所有人体分类信息特征向量在空间R^m中构成了一个子空间的分布f(θ(x_i))，该子空间分布称之为人体信息特征子空间。同样，用向量φ(x_i)＝{β_i1，β_i2...β_ip}中第i个人的人脸分类信息，则所有人脸分类信息特征向量Φ＝{φ(x_i)|i＝1...n}在空间R^p中构成了一个子空间分布g(φ(x_i))，定义其为人脸特征子空间。

由于空间R^m和空间R^p中的特征向量分布函数f(θ(x_i))和g(φ(x_i))都是以独立的自然人x_i为基本变量的，所以自然的在两个特征子空间分布上存在一个一对一的映射：Θ(f，g|x_i)。

由于人体信息测量的准确可靠性，并且相对于人脸信息来说，人体信息更具鲁棒性、直观性和线性可分性；因此，首先根据人体信息特征向量的分布f(θ(x_i))在人体特征子空间中进行聚类分析，在这里定义人体特征向量相近性的度量为两个人体特征向量的L₂范数： $L_2({\mathrm{\θ}}_i,{\mathrm{\θ}}_j)=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{({\mathrm{\α}}_{\mathrm{ik}},{\mathrm{\α}}_{\mathrm{jk}})}^2}.$ 在对f(θ(x_i))进行聚类之后，得到Γ＝{ω₁，ω₂...ω_q}，其中ω_i是集合Ω＝{x_i|i＝1...n}上的一个分割后的子集，根据ω_i，对人脸特征子空间的分布g(φ(x_i))通过映射Θ(f，g|x_i)进行对等的分割，从而在人脸特征子空间内划分出更小的人脸识别空间Z＝{z₁，z₂...，z_q}，满足z₁+z₂+...+z_q＝g(φ(x_i))。

对于一个待识别的个体x_in，通过上述的方法得到其相应的人体信息特征向量θ_in和人脸信息特征向量φ_in，通过判断θ_in的类别ω_in，可以得到对应的人脸识别子空间z_in，然后在这样一个降低了复杂度的空间上进行人脸的识别和身份的识别，使得系统的准确率和鲁棒性都有本质的提高。

参见图7，其为基于相关空间聚类的融合策略的身份识别系统示意图，其工作步骤如下：

1)对人体身材信息特征空间采用模式识别中的k-近邻算法进行聚类分析，得到n个人体特征子空间；

2)根据人体特征空间与人脸特征空间中点的一对一映射关系，可以由n个人体特征子空间中点的关系得到人脸特征空间中的n个人脸特征子空间；

3)对于一个待识别个体，通过对其提取的身材信息，可以得到其在人体特征空间中的子空间标识，相应的我们可以得到其在人脸特征空间中的子空间表示；

4)通过基于人脸信息的身份识别算法提取人脸信息，并只在相应的人脸特征子空间中进行匹配，得到待识别个体的身份信息。

基于相关空间聚类的身份识别策略可以将一个很复杂的系统通过聚类使其复杂度降低，然后在这样一个降低了复杂度的空间上进行人脸的识别和身份的识别，使得系统的准确率和鲁棒性都有本质的提高。

一般典型的基于人脸信息的身份识别算法，根据相应的特征向量匹配方法，得到人脸识别的概率估计结果；身材识别也能得到概率估计结果，所以也可采用基于概率融合的方法。

本发明中，对于一个待识别的个体x_in，首先通过上述的方法得到其人脸特征信息φ_in和人体特征信息θ_in。将人脸特征信息作为输入信息，得到一个按相似性概率单调下降排列的识别结果集合Δ＝{ρ₁(x_i)|i＝1...n}。作为识别的结果，基于人脸信息的身份识别算法一般将相似性概率最大的y₁值(该y₁值是通过人脸识别算法对人脸库中的每一个人脸与待识别人脸进行逐一比对，并根据提取的人脸分类信息的差异，给出待识别人脸和人脸库中每一人脸的相似度)作为识别的最终结果。

现在考虑人体特征信息，同样可以得到一个按相似性单调下降排列的识别结果集合Λ＝{ρ₂(x_i)|i＝1...n}，定义最终的相似性概率为ρ(x_i)＝ω₁ρ₁(x_i)+ω₂ρ₂(x_i)其中，ω₁，ω₂分别为人脸相似性概率和人体相似性概率的权重，其大小与ρ₁(x_i)，ρ₂(x_i)的置信度成正比，并且ω₁+ω₂＝1。这个新的相似性概率同时考虑了人脸和身材的信息。将人体信息作用于人脸识别结果，增加人脸识别鲁棒性，同时使得识别准确率大大提高。

参见图8，其为基于概率融合策略的身份识别系统示意图，其工作步骤如下：

1)对待识别个体，分别提取其人脸识别信息和人体身材信息；

2)根据人脸识别信息，用基于人脸信息的身份识别算法对该识别个体总集合中的每个个体进行匹配，得到在人脸相似度意义上待识别个体和每个个体的相似性概率；

3)根据人体身材信息，与识别个体总集合的每个个体进行匹配，得到在人体身材信息相似度意义上待识别个体和每个个体的相似性概率；

4)对两种相似性概率进行加权融合，得到新的个体身份识别的相似性概率，依据概率最大的原则进行身份的识别。

上述步骤4中的权重根据人脸信息和人体身材信息的可靠程度而不同。具体而言：

在基于计算机视觉的方法中，人脸相似性概率的权重为0.4，人体身材信息相似性概率的权重为0.6；

在基于红外摄像机辅助的方法中，人脸相似性概率的权重为0.35，人体身材信息相似性概率的权重为0.65；

在基于激光测距仪辅助的方法中，人脸相似性概率的权重为0.3，人体身材信息相似性概率的权重为0.7。

最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (21)

1、一种利用身材信息辅助人脸信息的身份识别方法，至少包括：

步骤1：采集图像信息，并进行人体检测，获取身材信息；

步骤2：获取人脸信息；

步骤3：将人脸信息和身材信息进行融合识别，获得识别结果；

所述的步骤1采用基于计算机视觉的方法进行处理，具体包括：

步骤11：采集图像，并判断该图像背景是否强烈变化；是则执行步骤12，否则更新背景知识后结束；

步骤12：将该强烈变化的部分作为前景，直接从该图像背景中分割出强变化的区域；

步骤13：判断该分割出的区域是否为人体；是则执行步骤14；否则丢弃该图像区域；

步骤14：获得身材信息。

2、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：在采集图像之前还进一步对摄像设备进行预定标，得到摄像机的内外参数。

3、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：在判断采集图像背景变化之前还进一步对采集图像通过高斯混合模型，学习背景的概率分布并对相应的变化进行补偿。

4、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：在步骤1之前还进一步包括：对识别区域进行控制，将识别区域设定在室内，并使其没有剧烈而快速的光照和背景变化，同时人体位置和姿态的限制。

5、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：判断人体区域的具体方法为：根据人体模板，对分割出来的图像区域的形状进行匹配，如果该区域与人体模板相匹配，则将该区域确定为人体，并用模板光滑的边缘对分割出的图像区域进行修正，得到光滑的人体轮廓。

6、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：获得身材信息的具体方法为：通过测到的人体各种参数，及三角相似法则直接获取人体各个部分的信息。

7、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：在判断人体区域时，还进一步通过激光测距得到人体的位置信息，根据该人体位置信息获得该人体的绝对参数。

8、根据权利要求1述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：获取人脸信息的方法为：

步骤21：对人脸进行定位；

步骤22：用提取个体分类和识别的信息，进行个体身份的识别。

9、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：所述的步骤3具体包括：

步骤31：对人体身材信息特征空间，采用模式识别中的k-近邻算法进行聚类分析，得到相应的人体特征子空间；

步骤32：根据人体特征空间与人脸特征空间中各点的映射关系，由该人体特征子空间中各点的关系得到人脸特征空间中的相应的人脸特征子空间；

步骤33：对待识别个体，通过对其提取的身材信息，得到其在人体特征空间中的子空间标识，相应地得到其在人脸特征空间中的子空间表示信息；

步骤34：对步骤2中提取的人脸信息，只在相应的人脸特征子空间中进行匹配，获得待识别个体的身份信息。

10、根据权利要求1所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：所述的步骤3具体包括：

步骤31’：分别提取待识别个体的人脸识别信息和人体身材信息；

步骤32’：根据人脸识别信息，用基于人脸信息的身份识别算法对识别个体总集合中的每个个体进行匹配，得到在人脸相似度意义上待识别个体和每个个体的相似性概率；

步骤33’：根据人体身材信息，与识别个体总集合的每个个体进行匹配，得到在人体身材信息相似度意义上待识别个体和每个个体的相似性概率；

步骤34’：对上述的两种相似性概率进行加权融合，得到新的个体身份识别的相似性概率，依据概率最大的原则进行身份的识别。

11、根据权利要求10所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：当采用基于计算机视觉的方法获取人体信息时，人脸信息相似性概率的权重为0.4，人体信息相似性概率的权重为0.6。

12、根据权利要求10所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：当采用在基于激光测距仪辅助的方法获取人体信息时，人脸信息相似性概率的权重为0.3，人体信息相似性概率的权重为0.7。

13、一种利用身材信息辅助人脸信息的身份识别方法，至少包括：

步骤1：采集图像信息，并进行人体检测，获取身材信息；

步骤2：获取人脸信息；

步骤3：将人脸信息和身材信息进行融合识别，获得识别结果；

所述的步骤1采用基于红外摄像机辅助的方法进行处理，具体包括：

步骤11’：当检测区域内出现待检测个体后，利用红外摄像机进行红外图像采集，对人体在红外图像上的区域从图像中分割，获得人体区域模板；

步骤12’：将上述的人体区域模板与彩色图像摄像机采集到的图像做“与”操作，得到人体区域图像；

步骤13’：判断该分割出的区域是否为人体；是则执行步骤14’；否则丢弃该图像区域；

步骤14’：获得身材信息。

14、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：判断人体区域的具体方法为：根据人体模板，对分割出来的图像区域的形状进行匹配，如果该区域与人体模板相匹配，则将该区域确定为人体，并用模板光滑的边缘对分割出的图像区域进行修正，得到光滑的人体轮廓。

15、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：获得身材信息的具体方法为：通过测到的人体各种参数，及三角相似法则直接获取人体各个部分的信息。

16、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：在判断人体区域时，还进一步通过激光测距得到人体的位置信息，根据该人体位置信息获得该人体的绝对参数。

17、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：获取人脸信息的方法为：

步骤21：对人脸进行定位；

步骤22：用提取个体分类和识别的信息，进行个体身份的识别。

18、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：所述的步骤3具体包括：

步骤31：对人体身材信息特征空间，采用模式识别中的k-近邻算法进行聚类分析，得到相应的人体特征子空间；

步骤32：根据人体特征空间与人脸特征空间中各点的映射关系，由该人体特征子空间中各点的关系得到人脸特征空间中的相应的人脸特征子空间；

步骤33：对待识别个体，通过对其提取的身材信息，得到其在人体特征空间中的子空间标识，相应地得到其在人脸特征空间中的子空间表示信息；

步骤34：对步骤2中提取的人脸信息，只在相应的人脸特征子空间中进行匹配，获得待识别个体的身份信息。

19、根据权利要求13所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：所述的步骤3具体包括：

步骤31’：分别提取待识别个体的人脸识别信息和人体身材信息；

步骤32’：根据人脸识别信息，用基于人脸信息的身份识别算法对识别个体总集合中的每个个体进行匹配，得到在人脸相似度意义上待识别个体和每个个体的相似性概率；

步骤33’：根据人体身材信息，与识别个体总集合的每个个体进行匹配，得到在人体身材信息相似度意义上待识别个体和每个个体的相似性概率；

步骤34’：对上述的两种相似性概率进行加权融合，得到新的个体身份识别的相似性概率，依据概率最大的原则进行身份的识别。

20、根据权利要求19所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：当采用基于红外摄像机辅助的方法获取人体信息时，人脸信息相似性概率的权重为0.35，人体信息相似性概率的权重为0.65。

21、根据权利要求19所述的利用身材信息辅助人脸信息的身份识别方法，其特征在于：当采用在基于激光测距仪辅助的方法获取人体信息时，人脸信息相似性概率的权重为0.3，人体信息相似性概率的权重为0.7。

Images