CN108710838B - 一种夜视环境下热红外人脸图像识别方法 - Google Patents
一种夜视环境下热红外人脸图像识别方法 Download PDFInfo
- Publication number
- CN108710838B CN108710838B CN201810433316.8A CN201810433316A CN108710838B CN 108710838 B CN108710838 B CN 108710838B CN 201810433316 A CN201810433316 A CN 201810433316A CN 108710838 B CN108710838 B CN 108710838B
- Authority
- CN
- China
- Prior art keywords
- pixel
- probability
- region
- image
- thermal infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001815 facial effect Effects 0.000 title abstract description 7
- 238000013499 data model Methods 0.000 claims abstract description 32
- 239000000203 mixture Substances 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000004297 night vision Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000002829 reductive effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 abstract 1
- 230000014509 gene expression Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种夜视环境下热红外人脸图像识别方法,用以解决现有人脸识别方法无法应对实际非控制环境影响的问题。本发明的步骤为:对热红外人脸图像进行数据建模建立极大化数据模型;估计极大化数据模型的混合模型参数,将极大化数据数据模型调整到高斯混合模型,得到调整后的热红外高斯混合人脸图像;提取热红外高斯混合人脸图像中简化的等温特征集,重建人脸热特征图像;计算一对重建人脸热特征图像间的概率近邻指数。本发明提取热特征人脸图像的简化等温特征集,并使用概率邻近指数度量个体间的相似度,克服了现有可见光人脸识别技术的不足,特别适用于夜视环境下的人脸识别,大大提高了人脸识别系统的抗干扰能力。
Description
技术领域
本发明涉及公共空间夜间安全监测的技术领域,尤其涉及一种夜视环境下热红外人脸图像识别方法。
背景技术
当前,人脸识别技术已经广泛应用到公共安全监测与身份认证领域,大大提高了司法机关案件取证、罪犯追逃、身份认证和公共安全管理的效率。然而,当前的人脸识别系统无法应对实际非控制环境的各种挑战,光线变化、人脸表情变化、姿态变化、妆容变化、用照片代替人脸欺诈方式等给当前可见光人脸识别带来了很多棘手的问题。
在此背景下,热红外人脸图像识别技术开始悄然发展。使用红外热像仪拍摄的热红外人脸图像比可见光人脸图像具有更强的稳定性,如抗干扰性、光照不变性、防伪装和防欺诈特性等,可以弥补可见光图像的诸多缺陷。热红外人脸图像的特征是由人的脸部肌肉组织和血管分布等固有因素所决定,以较强鲁棒性的解剖学细节特征作为主要特征,由人的遗传基因结构决定,不可复制,更不受环境光照等因素的影响。由于不同的人脸具有完全不同的热辐射模式,因此,热红外人脸识别技术在夜间监测、相似人脸识别(双胞胎)、易容化妆、局部遮挡和照片欺诈等条件下具有极大的鲁棒性,在公共安全监测与身份认证领域具有广泛的应用前景。
发明内容
针对现有人脸识别方法无法应对实际非控制环境影响的技术问题,本发明提出一种夜视环境下热红外人脸图像识别方法,利用热红外人脸图像的简化等温特征集来重建人脸热特征图像,通过计算概率近邻指数获取识别结果,解决了夜视环境下人脸识别难题,大大提高了人脸识别系统在光照变化、易容、遮挡等条件下的识别精度。
为了达到上述目的,本发明的技术方案是这样实现的:一种夜视环境下热红外人脸图像识别方法,其步骤如下:
步骤一:利用红外热像仪采集夜视条件下的热红外人脸图像,对热红外人脸图像进行数据建模建立极大化数据模型,计算热红外人脸图像每个像素的概率密度函数和整个极大化数据模型的联合概率;
步骤二:计算热红外人脸图像每个像素的期望概率,综合邻域像素的特征估计极大化数据模型的混合模型参数,执行类拟合算法计算极大化数据模型的熵和高斯度,将极大化数据数据模型调整到高斯混合模型,得到调整后的热红外高斯混合人脸图像;
步骤三:提取热红外高斯混合人脸图像中简化的等温特征集,重建人脸热特征图像;
步骤四:计算一对重建人脸热特征图像间的概率近邻指数,概率近邻指数为0表示两测试样本完全不同,概率近邻指数为1表示两测试样本完全相似,从而给出人脸图像识别结果。
所述步骤一的实现方法为:
(1)对采集的热红外人脸图像尺度归一化得到大小相同的测试图像;
(2)计算测试图像每个像素的概率密度函数;
(3)通过每个像素的概率密度函数计算整个测试图像的数据模型的联合概率。
所述计算测试图像每个像素的概率密度函数的方法为:
设是测试图像的像素集,xi表示测试图像第i个像素,表示p维的实数集,n表示测试图像像素的个数,N为自然数;将测试图像分成K个区域,其中,是形成第k个区域的像素集,k=1,…,K,nk表示第k个区域的像素xs个数;像素xi属于第k个区域的概率密度函数为gk(xi|θk),用于判断像素xi是否属于第k个区域;像素xi∈M用表示区域像素分布的随机矩阵X={X1,X2,…,XK}表示,混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}是由随机矩阵X的概率密度函数定义的未知参数集,随机矩阵X的概率密度函数由下式给出:
其中,pk为像素xs在第k个区域的分布概率,μk为第k个区域的所有像素xs的平均值,σk为第k个区域所有像素xs的标准方差,θk为第k个区域估计得到的最大值点;
计算整个测试图像的数据模型的联合概率为:
所述步骤二中的实现方法的步骤为:
(1)E步骤:计算热红外人脸图像尺度归一化得到的测试图像的每个像素属于区域k的期望概率:
其中,gk(xi|θk)为像素xi属于第k个区域的概率密度函数,pk为像素xs在第k个区域的分布概率;区域k=1,…,K,K为测试图像分成的区域数,cik表示像素xi属于测试图像中区域k的期望概率,cik为概率矩阵C的元素;
(2)T步骤:计算每个像素8个邻域隶属概率的加权平均值paik,更新概率矩阵C和分配权重phi;
(3)M步骤:极大化数据模型的似然度获取混合模型参数;
(4)执行类拟合算法计算极大化数据模型的熵和高斯度,将极大化数据数据模型调整到高斯混合模型,将高斯度G→0,得到调整后的热红外高斯混合人脸图像。
所述T步骤的实现方法为:
a)计算像素xi的8个领域xj∈N8xi隶属概率的加权平均值paik:
设矩阵PA是一个大小为n×K的矩阵,其元素paik由下式给出:
其中,近邻像素xj属于中心像素xi的8个邻域,vij表示近邻像素xj对像素xi的影响,cjk表示近邻像素xj属于区域k的概率;
b)更新概率矩阵C:如果像素xi是非自由像素,则用加权平均值paik替换概率cik来更新概率矩阵C;如果像素xi为自由像素,则分配给概率cik的类与由元素paik获得的类相同;
c)利用更新后的概率矩阵C计算每个像素的权重:
所述M步骤的实现方法为:
混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}中的参数估计通过下式获得:
其中,为分布概率pk的估计,为平均值μk的估计,为标准方差的估计;
利用估计值和分别更新混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}中的相应参数,利用更新后的混合模型参数计算整个测试图像的联合概率,若当前迭代的联合概率的值小于先前迭代值,迭代过程结束,执行样本分类,并估计每个像素的隶属概率,在每次迭代中的M步骤更新第k个区域的像素集Rk,第k个区域估计得到的最大值点θk使像素xi的条件概率gk(xi|θk)最大化,即:
获得的ki值即完成了对像素xi所属区域的判断。
利用类拟合算法得到调整后的热红外高斯混合人脸图像的方法为:
a)计算区域像素集Rk的理论最大熵Hmax:
其中,e为自然常数2.71828;
b)frj为区域像素集Rk所有近邻像素xj的相对频率,计算区域像素集Rk的真实熵Hreal:
c)计算出极大化数据数据模型的高斯度G:
如果高斯度G→0,类拟合算法结束得到调整后的热红外高斯混合人脸图像。
所述步骤三的实现步骤为:
(1)选择区域特征点像素位置(由区域像素xs的行、列定义)标注为圆心⊙s,s=1,…,nk;
(2)计算区域的像素集Rk中每个像素与区域边缘的欧几里得距离d以获取半径rjk,获取欧式变换后的特征点图像;
(3)由具有最大半径rjk的η个圆标出η个特征点集合作为等温特征集PCη并使这些圆彼此不重叠:
其中,在像素xi的位置标注圆心⊙i,Bk(⊙s,rjk)为测试图像中的第s个圆、d(⊙s,⊙i)表示圆心⊙s和圆心⊙i的欧几里得距离;
(4)通过简化的等温特征集PCη来重建人脸热特征图像:
η个特征点组成的等温特征集PCη为:
其中,Bl对应于测试图像中第一个最大半径的第l个圆,Bm∈PCη,l≠m;
获取由简化的等温特征集PCη重建的人脸热特征图像IPCη。
所述步骤四中计算一对重建人脸热特征图像间的概率近邻指数的方法为:
设是测试样本人脸图像的热特征,IPCη是由一组η个特征通过公式(14)重建的热特征图像,对于热特征I的每个区域,热特征图像IPCη中的所有像素具有与区域像素集Rk像素相同的空间位置,即:Qk为热特征图像像素集与区域像素集的交集,nqk为交集Qk区域的像素个数,计算一对重建人脸热特征图像间的概率近邻指数PPI:
其中,条件期望gk(μk|θk)为平均值μk在最大值点θk确定条件下的概率密度函数。
本发明的有益效果:提取热特征人脸图像的简化等温特征集,并使用概率邻近指数度量个体间的相似度,克服了现有可见光人脸识别技术的不足,特别适用于夜视环境下的人脸识别,大大提高了人脸识别系统的抗干扰能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明实施例中的实验过程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种夜视环境下热红外人脸图像识别方法,其步骤如下:
步骤一:利用红外热像仪采集夜视条件下的热红外人脸图像对热红外人脸图像进行数据建模,计算热红外人脸图像每个像素的概率密度函数和整个数据模型的联合概率。
(1)使用红外热像仪采集热红外人脸图像,如图2(a)所示,可以得到测试样本的热红外人脸图像,对采集的热红外人脸图像尺度归一化为81×150像素(共12150个特征点)的测试图像。
(2)计算测试图像每个像素的概率密度函数
设是测试图像的像素集,xi表示测试图像第i个像素,表示p维的实数集,n表示测试图像像素的个数,N为自然数;将测试图像分成K个区域,其中,是形成第k个区域的像素集,k=1,…,K,nk表示第k个区域的像素xs个数;像素xi属于第k个区域的概率密度函数为gk(xi|θk),用于判断像素xi是否属于第k个区域;像素xi∈M用表示区域像素分布的随机矩阵X={X1,X2,…,XK}表示,混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}是由随机矩阵X的概率密度函数定义的未知参数集,随机矩阵X的概率密度函数由下式给出:
其中,pk为像素xs在第k个区域的分布概率,μk为第k个区域的所有像素xs的平均值,σk为第k个区域所有像素xs的标准方差,θk为第k个区域估计得到的最大值点。
(3)计算整个测试图像的数据模型的联合概率:
整个测试图像的数据模型的联合概率通过下式估计:
步骤二:将热红外人脸图像调整到高斯混合模型,包括以下步骤:
(1)E步骤:计算测试图像每个像素属于区域k的期望概率
cik为概率矩阵C的元素,cik表示像素xi属于测试图像中区域k的期望概率,使用混合模型参数φ中分布概率pk的当前估计值计算概率矩阵C中的元素cik作为期望概率:
(2)T步骤:计算每个像素8个邻域隶属概率的加权平均值paik,更新概率矩阵C和分配权重phi
a)计算像素xi的8个领域xj∈N8xi隶属概率的加权平均值paik:
设矩阵PA是一个大小为n×K的矩阵,其元素paik由下式给出:
其中,近邻像素xj属于中心像素xi的8个邻域,vij表示近邻像素xj对像素xi的影响,cjk表示近邻像素xj属于区域k的概率。
b)更新概率矩阵C:如果像素xi是非自由像素,则用加权平均值paik替换概率cik来更新概率矩阵C;如果像素xi为自由像素,则分配给概率cik的类与由元素paik获得的类相同。类是指不同人脸分类,即不同的测试样本类别。
c)利用更新后的概率矩阵C计算每个像素的权重:
(3)M步骤:极大化数据模型的似然度获取混合模型参数
混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk},混合模型参数中的估计可通过下式获得:
其中,为分布概率pk的估计,为平均值μk的估计,为标准方差的估计。
利用估计和分别更新混合模型参数中相应的值,将估计的混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}带入式(2)计算整个测试图像的联合概率L(X|φ),若当前迭代的联合概率L(X|φ)值小于先前迭代值时迭代过程结束,执行样本分类,并估计每个像素的隶属概率,xs为区域k的像素,Rk是形成第k个区域的像素集,在每次迭代中的M步骤后更新像素集Rk,θk为第k个区域估计得到的最大值点,θk使像素xi的条件概率gk(xi|θk)最大化,即:
此处获得的ki值即完成对像素xi所属区域的判断。若当前迭代的L(X|φ)值大于先前迭代值,则继续执行E步骤、T步骤和M步骤进行迭代。
(4)执行类拟合算法计算极大化数据模型的熵和高斯度,将极大化数据数据模型调整到高斯混合模型(高斯度G→0)
a)计算区域像素集Rk的理论最大熵Hmax:
其中,e表示自然常数e≈2.71828(保留六位有效数字),是M步骤中公式(8)更新后的计算的结果。
b)frj为区域像素集Rk所有近邻像素xj的相对频率,计算区域像素集Rk的真实熵Hreal:
c)计算出极大化数据数据模型的高斯度G:
如果高斯度G→0,表明此时数据准确调整到高斯混合模型,类拟合算法结束,得到调整后的热红外高斯混合人脸图像,如附图2(b)所示。
步骤三:提取简化的等温特征集,重建人脸热特征图像,包括以下步骤:
(1)选择区域特征点像素位置标注为圆心⊙s,s=1,…,nk;
(2)计算区域像素集Rk中每个像素与区域边缘的欧几里得距离d以获取半径rjk,获取欧式变换后的特征点图像,如附图2(c)所示;
(3)由具有最大半径rjk的η个圆标出η个特征点集合作为等温特征集PCη并使这些圆彼此不重叠:
其中,在像素xi的位置(行、列)标注圆心⊙i,Bk(⊙s,rjk)为测试图像中的第s个圆,d(⊙s,⊙i)表示圆心⊙s和圆心⊙i的欧几里得距离。
(4)通过简化的等温特征集PCη来重建人脸热特征图像:
定义等温特征集PCη为η个特征点的集合,其由下式给出:
其中,Bl对应于测试图像中第一个最大半径的第l个圆,Bm∈PCη,l≠m。
获取由简化的等温特征集PCη重建的人脸热特征图像IPCη,如附图2(d)所示。
步骤四:计算一对重建人脸热特征图像间的概率近邻指数PPI,给出识别结果
设是测试样本人脸图像的热特征,IPCη是由一组η个特征通过公式(14)重建的热特征图像,对于热特征I的每个区域,热特征图像IPCη中的所有像素具有与区域像素集Rk像素相同的空间位置,即:Qk为热特征图像像素集与区域像素集的交集,nqk为交集Qk区域的像素个数,计算一对重建人脸热特征图像间的概率近邻指数PPI:
其中,条件期望gk(μk|θk)为平均值μk在最大值点θk确定条件下的概率密度函数,PPI=0表示最大样本差距、表示两测试样本完全不同,PPI=1表示完美的相似度、表示两测试样本完全相似,由概率近邻指数PPI的值给出最终识别结果。
实验验证:
本发明进行了大量的实验,实施例的实验仿真情况如下:
本发明实施例的实验仿真使用UCHThermalFace数据库,该数据库包含三组数据集:姿态集、语音集和表情集。姿态集(R1~R11子集)和语音集(S1~S3子集)是在不同的偏转角度和俯仰角度下、对象讲话时获得的53个对象的室内和室外热红外人脸图像,拍摄对象到热像仪的距离固定在120厘米,俯仰角在-15°~15°,偏转角度在-30°~30°之间变化;表情集是在室内获得的3个表情(快乐、悲伤和愤怒)共102个对象的热红外人脸图像,对象到热像仪的距离固定在150厘米。为了评估本发明所提出方法的性能,本发明选取测试图像81×150像素的12150个特征进行了四类实验:(1)部分面部遮挡,(2)人眼定位的准确性,(3)室内与室外样本的对比,(4)面部表情变化。
经过实验验证,本发明方法的平均人脸识别率为:姿态集为95.6%、语音集为95.6%,表情集为99.3%,与其他人脸特征识别技术相比,使用简化的等温特征集在热红外人脸识别过程中获得较高且有竞争力的性能,仅需获得全部人脸图像1.8%的特征数就达到与当前文献相似的识别精度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种夜视环境下热红外人脸图像识别方法,其特征在于,其步骤如下:
步骤一:利用红外热像仪采集夜视条件下的热红外人脸图像,对热红外人脸图像进行数据建模建立极大化数据模型,计算热红外人脸图像每个像素的概率密度函数和整个极大化数据模型的联合概率;
步骤二:计算热红外人脸图像每个像素的期望概率,综合邻域像素的特征估计极大化数据模型的混合模型参数,执行类拟合算法计算极大化数据模型的熵和高斯度,将极大化数据数据模型调整到高斯混合模型,得到调整后的热红外高斯混合人脸图像;
步骤三:提取热红外高斯混合人脸图像中简化的等温特征集,重建人脸热特征图像;
步骤四:计算一对重建人脸热特征图像间的概率近邻指数,概率近邻指数为0表示两测试样本完全不同,概率近邻指数为1表示两测试样本完全相似,从而给出人脸图像识别结果。
2.根据权利要求1所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述步骤一的实现方法为:
(1)对采集的热红外人脸图像尺度归一化得到大小相同的测试图像;
(2)计算测试图像每个像素的概率密度函数;
(3)通过每个像素的概率密度函数计算整个测试图像的数据模型的联合概率。
3.根据权利要求2所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述计算测试图像每个像素的概率密度函数的方法为:
设是测试图像的像素集,xi表示测试图像第i个像素,表示p维的实数集,n表示测试图像像素的个数,N为自然数;将测试图像分成K个区域,其中,是形成第k个区域的像素集,k=1,…,K,nk表示第k个区域的像素xs个数;像素xi属于第k个区域的概率密度函数为gk(xi|θk),用于判断像素xi是否属于第k个区域;像素xi∈M用表示区域像素分布的随机矩阵X={X1,X2,…,XK}表示,混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}是由随机矩阵X的概率密度函数定义的未知参数集,随机矩阵X的概率密度函数由下式给出:
其中,pk为像素xs在第k个区域的分布概率,μk为第k个区域的所有像素xs的平均值,σk为第k个区域所有像素xs的标准方差,θk为第k个区域估计得到的最大值点;
计算整个测试图像的数据模型的联合概率为:
4.根据权利要求3所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述步骤二中的实现方法的步骤为:
(1)E步骤:计算热红外人脸图像尺度归一化得到的测试图像的每个像素属于区域k的期望概率:
其中,gk(xi|θk)为像素xi属于第k个区域的概率密度函数,pk为像素xs在第k个区域的分布概率;区域k=1,…,K,K为测试图像分成的区域数,cik表示像素xi属于测试图像中区域k的期望概率,cik为概率矩阵C的元素;
(2)T步骤:计算每个像素8个邻域隶属概率的加权平均值paik,更新概率矩阵C和分配权重phi;
(3)M步骤:极大化数据模型的似然度获取混合模型参数;
(4)执行类拟合算法计算极大化数据模型的熵和高斯度,将极大化数据数据模型调整到高斯混合模型,将高斯度G→0,得到调整后的热红外高斯混合人脸图像。
5.根据权利要求4所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述T步骤的实现方法为:
a)计算像素xi的8个领域xj∈N8(xi)隶属概率的加权平均值paik:
设矩阵PA是一个大小为n×K的矩阵,其元素paik由下式给出:
其中,近邻像素xj属于中心像素xi的8个邻域,vij表示近邻像素xj对像素xi的影响,cjk表示近邻像素xj属于区域k的概率;
b)更新概率矩阵C:如果像素xi是非自由像素,则用加权平均值paik替换概率cik来更新概率矩阵C;如果像素xi为自由像素,则分配给概率cik的类与由元素paik获得的类相同;
c)利用更新后的概率矩阵C计算每个像素的权重:
6.根据权利要求5所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述M步骤的实现方法为:
混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}中的参数估计通过下式获得:
其中,为分布概率pk的估计,为平均值μk的估计,为标准方差的估计;
利用估计值和分别更新混合模型参数φ={p1,...,pk,μ1,...,μk,σ1,...,σk}中的相应参数,利用更新后的混合模型参数计算整个测试图像的联合概率,若当前迭代的联合概率的值小于先前迭代值,迭代过程结束,执行样本分类,并估计每个像素的隶属概率,在每次迭代中的M步骤更新第k个区域的像素集Rk,第k个区域估计得到的最大值点θk使像素xi的条件概率gk(xi|θk)最大化,即:
获得的ki值即完成了对像素xi所属区域的判断。
7.根据权利要求4所述的夜视环境下热红外人脸图像识别方法,其特征在于,利用类拟合算法得到调整后的热红外高斯混合人脸图像的方法为:
a)计算区域像素集Rk的理论最大熵Hmax:
其中,e为自然常数2.71828;
b)frj为区域像素集Rk所有近邻像素xj的相对频率,计算区域像素集Rk的真实熵Hreal:
c)计算出极大化数据数据模型的高斯度G:
如果高斯度G→0,类拟合算法结束得到调整后的热红外高斯混合人脸图像。
8.根据权利要求5所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述步骤三的实现步骤为:
(1)选择由区域像素xs的行和列定义的区域特征点像素位置标注为圆心⊙s,s=1,…,nk;
(2)计算区域的像素集Rk中每个像素与区域边缘的欧几里得距离d以获取半径rjk,获取欧式变换后的特征点图像;
(3)由具有最大半径rjk的η个圆标出η个特征点集合作为等温特征集PCη并使这些圆彼此不重叠:
其中,在像素xi的位置标注圆心⊙i,Bk(⊙s,rjk)为测试图像中的第s个圆、d(⊙s,⊙i)表示圆心⊙s和圆心⊙i的欧几里得距离;
(4)通过简化的等温特征集PCη来重建人脸热特征图像:
η个特征点组成的等温特征集PCη为:
其中,Bl对应于测试图像中第一个最大半径的第l个圆,Bm∈PCη,l≠m;
获取由简化的等温特征集PCη重建的人脸热特征图像IPCη。
9.根据权利要求8所述的夜视环境下热红外人脸图像识别方法,其特征在于,所述步骤四中计算一对重建人脸热特征图像间的概率近邻指数的方法为:
设是测试样本人脸图像的热特征,IPCη是由一组η个特征通过公式(14)重建的热特征图像,对于热特征I的每个区域,热特征图像IPCη中的所有像素具有与区域像素集Rk像素相同的空间位置,即:Qk为热特征图像像素集与区域像素集的交集,nqk为交集Qk区域的像素个数,计算一对重建人脸热特征图像间的概率近邻指数PPI:
其中,条件期望gk(μk|θk)为平均值μk在最大值点θk确定条件下的概率密度函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810433316.8A CN108710838B (zh) | 2018-05-08 | 2018-05-08 | 一种夜视环境下热红外人脸图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810433316.8A CN108710838B (zh) | 2018-05-08 | 2018-05-08 | 一种夜视环境下热红外人脸图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108710838A CN108710838A (zh) | 2018-10-26 |
CN108710838B true CN108710838B (zh) | 2019-11-08 |
Family
ID=63867735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810433316.8A Active CN108710838B (zh) | 2018-05-08 | 2018-05-08 | 一种夜视环境下热红外人脸图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710838B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907616B (zh) * | 2021-04-27 | 2022-05-03 | 浙江大学 | 一种基于热成像背景滤除的行人检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246883A (zh) * | 2013-05-20 | 2013-08-14 | 中国矿业大学(北京) | 一种煤矿井下热红外图像人脸识别方法 |
CN106250877A (zh) * | 2016-08-19 | 2016-12-21 | 深圳市赛为智能股份有限公司 | 近红外人脸识别方法及装置 |
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706871A (zh) * | 2009-11-05 | 2010-05-12 | 上海交通大学 | 基于等距映射的人脸图像识别方法 |
CN105488536B (zh) * | 2015-12-10 | 2019-03-05 | 中国科学院合肥物质科学研究院 | 一种基于多特征深度学习技术的农田害虫图像识别方法 |
-
2018
- 2018-05-08 CN CN201810433316.8A patent/CN108710838B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246883A (zh) * | 2013-05-20 | 2013-08-14 | 中国矿业大学(北京) | 一种煤矿井下热红外图像人脸识别方法 |
CN106250877A (zh) * | 2016-08-19 | 2016-12-21 | 深圳市赛为智能股份有限公司 | 近红外人脸识别方法及装置 |
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
基于信息极大化的ICA算法研究;栗科峰等;《通信技术》;20110510;第44卷(第233期);第113-118页 * |
基于局部结构分解的人脸图像特征提取方法;栗科峰等;《激光杂志》;20151125;第36卷(第11期);第71-74页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108710838A (zh) | 2018-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
CN106815566B (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
CN109389074B (zh) | 一种基于人脸特征点提取的表情识别方法 | |
CN108520216B (zh) | 一种基于步态图像的身份识别方法 | |
US11194997B1 (en) | Method and system for thermal infrared facial recognition | |
CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
CN103839041B (zh) | 客户端特征的识别方法和装置 | |
CN109934195A (zh) | 一种基于信息融合的反欺骗三维人脸识别方法 | |
CN110598535B (zh) | 一种监控视频数据中使用的人脸识别分析方法 | |
CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
CN107145842A (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
CN110659586B (zh) | 一种基于身份保持循环式生成式对抗网络的步态识别方法 | |
CN101261677A (zh) | 人脸和虹膜混合识别的新方法——特征提取层融合 | |
CN110472495B (zh) | 一种基于图形推理全局特征的深度学习人脸识别方法 | |
CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
CN107220598B (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
CN112052772A (zh) | 一种人脸遮挡检测算法 | |
CN109447175A (zh) | 结合深度学习与度量学习的行人再识别方法 | |
CN112541421B (zh) | 一种开放空间的行人换装重识别方法 | |
CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
CN103984920A (zh) | 一种基于稀疏表示与多特征点的三维人脸识别方法 | |
CN111985332A (zh) | 一种基于深度学习的改进损失函数的步态识别方法 | |
CN113822157A (zh) | 一种基于多分支网络和图像修复的戴口罩人脸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |