CN107341447A - 一种基于深度卷积神经网络和证据k近邻的人脸核实方法 - Google Patents

一种基于深度卷积神经网络和证据k近邻的人脸核实方法 Download PDF

Info

Publication number
CN107341447A
CN107341447A CN201710441602.4A CN201710441602A CN107341447A CN 107341447 A CN107341447 A CN 107341447A CN 201710441602 A CN201710441602 A CN 201710441602A CN 107341447 A CN107341447 A CN 107341447A
Authority
CN
China
Prior art keywords
class
evidence
face
neighbour
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710441602.4A
Other languages
English (en)
Inventor
傅予力
黄志建
吴小思
张隆琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710441602.4A priority Critical patent/CN107341447A/zh
Publication of CN107341447A publication Critical patent/CN107341447A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种基于深度卷积神经网络和证据K近邻的人脸核实方法,包括步骤:首先训练深度卷积神经网络提取人脸特征;然后选用N类人脸库通过深度卷积神经网络提取特征后求类中心点组成模板库和类最大边界距离;通过欧氏距离找到近邻M个近邻类,类内构造K个近邻证据,构造类内基本置信指派,使用D‑S规则进行证据融合,得到类的总的置信指派;类间融合使用PCR5规则处理冲突,最后转化成各个模式类别的pignistic概率,使用融合规则和所设立的分类规则来判断识别目标的类别。本发明针对人脸提出一套近邻证据构造和融合算法,相对于KNN在准确度和实时性上都有微小提升,可运用于身份认证,公共安全等领域。

Description

一种基于深度卷积神经网络和证据K近邻的人脸核实方法
技术领域
本发明涉及人工智能和模式识别技术领域,具体涉及一种基于深度卷积神经网络和证据K近邻的人脸核实方法。
背景技术
身份验证具有重大的应用价值,作为保证信息安全的重要技术之一,一直以来是研究的热点,二代身份证的人脸验证具有非常大的应用领域。早期的人脸验证大都针对约束环境下的人脸识别,并取得了非常好的效果。然而在无约束环境下,光照,用户姿势,年龄更替等外在因素,人脸认证的正确率不尽人意。
近年来,随着深度学习概念的提出,通过深度神经网络模型提取特征,广泛应用于各领域特征提取并取得了重大的进步。
证据理论,也称为Dempster/Shafer证据理论(D-S证据理论),属于人工智能范畴,最早应用于专家系统中,具有处理不确定信息的能力。由于人脸之间存在环境干扰因素(如光照)和自身因素(如姿势),所获取的信息会包含一定的不确定性信息。另外,人脸核实准确性也受到模板库完备性影响,传统分类方法比如KNN,SVM等不能处理这部分不确定信息,容易产生误判。而证据理论能够针对这些问题提出有效的解决方案。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)和证据K近邻(Evidence K NearestNeighbor,EK-NN)的人脸核实方法,结合证据推理中的D-S、PCR5组合规则和K近邻理论,增强了人脸核实的鲁棒性,提升了人脸核实的准确性和速度。
本发明的目的可以通过采取如下技术方案达到:
一种基于深度卷积神经网络和证据K近邻的人脸核实方法,所述人脸核实方法包括下列步骤:
S1、人脸特征提取,采集人脸图像并通过训练深度卷积神经网络进行人脸特征的提取;
S2、近邻证据的构造和融合,通过提取的人脸特征,找到人脸模板库 M个近邻类,类内选择K个近邻,进行证据的构造和基本置信指派,使用 D-S证据理论类内融合得到类的总的BPA;
S3、类别间证据融合,PCR5规则处理证据冲突,融合所得的全局mass 转换成待识别人脸属于各个模式类别的pignistic概率,设计分类规则,得出结果。
进一步地,所述步骤S1中采集人脸图像之后进行人脸图像预处理,具体过程如下:
对人脸图像进行人脸检测、对齐、归一化操作,采用Adaboost算法和 ASM算法进行人脸检测和关键点定位,再按照瞳孔坐标位置进行归一化为 100*100的图像,将归一化的图像进行灰度处理并且采用Quotient Image 方法去除光照干扰。
进一步地,所述深度卷积神经网使用tensorflow进行搭建,包括七层,其中,
第一层是卷积运算操作层,输入是100×100像素大小的人脸对齐图像,有大小为5×5像素的32个过滤器,填充值为2,步长为1,输出为 100×100×32的二维图像,激活函数设置为ReLU函数;
第二层是卷积运算层和下采样层,输入是100×100×32的二维图像,卷积层有大小为5×5像素的64个过滤器,填充值为2,步长为1,使用的激活函数是ReLU函数,下采样层使用2×2的核,步长为2,进行avg pooling下采样输出为:50×50×64,然后进行正则化处理;
第三层是卷积运算操作层与下采样层,输入是50×50×64的图像,采用大小为3×3像素的64个过滤器,填充值为1,使用的激活函数是ReLU 函数,使用2×2的核进行avgpooling下采样输出为:25×25×64的二维图像;
第四层是卷积运算操作层与采样层,输入是25×25×64的图像,采用大小为3×3像素的16个过滤器,填充值为1,使用的激活函数是修正线性单元函数,采样层使用maxpooling,输出为13×13×16的二维图像;
第五层是全连接层,输入是2704维的向量,即上一神经网络层的输出展开后的向量,输出1000维的向量,使用的激活函数是修正线性单元函数;
第六层是DropOut层,输入是1000维的输入向量,输出160维的向量,采用的激活函数是修正线性单元函数防止过拟合,DropOut层仅产生 40%的输出;
第七层是输出层,通过softmax分类器产生一个10548维向量。
进一步地,所述步骤S2具体过程包括:人脸模板库的建立、近邻证据的构造、近邻证据置信指派和融合。
进一步地,所述人脸模板库中将第m类人脸N张图片求出类中心点和类最大边界距离作为人脸m的特征,具体建立过程如下:
假设第m类人脸第n张图片经过深度卷积神经网络之后提取L维特征,特征为xm,n={cm,n,1,cm,n,2,…,cm,n,L},第m类人脸总共N张人脸图片建立的 m类中心点Xm={xN,1,xN,2,…,xN,L},其中:
最大边界距离是每个人脸到中心距离的欧氏距离最大值,构造m类的最大边界距离Dm作为m类的另外一个特征:
最后N类人脸建立一个模板矩阵,下面用Ψ表示:
Ψ的每一个行向量代表同一个人脸的特征向量的平均值,由Ψ可知模板库里面一共有N个人脸。
进一步地,所述近邻证据的构造具体过程如下:
假设待识别人脸的特征向量为xs={c1,c2,…,cL},首选寻找M个近邻类中心点,近邻类的选择需要满足两个条件:
a.与类中心点距离尽可能近;
b.在类的最大边界距离之内;
也即,根据欧氏距离:
根据特征距离大小从小到大选取M-1个近邻,加上距离模板库较远的归为一个类,总共M个类。近邻样本集合为:
{C1,C2,...,CM-1}。
进一步地,所述近邻证据置信指派和融合具体过程如下:
令CM用θM表示,把M个预选类包含的命题作为一个辨识框架θ,即 {θ12,…,θM-1M},在其中每个类里使用欧氏距离分别选取K个近邻点构造证据;
K个紧邻点通过以下方法构造近邻证据:
其中,mi1)表示在近邻类别θ1里第i个近邻点构造的证据,表示在类别θ1下分配给未知的精确信任,ωi表示第i个近邻证据所占权重,由以下公式确定:
最后使用D-S证据理论得到类的总的BPA。
进一步地,所述步骤S3中采用PCR5规则处理证据冲突,原理是将冲突信息按比例精确分配给相应的命题,得到不存在冲突的证据,在D-S模型下PCR5规则可以表示如下:
其中,表示X为2θ非空焦元,m12(X)对应两证据取一致的组合结果,即得到全局基本信任指派值,最后根据可传递信任模型的相关理论把全局信任指派值转换成pignistic概率表示。
进一步地,所述步骤S3中采用以下规则进行分类决策:
a.所识别的类pignistic概率与其他类的pignistic概率差值要大于设定的阈值σ,这个阈值的设定可以根据测量每个类的边界点的pignistic 概率差值来估计;
b.当识别的类的BPA的值小于未知基本信任指派值时,则判断目标T 为不能准确分类。
满足以上两条,判断pignistic概率值最大的类为识别的类。
本发明相对于现有技术具有如下的优点及效果:
1、本发明将深度卷积神经网络应用人脸认证当中,并构建深度卷积神经网络,通过设置较大的卷积核,深度卷积神经网络结构的深度较小,使用新方法提取特征并取得了很好的效果。
2、本发明提出一种新的证据K类近邻构造算法,该算法通过构建人脸中心点和最大边界距离特征,大大减少了人脸库的匹配数量,通过寻找K 近邻中心点的方式,大大减少了计算量,提高了实时性。
3、本发明使用距离长短作为置信指派的依据,最重要的是类内使用K 个点证据融合,相比K近邻算法提高了类的置信度,提高了整个算法的准确性。
附图说明
图1是本发明设计的深度卷积神经网络结构;
图2是本发明针对人脸认证提出的基于深度卷积神经网络和证据K近邻的人脸核实方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例公开了一种基于深度卷积神经网络和证据K近邻的人脸核实方法,具体包含以下步骤:
S1、人脸特征提取,采集人脸图像并通过深度卷积神经网络进行人脸特征的提取。
本发明选择目前比较流行的深度卷积神经网络用来进行人脸特征的提取工作。在步骤S1中,对采集到的数据集采用Adaboost算法和ASM算法进行人脸检测和关键点定位,再按照瞳孔坐标位置进行归一化为 100*100的图像,将归一化的图像进行灰度处理并且采用Quotient Image 方法去除光照干扰,接着采用本发明搭建的深度卷积神经网络对人脸进行特征提取工作,获取的特征向量为X={c1,c2,...,cL},L为维度。
S2、近邻证据的构造和融合,利用步骤S1获得的人脸特征,找到人脸模板库M个近邻类,类内选择K个近邻,进行证据的构造和基本置信指派,使用D-S证据理论类内融合得到类的总的BPA。
在步骤S2中,具体包括人脸模板库的建立、近邻证据的构造、近邻证据置信指派和融合。具体说明如下:
S201、人脸模板库的建立:假设第m类人脸第n张图片经过深度卷积神经网络之后提取L维特征,特征为xm,n={cm,n,1,cm,n,2,…,cm,n,L},第m类人脸总共N张人脸图片建立的m类中心点Xm={xm,1,xm,2,…,xm,L},其中:
最大边界距离是每个人脸到中心距离的欧氏距离最大值,这里需要构造m类的最大边界距离Dm作为m类的另外一个特征:
最后N类人脸建立一个模板矩阵,下面用Ψ表示:
Ψ的每一个行向量代表同一个人脸的特征向量的平均值,由Ψ可知模板库里面一共有N个人脸。
任意类m人脸拥有两个特征:一个是中心点Xm,一个最大边界距离 Dm
S202、近邻证据的构造:
建立人脸模板库之后,接着要找到近邻类,假设待识别人脸的特征向量为xs={c1,c2,…,cL},首先需要找到人脸模板库里面与待识别目标近邻的M 个类,需要满足两点规则:
a.与类中心点距离尽可能近;
b.在类的最大边界距离之内。
根据欧氏距离:
根据特征距离大小从小到大选取M-1个近邻,加上距离模板库较远的归为一个类,总共M个类。近邻样本集合为:
{C1,C2,...,CM-1}。
S203、近邻证据置信指派和融合:
特征距离越小,说明其类别属性和待识别目标接近,构造的近邻证据权重越大。令CM用θM表示,把步骤S202中的M个预选类包含的命题作为一个辨识框架θ,即{θ12,…,θM-1M},在其中每个类里分别选取K个近邻点构造证据。例如在θM类里选取目标T的K个近邻点及对应的欧式距离从小到大排序的集合为{(X1,d1),(X2,d2)...(XK,dK)},根据每个类里的每个近邻点的欧式距离映射到基本概率分配(BPA)是一个负指数函数,以θ1为例,则可以构造K近邻证据为:
其中,mi1)表示在近邻类别θ1里第i个近邻点构造的证据,mi(φ)表示在类别θ1下分配给未知的精确信任,wi表示第i个近邻证据所占权重,由以下公式确定:
把每一个近邻类里的证据用D-S规则进行组合,首先简要介绍一下D- S组合规则,根据证据理论的知识,假设在辨识框架θ下有两个证据m1和 m2,其焦员分别是Bi和Aj(i,j=1,2,3...),则把证据按以下组合:
其中,C表示组合后的新命题,m(C)表示组合后的BPA,其值表示指派C的基本信任指派值,而表示空集,Kc表示证据间冲突因子:
在近邻证据组合上,根据上面可知在近邻类里Kc=0,用D-S规则可以得到θM类的总的BPA如下:
S3、类别融合与决策,类别间证据融合,处理证据冲突,融合所得的全局mass转换成待识别人脸属于各个模式类别的pignistic概率,设计分类规则,得出结果。
根据步骤S2假设得到各个类别总的BPA的集合为{m1,m2,m3,...,mM},它们分别指派不同的类别,所以在进一步进行证据组合会存在一定冲突,例如θ1和θ2类别进行组合会得到:
m(φ)=m(θ1∩θ2)=m11)·m22)
证据理论中要求空集的精确信任为零,上式m(φ)表示类别θ1和θ2之间的冲突证据大小,当分配给空集的置信度较大时,则D-S组合得到的结论是不可信的。
为解决这个问题,需要采用PCR5规则进行类别间证据融合,原理是将冲突信息按比例精确分配给相应的命题,得到不存在冲突的证据。在D-S 模型下PCR5规则可以表示如下:
其中,表示X为2θ非空焦元,m12(X)对应两证据取一致的组合结果,即根据以上规则将指派各个类别的BPA 进行融合,例如辨识框架为{θ1,θ2},将证据m1和m2用PCR5规则进行融合,冲突证据的基本信任指派值为:
K12=m121∩θ2)=m1·m2
经过PCR5规则将证据融合得到:
以上就是经过PCR5规则进行证据融合后得到的全局BPA,对于辨识框架{θ12,…,θM-1M},也是用PCR5规则把{m1,m2,m3,...,mM}中的冲突部分进行再分配得到每一个类的全局BPA。
pignistic概率判断类别:
求得近邻类的全局BPA后,根据可传递信任模型相关理论,将指派近邻类置信度的全局mass函数值转换为pignistic概率表示,例如对于近邻类θi,判断目标T属于该类别的pignistic概率大小由以下公式来表示:
在步骤3)中,当然不能简单地根据pignistic概率大小来判断目标位于哪一类,为保证判断准确,需要正确识别的类与其他类有一定差异,于是有以下规则进行分类决策:
a.所识别的类pignistic概率与其他类的pignistic概率差值要大于设定的阈值σ,这个阈值的设定可以根据测量每个类的边界点的pignistic概率差值来估计。
b.当识别的类的BPA的值小于未知基本信任指派值时,则判断目标T为不能准确分类。
c.满足以上两条,判断pignistic概率值最大的类为识别的类。
最后,计算出符合以上分类规则的P(Ci),i为所得的1到M的某一特定值。那么类别Ci即为判定为待识别人脸目标的所属类别。
实施例二
本实施例公开了一种基于深度卷积神经网络和证据K近邻的人脸核实方法,具体包含以下步骤:
1)人脸图像预处理
将人脸模板库中的人脸图像进行人脸检测、对齐、归一化操作,采用 Adaboost算法和ASM算法进行人脸检测和关键点定位,再按照瞳孔坐标位置进行归一化为100*100的图像,将归一化的图像进行灰度处理并且采用 Quotient Image方法去除光照干扰。
2)神经网络的搭建与训练
下面使用tensorflow进行深度卷积神经网络的搭建。
第一层是卷积运算操作层,这一层输入的是100×100像素大小的人脸对齐图像。有大小为5×5像素的32个过滤器,填充值为2,步长为1,输出为100×100×32的二维图像,激活函数设置为ReLU函数。
第二层是卷积运算层和下采样层,输入是100×100×32的二维图像,卷积层有大小为5×5像素的64个过滤器,填充值为2,步长为1,使用的激活函数是ReLU函数,下采样层使用2×2的核,步长为2,进行avg pooling下采样输出为:50×50×64,然后进行正则化处理。
第三层是卷积运算操作层与下采样层,这一层输入的是50×50×64的图像,采用大小为3×3像素的64个过滤器,填充值为1,使用的激活函数是ReLU函数,使用2×2的核进行avg pooling下采样输出为: 25×25×64的二维图像。
第四层是卷积运算操作层与采样层,这一层输入的是25×25×64的图像,采用大小为3×3像素的16个过滤器,填充值为1,使用的激活函数是修正线性单元函数,采样层使用max pooling,输出为13×13×16的二维图像。
第五层是全连接层,接收的输入是2704维的向量,即上一神经网络层的输出展开后的向量,输出1000维的向量,使用的激活函数是修正线性单元函数。
第六层是DropOut层,接收1000维的输入向量,输出160维向量采用的激活函数是修正线性单元函数防止过拟合,DropOut层仅产生40%的输出。
第七层是输出层,通过softmax分类器产生一个10548维向量。
最后,交叉熵损失函数来定义cost function,使用AdamOptimizer() 函数作为优化器进行优化。
使用CASIA-WebFace人脸数据库,作为深度卷积神经网络的训练。
3)人脸模板库的建立:
训练样本选取N类人脸每类人脸都有若干张不同表情、姿态的照片提取特征,求出每类人脸多张图片特征的中心点和相应最大边界距离,组成N类人脸中心点模板库矩阵和N类人脸最大边界距离矩阵。
N类人脸的中心点模板库矩阵:
N类人脸最大边界距离矩阵:
D=[D1,D2,…,DN]。
4)近邻证据的构造
建立人脸模板库之后,接着要找到近邻类,假设待识别人脸的特征向量为xs={c1,c2,…,cL},首先需要找到模板库里面与待识别目标近邻的M个类, M取值需要根据实验效果设计,采用交叉验证法为M设置一个合适值,太大容易导致计算量太大,需要满足两点规则:
a.与类中心点距离尽可能近;
b.在类的最大边界距离之内。
根据欧氏距离:
根据特征距离大小从小到大选取M-1个近邻,加上距离模板库较远的归为一个类,总共M个类。近邻样本集合为:
{C1,C2,...,CM-1}。
5)近邻证据置信指派和融合
把上述步骤中的M个预选类包含的命题作为一个辨识框架θ,即 {θ12,…,θM-1M},在其中每个类里分别选取K个近邻点构造证据,这里的K不能大于每类人脸拥有的照片数量,采用实验的方法设置K的最佳值。例如在θM类里选取目标T的K个近邻点及对应的欧式距离从小到大排序的集合为{(X1,d1),(X2,d2)...(XK,dK)},根据每个类里的每个近邻点的欧式距离映射到基本概率分配(BPA)是一个负指数函数,以θ1为例,则可以构造K近邻证据为:
其中,mi1)表示在近邻类别θ1里第i个近邻点构造的证据,mi(φ)表示在类别θ1下分配给未知的精确信任,wi表示第i个近邻证据所占权重,由以下公式确定:
把每一个近邻类里的证据用D-S规则进行组合:
其中,C表示组合后的新命题,m(C)表示组合后的BPA,其值表示指派 C的基本信任指派值,
表示空集,Kc表示证据间冲突因子:
在近邻证据组合上,根据上面可知在近邻类里Kc=0,用D-S规则可以得到θM类的总的BPA如下:
6)类别融合与决策:
根据以上步骤假设得到各个类别总的BPA的集合为{m1,m2,m3,...,mM},它们分别指派不同的类别,所以在进一步进行证据组合会存在一定冲突,例如θ1和θ2类别进行组合会得到:
需要采用PCR5规则进行类别间证据融合,原理是将冲突信息按比例精确分配给相应的命题,得到不存在冲突的证据。在D-S模型下PCR5规则可以表示如下:
其中,表示X为2θ非空焦元,m12(X)对应两证据取一致的组合结果,即根据以上规则将指派各个类别的BPA 进行融合,例如辨识框架为{θ1,θ2},将证据m1和m2用PCR5规则进行融合,冲突证据的基本信任指派值为:
K12=m121∩θ2)=m1·m2
经过PCR5规则将证据融合得到:
以上就是经过PCR5规则进行证据融合后得到的全局BPA,对于辨识框架{θ12,…,θM-1M},也是用PCR5规则把{m1,m2,m3,...,mM}中的冲突部分进行再分配得到每一个类的全局BPA。
pignistic概率判断类别:求得近邻类的全局BPA后,根据可传递信任模型相关理论,将指派近邻类置信度的全局mass函数值转换为 pignistic概率表示,例如对于近邻类θi,判断目标T属于该类别的pignistic概率大小由一下公式来表示:
为保证判断准确,需要正确识别的类与其他类有一定差异,于是有以下规则进行分类决策:
a.所识别的类pignistic概率与其他类的pignistic概率差值要大于设定的阈值σ,这个阈值的设定可以根据测量每个类的边界点的pignistic概率差值来估计。
b.当识别的类的BPA的值小于未知基本信任指派值时,则判断目标T为不能准确分类。
c.满足以上两条,判断pignistic概率值最大的类为识别的类。
最后,计算出符合以上分类规则的P(Ci),i为所得的1到M的某一特定值。那么类别Ci即为判定为待识别人脸目标的所属类别。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述人脸核实方法包括下列步骤:
S1、人脸特征提取,采集人脸图像并通过训练深度卷积神经网络进行人脸特征的提取;
S2、近邻证据的构造和融合,通过提取的人脸特征,找到人脸模板库M个近邻类,类内选择K个近邻,进行证据的构造和基本置信指派,使用D-S证据理论类内融合得到类的总的BPA;
S3、类别间证据融合,PCR5规则处理证据冲突,融合所得的全局mass转换成待识别人脸属于各个模式类别的pignistic概率,设计分类规则,得出结果。
2.根据权利要求1所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述步骤S1中采集人脸图像之后进行人脸图像预处理,具体过程如下:
对人脸图像进行人脸检测、对齐、归一化操作,采用Adaboost算法和ASM算法进行人脸检测和关键点定位,再按照瞳孔坐标位置进行归一化为100*100的图像,将归一化的图像进行灰度处理并且采用Quotient Image方法去除光照干扰。
3.根据权利要求1所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述深度卷积神经网使用tensorflow进行搭建,包括七层,其中,
第一层是卷积运算操作层,输入是100×100像素大小的人脸对齐图像,有大小为5×5像素的32个过滤器,填充值为2,步长为1,输出为100×100×32的二维图像,激活函数设置为ReLU函数;
第二层是卷积运算层和下采样层,输入是100×100×32的二维图像,卷积层有大小为5×5像素的64个过滤器,填充值为2,步长为1,使用的激活函数是ReLU函数,下采样层使用2×2的核,步长为2,进行avgpooling下采样输出为:50×50×64,然后进行正则化处理;
第三层是卷积运算操作层与下采样层,输入是50×50×64的图像,采用大小为3×3像素的64个过滤器,填充值为1,使用的激活函数是ReLU函数,使用2×2的核进行avg pooling下采样输出为:25×25×64的二维图像;
第四层是卷积运算操作层与采样层,输入是25×25×64的图像,采用大小为3×3像素的16个过滤器,填充值为1,使用的激活函数是修正线性单元函数,采样层使用maxpooling,输出为13×13×16的二维图像;
第五层是全连接层,输入是2704维的向量,即上一神经网络层的输出展开后的向量,输出1000维的向量,使用的激活函数是修正线性单元函数;
第六层是DropOut层,输入是1000维的输入向量,输出160维的向量,采用的激活函数是修正线性单元函数防止过拟合,DropOut层仅产生40%的输出;
第七层是输出层,通过softmax分类器产生一个10548维向量。
4.根据权利要求1所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述步骤S2具体过程包括:人脸模板库的建立、近邻证据的构造、近邻证据置信指派和融合。
5.根据权利要求4所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述人脸模板库中将第m类人脸N张图片求出类中心点和类最大边界距离作为人脸m的特征,具体建立过程如下:
假设第m类人脸第n张图片经过深度卷积神经网络之后提取L维特征,特征为xm,n={cm,n,1,cm,n,2,…,cm,n,L},第m类人脸总共N张人脸图片建立的m类中心点Xm={xN,1,xN,2,…,xN,L},其中:
最大边界距离是每个人脸到中心距离的欧氏距离最大值,构造m类的最大边界距离Dm作为m类的另外一个特征:
最后N类人脸建立一个模板矩阵,下面用Ψ表示:
Ψ的每一个行向量代表同一个人脸的特征向量的平均值,由Ψ可知模板库里面一共有N个人脸。
6.根据权利要求4所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述近邻证据的构造具体过程如下:
假设待识别人脸的特征向量为xs={c1,c2,…,cL},首选寻找M个近邻类中心点,近邻类的选择需要满足两个条件:
a.与类中心点距离尽可能近;
b.在类的最大边界距离之内;
也即,根据欧氏距离:
根据特征距离大小从小到大选取M-1个近邻,加上距离模板库较远的归为一个类,总共M个类。近邻样本集合为:
{C1,C2,...,CM-1}。
7.根据权利要求6所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述近邻证据置信指派和融合具体过程如下:
令CM用θM表示,把M个预选类包含的命题作为一个辨识框架θ,即{θ12,…,θM-1M},在其中每个类里使用欧氏距离分别选取K个近邻点构造证据;
K个紧邻点通过以下方法构造近邻证据:
其中,mi1)表示在近邻类别θ1里第i个近邻点构造的证据,表示在类别θ1下分配给未知的精确信任,ωi表示第i个近邻证据所占权重,由以下公式确定:
最后使用D-S证据理论得到类的总的BPA。
8.根据权利要求1所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述步骤S3中采用PCR5规则处理证据冲突,原理是将冲突信息按比例精确分配给相应的命题,得到不存在冲突的证据,在D-S模型下PCR5规则可以表示如下:
其中,表示X为2θ非空焦元,m12(X)对应两证据取一致的组合结果,即得到全局基本信任指派值,最后根据可传递信任模型的相关理论把全局信任指派值转换成pignistic概率表示。
9.根据权利要求8所述的一种基于深度卷积神经网络和证据K近邻的人脸核实方法,其特征在于,所述步骤S3中采用以下规则进行分类决策:
a.所识别的类pignistic概率与其他类的pignistic概率差值要大于设定的阈值σ,这个阈值的设定可以根据测量每个类的边界点的pignistic概率差值来估计;
b.当识别的类的BPA的值小于未知基本信任指派值时,则判断目标T为不能准确分类。
满足以上两条,判断pignistic概率值最大的类为识别的类。
CN201710441602.4A 2017-06-13 2017-06-13 一种基于深度卷积神经网络和证据k近邻的人脸核实方法 Pending CN107341447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710441602.4A CN107341447A (zh) 2017-06-13 2017-06-13 一种基于深度卷积神经网络和证据k近邻的人脸核实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710441602.4A CN107341447A (zh) 2017-06-13 2017-06-13 一种基于深度卷积神经网络和证据k近邻的人脸核实方法

Publications (1)

Publication Number Publication Date
CN107341447A true CN107341447A (zh) 2017-11-10

Family

ID=60221434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710441602.4A Pending CN107341447A (zh) 2017-06-13 2017-06-13 一种基于深度卷积神经网络和证据k近邻的人脸核实方法

Country Status (1)

Country Link
CN (1) CN107341447A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154172A (zh) * 2017-12-21 2018-06-12 重庆邮电大学 基于三支决策的图像识别方法
CN108182384A (zh) * 2017-12-07 2018-06-19 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN108362510A (zh) * 2017-11-30 2018-08-03 中国航空综合技术研究所 一种基于证据神经网络模型的机械产品故障模式识别方法
CN108537277A (zh) * 2018-04-10 2018-09-14 湖北工业大学 一种图像分类识别的方法
CN108876849A (zh) * 2018-04-24 2018-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN109635708A (zh) * 2018-12-06 2019-04-16 中山大学 一种基于三数据集交叉迁移学习的无监督行人再识别方法
CN110109095A (zh) * 2019-04-30 2019-08-09 西南电子技术研究所(中国电子科技集团公司第十研究所) 目标特征辅助多源数据的关联方法
CN110175655A (zh) * 2019-06-03 2019-08-27 中国科学技术大学 数据识别方法及装置、存储介质及电子设备
CN110934565A (zh) * 2019-11-11 2020-03-31 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN111310699A (zh) * 2020-02-27 2020-06-19 浙江光珀智能科技有限公司 一种基于手掌特征的身份认证方法及系统
CN111352086A (zh) * 2020-03-06 2020-06-30 电子科技大学 一种基于深度卷积神经网络的未知目标识别方法
CN111352408A (zh) * 2020-03-11 2020-06-30 山东科技大学 一种基于证据k近邻的多工况流程工业过程故障检测方法
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
WO2020147265A1 (zh) * 2019-01-14 2020-07-23 南京信息工程大学 一种基于多源信息融合的移动电子商务推荐方法和系统
CN111582057A (zh) * 2020-04-20 2020-08-25 东南大学 一种基于局部感受野的人脸验证方法
CN112327189A (zh) * 2020-10-14 2021-02-05 北方工业大学 一种基于knn算法的储能电池健康状态综合判断方法
CN113780292A (zh) * 2021-08-31 2021-12-10 北京交通大学 一种基于证据推理的语义分割网络模型不确定性量化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582871B2 (en) * 2009-10-06 2013-11-12 Wright State University Methods and logic for autonomous generation of ensemble classifiers, and systems incorporating ensemble classifiers
CN104809426A (zh) * 2014-01-27 2015-07-29 日本电气株式会社 卷积神经网络的训练方法、目标识别方法及装置
CN106295547A (zh) * 2016-08-05 2017-01-04 深圳市商汤科技有限公司 一种图像比对方法及图像比对装置
CN106507475A (zh) * 2016-11-14 2017-03-15 华南理工大学 基于EKNN的室内区域WiFi定位方法及系统
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582871B2 (en) * 2009-10-06 2013-11-12 Wright State University Methods and logic for autonomous generation of ensemble classifiers, and systems incorporating ensemble classifiers
CN104809426A (zh) * 2014-01-27 2015-07-29 日本电气株式会社 卷积神经网络的训练方法、目标识别方法及装置
CN106295547A (zh) * 2016-08-05 2017-01-04 深圳市商汤科技有限公司 一种图像比对方法及图像比对装置
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106507475A (zh) * 2016-11-14 2017-03-15 华南理工大学 基于EKNN的室内区域WiFi定位方法及系统
CN106529504A (zh) * 2016-12-02 2017-03-22 合肥工业大学 一种复合时空特征的双模态视频情感识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREW TEOH BENG JIN,ET AL.: "Theoretic Evidence k-Nearest Neighbourhood Classifiers in a Bimodal Biometric Verification System", 《INTERNATIONAL CONFERENCE ON AUDIO- AND VIDEO-BASED BIOMETRIC PERSON AUTHENTICATION》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108362510A (zh) * 2017-11-30 2018-08-03 中国航空综合技术研究所 一种基于证据神经网络模型的机械产品故障模式识别方法
CN108182384B (zh) * 2017-12-07 2020-09-29 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN108182384A (zh) * 2017-12-07 2018-06-19 浙江大华技术股份有限公司 一种人脸特征点定位方法及装置
CN108154172A (zh) * 2017-12-21 2018-06-12 重庆邮电大学 基于三支决策的图像识别方法
CN108537277A (zh) * 2018-04-10 2018-09-14 湖北工业大学 一种图像分类识别的方法
CN108876849A (zh) * 2018-04-24 2018-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN108876849B (zh) * 2018-04-24 2021-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN109635708B (zh) * 2018-12-06 2023-01-03 中山大学 一种基于三数据集交叉迁移学习的无监督行人再识别方法
CN109635708A (zh) * 2018-12-06 2019-04-16 中山大学 一种基于三数据集交叉迁移学习的无监督行人再识别方法
WO2020147265A1 (zh) * 2019-01-14 2020-07-23 南京信息工程大学 一种基于多源信息融合的移动电子商务推荐方法和系统
CN110109095A (zh) * 2019-04-30 2019-08-09 西南电子技术研究所(中国电子科技集团公司第十研究所) 目标特征辅助多源数据的关联方法
CN110175655A (zh) * 2019-06-03 2019-08-27 中国科学技术大学 数据识别方法及装置、存储介质及电子设备
CN110175655B (zh) * 2019-06-03 2020-12-25 中国科学技术大学 数据识别方法及装置、存储介质及电子设备
CN110934565A (zh) * 2019-11-11 2020-03-31 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN111401145B (zh) * 2020-02-26 2022-05-03 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN111310699A (zh) * 2020-02-27 2020-06-19 浙江光珀智能科技有限公司 一种基于手掌特征的身份认证方法及系统
CN111352086A (zh) * 2020-03-06 2020-06-30 电子科技大学 一种基于深度卷积神经网络的未知目标识别方法
CN111352086B (zh) * 2020-03-06 2022-08-02 电子科技大学 一种基于深度卷积神经网络的未知目标识别方法
CN111352408B (zh) * 2020-03-11 2020-12-08 山东科技大学 一种基于证据k近邻的多工况流程工业过程故障检测方法
CN111352408A (zh) * 2020-03-11 2020-06-30 山东科技大学 一种基于证据k近邻的多工况流程工业过程故障检测方法
CN111582057A (zh) * 2020-04-20 2020-08-25 东南大学 一种基于局部感受野的人脸验证方法
CN111582057B (zh) * 2020-04-20 2022-02-15 东南大学 一种基于局部感受野的人脸验证方法
CN112327189A (zh) * 2020-10-14 2021-02-05 北方工业大学 一种基于knn算法的储能电池健康状态综合判断方法
CN112327189B (zh) * 2020-10-14 2023-06-09 北方工业大学 一种基于knn算法的储能电池健康状态综合判断方法
CN113780292A (zh) * 2021-08-31 2021-12-10 北京交通大学 一种基于证据推理的语义分割网络模型不确定性量化方法

Similar Documents

Publication Publication Date Title
CN107341447A (zh) 一种基于深度卷积神经网络和证据k近邻的人脸核实方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN104036255B (zh) 一种人脸表情识别方法
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN106570477A (zh) 基于深度学习的车型识别模型构建方法及车型识别方法
CN107527068A (zh) 基于cnn和域自适应学习的车型识别方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN105005774A (zh) 一种基于卷积神经网络的人脸亲属关系识别方法及装置
Jian et al. Densely connected convolutional network optimized by genetic algorithm for fingerprint liveness detection
CN107506786A (zh) 一种基于深度学习的属性分类识别方法
CN108345850A (zh) 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法
CN109034020A (zh) 一种基于物联网与深度学习的社区风险监测和防范方法
CN113743470B (zh) 自动破袋分类箱基于ai算法垃圾识别精度提升方法
CN106971145A (zh) 一种基于极限学习机的多视角动作识别方法及装置
CN110222767A (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
Simske Meta-analytics: consensus approaches and system patterns for data analysis
Pal et al. Deep learning for network analysis: problems, approaches and challenges
JP2005316888A (ja) 顔認識システム
Modas et al. Improving filling level classification with adversarial training
AlAfandy et al. Artificial neural networks optimization and convolution neural networks to classifying images in remote sensing: A review
Javed et al. Deep multiresolution cellular communities for semantic segmentation of multi-gigapixel histology images
Ngo et al. Land cover classification using interval type-2 fuzzy clustering for multi-spectral satellite imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171110