CN111368665B - 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法 - Google Patents

一种基于竞争与协作机制的高抗哄骗多模态身份验证方法 Download PDF

Info

Publication number
CN111368665B
CN111368665B CN202010116561.3A CN202010116561A CN111368665B CN 111368665 B CN111368665 B CN 111368665B CN 202010116561 A CN202010116561 A CN 202010116561A CN 111368665 B CN111368665 B CN 111368665B
Authority
CN
China
Prior art keywords
sample
mode
modal
input
target class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010116561.3A
Other languages
English (en)
Other versions
CN111368665A (zh
Inventor
黄增喜
王晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202010116561.3A priority Critical patent/CN111368665B/zh
Publication of CN111368665A publication Critical patent/CN111368665A/zh
Application granted granted Critical
Publication of CN111368665B publication Critical patent/CN111368665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，属于模式识别领域，包括如下步骤：S1对每一模态生物特征，使用目标类与竞争类的特征模板构成验证字典，对输入样本特征进行稀疏表示，计算输入样本与目标类的匹配度和相关度；S2评价各模态输入样本质量，并据此计算自适应编码权重；S3对输入样本特征进行多模态自适应联合稀疏表示，计算多模态匹配度和相关度；S4将多模态和各模态的匹配度和相关度级联成多模态匹配向量，输入分类器进行身份验证。在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，使其具备辨识普通负样本和哄骗样本的能力，有效提高多模态身份验证的抗哄骗能力同时不降低验证精度。

Description

一种基于竞争与协作机制的高抗哄骗多模态身份验证方法
技术领域
本发明属于生物特征身份验证领域，主要涉及模式识别技术，具体涉及一种基于竞争与协作机制的高抗哄骗多模态身份验证方法。
背景技术
哄骗攻击在传感器端使用伪造的生物特征，如硅胶指纹、人脸照片、视频、3D面罩或头部模型等，来欺骗生物特征身份验证系统。单模态身份验证系统如果不能有效检验所采集生物特征信息来自伪造对象，那么被破解的可能性非常高。多模态生物特征识别因需要用户输入多种类型的生物特征，而常被认为具有高安全性。但是近年研究表明，当用户的某一或某几种生物特征被伪造并用于哄骗攻击时，多模态系统被成功欺骗的可能性依然很高。
为提高多模态验证系统的抗哄骗能力，有的将每种模态受哄骗攻击的可能性及哄骗的难度等先验知识用来估计正、负样本的分布情况；有的将每种模态样本的质量信息与匹配度结合进行多模态身份验证；有的则依赖活体检测来确定生物特征信息是否来自非生命体。这三种类型方法虽可一定程度上提高多模态验证系统的抗哄骗性能，但是缺点也非常明显。第一类方法所依赖的先验知识是难以准确估计的，并且会随着哄骗技术水平的提升发生很大变化；第二类方法则面临如何评价生物特征样本质量的问题，这方面至今仍然是个难题；第三类方法则依赖活体检测算法模块或第三方设备的性能水平，也会带来额外的计算开销和成本上升。另外，近期研究发现当前针对哄骗攻击的安全验证方法在没有显著提高系统抗哄骗性能情况下，却极大降低了系统在普通验证情况下的准确性。如何在保障普通验证中精度不下降的情况下，显著提高多模态身份验证系统的抗哄骗性能变得尤为重要。
发明内容
本发明的目的在于：提供一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，以解决上述在没有显著提高系统抗哄骗性能情况下却极大降低普通验证情况下的验证精度的问题。
本发明采用的技术方案如下：
一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，包括如下步骤：
S1对每一模态生物特征，根据使用者所输入用户身份确定目标类，使用目标类与竞争类的特征模板构建验证字典，对输入样本特征进行稀疏表示，然后计算输入样本与目标类的匹配度和相关度；
S2评价各模态输入样本的质量，并据此计算自适应编码权重；
S3对输入样本特征进行多模态自适应联合稀疏表示，计算多模态匹配度和相关度；
S4将多模态和各模态的匹配度和相关度级联成多模态匹配向量，输入分类器进行身份验证，在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，使其同时具备辨识普通负样本和哄骗样本的能力。
本申请的技术方案中，对每一模态生物特征，使用目标类与竞争类的特征模板构建验证字典，对输入样本特征进行稀疏表示，使用协作表示精度来衡量其与目标类相关度，计算基于编码稀疏性和重构精度的匹配度，评价输入样本的质量和计算自适应编码权重；建立多模态自适应联合稀疏表示模型，使用了类别级编码一致和组稀疏正则项，以使得各模态编码总体一致情况下更具灵活性；根据多模态编码结果计算多模态匹配度和相关度，结合各模态的匹配度和相关度构成多模态匹配向量进行身份验证；在系统部署前，使用多模态正样本、普通负样本和哄骗样本集一起训练分类器，使其具有强抗哄骗能力的同时不降低验证精度，解决了上述在没有显著提高系统抗哄骗性能情况下，却极大降低系统在普通验证情况下的验证精度的缺陷。
优选的，S1具体包括如下步骤：
(1)对于模态m∈[1,M]，M表示多模态系统所采用的生物特征类型种类，令
Figure BDA0002391669290000021
和
Figure BDA0002391669290000022
分别表示目标类的样本集和相应的特征模板集，它们的每一列分别是一个样本数据向量和样本的特征向量，再令
Figure BDA0002391669290000023
和
Figure BDA0002391669290000024
分别表示所有K-1个竞争类的样本集和相应特征模板集，使用目标类和竞争类的特征模板集构建验证字典
Figure BDA0002391669290000025
假设ym和dm分别为输入样本和样本的特征，通过求解稀疏优化问题：
Figure BDA0002391669290000026
得到编码向量
Figure BDA0002391669290000027
其中λ>0，为稀疏正则项的权重；
(2)根据编码稀疏性和对输入样本特征的重构精度具有互补性的特点，利用目标类特征模板及在编码向量
Figure BDA0002391669290000028
中与之相对应的系类，计算模态m的输入样本与目标类的匹配度：
Figure BDA0002391669290000029
其中
Figure BDA00023916692900000210
函数表示选择与验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(3)因为竞争类及其特征模板是保密的，将目标类与竞争类的特征模板对输入样本特征的协作表示精度作为输入样本与目标类的相关度：
Figure BDA0002391669290000031
(4)采用步骤(2)的匹配度计算方法计算剩余模态的输入样本与目标类的匹配度，采用步骤(3)的相关度计算方法计算剩余模态的输入样本与目标类的相关度。
优选的，S2具体包括如下步骤：
(A)对于模态m∈[1,M]，使用目标类和竞争类的样本模板集构建字典
Figure BDA0002391669290000032
根据S1中所得编码向量
Figure BDA0002391669290000033
计算模态m输入样本的表示误差：
Figure BDA0002391669290000034
采用同样方法计算剩余模态输入样本的表示误差；
(B)表示误差越大表明模态m的输入样本质量越差，应当降低其在多模态联合稀疏表示中的重要性，根据样本表示误差设计模态m的自适应权重：
Figure BDA0002391669290000035
其中w0为各模态的最低权重，并且有
Figure BDA0002391669290000036
采用同样方法计算剩余模态的自适应权重。
优选的，S3具体包括如下步骤：
(a)令δi(αm)(i＝1,2,…K)表示模态m的编码中与验证字典中第i类特征模板相对应的编码系数，f(δi(αm))函数将这些系数映射成单个值，则类别级编码矩阵β＝[β1，β2，…，βm，…，βM],其中列向量βm＝[f(δ1(αm)),f(δ2(αm)),…,f(δK(αm))]T，β中的行向量表为βi＝[f(δi(α1)),f(δi(α2)),…,f(δi(αM))]T，再令
Figure BDA0002391669290000037
表示所有M个模态的类别级编码向量的加权平均值向量，则本发明所涉及多模态自适应联合稀疏表示模型描述为：
Figure BDA0002391669290000038
其中λ1、λ2、λ3为大于0的常量，分别表示各正则项的权重，p选择1、2，分别代表1、2范数；
(b)将所有模态的输入样本特征d＝[d1,d2,…,dm,…,dM]作为输入，求解多模态自适应联合稀疏表示问题，得到多模态编码矩阵
Figure BDA0002391669290000039
(c)计算多模态输入样本y＝[y1,y2,…,ym,…,yM]与目标类的匹配度：
Figure BDA0002391669290000041
其中
Figure BDA0002391669290000042
函数表示选择与模态m的验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(d)计算多模态输入样本与目标类的相关度：
Figure BDA0002391669290000043
优选的，S4具体包括如下步骤：
(Ⅰ)将多模态和各模态的匹配度和相关度分数级联成多模态匹配向量：S＝[s,r,s1,r1,s2,r2,…,…,sM,rM]T；
(Ⅱ)在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，如支持向量机，分类器将同时具备辨识普通负样本和哄骗样本的能力。当输入样本来自合法用户本人时，S为正样本；当使用者不是其所声明的合法用户，且所输入的各模态样本均非刻意伪造或模仿用户生物特征时，S为普通负样本；当使用者不是其所声明的合法用户，且所输入的一种、多种或全部模态的样本为伪造自用户的生物特征(如使用合法用户的人脸照片、视频或3D仿真面罩，等等)时，S为哄骗样本，哄骗样本为特殊的负样本，来自于蓄意的哄骗攻击；
(Ⅲ)在身份验证时，将多模态匹配向量S＝[s,r,s1,r1,s2,r2,…,…,sM,rM]T作为分类器的输入，将所得匹配分数与工作阈值进行比较，满足工作阈值要求则通过身份验证，否则被拒绝。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明中，
1.采用新的多模态自适应联合稀疏表示模型，使得各模态编码总体一致情况下更具灵活性，更符合不同生物特征相关性低的特点，同时各模态稀疏编码保持一定的相关性，更符合抗哄骗需求；
2.设计了新的基于编码稀疏性和重构精度互补性的匹配度计算方法，能够提高多模态验证精度；
3.使用目标类和竞争类的协作表示精度来衡量输入样本与目标类的相关度，并与匹配度结合进行身份验证，达到了有效提高多模态身份验证的抗哄骗能力的同时不降低验证精度，实现了验证精度和抗哄骗能力的良好平衡。
附图说明
图1为本发明一种基于竞争与协作机制的高抗哄骗多模态身份验证方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，包括如下步骤：
S1对每一模态生物特征，根据使用者所输入用户身份确定目标类，使用目标类与竞争类的特征模板构建验证字典，对输入样本特征进行稀疏表示，然后计算输入样本与目标类的匹配度和相关度；S1具体包括如下步骤：
(1)对于模态m∈[1,M]，M表示多模态系统所采用的生物特征类型种类，令
Figure BDA0002391669290000051
和
Figure BDA0002391669290000052
分别表示目标类的样本集和相应的特征模板集，它们的每一列分别是一个样本数据向量和样本的特征向量，再令
Figure BDA0002391669290000053
和
Figure BDA0002391669290000054
分别表示所有K-1个竞争类的样本集和相应特征模板集，使用目标类和竞争类的特征模板集构建验证字典
Figure BDA0002391669290000055
假设ym和dm分别为输入样本和样本的特征，通过求解稀疏优化问题：
Figure BDA0002391669290000056
得到编码向量
Figure BDA0002391669290000057
其中λ>0，为稀疏正则项的权重；
(2)根据编码稀疏性和对输入样本特征的重构精度具有互补性的特点，利用目标类特征模板及在编码向量
Figure BDA0002391669290000058
中与之相对应的系类，计算模态m的输入样本与目标类的匹配度：
Figure BDA0002391669290000059
其中
Figure BDA00023916692900000510
函数表示选择与验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(3)因为竞争类及其特征模板是保密的，将将目标类与竞争类的特征模板对输入样本特征的协作表示精度作为输入样本与目标类的相关度：
Figure BDA00023916692900000511
(4)采用步骤(2)的匹配度计算方法计算剩余模态的输入样本与目标类的匹配度，采用步骤(3)的相关度计算方法计算剩余模态的输入样本与目标类的相关度。
S2评价各模态输入样本的质量，并据此计算自适应编码权重；S2具体包括如下步骤：
(A)对于模态m∈[1,M]，使用目标类和竞争类的样本模板集构建字典
Figure BDA0002391669290000061
根据S1中所得编码向量
Figure BDA0002391669290000062
计算模态m输入样本的表示误差：
Figure BDA0002391669290000063
采用同样方法计算剩余模态输入样本的表示误差；
(B)表示误差越大表明模态m的输入样本质量越差，应当降低其在多模态联合稀疏表示中的重要性，因此，根据样本表示误差设计模态m的自适应权重：
Figure BDA0002391669290000064
其中w0为各模态的最低权重，并且有
Figure BDA0002391669290000065
采用同样方法计算剩余模态的自适应权重。
S3对输入样本特征进行多模态自适应联合稀疏表示，计算多模态匹配度和相关度；S3具体包括如下步骤：
(a)令δi(αm)(i＝1,2,…K)表示模态m的编码中与验证字典中第i类特征模板相对应的编码系数，f(δi(αm))函数将这些系数映射成单个值，则类别级编码矩阵β＝[β1，β2，…，βm，…，βM],其中列向量βm＝[f(δ1(αm)),f(δ2(αm)),…,f(δK(αm))]T，β中的行向量表为βi＝[f(δi(α1)),f(δi(α2)),…,f(δi(αM))]T，再令
Figure BDA0002391669290000066
表示所有M个模态的类别级编码向量的加权平均值向量，则本发明所涉及多模态自适应联合稀疏表示模型描述为：
Figure BDA0002391669290000067
其中λ1、λ2、λ3为大于0的常量，分别表示各正则项的权重，p选择1、2，分别代表1、2范数；
(b)将所有模态的输入样本特征d＝[d1,d2,…,dm,…,dM]作为输入，求解多模态自适应联合稀疏表示问题，得到多模态编码矩阵
Figure BDA0002391669290000068
(c)计算多模态输入样本y＝[y1,y2,…,ym,…,yM]与目标类的匹配度：
Figure BDA0002391669290000071
其中
Figure BDA0002391669290000072
函数表示选择与模态m的验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(d)计算多模态输入样本与目标类的相关度：
Figure BDA0002391669290000073
S4将多模态和各模态的匹配度和相关度级联成多模态匹配向量，输入分类器进行身份验证，在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，使其同时具备辨识普通负样本和哄骗样本的能力；S4具体包括如下步骤：
(Ⅰ)将多模态和各模态的匹配度和相关度分数级联成多模态匹配向量：S＝[s,r,s1,r1,s2,r2,…,…,sM,rM]T；
(Ⅱ)在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，如支持向量机，分类器将同时具备辨识普通负样本和哄骗样本的能力，当输入样本来自合法用户本人时，S为正样本；当使用者不是其所声明的合法用户，且所输入的各模态样本均非刻意伪造或模仿用户生物特征时，S为普通负样本；当使用者不是其所声明的合法用户，且所输入的一种、多种或全部模态的样本为伪造自用户的生物特征(如使用合法用户的人脸照片、视频或3D仿真面罩，等等)时，S为哄骗样本，哄骗样本为特殊的负样本，来自于蓄意的哄骗攻击；
(Ⅲ)在身份验证时，将多模态匹配向量S＝[s,r,s1,r1,s2,r2,…,…,sM,rM]T作为分类器的输入，将所得匹配分数与工作阈值进行比较，满足工作阈值要求则通过身份验证，否则被拒绝。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，其特征在于，包括如下步骤：
S1对每一模态生物特征，根据使用者所输入用户身份确定目标类，使用目标类与竞争类的特征模板构建验证字典，对输入样本特征进行稀疏表示，然后计算输入样本与目标类的匹配度和相关度，对于模态m∈[1,M]，M表示多模态系统所采用的生物特征类型种类，令
Figure FDA0003697807300000011
和
Figure FDA0003697807300000012
分别表示目标类的样本集和相应的特征模板集，它们的每一列分别是一个样本数据向量和样本的特征向量，再令
Figure FDA0003697807300000013
和
Figure FDA0003697807300000014
分别表示所有K-1个竞争类的样本集和相应特征模板集，使用目标类和竞争类的特征模板集构建验证字典
Figure FDA0003697807300000015
S2评价各模态输入样本的质量，并据此计算自适应编码权重；S2具体包括如下步骤：
(A)对于模态m∈[1,M]，使用目标类和竞争类的样本模板集构建字典
Figure FDA0003697807300000016
根据S1中所得编码向量
Figure FDA0003697807300000017
计算模态m输入样本的表示误差：
Figure FDA0003697807300000018
采用同样方法计算剩余模态输入样本的表示误差；
(B)表示误差越大表明模态m的输入样本质量越差，应当降低其在多模态联合稀疏表示中的重要性，因此，根据样本表示误差设计模态m的自适应权重：
Figure FDA0003697807300000019
其中w0为各模态的最低权重，并且有
Figure FDA00036978073000000110
采用同样方法计算剩余模态的自适应权重；
S3对输入样本特征进行多模态自适应联合稀疏表示，计算多模态匹配度和相关度；
S4将多模态和各模态的匹配度和相关度级联成多模态匹配向量，输入分类器进行身份验证，在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，使其同时具备辨识普通负样本和哄骗样本的能力。
2.根据权利要求1所述的一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，其特征在于，S1具体包括如下步骤：
(1)对于模态m∈[1,M]，M表示多模态系统所采用的生物特征类型种类，令
Figure FDA00036978073000000111
和
Figure FDA00036978073000000112
分别表示目标类的样本集和相应的特征模板集，它们的每一列分别是一个样本数据向量和样本的特征向量，再令
Figure FDA00036978073000000113
和
Figure FDA00036978073000000114
分别表示所有K-1个竞争类的样本集和相应特征模板集，使用目标类和竞争类的特征模板集构建验证字典
Figure FDA0003697807300000021
假设ym和dm分别为输入样本和样本的特征，通过求解稀疏优化问题：
Figure FDA0003697807300000022
其中λ>0，为稀疏正则项的权重，得到编码向量
Figure FDA0003697807300000023
(2)根据编码稀疏性和对输入样本特征的重构精度具有互补性的特点，计算模态m的输入样本与目标类的匹配度：
Figure FDA0003697807300000024
其中
Figure FDA0003697807300000025
函数表示选择与验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(3)因为竞争类及其特征模板是保密的，将目标类与竞争类的特征模板对输入样本特征的协作表示精度作为输入样本与目标类的相关度：
Figure FDA0003697807300000026
(4)采用步骤(2)的匹配度计算方法计算剩余模态的输入样本与目标类的匹配度，采用步骤(3)的相关度计算方法计算剩余模态的输入样本与目标类的相关度。
3.根据权利要求1所述的一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，其特征在于，S3具体包括如下步骤：
(a)令δi(αm)(i＝1,2,…K)表示模态m的编码中与验证字典中第i类特征模板相对应的编码系数，f(δi(αm))函数将这些系数映射成单个值，则类别级编码矩阵β＝[β1，β2，…，βm，…，βM],其中列向量βm＝[f(δ1(αm)),f(δ2(αm)),…,f(δK(αm))]T，β中的行向量表为βi＝[f(δi(α1)),f(δi(α2)),…,f(δi(αM))]T，再令
Figure FDA0003697807300000027
表示所有M个模态的类别级编码向量的加权平均值向量，则本发明所涉及多模态自适应联合稀疏表示模型描述为：
Figure FDA0003697807300000028
其中λ1、λ2、λ3为大于0的常量，分别表示各正则项的权重，p选择1、2，分别代表1、2范数；
(b)将所有模态的输入样本特征d＝[d1,d2,…,dm,…,dM]作为输入，求解多模态自适应联合稀疏表示问题，得到多模态编码矩阵
Figure FDA0003697807300000029
(c)计算多模态输入样本y＝[y1,y2,…,ym,…,yM]与目标类的匹配度：
Figure FDA0003697807300000031
其中
Figure FDA0003697807300000032
函数表示选择与模态m的验证字典中目标类特征模板对应的编码系数，ρ为一调节因子，设置为3到8之间，ε设置为0.0001以防止分母为零；
(d)计算多模态输入样本与目标类的相关度：
Figure FDA0003697807300000033
4.根据权利要求1所述的一种基于竞争与协作机制的高抗哄骗多模态身份验证方法，其特征在于，S4具体包括如下步骤：
(Ⅰ)将多模态和各模态的匹配度和相关度分数级联成多模态匹配向量：S＝[s,r,s1,r1,s2,r2,…,…,sM,rM]T；
(Ⅱ)在系统部署前，使用多模态匹配向量正样本、普通负样本和哄骗样本集一起训练分类器，分类器将同时具备辨识普通负样本和哄骗样本的能力；
(Ⅲ)在身份验证时，将多模态匹配向量作为分类器的输入，将所得匹配分数与工作阈值进行比较，满足工作阈值要求则通过身份验证，否则被拒绝。
CN202010116561.3A 2020-02-25 2020-02-25 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法 Active CN111368665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116561.3A CN111368665B (zh) 2020-02-25 2020-02-25 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116561.3A CN111368665B (zh) 2020-02-25 2020-02-25 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法

Publications (2)

Publication Number Publication Date
CN111368665A CN111368665A (zh) 2020-07-03
CN111368665B true CN111368665B (zh) 2022-08-02

Family

ID=71208298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116561.3A Active CN111368665B (zh) 2020-02-25 2020-02-25 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法

Country Status (1)

Country Link
CN (1) CN111368665B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN106056564A (zh) * 2016-05-27 2016-10-26 西华大学 基于联合稀疏模型的边缘清晰图像融合方法
CN107077608A (zh) * 2014-11-13 2017-08-18 英特尔公司 图像生物特征识别中的面部活体检测
CN107392233A (zh) * 2017-06-29 2017-11-24 大连理工大学 基于解析型字典学习的多模态模式分类方法
CN109359685A (zh) * 2018-10-17 2019-02-19 西安邮电大学 基于特征选择的多模态数据分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152881B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc Image fusion using sparse overcomplete feature dictionaries
US10146991B2 (en) * 2015-06-11 2018-12-04 Duke University Systems and methods for large scale face identification and verification
US10176382B1 (en) * 2015-10-01 2019-01-08 Hrl Laboratories, Llc Method and apparatus for sparse associative recognition and recall for visual media reasoning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN107077608A (zh) * 2014-11-13 2017-08-18 英特尔公司 图像生物特征识别中的面部活体检测
CN106056564A (zh) * 2016-05-27 2016-10-26 西华大学 基于联合稀疏模型的边缘清晰图像融合方法
CN107392233A (zh) * 2017-06-29 2017-11-24 大连理工大学 基于解析型字典学习的多模态模式分类方法
CN109359685A (zh) * 2018-10-17 2019-02-19 西安邮电大学 基于特征选择的多模态数据分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A robust face and ear based multimodal biometric system using sparse representation;黄增喜等;《Pattern Recognition》;20130123;2156-2167 *
An adaptive bimodal recogintion framework using sparse coding for face and ear;黄增喜等;《Pattern Recognition Letters》;20141022;69-76 *
Joint Sparse Representation for Robust Multimodal Biometrics Recognition;Sumit Shekhar等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20130611;第36卷(第2014年第1期);113-126 *
动态稀疏表示方法在非接触式指纹图像识别中的应用;桑园;《科学技术与工程》;20180728(第21期);535-541 *
脸耳多模态稀疏表示融合识别方法比较;黄增喜等;《西华大学学报（自然科学版）》;20160731;第35卷(第2016年第4期);19-29 *

Also Published As

Publication number Publication date
CN111368665A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
JP2815045B2 (ja) 画像特徴抽出装置，画像特徴解析装置，および画像照合システム
CN110188641B (zh) 图像识别和神经网络模型的训练方法、装置和系统
Kashi et al. A Hidden Markov Model approach to online handwritten signature verification
CN102842042B (zh) 生物特征认证技术
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
Dabouei et al. Fingerprint distortion rectification using deep convolutional neural networks
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
US20060120578A1 (en) Minutiae matching
US11062120B2 (en) High speed reference point independent database filtering for fingerprint identification
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN106529501B (zh) 基于加权融合与分层串行结构的指纹与指静脉图像融合方法
CN113674862A (zh) 一种基于机器学习的急性肾功能损伤发病预测方法
CN113989275A (zh) 基于初始权重优化的神经网络的木板类型识别方法及装置
CN117121068A (zh) 使用机器学习和登记数据的个性化生物测定反欺骗保护
CN110503148B (zh) 一种具有尺度不变性的点云对象识别方法
CN112116012B (zh) 一种基于深度学习的手指静脉即时注册、识别方法及系统
CN111368665B (zh) 一种基于竞争与协作机制的高抗哄骗多模态身份验证方法
CN110378414B (zh) 基于进化策略的多模态生物特征融合的身份识别方法
CN107657223B (zh) 一种基于快速处理多距离度量学习的人脸认证方法
CN114913404A (zh) 模型训练、人脸图像活体检测方法、电子设备及存储介质
TWI792017B (zh) 生物特徵的辨識系統及辨識方法
JP2022028912A (ja) 照合処理装置、照合処理方法、及び、照合処理プログラムが格納された記録媒体
JP7347750B2 (ja) 照合装置、学習装置、方法、及びプログラム
Moussa et al. Comparing feature and matching score fusion levels of multimodal biometrics recognition system using particle swarm optimization
Nugraha et al. Offline signature identification using deep learning and Euclidean distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant