CN106127103B - 一种离线身份认证的方法和装置 - Google Patents

一种离线身份认证的方法和装置 Download PDF

Info

Publication number
CN106127103B
CN106127103B CN201610410966.1A CN201610410966A CN106127103B CN 106127103 B CN106127103 B CN 106127103B CN 201610410966 A CN201610410966 A CN 201610410966A CN 106127103 B CN106127103 B CN 106127103B
Authority
CN
China
Prior art keywords
image
vector
group
certified
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610410966.1A
Other languages
English (en)
Other versions
CN106127103A (zh
Inventor
梁添才
许丹丹
张永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU GRGBANKING INFORMATION TECHNOLOGY Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Original Assignee
GUANGZHOU GRGBANKING INFORMATION TECHNOLOGY Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU GRGBANKING INFORMATION TECHNOLOGY Co Ltd, Guangdian Yuntong Financial Electronic Co Ltd filed Critical GUANGZHOU GRGBANKING INFORMATION TECHNOLOGY Co Ltd
Priority to CN201610410966.1A priority Critical patent/CN106127103B/zh
Publication of CN106127103A publication Critical patent/CN106127103A/zh
Priority to EP17812651.2A priority patent/EP3471023B1/en
Priority to PCT/CN2017/087867 priority patent/WO2017215540A1/zh
Priority to RU2018131929A priority patent/RU2697638C1/ru
Priority to US16/075,540 priority patent/US10417532B2/en
Priority to ZA2018/05564A priority patent/ZA201805564B/en
Application granted granted Critical
Publication of CN106127103B publication Critical patent/CN106127103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Abstract

本发明实施例公开了一种离线身份认证的方法和装置，用于解决现有技术依赖于公安部人脸数据库并且难以识别芯片头像、证件表面头像以及持证人像的三方一致性的问题。本发明实施例方法包括：获取两幅以上用于身份认证的图像，构成待认证的多元图像组；提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。

Description

一种离线身份认证的方法和装置
技术领域
本发明涉及模式识别领域，尤其涉及一种离线身份认证的方法和装置。
背景技术
在基于身份证进行身份认证时，一方面要鉴别证件本身的真假，另一方面要鉴别当前使用者与身份证合法持有者是否一致。前者可利用芯片防伪技术，根据在读卡器上是否机读成功来判断，若要进一步鉴别身份，还需要结合公安部门的身份证系统进行联网核查与辨伪。这种在线鉴别的方法，一方面需要获取公安系统人脸数据库的访问授权才能进行，使得应用场合受到限制，另一方面无法自动鉴别芯片为真、表面图像为假的假身份证情况，这种假证可以机读成功，联网核查的身份为真，但芯片存储的头像与证件表面的图像并不一致，要鉴别这种假证，需要靠肉眼比对芯片头像、证件表面头像以及持证人像的三方一致性，这无疑加重了检查人员的负担，甚至容易造成误检和漏检。针对这个问题，需要提供一种智能鉴别方法，一方面可以不依赖于公安部人脸数据库，实现离线鉴别，另一方面可同时比对芯片头像、证件表面头像以及持证人像的一致性，自动给出认证通过与否的鉴别结果，提高认证效率。
发明内容
本发明实施例提供了一种离线身份认证的方法和装置，能够解决现有技术依赖于公安部人脸数据库并且难以识别芯片头像、证件表面头像以及持证人像的三方一致性的问题。
本发明实施例提供的一种离线身份认证的方法，包括：
获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。
可选地，所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。
可选地，所述SVM分类器由以下步骤预先完成训练：
预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；
提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；
根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；
将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。
可选地，提取所述待认证的三元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量具体包括：
将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络；
从所述深度卷积神经网络的卷积组中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量，N≥2。
可选地，所述深度卷积神经网络包括五个卷积组和两个全连接层，每个所述卷积组包括两个卷积子层和一个池化层；从所述深度卷积神经网络中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量具体包括：
提取第四个卷积组的池化层输出，将所有输出值串成一个第一向量；
对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量；
提取第五个卷积组的池化层输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部；
对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量；
提取第二个全连接层的输出为第三向量，并将所述第二插入向量插入到所述第三向量的头部；
对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量。
可选地，根据所述特征向量和带监督信号的分数融合策略对所述待认证的三元图像组的图像信息进行融合，得到对应的融合向量具体包括：
计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；
将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。
可选地，根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号具体包括：
将三个匹配支的预设决策权重的比值转换成整数比后，再归一化到0～7的范围内，三个所述匹配支分别为芯片图像与表面图像、芯片图像与现场人脸图像、以及表面图像与现场人脸图像；
将归一化后的所述匹配支对应的决策权重的比值进行二进制编码转换，得到对应的初步编码；
将所述差值信号对应的最高位编码插入所述初步编码中，得到对应的权值信号；
其中，若所述差值信号大于0，其对应的最高位编码为1，反之，其对应的最高位编码为0。
本发明实施例提供的一种离线身份认证的装置，包括：
多元图像获取模块，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
卷积特征提取模块，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
分数融合模块，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
认证判决模块，用于将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。
可选地，所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。
可选地，所述分数融合模块包括：
匹配分数计算单元，用于计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
差值信号计算单元，用于计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
权值信号计算单元，用于根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；
融合向量合成单元，用于将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先，获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本发明实施例中，可以在离线情况下，对身份证等证件的芯片图像、表面图像和现场人脸图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。
附图说明
图1为本发明实施例中一种离线身份认证的方法一个实施例流程图；
图2为本发明实施例中一种离线身份认证的方法另一个实施例流程图；
图3为本发明实施例中一种离线身份认证的方法一个应用场景下的原理示意图；
图4为本发明实施例中深度卷积神经网络模型和级联PCA卷积原理示意图；
图5为本发明实施例中带监督信号的分数融合策略的原理示意图；
图6为本发明实施例中权值信号的编码示意图；
图7为本发明实施例中一种离线身份认证的装置一个实施例结构图；
图8为本发明实施例中一种离线身份认证的装置另一个实施例结构图。
具体实施方式
本发明实施例提供了一种离线身份认证的方法和装置，用于解决现有技术依赖于公安部人脸数据库并且难以识别芯片头像、证件表面头像以及持证人像的三方一致性的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种离线身份认证的方法一个实施例包括：
101、获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
其中，两幅用于身份认证的图像例如可以为身份证的芯片图像和证件的表面图像，或者可以为身份证的芯片图像和现场人脸图像。
102、提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
在构成待认证的多元图像组之后，可以提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量。
103、根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
在得到对应的特征向量之后，可以根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量。
104、将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。
在得到对应的融合向量之后，可以将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。例如，假设该多元图像组包括身份证的芯片图像和证件的表面图像，则对该芯片图像与该表面图像是否一致进行认证判决。
本实施例中，首先，获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本实施例中，可以在离线情况下，对用于身份认证的图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。
为便于理解，下面对本发明实施例中的一种离线身份认证的方法进行详细描述，请参阅图2，本发明实施例中一种离线身份认证的方法另一个实施例(以身份证的图像认证为例)包括：
201、获取身份证的芯片图像、证件的表面图像和现场人脸图像，构成待认证的三元图像组；
首先，可以获取身份证的芯片图像、证件的表面图像和现场人脸图像，构成待认证的三元图像组。其中，芯片图像可以由读卡装置直接获得，证件的表面图像可以通过扫描装置获得，现场人脸图像可以由拍照装置获得，采集到的图像通过人脸检测器检测出人脸区域。
需要说明的是，本实施例中，采用三张图像构成多元图像组，也即三元图像组，分别为身份证的芯片图像、证件的表面图像和现场人脸图像，可完成通过身份证芯片的身份认证识别，当该芯片图像、表面图像和现场人脸图像的判决结果为一致时，身份认证通过。
202、将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络；
在获取到待认证的三元图像组之后，可以将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络。其中，如图4所示，深度卷积神经网络由若干个卷积组和若干个全连接层组成，每个卷积组则由若干个卷积子层和一个池化层组成。本实施例中，为使最后输出的特征向量更合理，所述深度卷积神经网络选取为依次由五个卷积组和两个全连接层组成。并且在抽取卷积特征时，提取五个卷积组中最后两个卷积组的池化层的输出(如图4中的pool4、pool5)以及最后一个全连接层的输出(如图4中的fc2)，并逐级进行PCA变换以保留每层输出的主成分分量。
在投入深度卷积神经网络之后，需要从所述深度卷积神经网络中抽取N(N≥2)个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量，具体可见步骤203至208的描述。
203、提取第四个卷积组的池化层输出，将所有输出值串成一个第一向量；
如图4所示，在将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络之后，可以提取第四个卷积组的池化层(pool4)输出，将所有输出值串成一个第一向量。
204、对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量；
在将所有输出值串成一个第一向量之后，可以对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量(PP1)。其中，第一数量可以根据具体情况进行设定，例如可以是前1024个。
205、提取第五个卷积组的池化层输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部；
如图4所示，在保留第一数量个主成分分量得到第一插入向量之后，可以提取第五个卷积组的池化层(pool5)输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部。
206、对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量；
在将所述第一插入向量插入到所述第二向量的头部之后，可以对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量(PP2)。其中，第二数量可以根据具体情况进行设定，例如可以是前512个。
207、提取第二个全连接层输出的第三向量，并将所述第二插入向量插入到所述第三向量的头部；
在对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量之后，可以提取第二个全连接层输出的第三向量，并将所述第二插入向量插入到所述第三向量(fc2)的头部。
208、对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量；
在将所述第二插入向量插入到所述第三向量的头部之后，可以对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量(PP3)。其中，第三数量可以根据具体情况进行设定，例如可以是前256个。
可以理解的是，对于一个待认证的三元图像组中三幅图像，每幅图像均对应一个所述特征向量，一个三元图像组对应有三个特征向量。
209、计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
在得到对应的所述特征向量之后，可以计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数。可以理解的是，三个特征向量中，每两个特征向量之间可以计算一个余弦相似度(余弦相似度可用于评价两个特征向量的相似程度)，因此，三个特征向量两两组合，共可计算得到三个余弦相似度，并将余弦相似度的结果作为对应两个特征向量之间的匹配分数。
具体地，两幅图像(I1，I2)的余弦相似性度量公式为：其中n是特征向量的维数，f1k是I1特征向量的第k个元素，f2k是I2特征向量的第k个元素。由此得到芯片图像与证件的表面图像的匹配分数为s1，此匹配支记为p1分支；芯片图像与现场人脸图像的匹配分数为s2，此匹配支记为p2分支；证件图像与现场人脸图像的匹配分数为s3，此匹配支记为p3分支。
210、计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
在计算得到对应的三个匹配分数之后，可以计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号。
需要说明的是，可以在训练样本集(详见步骤213)中，利用1:1验证算法得到每个匹配支的经验阈值，经验阈值计算公式为：其中m是样本对的数量，Si是第i个样本对的相似度，yi是第i个样本对的类标，样本对为同一个人时，其类标为1；样本对为不同人时，其类标为-1。δ{·}是一个指示函数，其定义如下：最后得到三个匹配支的经验阈值为T1，T2，T3。
本步骤中，将每个匹配支上的匹配分数与其对应的经验阈值进行相减，得到三个匹配支的差值信号分别可以为d1＝s1-T1，d2＝s2-T2，d3＝s3-T3。
211、根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号；
在得到所述差值信号之后，可以根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应。具体地，包括以下步骤：
1、将三个匹配支的预设决策权重的比值转换成整数比后，再归一化到0～7的范围内，三个所述匹配支分别为芯片图像与证件的表面图像、芯片图像与现场人脸图像、以及证件的表面图像与现场人脸图像；
2、将归一化后的所述匹配支对应的决策权重的比值进行二进制编码转换，得到对应的初步编码；
3、将所述差值信号对应的最高位编码插入所述初步编码中，得到对应的权值信号；
其中，若所述差值信号大于0，其对应的最高位编码为1，反之，其对应的最高位编码为0。
例如，假设p1分支、p2分支、p3分支的决策权重之比为5：3：2时，编码之后分别为101，011，010。若当前p1分支的差值信号为正，则p1分支的高四位为1，最终p1分支的权值信号二进制编码为1101，转换成十进制数为13。从而，最终得到各个匹配支的权值信号分别为c1,c2,c3。
212、将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量；
在得到所述匹配分数、所述差值信号和所述权值信号之后，可以将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。例如，在一具体应用场景下，合成公式可以为：x＝[s1,s2,s3,d1,d2,d3,c1,c2,c3]。
213、将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。
在得到合成后的对应融合向量之后，可以将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。
需要说明的而是，所述SVM分类器可以由以下步骤预先完成训练：
A、预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；
B、提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；
C、根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；
D、将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。
其中，上述步骤A、B和C，与前述步骤201～212在原理上基本类似，此处不再赘述。需要说明的是，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；作为正样本的所述三元样本组，其三幅图像的身份均一致，即对应的SVM分类器的认证判决结果为认证通过，输出结果为1。与之相反，作为负样本的所述三元样本组，其三幅图像的身份并不一致，对应的SVM分类器的认证判决结果为认证不通过，输出结果为-1。对于负样本而言，由于只要三幅图像中任意一副图像与其它图像不一致，则三幅图像的身份不一致。因此负样本的组合变化种类较多，为了减少样本空间的冗余，可以采取以下方式确定负样本：在确定所述负样本时，选取芯片图像、表面图像和现场人脸图像三张图像中有两张图像的身份一致，另外一张图像的身份与所述两张图像不同的所述三元样本组作为负样本。可以理解的是，对于三张图像身份互不相同的情况，可用任意一种“2+1”模式将其判定为负类，因此在构建样本空间中可不考虑，从而减少样本空间的冗余，提高SVM分类器对负样本的学习效率。
另外，可以理解的是，将所述融合向量送入预先完成训练的SVM分类器之后，由SVM分类器给出认证判决结果。若SVM分类器输出值为1，表示三幅图像身份一致，身份认证通过；反之，若输出值为-1，表示三幅图像身份不一致，身份认证不通过。
为便于理解，根据图2所描述的实施例，下面以一个实际应用场景对本发明实施例中的一种离线身份认证的方法进行描述：
在一具体的应用场景中，一种离线身份认证的方法的流程如图3所示，采用SVM分类器作为分类决策器，包括训练阶段和实施(测试)阶段两个部分。
在训练阶段，从训练图像库中提取样本，构造适当的正负三元组训练样本，然后通过级联PCA卷积特征提取模块和带监督信号的分数融合模块，输入到SVM分类器中进行训练。在构造三元正负样本组时，正样本组合比较确定，即为三张图像身份完全一致的三元组；而负样本组合变化很多，为了减少样本空间的冗余，我们采用了“2+1模式”，即选取三张图像中有两张身份一致，另一张身份与之不同的三元组作为负样本。样本构成具体如下：正样本类标为1，负样本类标为-1，正样本为三张图像的身份特征相同，代表同一个人的三元组，用表示，负样本为三张图像中至少有一张图像与其他图像的身份特征不同的三元组，可能的组合有对于三张图像身份互不相同的情况，可用其中任意一种“2+1模式”将其判定为负类，因此在构建样本空间中可不考虑，从而减少样本空间的冗余，提高分类器对负样本的学习效率。
在实施(测试)阶段，三张人脸图像从统一的图像采集模块中获得，通过同样的级联PCA卷积特征提取模块和带监督信号的分数融合模块，输入到训练好的SVM分类器中进行识别和认证。由于训练与实施(测试)阶段的特征提取与信息融合过程相同，因此下面内容将主要从实施阶段介绍本方法的关键技术的实现。
实施(测试)阶段的图像采集模块输出三张人脸图像。其中芯片图像可由读卡装置直接获得，证件表面图像通过扫描装置获得，现场人脸图像由拍照装置获得，采集到的图像通过人脸检测器检测出人脸区域。在获取现场人脸图像时，采集到的人脸图像会经过质量评价算法的筛选过滤，以保证采集到的图像质量，若不符合质量要求，可自动发送指令要求持证人重新采集。对采集到的图像进行人脸对齐、光照矫正等预处理操作后，作为采集模块的最终输出。
在特征提取阶段，基于深度学习算法，从预训练的深度卷积神经网络模型中抽取多个子层的卷积输出，并通过逐级PCA变换，构成级联PCA卷积特征。其工作原理如图4所示，预训练的深度卷积神经网络由五个卷积组和两个全连接层构成，每个卷积组内有两个卷积子层和一个池化层。在抽取卷积特征时，提取最后两个卷积组的池化层的输出(pool4、pool5)以及最后一个全连接层的输出(fc2)，并逐级进行PCA变换以保留每层输出的主成分分量。具体操作如下：
1、提取第四个卷积组的池化层输出pool4，将所有值串成一个向量；
2、对pool4向量进行PCA变换，保留前n1(例如n1＝1024)个主成分分量得到PP1；
3、提取第五个卷积组的池化层输出pool5，将所有值串成一个向量，并将PP1插入到向量头部；
4、对组合之后的pool5向量进行PCA变换，保留前n2(例如n2＝512)个主成分分量得到PP2；
5、提取第二个全连接层的输出fc2，将PP2插入到向量头部；
6、对组合之后的fc2向量进行PCA变换，保留前n3(例如n3＝256)个主成分分量得到PP3，PP3为最终提取的级联PCA卷积特征。
在分数融合阶段，采用带监督信号的分数融合策略，其基本思想是：基于匹配分数构建两种监督信号，一种是差值信号，一种是权值信号，将这两种信号与匹配分数结合起来对三元图像组进行联合编码。其中差值信号是指每个匹配支上(两张图像的匹配关系为一个匹配支)的匹配分数与其经验阈值之间的差值，差值越大代表该匹配分数的可信度越高。权值信号是基于各匹配支的决策权重的不同，将决策权重与当前匹配分数进行编码得到。在进行三方认证时，芯片图像和证件表面图像的采集环境是可控的，但现场人像的图像质量包括很多不可控因素，比如姿态、光照、遮挡等，因此在联合比对的过程中，芯片图与证件表面图这一匹配支的决策权重可以较大，而另外两个匹配支的决策权重相对较小。带监督信号的分数融合策略的工作原理如图5所示，具体实现方案如下：
1、芯片图像、证件表面图像、现场人脸图像分别按照上述过程提取各自的级联PCA卷积特征，采用余弦相似度来度量两两之间的相似性。两幅图像(I1，I2)的余弦相似性度量公式为：其中n是特征向量的维数，f1k是I1特征向量的第k个元素，f2k是I2特征向量的第k个元素。由此得到芯片头像与证件头像的匹配分数为s1，此匹配支记为p1分支；芯片头像与现场人脸图的匹配分数为s2，此匹配支记为p2分支；证件头像与现场人脸图的匹配分数为s3，此匹配支记为p3分支。
2、在训练样本集中，利用1:1验证算法得到每个匹配支的经验阈值，阈值计算公式为：其中m是样本对的数量，Si是第i个样本对的相似度，yi是第i个样本对的类标，样本对为同一个人时类标为1，为不同人时类标为-1。δ{·}是一个指示函数，其定义如下：最后得到三个匹配支的经验阈值分别为T1，T2，T3。
3、计算差值信号，将每个匹配支上的匹配分数与其经验阈值进行相减，得到三个匹配支的差值信号分别为：d1＝s1-T1，d2＝s2-T2，d3＝s3-T3。
4、计算权值信号，每个匹配支上的权值信号用四个比特位表示，其中最高位由差值信号进行编码，由δ{(s-T)＞0}决定，即s＞T时编码为1，s＜T时编码为0。低三位由决策权重进行编码，将三个匹配支的决策权重比转换成整数比之后再归一化到0～7的范围内，每个匹配支上的决策权重分别用三个比特位进行编码，比如，p1分支、p2分支、p3分支的决策权重之比为5：3：2时，编码之后分别为101，011，010。若当前p1分支的差值信号为正，则p1分支的高四位为1，最终p1分支的权值信号二进制编码为1101，转换成十进制数为13，编码示意图如图6所示。通过上述操作，得到各个匹配支的权值信号分别为c1,c2,c3。
5、将匹配分数、差值信号、权值信号合成最终的带监督信号的分数融合向量：x＝[s1,s2,s3,d1,d2,d3,c1,c2,c3]。
6、在决策阶段，待测样本(由图像采集模块获取的芯片头像、证件表面头像、现场人像的三元组)根据上述过程提取级联PCA卷积特征之后，根据匹配分数生成带监督信号的融合向量，由训练好的SVM分类器自动给出判决结果，结果为1代表三张图像身份一致，身份认证通过；结果为-1代表三张图像身份不一致，身份认证不通过。
综上所述，本方案提出的离线身份认证算法，可以在未联网的情况下，同时比对身份证芯片图像、证件表面图像和现场人脸图像的三方一致性，有效实现基于身份证的三方身份认证，特别有效解决芯片为真、表面信息为假的假身份证问题。在进行三张图像的比对时，从整体决策的角度出发，将认证通过与否看作待决策的两类，采用分类算法给出一致性的判决结果，从而避免了因三次两两比对以及人为设定决策优先级的判决规则而导致的决策模糊。特别地，基于深度卷积神经网络提出了具有较强鲁棒性和泛化能力的级联PCA卷积特征作为图像的特征描述，并在信息融合阶段提出带监督信号的分数融合策略，丰富了融合向量在度量空间的模式表达，使得分类器能充分学习三元图像组的模式映射关系，给出准确的判决结果，比基于简单阈值的判决和人为设定决策优化级的策略更加智能可靠。
上面主要描述了一种离线身份认证的方法，下面将对一种离线身份认证的装置进行描述，请参阅图7，本发明实施例中一种离线身份认证的装置一个实施例包括：
多元图像获取模块701，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
卷积特征提取模块702，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
分数融合模块703，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
认证判决模块704，用于将所述融合向量送入预先完成训练的SVM分类器中对所述芯片图像、所述表面图像和所述现场人脸图像一致与否进行认证判决，得到身份认证结果。
本实施例中，首先，多元图像获取模块701获取两幅以上用于身份认证的图像，构成待认证的多元图像组；然后，卷积特征提取模块702提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；接着，分数融合模块703根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；最后，认证判决模块704将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。在本实施例中，可以在离线情况下，对用于身份认证的图像从整体决策出发进行对比，通过训练完成的SVM分类器单次决策给出认证结果，无需依赖公安部人脸数据库的同时，减轻检查人员的负担，提高认证效率。
为便于理解，下面对本发明实施例中的一种离线身份认证的装置进行详细描述，请参阅图8，本发明实施例中一种离线身份认证的装置另一个实施例包括：
多元图像获取模块801，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
卷积特征提取模块802，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
分数融合模块803，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
认证判决模块804，用于将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果。
本实施例中，所述多元图像组可以为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像。
本实施例中，所述SVM分类器可以由以下模块预先训练得到：
三元样本获取模块805，用于预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；
样本卷积特征提取模块806，用于提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；
样本分数融合模块807，用于根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；
分类器训练模块808，用于将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。
本实施例中，所述分数融合模块803包括：
匹配分数计算单元8031，用于计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
差值信号计算单元8032，用于计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
权值信号计算单元8033，用于根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；
融合向量合成单元8034，用于将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种离线身份认证的方法，其特征在于，包括：
获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果；
所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像；
根据所述特征向量和带监督信号的分数融合策略对所述待认证的三元图像组的图像信息进行融合，得到对应的融合向量具体包括：
计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；
将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。
2.根据权利要求1所述的方法，其特征在于，所述SVM分类器由以下步骤预先完成训练：
预先获取作为样本的身份证的芯片图像、证件的表面图像和现场人脸图像，构成训练集的三元样本组，所述训练集中的三元样本组分为数量比例适当的正样本和负样本；
提取所述三元样本组中每个图像的级联PCA卷积特征，得到对应的样本特征向量；
根据所述样本特征向量和带监督信号的分数融合策略对所述三元样本组的图像信息进行融合，得到对应的样本融合向量；
将所述样本融合向量送入所述SVM分类器中进行训练，得到完成训练的SVM分类器。
3.根据权利要求1所述的方法，其特征在于，提取所述待认证的三元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量具体包括：
将所述待认证的三元图像组中每个图像投入预训练完成的深度卷积神经网络；
从所述深度卷积神经网络的卷积组中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量，N≥2。
4.根据权利要求3所述的方法，其特征在于，所述深度卷积神经网络包括五个卷积组和两个全连接层，每个所述卷积组包括两个卷积子层和一个池化层；从所述深度卷积神经网络中抽取N个中间子层的卷积输出作为级联层，并依次逐级对得到的级联层作PCA变换，最后输出对应的特征向量具体包括：
提取第四个卷积组的池化层输出，将所有输出值串成一个第一向量；
对所述第一向量进行PCA变换，保留第一数量个主成分分量得到第一插入向量；
提取第五个卷积组的池化层输出，将所有输出值串成一个第二向量，并将所述第一插入向量插入到所述第二向量的头部；
对插入后的所述第二向量进行PCA变换，保留第二数量个主成分分量得到第二插入向量；
提取第二个全连接层的输出为第三向量，并将所述第二插入向量插入到所述第三向量的头部；
对插入后的所述第三向量进行PCA变换，保留第三数量个主成分分量得到对应的所述特征向量。
5.根据权利要求1所述的方法，其特征在于，根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号具体包括：
将三个匹配支的预设决策权重的比值转换成整数比后，再归一化到0～7的范围内，三个所述匹配支分别为芯片图像与表面图像、芯片图像与现场人脸图像、以及表面图像与现场人脸图像；
将归一化后的所述匹配支对应的决策权重的比值进行二进制编码转换，得到对应的初步编码；
将所述差值信号对应的最高位编码插入所述初步编码中，得到对应的权值信号；
其中，若所述差值信号大于0，其对应的最高位编码为1，反之，其对应的最高位编码为0。
6.一种离线身份认证的装置，其特征在于，包括：
多元图像获取模块，用于获取两幅以上用于身份认证的图像，构成待认证的多元图像组；
卷积特征提取模块，用于提取所述待认证的多元图像组中每个图像的级联PCA卷积特征，得到对应的特征向量；
分数融合模块，用于根据所述特征向量和带监督信号的分数融合策略对所述待认证的多元图像组的图像信息进行融合，得到对应的融合向量；
认证判决模块，用于将所述融合向量送入预先完成训练的SVM分类器中对所述待认证的多元图像组中的图像一致与否进行认证判决，得到身份认证结果；
所述多元图像组为三元图像组，具体包括身份证的芯片图像、证件的表面图像和现场人脸图像；所述分数融合模块包括：
匹配分数计算单元，用于计算所述待认证的三元图像组对应的三个所述特征向量两两之间的余弦相似度，作为对应的三个匹配分数；
差值信号计算单元，用于计算每个所述匹配分数与对应的预设经验阈值之差，作为对应的差值信号；
权值信号计算单元，用于根据预设的决策权重和对应的所述差值信号进行编码，得到对应的权值信号，预设的所述决策权重与所述待认证的三元图像组中每两副图像一一对应；
融合向量合成单元，用于将对应的所述匹配分数、所述差值信号和所述权值信号合成为对应的所述融合向量。
CN201610410966.1A 2016-06-12 2016-06-12 一种离线身份认证的方法和装置 Active CN106127103B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610410966.1A CN106127103B (zh) 2016-06-12 2016-06-12 一种离线身份认证的方法和装置
EP17812651.2A EP3471023B1 (en) 2016-06-12 2017-06-12 Offline identity authentication method and apparatus
PCT/CN2017/087867 WO2017215540A1 (zh) 2016-06-12 2017-06-12 一种离线身份认证的方法和装置
RU2018131929A RU2697638C1 (ru) 2016-06-12 2017-06-12 Способ и устройство для автономной аутентификации личности
US16/075,540 US10417532B2 (en) 2016-06-12 2017-06-12 Offline identity authentication method and apparatus
ZA2018/05564A ZA201805564B (en) 2016-06-12 2018-08-21 Offline identity authentication method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610410966.1A CN106127103B (zh) 2016-06-12 2016-06-12 一种离线身份认证的方法和装置

Publications (2)

Publication Number Publication Date
CN106127103A CN106127103A (zh) 2016-11-16
CN106127103B true CN106127103B (zh) 2019-06-25

Family

ID=57270226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610410966.1A Active CN106127103B (zh) 2016-06-12 2016-06-12 一种离线身份认证的方法和装置

Country Status (6)

Country Link
US (1) US10417532B2 (zh)
EP (1) EP3471023B1 (zh)
CN (1) CN106127103B (zh)
RU (1) RU2697638C1 (zh)
WO (1) WO2017215540A1 (zh)
ZA (1) ZA201805564B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127103B (zh) * 2016-06-12 2019-06-25 广州广电运通金融电子股份有限公司 一种离线身份认证的方法和装置
CN106780662B (zh) * 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
CN106780658B (zh) 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
JP7170188B2 (ja) * 2017-07-19 2022-11-14 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
US10713563B2 (en) * 2017-11-27 2020-07-14 Technische Universiteit Eindhoven Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN108229320B (zh) * 2017-11-29 2020-05-22 北京市商汤科技开发有限公司 选帧方法和装置、电子设备、程序和介质
US10943096B2 (en) * 2017-12-31 2021-03-09 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems
US11170084B2 (en) 2018-06-28 2021-11-09 Private Identity Llc Biometric authentication
US11392802B2 (en) * 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11138333B2 (en) 2018-03-07 2021-10-05 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11789699B2 (en) 2018-03-07 2023-10-17 Private Identity Llc Systems and methods for private authentication with helper networks
US11394552B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11502841B2 (en) 2018-03-07 2022-11-15 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11210375B2 (en) * 2018-03-07 2021-12-28 Private Identity Llc Systems and methods for biometric processing with liveness
US11265168B2 (en) * 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
US10721070B2 (en) 2018-03-07 2020-07-21 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11489866B2 (en) 2018-03-07 2022-11-01 Private Identity Llc Systems and methods for private authentication with helper networks
US11245707B2 (en) * 2018-03-31 2022-02-08 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and recording medium
CN108600237A (zh) * 2018-04-28 2018-09-28 北京京东金融科技控股有限公司 身份认证方法、装置及介质
US11222233B2 (en) * 2018-09-26 2022-01-11 Samsung Electronics Co., Ltd. Method and apparatus for multi-category image recognition
KR102570070B1 (ko) * 2018-12-27 2023-08-23 삼성전자주식회사 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치
CN109886309A (zh) * 2019-01-25 2019-06-14 成都浩天联讯信息技术有限公司 一种识别伪造数字图像身份的方法
CN109919194A (zh) * 2019-01-31 2019-06-21 北京明略软件系统有限公司 一种事件中人物身份识别方法、系统、终端和存储介质
KR102225022B1 (ko) * 2019-08-27 2021-03-08 연세대학교 산학협력단 사람 재식별 장치 및 방법
CN112819020A (zh) * 2019-11-15 2021-05-18 富士通株式会社 训练分类模型的方法和装置及分类方法
CN111062338B (zh) * 2019-12-19 2023-11-17 厦门商集网络科技有限责任公司 一种证照人像一致性比对方法及其系统
CN111144504B (zh) * 2019-12-30 2023-07-28 科来网络技术股份有限公司 一种基于pca算法的软件镜像流量识别分类方法
CN111310566A (zh) * 2020-01-16 2020-06-19 国网山西省电力公司电力科学研究院 一种静动态多特征融合的山火检测方法及系统
CN113269706B (zh) * 2020-02-14 2023-11-14 中国科学院国家空间科学中心 激光雷达图像质量评价方法、装置、设备及存储介质
CN113361700A (zh) * 2020-03-04 2021-09-07 佳能株式会社 生成量化神经网络的方法、装置、系统、存储介质及应用
CN111523649B (zh) * 2020-05-09 2022-06-10 支付宝(杭州)信息技术有限公司 针对业务模型进行数据预处理的方法及装置
CN111898538B (zh) * 2020-07-30 2024-04-12 平安科技（深圳）有限公司 证件鉴伪方法、装置、电子设备及存储介质
CN112712026B (zh) * 2020-12-29 2023-08-01 广州广电运通智能科技有限公司 身份识别方法、人脸注册方法、计算机设备和存储介质
CN112580617B (zh) * 2021-03-01 2021-06-18 中国科学院自动化研究所 自然场景下的表情识别方法和装置
CN113449135B (zh) * 2021-08-31 2021-11-19 阿里巴巴达摩院(杭州)科技有限公司 图像生成系统与方法
US20230230088A1 (en) * 2022-01-06 2023-07-20 Socure, Inc. Method and System of Predictive Document Verification and Machine Learning Therefor
CN116740794B (zh) * 2023-08-15 2023-11-28 中国科学技术大学 人脸伪造图像鉴别方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794266A (zh) * 2005-12-31 2006-06-28 清华大学 生物特征融合的身份识别和认证方法
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN104123537A (zh) * 2014-07-04 2014-10-29 西安理工大学 一种基于手形和掌纹识别的快速身份验证方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4581200B2 (ja) * 2000-08-31 2010-11-17 ソニー株式会社 個人認証システム、個人認証方法、および情報処理装置、並びにプログラム提供媒体
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
JP3744442B2 (ja) * 2002-03-04 2006-02-08 ソニー株式会社 認証システム及び認証方法、並びに、認証用媒体製造装置及び認証端末装置
US7356168B2 (en) * 2004-04-23 2008-04-08 Hitachi, Ltd. Biometric verification system and method utilizing a data classifier and fusion model
RU2381553C1 (ru) * 2008-06-24 2010-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для распознавания лица с учетом списка людей, не подлежащих проверке
CN101388074B (zh) * 2008-10-11 2012-01-18 大连大学 基于个人ica基图像重构误差的人脸识别方法
CN106415594B (zh) * 2014-06-16 2020-01-10 北京市商汤科技开发有限公司 用于面部验证的方法和系统
CN105447532A (zh) * 2015-03-24 2016-03-30 北京天诚盛业科技有限公司 身份认证方法和装置
CN105184235B (zh) * 2015-08-24 2019-03-19 中国电子科技集团公司第三十八研究所 一种基于特征融合的二代身份证识别方法
CN105550657B (zh) * 2015-12-23 2019-01-29 北京化工大学 基于关键点的改进sift人脸特征提取方法
RU2610682C1 (ru) * 2016-01-27 2017-02-14 Общество с ограниченной ответственностью "СТИЛСОФТ" Способ распознавания лиц
CN106127103B (zh) * 2016-06-12 2019-06-25 广州广电运通金融电子股份有限公司 一种离线身份认证的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794266A (zh) * 2005-12-31 2006-06-28 清华大学 生物特征融合的身份识别和认证方法
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN104123537A (zh) * 2014-07-04 2014-10-29 西安理工大学 一种基于手形和掌纹识别的快速身份验证方法

Also Published As

Publication number Publication date
US10417532B2 (en) 2019-09-17
WO2017215540A1 (zh) 2017-12-21
US20190042895A1 (en) 2019-02-07
RU2697638C1 (ru) 2019-08-15
EP3471023A1 (en) 2019-04-17
EP3471023A4 (en) 2019-06-26
EP3471023B1 (en) 2021-09-15
CN106127103A (zh) 2016-11-16
ZA201805564B (en) 2019-05-29

Similar Documents

Publication Publication Date Title
CN106127103B (zh) 一种离线身份认证的方法和装置
CN106203533B (zh) 基于混合训练的深度学习人脸验证方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN108520216B (zh) 一种基于步态图像的身份识别方法
Abdullah et al. Optimizing face recognition using PCA
CN103530659B (zh) 结合原始和对称脸人脸图像的人脸识别方法及考勤系统
CN106415594A (zh) 用于面部验证的方法和系统
CN108805077A (zh) 一种基于三元组损失函数的深度学习网络的人脸识别系统
CN109657595A (zh) 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN108573243A (zh) 一种基于深度卷积神经网络的低质量人脸的比对方法
CN101281598A (zh) 基于多部件多特征融合的人脸识别方法
CN102982322A (zh) 基于pca图像重构和lda的人脸识别方法
CN106709418B (zh) 基于现场照和证件照的人脸识别方法及识别装置
CN103246874B (zh) 一种基于联合稀疏模型和稀疏保持映射的人脸识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN110674677A (zh) 一种多模态多层融合的用于人脸反欺骗的深度神经网络
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN110647820A (zh) 基于特征空间超分辨映射的低分辨率人脸识别方法
CN111401116A (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN112766217B (zh) 基于解纠缠和特征级差异学习的跨模态行人重识别方法
Kodinariya Hybrid Approach to Face Recognition System using Principle component and Independent component with score based fusion process
CN115862097A (zh) 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置
CN114429646A (zh) 基于深度自注意力变换网络的步态识别方法
CN114373213A (zh) 基于人脸识别的未成年人身份识别方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant