CN108960103A - 一种人脸和唇语相融合的身份认证方法及系统 - Google Patents
一种人脸和唇语相融合的身份认证方法及系统 Download PDFInfo
- Publication number
- CN108960103A CN108960103A CN201810661218.XA CN201810661218A CN108960103A CN 108960103 A CN108960103 A CN 108960103A CN 201810661218 A CN201810661218 A CN 201810661218A CN 108960103 A CN108960103 A CN 108960103A
- Authority
- CN
- China
- Prior art keywords
- face
- lip
- node
- fusion
- hist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000000203 mixture Substances 0.000 title claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000001815 facial effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 7
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
一种人脸和唇语相融合的身份认证方法及系统，认证方法包括：1)基于Adaboost算法进行人脸检测并基于线性保持投影变换进行人脸特征提取；2)利用面部特征位置关系进行唇部定位并采用局部投影时空特征描述符提取唇语特征；3)根据欧氏距离分别得到人脸和唇语的匹配分数，利用极速学习机在匹配层进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。系统包括人脸特征参数采集模块与唇语特征参数采集模块，人脸特征参数采集模块与唇语特征参数采集模块将采集到的图像信息同时输入极速学习机匹配层融合模块进行融合。本发明的认证结果准确可靠，鲁棒性强，适用范围广。
Description
技术领域
本发明涉及信息安全领域，具体涉及一种人脸和唇语相融合的身份认证方法及系统。
背景技术
近年来，随着网络信息技术的飞速发展，智能手机的功能越发高效便捷，移动电商和网上银行等虚拟支付平台也随之兴起，但是与此同时，网络病毒、黑客以及电信诈骗等网络犯罪时刻威胁着手机用户的信息安全，甚至可能造成重大的经济损失。因此，亟待一个高度可靠的身份认证系统，将生物特征识别和智能手机平台进行融合由此应运而生。
目前已有多种生物特征认证系统在智能手机上被应用，但随着相关技术的发展，人们需要新的认证技术来提高智能手机的安全性。人脸认证在应用方面具有独到的优势，譬如要认证的人脸图像可用普通相机拍摄，降低了使用成本，以非接触的方式即可完成认证过程，具有高度的用户友好性。然而，由于人脸出现在开放的环境中，这也带来了信息泄露的风险，而且在应对双胞胎时往往无法区分。这使得人脸认证具有一定的局限性。
为了解决这个难题，在人脸认证的基础上融合唇语认证，根据信息采集过程中的就近原则，有效提高便利性与采集者的用户体验。同时，唇语中的动态信息不易受健康状况的影响，并且能够适应一些特殊场景下的人机交互，如在嘈杂的环境中或受限制不能出声的情况。目前，唇语识别在技术上难以完整实现，只能作为其他认证技术的辅助手段。
发明内容
本发明的目的在于针对上述现有技术中的问题，提供一种人脸和唇语相融合的身份认证方法及系统，能够有效保护信息安全，防止恶意入侵，认证结果准确可靠，鲁棒性强。
为了实现上述目的，本发明人脸和唇语相融合的身份认证方法，包括以下步骤：
1)基于Adaboost算法进行人脸检测并基于线性保持投影变换进行人脸特征提取；
2)利用面部特征位置关系进行唇部定位并采用局部投影时空特征描述符提取唇语特征；
3)根据欧氏距离分别得到人脸和唇语的匹配分数，利用极速学习机在匹配层进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。
步骤1)中所述基于Adaboost算法进行人脸检测的具体过程包括：
1.1.1)初始化训练数据的权值分布，每一个训练样本被赋予相同权值，如下式：
其中，Dt(i)表示训练样本集的权值分布，wi表示每个训练样本的权值大小；
1.1.2)进行t＝1,2,...,T次迭代，h表示弱分类器，H表示基本分类器；选取一个当前误差率最低的弱分类器h作为第t个基本分类器Ht，并计算该分类器在Dt上的误差et；
其次，计算该弱分类器在最终分类器中所占比重，其中弱分类器权重用α表示；
按下式更新训练样本的权值分布Dt+1：
其中Zt为归一化常数，
1.1.3)按照弱分类器权重组合各分类器，通过符号函数sign的作用得到强分类器Hfinal：
步骤1)中所述基于线性保持投影变换进行人脸特征提取的具体过程包括：
1.2.1)创建k近邻域图；
设人脸样本xi∈R1×n,i＝1,2,…,m，无向赋权图G＝{X,W}由顶点集X∈Rm×n和相似矩阵W∈Rm×m组成，xi是X的第i行；每个样本有n个节点，第i个节点对应第i张人脸图像；若节点i在节点j的k近邻域中或者节点j在节点i的k近邻域中，则将节点i和节点j相连；
1.2.2)确定权重；
若节点i和节点j相连，则根据下式确定权矩阵W的值，否则，W＝0；
Wij＝exp(-||xi-xj||2/t)；
上式中的t表示高斯分布；
1.2.3)计算投影图；
求解下式的广义特征值和特征向量：
XTLXa＝λXTDXa；
其中，Dii为对角矩阵，且L为拉普拉斯矩阵，L＝D-W；求解上式，根据特征值λ1＞λ2＞…＞λl得到ai∈Rn×1,i＝1,2,…,l；最后得到转换矩阵A＝[a1,a2,…,al]，并通过yi＝xiA(yi∈R1×l)得到提取特征；通过LPP算法得到人脸特征中前10个特征向量。
步骤2)中利用面部特征位置关系进行唇部定位的具体过程包括：首先，定位眼睛中心位置E1和E2，并计算两个眼睛中心的中点E(Ex,Ey)；然后，将图像围绕E点旋转，直到眼睛中心处于同一水平位置；d为眼睛中心之间的距离，口腔中心位于(Ex,Ey+1.2d)，嘴唇区域的宽度和高度分别设置为1.12d和0.84d；最后，将嘴唇的区域调整到一个统一的尺寸，提取需要的区域，并将该方法应用于每个视频帧，得到只包含嘴唇区域的视频序列。
步骤2)中采用局部投影时空特征描述符提取唇语特征的具体过程包括：
通过比较临近像素值产生二值码，如下式：
其中，r表示圆的半径，gi表示该圆内的像素值，gc是中心像素点的值，p代表该圆内像素值gi的数量；依据坐标系XYT的图像序列，得到沿着时间轴T的XY平面以及分别沿着空间坐标系X和Y的YT平面和XT平面的嘴唇运动图像序列帧；
获得以下坐标系的LBP图像：对于每张LBP图像，计算三个平面上的直方图，分别为HistXY，HistXT和HistYT；Hist中的每一列表示一帧的LBP直方图；
按下式利用奇异值分解得到最优投影向量pVector和特征向量fVector：
[U,S,VT]＝svd(Hist)；
fVector＝Hist*pVector；
S是一个对角元素非负且递减的对角矩阵，U和V是酉阵，pVector是V的第一个列向量；因此得到和HistXY，HistXT和HistYT相关的fVectorXY，fVectorXT和fVectorYT。
对于样本i，xi1表示人脸认证的匹配分数，xi2表示唇语认证的匹配分数，xi＝[xi1xi2]表示人脸和唇语的多模匹配分数；给定训练集{xi,ti},i＝1,2,…,m，m是样本的个数，并且ti∈{-1,1}＝{假,真}；激活函数如下式所示：
其中，wj∈R2×1是连接输入结点和隐含层结点jth的输入权值向量，bj是隐含层结点jth的偏移量，βj是连接隐含层结点jth和输出结点的输出权值向量；
Hβ＝T；
其中，和
为了训练该模型，根据公式求出得到：
其中，表示广义Moore-Penrose逆矩阵；
最后，通过比较融合分数Gf和预定阈值Thre，得到认证结果；
若Gf＞Thre，则测试样本为真，否则，测试样本为假。
本发明人脸和唇语相融合的身份认证系统，包括人脸特征参数采集模块与唇语特征参数采集模块，待认证的人脸图像依次经过人脸图像预处理模块、Adaboost人脸检测模块及线性保持投影变换模块输入人脸特征参数采集模块，待认证的唇部视频序列依次经过唇部视频预处理模块和局部投影时空特征描述符模块输入唇语特征参数采集模块，人脸特征参数采集模块与唇语特征参数采集模块将采集到的特征信息同时输入极速学习机匹配层融合模块进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。
基于Java的应用程序开发具体涉及到手机权限的申请、摄像头模块的开发、基于JavaCV库的函数调用以及系统功能的模块化实现；利用Android Studio软件平台进行应用程序开发，在Android7.0手机版本中测试运行，并对软件的强健性和兼容性进行测试。
与现有技术相比，本发明具有如下的有益效果：采用人脸和唇语相结合的多模生物特征进行身份认证，提高了身份认证系统的强健性。基于Adaboost算法的人脸检测，将不同的分类算法作为弱分类器，并考虑每个分类器的权重，具有很高的精度；利用线性保持投影变换算法和局部投影时空特征描述符算法进行特征提取，能够提取到最具有判别性的特征来进行降维；利用极速学习机在匹配层进行融合，极速学习机的整个学习过程通过数学变化一次完成，无需迭代，具有很好的泛化性、鲁棒性和可控性。本发明能够保障智能终端用户的信息安全，尤其是Android智能手机用户，认证结果准确可靠，鲁棒性强，适用范围广。本发明的身份认证方法及系统能够为社会经济安全提供保障，应用前景广阔。
附图说明
图1Adaboost级联分类器检测原理；
图2前10个特征向量结果图；
图3唇部定位示意图：(a)定位眼睛；(b)定位唇部；(c)唇部ROI；
图4三个平面上嘴唇运动图像序列帧：(a)XY平面；(b)XT平面；(c)YT平面；
图5三个平面上的LBP图像序列帧：(a)XY平面；(b)XT平面；(c)YT平面；
图6本发明人脸和唇语身份认证系统匹配层融合框图；
图7Android智能手机系统总体界面框图；
图8人脸唇语身份认证系统主界面：
(a)应用程序主界面；(b)数据库管理界面；(c)摄像头预览界面；
图9人脸唇语身份认证系统认证界面及结果图：
(a)认证模块主界面；(b)认证成功示意图；(c)认证失败示意图；
图10人脸唇语身份认证系统数据库界面：
(a)志愿者存储文件夹；(b)浏览志愿者人脸图片；(c)浏览志愿者唇语视频。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
本发明人脸和唇语相融合的身份认证方法具体包括以下步骤：
1.人脸检测及特征提取；
(1)本发明基于Adaboost算法进行人脸检测，利用大量的分类能力一般的弱分类器组合起来，形成一个强分类器，再将若干强分类器级联成分级分类器，完成对图像的搜索检测功能，如图1所示。利用弱学习的反馈，自适应调整假设的错误率，使得在保证检测效率的前提下，提高准确率。
若给定N个训练数据集L＝{(x1,y1),(x2,y2),...,(xN,yN)}，其中x表示样本特征向量，y表示训练样本类别标签，yi＝0表示为非人脸，yi＝1表示为人脸，假设其迭代次数为T。
Adaboost算法包括如下步骤：
步骤1：初始化训练数据的权值分布，每一个训练样本被赋予相同权值，即wi＝1/N，训练样本的初始权值分布D1(i)如式(1)
其中，Dt(i)表示训练样本集的权值分布，wi表示每个训练样本的权值大小。
步骤2：进行t＝1,2,...,T次迭代，h表示弱分类器，H表示基本分类器。
选取一个当前误差率最低的弱分类器h作为第t个基本分类器Ht，并计算该分类器在Dt上的误差et。
其次，计算该弱分类器在最终分类器中所占比重，其中，弱分类器权重用α表示。
更新训练样本的权值分布Dt+1，如式(4)所示：
其中Zt为归一化常数
步骤3：按照弱分类器权重组合各分类器，通过符号函数sign的作用，得到一个强分类器Hfinal为：
(2)本发明基于线性保持投影变换(Linearity Preserving Projection；简称：LPP)进行人脸特征提取，LPP是一种用于流形学习的算法，提取最具有判别性的特征来进行降维，并保留有效布局特征，具体步骤为：
步骤1：创建k近邻域图。假设人脸样本xi∈R1×n,i＝1,2,…,m，无向赋权图G＝{X,W}由顶点集X∈Rm×n和相似矩阵W∈Rm×m组成，xi是X的第i行。其中，每个样本具有n个节点，第i个节点对应着第i张人脸图像。如果节点i在节点j的k近邻域中或者节点j在节点i的k近邻域中，则将节点i和节点j相连。
步骤2：确定权重。若节点i和节点j相连，则根据公式(6)确定权矩阵W的值，否则，W＝0。其中，t表示高斯分布。
Wij＝exp(-||xi-xj||2/t) (6)
步骤3：计算投影图，求解公式(7)的广义特征值和特征向量。
XTLXa＝λXTDXa (7)
其中，Dii是一个对角矩阵，且L＝D-W是一个拉普拉斯矩阵。求解式(7)，根据特征值λ1＞λ2＞…＞λl可以得到ai∈Rn×1,i＝1,2,…,l。最后，得到转换矩阵A＝[a1,a2,…,al]，并通过yi＝xiA(yi∈R1×l)得到提取特征。通过LPP算法得到人脸特征中前10个特征向量，如图2所示。
2.唇语检测及特征提取；
(1)本发明利用面部特征位置关系进行唇部ROI定位，如图3所示。首先定位眼睛中心位置E1和E2，并计算两个眼睛中心的中点E(Ex,Ey)。然后将图像围绕E点旋转，直到眼睛中心处于同一水平位置。d为眼睛中心之间的距离，口腔中心位于(Ex,Ey+1.2d)，嘴唇区域的宽度和高度分别设置为1.12d和0.84d。最后，将嘴唇的区域调整到一个统一的尺寸，提取需要的区域，并将该方法应用于每个视频帧，得到只包含嘴唇区域的视频序列。
(2)本发明采用局部投影时空特征描述符(Projection Local SpatiotemporalDescriptor；简称：PLSD)进行唇语特征提取，PLSD是局部二值模式(Local BinaryPatterns；简称：LBP)在时空特征层次的改进算法，通过比较临近像素值产生二值码，如下公式(8)：
其中，r表示圆的半径，gi表示该圆内的像素值，gc是中心像素点的值，p代表该圆内像素值gi的数量。
如图4所示，依据坐标系XYT的图像序列，得到沿着时间轴T的XY平面以及分别沿着空间坐标系X和Y的YT平面和XT平面的嘴唇运动图像序列帧。为了提取时空特征，必须获得以下坐标系的LBP图像，如图5。
对于每张LBP图像，计算三个平面上的直方图，分别为HistXY，HistXT和HistYT。Hist中的每一列表示一帧的LBP直方图。根据公式(9)(10)可知，利用奇异值分解(SingularValue Decomposition；简称：SVD)得到最优投影向量pVector和特征向量fVector。
[U,S,VT]＝svd(Hist), (9)
fVector＝Hist*pVector, (10)
其中，S是一个对角元素非负且递减的对角矩阵，U和V是酉(矩)阵，pVector是V的第一个列向量。因此，可以得到和HistXY，HistXT和HistYT相关的fVectorXY，fVectorXT和fVectorYT。
3.基于极速学习机的匹配层融合策略；
本发明使用极速学习机将人脸和唇语的匹配分数进行融合，极速学习机是基于单隐含层前馈神经网络提出的，通过不断测试来设置合适的隐含层节点的个数，随机的对输入权和隐含层偏差赋值，再由最小二乘法得到输出层权值。整个学习过程通过数学变化一次完成，无需迭代，训练速度与传统的基于梯度下降的BP算法相比有了显著提高(通常在10倍以上)。该算法具有更好的泛化性、鲁棒性和可控性且学习速率快。
对于样本i，xi1表示人脸认证的匹配分数，xi2表示唇语认证的匹配分数，xi＝[xi1xi2]表示人脸和唇语的多模匹配分数。给定训练集{xi,ti},i＝1,2,…,m，m是样本的个数，并且ti∈{-1,1}＝{假,真}。激活函数如公式(11)
其中，wj∈R2×1是连接输入结点和隐含层结点jth的输入权值向量，bj是隐含层结点jth的偏移量，βj是连接隐含层结点jth和输出结点的输出权值向量，可以理解为：
Hβ＝T (12)
其中，和
为了训练该模型，根据公式求出得到：
其中，示广义Moore-Penrose逆矩阵。
最后，通过比较融合分数Gf和预定阈值Thre，得到认证结果。若Gf＞Thre，则测试样本为真，否则，测试样本为假。
4.基于Android智能手机平台的身份认证系统实现；
图7为本发明基于Android智能手机的人脸和唇语身份认证系统总体界面框图，系统主界面包括注册、认证、数据库和摄像头预览等四个界面。其中认证界面和数据库界面都可以启动摄像头预览界面进行身份信息采集。
本发明的主界面如图8(a)，可以实现界面间的切换，点击三个图片按钮后可以切换到不同的界面。同时实现数据库的初始化，以及存储方式的初始化。
在本发明中，身份认证系统数据库管理界面和摄像头预览界面如图8(b)、图8(c)所示。其中，摄像头预览界面录入人脸和唇语信息，数据库管理界面包含已录入样本人员标识符和具体样本数，并可调用摄像头预览界面，录入新的样本。
基于Android智能手机的人脸和唇语身份认证系统中，认证模块主界面是整个系统开发的核心部分，系统界面如图9所示。确定测试样本后，后台程序处理测试样本，并显示人脸样本ROI，得到如图9(b)、图9(c)所示认证结果。
在本认证系统中，每个志愿者存在一个文件夹里，以注册名称作为文件夹名，点击后可以看到人脸和唇语的缩略图，浏览志愿者人脸图片和唇语视频，如图10所示。
Claims (8)
1.一种人脸和唇语相融合的身份认证方法，其特征在于，包括以下步骤：
1)基于Adaboost算法进行人脸检测并基于线性保持投影变换进行人脸特征提取；
2)利用面部特征位置关系进行唇部定位并采用局部投影时空特征描述符提取唇语特征；
3)根据欧氏距离分别得到人脸和唇语的匹配分数，利用极速学习机在匹配层进行融合，将融合得到的融合分数与设定阈值进行比较，得到认证结果。
2.根据权利要求1所述人脸和唇语相融合的身份认证方法，其特征在于，步骤1)中所述基于Adaboost算法进行人脸检测的具体过程包括：
1.1.1)初始化训练数据的权值分布，每一个训练样本被赋予相同权值，如下式：
其中，Dt(i)表示训练样本集的权值分布，wi表示每个训练样本的权值大小，N表示训练数据集数目；
1.1.2)进行t＝1,2,...,T次迭代，h表示弱分类器，H表示基本分类器；选取一个当前误差率最低的弱分类器h作为第t个基本分类器Ht，并计算该分类器在Dt上的误差et；
其次，计算该弱分类器在最终分类器中所占比重，其中弱分类器权重用α表示；
按下式更新训练样本的权值分布Dt+1：
其中Zt为归一化常数，
1.1.3)按照弱分类器权重组合各分类器，通过符号函数sign的作用得到强分类器Hfinal：
3.根据权利要求1所述人脸和唇语相融合的身份认证方法，其特征在于，步骤1)中所述基于线性保持投影变换进行人脸特征提取的具体过程包括：
1.2.1)创建k近邻域图；
设人脸样本xi∈R1×n,i＝1,2,…,m，无向赋权图G＝{X,W}由顶点集X∈Rm×n和相似矩阵W∈Rm×m组成，xi是X的第i行；每个样本有n个节点，第i个节点对应第i张人脸图像；若节点i在节点j的k近邻域中或者节点j在节点i的k近邻域中，则将节点i和节点j相连；
1.2.2)确定权重；
若节点i和节点j相连，则根据下式确定权矩阵W的值，否则，W＝0；
Wij＝exp(-||xi-xj||2/t)；
上式中的t表示高斯分布；
1.2.3)计算投影图；
求解下式的广义特征值和特征向量：
XTLXa＝λXTDXa；
其中，Dii为对角矩阵，且L为拉普拉斯矩阵，L＝D-W；求解上式，根据特征值λ1＞λ2＞…＞λl得到ai∈Rn×1,i＝1,2,…,l；最后得到转换矩阵A＝[a1,a2,…,al]，并通过yi＝xiA(yi∈R1×l)得到提取特征；通过LPP算法得到人脸特征中前10个特征向量。
4.根据权利要求1所述人脸和唇语相融合的身份认证方法，其特征在于，步骤2)中利用面部特征位置关系进行唇部定位的具体过程包括：首先，定位眼睛中心位置E1和E2，并计算两个眼睛中心的中点E(Ex,Ey)；然后，将图像围绕E点旋转，直到眼睛中心处于同一水平位置；d为眼睛中心之间的距离，口腔中心位于(Ex,Ey+1.2d)，嘴唇区域的宽度和高度分别设置为1.12d和0.84d；最后，将嘴唇的区域调整到一个统一的尺寸，提取需要的区域，并将该方法应用于每个视频帧，得到只包含嘴唇区域的视频序列。
5.根据权利要求1所述人脸和唇语相融合的身份认证方法，其特征在于，步骤2)中采用局部投影时空特征描述符提取唇语特征的具体过程包括：
通过比较临近像素值产生二值码，如下式：
其中，r表示圆的半径，gi表示该圆内的像素值，gc是中心像素点的值，p代表该圆内像素值gi的数量；依据坐标系XYT的图像序列，得到沿着时间轴T的XY平面以及分别沿着空间坐标系X和Y的YT平面和XT平面的嘴唇运动图像序列帧；
获得以下坐标系的LBP图像：对于每张LBP图像，计算三个平面上的直方图，分别为HistXY，HistXT和HistYT；Hist中的每一列表示一帧的LBP直方图；
按下式利用奇异值分解得到最优投影向量pVector和特征向量fVector：
[U,S,VT]＝svd(Hist)；
fVector＝Hist*pVector；
S是一个对角元素非负且递减的对角矩阵，U和V是酉阵，pVector是V的第一个列向量；因此得到和HistXY，HistXT和HistYT相关的fVectorXY，fVectorXT和fVectorYT。
6.根据权利要求1所述人脸和唇语相融合的身份认证方法，其特征在于，步骤3)的具体过程包括：对于样本i，xi1表示人脸认证的匹配分数，xi2表示唇语认证的匹配分数，xi＝[xi1xi2]表示人脸和唇语的多模匹配分数；给定训练集{xi,ti},i＝1,2,…,m，m是样本的个数，并且ti∈{-1,1}＝{假,真}；激活函数如下式所示：
其中，wj∈R2×1是连接输入结点和隐含层结点jth的输入权值向量，bj是隐含层结点jth的偏移量，βj是连接隐含层结点jth和输出结点的输出权值向量；
Hβ＝T；
其中，和
为了训练该模型，根据公式求出得到：
其中，表示广义Moore-Penrose逆矩阵；
最后，通过比较融合分数Gf和预定阈值Thre，得到认证结果；
若Gf＞Thre，则测试样本为真，否则，测试样本为假。
7.一种实现权利要求1所述人脸和唇语相融合的身份认证方法的系统，其特征在于，包括人脸特征参数采集模块(1)与唇语特征参数采集模块(2)待认证的人脸图像依次经过人脸图像预处理模块(3)Adaboost人脸检测模块(4)及线性保持投影变换模块(5)输入人脸特征参数采集模块(1)待认证的唇部视频序列依次经过唇部视频预处理模块(6)和局部投影时空特征描述符模块(7)输入唇语特征参数采集模块(2)人脸特征参数采集模块(1)与唇语特征参数采集模块(2)将采集到的图像信息同时输入极速学习机匹配层融合模块(8)进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。
8.根据权利要求7所述的系统，其特征在于：应用程序开发基于Java或者利用AndroidStudio软件平台进行，基于Java的应用程序开发具体涉及到手机权限的申请、摄像头模块的开发、基于JavaCV库的函数调用以及系统功能的模块化实现；利用Android Studio软件平台在Android7.0手机版本中测试运行，并对软件的强健性和兼容性进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810661218.XA CN108960103B (zh) | 2018-06-25 | 2018-06-25 | 一种人脸和唇语相融合的身份认证方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810661218.XA CN108960103B (zh) | 2018-06-25 | 2018-06-25 | 一种人脸和唇语相融合的身份认证方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108960103A true CN108960103A (zh) | 2018-12-07 |
| CN108960103B CN108960103B (zh) | 2021-02-19 |
Family
ID=64486394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810661218.XA Active CN108960103B (zh) | 2018-06-25 | 2018-06-25 | 一种人脸和唇语相融合的身份认证方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108960103B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110364163A (zh) * | 2019-07-05 | 2019-10-22 | 西安交通大学 | 一种语音和唇语相融合的身份认证方法 |
| CN110444044A (zh) * | 2019-08-27 | 2019-11-12 | 纵目科技（上海）股份有限公司 | 基于超声波传感器的车辆位姿检测系统、终端和存储介质 |
| CN110929239A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于唇语指令的终端解锁方法 |
| CN114268453A (zh) * | 2021-11-17 | 2022-04-01 | 中国南方电网有限责任公司 | 电力系统解锁方法、装置、计算机设备和存储介质 |
| CN114333072A (zh) * | 2022-03-10 | 2022-04-12 | 深圳云集智能信息有限公司 | 一种基于会议图像通信的数据处理方法及系统 |
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102973253A (zh) * | 2012-10-31 | 2013-03-20 | 北京大学 | 一种利用视觉信息监测人体生理指标的方法和系统 |
| CN104239858A (zh) * | 2014-09-05 | 2014-12-24 | 华为技术有限公司 | 一种人脸特征验证的方法和装置 |
| CN104680144A (zh) * | 2015-03-02 | 2015-06-03 | 华为技术有限公司 | 基于投影极速学习机的唇语识别方法和装置 |
| US20160098622A1 (en) * | 2013-06-27 | 2016-04-07 | Sitaram Ramachandrula | Authenticating A User By Correlating Speech and Corresponding Lip Shape |
| CN106709402A (zh) * | 2015-11-16 | 2017-05-24 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN107133608A (zh) * | 2017-05-31 | 2017-09-05 | 天津中科智能识别产业技术研究院有限公司 | 基于活体检测和人脸验证的身份认证系统 |
-
2018
- 2018-06-25 CN CN201810661218.XA patent/CN108960103B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102973253A (zh) * | 2012-10-31 | 2013-03-20 | 北京大学 | 一种利用视觉信息监测人体生理指标的方法和系统 |
| US20160098622A1 (en) * | 2013-06-27 | 2016-04-07 | Sitaram Ramachandrula | Authenticating A User By Correlating Speech and Corresponding Lip Shape |
| CN104239858A (zh) * | 2014-09-05 | 2014-12-24 | 华为技术有限公司 | 一种人脸特征验证的方法和装置 |
| CN104680144A (zh) * | 2015-03-02 | 2015-06-03 | 华为技术有限公司 | 基于投影极速学习机的唇语识别方法和装置 |
| CN106709402A (zh) * | 2015-11-16 | 2017-05-24 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN107133608A (zh) * | 2017-05-31 | 2017-09-05 | 天津中科智能识别产业技术研究院有限公司 | 基于活体检测和人脸验证的身份认证系统 |
Non-Patent Citations (1)
| Title |
|---|
| FATEMEH SADAT LESANI ET AL: "Mobile Phone Security using Automatic Lip Reading", 《2015 9TH INTERNATIONAL CONFERENCE ON E-COMMERCE IN DEVELOPING COUNTRIES: WITH FOCUS ON E-BUSINESS》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110364163A (zh) * | 2019-07-05 | 2019-10-22 | 西安交通大学 | 一种语音和唇语相融合的身份认证方法 |
| CN110444044A (zh) * | 2019-08-27 | 2019-11-12 | 纵目科技（上海）股份有限公司 | 基于超声波传感器的车辆位姿检测系统、终端和存储介质 |
| CN110444044B (zh) * | 2019-08-27 | 2022-07-12 | 纵目科技（上海）股份有限公司 | 基于超声波传感器的车辆位姿检测系统、终端和存储介质 |
| CN110929239A (zh) * | 2019-10-30 | 2020-03-27 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于唇语指令的终端解锁方法 |
| CN110929239B (zh) * | 2019-10-30 | 2021-11-19 | 中科南京人工智能创新研究院 | 一种基于唇语指令的终端解锁方法 |
| CN114268453A (zh) * | 2021-11-17 | 2022-04-01 | 中国南方电网有限责任公司 | 电力系统解锁方法、装置、计算机设备和存储介质 |
| CN114333072A (zh) * | 2022-03-10 | 2022-04-12 | 深圳云集智能信息有限公司 | 一种基于会议图像通信的数据处理方法及系统 |
| CN114333072B (zh) * | 2022-03-10 | 2022-06-17 | 深圳云集智能信息有限公司 | 一种基于会议图像通信的数据处理方法及系统 |
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108960103B (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960103B (zh) | 一种人脸和唇语相融合的身份认证方法及系统 | |
| Fuad et al. | Recent advances in deep learning techniques for face recognition | |
| Goh et al. | Micro-expression recognition: an updated review of current trends, challenges and solutions | |
| Kumar et al. | Real time face recognition using adaboost improved fast PCA algorithm | |
| Cheddad et al. | Exploiting Voronoi diagram properties in face segmentation and feature extraction | |
| Chauhan et al. | Study & analysis of different face detection techniques | |
| US10922399B2 (en) | Authentication verification using soft biometric traits | |
| Zheng et al. | Attention-based spatial-temporal multi-scale network for face anti-spoofing | |
| Paul et al. | Extraction of facial feature points using cumulative histogram | |
| Xia et al. | Face occlusion detection using deep convolutional neural networks | |
| Tathe et al. | Human face detection and recognition in videos | |
| CN116612542A (zh) | 基于多模态生物特征一致性的音视频人物识别方法及系统 | |
| Booysens et al. | Ear biometrics using deep learning: A survey | |
| CN110364163A (zh) | 一种语音和唇语相融合的身份认证方法 | |
| Mohamed et al. | Automated face recogntion system: Multi-input databases | |
| Shang et al. | Face and lip-reading authentication system based on android smart phones | |
| Dubey et al. | Deep Perusal of Human Face Recognition Algorithms from Facial Snapshots | |
| Vimal et al. | Face Detection’s Various Techniques and Approaches: A Review | |
| Kisku et al. | Multithread face recognition in cloud | |
| Yow et al. | Scale and Orientation Invariance in Human Face Detection. | |
| Faizi | Robust face detection using template matching algorithm | |
| Chen | Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning | |
| Lin et al. | Face detection algorithm based on multi-orientation gabor filters and feature fusion | |
| Patil et al. | 3D-DWT and CNN based face recognition with feature extraction using depth information and contour map | |
| Praseeda Lekshmi et al. | Analysis of facial expressions from video images using PCA |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |