CN111460416B - 一种基于微信小程序平台的人脸特征与动态属性的认证方法 - Google Patents

一种基于微信小程序平台的人脸特征与动态属性的认证方法 Download PDF

Info

Publication number
CN111460416B
CN111460416B CN202010132673.8A CN202010132673A CN111460416B CN 111460416 B CN111460416 B CN 111460416B CN 202010132673 A CN202010132673 A CN 202010132673A CN 111460416 B CN111460416 B CN 111460416B
Authority
CN
China
Prior art keywords
face
authentication
key
terminal
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010132673.8A
Other languages
English (en)
Other versions
CN111460416A (zh
Inventor
黄春晖
诸承杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yango University
Original Assignee
Yango University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yango University filed Critical Yango University
Priority to CN202010132673.8A priority Critical patent/CN111460416B/zh
Publication of CN111460416A publication Critical patent/CN111460416A/zh
Application granted granted Critical
Publication of CN111460416B publication Critical patent/CN111460416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services

Abstract

本发明提供一种基于微信小程序平台的人脸特征与动态属性的认证方法，涉及生物识别、信息安全和控制科学技术领域，该发明包括以下步骤：S1、首先通过智能手机采集用户人脸图像，来检测人脸关键点，注册人脸信息；S2、通过智能手机采集用户人脸视频帧，通过人脸关键点判断人脸姿态，辅以Gabor小波变换,对视频帧进行眨眼检测,最后进行人脸比对；S3、通过密钥认证系统对认证请求进行安全判定。本发明采用动态人脸识别认证方式，结合密钥认证系统的安全认证方式，弥补了单一人脸认证存在的缺陷，利用智能手机增添人脸识别功能，把基于密码的客户认证拓展为动态人脸识别的身份认证和客户密码认证有机结合的认证体系，提高认证操作的安全性和可靠性。

Description

一种基于微信小程序平台的人脸特征与动态属性的认证方法
技术领域
本发明涉及生物识别、信息安全和控制科学技术领域，具体为一种基于微信小程序平台的人脸特征与动态属性的认证方法。
背景技术
根据我国信息通信研究院发布的报告显示，2019年11月，国内手机市场总体出货量为3484.2万部，智能手机出货量3336.7万部，其中4G手机2829.9万部、5G手机507.4万部。2019年1-11月，智能手机出货量3.43亿部，其中Android系统手机在智能手机中占比91.4％。从上述报告不难发现，当前智能手机已经广泛普及，同时，随着5G技术的发展，5G手机的用户将会成为智能手机用户的主力。智能机在广泛普及的同时也造就了APP的蓬勃发展，各式各样的应用极大的方便了用户的生活。不过由于手机系统的不同，Android系统的手机和苹果系统的手机需要针对各自的系统分别开发手机应用，给APP的推广带来一定的阻力，而小程序却没有上述的烦恼，小程序不需要下载安装，即用即走，用户使用便捷，并且不占用手机的内存。
人脸识别作为近年来神经网络的研究热点，借助于人工智能等技术的加持，已经获得了成功的应用。目前在火车站和一些大型会议的签到流程都用到人脸闸机进行身份核验，效率非常高，但是在人们的日常生活中，人脸安全认证的应用场景相对较少，造成这种现象，除了网络传输延迟，还有单一的人脸认证系统存在安全隐患，很难满足用户的安全性要求。5G技术的发展，将会大大降低网络的时延，使得人脸认证的响应速度达到毫秒级，极大地满足用户的使用体验，但是现有的人脸认证方式较为单一，存在着使用他人非活性照片进行认证的隐患。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于微信小程序平台的人脸特征与动态属性的认证方法，利用智能手机增添动态人脸识别功能，把基于密码的客户认证拓展为动态人脸识别的身份认证和客户密码认证有机结合起来，提高认证操作的安全性和可靠性，解决了现有技术中存在的缺陷与不足。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于微信小程序平台的人脸特征与动态属性的认证方法，包括以下步骤：
S1、首先通过智能手机采集用户人脸图像，将人脸图像发送到服务器端进行人脸预处理，通过SSD检测人脸位置，采用深度卷积多任务神经网络(MTCNN)模型，通过级联的CNN方式对任务进行从粗到精的处理，检测人脸关键点，注册人脸信息；
S2、通过智能手机采集用户人脸视频帧，通过人脸关键点对人脸姿态判断，并辅以Gabor小波变换对视频帧进行眨眼检测，然后采用FaceNet模型，基于深度神经网络的图像映射方法和基于triplets(三元组)的loss函数训练神经网络，网络直接输出128维度的向量空间进行人脸比对；
S3、通过密钥认证系统对认证请求进行安全判定。
优选的，所述待认证人脸信息通过采集设备进行采集，所述采集设备为能够安装微信APP的智能移动设备，并且具备前置摄像头。
优选的，所述SSD算法中，从真实人脸位置GTbox出发构造正负样本，找到IOU最匹配的priorbox放入候选正样本集，对于负样本，做难例挖掘(OHEM)，使正负样本比例1:3，训练样本得到人脸检测模型。
优选的，所述SE-ResNet获取人脸关键点信息包括以下步骤：
1)首先将视频图像进行卷积运算，把残差结构输出的卷积图放入globalpooling，对特征图进行全图的平均，平均完之后可以获得1×1的特征图；
2)随后通过全连接层进行权值的计算，在第一个全连接(FC)层会对通道进行下采样，降低整个网络的参数量，在拿到FC层计算出来的权重之后，通过sigmoid层进行归一化；
3)接着在特征图上赋予sigmoid权重，完成对通道的加权，最后将加权之后的特征图与原始的特征图相加，得到最终SE-ResNet网络的输出。
优选的，所述人脸姿态判断主要是为了得到人脸角度的信息，主要涉及三个坐标系：图像坐标系、相机坐标系和世界坐标系，其中，世界坐标系下的人脸模型的关键点已知，通过人脸关键点检测方法找到像素坐标系下的人脸关键点，从而计算出旋转和平移矩阵，通过solvePnP方法求出旋转向量，再将旋转矩阵转换成欧拉角，从而获取人脸的姿态。
优选的，所述Gabor变换通过人脸姿态的三个关键参数对Gabor滤波器的尺度和方向参数进行选择。
优选的，所述Facenet通过MTCNN人脸检测模型，从视频中提取人脸图像，把人脸图像输入到FaceNet，计算Embedding的特征向量，比较特征向量间的欧式距离，判断是否为同一人，例如当特征距离小于1的时候认为是同一个人，特征距离大于1的时候认为是不同人。
优选的，所述密钥认证系统包括移动端、云端和受控端；所述移动端和受控端与云端通过网络信号连接，移动端和受控端通过蓝牙连接；首先由手机端拍摄用户的人脸视频，发送到云服务器端请求认证，云服务器端进行人脸安全认证，认证成功才会把经过二次加密的密钥字符串发送到受控端，同时把未经二次加密的初始密钥字符串发送给手机端，并指示手机端的客户程序完成相应的二次加密，然后转发给受控端，受控端接收到两串二次加密的密钥串后立即加以比对认证，认证通过，受控端完成解锁。
(三)有益效果
本发明提供了一种基于微信小程序平台的人脸特征与动态属性的认证方法。
具备以下有益效果：
与现有技术相比，本发明采用动态人脸识别认证方式，结合密钥认证系统的安全认证方式，弥补了单一人脸认证存在的缺陷，具有更高的可靠性和安全性，进一步保障了用户信息财产安全，具有广泛的应用前景。
附图说明
图1为本发明中系统及密钥认证流程图；
图2为本发明中SE-ResNet网络示意图；
图3为本发明中FaceNet的网络结构示意图；
图4为本发明中tripletloss分类示意图；
图5为本发明中相似三角形变换示意图；
图6为本发明中坐标关系转换示意图；
图7为本发明中变换矩阵示意图；
图8为本发明中人脸认证流程图；
图9为本发明中密钥认证流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
本发明实施例提供一种基于微信小程序平台的人脸特征与动态属性的认证方法，图1为本发明中系统及密钥认证流程图，包括以下具体内容：
一、系统开发平台
本发明选用智能手机和电脑作为测试平台，智能手机需安装微信APP，电脑为1080TI工作站，安装环境如下：Tensorflow1.12、Ubuntu16.04、Python3.6。
二、人脸特征
1.人脸检测
SSD的人脸检测算法，SSD属于one-stage检测算法的典型代表，于2016年在ECCV被提出，是一种通用物体检测，与two-stage相比较而言，SSD检测算法彻底的实现了端到端的训练，不存在候选框的过程，采用了anchor机制，直接回归目标类别和位置。
SSD采用VGGNet来作为主干网络，网络中的每个特征图都会作为检测层的输入，在检测层通过Defaultboundingboxes完成了对目标区域的类别和坐标这两个值的预测，训练过程提出了Smooth-L1loss+softmaxloss，将位置定位的准确度值和得分置信度融合起来，从而使得对目标物的检测和识别都表现出state-of-the-art的效果。整体损失函数公式如下：
Figure GDA0003979914750000051
第一项为置信度的损失，第二项为位置的损失，N为匹配的默认边框的数目，α为平衡因子，交叉验证的时候取值为1。
位置损失公式如下：
Figure GDA0003979914750000061
Figure GDA0003979914750000062
Figure GDA0003979914750000063
置信度损失函数如下
Figure GDA0003979914750000064
样本构造分为正样本和负样本，正样本从GTbox出发，找到IOU最匹配的priorbox放入候选正样本集，其中GTbox在人脸检测任务中代表人脸真实的位置，与anchor提取出来的坐标计算两者的IOU，构造出正样本的样本集。对于负样本，做难例挖掘，是正负样本比例1:3。通过对SSD网络的训练，完成人脸检测功能。
2.人脸关键点
关键点检测采用SE-ResNet网络，如图2，首先计算视频图像的卷积，对于残差结构输出的卷积图进行globalpooling：
Figure GDA0003979914750000065
对特征图进行全图的平均，平均完之后可以获得1×1的特征图，随后通过全连接层进行权值的计算，在第一个全连接(FC)层会对通道进行下采样，降低整个网络的参数量，在拿到FC层计算出来的权重之后，通过sigmoid层进行归一化，最后将sigmoid权重乘回特征图上，完成对通道的加权，最后将加权之后的特征图与原始的特征图进行相加，得到最终SE-ResNet网络的输出。该结构可以采用下列表达式进行表述：
X1＝conv(X0)
X2＝weight(X0)
X3＝X0+X1**X2
首先是卷积层，图中表示为Residual，对于输入特征图X0进行卷积操作后得到X1，然后计算权重部分，在计算完权重X2之后进行残差相加，其中X1为c*1*1*n维的特征，X2为c*h*w*n的特征图，所以X1与X2是没办法直接进行点乘的，X1的c需要乘到每一个特征图上，故表达式(3)使用**表达这种运算，最后与X0相加得到X3，由此得到SE-ResNet的输出。
环境：Tensorflow1.12、Ubuntu16.04、Python3.6；
数据准备：300W-LP数据集，标注好的128维64个人脸关键点的标注文件。
3.人脸匹配
人脸匹配用到了Facenet模型，FaceNet的网络结构如图3所示：
其中Batch表示人脸的训练数据，接下来是深度卷积神经网络，然后采用L2归一化操作，得到人脸图像的特征表示，最后为三元组的损失函数(TripletLoss)。
模型结构的末端使用tripletloss来直接分类，由anchor样例和neg样例梯度给出的启发是传统loss函数趋向于将有一类特征的人脸图像映射到同一个空间。而tripletloss尝试将一个个体的人脸图像和其它人脸图像分开。三元组其实就是三个样例，如(anchor,pos,neg)，利用距离关系来判断，即在尽可能多的三元组中，使得anchor和pos正例的距离，小于anchor和neg负例的距离，如图4所示：用数学公式可以表示为：
Figure GDA0003979914750000071
模型在每个MiniBatch的训练时，为了计算tripletloss值，需要选定合理的triplet三元组。如果采用暴力的方法从所有样本中找出离它最近的反例和离它最远的正例，然后进行优化，查找时间太长，并且还会由于错误标签图像导致训练收敛困难。可采用在线生成triplet的方式，在每个mini-batch中，生成triplet的时候，找出所有的anchor-pos对，然后对每个anchor-pos对找出其hardneg样本。主要流程如下所示：
1.在mini-batch开始的时候，从训练数据集中抽样人脸图像；
2.计算这些抽样图像在网络模型中得到的embedding，通过计算图像的embedding之间的欧式距离得到三元组；
3.根据得到的三元组，计算triplet-loss，优化模型，更新embedding。
实现流程如下：
(1).通过MTCNN人脸检测模型，从照片中提取人脸图像；
(2).把人脸图像输入到FaceNet，计算Embedding的特征向量；
(3).比较特征向量间的欧式距离，判断是否为同一人，例如当特征距离小于1的时候认为是同一个人，特征距离大于1的时候认为是不同人。
三、人脸动态检测
1.姿态检测
人脸姿态判断主要是为了得到人脸角度的信息，主要涉及三个坐标系：图像坐标系、相机坐标系和世界坐标系。其中，世界坐标系下的人脸模型的关键点已知，通过上述的人脸关键点检测方法可以找到像素坐标系下的人脸关键点，从而可以计算出旋转和平移矩阵。通过solvePnP方法计算旋转向量，再将旋转矩阵转换成欧拉角，从而获取人脸的姿态。
假设知道三维点P在世界坐标中的位置(Xw,Yw,Zw)，在知道旋度R(3*3的矩阵)和平移量T(3*1矢量)的情况下，我们可以使用以下等式计算相机坐标系中的点P的位置(Xc,Yc,Zc)。
Figure GDA0003979914750000091
将旋度矩阵R和平移矩阵T展开可以得到：
Figure GDA0003979914750000092
通过世界坐标下的人脸模型提供的(Xw,Yw,Zw)和相机坐标系下相对应的(Xc,Yc,Zc)来求解线性方程组，上述rij和(tx,ty,tz)便可以求出，本文主要采取了人脸左右眼角，鼻尖，左右嘴角和下巴来计算R和T。
相机坐标到图像坐标由以下公式确定，主要利用了图5中的相似三角形变换。
Figure GDA0003979914750000093
图像坐标与像素坐标关系如图6所示，对应的转换公式由下列公式确定：
Figure GDA0003979914750000094
依次左乘变换矩阵即可完成坐标转换，如图7所示：
3.自适应人脸姿态的Gabor算法
Figure GDA0003979914750000101
由此，得到了世界坐标与像素坐标的对应关系，从而可以解出旋转和平移矩阵，通过OpenCV提供的decomposeProjectionMatrix将旋转矩阵转化为欧拉角便可以得到人脸姿态的三个关键参数pitch，roll，yaw。
3.基于姿态的Gabor变换
通过上述方法得到人脸姿态的三个关键参数，接下去是通过这些参数对Gabor滤波器的尺度和方向参数进行选择，由于方向参数Vs共设置了6个方向：0，30，60，90，120，150；尺度方向参数Us设置了4个方向：7，12，17，21；在数值上是非连续的，无法直接通过联立方程组的形式来计算pitch，roll，yaw的权重，所以通过训练神经网络的方式对参数进行选择。
训练神经网络，输入pitch，row，yaw三个人脸姿态数据，通过训练数据(针对不同姿态手动标记了最好尺度及方向)训练网络，输出量hi(x)的维度是6维，并且hi(x)＝[1,0,0,0,0,0]T表示Vs＝0，hi(x)＝[0,1,0,0,0,0]T表示Vs＝30，依次类推。
4.人脸角度矫正
当人脸倾斜较大时，若不做处理直接进行水平积分投影，会对眨眼检测造成干扰，所以对这些图片进行旋转纠正时很有必要的，首先通过前文的人脸预处理获取人脸区域坐标，通过OpenCV对人脸进行切割及旋转，旋转角度通过下面方式获取：
选取左右眼角的关键点，旋转的最终目的是将双眼置于水平位置，以便Gabor滤波后使用积分图投影。
当左眼角坐标：(x1,y1)，右眼角坐标：(x2,y2)
计算旋转角度
Figure GDA0003979914750000111
得到角度后调用rotate函数实现对图片的旋转，接下来计算水平积分图投影，对比眼睛部位的面积，如果发生数值上的跳变就认定为眨眼。
四、密钥认证
1.系统架构
手机端通过网络与云端对接，使用云提供的强大的计算服务，手机通过蓝牙与受控目标对接，受控目标可通过GPRS接收云端识别的结果。人脸识别功能的实现主要分为两部分：1)首先通过手机实现人脸图像的采集以及预处理；2)通过云端算法实现人脸检测、人脸特征定位和人脸比对三个功能，将识别结果返回到前端。图8是人脸认证流程图。
其中，部署在车辆上的硬件模块主要由简单的单片机、GPRS模块、HC06模块组成，GPRS模块主要用于接收云端认证的数据，HC06模块则主要是与手机APP进行蓝牙对接，上述模块通过单片机的进行控制，与手机APP、云计算平台共同构成一个汽车防盗系。
2.系统及密钥认证流程
首先由手机端拍摄用户人脸视频，发送到云服务器端请求认证，云服务器端进行人脸安全认证，认证成功才会把经过二次加密的密钥字符串发送到受控端，同时把未经二次加密的初始密钥字符串发送给手机端，并指示手机端的客户程序完成相应的二次加密，然后转发给受控端，受控端接收到两串二次加密的密钥串后立即加以比对认证，认证通过，受控端完成解锁。密钥认证流程图如图9所示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.基于微信小程序平台的人脸特征与动态属性的认证方法，其特征在于：包括以下步骤：
S1、首先通过智能手机采集用户人脸图像，将人脸图像发送到服务器端进行人脸预处理，通过SSD算法检测人脸位置，采用多任务级联CNN（MTCNN）人脸检测模型，检测人脸关键点，注册人脸信息；
S2、通过智能手机采集用户人脸视频帧，按步骤S1检测视频帧的图像，获取人脸关键点，计算确定人脸姿态，并辅以Gabor滤波器变换对视频帧的图像进行眨眼检测；然后采用FaceNet模型，基于深度神经网络的图像映射方法和基于triplets的loss函数训练神经网络，网络直接输出为128维度的向量空间进行人脸对比；
S3、通过密钥认证系统对认证请求进行安全判定；
步骤S1的所述SSD算法中，从真实人脸位置GTbox出发构造正负样本，找到IOU最匹配的priorbox放入候选正样本集，对于负样本，做难例挖掘，使正负样本比例1:3，训练样本得到人脸位置检测模型；
步骤S2中，采用SE-ResNet网络获取人脸关键点，SE-ResNet包括以下步骤：
1)首先将人脸视频进行卷积运算，把残差结构输出的卷积图放入globalpooling，对特征图进行全图的平均，平均完之后可以获得1×1的特征图；
2)随后通过全连接层计算权值，在第一个FC层会对通道进行下采样，降低整个网络的参数量，在得到FC层计算出来的权重之后，通过sigmoid层进行归一化；
3)接着在特征图上赋予sigmoid权重，实现对通道的加权，再将加权后的特征图与原始的特征图相加，得到最终SE-ResNet网络的输出；
所述获取人脸姿态指的是获取人脸角度信息，获取人脸姿态的过程涉及三个坐标系：图像坐标系、相机坐标系和世界坐标系，其中，世界坐标系下的人脸模型的关键点已知，通过人脸关键点检测方法找到像素坐标系下的人脸关键点，从而计算出旋转矩阵和平移矩阵，通过OpenCV提供的decomposeProjectionMatrix将旋转矩阵转化为欧拉角，从而获取人脸的姿态的三个关键参数pitch,roll,yaw；
所述Gabor滤波器变换通过人脸姿态的三个关键参数选择Gabor滤波器的尺度和方向；
当人脸倾斜较大时，首先获取人脸区域坐标，通过OpenCV对人脸进行切割及旋转，旋转的最终目的是将双眼置于水平位置，以便Gabor滤波器变换后使用水平积分图投影进行眨眼检测；
所述密钥认证系统包括移动端、云端和受控端；所述移动端和受控端与云端通过网络信号连接，移动端和受控端通过蓝牙连接，首先由手机端拍摄用户人脸视频，发送认证请求到云服务器端，云服务器端基于所述步骤S2进行人脸安全认证，认证成功会将经过二次加密的密钥字符串发送到受控端，同时把未经二次加密的初始密钥字符串发送给手机端，并指示手机端的客户程序完成相应的二次加密，然后转发给受控端，受控端接收到两串二次加密的密钥串后立即加以比对认证，认证通过，受控端完成解锁。
CN202010132673.8A 2020-02-29 2020-02-29 一种基于微信小程序平台的人脸特征与动态属性的认证方法 Active CN111460416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010132673.8A CN111460416B (zh) 2020-02-29 2020-02-29 一种基于微信小程序平台的人脸特征与动态属性的认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010132673.8A CN111460416B (zh) 2020-02-29 2020-02-29 一种基于微信小程序平台的人脸特征与动态属性的认证方法

Publications (2)

Publication Number Publication Date
CN111460416A CN111460416A (zh) 2020-07-28
CN111460416B true CN111460416B (zh) 2023-02-03

Family

ID=71682455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010132673.8A Active CN111460416B (zh) 2020-02-29 2020-02-29 一种基于微信小程序平台的人脸特征与动态属性的认证方法

Country Status (1)

Country Link
CN (1) CN111460416B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192590A (zh) * 2021-05-13 2021-07-30 南京市第一医院 一种基于微信小程序的患者24小时出入量记录及预警系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976466A (zh) * 2016-05-03 2016-09-28 科世达（上海）管理有限公司 一种汽车门禁开门方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976466A (zh) * 2016-05-03 2016-09-28 科世达（上海）管理有限公司 一种汽车门禁开门方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
pan_jinquan.利用MTCNN和facenet实现人脸检测和人脸识别.《https://blog.csdn.net/guyuealian/article/details/84896733》.2018, *
利用MTCNN和facenet实现人脸检测和人脸识别;pan_jinquan;《https://blog.csdn.net/guyuealian/article/details/84896733》;20181209;正文第1-4页 *
卷积神经网络架构发展;gpfworld;《简书》;20190506;正文第10页 *
基于MTCNN和Facenet的人脸识别;刘长伟;《邮电设计技术》;20200220(第02期);全文 *
基于改进卷积神经网络的人脸识别算法;葛勇等;《电子世界》;20191215(第23期);全文 *
重磅！头部姿态估计「原理详解 + 实战代码」来啦！;搜狐;《https://www.sohu.com/a/278664242_100007727》;20181129;正文第3-6页 *

Also Published As

Publication number Publication date
CN111460416A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
US11256905B2 (en) Face detection method and apparatus, service processing method, terminal device, and storage medium
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
US20190102603A1 (en) Method and apparatus for determining image quality
WO2021143101A1 (zh) 人脸识别方法和人脸识别装置
US11816880B2 (en) Face recognition method and apparatus, computer device, and storage medium
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
WO2022188697A1 (zh) 提取生物特征的方法、装置、设备、介质及程序产品
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN107316029A (zh) 一种活体验证方法及设备
CN111368751A (zh) 图像处理方法、装置、存储介质及电子设备
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN109993108B (zh) 一种增强现实环境下的手势纠错方法、系统及装置
CN111460416B (zh) 一种基于微信小程序平台的人脸特征与动态属性的认证方法
Zhang et al. Facial component-landmark detection with weakly-supervised lr-cnn
CN109993135A (zh) 一种基于增强现实的手势识别方法、系统及装置
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
CN109002776A (zh) 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN112800941A (zh) 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN112381064A (zh) 一种基于时空图卷积网络的人脸检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant