CN109086589A - 一种结合手势识别的智能终端人脸解锁方法 - Google Patents

一种结合手势识别的智能终端人脸解锁方法 Download PDF

Info

Publication number
CN109086589A
CN109086589A CN201810868279.3A CN201810868279A CN109086589A CN 109086589 A CN109086589 A CN 109086589A CN 201810868279 A CN201810868279 A CN 201810868279A CN 109086589 A CN109086589 A CN 109086589A
Authority
CN
China
Prior art keywords
color
gesture
face
feature
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810868279.3A
Other languages
English (en)
Inventor
邵广辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201810868279.3A priority Critical patent/CN109086589A/zh
Publication of CN109086589A publication Critical patent/CN109086589A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明包含一种结合手势识别的智能终端人脸解锁方法,首先采集包含手势动作的人脸解锁视频图像并进行预处理,再使用基于Haar特征的Adaboost算法对采集的图像进行处理,经过滤波处理、特征提取、特征降维后,将得到的特征采用支持向量机SVM进行人脸识别。人脸识别成功后,建立手势区域显著图,提取Hu矩特征和HOG特征并融合,进行预设手势识别,若均识别成功屏幕解锁,识别失败进行计数达到设定数屏幕锁定。本发明综合了采用人脸和手势等视觉识别先进技术,提高了人脸解锁的复杂程度,极大地降低利用了视频或者动态图片等录制人脸等方法破解终端的成功率在不知道特定的表情动作的前提下,也无法解锁屏幕。

Description

一种结合手势识别的智能终端人脸解锁方法
技术领域
本发明涉及一种解除终端屏幕锁定的技术,特别涉及一种结合手势识 别的智能终端人脸解锁方法。
背景技术
在《2017-2022年中国智能手机市场供需预测及投资战略研究报告》分析 指出,我国智能手机普及率已高达58%,智能手机己经成为人们购物交流、 学习工作、上网冲浪的重要渠道。手机里存储了用户大量的隐私数据,如照 片视频、办公文件、消费记录、医疗健康等数据,这些数据如果泄露必然会 导致个人工作生活甚至经济财产的损失。而手机作为便携性设备很容易遗失 或被他人窃取。因此,如何防止手机中敏感信息的泄露成为目前研究的热点。
当前保护手机中隐私数据最常用的方法是身份认证。传统的认证方案都 是基于知识的,如PIN码认证方案和九宫格图案密码认证方案。但基于知识 的认证方法是脆弱的,用户需要在终端上输入密码或者绘制图案,这样解锁 速度慢、交互性差而且很容易被他人查看并记录。
为此,基于生物特征的认证方式(如指纹解锁与人脸解锁)得到越来越 多的应用。指纹解锁利用指纹的唯一性和永久性,把一个人同他的指纹特征 对应起来。但在某些特定的场景下解锁成功率较低,比如手掌有水渍或者汗 液比较多时容易解锁失败。与此同时,人脸解锁是通过人脸识别或人脸验证 技术进行权限管理的一种手段,终端系统可以利用人脸这一生物特征作为权 限保护的密码。首先离线采集某权限用户的若干人脸图像,经过预处理和特 征提取后建立该用户的人脸特征库;当具备多个权限用户时,会对每个用户建立单独的特征库;在线解锁时,采集到用户的图像信息,再经过人脸检测 和特征提取后,在预先建立的人脸特征库中检索,查找是否存在相似的数据。 如果存在相似度大于某阈值(比如0.9)的数据,则认为识别成功,该用户具备 权限,解锁成功;如果在库中找不到相似数据,则认为该用户不具备权限, 解锁失败。
该方案可以实现基于人脸的权限管理,但是存在安全性的漏洞:如果终 端设备摄像头拍摄的不是真实的人脸,而是某权限用户的照片或视频,同样 可以解锁成功。针对这一安全漏洞,目前主要采用如下处理措施:在现有人 脸解锁框架的基础上,加入了眨眼检测机制。即:在解锁过程中,会在屏幕 上提示用户做相应的眨眼动作等,如果没有检测到被拍摄人脸的眨眼动作, 则认为拍摄的可能是照片,解锁失败。该方案可以避免利用静止照片来解锁 的问题。但是还没有解决利用视频或者动态图片等录制人脸信息来破解的问题,也不能解决双胞胎或者长相相似或者经过化妆伪装的人之间的解锁,仍 然具有很大的安全隐患。
发明内容
根据上述提出的技术问题,而提供一种融合人脸和手势的智能终端解锁 方法。本发明主要利用通过人脸及手势共同检测,从而起到避免解锁时候经 常出现的双胞胎长的比较相似而导致屏幕的错误解锁。
本发明提出一种结合手势识别的智能终端人脸解锁方法,其特征在于, 包括以下步骤:S1:根据摄像单元采集到包含手势的人脸视频图像P,采用 灰度投影方法定位人眼瞳孔位置,并通过瞳孔距离对包含手势的人脸视频图 像P进行尺寸归一化处理,得到归一化处理后的包含手势的人脸视频图像P′; S2:对所述归一化处理后的包含手势的人脸视频图像P′,使用基于Haar特征 的Adaboost算法对采集得到的视频中的包含手势的人脸视频图像P″进行检 测,得到所述算法处理后的人脸视频图像P″;S3:对所述检测到的人脸图像 P″经过滤波处理、特征提取、特征降维进行人脸识别,最后将所述降维处理 后得到的特征采用支持向量机SVM进行分类识别;S4:若识别成功,则执 行步骤S6;否则,执行步骤S5;S5:将人脸检测错误计数+1;当人脸检测 错误计数小于设定阈值X时,则执行步骤S1;当人脸检测错误计数等于阈值 X时,屏幕锁定;S6:根据所述包含手势的人脸视频图像P,建立基于HSV和YCbCr颜色空间的高斯肤色模型,得到肤色显著图,与区域对比度显著图 融合得到手势显著图,再通过固定阈值分割方法提取手势区域,进行手势分 割;S7:对所述包含手势的人脸视频图像P,提取Hu矩特征和HOG特征并 融合,并通过主成分分析方法PCA构建其特征子空间,再采用支持向量机 SVM方法将手势图像识别分类;S8:若所述识别后的结果与用户预设手势匹 配,则屏幕解锁;否则执行步骤S9;S9:将手势检测错误计数+1,当手势检 测错误计数器小于设定阈值Y时,执行步骤S6;当手势检测错误计数等于阈 值Y时,锁定屏幕。
进一步的,所述建立基于HSV和YCbCr颜色空间的高斯肤色模型是将 所述摄像单元采集的所述包含手势的人脸视频图像P均匀划分子区域,进行 颜色空间量化;再将每个颜色通道量化成12个不同值;对所述颜色空间量化 后的颜色空间进行平滑操作;所述平滑操作是用相似颜色的显著值加权平均 来代替每个颜色的显著值;选择m个颜色数值颜色来代替颜色c的显著值为:
其中,表示颜色c和颜色c的m=n/4个最接近的颜色ci之间 的距离之和,归一化的因数来自公式通过使用平滑 权值(T-D(c-ci))为颜色特征空间之中与c相似的颜色赋予较大权值。
更进一步的,为每个所述子区域建立颜色直方图,则对于某一个区域rk, rk的对比度显著值为:
其中,w(ri)表示区域ri的像素总数,Dr(rr,ri)表示任意两个子区域的颜色 距离,所述两个区域r1和r2的颜色距离为:
其中,f(c1,i)表示第i种颜色c1,i在区域r1中n1种颜色中出现的色频率。
进一步的,所述区域对比度,对于任意区域rk,基于空间加权区域对比 度的显著性值为:
其中,Ds(rk,ri)表示区域rk和ri的空间距离;σs控制空间权值的强度, σs=0.4。
进一步的,所述建立基于HSV和YCbCr颜色空间的高斯肤色模型;
S61:通过训练肤色样本确定均值和方差;所述均值和方差:
其中,xi=(Cb,Cr)T表示肤色样本i在Cb、Cr颜色空间中的值,n表示肤 色样本的总个数;
S62:利用高斯肤色模型判定输入的像素点为肤色的概率;所述肤色显著 图为:
SMskin=exp[-0.5(X-m)TC-1(X-m)];
S63:所述提取手势区域通过线性加权,将区域对比度模型得到的显著图 与YcbCr高斯肤色模型得到显著图融合:
其中,分别表示区域对比度显著图和肤色模型显著图的融合权值, 且
较现有技术相比,本发明具有以下优点:
1、本发明提出了一种融合人脸和手势的智能终端解锁方法。该方法综合 采用人脸、手势等视觉识别先进技术,提高了人脸解锁的复杂程度。
2、本发明在智能终端解锁时加入了权限用户的手势动作,需要解锁终端 的用户做出相应的手势动作,而由于他人并不知道权限用户的手势动作,极 大地降低利用了视频或者动态图片等录制人脸等方法破解终端的成功率。
3、本发明在智能终端解锁时加入了权限用户的手势动作,即使是双胞胎 或者长相相似的人,在不知道手势动作的前提下,也无法解锁屏幕。
综上,应用本发明的技术方案结合人脸识别及手势识别。因此,本发明 的技术方案解决了现有技术中的识别错误或者误识别的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下 面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在 不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明整体流程示意图。
图2(1)-(4)为本发明训练手势示意图(1)。
图3(1)-(4)为本发明训练手势示意图(2)。
图4(1)-(4)为本发明训练手势示意图(3)。
图5(1)-(4)为本发明训练手势示意图(4)。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实 施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例,都应当属于本发明保护的范围。
如图1-5所示,为本发明一种结合手势识别的智能终端人脸解锁方法, 其特征在于,至少包括以下步骤:
在本实施方式中,步骤S1:根据摄像单元采集到包含手势的人脸视频图 像P,采用灰度投影方法定位人眼瞳孔位置,并通过瞳孔距离对包含手势的 人脸视频图像P进行尺寸归一化处理,得到归一化处理后的包含手势的人脸 视频图像P′。这里所说的手势是指如图2-5所示的手势,而非传统意义上的 在摄像单元屏幕上的手势图像。可以理解为,在其它的实施方式中,所述图 片还可以不进行归一化处理,只要能够满足能够清楚的提取图片,并将人脸 信息及手势信息提取出来即可,并且能够简化计算即可。作为本申请的一种 实施例所述图片可以归一化处理为128像素×128像素。
可以理解为在其它的实施方式中,采集的图像还可以进行直方图均衡化 处理人脸图像,去除光照。
在本实施方式中,灰度投影方法定位人眼瞳孔位置还包括以下步骤:步 骤S11:根据人脸的五官位置设人脸视频图像P的高度为h,宽度为w,取左 上角点为原点,取两眼窗的起始坐标为:左眼右眼窗的大 小为可以理解为在其它的实施方式中,所述两眼的位置坐标还可以按 照实际使用的人的情况进行选择。
作为优选的实施方式步骤S12:对窗内区域内的人脸视频图像P做直方图 分析,取灰度值为像素的5%进行阈值分割。可以理解为在其它的实施方式中, 灰度值的取值可以按照实际情况进行选择。
作为优选的实施方式步骤S13:将窗内图像做水平投影确定眼睛的纵坐 标,投影函数为:
其中,I(x,y)表示第x行的灰度投影值,x表示人脸视频图像P的第x行。
作为优选的实施方式步骤S14:将窗内图像做垂直投影确定眼睛的横坐 标,投影函数为:
其中,I(x,y)表示第x行的灰度投影值,x表示人脸视频图像P的第x行。
在本实施方式中,步骤S2:对所述归一化处理后的包含手势的人脸视频 图像P′,使用基于Haar特征的Adaboost算法对采集得到的视频中的包含手 势的人脸视频图像P″进行检测,得到所述算法处理后的人脸视频图像P″。
在本实施方式中,直方图均衡化处理是对图像进行非线性拉伸,重新分 配图像像素值,使相似灰度范围内的像素数量相同。
直方图均衡化公式为:
Pr(rk)=rk/N,0≤rk≤;k=0,1,2,3,....,L-1
其中,N表示像素的总数,k表示灰度级总数,rk表示第k个灰度级值, 则均衡化变换函数为:
其中,nj表示灰度值为j的总像素数,Pr(rj)表示灰度值为j的像素比例。
作为一种优选的实施方式,步骤S3:对所述检测到的人脸图像P″经过滤 波处理、特征提取、特征降维进行人脸识别,最后将所述降维处理后得到的 特征采用支持向量机SVM进行分类识别。
在本实施方式中,对检测到的人脸图像进行中值滤波处理,可以有效的 消除图像中的长尾噪声,例如负指数噪声和椒盐噪声。
其中,在本实施方式中,中值滤波公式:
g=med{f(x-1,y-1),f(xy-1),f(x+1,y-1),f(x-1,y),f(x,y),
f(x+1,y),f(x-1,y+1),f(x,y+1),f(x+1,y+1)]
其中,med表示取括号里的中值,f(x,y)表示点(x,y)的像素值。
进一步的在本实施方式中,提取局部二值模式LBP特征;
LBP公式为:
其中P表示邻域第P个像素,ip表示邻域像素的灰 度值,ic表示中心像素的灰度值,s(x)表示符号函数。
在本实施方式中,步骤S4:若识别成功,则执行步骤S6;否则,执行步 骤S5。
在本实施方式中,步骤S5:将人脸检测错误计数+1;当人脸检测错误计 数小于设定阈值X时,则执行步骤S1;当人脸检测错误计数等于阈值X时, 屏幕锁定。可以理解为在实际使用时可以按照实际需要进行设定阈值,确保 能够在多次识别错误时,能够有效地保护信息。
在本实施方式中,步骤S6:根据所述包含手势的人脸视频图像P,建立 基于HSV和YCbCr颜色空间的高斯肤色模型,得到肤色显著图,与区域对 比度显著图融合得到手势显著图,再通过固定阈值分割方法提取手势区域, 进行手势分割。
在本实施方式中,建立基于HSV和YCbCr颜色空间的高斯肤色模型是 将所述摄像单元采集的所述包含手势的人脸视频图像P均匀划分子区域,进 行颜色空间量化;再将每个颜色通道量化成12个不同值;对所述颜色空间量 化后的颜色空间进行平滑操作;所述平滑操作是用相似颜色的显著值加权平 均来代替每个颜色的显著值;选择m个颜色数值颜色来代替颜色c的显著值 为:
其中,表示颜色c和颜色c的m=n/4个最接近的颜色ci之间 的距离之和,归一化的因数来自公式通过使用平滑 权值(T-D(c-ci))为颜色特征空间之中与c相似的颜色赋予较大权值。
在本实施方式中,每张图像中的包含的颜色只是颜色空间中很小的一部 分,通过忽略出现频率较低的颜色来进一步降低颜色的数量。选择高频颜色 时要保证这些颜色覆盖图像像素不低于95%的颜色,通过此操作最终得到 n=85个颜色。选取得到的前20个颜色来改善颜色c的显著值。
在本实施方式中,为每个所述子区域建立颜色直方图,则对于某一个区 域rk,rk的对比度显著值为:
其中,w(ri)表示区域ri的像素总数,Dr(rr,ri)表示任意两个子区域的颜色 距离,所述两个区域r1和r2的颜色距离为:
其中,f(c1,i)表示第i种颜色c1,i在区域r1中n1种颜色中出现的色频率。
所述区域对比度,对于任意区域rk,基于空间加权区域对比度的显著性 值为:
其中,Ds(rk,ri)表示区域rk和ri的空间距离;σs控制空间权值的强度, σs=0.4。
作为优选的实施方式,建立基于HSV和YCbCr颜色空间的高斯肤色模 型还包括以下步骤:
S61:通过训练肤色样本确定均值和方差;所述均值和方差:
其中,xi=(Cb,Cr)T表示肤色样本i在Cb、Cr颜色空间中的值,n表示肤 色样本的总个数。在本实施方式中,所述训练是对手势样本库的图片进行截 取手势区域得到手势肤色样本,再将肤色样本图片转化到YcbCr空间中。
S62:利用高斯肤色模型判定输入的像素点为肤色的概率;所述肤色显著 图为:
SMskin=exp[-0.5(X-m)TC-1(X-m)];
S63:所述提取手势区域通过线性加权,将区域对比度模型得到的显著图 与YcbCr高斯肤色模型得到显著图融合:
其中,分别表示区域对比度显著图和肤色模型显著图的融合权值, 且
作为优选的实施方式,步骤S7:对所述包含手势的人脸视频图像P,提 取Hu矩特征和HOG特征并融合,并通过主成分分析方法PCA构建其特征 子空间,再采用支持向量机SVM方法将手势图像识别分类。
在本实施方式中,提取Hu矩特征和HOG特征并融合,作为一个实施例, 首先需要进行颜色空间归一化处理,颜色空间归一化可以有效减少光线变化 影响如光线较暗或较亮的情况,主要分为两次处理:图像灰度化和Gamma 矫正。
1、图像灰度化:
Gray=0.3*R+0.59*G+0.11*B;
2、Gamma矫正公式,其中γ取0.5:
Y(x,y)=I(x,y)γ
进而进行梯度计算
其中,Gx表示像素点在水平方向上的梯度值,Gy表示像素点在垂直方向 上的梯度值,G(x,y)表示该像素点的梯度幅值,θ(x,y)表示梯度方向,其取值 范围为[0,π)。梯度算子采用水平方向为[-101],垂直方向为[-101]T。再 将图像划分为若干个单元格cell,大小为8x8,然后为每个cell建立梯度方向 直方图,将梯度方向划分为9个区间,横坐标为9个方向通道,纵坐标为各 区间内梯度大小的累加值,得到9维的特征向量。
在本实施方式中,将上下左右相邻的2x2个cells作为一个block,大小 为16x16,步进为8个像素,相邻的block之间会有重叠部分。在实际应用中 可能会以为光线等因素导致某些区域的像素梯度变化比较强烈,进而造成该 区域的的梯度值变大,使得不同的Block之间特征差距较大不利于后续的分 类,所以我们对块内的梯度直方图进行归一化减少光照、边缘对比度等对特 征的影响。
作为本实施方式的一种实施例,图像统一尺寸为64×64,由于每个块步长 为8,所以总共可以得到7×7=49个block,每个block有2x2个cells,每个 cells中有9维的特征向量,所以一幅图像总共可以得到的HOG特征为1764 维。进一步的,Hu矩特征为7维向量,HOG特征为1764维向量,我们将两 种特征按照1:1的权重进行串联得到1771维的融合特征。为了加快特征分 类时的收敛速度和便于后续的数据处理,我们需要对融合后的特征进行归一 化处理,将特征分量的尺度控制在一定的范围。我们采用0-1标准化的方式 对融合特征进行线性变换,使特征分量落在[0,1]之间,公式为:
其中,max表示数据中的最大值,min表示数据中的最小值。我们提取的 特征为1771维F=|f1,f2...f1171|,假设训练样本数为N,则第k个样本的特征向 量为F=|fk1,fk2...fk1171|,对整个训练样本集的特征向量计算每一列 fj=|f1j,f2j...fNj|的最大值和最小值,然后按照上述公式进行归一化。可以理解 为,对于测试样本我们采用训练样本得到的参数进行归一化操作。
在本实施方式中,假设样本数为N,特征向量为Xi,得到向量集为 {x1,x2,...xN},则平均向量为:
样本向量集的协方差为:
将协方差矩阵的特征值从大到小排序λ1≥λ2≥...λd≥λd+1≥...,将大于λd的 λi相对应的特征向量作为主成分特征向量,代表训练集中的主要信息,去掉 特征值小的信息也不会影响原来的数据特征。PCA的投影变换矩阵为:
U=(u1,u2,...,ud)
对每个样本的特征集进行PCA降维后的向量为:
yi=UTxi
再将1771维的融合特征降为60维,作为分类器的分类特征,用于手势 类型识别。
作为本实施方式的一种最优解,最优的参数为C=2048,g=0.5。
在本实施方式中,步骤S8:若所述识别后的结果与用户预设手势匹配, 则屏幕解锁;否则执行步骤S9;
在本实施方式中,步骤S9:将手势检测错误计数+1,当手势检测错误计 数器小于设定阈值Y时,执行步骤S6;当手势检测错误计数等于阈值Y时, 锁定屏幕。可以理解为在其它实施方式中,还可以加入计时功能当解屏时间 超过设定时间则屏幕锁定。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对 其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通 技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改, 或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种结合手势识别的智能终端人脸解锁方法,其特征在于,包括:
S1:根据摄像单元采集到包含手势的人脸视频图像P,采用灰度投影方法定位人眼瞳孔位置,并通过瞳孔距离对包含手势的人脸视频图像P进行尺寸归一化处理,得到归一化处理后的包含手势的人脸视频图像P′;
S2:对所述归一化处理后的包含手势的人脸视频图像P′,使用基于Haar特征的Adaboost算法对采集得到的视频中的包含手势的人脸视频图像P″进行检测,得到所述算法处理后的人脸视频图像P″;
S3:对所述检测到的人脸图像P″经过滤波处理、特征提取、特征降维进行人脸识别,最后将所述降维处理后得到的特征采用支持向量机SVM进行分类识别;
S4:若识别成功,则执行步骤S6;否则,执行步骤S5;
S5:将人脸检测错误计数+1;当人脸检测错误计数小于设定阈值X时,则执行步骤S1;当人脸检测错误计数等于阈值X时,屏幕锁定;
S6:根据所述包含手势的人脸视频图像P,建立基于HSV和YCbCr颜色空间的高斯肤色模型,得到肤色显著图,与区域对比度显著图融合得到手势显著图,再通过固定阈值分割方法提取手势区域,进行手势分割;
S7:对所述包含手势的人脸视频图像P,提取Hu矩特征和HOG特征并融合,并通过主成分分析方法PCA构建其特征子空间,再采用支持向量机SVM方法将手势图像识别分类;
S8:若所述识别后的结果与用户预设手势匹配,则屏幕解锁;否则执行步骤S9;
S9:将手势检测错误计数+1,当手势检测错误计数器小于设定阈值Y时,执行步骤S6;当手势检测错误计数等于阈值Y时,锁定屏幕。
2.根据权利要求1所述的一种结合手势识别的智能终端人脸解锁方法,其特征还在于:
所述建立基于HSV和YCbCr颜色空间的高斯肤色模型是将所述摄像单元采集的所述包含手势的人脸视频图像P均匀划分子区域,进行颜色空间量化;再将每个颜色通道量化成12个不同值;对所述颜色空间量化后的颜色空间进行平滑操作;所述平滑操作是用相似颜色的显著值加权平均来代替每个颜色的显著值;选择m个颜色数值颜色来代替颜色c的显著值为:
其中,表示颜色c和颜色c的m=n/4个最接近的颜色ci之间的距离之和,归一化的因数来自公式通过使用平滑权值(T-D(c-ci))为颜色特征空间之中与c相似的颜色赋予较大权值。
3.根据权利要求2所述的一种结合手势识别的智能终端人脸解锁方法,其特征还在于:
为每个所述子区域建立颜色直方图,则对于某一个区域rk,rk的对比度显著值为:
其中,w(ri)表示区域ri的像素总数,Dr(rr,ri)表示任意两个子区域的颜色距离,所述两个区域r1和r2的颜色距离为:
其中,f(c1,i)表示第i种颜色c1,i在区域r1中n1种颜色中出现的色频率。
4.根据权利要求1所述的一种结合手势识别的智能终端人脸解锁方法,其特征还在于:
所述区域对比度,对于任意区域rk,基于空间加权区域对比度的显著性值为:
其中,Ds(rk,ri)表示区域rk和ri的空间距离;σs控制空间权值的强度σs=0.4。
5.根据权利要求1所述的一种结合手势识别的智能终端人脸解锁方法,其特征还在于:
所述建立基于HSV和YCbCr颜色空间的高斯肤色模型;
S61:通过训练肤色样本确定均值和方差;所述均值和方差:
其中,xi=(Cb,Cr)T表示肤色样本i在Cb、Cr颜色空间中的值,n表示肤色样本的总个数;
S62:利用高斯肤色模型判定输入的像素点为肤色的概率;所述肤色显著图为:
SMskin=exp[-0.5(X-m)TC-1(X-m)];
S63:所述提取手势区域通过线性加权,将区域对比度模型得到的显著图与YcbCr高斯肤色模型得到显著图融合:
其中,分别表示区域对比度显著图和肤色模型显著图的融合权值,且
CN201810868279.3A 2018-08-02 2018-08-02 一种结合手势识别的智能终端人脸解锁方法 Pending CN109086589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810868279.3A CN109086589A (zh) 2018-08-02 2018-08-02 一种结合手势识别的智能终端人脸解锁方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810868279.3A CN109086589A (zh) 2018-08-02 2018-08-02 一种结合手势识别的智能终端人脸解锁方法

Publications (1)

Publication Number Publication Date
CN109086589A true CN109086589A (zh) 2018-12-25

Family

ID=64833685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810868279.3A Pending CN109086589A (zh) 2018-08-02 2018-08-02 一种结合手势识别的智能终端人脸解锁方法

Country Status (1)

Country Link
CN (1) CN109086589A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020634A (zh) * 2019-04-15 2019-07-16 刘政操 一种企业管理用资料展示板
CN110222633A (zh) * 2019-06-04 2019-09-10 北京工业大学 基于火焰图像颜色特征提取的城市固废焚烧过程燃烧工况识别方法
CN110827454A (zh) * 2019-11-19 2020-02-21 图正(无锡)研究院有限公司 一种人脸识别与意图识别的锁具控制系统
CN112101208A (zh) * 2020-09-15 2020-12-18 江苏慧明智能科技有限公司 高龄老人特征串联融合手势识别方法及装置
CN113204995A (zh) * 2021-03-31 2021-08-03 广州朗国电子科技有限公司 行为密码智慧门锁的识别方法、设备以及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100192109A1 (en) * 2007-01-06 2010-07-29 Wayne Carl Westerman Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices
CN102509053A (zh) * 2011-11-23 2012-06-20 唐辉 用于验证授权的方法、处理器、设备和移动终端
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互系统及方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN107045621A (zh) * 2016-10-28 2017-08-15 北京联合大学 基于lbp与lda的人脸表情识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100192109A1 (en) * 2007-01-06 2010-07-29 Wayne Carl Westerman Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices
CN102509053A (zh) * 2011-11-23 2012-06-20 唐辉 用于验证授权的方法、处理器、设备和移动终端
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN104463100A (zh) * 2014-11-07 2015-03-25 重庆邮电大学 基于面部表情识别模式的智能轮椅人机交互系统及方法
CN107045621A (zh) * 2016-10-28 2017-08-15 北京联合大学 基于lbp与lda的人脸表情识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHOGO OKADA等: "Recognizing Words from Gestures: Discovering Gesture Descriptors", 《网页在线公开:HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=7961773》 *
吕翔宇: "基于深度学习的手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张志芬: "小注册样本多姿态人脸识别与手势识别双模态人机交互研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
蒋涵妮: "基于肤色分割的手势识别技术研究", 《电子世界》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020634A (zh) * 2019-04-15 2019-07-16 刘政操 一种企业管理用资料展示板
CN110222633A (zh) * 2019-06-04 2019-09-10 北京工业大学 基于火焰图像颜色特征提取的城市固废焚烧过程燃烧工况识别方法
CN110222633B (zh) * 2019-06-04 2021-04-27 北京工业大学 基于火焰图像颜色特征提取的城市固废焚烧过程燃烧工况识别方法
CN110827454A (zh) * 2019-11-19 2020-02-21 图正(无锡)研究院有限公司 一种人脸识别与意图识别的锁具控制系统
CN112101208A (zh) * 2020-09-15 2020-12-18 江苏慧明智能科技有限公司 高龄老人特征串联融合手势识别方法及装置
CN113204995A (zh) * 2021-03-31 2021-08-03 广州朗国电子科技有限公司 行为密码智慧门锁的识别方法、设备以及介质

Similar Documents

Publication Publication Date Title
CN109086589A (zh) 一种结合手势识别的智能终端人脸解锁方法
Schwartz et al. Face spoofing detection through partial least squares and low-level descriptors
Fathy et al. Face-based active authentication on mobile devices
CN109145559A (zh) 一种结合表情识别的智能终端人脸解锁方法
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
CA2825635A1 (en) Transaction verification system
US10922399B2 (en) Authentication verification using soft biometric traits
CN110008793A (zh) 人脸识别方法、装置及设备
Pauly et al. A novel method for eye tracking and blink detection in video frames
CN108446642A (zh) 一种快速人脸识别系统
Wasnik et al. Presentation attack detection for smartphone based fingerphoto recognition using second order local structures
Yadav et al. A novel approach for face detection using hybrid skin color model
Song et al. Face liveliness detection based on texture and color features
Mohamed et al. Automated face recogntion system: Multi-input databases
CN108446639A (zh) 低功耗增强现实设备
Arab et al. Revealing true identity: Detecting makeup attacks in face-based biometric systems
CN108520208A (zh) 局部化面部识别方法
Ning et al. Face Anti-spoofing based on Deep Stack Generalization Networks.
CN116805436A (zh) 一种智能门禁、控制系统及控制方法
Wasnik et al. Improved fingerphoto verification system using multi-scale second order local structures
Mohanraj et al. Hybrid feature descriptors to detect face spoof attacks
CN113221606B (zh) 一种基于ims视频会议登录的人脸识别方法
Chittora et al. Face recognition using RBF kernel based support vector machine
Chin et al. Enhanced face recognition method based on local binary pattern and principal component analysis for efficient class attendance system
McCoyd et al. Spoofing 2D Face Detection: Machines See People Who Aren't There

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220830

AD01 Patent right deemed abandoned