CN104158980B - 一种基于人眼运动特征的智能设备解锁方法 - Google Patents

Abstract

本发明涉及一种基于人眼运动特征的智能设备解锁方法，通过前期采集人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数，之后提取用户特征值并进行储存，解锁时再次采集人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数，提取用户特征值，最终将解锁者的用户特征值与储存的特征值进行比对，输出是否解锁的信号。使用眼球扫视的方式能够便捷、快速的解锁手机。另一方面，采用特征参数的机制可以防止“肩窥攻击”，非合法用户即使获得解锁图形也无法解锁手机，增强安全性。本发明的解锁方式平衡了用户体验和安全问题。本发明具有广阔的发展和推广前景。

Description

一种基于人眼运动特征的智能设备解锁方法

技术领域

本发明涉及一种设备解锁方法，具体涉及一种基于人眼运动特征的智能设备解锁方法。

背景技术

随着科学技术的发展以及人们生活水平的提高，智能手机的普及程度逐渐提高，触屏手机得到人们的认可。

目前触屏手机的解锁方法主要有滑动解锁，密码解锁以及手势解锁。滑动解锁方法简单，但是安全性低。密码解锁需要双手参与，便捷性低。手势解锁存在安全隐患，任何知道解锁手势的人都可以解锁手机。

新出现的解锁方法有指纹识别和眼球解锁。指纹识别方法安全性高，但是依然需要手指触摸。眼球解锁和手势解锁具有相同的安全隐患。

现有的解锁方法不能在便捷性和安全性方面达到平衡，难以兼顾用户体验和用户隐私保护。

发明内容

本发明的目的在于克服上述现有技术中存在的缺点，提供一种基于人眼运动特征的智能设备解锁方法，具有操作简单、安全性高的优点。

为实现上述目的，本发明采用以下技术方案：包括以下步骤：

1)手机屏幕上随机出现解锁方格图案，用户自行设定轨迹，并根据设定的轨迹扫视解锁方格结点，并在用户扫视的同时进行实时参数采集；所述的实时参数包括：人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数；

2)提取步骤1)采集到的实时参数，获得用户扫视特征值并储存；

3)解锁时手机屏幕上出现解锁方格图案，解锁者扫视解锁方格，同时经前置摄像头进行参数采集；

4)提取步骤3)获得参数，先判断解锁者的扫视轨迹是否跟步骤1)中自行设定的轨迹相同，若相同则提取解锁者用户扫视特征值，若不相同则提示解锁失败；

5)将解锁者用户扫视特征值和存储的用户扫视特征值进行比对，若相同则解锁手机，若不相同则提示解锁失败。

所述的参数采集的方法为：前置摄像头获取人脸图形，图像识别算法识别人脸并进一步识别出人眼中心的运动轨迹，内置定时器获得人眼扫视的时间，利用像素和人眼中心的相对位置关系和定时器数据获得扫视加速度以及扫视角度参数；利用手机内置的陀螺仪、线性加速度计、磁场传感器记录人在扫视时手部的抖动、移动、加速度以及与地磁场的相对方向参数。

识别出人眼中心的运动轨迹过程中，计算注视终点的坐标(x,y)的计算方法为：

$x=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(x_{i+1}-x_i)+x_i$

$y=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(y_{i+1}-y_i)+y_i$

其中t是注视终点的时刻，x_i、y_i是某一时刻的注视坐标，x_i+1、y_i+1是下一时刻的注视坐标。

所述的获得用户扫视特征值的方法为：

2-1)将得到的实时参数通过低通滤波器去除噪声；

2-2)将每组实时特征参数映射到高维空间中的一个点，实时数据参数在高维空间中的点张成特征值所在的超子平面，即落在特征值超子平面的特征点就是用户特有的特征点，落在超子平面外的点不是用户特有的特征点，超平面的维度是特征参数的数量的度，转换公式如下：

F:w(t₁,t₂,t₃,…,t_n)→v(u₁,u₂,u₃,…,u_p)

其中，F是高维映射，w(t₁,t₂,t₃,…,t_n)是特征参数组成的向量，v(u₁,u₂,u₃,…,u_p)是超子平面的特征向量，p是超子平面的维度；

2-3)以向量的形式将特征值加密存储，完成用户特征值的提取。

所述的步骤4)中判断解锁者的扫视轨迹与步骤1)中自行设定的轨迹是否相同的方法为：利用图形分类器判断是否是预设解锁图形，将扫视图形输入到分类器与预设图形计算欧式距离，若欧式距离小于阈值则表明扫视图形与预设图形的相似度高，判断为同一图形，若欧式距离大于阈值则表明扫视图形不是预设图形，屏幕提示解锁失败。

所述的步骤5)中将解锁者用户扫视特征值和存储的用户扫视特征值进行比对的方法为：将扫视特征输入分类器，计算优化的特征权值下的结果，S＝w₁u₁+w₂u₂+w₃u₃+…+w_pu_p，若S小于阈值ξ则表明特征匹配成功，解锁屏幕，若S大于阈值ξ则表明特征匹配失败，屏幕提示解锁失败。

本发明具有以下的有益效果：相比较现有技术，使用本发明中的眼球解锁技术与现有手机解锁技术相比，可以不需要手的参与，通过前期采集人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数，之后提取用户特征值并进行储存，解锁时再次采集人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数，提取用户特征值，最终将解锁者的用户特征值与储存的特征值进行比对，输出是否解锁的信号。使用眼球扫视的方式能够便捷、快速的解锁手机。另一方面，采用特征参数的机制能够防止“肩窥攻击”，非合法用户即使获得解锁图形也无法解锁手机，增强安全性。本发明的解锁方式平衡了用户体验和安全问题。本发明具有广阔的发展和推广前景。

附图说明

图1是预设解锁图形设置流程图；

图2是用户特征提取流程图；

图3是用户解锁手机流程图；

图4是采集用户预设解锁图形算法流程图；

图5是提取用户特征参数算法流程图；

图6是模式分类算法流程图。

具体实施方式

下面结合附图，对本发明作进一步详细说明。

参见图1，本发明包括以下步骤：

1)手机屏幕上随机出现解锁方格图案，用户自行设定轨迹，并根据设定的轨迹扫视解锁方格结点，并在用户扫视的同时进行实时参数采集；所述的实时参数包括：人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数；参数采集的方法为：前置摄像头获取人脸图形，图像识别算法识别人脸并进一步识别出人眼中心的运动轨迹，内置定时器获得人眼扫视的时间，利用像素和人眼中心的相对位置关系和定时器数据获得扫视加速度以及扫视角度参数；利用手机内置的陀螺仪、线性加速度计、磁场传感器记录人在扫视时手部的抖动、移动以及加速度参数；识别出人眼中心的运动轨迹过程中，计算注视终点的坐标(x,y)的计算方法为：

$x=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(x_{i+1}-x_i)+x_i$

$y=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(y_{i+1}-y_i)+y_i$

其中t是注视终点的时刻，x_i、y_i是某一时刻的注视坐标，x_i+1、y_i+1是下一时刻的注视坐标；

2)提取步骤1)采集到的实时参数，获得用户扫视特征值并储存；

获得用户扫视特征值的方法为：

2-1)将得到的实时参数通过低通滤波器去除噪声；

2-2)将每组实时特征参数映射到高维空间中的一个点，实时数据参数在高维空间中的点张成特征值所在的超子平面，即落在特征值超子平面的特征点就是用户特有的特征点，落在超子平面外的点不是用户特有的特征点，超平面的维度是特征参数的数量的度，转换公式如下：

F:w(t₁,t₂,t₃,…,t_n)→v(u₁,u₂,u₃,…,u_p)

其中，F是高维映射，w(t₁,t₂,t₃,…,t_n)是特征参数组成的向量，v(u₁,u₂,u₃,…,u_p)是超子平面的特征向量，p是超子平面的维度；

2-3)以向量的形式将特征值加密存储，完成用户特征值的提取；

3)解锁时手机屏幕上出现解锁方格图案，解锁者扫视解锁方格，同时经前置摄像头进行参数采集；

4)提取步骤3)获得参数，先判断解锁者的扫视轨迹是否跟步骤1)中自行设定的轨迹相同，若相同则提取解锁者用户扫视特征值，若不相同则提示解锁失败；判断解锁者的扫视轨迹与步骤1)中自行设定的轨迹是否相同的方法为：利用图形分类器判断是否是预设解锁图形，将扫视图形输入到分类器与预设图形计算欧式距离，若欧式距离小于阈值则表明扫视图形与预设图形的相似度高，判断为同一图形，若欧式距离大于阈值则表明扫视图形不是预设图形，屏幕提示解锁失败；

5)将解锁者用户扫视特征值和存储的用户扫视特征值进行比对，若相同则解锁手机，若不相同则提示解锁失败；解锁者用户扫视特征值和存储的用户扫视特征值进行比对的方法为：将扫视特征输入分类器，计算优化的特征权值下的结果，S＝w₁u₁+w₂u₂+w₃u₃+…+w_pu_p，若S小于阈值ξ则表明特征匹配成功，解锁屏幕，若S大于阈值ξ则表明特征匹配失败，屏幕提示解锁失败。

本发明中眼球解锁的核心方法如下：

1.采集用户的预设图形

在采集预设解锁图形时，图像识别算法实时记录用户的眼球轨迹，得出具体的图形并显示在屏幕上。算法主要步骤如下：

(1)对手机前置摄像头拍摄的人眼盯住屏幕的图像进行颜色值和快速傅里叶变换(FastFourierTransform，FFT)；

(2)通过滤波器过滤掉无关数据使识别更加准确；

(3)进行快速傅里叶逆变换；

(4)使用本发明中的图像查找算法以矩阵框为单位移动查找人脸位置；

(5)在人脸中查找眼球中心位置；

(6)比较眼球中心在整个眼睛的位置关系判断眼球注视的方向；

(7)将注视方向转换到手机坐标；

(8)在手机屏幕上画出注视轨迹；

(9)重复(1)两到三次以确保图形准确。

2.提取用户的特征参数

在采集到用户的预设图形之后获得用户特征参数。特征参数是用户的习惯，包括用户观察屏幕的速度，范围、方向以及设备此时的加速度、相对方向、陀螺仪方向、速率、抖动等参数。特征提取算法如下：

(1)将获得的参数通过低通滤波器去除噪声；

(2)将人眼注视的水平和竖直加速度以及手机的加速度参数和各个特征参数分成N个注视子区间从而在每个区间得到相同数量的参数；

(3)计算注视终点的坐标(x,y)

$x=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(x_{i+1}-x_i)+x_i$

$y=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(y_{i+1}-y_i)+y_i$

其中t是注视终点的时刻，x_i、y_i是某一时刻的注视坐标，x_i+1、y_i+1是下一时刻的注视坐标。

(4)通过将计算得出的注视坐标与实际得到的坐标进行比较，得出差值并计算瞬时注视和手机加速度以及其他特征参数的影响；

(5)重复(1)-(5)二十次以上；

(6)通过计算特征的欧氏距离和反正切得到使变动系数(CoefficientofVariation,CV)在阈值内的最小方差分区(MinimumVariancePartitions，MVP)，使下式成立：

${\max }_i\left({\mathrm{\σ}}_i^2\right(P_k\left)\right)\≤{\max }_i\left({\mathrm{\σ}}_i^2\right(Q_k\left)\right)$

其中P_k和Q_k是训练样本的划分。

(7)将每组特征参数映射到高维空间中的一个点，在高维空间中的点张成特征值所在的超子平面，即落在特征值超子平面的特征点就是用户特有的特征点，落在超子平面外的点不是用户特有的特征点，超平面的维度是特征参数的数量的度，转换公式如下：

F:w(t₁,t₂,t₃,…,t_n)→v(u₁,u₂,u₃,…,u_p)

其中，F是高维映射，w(t₁,t₂,t₃,…,t_n)是特征参数组成的向量，v(u₁,u₂,u₃,…,u_p)是超子平面的特征向量，p是超子平面的维度；

(8)以向量的形式将特征值加密存储。

3.模式分类

用户解锁手机屏幕时使用分类器比较用户模式与解锁模式的欧氏距离，判断其是否满足平均错误率(EqualErrorRate,EER)，若是解锁屏幕，若不是解锁失败。分类器的作用是判断一个扫视输入是否是用户预设的含有特征的解锁图形。我们使用带有径向基函数(RadialBasisFunction,RBF)的支持向量分布估计(SupportVectorDistributionEstimation，SVDE)将重复的扫视动作输入分类器进行训练。训练步骤如下：

(1)将特征值归一化：选取第一个特征值为参考特征值，不同特征值均对齐到参考特征值，计算平均特征值，若平均特征值与参考特征值的欧式距离大于预设阈值λ，将参考特征值设为平均特征值，进行迭代，直到平均特征值与参考特征值的欧式距离小于阈值λ；

(2)将归一化特征值进行形式化标识

h_w,b(x)＝g(w^Tx+b)

(3)logistic回归变换

$h_{\mathrm{\θ}}\left(x\right)=g\left({\mathrm{\θ}}^{T}x\right)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}x}}$

(4)确定间隔函数

$\widehat{\mathrm{\γ}}=y({\mathrm{\ω}}^{T}x+b)=yf\left(x\right)$

(5)确定最大间隔分类器的条件

$\max \frac{1}{\left|\right|\mathrm{\ω}\left|\right|},s.t.,y_i({\mathrm{\ω}}^T{x}_i+b)\≥1,i=1,\mathrm{...},n$

(6)选择真阳性率(TruePositiveRate,TPR)从而确定向量机参数；

(7)进行分类器训练，将特征值分别输入初始分类器，调整各个参数的权值，得到优化结果，进行迭代，直到优化结果与原特征值的欧式距离小于预设阈值ψ；

(8)以同样的方法进行图形分类器的训练；

(9)将扫视模式输入分类器；

(10)得出扫视模式与解锁模式的欧氏距离，判断其平均错误率是否在阈值以内，若是解锁屏幕，若不是解锁失败。

阈值ξ和阈值是分类器训练的时候获得的优化值，不同的用户可能得到不同的结果。

本发明有以下优点：

使用本发明中的眼球解锁技术与现有手机解锁技术相比，可以不需要手的参与，使用眼球扫视的方式便捷、快速的解锁手机。另一方面，采用特征参数的机制可以防止“肩窥攻击”，非合法用户即使获得解锁图形也无法解锁手机，增强安全性。本发明的解锁方式平衡了用户体验和安全问题。

Claims (4)

1.一种基于人眼运动特征的智能设备解锁方法，其特征在于：包括以下步骤：

1)手机屏幕上随机出现解锁方格图案，用户自行设定轨迹，并根据设定的轨迹扫视解锁方格结点，并在用户扫视的同时进行实时参数采集；所述的实时参数包括：人脸识别参数、用户人眼运动特征参数和人在扫视时手部的抖动、移动以及加速度参数；所述的参数采集的方法为：前置摄像头获取人脸图形，图像识别算法识别人脸并进一步识别出人眼中心的运动轨迹，内置定时器获得人眼扫视的时间，利用像素和人眼中心的相对位置关系和定时器数据获得扫视加速度以及扫视角度参数；利用手机内置的陀螺仪、线性加速度计、磁场传感器记录人在扫视时手部的抖动、移动、加速度以及与地磁场的相对方向参数；

其中，识别出人眼中心的运动轨迹过程中，计算注视终点的坐标(x,y)的计算方法为：

$x=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(x_{i+1}-x_i)+x_i$

$y=\frac{(t-t_i)}{(t_{i+1}-t_i)}\×(y_{i+1}-y_i)+y_i$

t是注视终点的时刻，x_i、y_i是某一时刻的注视坐标，x_i+1、y_i+1是下一时刻的注视坐标；

2)提取步骤1)采集到的实时参数，获得用户扫视特征值并储存；

3)解锁时手机屏幕上出现解锁方格图案，解锁者扫视解锁方格，同时经前置摄像头进行参数采集；

4)提取步骤3)获得参数，先判断解锁者的扫视轨迹是否跟步骤1)中自行设定的轨迹相同，若相同则提取解锁者用户扫视特征值，若不相同则提示解锁失败；

5)将解锁者用户扫视特征值和存储的用户扫视特征值进行比对，若相同则解锁手机，若不相同则提示解锁失败。

2.根据权利要求1所述的一种基于人眼运动特征的智能设备解锁方法，其特征在于：所述的获得用户扫视特征值的方法为：

2-1)将得到的实时参数通过低通滤波器去除噪声；

2-2)将每组实时特征参数映射到高维空间中的一个点，实时数据参数在高维空间中的点张成特征值所在的超子平面，即落在特征值超子平面的特征点就是用户特有的特征点，落在超子平面外的点不是用户特有的特征点，超平面的维度是特征参数的数量的度，转换公式如下：

F:w(t₁,t₂,t₃,…,t_n)→v(u₁,u₂,u₃,…,u_p)

其中，F是高维映射，w(t₁,t₂,t₃,…,t_m)是特征参数组成的向量，

v(u₁,u₂,u₃,…,u_p)是超子平面的特征向量，p是超子平面的维度；

2-3)以向量的形式将特征值加密存储，完成用户特征值的提取。

3.根据权利要求1所述的一种基于人眼运动特征的智能设备解锁方法，其特征在于：所述的步骤4)中判断解锁者的扫视轨迹与步骤1)中自行设定的轨迹是否相同的方法为：利用图形分类器判断是否是预设解锁图形，将扫视图形输入到分类器与预设图形计算欧式距离，若欧式距离小于阈值则表明扫视图形与预设图形的相似度高，判断为同一图形，若欧式距离大于阈值则表明扫视图形不是预设图形，屏幕提示解锁失败。

4.根据权利要求1所述的一种基于人眼运动特征的智能设备解锁方法，其特征在于：所述的步骤5)中将解锁者用户扫视特征值和存储的用户扫视特征值进行比对的方法为：将扫视特征输入分类器，计算优化的特征权值下的结果，S＝w₁u₁+w₂u₂+w₃u₃+…+w_pu_p，若S小于阈值ξ则表明特征匹配成功，解锁屏幕，若s大于阈值ξ则表明特征匹配失败，屏幕提示解锁失败。