CN108683813B - 一种基于智能手机使用习惯的用户身份持续识别方法 - Google Patents

Abstract

本发明公开了一种基于智能手机使用习惯的用户身份持续识别方法，通过用户使用手机过程中点击、滑动屏幕等交互行为和交互过程中引起的传感器数据变化来实现用户身份持续性认证方法。本发明方法和传统方法相比采用了不同的特征提取方法，首先加入了压感特征，提取了一系列压力感应相关特征，在屏幕交互特征方面创造性的统一了点击、滑动特征，同时在传感器特征提取方面验证了基于主成分分析的特征提取方法的有效性，并构建了基于时域特征、基于频域特征、基于特征学习的降维特征的拼接特征进行模型的建立和识别。与现有技术相比，本发明具有较高的鲁棒性和较为准确的识别结果。

Description

一种基于智能手机使用习惯的用户身份持续识别方法

技术领域

本发明涉及智能手机的传感器的数据采集与分析领域和智能手机身份识别领域，尤其涉及基于智能手机惯性传感器数据和屏幕交互行为数据的用户身份识别方法。

背景技术

随着智能手机的飞速发展，智能手机在人们日常生活中扮演着日益重要的角色。智能手机的使用也促进了人们对数据隐私保护意识的提高以及持续性情境感知应用的普及。一方面，用户将私密的数据和信息存储在手机之中，保护数据的需求推动了基于智能手机的用户身份识别技术的完善发展，不同的身份识别方法快速成熟。另一方面，智能手机具有强大的感知能力，应用程序可以时刻根据用户当前所处的状态并进行智能决策以提供更优质的使用体验。针对智能手机数据信息安全和隐私保护问题，本文发明了一种基于用户使用习惯的智能手机端持续性身份识别方法，该方法利用屏幕交互行为和惯性传感器中反映用户使用习惯的生物特征来识别用户身份。不同于传统的指纹、密码等一次性身份识别方法，本方法可以持续性在后台识别用户身份，并具有成本低、便利性高、安全性良好的特点。

文献“Giuffrida,C.,Majdanik,K.,Conti,M.,&Bos,H.(2014,July).I sensed itwas you:authenticating mobile users with sensor-enhanced keystrokedynamics.In International Conference on Detection of Intrusions and Malware,and Vulnerability Assessment(pp.92-111).Springer,Cham.”提出了一种通过分析击键行为的细粒度传感器数据特征来判断用户身份的方法，文献“Feng,T.,Yang,J.,Yan,Z.,Tapia,E.M.,&Shi,W.(2014,February).Tips:Context-aware implicit useridentification using touch screen in uncontrolled environments.In Proceedingsof the 15th Workshop on Mobile Computing Systems and Applications(p.9).ACM.”提出了一种通过研究屏幕滑动来来判断用户身份的方法。以上方法仅局限于单一的特征来源，比如单独使用点击特征、单独使用滑动特征进行识别，又或者单独利用加速度数据进行识别，使得识别准确率受到影响。

发明内容

本发明的目的是提供一种基于智能手机使用习惯的用户身份持续识别方法，该方法结合了多种数据来源，对异构数据进行处理并融合，具有更高的识别准确率。

为实现上述任务，本发明采用以下技术方案：

一种基于智能手机使用习惯的用户身份持续识别方法，包括以下步骤：

步骤1，建立合法用户的交互行为识别模型

合法用户在使用智能手机的过程中，采集合法用户点击和滑动的屏幕交互行为数据，对屏幕交互行为数据进行预处理，筛除异常行为数据，然后分别对滑动和点击行为进行特征提取，得到屏幕交互数据的特征，利用该特征建立合法用户的交互行为识别模型；

步骤2，建立合法用户的传感器识别模型

采集合法用户使用智能手机过程中手机内置传感器的数据，对数据进行预处理以去除噪音和静音数据，然后进行特征提取，得到传感器特征，利用传感器特征建立合法用户的传感器识别模型；

步骤3，交互行为识别模型、传感器识别模型的识别结果融合

当前用户使用手机时，采集当前用户的屏幕交互行为数据并提取屏幕交互数据的特征，利用所述的交互行为识别模型进行识别，输出第一识别概率；

采集当前用户使用手机时传感器的数据，并提取传感器特征，利用所述的传感器识别模型进行识别，输出第二识别概率；

对所述的第一识别概率、第二识别概率进行融合，得到融合概率；

步骤4，将融合概率与设定的阈值相比来判定当前用户是否合法用户。

进一步地，所述的对屏幕交互行为数据进行预处理，筛除异常行为数据，包括：

所述的点击和滑动的屏幕交互行为数据均为通过采样点构成的屏幕采样点序列；

步骤1.2.1，如果一次滑动的采样序列中，采样点的个数小于10个或大于100个，则将该滑动的采样点序列删除；

步骤1.2.2，如果一次滑动的采样点序列中存在连续两个采样点之间瞬时速度夹角大于90度，则认为是异常滑动，并将该异常滑动的采样点序列删除；

步骤1.2.3，如果一个滑动的采样点序列构成的曲线中包含一次以上的转折，则将该滑动的采样点序列删除；

步骤1.2.4，如果一次点击操作从按下到抬起过程的时间小于0.01秒或大于0.2秒，则将该点击的采样点序列删除。

进一步地，所述的分别对滑动和点击行为进行特征提取，得到屏幕交互数据的特征，包括：

定义采样窗口，采样窗口中包含m次滑动和n次点击；

步骤1.3.1，将n次点击表示为序列C，分别从序列C中：

提取出n次点击压力值构成序列PClick′、提取出n次点击的时长构成序列TClick′，然后分别计算序列PClick′、TClick′的基本统计量，分别记为PClick、TClick；

步骤1.3.2，求每一次滑动的每一个采样点的瞬时速度、偏置位移、瞬时夹角；将每一次滑动的k个采样点序列中的压力值大小、采样时刻与所述的瞬时速度、位置偏移、瞬时夹角构成一组数据，通过新序列T′表示滑动；

对于m次滑动，依次将这m次滑动的序列T′拼接起来，得到拼接序列Ts；

步骤1.3.3，从拼接序列Ts中：

提取出每个采样点的瞬时速度，构成瞬时速度序列Speed'；

提取出每个采样点的压力值，构成压力值序列Ptouch'；

提取出每个采样点的位置偏移，构成位置偏移序列Dtouch'；

提取出每个采样点的瞬时夹角，构成瞬时夹角序列θtouch'；

计算Speed'、Ptouch'、Dtouch'、θtouch'的基本统计量，分别记为Speed、Ptouch、Dtouch、θtouch；

则屏幕交互数据的特征为：

Feas＝[Tclick,Pclick,Speed,Dtouch,Ptouch,θtouch]。

进一步地，所述的基本统计量包括均值、方差、最大值、最小值、众数、中位数。

进一步地，利用屏幕交互数据的特征建立合法用户的交互行为识别模型之前，先对所述的屏幕交互数据的特征进行归一化处理；其中，对非压力值相关特征进行最大最小值归一化，而对于压力值相关所有特征使用取对数后最大最小值归一化。

进一步地，所述的对数据进行预处理以去除噪音和静音数据，包括：

步骤2.2.1，对于手机内置的加速度传感器和陀螺仪传感器信号的每一次采样，除了采样数据中包含的X、Y、Z三个维度数据外，还对三个维度的数据X、Y、Z求模值

步骤2.2.2，选取FIR低通滤波器的方法来消除噪声，阈值取为20HZ，去除高频噪音数据；

步骤2.2.3，数据切割环节

采用滑动窗口的方法从经过滤波的数据流中切割出一个个长度为500的采样窗口进行后续的处理，滑动窗口的步长为50％*窗口长度；

步骤2.2.4，去除静音数据

如果滑动窗口内的模值M变化的方差低于阈值，则认为这一段时间内手机处于静置状态并删除该滑动窗口中的数据。

进一步地，所述的进行特征提取，得到传感器特征，包括：

对于经采样获取的加速度传感器、陀螺仪传感器信号的X、Y、Z、M四个维度的数据序列，分别提取数据序列的时域特征、频域特征、降维特征，然后将这些特征组合起来构成所述的传感器特征。

进一步地，对所述的第一识别概率、第二识别概率进行融合，得到融合概率，包括：

对所述的第一识别概率、第二识别概率进行排序，得到排序后的概率值序列；从排序后的概率值序列中提取最新的r次概率值，构成计算序列P_lastn，然后通过下式计算融合概率P：

上式中，p_i∈P_lastn，rank_i表示p_i在计算序列P_lastn中的顺序排位数，i＝1,2,...,r。

本发明与现有技术相比具有以下技术特点：

1.本发明方法和传统方法相比采用了不同的特征提取方法，首先加入了压感特征，提取了一系列压力感应相关特征，在屏幕交互特征方面创造性的统一了点击、滑动特征，同时在传感器特征提取方面验证了基于主成分分析的特征提取方法的有效性，并构建了基于时域特征、基于频域特征、基于特征学习的降维特征的拼接特征进行模型的建立和识别。

2.本发明是一种持续性的智能手机上基于用户使用习惯的身份识别方法，和现有的身份识别技术比较无需额外硬件，同时和细分领域内的研究工作比较，本文方法整合了基于多元异构数据的用户行为特征，结合改进的特征提取方法，在实际使用场景下可以取得更加鲁棒的效果。

附图说明

图1为本发明方法流程图；

图2为滑动瞬时夹角与偏置位移示意图。

具体实施方式

参照图1，本发明的具体步骤如下：

步骤1，建立合法用户的交互行为识别模型

合法用户在使用智能手机的过程中，采集合法用户点击和滑动的屏幕交互行为数据，对屏幕交互行为数据进行预处理，筛除异常行为数据，然后分别对滑动和点击行为进行特征提取，得到屏幕交互数据的特征，利用该特征建立合法用户的交互行为识别模型；

本方案中，合法用户，即智能手机的拥有者在正常使用过程中，利用下面的步骤建立用户交互行为的识别模型，识别模型建立并保存后，用于后续对使用者身份的判别。

步骤1.1，屏幕交互行为数据采集

用户在使用智能手机过程中，用户与手机屏幕的交互行为数据由智能手机的操作系统日志进行记录。屏幕交互行为数据包含两种行为数据，点击和滑动，在智能手机操作系统(安卓、IOS系统等)底层，点击和滑动具有一致的记录格式：屏幕采样点序列。

屏幕采样点序列中，每一个屏幕采样点包含时间信息、位置信息、压力值信息、状态信息，其中，所述的时间信息为当前采样的时间，位置信息为采样点在屏幕上的坐标，压力值信息为采样点的压力值。状态信息分为三种：DOWN、KEEP、UP。DOWN表示按下，意思是手指开始接触屏幕，UP表示手指离开屏幕。DOWN和UP之间的状态为KEEP，表示手指仍旧处于接触屏幕的状态。一次点击和一次滑动均可以表示为一个采样点序列，点击的采样点序列表示为：

DOWN(P、T、X、Y)、UP(P、T、X、Y)两个采样点。

滑动的采样点序列表示为：

DOWN(P、T、X、Y)、KEEP(P、T、X、Y)、……KEEP(P、T、X、Y)、UP(P、T、X、Y)多个采样点的集合。

其中，X、Y是当前采样点在屏幕上的坐标，P为压力值，T为当前采样的时间。

采样点序列中，DOWN状态、KEEP状态对应的(P、T、X、Y)均有具体的数值，而UP状态对应的(P、T、X、Y)中则仅记录时间信息T。

如果按下(DOWN)和抬起(UP)之间存在大于等于一个保持(KEEP)状态，则系统响应为一次滑动事件。如果按下(DOWN)和抬起(UP)之间不存在保持(KEEP)状态，则系统响应为一次点击事件。

因此，根据DOWN状态与UP状态之间是否有KEEP状态，可以从操作系统日志中筛选出用户所有的点击、滑动这两种屏幕交互行为数据(即点击行为、滑动行为的采样点序列)，以构成数据集。

步骤1.2，屏幕交互行为数据处理

屏幕交互行为分为点击和滑动两种，分别基于两种数据进行预处理，预处理步骤主要目的是初步筛除异常行为数据以保证数据质量和身份识别准确率；异常行为数据是指屏幕采样长度异常的滑动、有剧烈转折的滑动、具有多次转折的滑动、以及采样时间不正常的点击。

步骤1.2.1，筛除屏幕采样长度异常的滑动

根据对实验数据的观察，对于大多数滑动行为而言，单次滑动所包含的采样点个数应该在区间[10,100]之间。本方案基于阈值筛除屏幕交互行为数据中采样点过多或者采样点过少的滑动。如果一次滑动的采样点序列中，采样点(包括DOWN、KEEP、UP)的个数小于10个或大于100个，则将该滑动的采样点序列删除。

步骤1.2.2，筛除有剧烈转折的滑动

典型的滑动应该具有平滑的轨迹曲线。通过计算每一次滑动中连续两个采样点之间瞬时速度夹角来过滤有剧烈转折的滑动。

具体地，如果一次滑动的采样点序列中存在连续两个采样点之间瞬时速度夹角大于90度，则认为是异常滑动，并将该异常滑动对应的采样点序列从数据集中删除。

以一个滑动为例，如图2所示，其具体的计算方法为：将滑动的采样点序列中，通过首个采样点和最后一个采样点的坐标，写出经过这两点之间的直线y＝kx+b；在计算连续两个采样点之间的夹角时，如图所示，给出了倒数第二个采样点和最后一个采样点之间瞬时速度夹角的计算示例，即倒数第二个采样点与最后一个采样点的连线与所述的直线y之间的夹角即为瞬时速度夹角θ，如果该夹角θ大于90°，则认为是异常滑动，将该滑动对应的采样点序列删除。

步骤1.2.3，筛除具有多次转折的滑动

一条经过多次转折的曲线，比如手指不脱离屏幕的上下或弯曲滑动，这个过程中包含有太多转折，不利于后续的特征提取，所以进行去除。在本步骤中，如果一个滑动的采样点序列构成的曲线中包含一次以上的转折，则将该滑动对应的采样点序列从数据集中删除。计算曲线中转折点的个数采用现有的算法：calculate turning points/pivot pointsin trajectory(path)，算法出处：

https://stackoverflow.com/questions/14631776/calculate-turning-point s-pivot-points-in-trajectory-path

步骤1.2.4筛除采样时间不正常的点击

安卓系统屏幕信号的平均同步频率，即采样频率平均为100HZ左右，但是实际采样过程中滑动操作连续两次采样时间间隔并不是完全相等。

根据对点击时间分布的观察，筛出点击时间低于0.01秒以内的数据，以及高于0.2秒的数据。即如果一次点击操作从按下到抬起过程(DOWN状态到UP状态)的时间小于0.01秒或大于0.2秒，则将该点击对应的采样点序列删除。通过该步骤，可删除数据集中的一些噪音数据。

步骤1.3，提取屏幕交互数据的特征

采样窗口：基于屏幕交互数据的采样不限制采样点个数，而以点击次数、滑动次数为限制条件。比如取某时刻最近的20次滑动，则在该时刻往前找到20条满足需要的DOWN、KEEP……KEEP、UP采样点序列。同理，对于最近40次点击，则在该时刻往前找20条满足条件的DOWN、UP采样点序列。用户使用手机过程中点击、滑动是随机的，当系统检测到点击次数达到40或者滑动次数达到20任意一个条件满足的时候，定义为一个采样窗口，则一个采样窗口中可能包含有20次滑动和a次点击(a小于等于40)，或者b次滑动和40次点击(b小于等于20)。

记一个屏幕数据采样窗口含有m次滑动和n次点击。针对m次滑动和n次点击分别进行特征提取。

步骤1.3.1，将n次点击表示为序列：

C＝[(p₁,t₁,x₁,y₁),(p₂,t₂,x₂,y₂),……(p_n,t_n,x_n,y_n)]

其中，p_i表示第i(i＝1,2,...,n)次点击的压力值大小，t_i表示第i次点击从开始接触屏幕到离开屏幕所经过的时长，x_i,y_i表示第i次点击位置的X,Y坐标。序列C中，(p_n,t_n,x_n,y_n)是通过点击的采样点序列提取得到，即一个点击的采样点序列包含：DOWN(P、T、X、Y)、UP(P、T、X、Y)，其中DOWN中的P、X、Y即为p_n,x_n,y_n，而t_n则等于UP中的T与DOWN中T之差。

(1)从序列C中，提取出n次点击压力值构成序列PClick′＝[p₁,p₂,……,p_n]，求序列PClick′的基本统计量，包括均值、方差、最大值、最小值、众数，中位数，记录为：

Pclick＝[Pclick_mean,Pclick_var,Pclick_max,Pclick_min,Pclick_mod,Pclick_median]

均值、方差、最大值、最小值、中数、中位数等属于基本统计量，计算方法属现有技术。

(2)从序列C中，提取出n次点击的时长构成序列TClick′＝[t₁,t₂,……,t_n]，求序列TClick′的基本统计量，包括均值、方差、最大值、最小值、众数，中位数。记录为：

Tclick＝[Tclick_mean,Tclick_var,Tclick_max,Tclick_min,Tclick_mod,Tclick_median]

步骤1.3.2，每一次滑动可以表示为：

T＝[(p₁,t₁,x₁,y₁),(p₂,t₂,x₂,y₂),……(p_k,t_k,x_k,y_k)]，

其中，k表示该次滑动包含有k个采样点，p_i,t_i,x_i,y_i(i＝1,2,...,k)分别表示采样点压力值大小、采样时刻、采样位置的X,Y坐标。对于每一次滑动，求该次滑动的每一个采样点的瞬时速度、偏置位移、瞬时夹角：

第i个采样点的瞬时速度：

第i个采样点的位置偏移：

其中，k＝(y_k-y₁)/(x_k-x₁),b＝y₁-x₁(y_k-y₁)/(x_k-x₁)，abs(·)为绝对值函数。

第i个采样点瞬时夹角：

θ_i＝abs(Arctan(speed_i)-Arctan(k))

其中，Arctan(·)为反正切函数。

将每一次滑动的k个采样点序列中的压力值大小、采样时刻与所述的瞬时速度、位置偏移、瞬时夹角构成一组数据(p_i,t_i,d_i,θ_i,speed_i)，从而可以通过新的序列T′表示滑动：

T′＝[(p₁,t₁,d₁,θ₁,speed₁),......,(p_k,t_k,d_k,θ_k,speed_k)]

对于m次滑动，依次将这m次滑动的序列T′拼接起来，得到拼接序列Ts：

Ts＝[(p₁,t₁,d₁,θ₁,speed₁),......,(p_s,t_s,d_s,θ_s,speed_s)]

其中定义m次滑动拼接后的Ts长度为s，s不是固定值，因为最近m次滑动中的采样点长度是变化的。

步骤1.3.3，基于Ts求滑动的相关特征

(1)从拼接序列Ts中提取出每个采样点的瞬时速度，构成瞬时速度序列：

Speed'＝[speed₁,speed₂,......,speed_s]

求瞬时速度Speed'序列的均值、方差、最大值、最小值、众数、中位数，记录为：

Speed＝[Speed_mean,Speed_var,Speed_max,Speed_min,Speed_mod,Speed_median]

(2)从拼接序列Ts中提取出每个采样点的压力值，构成压力值序列：

Ptouch'＝[p₁,p₂,...,p_s]

求压力值序列Ptouch'值的均值、方差、最大值、最小值、众数、中位数，记录为：

Ptouch＝[Ptouch_mean,Ptouch_var,Ptouch_max,Ptouch_min,Ptouch_mod,Ptouch_median]

(3)从拼接序列Ts中提取出每个采样点的位置偏移，构成位置偏移序列：

Dtouch'＝[d₁,d₂,...,d_s]

求位置偏移序列Dtouch'值的均值、方差、最大值、最小值、众数、中位数，记录为：

Dtouch＝[Dtouch_mean,Dtouch_var,Dtouch_max,Dtouch_min,Dtouch_mod,Dtouch_median]

(4)从拼接序列Ts中提取出每个采样点的瞬时夹角，构成瞬时夹角序列：

θtouch'＝[θ₁,θ₂,...,θ_s]

求瞬时夹角序列值的均值、方差、最大值、最小值、众数、中位数，记录为：

θtouch＝[θtouch_mean,θtouch_var,θtouch_max,θtouch_min,θtouch_mod,θtouch_median]

(5)基于步骤1.3.1-1.3.3步骤得到的多个特征Tclick,Pclick,Speed,Dtouch,Ptouch,θtouch拼接起来得到用户身份识别的屏幕交互数据的特征：

Feas＝[Tclick,Pclick,Speed,Dtouch,Ptouch,θtouch]

步骤1.4，屏幕交互特征归一化

步骤1.4.1，为了消除特征刻度量纲不一致的影响，本方案对于非压力值相关特征进行最大最小值归一化。公式如下：

所述的非压力值相关特征是指Tclick,Speed,Dtouch,Ptouch,θtouch，上式中

为归一化后的特征值，

为归一化前的特征值，

为非压力相关特征中的最小特征值，

为非压力相关特征中的最大特征值。例如对于特征θtouch，将其每一个特征值带入到上式进行计算，即可得到归一化后的特征θtouch。

步骤1.4.2，对于压力值相关所有特征本方案使用取对数后最大最小值归一化。公式如下：

所述的压力相关特征是指Pclick，上式中

为归一化后的特征值，

为归一化前的特征值，

为压力相关特征中的最小特征值，

为压力相关特征中的最大特征值。

步骤1.5，建立交互行为识别模型

通过步骤1.3，可提取出合法用户在一个采样窗口中获取的屏幕交互数据的特征Feas，利用同样的方法获取合法用户在一段时间内(例如2个小时、3个小时等)多个采样窗口中的屏幕交互数据特征Feas并构成训练集，进行支持向量机分类器SVM的训练，训练的数据越多，识别的结果就越准确，分类器训练后得到合法用户的交互行为识别模型，将模型保存；该模型在使用时的输入是屏幕交互数据的特征，输出是一个概率值，即当前使用手机的用户是合法用户的概率。SVM的训练和使用过程在现有技术中已多有应用，在此不赘述。

步骤2，建立合法用户的传感器识别模型

采集合法用户使用智能手机过程中手机内置传感器的数据，对数据进行预处理以去除噪音和静音数据，然后进行特征提取，得到传感器特征，利用传感器特征建立合法用户的传感器识别模型；

合法用户在正常使用手机时，除了对屏幕交互数据进行采集和特征提取之外，同时还对手机内置的传感器的数据进行采集、特征提取，并建立传感器识别模型。

步骤2.1，传感器数据采集

传感器数据采集包括手机加速度传感器传感器、陀螺仪传感器传感器信息采集。两种传感器采集的数据均包含当前用户身份、传感器数据采集系统时间以及绝对时间、传感器类型、三维方向数值X、Y、Z大小。

步骤2.2，传感器数据预处理

步骤2.2.1，对于加速度传感器和陀螺仪传感器信号的每一次采样，除了采样数据中包含的X、Y、Z三个维度数据外，还对三个维度的数据X、Y、Z求模值

则对每一个传感器在每一次采样时均可以获得一组数据X,Y,Z,M。

步骤2.2.2，去除传感器数据噪音

本方案选用了FIR低通滤波器的方法来消除噪声，阈值取为20HZ，去除高频噪音数据，使采样点构成的时序曲线更平滑。

步骤2.2.3，数据切割环节

数据采集阶段不断地从手机操作系统的API中获取两个传感器的数据流，该步骤中采用滑动窗口的方法从经过滤波的数据流中切割出一个个长度为500的采样窗口进行后续的处理，滑动窗口的步长为50％*窗口长度。

步骤2.2.4，去除静音数据

因为系统运行的过程中用户不可能持续不停歇的使用手机，所以也有部分时间段手机处于静止状态，这段时间内的数据是无效的，因而对于这些静音数据，也需要进行删除。

本方案采用的方式是基于阈值进行筛选，如果滑动窗口内的模值M变化的方差低于阈值，则认为这一段时间内手机处于静置状态并进行相应的数据筛除。即，对于一个滑动窗口内所有模值M构成的序列，计算该序列的方差，然后和阈值进行比较，如果方差小于阈值，就删除该滑动窗口中的数据。

本方案中，所述的阈值的确定方法是，当手机静止时，将采样窗口内模值M变化的方差二倍作为阈值。

步骤2.3，基于窗口内数据提取特征

对于经采样获取的加速度传感器、陀螺仪传感器信号的X、Y、Z、M四个维度的数据序列，分别提取数据序列的时域特征、频域特征、降维特征，然后将这些特征组合起来构成所述的传感器特征。

步骤2.3.1经过步骤2.2可以得到预处理后的传感器数据，数据来源为加速度传感器和陀螺仪传感器两种传感器，每个传感器数据窗口长度为500采样，每次采样中包含X、Y、Z、M四个维度的信息，则每次传感器窗口数据可以整理为500*8矩阵，称为8个信道，即两种传感器各X、Y、Z、M共计8个长度均为500的数据序列，分别记作：

AccX＝[accx₁,accx₂,......,accx₅₀₀]表示加速度传感器X信道采样窗口500次采样的X维度数值。

AccY＝[accy₁,accy₂,......,accy₅₀₀]表示加速度传感器Y信道采样窗口500次采样的Y维度数值。

AccZ＝[accz₁,accz₂,......,accz₅₀₀]表示加速度传感器Z信道采样窗口500次采样的Z维度数值。

AccM＝[accm₁,accm₂,......,accm₅₀₀]表示加速度传感器M信道采样窗口500次采样数值，由

计算。

GysX＝[gysx₁,gysx₂,......,gysx₅₀₀]表示陀螺仪传感器传感器X信道采样窗口500次采样的X维度数值。

GysY＝[gysy₁,gysy₂,......,gysy₅₀₀]表示陀螺仪传感器传感器Y信道采样窗口500次采样的Y维度数值。

GysZ＝[gysz₁,gysz₂,......,gysz₅₀₀]表示陀螺仪传感器传感器Z信道采样窗口500次采样的Z维度数值。

GysM＝[gysm₁,gysm₂,......,gysm₅₀₀]表示陀螺仪传感器传感器M信道采样窗口500次采样数值，由

计算。

步骤2.3.2，提取传感器数据时域特征

分别对8个信道的数据求均值、方差、中位数、众数、最大值、最小值、累计平方和这些基本统计量作为后续处理特征。

以加速度传感器X信道为例得：

StatsAccX＝[AccX_mean,AccX_var,AccX_median,AccX_mod,AccX_max,AccX_min,AccX_as]

同样可到StatsAccY,StatsAccZ,StatsAccM,StatsGysX,StatsGysY,StatsGysZ,StatsGysM。

求每个传感器所属的4个信道(X、Y、Z、M信道)两两之间的皮尔逊相关系数，两个传感器共可以得到12个结果，记录为向量：

Pearson＝[p_acc1,p_acc2,...p_acc6,p_gys1,p_gys2,...p_gys6]；

步骤2.3.3，提取传感器数据频域特征

分别对8个信道求能量谱密度曲线第一二三峰值位置，记录为向量：

PSD＝[AccX_peak1，AccX_peak2，AccX_peak3，AccY_peak1，......GysM_peak3]

步骤2.3.4，提取传感器数据降维特征

分别对8个信道使用PCA主成分分析方法进行降维，并分别取前n维数据作为特征，n值的确定需要满足可以保留90％累计方差和的条件，一般地，n取值为10。降维特征记录为PCA＝[AccX_pca1,...AccX_pcan,......GysM_pca1,...GysM_pcan]。

步骤2.3.5，基于步骤2.3.2、2.3.3、2.3.4提取到的特征进行首尾相连，即可得到一次滑动窗口内的拼接特征，即传感器特征，记录为Feas′＝[StatAccX,...StatGaysM,Pearson,PSD,F,PCA]。

步骤2.4，建立传感器识别模型

和步骤1.5相同，本方案中在合法用户正常使用手机过程中，利用滑动窗口持续采集传感器数据，并采用步骤2.1至步骤2.3的方法，获得多个滑动窗口的传感器数据的拼接特征Feas′并构成训练集，进行支持向量机分类器SVM的训练，训练的数据越多，识别的结果就越准确，分类器训练后得到合法用户的传感器识别模型，将模型保存；该模型在使用时的输入是传感器特征，输出是一个概率值，即当前使用手机的用户是合法用户的概率。

步骤3，交互行为识别模型、传感器识别模型的识别结果融合

当前用户使用手机时，利用和步骤1中相同的方法(即将步骤1中的采集“合法用户”的数据替换为采集“当前用户”的数据，处数据处理过程相同)采集当前用户的屏幕交互行为数据并提取屏幕交互数据的特征，利用所述的交互行为识别模型进行识别，输出第一识别概率；

采集当前用户使用手机时传感器的数据，并利用和步骤2中相同的方法提取传感器特征，利用所述的传感器识别模型进行识别，输出第二识别概率；

对所述的第一识别概率、第二识别概率进行融合，得到融合概率；

步骤3.1，获取当前用户的模型识别结果

通过步骤1和步骤2分别在手机中建立并保存了合法用户的交互行为识别模型以及传感器识别模型。

当一个用户使用手机时，按照步骤1.1至步骤1.4的方法提取当前用户的屏幕交互特征，并输入到用户行为识别模型中进行识别，经模型识别后，输出当前用户是合法用户的概率；则不断地提取当前用户的屏幕交互特征，则模型持续地输出识别概率，记为第一识别概率：Psensor₁,Psensor₂,Psensor₃,......。

同样地，按照步骤2.1至步骤2.3的方法提取当前用户的的传感器特征，经传感器识别模型识别后，输出当前用户是合法用户的概率；不断地提取当前用户的传感器特征，则模型持续地输出概率，记为第二识别概率：Pscreen₁,Pscreen₂,Pscreen₃,......。

步骤3.2，识别结果的融合

步骤3.2.1，对用户行为识别模型、传感器识别模型输出的第一识别概率、第二识别概率Psensor₁,Psensor₂,Psensor₃,......和Pscreen₁,Pscreen₂,Pscreen₃,......进行排序，得到新的概率值序列：

P_time-ordered＝[p₁,p₂,......,p_t]

上式中，p_t表示t时刻识别模型输出的概率值，t越大，表示输出结果是最新的，本步骤不关心p_t是哪一个识别模型的输出结果。

步骤3.2.2，取P_time-ordered中最新的r次概率值，即识别模型概率输出；

即从P_time-ordered＝[p₁,p₂,......,p_t]中截取[p_t-r,p_t-r+1,......p_t-1,p_t]，r的值可以自由调节，r值越大，系统识别当前用户身份改变的速度越慢，但是识别准确率相应提高。记录截取到的概率序列[p_t-r,p_t-r+1,......p_t-1,p_t]为计算序列P_lastn＝[p₁′,p₂′,......p_r′]

步骤3.2.3，通过下面的公式计算则最终的身份识别分类融合概率：

其中P为最终融合多次识别结果后判断得当前用户是合法用户的融合概率；r为取最两个识别模型识别出的概率的个数；p_i∈P_lastn，i＝1,2,...,r表示识别模型输出的概率；rank_i表示p_i在计算序列P_lastn中的顺序排位数。上面的概率融合公式可以增强更确定的结果(p_i较高)，弱化不确定的结果(p_i较低)，相对于取均值和结果投票的方法，更为鲁棒。

步骤4，当前用户身份的判别

将融合概率与设定的阈值相比来判定当前用户是否合法用户。

使用步骤3中得到的P值与设定的阈值R(表示身份识别严格程度，R越大则身份识别越严格，R的取值大于0.5)进行比较，若P≥R则判定当前用户为合法用户，手机操作系统不干预当前用户操作；若P＜R则判定当前用户为非法用户，手机操作系统可进行锁屏或拒绝当前用户对手机的操作。

本发明为基于智能手机用户交互行为方式的持续性身份识别监测的身份识别感知的新兴技术。通过对用户使用手机过程中的屏幕点击、滑动行为分析以及传感器数据变化的分析，训练支持向量机分类器并将不同分类器多次身份识别结果进行融合，对最近一段时间内使用用户手机的人是否为本人的进行了概率判断，通过实验验证，本发明具有较高的鲁棒性和较为准确的识别结果。

Claims (8)

1.一种基于智能手机使用习惯的用户身份持续识别方法，其特征在于，包括以下步骤：

步骤1，建立合法用户的交互行为识别模型

合法用户在使用智能手机的过程中，采集合法用户点击和滑动的屏幕交互行为数据，对屏幕交互行为数据进行预处理，筛除异常行为数据，然后分别对滑动和点击行为进行特征提取，得到屏幕交互数据的特征，利用该特征建立合法用户的交互行为识别模型；

步骤2，建立合法用户的传感器识别模型

采集合法用户使用智能手机过程中手机内置传感器采集的数据，对数据进行预处理以去除噪音和静音数据，然后进行特征提取，得到传感器特征，利用传感器特征建立合法用户的传感器识别模型；

步骤3，合法用户的交互行为识别模型、传感器识别模型的识别结果融合

当前用户使用手机时，采集当前用户的屏幕交互行为数据并提取屏幕交互数据的特征，利用所述的交互行为识别模型进行识别，输出第一识别概率；

采集当前用户使用手机时传感器的数据，并提取传感器特征，利用所述的传感器识别模型进行识别，输出第二识别概率；

对所述的第一识别概率、第二识别概率进行融合，得到融合概率；

步骤4，将融合概率与设定的阈值相比来判定当前用户是否合法用户。

2.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，所述的对屏幕交互行为数据进行预处理，筛除异常行为数据，包括：

所述的点击和滑动的屏幕交互行为数据均为通过采样点构成的屏幕采样点序列；

步骤1.2.1，如果一次滑动的采样序列中，采样点的个数小于10个或大于100个，则将该滑动的采样点序列删除；

步骤1.2.2，如果一次滑动的采样点序列中存在连续两个采样点之间瞬时速度夹角大于90度，则认为是异常滑动，并将该异常滑动的采样点序列删除；

步骤1.2.3，如果一个滑动的采样点序列构成的曲线中包含一次以上的转折，则将该滑动的采样点序列删除；

步骤1.2.4，如果一次点击操作从按下到抬起过程的时间小于0.01秒或大于0.2秒，则将该点击的采样点序列删除。

3.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，所述的分别对滑动和点击行为进行特征提取，得到屏幕交互数据的特征，包括：

定义采样窗口，采样窗口中包含m次滑动和n次点击；

步骤1.3.1，将n次点击表示为序列C，分别从序列C中：

提取出n次点击压力值构成序列PClick′、提取出n次点击的时长构成序列TClick′，然后分别计算序列PClick′、TClick′的基本统计量，分别记为PClick、TClick；

步骤1.3.2，求每一次滑动的每一个采样点的瞬时速度、偏置位移、瞬时夹角；将每一次滑动的k个采样点序列中的压力值大小、采样时刻与所述的瞬时速度、位置偏移、瞬时夹角构成一组数据，通过新序列T′表示滑动；

对于m次滑动，依次将这m次滑动的序列T′拼接起来，得到拼接序列Ts；

步骤1.3.3，从拼接序列Ts中：

提取出每个采样点的瞬时速度，构成瞬时速度序列Speed'；

提取出每个采样点的压力值，构成压力值序列Ptouch'；

提取出每个采样点的位置偏移，构成位置偏移序列Dtouch'；

提取出每个采样点的瞬时夹角，构成瞬时夹角序列θtouch'；

计算Speed'、Ptouch'、Dtouch'、θtouch'的基本统计量，分别记为Speed、Ptouch、Dtouch、θtouch；

则屏幕交互数据的特征为：

Feas＝[Tclick,Pclick,Speed,Dtouch,Ptouch,θtouch]。

4.如权利要求3所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，所述的基本统计量包括均值、方差、最大值、最小值、众数、中位数。

5.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，利用屏幕交互数据的特征建立合法用户的交互行为识别模型之前，先对所述的屏幕交互数据的特征进行归一化处理；其中，对非压力值相关特征进行最大最小值归一化，而对于压力值相关所有特征使用取对数后最大最小值归一化。

6.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，所述的对数据进行预处理以去除噪音和静音数据，包括：

步骤2.2.1，对于手机内置的加速度传感器和陀螺仪传感器信号的每一次采样，除了采样数据中包含的X、Y、Z三个维度数据外，还对三个维度的数据X、Y、Z求模值

步骤2.2.2，选取FIR低通滤波器的方法来消除噪声，阈值取为20HZ，去除高频噪音数据；

步骤2.2.3，数据切割环节

采用滑动窗口的方法从经过滤波的数据流中切割出一个个长度为500的采样窗口进行后续的处理，滑动窗口的步长为50％*窗口长度；

步骤2.2.4，去除静音数据

如果滑动窗口内的模值M变化的方差低于阈值，则认为这一段时间内手机处于静置状态并删除该滑动窗口中的数据。

7.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，所述的进行特征提取，得到传感器特征，包括：

对于经采样获取的加速度传感器、陀螺仪传感器信号的X、Y、Z、M四个维度的数据序列，分别提取数据序列的时域特征、频域特征、降维特征，然后将这些特征组合起来构成所述的传感器特征。

8.如权利要求1所述的基于智能手机使用习惯的用户身份持续识别方法，其特征在于，对所述的第一识别概率、第二识别概率进行融合，得到融合概率，包括：

对所述的第一识别概率、第二识别概率进行排序，得到排序后的概率值序列；从排序后的概率值序列中提取最新的r次概率值，构成计算序列P_lastn，然后通过下式计算融合概率P：

上式中，p_i∈P_lastn，rank_i表示p_i在计算序列P_lastn中的顺序排位数，i＝1,2,...,r。

Images