CN113111322B - 一种基于多模态融合的智能手机辅助认证方法 - Google Patents

Abstract

本发明公开了一种基于多模态融合的智能手机辅助认证方法。现有的持续认证方法未充分利用用户操作手机时产生的丰富数据，识别准确率较低，且识别性能易受用户身体姿态变化的影响。本发明方法利用用户的单指滑动操作、连续击键行为以及这两种行为持续时间内的传感器数据来对用户身份进行持续的认证。本发明方法设置连续击键行为，采用两级分类的技术，将用户操作姿态分为手持手机静止、手持手机行走和手机置于静止物三种姿态，先对用户当前姿态进行识别，再将特征向量送入相应姿态下的分类器。本发明方法使用来自合法注册用户的样本训练六个单分类器，并使用单分类器进行身份识别。本发明方法数据来源丰富，鲁棒性较高，提高了认证的准确率。

Description

一种基于多模态融合的智能手机辅助认证方法

技术领域

本发明属于信息安全技术领域，具体涉及一种基于多模态融合的智能手机辅助认证方法。

背景技术

随着智能手机的广泛使用和手机功能的不断丰富，大量的社交、图片、语音和金融等个人隐私信息被储存于手机中，这些隐私信息若被窃取，可能会对用户的财产甚至人身安全造成重大威胁。对使用手机的当前用户进行身份认证是保护手机内个人隐私的重要手段，传统的认证方式如密码、图案以及新兴的指纹和人脸识别等技术都存在一定的局限性，如密码容易遗忘和被肩窥，图案更加容易被第三方窥探，指纹和人脸信息可能被复制。除此之外，这些认证方式都只能实现登录手机时的一次认证，且需要用户的显式操作。

为了克服传统认证方法的缺陷，基于用户行为特征的认证技术被提出，这类方法不需要用户进行物理携带和额外记忆，也难以被他人知晓、记录和模仿，可实现动态的、持续的、且对用户无透明打扰的身份认证。公开号为CN112492090A的中国发明专利公开了一种基于滑动轨迹和动力学特征的持续身份认证方法，通过采集用户滑动屏幕的轨迹特征和手机内置加速度、陀螺仪计和重力传感器来对用户的身份进行持续的认证。该方法使用了二分类的支持向量机作为分类器，这是不合适的，因为在实际中无法事先获得非法用户的数据用于训练模型。此外，该方法也没有考虑使用用户的击键行为来进行身份认证，击键行为是用户使用智能手机过程中最常见的行为之一，且包含丰富的用户个人信息。

发明内容

本发明的目的是提供一种基于用户行为特征的融合多种模态的智能手机用户身份认证方法，该方法融合了用户与手机交互时的滑动屏幕模态、击键模态以及手机运动模态，在使用密码等主认证方式解锁手机后，对当前用户的身份进行持续的辅助认证。

本发明的技术方案具体是：

步骤(1)对用户操作时的个性化数据进行采集；操作包括单手指滑动和击键；采集的个性化数据包括：来自屏幕的滑动数据，打字时的击键数据，传感器数据。具体是：

(1-1)对于一次滑动操作，滑动数据由屏幕上若干触摸点S_i的序列组成，S_i＝{x_i,y_i,t_i}，i∈{1,2,...,n}；x_i和y_i为S_i的坐标，t_i为S_i的时间戳，n为触摸点数量。

(1-2)对于每个击键动作，记录击键数据{T_press,T_release,Size}，其中，T_press为按下该按键的时刻，T_release为释放该按键的时刻，Size为手指与屏幕的接触面积。

(1-3)在滑动操作期间和击键动作期间，记录加速度计、陀螺仪、磁力计和方向计四个传感器在X、Y、Z三条轴上的采样数据序列，每段时间共有12个传感器数据序列。

步骤(2)对原始数据进行预处理，具体是：

(2-1)过滤无用数据，无用数据包括用户多手指滑动屏幕的数据和用户单击屏幕的数据。

(2-2)为了便于提取击键特征，将用户输入一段文本的击键数据分割为若干个连续击键行为：如果两次击键的间隔时间小于等于设定的阈值，则两次击键属于一个连续击键行为；如果两次击键的间隔时间大于设定的阈值，则两次击键分属两个连续击键行为。

(2-3)时间对齐：在采集到的数据中，传感器采样点的时间单位是纳秒，每个触摸点的时间单位是秒，而每次击键动作的时间单位是毫秒，因此首先统一触摸数据、击键数据和传感器数据的时间单位，然后对于每一次单指滑动和连续击键行为，截取出其持续时间内的12个传感器数据序列，以便于提取单指滑动和连续击键行为持续时间内的运动模态特征。

(2-4)缺失值处理：将坐标信息不全的单指滑动数据、缺少手指抬起时刻的击键数据进行删除。

步骤(3)提取滑动模态特征、击键模态特征、运动模态特征，具体是：

(3-1)对每次滑动的滑动数据，提取滑动模态特征向量，包括：滑动轨迹起点和终点的平面坐标，滑动轨迹行进距离，轨迹起点和终点的欧几里得距离，轨迹行进距离与轨迹起点和终点的欧几里得距离的比值，滑动持续时间，行进距离与时间的比值，轨迹起点和终点的欧几里得距离与时间的比值；距离序列的统计特征，偏移序列的统计特征，相角序列的统计特征，成对角序列的统计特征；成对速度序列的统计特征，角速度序列的统计特征，加速度序列的统计特征。

距离序列是指每个点与坐标原点的距离组成的序列；偏移序列是指每个点与轨迹两端点连线的垂直距离组成的序列；相角序列是指每点到原点的直线与X轴的夹角组成的序列；成对角序列是指每相邻两点的直线与X轴的夹角组成的序列；成对速度序列是指每相邻两点间的平均速率组成的序列；角速度序列是指每相邻两点到原点的直线与X轴的夹角之差与时间差的比值组成的序列；加速度序列是指轨迹每个位置点的加速度幅值组成的序列。每个序列的统计特征包含6个统计量，即平均值、标准差、中位数、四分位间距、偏度和峰度。

(3-2)对分割的每个连续击键行为的击键数据，提取击键模态特征向量，包括：DD-Time序列的最值、均值、标准差、四分位数，所述的DD-Time是指两次击键按下时刻的时间差；每次击键的按下时刻采集的Size序列的最值、均值、标准差、四分位数。

(3-3)对截取的每一段对应于滑动或连续击键行为的传感器数据序列，提取运动模态特征向量，包括：序列的最大值、最小值、最大值与最小值的差值、均值、标准差、峰度、偏度，序列的若干分位数、能量、熵。

(3-4)将提取的滑动模态特征向量与运动模态特征向量连接，成为滑动融合向量；将提取的击键模态特征向量与运动模态特征向量连接，成为击键融合向量；采用MinMaxScaler将生成的滑动融合向量、击键融合向量进行归一化处理。

步骤(4)构建对用户操作手机时的三种姿态进行分类的模型；所述的三种姿态为：手持手机静止姿态(如：坐、站、躺)、手持手机运动姿态(如：行走)、手机置于静止物姿态(如：桌面)。

(4-1)对数据集中的滑动数据和传感器数据进行预处理和特征提取，将归一化处理后的滑动融合向量的特征向量集作为训练集，训练一个可在用户单指滑动屏幕时识别用户身体姿态的多分类器，即姿态分类器A。

(4-2)对数据集中的击键数据和传感器数据进行预处理和特征提取，将归一化处理后的击键融合向量的特征向量集作为训练集，训练一个可在用户击键时识别用户身体姿态的多分类器，即姿态分类器B。

步骤(5)考虑单指滑动和连续击键两种行为，且操作手机时具有三种姿态，共有六种操作场景；对六种操作场景分别进行特征选择；具体是：

(5-1)对归一化处理后的滑动融合向量，在三种姿态下，据互信息分别选择与用户标签最相关的特征，得到特征选择后的滑动融合向量；

(5-2)对归一化处理后的击键融合向量，在三种姿态下，据互信息分别选择与用户标签最相关的特征，得到特征选择后的击键融合向量。

步骤(6)构建用户的身份模型，训练六种操作场景对应的六个单分类模型；具体是：

(6-1)对于单指滑动操作，选取注册用户的滑动融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型；

(6-2)对于连续击键操作，选取注册用户的击键融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型。

步骤(7)对当前使用手机的用户身份进行持续的认证，具体是：

(7-1)当用户单指滑动一次屏幕时，通过步骤(1)-(3)生成一个滑动融合向量，送入姿态分类器A判断用户当前的姿态，然后根据用户当前的姿态送入对应的单分类模型；

当用户产生一次连续击键行为时，通过步骤(1)-(3)生成一个击键融合向量，送入姿态分类器B判断用户当前的姿态，然后根据用户当前的姿态送入对应的单分类模型。

(7-2)使用滑动窗口的机制认证用户的身份，并使用投票法进行决策：如超过一半的融合向量被单分类器判断为正确时，则识别为合法用户，认证系统无任何响应；如小于等于一半的融合向量被判断为正确时，则识别为非法用户，认证系统将会将手机锁定，需要PIN密码等主认证方式解锁。

本发明具有以下有益效果：

1.本发明利用了用户的单指滑动操作、连续击键行为以及这两种行为持续时间内的加速度计、陀螺仪、磁力计和方向计的数据来对用户身份进行持续的认证。滑动操作和击键行为是用户与智能手机最主要的两种交互方式，数据来源丰富。此外，滑动操作和连续击键既可独立的用于认证，又可组合起来进行认证，具有灵活性。

2.本发明定义了“连续击键行为”，基于连续击键行为的识别性能要好于基于滑动的识别性能，且本申请可基于用户的自由击键进行识别，而不是必须使用预定义文本的击键方式。

3.本发明将用户操作手机时的姿态分为三类：手持手机静止、手持手机行走和手机置于静止物。本发明采用了两级分类的技术，先对用户当前姿态进行识别，再将特征向量送入相应姿态下的分类器，具有较高的鲁棒性，也提高了认证的准确率。

4.在训练阶段，仅使用来自合法注册用户的样本训练六个单分类器。本发明使用单分类器识别用户的身份，而不是使用二分类器或者多分类器，更加符合实际，因为现实中无法提前获取非法用户的数据来训练模型。

附图说明

图1为本发明的涉及的手机运动传感器X、Y、Z轴的示意图；

图2为本发明的系统架构示意图。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步详细说明。以下实施例和附图用于说明本发明，但不用来限制本发明的范围。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1出示了本发明所用到的加速度计、陀螺仪、磁力计和方向计等四个运动传感器的X、Y、Z三条轴与手机的位置关系。

图2出示了本发明的系统架构和整体流程。整个流程包括注册阶段和认证阶段两部分，具体的实施步骤如下：

注册阶段：

步骤(1)当用户单指滑动屏幕时，系统采集用户滑动屏幕的数据，一次滑动动作可由若干触摸点S_i的序列组成，S_i＝{x_i,y_i,t_i}，i∈{1,2,...,n}；x_i和y_i为S_i的坐标，t_i为S_i的时间戳，n为触摸点数量。当用户击键时，对于每个击键动作，系统记录击键数据{T_press,T_release,Size}，其中，T_press为按下该按键的时刻，T_release为释放该按键的时刻，Size为手指与屏幕的接触面积。在记录滑动数据和击键数据时，同时记录传感器数据，即动作执行期间加速度计、陀螺仪、磁力计和方向计在X、Y、Z三条轴上的采样数据序列，如图1。

步骤(2)系统对原始数据进行预处理，包括无用数据过滤、分割连续击键行为、时间对齐和缺失值处理等步骤；

无用数据过滤指的是过滤用户单击屏幕的数据和多手指滑动等系统不需要的数据；分割连续击键行为是指将用户输入一段文本的击键数据分割为若干段，如果两次击键的键间时间大于3秒，则两次击键属于两个连续击键行为；时间对齐是将触摸数据、击键数据以及传感器数据的时间单位统一，并对每一次单指滑动和连续击键行为，截取出其持续时间内的12个传感器数据序列，以便于提取单指滑动和连续击键行为持续时间内的运动模态特征；缺失值处理则是将坐标信息不全的单指滑动数据、缺少手指抬起时刻的击键数据进行删除。

步骤(3)系统进行特征提取；对于单指滑动或连续击键行为持续时间内的12个传感器数据序列，提取180维的特征向量；对于每次单指滑动，提取52维的特征向量，并与对应的来自传感器数据的180维特征向量连接成232维的滑动融合向量；对于每个连续击键行为，提取14维的特征向量，并与对应的来自传感器数据的180维特征向量连接成194维的击键融合向量；系统使用MinMaxScaler将生成的融合向量进行归一化。

步骤(4)系统构建对用户操作手机时的三种姿态进行分类的模型，三种姿态包括：姿态1.手持手机静止姿态(如：坐、站、躺)；姿态2.手持手机运动姿态(如：行走)；姿态3.手机置于静止物姿态(如：桌面)。本发明在研究阶段，采集了来自25名志愿者的数据，并制作成一个数据集，由于对身体姿态的判断与具体的用户无关，因此对于根据本发明部署的所有系统，都可使用根据该数据集事先训练好的姿态分类器。

本发明构造了一个数据集，对该数据集中的滑动数据和传感器数据进行预处理和特征提取，将滑动融合向量的特征向量集作为训练集，训练一个可在用户单指滑动屏幕时识别用户姿态的多分类器，称为姿态分类器1；对数据集中的击键数据和传感器数据进行预处理和特征提取，将击键融合向量的特征向量集作为训练集，训练一个可在用户击键时识别姿态的多分类器，称为姿态分类器2。

对用户身体姿态的判断与具体的用户无关，因此可使用监督学习的多分类器来训练姿态分类器。在实验了14种多分类器后，本实施例选择随机森林算法(Random Forest)来训练姿态分类器1和姿态分类器2。

步骤(5)考虑单指滑动和连续击键两种行为，且操作手机时具有三种姿态，共有六种操作场景，系统对六种操作场景分别进行特征选择。对于滑动融合向量，在姿态1、姿态2和姿态3的场景下，依次保留50、100和60个特征；对于击键融合向量，在姿态1、姿态2和姿态3的场景下，依次保留50、60和60个特征。

步骤(6)系统训练六种操作场景对应的六个单分类模型：

对于单指滑动操作，选取注册用户的滑动融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型；对于连续击键操作，选取注册用户的击键融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型。

本实施例使用异常检测领域的隔离森林算法(Isolation Forest)训练六个识别用户的单分类模型，六个单分类模型训练完成后，注册阶段结束。

认证阶段：

认证阶段是对当前使用手机的用户进行持续的身份认证，其具体实施步骤如下：

步骤(a)当用户单指滑动一次屏幕时，通过与注册阶段步骤(1)-(3)相同的步骤，生成一个滑动融合向量，送入姿态分类器1判断用户当前的姿态，然后根据用户当前的姿态送入对应的单分类模型；

当用户产生一次连续击键行为时，通过与注册阶段步骤(1)-(3)相同的步骤，生成一个击键融合向量，送入姿态分类器2判断用户当前的姿态，然后根据用户当前的姿态送入对应的单分类模型。

步骤(b)用滑动窗口的机制认证用户的身份，并使用投票法进行决策。本实施例将滑动窗口的大小设置为9，如果大于等于5个融合向量被单分类器判断为正确时，则识别为合法用户，认证系统无任何响应；如果小于5个融合向量被判断为正确时，则识别为非法用户，认证系统将会将手机锁定，需要PIN密码等主认证方式解锁。

申请人在Android手机上开发了两个应用程序来跨进程地采集用户使用所有应用程序时的单指滑动数据、连续击键数据和传感器数据。在招募的所有33名志愿者中，有26名男性和7名女性，年龄在22-29岁之间。实验采集了所有志愿者在姿态1、姿态2和姿态3的足量数据，最后使用来自其中25名志愿者的81068个有效单指滑动操作和24943次有效连续击键行为的数据构成实验数据集。

通过实验尝试了14种多分类器后，选择使用随机森林算法训练姿态分类器1和姿态分类器2。通过实验对比，选择隔离森林算法来训练六个识别用户的单分类模型。通过网格搜索及五折交叉验证确定用户分类器1、用户分类器2、用户分类器3、用户分类器4、用户分类器5和用户分类器6的contamination参数依次为：0.1、0.25、0.1、0.1、0.2、0.1。在本实施例中，滑动窗口的大小设置为9，一个窗口内单指滑动和连续击键的个数随机，单指滑动和连续击键的个数之和为9。在此设置下，本实施例提供的辅助认证系统的识别性能具体为：系统识别的精确率为99.42％，召回率为99.26％，准确率为99.34％，F1分数为99.35％。

Claims (6)

1.一种基于多模态融合的智能手机辅助认证方法，其特征在于，包括以下步骤：

步骤(1)对用户操作时的个性化数据进行采集；操作包括单手指滑动和击键；个性化数据包括：来自屏幕的滑动数据，打字时的击键数据，传感器数据；

步骤(2)对原始数据进行预处理，具体是：

(2-1)过滤无用数据，无用数据包括用户多手指滑动屏幕的数据和用户单击屏幕的数据；

(2-2)将用户输入一段文本的击键数据分割为若干个连续击键行为；

(2-3)时间对齐：首先统一触摸数据、击键数据和传感器数据的时间单位，然后对于每一次单指滑动和连续击键行为，截取出其持续时间内的各个传感器数据序列；

(2-4)缺失值处理：将坐标信息不全的单指滑动数据、缺少手指抬起时刻的击键数据进行删除；

步骤(3)提取滑动模态特征向量、击键模态特征向量、运动模态特征向量，具体是：

(3-1)对每次滑动的滑动数据，提取滑动模态特征向量；

(3-2)对分割的每个连续击键行为的击键数据，提取击键模态特征向量；

(3-3)对截取的每一段对应滑动或连续击键行为的传感器数据，提取运动模态特征向量；

(3-4)将提取的滑动模态特征向量与运动模态特征向量连接，成为滑动融合向量；将提取的击键模态特征向量与运动模态特征向量连接，成为击键融合向量；采用MinMaxScaler将生成的滑动融合向量、击键融合向量进行归一化处理；

步骤(4)构建对用户操作手机时的三种姿态进行分类的模型；三种姿态包括：手持手机静止姿态，手持手机运动姿态，手机置于静止物姿态；

(4-1)对数据集中的滑动数据和传感器数据进行预处理和特征提取，将归一化处理后的滑动融合向量的特征向量集作为训练集，训练一个可在用户单指滑动屏幕时识别用户操作手机时姿态的多分类器，即姿态分类器A；

(4-2)对数据集中的击键数据和传感器数据进行预处理和特征提取，将归一化处理后的击键融合向量的特征向量集作为训练集，训练一个可在用户击键时识别用户操作手机时姿态的多分类器，即姿态分类器B；

步骤(5)对六种操作场景分别进行特征选择；具体是：

(5-1)对归一化处理后的滑动融合向量，在三种姿态下，据互信息分别选择与用户标签最相关的特征，得到特征选择后的滑动融合向量；

(5-2)对归一化处理后的击键融合向量，在三种姿态下，据互信息分别选择与用户标签最相关的特征，得到特征选择后的击键融合向量；

步骤(6)构建用户的身份模型，训练六种操作场景对应的六个单分类模型；具体是：

(6-1)对于单指滑动操作，选取注册用户的滑动融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型；

(6-2)对于连续击键操作，选取注册用户的击键融合向量的特征向量集作为训练集，在三种姿态下，分别训练三个单分类模型；

步骤(7)对当前使用手机的用户身份进行持续的认证，具体是：

(7-1)当用户单指滑动一次屏幕时，通过步骤(1)-(3)生成一个滑动融合向量，送入姿态分类器A判断用户当前操作手机时的姿态，然后根据用户当前操作手机时的姿态送入对应的单分类模型；

当用户产生一次连续击键行为时，通过步骤(1)-(3)生成一个击键融合向量，送入姿态分类器B判断用户当前操作手机时的姿态，然后根据用户当前操作手机时的姿态送入对应的单分类模型；

(7-2)使用滑动窗口的机制认证用户的身份，并使用投票法进行决策：如超过一半的融合向量被单分类器判断为正确时，则识别为合法用户，认证系统无任何响应；如小于等于一半的融合向量被判断为正确时，则识别为非法用户，认证系统将会将手机锁定。

2.如权利要求1所述的一种基于多模态融合的智能手机辅助认证方法，其特征在于：步骤(1)具体是：

(1-1)对于一次滑动操作，滑动数据由屏幕上若干触摸点S_i的序列组成，S_i＝{x_i,y_i,t_i}，i∈{1,2,...,n}；x_i和y_i为S_i的坐标，t_i为S_i的时间戳，n为触摸点数量；

(1-2)对于每个击键动作，记录击键数据{T_press,T_release,Size}，其中，T_press为按下按键的时刻，T_release为释放该按键的时刻，Size为手指与屏幕的接触面积；

(1-3)在滑动操作期间和击键动作期间，记录加速度计、陀螺仪、磁力计和方向计四个传感器在X、Y、Z三条轴上的采样数据序列，每段时间共有12个传感器数据序列。

3.如权利要求1所述的一种基于多模态融合的智能手机辅助认证方法，其特征在于：步骤(2)中分割连续击键行为的方法是：如果两次击键的间隔时间小于等于设定的阈值，则两次击键属于一个连续击键行为；如果两次击键的间隔时间大于设定的阈值，则两次击键分属两个连续击键行为。

4.如权利要求1、2或3所述的一种基于多模态融合的智能手机辅助认证方法，其特征在于：步骤(3)中，所述的滑动模态特征向量包括：滑动轨迹起点和终点的平面坐标，滑动轨迹行进距离，轨迹起点和终点的欧几里得距离，轨迹行进距离与轨迹起点和终点的欧几里得距离的比值，滑动持续时间，行进距离与时间的比值，轨迹起点和终点的欧几里得距离与时间的比值；距离序列的统计特征，偏移序列的统计特征，相角序列的统计特征，成对角序列的统计特征；成对速度序列的统计特征，角速度序列的统计特征，加速度序列的统计特征；

距离序列是指每个点与坐标原点的距离组成的序列；偏移序列是指每个点与轨迹两端点连线的垂直距离组成的序列；相角序列是指每点到原点的直线与X轴的夹角组成的序列；成对角序列是指每相邻两点的直线与X轴的夹角组成的序列；成对速度序列是指每相邻两点间的平均速率组成的序列；角速度序列是指每相邻两点到原点的直线与X轴的夹角之差与时间差的比值组成的序列；加速度序列是指轨迹每个位置点的加速度幅值组成的序列；每个序列的统计特征包含6个统计量，即平均值、标准差、中位数、四分位间距、偏度和峰度。

5.如权利要求1、2或3所述的一种基于多模态融合的智能手机辅助认证方法，其特征在于：步骤(3)中，所述的击键模态特征向量包括：DD-Time序列的最值、均值、标准差、四分位数，每次击键的按下时刻采集的Size序列的最值、均值、标准差、四分位数；所述的DD-Time是指两次击键按下时刻的时间差。

6.如权利要求1、2或3所述的一种基于多模态融合的智能手机辅助认证方法，其特征在于：步骤(3)中，所述的动模态特征向量包括：传感器数据序列的最大值、最小值、最大值与最小值的差值、均值、标准差、峰度、偏度，序列的若干分位数、能量、熵。

Images