CN113254908B - 一种基于可穿戴手环的手势密码破解系统 - Google Patents

Abstract

本发明公开了一种基于可穿戴手环的手势密码破解系统，包括数据处理器以及输入密码的人员携带的可穿戴手环终端，该数据处理模块集成有无线传输主模块、信号预处理模块、加速度数据分析模块、角速度数据分析模块、第一模型分类模块、第二模型分类模块、剪枝模块和手势密码输出模块，该可穿戴手环终端集成有无线传输从模块、三轴加速度传感器和三轴陀螺仪。本发明通过分析输入密码的人员在智能手机上输入密码时腕部产生的加速度和角速度信号中蕴含的腕部运动规律，以对当前流行的手势密码的内容进行侧信道攻击。

Description

一种基于可穿戴手环的手势密码破解系统

技术领域

本发明主要涉及可穿戴感知和安全领域，具体是一种基于可穿戴手环的手势密码破解系统。

背景技术

目前，随着可穿戴手环和智能手机的流行，这些智能设备中的信息安全需要更多的关注。在当前背景下，通过密码加密智能手机被视作保护信息安全的重要途径之一。然而，用户输入密码时，手部的运动信息可能通过可穿戴手环等智能设备发生泄漏，从而成为对手机密码侧信道攻击的导火索。与传统的功耗攻击、电磁场攻击等种类的侧信道攻击相比，借助这种传感器的侧信道攻击成本低、计算量小，并可以减少环境因素的影响，而且可以方便的应用在日常生活中，对用户的隐私存在实际的威胁。对这一类侧信道攻击的研究揭示了它们对信息安全的重大威胁，可以加强用户的防范意识，对私人信息的保护具有重大意义。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于可穿戴手环的手势密码破解系统，以期能通过智能手环获取用户在智能手机上输入密码时腕部产生的加速度和角速度信号以用于密码的推测，从而能对当前流行的手势密码的内容进行侧信道攻击，显示可穿戴设备可能对信息安全造成的威胁，以便用户防范和避免类似的信息泄露。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于可穿戴手环的手势密码破解系统的特点包括：数据处理器和可穿戴手环终端；

所述数据处理器集成有无线传输主模块、信号预处理模块、加速度数据分析模块、角速度数据分析模块、第一模型分类模块、第二模型分类模块、剪枝模块和手势密码输出模块；

所述可穿戴手环终端集成有无线传输从模块、三轴加速度传感器和三轴陀螺仪；

所述三轴加速度传感器和三轴陀螺仪分别获取从输入开始到输入结束时腕部的加速度数据和角速度数据并通过所述无线传输从模块发送给所述数据处理器；

所述信号预处理模块通过无线传输主模块获取加速度数据和角速度数据后，利用巴特沃斯低通滤波器分离数据中的高频噪声，再通过所设定的角速度能量阈值来判断去燥后的数据中用户开始输入和结束输入的时间点，从而确定用户输入手势密码的有效时间段；提取有效时间段所对应的角速度数据的统计特征用于判断手势密码方向发生变化的时间点，根据所述时间点将有效时间段所对应的加速度数据和角速度数据进行分割，从而得到一系列只包含单一方向的加速度信号段和角速度信号段；所述加速度数据分析模块对所述加速度信号段进行特征提取，得到腕部向每个不同方向运动时的加速度特征向量，包括x、y、z三轴加速度的平均值、加速度最大值、加速度最小值和三轴位移；

所述角速度数据分析模块对所述角速度信号段进行特征提取，得到腕部向每个不同方向转动时的角速度特征向量，包括x、y、z三轴角速度的平均值、角速度最大值、角速度最小值和角位移；

所述第一模型分类模块获取加速度特征向量和角速度特征向量并输入至训练好的支持向量机的方向分类模型中进行手部运动方向的分类，得到手腕每一段运动方向的判断结果；

所述第二模型分类模块获取三轴位移和角位移、以及手腕每一段运动方向的判断结果并输入至训练好的支持向量机的位移分类模型中进行手部位移的分类，得到手腕每一段运动的带有方向的位移；

所述剪枝模块对手势密码的九宫格图中的9个点建立转移矩阵，并利用转移矩阵将手腕每一段运动的带有方向的位移转化为手指在手势密码的九宫格图中经过点的轨迹序列；

所述手势密码输出模块将轨迹序列在图形界面中进行展示，并作为手势密码的破解结果。

本发明所述的手势密码破解系统的特点是，所述信号预处理模块中的角速度数据的统计特征是按如下过程获得：

使用滑动窗口法扫描有效时间段所对应的角速度数据，且每个滑动窗口内均包含一定长度时间内的角速度数据；

对每个滑动窗口内的所有角速度数据，利用式(1)计算时刻t的角速度统计特征D(t)：

D(t)＝|G_x(t)-G_y(t)|+|G_y(t)-G_z(t)|+|G_z(t)-G_x(t)| (1)

式(1)中，G_x(t)、G_y(t)、G_z(t)分别代表t时刻的x轴、y轴、z轴的角速度；

以D(t)在当前滑动窗口内取得最小值所对应的时间点作为手势密码方向发生变化的时间点。

所述剪枝模块中的转移矩阵是按如下过程获得：

将手势密码的九宫格图中的9个点按照从左到右、从上到下的顺序依次编号为1-9；

在用户解锁手势密码时，令手指的位移方向包括：上、下、左、右、45°左上、45°左下、45°右上、45°右下的八种方向；

令手指的位移大小是在所选择的位移方向下，由当前点经过九宫格内另一个点所构成的一段位移，或是由当前点经过连续九宫格内的另外两个点所构成的一段位移；从而得到手指的运动的16种位移状态，并用一个维度为9×16的矩阵表示手势密码九宫格图内的所有9个点通过每种位移状态所能到达的下一个点，其中，矩阵的列代表九宫格图中的点，矩阵的行代表手指的不同位移状态，矩阵中元素的值表示所对应的点经过所对应的位移状态能到达的下一个点的编号，若矩阵中元素的值为0，则表示不存在下一个点的编号。

与现有技术相比，本发明的有益效果在于：

1、本发明相对于硬件成本高、操作复杂、设备需求多的基于摄像头和无线信号的侧信道攻击，更加实际和容易实施，并且立足于用户日常行为中频率较高的场景，揭示了对用户信息安全的实质性威胁。同时，在本发明提出的侧信道攻击的过程中，信号的收集不受到噪声等信息的影响，这使密码的推测结果更加准确，得益于算法的设计，本发明可以准确地恢复出用户输入的手势密码，并在图形界面进行展示。

2、本发明由于使用惯性传感器收集信号，所以系统的效果很少受到环境、噪声等因素的影响，因此更加稳定、实用。另一方面，基于可穿戴手环的数据收集方式常见于用户日常的生活中，所以不依赖于摄像头、无线收发设备等布置方式复杂、成本昂贵的设备。总体来说，本发明兼顾了成本、精度和实际性，具有良好的可推广性。

附图说明

图1是本发明的结构示意图；

图2是传感器坐标系示意图；

图3是绘制手势密码的界面示意图；

图4是用户绘制出的手势密码示意图；

图5是图形界面中绘制的手势密码推测示意图。

具体实施方式

本实施例中，一种基于可穿戴手环的手势密码破解系统，如图1所示，包括：数据处理器和可穿戴手环终端；侧信道攻击的攻击场景如下：某用户在佩戴如图2所示的可穿戴手环时在智能手机上输入手势密码，手势密码的九宫格解锁图案如图3所示。此时假设攻击者已经获取了从可穿戴手环终端得到加速度和角速度数据的途径，并根据此对用户输入的手势密码进行侧信道攻击。侧信道攻击的目标是恢复出用户绘制的手势密码解锁图案。

数据处理器集成有无线传输主模块、信号预处理模块、加速度数据分析模块、角速度数据分析模块、第一模型分类模块、第二模型分类模块、剪枝模块和手势密码输出模块；

可穿戴手环终端集成有无线传输从模块、三轴加速度传感器和三轴陀螺仪，其中传感器的坐标轴如图3所示；

三轴加速度传感器和三轴陀螺仪分别获取从输入开始到输入结束时腕部的加速度数据和角速度数据并通过无线传输从模块发送给数据处理器；

信号预处理模块通过无线传输主模块获取加速度数据和角速度数据后，为了消除由于手腕抖动等因素产生的较高频的噪声的影响，要对传感器测得的手腕运动信号进行滤波处理。影响数据稳定性的噪声信号大多数都是高频信号，因此该模块选用低通滤波器。经过实验比较和对复杂度与计算成本的考虑，该模块中选用巴特沃斯低通滤波器去除高频噪声、平滑信号。巴特沃斯低通滤波器的原理如公式(1)：

式(1)中，n代表滤波器的阶数，ω_c代表截止频率，ω_p代表通频带的边缘频率。根据实验效果，本系统中滤波器阶数为7，截止频率与信号本身最大的频率的比值为0.06。

随后，通过所设定的角速度能量阈值来判断去燥后的数据中用户开始输入和结束输入的时间点，从而确定用户输入手势密码的有效时间段。具体做法是定义一个滑动窗口。如果窗口内数据的三轴角速度绝对值的最大值小于阈值则让它前进一段距离，如果大于阈值，则将此时滑动窗口的起点作为绘制图案动作的起点。窗口继续向前移动，如果某一刻窗口内三轴角速度绝对值的最大值再次小于阈值，则将此时窗口的终点作为动作的终点。在本系统中，角速度阈值被选定为10；随后，提取有效时间段所对应的角速度数据的统计特征，即三轴角速度差值，用于判断手势密码方向发生变化的时间点，根据时间点将有效时间段所对应的加速度数据和角速度数据进行分割，从而得到一系列只包含单一方向的加速度信号段和角速度信号段。具体实施中，角速度数据的统计特征是按如下过程获得：

使用滑动窗口法扫描有效时间段所对应的角速度数据，且每个滑动窗口内均包含一定长度时间内的角速度数据。为了使滑动窗口能够覆盖手腕每一段运动方向对应的数据段，选定滑动窗口长度为45；

对每个滑动窗口内的所有角速度数据，利用式(2)计算时刻t的角速度统计特征D(t)：

D(t)＝|G_x(t)-G_y(t)|+|G_y(t)-G_z(t)|+|G_z(t)-G_x(t)| (2)

式(2)中，G_x(t)、G_y(t)、G_z(t)分别代表t时刻的x轴、y轴、z轴的角速度；

以D(t)在当前滑动窗口内取得最小值所对应的时间点作为手势密码方向发生变化的时间点；

加速度数据分析模块对加速度信号段进行特征提取，得到腕部向每个不同方向运动时的加速度特征向量，包括x、y、z三轴加速度的平均值、加速度最大值、加速度最小值和三轴位移；

角速度数据分析模块对角速度信号段进行特征提取，得到腕部向每个不同方向转动时的角速度特征向量，包括x、y、z三轴角速度的平均值、角速度最大值、角速度最小值和角位移；

由于加速度和角速度数据是离散的数据点，无法直接计算积分，所以系统选用梯形积分法使用加速度计算位移或使用角速度计算角位移，按照如下方式进行：

式(3)中，S代表位移或角位移，V_k代表时刻k的加速度和角速度，Δt代表加速度和角速度数据中两个数据点之间的间隔时间，在本系统中选为0.005秒。为了推测用户输入的手势密码，并尽可能地缩小解的空间，系统需要得到手腕每一段位移的具体方向和大小，为此通过第一模型分类模块和第二模型分类模块实现。

第一模型分类模块获取加速度特征向量和角速度特征向量并输入至训练好的支持向量机的方向分类模型中进行手部运动方向的分类，得到手腕每一段运动方向的判断结果。但仅仅依靠每一段运动方向的判断结果并不能完美的复原出九宫格解锁图案轨迹。这是由于在确定方向的前提下，在九宫格中仍然有多种图案符合位移方向的序列。这对于预测解锁图案的准确性有较大的影响，因此系统通过第二模型分类模块确定位移的大小；

第二模型分类模块获取三轴位移和角位移、以及手腕每一段运动方向的判断结果并输入至训练好的支持向量机的位移分类模型中进行手部位移的分类，得到手腕每一段运动的带有方向的位移。具体地，在运动方向已经确定的情况下，系统为每一种运动方向都建立一个支持向量机模型，以判断在不同方向上位移的大小；

在本系统中选用了支持向量机模型，这是因为相比于其他分类模型，支持向量机在训练时更注重了特征向量的整体性，且它的分类原理以基于少数支持向量作为判断标准，减轻了奇异数据的干扰，因此更加适合本系统的场景。为了应对非线性的分类任务，第一模型分类模块和第二模型分类模块中的支持向量机模型均使用高斯核函数，并在优化目标函数时引入松弛向量，以使用软间隔来减轻过拟合的负面影响。

通过第一模型分类模块和第二模型分类模块的处理，系统得到了手腕每一段运动的带有方向的位移。但基于九宫格图案的复杂性，以这个位移序列作为输出结果仍让人难以分辨出具体的解锁图案，因此系统将位移的序列作为隐状态，将手指在手势密码的九宫格图中经过点的轨迹序列作为表状态完成从隐状态到表状态的转化，以排除在九宫格结构下不成立得到结果，并得到直观的输出。隐马尔可夫模型被用来处理从隐状态到表状态的转化问题，但在本系统的应用场景中，由于手指从九宫格图中的一个点到周围所有点移动的概率相等，隐马尔可夫模型很难取得很好的效果。为了解决这个问题，因此系统提出剪枝模块做相应的处理。

剪枝模块对手势密码的九宫格图中的9个点建立转移矩阵，并利用转移矩阵将手腕每一段运动的带有方向的位移转化为手指在手势密码的九宫格图中经过点的轨迹序列。具体过程按照以下方式进行：

对于编号1-9的点，依次将它们假设是手势密码开始的数据点。对于手腕每一段运动的带有方向的位移，系统在转移矩阵中找到对应行和列分别对应当前点和当前位移的元素，并将该元素的值作为下一个到达的点。若该元素的值为0，则认为当前轨迹不可行，转而将其他点作为起始点。重复上述过程，对于包含n段位移的动作，在找到n+1个经过的点时认为成功解出路径，此算法的复杂度为O(n)。其中，转移矩阵是按如下过程获得：

将手势密码的九宫格图中的9个点按照从左到右、从上到下的顺序依次编号为1-9；

在用户解锁手势密码时，令手指的位移方向包括：上、下、左、右、45°左上、45°左下、45°右上、45°右下的八种方向；

令手指的位移大小是在所选择的位移方向下，由当前点经过九宫格内另一个点所构成的一段位移，或是由当前点经过连续九宫格内的另外两个点所构成的一段位移；

从而得到手指的运动的16种位移状态，并用一个维度为9×16的矩阵表示手势密码九宫格图内的所有9个点通过每种位移状态所能到达的下一个点，其中，矩阵的列代表九宫格图中的点，矩阵的行代表手指的不同位移状态，从左到右的顺序如下：向上一个点、向上两个点、向下一个点、向下两个点、向左一个点、向左两个点、向右一个点、向右两个点、向45°左上一个点，向45°左上两个点、向45°左下一个点、向45°左下两个点、向45°右上一个点、向45°右上两个点、向45°右下一个点、向45°右下两个点，矩阵中元素的值表示所对应的点经过所对应的位移状态能到达的下一个点的编号，若矩阵中元素的值为0，则表示不存在下一个点的编号。该转移矩阵可以表达如下：

手势密码输出模块将轨迹序列在图形界面中进行展示，并作为手势密码的破解结果。被攻击者绘制的解锁密码和系统的推测结果例子如图4和图5所示。

Claims (2)

1.一种基于可穿戴手环的手势密码破解系统，其特征包括：数据处理器和可穿戴手环终端；

所述数据处理器集成有无线传输主模块、信号预处理模块、加速度数据分析模块、角速度数据分析模块、第一模型分类模块、第二模型分类模块、剪枝模块和手势密码输出模块；

所述可穿戴手环终端集成有无线传输从模块、三轴加速度传感器和三轴陀螺仪；

所述三轴加速度传感器和三轴陀螺仪分别获取从输入开始到输入结束时腕部的加速度数据和角速度数据并通过所述无线传输从模块发送给所述数据处理器；

所述信号预处理模块通过无线传输主模块获取加速度数据和角速度数据后，利用巴特沃斯低通滤波器分离数据中的高频噪声，再通过所设定的角速度能量阈值来判断去燥后的数据中用户开始输入和结束输入的时间点，从而确定用户输入手势密码的有效时间段；提取有效时间段所对应的角速度数据的统计特征用于判断手势密码方向发生变化的时间点，根据所述时间点将有效时间段所对应的加速度数据和角速度数据进行分割，从而得到一系列只包含单一方向的加速度信号段和角速度信号段；

所述加速度数据分析模块对所述加速度信号段进行特征提取，得到腕部向每个不同方向运动时的加速度特征向量，包括x、y、z三轴加速度的平均值、加速度最大值、加速度最小值和三轴位移；

所述角速度数据分析模块对所述角速度信号段进行特征提取，得到腕部向每个不同方向转动时的角速度特征向量，包括x、y、z三轴角速度的平均值、角速度最大值、角速度最小值和角位移；

所述第一模型分类模块获取加速度特征向量和角速度特征向量并输入至训练好的支持向量机的方向分类模型中进行手部运动方向的分类，得到手腕每一段运动方向的判断结果；

所述第二模型分类模块获取三轴位移和角位移、以及手腕每一段运动方向的判断结果并输入至训练好的支持向量机的位移分类模型中进行手部位移的分类，得到手腕每一段运动的带有方向的位移；

所述剪枝模块对手势密码的九宫格图中的9个点建立转移矩阵，并利用转移矩阵将手腕每一段运动的带有方向的位移转化为手指在手势密码的九宫格图中经过点的轨迹序列；

所述剪枝模块中的转移矩阵是按如下过程获得：

将手势密码的九宫格图中的9个点按照从左到右、从上到下的顺序依次编号为1-9；

在用户解锁手势密码时，令手指的位移方向包括：上、下、左、右、45°左上、45°左下、45°右上、45°右下的八种方向；

令手指的位移大小是在所选择的位移方向下，由当前点经过九宫格内另一个点所构成的一段位移，或是由当前点经过连续九宫格内的另外两个点所构成的一段位移；

从而得到手指的运动的16种位移状态，并用一个维度为9×16的矩阵表示手势密码九宫格图内的所有9个点通过每种位移状态所能到达的下一个点，其中，矩阵的列代表九宫格图中的点，矩阵的行代表手指的不同位移状态，矩阵中元素的值表示所对应的点经过所对应的位移状态能到达的下一个点的编号，若矩阵中元素的值为0，则表示不存在下一个点的编号；

所述手势密码输出模块将轨迹序列在图形界面中进行展示，并作为手势密码的破解结果。

2.根据权利要求1所述的手势密码破解系统，其特征是，所述信号预处理模块中的角速度数据的统计特征是按如下过程获得：

使用滑动窗口法扫描有效时间段所对应的角速度数据，且每个滑动窗口内均包含一定长度时间内的角速度数据；

对每个滑动窗口内的所有角速度数据，利用式(1)计算时刻t的角速度统计特征D(t)：

D(t)＝|G_x(t)-G_y(t)|+|G_y(t)-G_z(t)|+|G_z(t)-G_x(t)| (1)

式(1)中，G_x(t)、G_y(t)、G_z(t)分别代表t时刻的x轴、y轴、z轴的角速度；

以D(t)在当前滑动窗口内取得最小值所对应的时间点作为手势密码方向发生变化的时间点。

Images