CN117827011B - 基于用户行为预测的按键反馈方法、装置和存储介质 - Google Patents

Abstract

本申请涉及电数字数据处理领域，提供了基于用户行为预测的按键反馈方法、装置和计算机存储介质。所述方法包括：收集用户的击键序列数据，用户的击键序列数据包括多个按键和用户的击键习惯量化值；通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量；将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对LSTM模型进行训练，得到已训练LSTM模型；当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为；基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。本申请的技术方案可以在不同的用户使用键盘时能给用户带来个性化的击键体验。

Description

基于用户行为预测的按键反馈方法、装置和存储介质

技术领域

本申请涉及电数字数据处理领域，特别涉及一种基于用户行为预测的按键反馈方法、装置和存储介质。

背景技术

随着计算机技术的飞速发展，个人电脑（计算机）作为最为常见的终端，不仅能够运行更多的应用程序，还能联网与服务器进行各种交互，例如网络游戏等。用户要完成电脑上的操作，通常情况下需要使用键盘。键盘是计算机中最常用的输入设备之一，主要用于输入命令、文本信息及进行控制等。键盘的出现极大地方便了人们的日常生活和工作，使得人们可以更加高效地使用计算机。

键盘包括按键、开关、键盘矩阵、扫描电路和编码器等基本部件，键盘的扫描电路会不断扫描这个键盘矩阵，检测哪些行列交点处于闭合状态即按键被按下。一旦检测到按键动作，编码器将该行列坐标转换为特定的键盘扫描码。当键盘发送扫描码到计算机时，操作系统的键盘驱动程序将扫描码翻译为相应的字符或指令。

现有的键盘在按键被按下时，给用户的反馈基本都是一样的，这在一些特定场景下给用户的体验并不是最佳的，或者，并不具有个性化的体验。

发明内容

本申请提供一种基于用户行为预测的按键反馈方法、装置和存储介质，可以在不同的用户使用键盘时能给用户带来个性化的击键体验。

一方面，本申请提供了一种基于用户行为预测的按键反馈方法，所述方法包括：

收集用户的击键序列数据，所述用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；

通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，所述特征向量中唯一一个不同于其他分量的特定分量对应于所述多个按键中的每一个按键；

将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；

当所述用户对键盘的按键进行击键时，所述已训练LSTM模型根据所述用户的即时击键行为预测所述用户的即将击键行为；

基于所述用户的即将击键行为，向所述键盘集成的硬件发送控制命令，以在所述即将击键行为付诸实施时提供相应的物理反馈。

另一方面，本申请提供了一种基于用户行为预测的按键反馈装置，所述装置包括：

记录模块，用于收集用户的击键序列数据，所述用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；

提取模块，用于通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，所述特征向量中唯一一个不同于其他分量的特定分量对应于所述多个按键中的每一个按键；

训练模块，用于将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；

预测模块，用于当所述用户对键盘的按键进行击键时，所述已训练LSTM模型根据所述用户的即时击键行为预测所述用户的即将击键行为；

反馈模块，用于基于所述用户的即将击键行为，向所述键盘集成的硬件发送控制命令，以在所述即将击键行为付诸实施时提供相应的物理反馈。

第三方面，本申请提供了一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于用户行为预测的按键反馈方法的技术方案的步骤。

第四方面，本申请提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于用户行为预测的按键反馈方法的技术方案的步骤。

从上述本申请提供的技术方案可知，通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为，然后，基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。由于已训练LSTM模型是由用户的击键习惯量化值和每一个按键的特征向量作为LSTM模型的输入数据（或样本数据）训练所得，因此，在即将击键行为付诸实施时提供相应的物理反馈非常符合用户的击键习惯的反馈，给用户个性化的击键体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于用户行为预测的按键反馈方法的流程图；

图2是本申请实施例提供的基于用户行为预测的按键反馈装置的结构示意图；

图3是本申请实施例提供的设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤（等）不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。

在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。

键盘是计算机中最常用的输入设备之一，主要用于输入命令、文本信息及进行控制等。键盘的出现极大地方便了人们的日常生活和工作，使得人们可以更加高效地使用计算机。键盘包括按键、开关、键盘矩阵、扫描电路和编码器等基本部件，键盘的扫描电路会不断扫描这个键盘矩阵，检测哪些行列交点处于闭合状态即按键被按下。一旦检测到按键动作，编码器将该行列坐标转换为特定的键盘扫描码。当键盘发送扫描码到计算机时，操作系统的键盘驱动程序将扫描码翻译为相应的字符或指令。现有的键盘在按键被按下时，给用户的反馈基本都是一样的。在一些特定场景下，例如，游戏场景或者编程环境，若键盘给到所有用户的击键反馈总是一样，则无法给一些“发烧友”的用户带来最佳使用体验，或者，并不能带来个性化的体验。

针对现有技术的上述问题，本申请提出一种基于用户行为预测的按键反馈方法，可以在不同的用户使用键盘时能给用户带来个性化的击键体验，其流程图如附图1所示，主要包括步骤S101至S105，详述如下：

步骤S101：收集用户的击键序列数据，其中，用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值。

在本申请实施例中，用户的击键序列数据的可以是该用户历史上使用键盘时的数据，亦可以是刻意提供的使用键盘的相关数据。一个用户的击键序列数据可以是该用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值。需要说明的是，“用户敲击键盘的按键”中的“按键”指的是键盘上物理的键，而“得到的多个按键”中的“按键”指的是键盘上物理的键对应字符的某种值，例如，ASCII值（例如，按键“k”的ASCII值为107，按键“e”的ASCII值为101，等等）。在用户的击键序列数据中，用户的击键习惯量化值是对用户击键习惯的量化，包括用户每一次击键的时间间隔、每一次击键的持续时长和每一次击键的力度等，这些量化数据反映了用户在敲击键盘按键时的击键习惯。

步骤S102：通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，其中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键。

在本申请实施例中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键，特定分量例如可以是1，其他分量可以是0，例如，特征向量[0，0，1，0，0，0]，其中的“1”即为特征向量的特定分量。由于特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键，因此，若直接对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，则随着需要编码的按键数量的增多或者需要编码的按键数量较多，则该特征向量的维度将非常大。例如，一个标准键盘含有104个按键，若直接对多个按键中的每一个按键进行编码，则最后得到的特征向量为104维的向量，而特征向量的维度过大，后续对其处理时不可避免地陷入“维度灾难”。因此，为了避免陷入“维度灾难”或者便于处理，本申请在对按键编码时，采取了降维的技术手段，使得最后提取的特征向量的维度为一个合适的值。具体地，通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量可以通过如下步骤S10201至步骤S1023实现：

步骤S10201：确定哈希函数和哈希表，其中，哈希表的大小预设为M，M为自然数。

需要说明的是，哈希函数是一种从任意大小的数据块（输入）映射到固定大小的数据（输出）的算法，对于同一个输入值，无论执行多少次哈希函数，理应产生相同的哈希值，这是由哈希函数的确定性这一特性决定的；设计良好的哈希函数应该能够均匀地分布各个键（key）的哈希值（value），以减少哈希冲突（collision）的概率。哈希表（Hash Table），又称散列表，是基于快速数据访问需求设计的一种数据结构，它通过一个关联数组实现键（key）到值（value）的映射，主要特点是利用哈希函数计算出键的哈希值，并以此作为数组的索引来访问元素，这可以提供非常快速的查找、插入和删除操作。在本申请实施例中，可以基于资源节省、特征向量的降维、减小哈希冲突的概率等多重考虑，确定哈希表的大小M，例如，设定M为10。

步骤S10202：根据哈希函数、哈希表和每一个按键对应的值，计算每一个按键在哈希表中的位置。

此处，按键对应的值可以是按键的ASCII值，例如，按键“k”的ASCII值为107，按键“e”的ASCII值为101，等等。具体地，根据哈希函数、哈希表和每一个按键对应的值，计算每一个按键在哈希表中的位置可以是：以每一个按键的值作为哈希函数的自变量，计算每一个按键的哈希值；将哈希值对哈希表的大小M求模，求模后的结果为每一个按键的在哈希表中的位置。例如，假设哈希表的大小M=10，哈希函数y=H（x），按键“k”对应的值为107，作为哈希函数y=H（x）的自变量x，计算按键“k”的哈希值是3，将哈希值3对10求模，结果为3，则按键“k”在大小为10的哈希表中的位置就是在索引3那里；按键“3”对应的值为101，作为哈希函数y=H（x）的自变量x，计算按键“e”的哈希值是8，将哈希值8对10求模，结果为8，则按键“e”在大小为10的哈希表中的位置就是在索引8那里，等等。

步骤S10203：在维度为M的向量中位置相应于每一个按键在哈希表中的位置放置特定码作为特定分量，得到每一个按键的特征向量。

由于哈希表的大小和特征向量的维度都为M，因此，每一个按键在哈希表中的位置也就是该按键对应的特定分量在特征向量中的位置。例如，前述实施例中，按键“k”在大小为10的哈希表中的位置就是在索引3那里，若特定码为1，则按键“k”的特征向量为[0，0，1，0，0，0，0，0，0，0]；按键“e”在大小为10的哈希表中的位置就是在索引8那里，若特定码为1，则按键“e”的特征向量为[0，0，0，0，0，0，0，1，0，0]，等等。

通过上述实施例的步骤S1021至步骤S1023，将按键的特征向量的维度降低到合适的大小，减少了计算资源的消耗，成功地避免后续对特征向量处理时陷入“维度灾难”。

步骤S103：将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型。

经步骤S101收集的用户的击键习惯量化值以及经步骤S102提取的每一个按键的特征向量，可以作为训练长短期记忆（Long Short-Term Memory，LSTM）模型的样本数据。LSTM是训练循环神经网络（Recurrent Neural Network，RNN）的一种特殊形式，它通过引入门控机制来解决RNN在处理长序列时可能出现的梯度消失或梯度爆炸的问题，这使得LSTM能够学习长期依赖关系。

作为本申请一个实施例，将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型可以通过步骤S1031至步骤S1036实现，详细说明如下：

步骤S1031：通过对原始训练样本进行扩增操作得到扩增样本集，其中，原始训练样本包括用户的击键习惯量化值和每一个按键的特征向量。

样本扩增是指通过特定的方式对训练样本进行变换，生成新的样本数据，或者直接生成模拟数据，以增加训练样本的数据量，丰富训练样本的多样性，一方面，可以降低样本的获取成本，另一方面，样本丰富多样，意味着训练出来的模型其泛化能力更强。

步骤S1032：根据扩增样本集，通过辅助模型组确定扩增样本对应的权重组，其中，权重组中每一个权重用于表示使用扩增样本训练LSTM模型相比于使用训练样本训练LSTM模型时对LSTM模型性能提升的贡献程度，提升越大，该权重越大。

在本申请实施例中，LSTM模型包括特征提取网络，辅助模型组包括多个辅助模型，相应地，根据扩增样本集，通过辅助模型组确定扩增样本对应的权重组是指根据扩增样本集，通过辅助模型组的每一个辅助模型确定扩增样本集每一个扩增样本对应的一个权重，例如，若辅助模型组包含N1、N2、…、Nn共计n个辅助模型，则根据扩增样本集，通过辅助模型组的每一个辅助模型确定扩增样本集每一个扩增样本对应的一个权重是指根据扩增样本，通过辅助模型组的辅助模型N1、N2、…、Nn分别确定扩增样本集每一个扩增样本对应的权重w1、w2、…、wn共计n个权重，且权重w1对应于辅助模型N1、权重w2对应于辅助模型N2、……、权重wn对应于辅助模型Nn。需要说明的是，之所以要使用辅助模型组即多个辅助模型确定权重组，是因为若通过单个辅助模型对扩增样本的评估不准确，则可能会导致错误的扩增样本被赋予高权重，反之亦然。具体地，根据扩增样本集，通过辅助模型组确定扩增样本集对应的权重组可以是：根据特征提取网络，对扩增样本集的每一扩增样本进行特征提取，以获取第一特征向量；获取用于指示样本扩增操作的第二特征向量；根据第一特征向量和第二特征向量，通过辅助模型组中每一个辅助模型确定每一扩增样本对应的每一个权重，得到辅助模型组对应的权重组。需要说明的是，每一个权重反映了扩增样本集的每一扩增样本对LSTM模型性能提升的贡献程度。如果一个扩增样本能够显著提升LSTM模型的性能，则被赋予更大的权重。

步骤S1033：融合权重组，得到融合权重。

如前所述，通过单个辅助模型确定的扩增样本的权重可能有失偏颇，因此，在得到权重组后，可以融合权重组，即，将权重组中的权重按照某种方式进行处理，例如，权重平均或投票机制，融合各个辅助模型对应的权重，得到融合权重。

步骤S1034：采用扩增样本集和融合权重对LSTM模型进行训练，得到第一损失值。

需要说明的是，尽管融合权重是通过权重平均或投票机制将各个辅助模型的权重融合得到，然而，这并不意味着在后续使用它对LSTM模型进行训练时一成不变。若LSTM模型的性能提升不显著，则有理由降低融合权重对损失值的影响，反之则增加其对损失值的影响，这意味着在对LSTM模型进行训练时，可以动态调整融合权重，动态调整融合权重的方法具体包括：持续跟踪LSTM模型在验证集上的表现，例如准确率、损失值等关键指标；设定一个性能改进的阈值；当LSTM模型在连续几个迭代轮数内的性能提升未达到设定阈值时，则可以按照如下公式调整融合权重：

其中，是下一时刻即（t+1）时刻的融合权重，/>是当前时刻即t时刻的融合权重，/>是衰减率，也是一个超参数，可通过交叉验证等方式来确定其最佳值，/>是性能变化量，可以通过/>计算得出，其中，/>和/>分别是（t+1）时刻和t时刻LSTM模型在验证集上的性能指标，例如准确率、F1分数等。从上述调整融合权重的表达式可知，当性能提高（即/>为正）时，融合权重的值会增加，从而使得相关样本损失在总损失中的比重增加。反之，当性能没有提高或下降时（即/>接近0或为负），融合权重的值会降低，从而使得相关样本损失在总损失中的比重降低。

步骤S1035：将第一损失值和融合权重进行融合，以获取第二损失值。

将第一损失值和融合权重进行融合，可以通过简单的乘法操作来完成，即，将第一损失值与融合权重相乘，乘积作为第二损失值，或者更复杂的函数来融合第一损失值与融合权重，融合结果作为第二损失值。

步骤S1036：根据第二损失值，对LSTM模型进行训练，以得到已训练LSTM模型。

可以理解的是，在对模型的训练过程中，学习率是一个比较关键的超参数。合适的学习率不仅可以提升模型训练的效率，而且可以提升模型训练的性价比。在上述对LSTM模型进行训练的过程中，本申请实施例提供如下两种动态调整学习率的方法：

方法一：按照如下公式调整学习率：

其中，是t时刻的学习率，/>是初始的学习率，/>是衰减常数，t是当前的迭代轮数或迭代次数。

方法二：按照如下公式调整学习率：

其中，是t时刻的学习率，/>和/>分别是学习率的最大值和最小值，T是一个周期内的总迭代轮数，t是当前的迭代轮数或迭代次数。

从上述示例的步骤S1031至步骤S1035可知，一方面，通过样本扩增，可以显著增加样本多样性，这有助于提高LSTM模型的泛化能力；另一方面，通过为扩增的样本赋予权重，可以减少噪声样本对LSTM模型训练的影响（因为噪声样本通常不会提升模型性能，因而会被赋予较低的权重）；另一方面，根据当前模型的状态调整扩增样本的权重，从而实现更加高效和针对性的训练过程。

作为本申请另一实施例，将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型可以通过步骤S’1031至步骤S’1036实现，详细说明如下：

步骤S’1031：通过LSTM模型对样本数据进行预测，得到第一预测结果，其中，样本数据包括用户的击键习惯量化值和每一个按键的特征向量。

步骤S’1032：根据第一预测结果和样本数据的标签确定第一损失值。

步骤S’1033：根据LSTM模型的损失函数和样本数据创建对抗性微摄动，其中，对抗性微摄动小于或等于预设阈值。

需要说明的是，在本申请实施例中，之所以将对抗性微摄动限制在小于或等于预设阈值的范围，是为了确保加入的噪声是合理的，不会导致数据失去原有的意义。根据LSTM模型的损失函数和样本数据创建对抗性微摄动的一种方案可以是：根据样本数据，计算LSTM模型的损失函数在掺杂对抗性微摄动处的梯度；根据该梯度确定对抗性微摄动。具体地，对抗性微摄动的大小可以是上述梯度方向上小于或等于阈值的任意数值。当然，较为优选地，可以要求叠加的对抗性微摄动使得样本数据对应的损失值最大，此时，对抗性微摄动等于该梯度和阈值的乘积。在这种情况下，能够较大程度量化出LSTM模型预测结果错误的情况，以使得LSTM模型后续反向传播更新参数时能够基于掺杂这个对抗性微摄动后得到的损失值修正原来的决策边界，从而更好地应对预测中可能出现的噪声。

上述实施例中，根据样本数据，计算LSTM模型的损失函数在掺杂对抗性微摄动处的梯度；根据该梯度确定对抗性微摄动具体可以是：从LSTM模型的原始输入x开始，对其应用较小的随机对抗性微摄动，得到初始的对抗性微摄动；对于每个迭代步骤t，计算对抗性微摄动/>相对于损失函数的梯度；应用一个较小的对抗性微摄动，其中，/>是步长；更新/>，并确保/>在合法的摄动范围内，例如，通过将更新的对抗性微摄动/>投影至与x距离不超过半径为/>的球体上来实现；重复上述步骤直到达到迭代次数上限或收敛。上述实施例中，符号函数sign( )用于提取损失函数梯度的符号（正或负），而忽略其大小，如此是因为只需要关心梯度的方向（即对输入变量增加或减少会导致损失增加），而不关心变化的大小。由此可知，当使用符号函数来计算梯度的符号时，通过对每个维度的梯度取其符号，来创建一个与梯度方向一致的单位向量。然后，这个单位向量乘以一个小常数/>用于生成一个小幅度的对抗性微摄动，该对抗性微摄动会被加到LSTM模型的原始输入上，以创建一个对抗性样本。该方法的核心思想是通过沿LSTM模型的损失增加最快的方向输入摄动，从而最大程度地影响LSTM模型的输出。

步骤S’1034：向样本数据掺杂对抗性微摄动，通过LSTM模型对样本数据进行预测，得到第二预测结果。

步骤S’1035：根据第二预测结果和样本数据的标签确定第二损失值。

步骤S’1036：根据第一损失值和第二损失值调整LSTM模型的参数，根据调整参数后的LSTM模型的损失函数和样本数据创建新的对抗性微摄动对LSTM模型进行迭代训练，直至LSTM模型在验证集的错误率达到最小值时得到已训练LSTM模型，其中，新的对抗性微摄动小于或等于所述预设阈值。

上述示例的步骤S’1031至步骤S’1036本质上是一种典型的对抗性训练方法，通过这样的对抗性训练，使得LSTM模型在学习到如何处理原始数据的同时，也学会了如何处理包含噪声的数据。这种训练方法可以显著提升LSTM模型对于异常值和小摄动的鲁棒性，使LSTM模型在实际应用中更加稳定和可靠

步骤S104：当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为。

尽管在很多情况下，基于用户的即时击键行为来调整按键的物理反馈是更为直接和简单的方法，而且可以实时地响应用户的输入。然而，在某些高级或特定的应用场景中，可能会考虑使用预测模型（例如，上述已训练LSTM模型）根据用户的即时击键行为预测用户的即将击键行为，兹举几例：

场景一：若能够预测用户的击键模式，则可能进一步个性化键盘的反馈，例如，为快速打字的段落提前调整按键的灵敏度；

场景二：在某些情况下，预测用户的击键顺序可以准备好接下来的按键反馈，从而减少响应时间，尤其是在用户有一致的打字模式时；

场景三：若模型能够预测用户即将犯错的概率（例如，基于击键速度或者模式识别），则可以通过改变物理反馈来提醒用户，以避免错误的发生。

对于上述场景，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为是十分有意义的事情。需要说明的是，用户的即时击键行为包括用户敲击键盘的按键和用户的击键习惯等。由于在LSTM模型训练阶段，用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值作为训练样本对LSTM模型进行训练，因此，当用户对键盘的按键进行击键时，已训练LSTM模型能够根据用户的即时击键行为预测该用户的即将击键行为。

步骤S105：基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。

在本申请实施例中，键盘集成了能够调节按键反馈的硬件（例如，电磁触发器、小型电机或压电材料，等等）、力度和速度传感器等能够精确测量的感应部件和已训练LSTM模型，等等。因此，已训练LSTM模型在预测出用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。需要说明的是，此处的物理反馈（Physical Feedback）是指用户敲击键盘的按键时接收到的感觉。这种感觉可以通过如下几种方式中的任意一种或多种实现：

触觉反馈（Haptic feedback）： 这种反馈可以通过在键盘中嵌入小型的振动马达来提供，模仿机械键盘的点击感或提供不同程度的震动感觉；

力度反馈（Force feedback）：这种反馈涉及到改变按键下压时的阻力，可能通过可变阻尼机构或电磁元件来实现；

声音反馈（Auditory feedback）：通过发出不同的声音来模拟不同的敲击感，或者根据按键力度的不同改变声音的强度。

例如，如果一个用户在打字时倾向于用较大的力度敲击空格键，物理反馈系统可以增加空格键的阻力，以给用户一种更坚实的敲击感。

从上述附图1示例的基于用户行为预测的按键反馈方法可知，通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为，然后，基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。由于已训练LSTM模型是由用户的击键习惯量化值和每一个按键的特征向量作为LSTM模型的输入数据（或样本数据）训练所得，因此，在即将击键行为付诸实施时提供相应的物理反馈非常符合用户的击键习惯的反馈，给用户个性化的击键体验。

请参阅附图2，是本申请实施例提供的一种基于用户行为预测的按键反馈装置，该装置可以包括记录模块201、提取模块202、训练模块203、预测模块204和反馈模块205，详述如下：

记录模块201，用于收集用户的击键序列数据，其中，用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；

提取模块202，用于通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，其中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键；

训练模块203，用于将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；

预测模块204，用于当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为；

反馈模块205，用于基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。

从上述附图2示例的基于用户行为预测的按键反馈装置可知，通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为，然后，基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。由于已训练LSTM模型是由用户的击键习惯量化值和每一个按键的特征向量作为LSTM模型的输入数据（或样本数据）训练所得，因此，在即将击键行为付诸实施时提供相应的物理反馈非常符合用户的击键习惯的反馈，给用户个性化的击键体验。

图3是本申请一实施例提供的设备的结构示意图。如图3所示，该实施例的设备3主要包括：处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32，例如基于用户行为预测的按键反馈方法的程序。处理器30执行计算机程序32时实现上述基于用户行为预测的按键反馈方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器30执行计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示记录模块201、提取模块202、训练模块203、预测模块204和反馈模块205的功能。

示例性地，基于用户行为预测的按键反馈方法的计算机程序32主要包括：收集用户的击键序列数据，其中，用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，其中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键；将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为；基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。计算机程序32可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器31中，并由处理器30执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序32在设备3中的执行过程。例如，计算机程序32可以被分割成记录模块201、提取模块202、训练模块203、预测模块204和反馈模块205（虚拟装置中的模块）的功能，各模块具体功能如下：记录模块201，用于收集用户的击键序列数据，其中，用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；提取模块202，用于通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，其中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键；训练模块203，用于将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；预测模块204，用于当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为；反馈模块205，用于基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。

设备3可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是设备3的示例，并不构成对设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器30可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器 （Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器31可以是设备3的内部存储单元，例如设备3的硬盘或内存。存储器31也可以是设备3的外部存储设备，例如设备3上配备的插接式硬盘，智能存储卡（Smart MediaCard，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器31还可以既包括设备3的内部存储单元也包括外部存储设备。存储器31用于存储计算机程序以及设备所需的其他程序和数据。存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，基于用户行为预测的按键反馈方法的计算机程序可存储于一存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，收集用户的击键序列数据，其中，用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；通过对多个按键中的每一个按键进行编码，提取每一个按键的特征向量，其中，特征向量中唯一一个不同于其他分量的特定分量对应于多个按键中的每一个按键；将用户的击键习惯量化值和每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；当用户对键盘的按键进行击键时，已训练LSTM模型根据用户的即时击键行为预测用户的即将击键行为；基于用户的即将击键行为，向键盘集成的硬件发送控制命令，以在即将击键行为付诸实施时提供相应的物理反馈。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于用户行为预测的按键反馈方法，其特征在于，所述方法包括：

收集用户的击键序列数据，所述用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；

通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，所述特征向量中唯一一个不同于其他分量的特定分量对应于所述多个按键中的每一个按键；

将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；

当所述用户对键盘的按键进行击键时，所述已训练LSTM模型根据所述用户的即时击键行为预测所述用户的即将击键行为；

基于所述用户的即将击键行为，向所述键盘集成的硬件发送控制命令，以在所述即将击键行为付诸实施时提供相应的物理反馈；

所述通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，包括：确定哈希函数和哈希表，所述哈希表的大小预设为M，所述M为自然数；根据所述哈希函数、哈希表和每一个按键对应的值，计算所述每一个按键在所述哈希表中的位置；在维度为所述M的向量中位置相应于所述每一个按键在所述哈希表中的位置放置特定码作为特定分量，得到所述每一个按键的特征向量；所述根据所述哈希函数、哈希表和每一个按键对应的值，计算所述每一个按键的在所述哈希表中的位置，包括：以所述每一个按键的值作为哈希函数的自变量，计算所述每一个按键的哈希值；将所述哈希值对所述哈希表的大小M求模，求模后的结果为所述每一个按键的在所述哈希表中的位置。

2.如权利要求1所述基于用户行为预测的按键反馈方法，其特征在于，所述将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型，包括：

通过对原始训练样本进行扩增操作得到扩增样本集，所述原始训练样本包括所述用户的击键习惯量化值和所述每一个按键的特征向量；

根据所述扩增样本集，通过辅助模型组确定所述扩增样本集对应的权重组，所述权重组中每一个权重用于表示使用所述扩增样本集的每个扩增样本训练LSTM模型相比于使用所述原始训练样本训练所述LSTM模型时对LSTM模型性能提升的贡献程度，当对所述LSTM模型性能提升越大，所述权重越大；

融合所述权重组，得到融合权重；

采用所述扩增样本集和所述融合权重对LSTM模型进行训练，得到第一损失值；

将所述第一损失值和所述融合权重进行融合，以获取第二损失值；

根据所述第二损失值，对所述LSTM模型进行训练，以得到所述已训练LSTM模型。

3.如权利要求2所述基于用户行为预测的按键反馈方法，其特征在于，所述LSTM模型包括特征提取网络，所述根据所述扩增样本集，通过辅助模型组确定所述扩增样本集对应的权重组，包括：

根据所述特征提取网络，对所述扩增样本集的每一扩增样本进行特征提取，以获取第一特征向量；

获取用于指示所述扩增样本操作的第二特征向量；

根据所述第一特征向量和所述第二特征向量，通过所述辅助模型组每一个辅助模型确定所述每一扩增样本对应的每一个权重，得到辅助模型组对应的权重组。

4.如权利要求1所述基于用户行为预测的按键反馈方法，其特征在于，所述将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型，包括：

通过LSTM模型对样本数据进行预测，得到第一预测结果，所述样本数据包括所述用户的击键习惯量化值和所述每一个按键的特征向量；

根据所述第一预测结果和所述样本数据的标签确定第一损失值；

根据所述LSTM模型的损失函数和所述样本数据创建对抗性微摄动，所述对抗性微摄动小于或等于预设阈值；

向所述样本数据掺杂所述对抗性微摄动，通过所述LSTM模型对所述样本数据进行预测，得到第二预测结果；

根据所述第二预测结果和所述样本数据的标签确定第二损失值；

根据所述第一损失值和所述第二损失值调整所述LSTM模型的参数，并基于调整参数后的所述LSTM模型的损失函数和所述样本数据创建新的对抗性微摄动对所述LSTM模型进行迭代训练，直至所述LSTM模型在验证集的错误率达到最小值时得到所述已训练LSTM模型，所述新的对抗性微摄动小于或等于所述预设阈值。

5.如权利要求4所述基于用户行为预测的按键反馈方法，其特征在于，所述根据所述LSTM模型的损失函数和所述样本数据创建对抗性微摄动，包括：

根据所述样本数据，计算所述LSTM模型的损失函数在掺杂所述对抗性微摄动处的梯度；

根据所述梯度确定所述对抗性微摄动。

6.一种基于用户行为预测的按键反馈装置，其特征在于，所述装置包括：

记录模块，用于收集用户的击键序列数据，所述用户的击键序列数据包括用户敲击键盘的按键时得到的多个按键和用户的击键习惯量化值；

提取模块，用于通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，所述特征向量中唯一一个不同于其他分量的特定分量对应于所述多个按键中的每一个按键，所述通过对所述多个按键中的每一个按键进行编码，提取所述每一个按键的特征向量，包括：确定哈希函数和哈希表，所述哈希表的大小预设为M，所述M为自然数；根据所述哈希函数、哈希表和每一个按键对应的值，计算所述每一个按键在所述哈希表中的位置；在维度为所述M的向量中位置相应于所述每一个按键在所述哈希表中的位置放置特定码作为特定分量，得到所述每一个按键的特征向量，所述根据所述哈希函数、哈希表和每一个按键对应的值，计算所述每一个按键的在所述哈希表中的位置，包括：以所述每一个按键的值作为哈希函数的自变量，计算所述每一个按键的哈希值；将所述哈希值对所述哈希表的大小M求模，求模后的结果为所述每一个按键的在所述哈希表中的位置；

训练模块，用于将所述用户的击键习惯量化值和所述每一个按键的特征向量作为输入数据对长短期记忆LSTM模型进行训练，得到已训练LSTM模型；

预测模块，用于当所述用户对键盘的按键进行击键时，所述已训练LSTM模型根据所述用户的即时击键行为预测所述用户的即将击键行为；

反馈模块，用于基于所述用户的即将击键行为，向所述键盘集成的硬件发送控制命令，以在所述即将击键行为付诸实施时提供相应的物理反馈。

7.一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任意一项所述方法的步骤。

8.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述方法的步骤。