CN111966226A - 一种基于补偿型长短期记忆网络的触感通信容错方法及系统 - Google Patents

Abstract

本发明涉及一种基于补偿型长短期记忆网络的触感通信容错方法及系统，根据触感数据特性，设计了补偿型LSTM数据预测模型，在接收数据时，利用该补偿型LSTM模型对通信过程中丢失的或者被压缩去掉的数据进行预测重构，恢复原序列。本发明通过加入补偿门对输出值进行补偿，进一步降低预测误差，提高触感通信系统稳定性。

Description

一种基于补偿型长短期记忆网络的触感通信容错方法及系统

技术领域

本发明涉及触感通信技术领域，特别是一种基于补偿型长短期记忆网络的触感通信容错方法及系统。

背景技术

随着虚拟现实(VR)和人工智能领域的发展，人们逐渐无法满足于视觉和听觉上获得的真实感和沉浸感，因而触感在业界受到越来越多的关注。触感数据在传输过程中可能因网络抖动等问题造成传输出错，进而可能导致触感通信系统不稳定。传统上采用零阶保持与一阶线性等方法解决此问题，但研究表明触感数据并不仅是简单的线性关系。近年来，长短期记忆(LSTM)神经网络由于其在时间序列预测上的优势，有研究人员利用其实现了触感数据的非线性预测，并在容错性能上有了较大提升。但是触感数据的变化规律性较差，使用原始的LSTM进行预测时，当遇到触感数据变化前后斜率突变的情况时，LSTM预测将在拐点处出现一个较大误差，并在之后的预测中延续或稍微减小该误差值，从而导致总体上的预测效果不佳。

发明内容

有鉴于此，本发明提出一种基于补偿型长短期记忆网络的触感通信容错方法及系统，通过加入补偿门对输出值进行补偿，进一步降低预测误差，提高触感通信系统稳定性。

本发明设计了以下方案实现：一种基于补偿型长短期记忆网络的触感通信容错方法，具体包括以下步骤：

根据触感数据特性，设计了补偿型LSTM数据预测模型，在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列。

进一步地，所述补偿型LSTM模型为R-LSTM模型，通过分析，所述R-LSTM模型为在原始的LSTM门结构上增加一个补偿门，根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，把得到的补偿值加入到原来LSTM的输出反馈值中，得到当前时刻的预测值。

进一步地，所述补偿门的计算公式如下：

rt＝sigmoid(w_r*(Output_tml-x_t-1)+b_r)；

式中，w_r、br、Output_tml、x_t-1分别为补偿门的权重系数、偏置系数、前一时刻的预测值、前一时刻的真实值，sigmoid()为激活函数，rt为计算得到的补偿值。

进一步地，所述R-LSTM模型的总体计算公式如下：

式中，f_t是遗忘门，i_t是输入门，

是细胞状态，o_t是输出门，h_t是当前时刻的输出反馈值；x_t表示当前时刻的真实值，x_t-1表示前一时刻的真实值；W项是权重矩阵，W_f、W_i、W_r和W_o分别是遗忘门、输入门、补偿门、输出门对应的权重矩阵，W_c是细胞状态的权重矩阵；b为偏置向量，b_f、b_i、b_r和b_o分别是遗忘门、输入门、补偿门、输出门的偏置向量，b_c是细胞状态的偏置向量；h_t-1是前一个时刻的输出反馈值，C_t-1和C_t分别表示前一个时刻和当前时刻的细胞状态，outputs_t-1代表前一个时刻的输出预测值，r_t代表当前时刻的补偿值；·表示矩阵之间的乘法运算，*表示逐元素相乘，σ和tanh是激活函数，σ表示sigmoid()函数，tanh()表示双曲正切函数。

进一步地，本发明的方法还包括步骤：在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量。

进一步地，所述缺失的数据为丢包数据或者因压缩省去的数据。

进一步地，所述对要发送的数据进行预测压缩具体为：采用下式对数据进行预测压缩：

式中，

为当前要发送的真实值，

为通过R-LSTM模型预测得到的预测值，k为死区参数。

进一步地，所述死区参数k的取值为0.15。

本发明还提供了一种补偿型长短期记忆网络的触感通信容错系统，包括接收端；根据触感数据特性，设计了补偿型LSTM数据预测模型，所述接收端在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列。

其中的所述补偿型LSTM模型为R-LSTM模型，该模型的具体内容同上文所述。

本发明还提供了一种补偿型长短期记忆网络的触感通信容错系统，包括接收端与发送端；根据触感数据特性，设计了补偿型LSTM数据预测模型，所述接收端在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列；所述发送端在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量；

其中，所述补偿型LSTM模型为R-LSTM模型，该模型的具体内容同上文所述。发送数据时的步骤也采用上文所述的方法。

与现有技术相比，本发明有以下有益效果：

1、本发明在原始LSTM网络的基础上，根据实验结果，改进了原先的网络结构，新加入了一个补偿门用于在误差较大时补偿输出值，从而使得预测更加精准，使得触感通信系统的稳定性得到较大改善。

2、本发明在发送端对要发送的数据进行压缩，当且仅当要发送的数据包的真实值和预测值的相对偏差大于死区参数k时，才发送当前数据，能够在同样的时间发送更多有用的数据，大幅度提高数据传输的效率。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的R-LSTM模型示意图。

图3为本发明实施例的LSTM实验结果示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于补偿型长短期记忆网络的触感通信容错方法，具体包括以下步骤：

根据触感数据特性，设计了补偿型LSTM数据预测模型，在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列。

进一步地，所述补偿型LSTM模型为R-LSTM模型，所述R-LSTM模型为在原始的LSTM门结构上增加一个补偿门，根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，把得到的补偿值加入到原来LSTM的输出反馈值中，得到当前时刻的预测值。

特别的，所述补偿型长短记忆神经网络模型为本发明根据实验在原有LSTM模型基础上进行改进所得到的。原始长短期记忆网络(LSTM)用于触感通信算法存在一定缺陷。为了测试LSTM预测算法的性能，本实施例通过设计了无丢包的触感通信容错实验，用LSTM预测算法，在没有丢包的情况下，由前一时刻的真实值来预测当前时刻的值。最后把预测值与真实值进行比较，客观评价指标采用绝对误差。截取一小段区间预测值与真实值的拟合情况，如图3所示。其中，横坐标是对应的记录时间，单位为ms；纵坐标是触感数据的值大小，单位为cm/s；黑色圆点是真实值，灰色圆点是预测值。发现在触感数据拐点处有个误差峰值，而在误差峰值过后会发生误差的累积，使得误差不能衰减。为了克服这个问题，本发明提出补偿门的思想，用前一时刻的预测误差值来对这一时刻的预测值进行补偿，使得误差迅速衰减，进一步降低预测误差，提高触感通信系统稳定性。

本实施例结合实验结果，在原始的LSTM门结构上增加了一个补偿门，R-LSTM的结构如图2所示。根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，把得到的补偿值加入到原来LSTM的输出反馈值中，得到当前时刻的预测值。

在本实施例中，所述补偿门的计算公式如下：

rt＝sigmoid(w_r*(Output_tml-x_t-1)+b_r)；

式中，w_r、b_r、Output_tml、x_t-1分别为补偿门的权重系数、偏置系数、前一时刻的预测值、前一时刻的真实值，sigmoid()为激活函数，rt为计算得到的补偿值。

在本实施例中，所述R-LSTM模型的总体计算公式如下：

式中，f_t是遗忘门，i_t是输入门，

是细胞状态，o_t是输出门，h_t是当前时刻的输出反馈值；x_t表示当前时刻的真实值，x_t-1表示前一时刻的真实值；W项是权重矩阵，W_f、W_i、W_r和W_o分别是遗忘门、输入门、补偿门、输出门对应的权重矩阵，W_c是细胞状态的权重矩阵；b为偏置向量，b_f、b_i、b_r和b_o分别是遗忘门、输入门、补偿门、输出门的偏置向量，b_c是细胞状态的偏置向量；h_t-1是前一个时刻的输出反馈值，C_t-1和C_t分别表示前一个时刻和当前时刻的细胞状态，outputs_t-1代表前一个时刻的输出预测值，r_t代表当前时刻的补偿值；·表示矩阵之间的乘法运算，*表示逐元素相乘，σ和tanh是激活函数，σ表示sigmoid()函数，tanh()表示双曲正切函数。激活函数主要用于实现非线性建模。激活函数能够使神经网络具备分层的非线性映射能力，因此LSTM作为一种非线性预测算法更符合触感数据的变化规律。在此基础上补偿得到的R-LSTM通过把补偿值r_t加入到原来的输出反馈值，得到更新的当前时刻的输出反馈值h_t，使得预测网络能根据前一时刻的误差来对当前时刻的预测进行调整，最终达到消除误差累积的效果。

本实施例通过前一时刻LSTM网络的输出值即预测值与真实值的差值，经过激活函数后对当前时刻LSTM网络的输出值加权，得到当前时刻的输出值。通过上述方案，就可以实现在LSTM网络预测时出现较大误差后，在下一时刻迅速拟合真实值，减小拐点误差对后续预测的影响，进一步提升LSTM网络在触感通信领域的预测准确性。

本实施例的方法还包括步骤：在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量。

在本实施例中，所述缺失的数据为丢包数据或者因压缩省去的数据。

在本实施例中，所述对要发送的数据进行预测压缩具体为：采用下式对数据进行预测压缩：

式中，

为当前要发送的真实值，

为通过R-LSTM模型预测得到的预测值，k为死区参数。

在本实施例中，所述死区参数k的取值为0.15。

本实施例还提供了一种补偿型长短期记忆网络的触感通信容错系统，包括接收端；根据触感数据特性，设计了补偿型LSTM数据预测模型，所述接收端在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列。

其中的所述补偿型LSTM模型为R-LSTM模型，该模型的具体内容同上文所述。

本实施例还提供了一种补偿型长短期记忆网络的触感通信容错系统，包括接收端与发送端；根据触感数据特性，设计了补偿型LSTM数据预测模型，所述接收端在接收数据时，采用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列；所述发送端在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量；

其中，所述补偿型LSTM模型为R-LSTM模型，该模型的具体内容同上文所述。发送数据时的步骤也采用上文所述的方法。

本实施例在方法与系统的构建时，采用以下步骤：

步骤S1、基于补偿型长短期记忆神经网络，即补偿型长短期记忆网络(R-LSTM)模型。确定模型参数，目标神经网络的损失函数，训练并优化模型至性能最佳状态；

步骤S2、将训练好的R-LSTM模型用于发送端的数据压缩；

步骤S3、在触感通信实验平台上设计随机丢包，模拟实际通信系统；

步骤S4、在接收端，对于丢失和压缩的触感数据，通过R-LSTM网络进行预测重构，恢复原始数据。

其中，通过模型的训练确定补偿门的权重系数与偏置系数，该模型的搭建及训练是基于Tensorflow2.0版本及python3环境的，所述步骤S1具体实现如下：

步骤S11、读取通过触感设备人为操作的进行走迷宫实验获取的触感数据集，用于模型训练，由于触感数据的变化范围较广，直接用于模型训练时将会影响到最后的预测性能，因此有必要对提取到的数据进行标准化，标准化方法为normalize_data＝(data+10)/20，通过标准化后可以将触感数据的范围控制在[0，1]，更适用于模型训练。经过标准化后的数据虽然已经满足模型训练的要求，但通过实验发现，将数据洗牌后打乱分批，之后再进行训练将显著提高模型性能；

步骤S12、确定损失函数。常用于形容触感通信系统稳定性的质量指标为均方误差(Mean Square Error：MSE)，因此在模型训练与质量评价环节设置损失函数为MSE，公式如下：

式中，

为真实值，

为通过R-LSTM网络得到的预测值，N为样本总数。

步骤S13、将数据输入到补偿型LSTM网络进行训练，根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，通过激活函数sigmoid()后对预测值进行补偿，得到最终的预测值；

R-LSTM网络的优化器选择“Adam”优化器，该优化器是基于梯度下降的一种优化算法，能够保持在梯度的指数衰减的平均值，同时具有计算高效、对内存需求小的优点。影响R-LSTM模型性能的参数有很多，经过模型的优化，最终设定的参数为：隐藏单元个数为10，批次大小为128，迭代次数为100。

其中，步骤S2具体实现如下：

步骤S21、首先将触感数据归一化，由于触感数据的变化区间较大，不利于精准预测，因此在实验中设计将触感数据归一化的方式将触感数据控制在0-1之间。根据韦伯所提出的人体感知特性及死区，人体对触觉上的感知存在一定区域性，即在当前触感与前一时刻触感的相对变化小于某一常量k时，人体无法感知到这一触感变化，韦伯将此变化区间称为死区。为了进一步压缩数据，在实验中通过将预测算法与死区压缩相结合的方法对数据进行压缩，其压缩原理如下：

其中，

为当前要发送的真实值，

为通过预测算法得到的预测值，k为死区参数，在实验中取参考值为0.15。

步骤S22、基于步骤S21确定的数据压缩方式，需要确定与死区压缩结合的预测算法。由于触感数据并非是简单的线性数据，并且其变化规律性较差的影响，传统的预测算法并不适用于触感数据的预测，而原始长短期记忆网络(LSTM)用于触感通信算法也存在一定缺陷。因此本发明通过设计微观实验，比较LSTM预测触感数据时的误差情况，结合实验结果，在原始的LSTM门结构上增加了一个补偿门。根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，通过激活函数sigmoid()后对这一预测值进行补偿，得到当前时刻的预测值。通过该R-LSTM网络结合死区压缩，进行数据压缩。

其中，步骤S3具体实现如下：

步骤S31、发送端发送的数据在网络中通过正态分布生成一个随机数，根据随机数的大小模拟实际通信过程中的包丢失问题，在实验中共设置8种不同的丢包率，分别是0％，5％，10％，15％，20％，30％，40％，50％。

步骤S32、基于步骤S31，通过布尔型指针*TransmitFlag的状态来代表通信过程中是否发生丢包，每一时刻*TransmitFlag的状态通过随机产生一个正态分布的值来确定，共设置0％-50％八种不同的丢包率，并将*TransmitFlag的状态保存在标志位loss_v中，表示每一时刻的数据是否丢包；

其中，步骤S4具体如下：

步骤S41、在接收端，若是由发送端发送的数据，共有两种情况。若*TransmitFlag＝True，则表示接收端接收到发送端发送的数据，此时的预测值为真实值，即不需要进行预测；若*TransmitFlag＝False，则表示通信过程中发生丢包，此时预测值通过R-LSTM网络预测得到。此外，在死区内的数据同样需要通过R-LSTM网络进行预测重构；

步骤S42、除去步骤S41中发送端发送的数据外，触感通信容错算法还需要恢复在死区范围内，即被压缩的数据，这部分数据均需要通过R-LSTM网络进行预测获得。

步骤S43、基于步骤S41、步骤S42，接收端获得了所需要的触感数据，此时的触感数据依旧处于标准化状态，进行反归一化后即为最终得到的触感数据预测值。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，包括以下步骤：

根据触感数据特性，设计补偿型LSTM数据预测模型，在接收数据时，利用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列。

2.根据权利要求1所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述补偿型LSTM模型为R-LSTM模型，所述R-LSTM模型为在原始的LSTM门结构上增加一个补偿门，根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，把得到的补偿值加入到原来LSTM的输出反馈值中，得到当前时刻的预测值。

3.根据权利要求2所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述补偿门的计算公式如下：

rt＝sigmoid(w_r*(Output_tml-x_t-1)+b_r)；

式中，w_r、br、Output_tml、x_t-1分别为补偿门的权重系数、偏置系数、前一时刻的预测值、前一时刻的真实值，sigmoid()为激活函数，rt为计算得到的补偿值。

4.根据权利要求2所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述R-LSTM模型的总体计算公式如下：

式中，f_t是遗忘门，i_t是输入门，

是细胞状态，o_t是输出门，h_t是当前时刻的输出反馈值；x_t表示当前时刻的真实值，x_t-1表示前一时刻的真实值；W项是权重矩阵，W_f、W_i、W_r和W_o分别是遗忘门、输入门、补偿门、输出门对应的权重矩阵，W_c是细胞状态的权重矩阵；b为偏置向量，b_f、b_i、b_r和b_o分别是遗忘门、输入门、补偿门、输出门的偏置向量，b_c是细胞状态的偏置向量；h_t-1是前一个时刻的输出反馈值，C_t-1和C_t分别表示前一个时刻和当前时刻的细胞状态，outputs_t-1代表前一个时刻的输出预测值，r_t代表当前时刻的补偿值；·表示矩阵之间的乘法运算，*表示逐元素相乘，σ和tanh是激活函数，σ表示sigmoid()函数，tanh()表示双曲正切函数。

5.根据权利要求1所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，还包括步骤：在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量。

6.根据权利要求5所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述缺失的数据为丢包数据或者因压缩省去的数据。

7.根据权利要求5所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述对要发送的数据进行预测压缩具体为：采用下式对数据进行预测压缩：

式中，

为当前要发送的真实值，

为通过R-LSTM模型预测得到的预测值，k为死区参数。

8.根据权利要求7所述的一种基于补偿型长短期记忆网络的触感通信容错方法，其特征在于，所述死区参数k的取值为0.15。

9.一种补偿型长短期记忆网络的触感通信容错系统，其特征在于，接收端；所述接收端在接收数据时，进行如权利要求1-4任一项所述的方法步骤。

10.一种补偿型长短期记忆网络的触感通信容错系统，其特征在于，包括接收端与发送端；

根据触感数据特性，设计补偿型LSTM数据预测模型，所述接收端在接收数据时，利用补偿型LSTM模型对通信过程中缺失的数据进行预测重构，恢复原序列；

所述发送端在发送数据时，通过对要发送的数据进行预测压缩，仅发送预测值与真实值相对偏差大于死区参数的数据帧，以减少需要发送的数据量；

其中，所述补偿型LSTM模型为R-LSTM模型，所述R-LSTM模型为在原始的LSTM门结构上增加一个补偿门，根据输入的前一时刻真实值x_t-1与预测值Output_tml计算补偿值，把得到的补偿值加入到原来LSTM的输出反馈值中，得到当前时刻的预测值；

其中，所述补偿门的计算公式如下：

rt＝sigmoid(w_r*(Output_tml-x_t-1)+b_r)；

式中，w_r、br、Output_tml、x_t-1分别为补偿门的权重系数、偏置系数、前一时刻的预测值、前一时刻的真实值，sigmoid()为激活函数，rt为计算得到的补偿值；

其中，所述R-LSTM模型的总体计算公式如下：

式中，f_t是遗忘门，i_t是输入门，

是细胞状态，o_t是输出门，h_t是当前时刻的输出反馈值；x_t表示当前时刻的真实值，x_t-1表示前一时刻的真实值；W项是权重矩阵，W_f、W_i、W_r和W_o分别是遗忘门、输入门、补偿门、输出门对应的权重矩阵，W_c是细胞状态的权重矩阵；b为偏置向量，b_f、b_i、b_r和b_o分别是遗忘门、输入门、补偿门、输出门的偏置向量，b_c是细胞状态的偏置向量；h_t-1是前一个时刻的输出反馈值，C_t-1和C_t分别表示前一个时刻和当前时刻的细胞状态，outputs_t-1代表前一个时刻的输出预测值，r_t代表当前时刻的补偿值；·表示矩阵之间的乘法运算，*表示逐元素相乘，σ和tanh是激活函数，σ表示sigmoid()函数，tanh()表示双曲正切函数。

Images