CN110062419A - 基于马尔可夫决策过程的数据报文头压缩优化方法 - Google Patents

Abstract

本发明公开了一种基于马尔可夫决策过程的数据报文头压缩优化方法，包括：采集信道状态值；建立连续时间马尔可夫决策过程数学模型，将采集到的信道状态值作为模型的状态空间S，建立模型的动态转移概率矩阵P和动作集合A，所述动作集合包括信道状态对应的压缩状态改变操作，所述压缩状态包括初始重置态（IR）、一级压缩状态（FO）、二级压缩状态（SO）三种状态，三种状态压缩率依次增高，以最优奖励值作为目标函数，获取最优策略决策表；根据采集的信道状态值与最优策略决策表，选择压缩状态的跃迁或者回退。根据UE当前的信道状态，动态调整压缩状态。保证了较高的压缩成功率，降低了自身能耗。

Description

基于马尔可夫决策过程的数据报文头压缩优化方法

技术领域

本发明涉及计算机网络通信技术领域，具体地涉及一种应用于NB-IoT系统中，基于马尔可夫决策过程的数据报文头压缩优化方法。

背景技术

由于NB-IoT自身具备的覆盖广、连接多、速率低、成本低、功耗低、架构优等特点，在实际应用场景中也面临着环境复杂，信道质量差，能耗要求苛刻，高延迟的问题，如何在复杂环境下提高传输效率成为了NB-IoT技术发展的一个重要方向。

NB-IoT协议采用全IP承载，TCP是目前联网技上使用最广泛的基于IP的传输协议，根据统计，互联网上总字节数的95％及总数据包数的90％都使用TCP协议来进行传输。然而，TCP协议是一种面向有线网络设计的协议，其在无线网络中的应用时，过大的TCP/IP 分组头占用了无线通信的带宽，降低了无线资源的利用率。因此，对TCP/IP分组头压缩以提高其利用率是非常有必要的。NB-IoT协议中规定了在PDCP层中采用健壮性头压缩算法（ROHC）对TCP/IP分组头进行压缩，然而，ROHC在NB-IoT系统中的应用存在很多问题：

1）压缩率较低，40字节的数据报头能平均压缩到5到7字节大小；

2）有反馈压缩降低无线资源的利用率，而无反馈压缩效率较低；

3）压缩算法流程复杂，上下文的建立时间比较长。

因此，有必要对这一头压缩算法机制进行优化。本发明因此而来。

发明内容

为了解决上述存在的技术问题，本发明的目的是提出一种基于马尔可夫决策过程的数据报文头压缩优化方法，根据UE当前的信道状态，动态调整压缩状态。保证了较高的压缩成功率，降低了自身能耗。

本发明的技术方案是：

一种基于马尔可夫决策过程的数据报文头压缩优化方法，包括以下步骤：

S01：采集信道状态值；

S02：建立连续时间马尔可夫决策过程数学模型，将采集到的信道状态值作为模型的状态空间S，建立模型的动态转移概率矩阵P和动作集合A，所述动作集合包括信道状态对应的压缩状态改变操作，所述压缩状态包括初始重置态（IR）、一级压缩状态（FO）、二级压缩状态（SO）三种状态，三种状态压缩率依次增高，以最优奖励值作为目标函数，获取最优策略决策表；

S03：根据采集的信道状态值与最优策略决策表，选择压缩状态的跃迁或者回退。

优选的技术方案中，所述信道状态值包括信道质量报告（CQI）和一段时间内的混合自动重传（HARQ）次数，根据信道状态值划分信道质量等级。

优选的技术方案中，所述步骤S02中利用MATLAB仿真模型，将所有状态集合作为输入值，求解模型获得最优策略决策表。

优选的技术方案中，所述建立动态转移概率矩阵包括：

根据接收到的数据，分析计算相邻两种状态值出现的次数，并记录到状态转换矩阵中；

统计实际数据中状态值出现的总次数，然后分别将状态转换矩阵中每个状态转换的次数除以总次数，得到状态转换概率矩阵。

与现有技术相比，本发明的优点是：

1、本发明根据终端UE当前的信道状态，动态调整压缩状态。保证了较高的压缩成功率，降低了自身能耗。该方法考虑NB-IoT终端低功耗、高延迟和低速率的特性，根据其通信能力和信道质量，通过马尔可夫决策过程选择压缩的最优策略，动态决定压缩过程中IR\FO\SO三态的转移，以实现最大的压缩效率。该方法基于ROHC无反馈模式，提高解压的成功率，进而提高压缩率，降低功耗。

2、可以适用于低速率、低功耗、高延迟场景下的高效头压缩算法，进一步提高压缩率，吞吐率。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明压缩优化流程图；

图2为本发明压缩过程中三种状态转化示意图；

图3为本发明压缩优化流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

如图1、3所示，终端UE向无线基站eNodeB在用户平面传输数据，UE作为压缩端，eNodeB作为解压端。需要在PDCP层实行头部压缩。压缩基于ROHC协议的无反馈模式压缩、解压数据，压缩过程分为初始重置态（IR）、一级压缩状态（FO）、二级压缩状态（SO）。三种状态压缩率依次增高。由于空口传输中可能出现的误码、丢包问题，在压缩状态下可能产生解压失败的情况；

数据压缩状态从IR状态起始，在这一状态下，数据报头不进行压缩，传输完整报头，使得在压缩端和解压端形成完整上下文结构，包含静态部分和动态部分。之后压缩状态将逐步跃迁至高压缩状态。

UE在数据传输过程中采集信道状态值，包括信道质量报告（CQI）和一段时间内的混合自动重传（HARQ）次数。CQI为UE测量信道质量所得的一个0-15之间的数值，数值越大代表信道质量越好。HARQ为MAC子层的传输过程中的重传机制，一段时间内的重传次数也反映了信道质量的好坏。将采集到的信道状态值记录。将上述两个信道状态值划分为信道质量的五个等级，分别为5、4、3、2、1，参与马尔可夫决策过程MDP，即为有限状态集S包含的状态。

建立连续时间MDP数学模型，一般而言，马尔可夫决策过程是一个四元组状态的集合，包括。根据采集到的信道状态值作为模型的状态空间S，根据数据计算各环境状态转换间概率值，然后建立模型的动态转移概率矩阵，最后建立模型的动作集合A，以最优奖励值作为目标函数，仿真模型变化过程，获取最优策略决策表。

如图2所示，动作集合A包含信道状态等级值对应的压缩状态改变操作，可以改变为IR、FO、SO三种状态。获取的信道质量值整理生成概率集合P，以及动作集合A、奖励集合R作为MDP模型输入值，将所有可能出现的状态值推导出并记录，并设置各个状态值相互转换的矩阵。

根据实际接收到的数据，分析计算相邻两种状态值出现的次数，并记录到状态转换矩阵中。

统计实际数据中状态值出现的总次数，然后分别将状态转换矩阵中，每个状态转换的次数除以总次数，最终得到状态转换概率矩阵。

利用仿真模型例如可以使用MATLAB进行仿真，求解模型获得最优策略决策表，并将最优策略决策表嵌入到UE中，以便在实际使用时查找最优策略。在实际使用过程中，UE根据信道状态值以及最优决策表，选择压缩状态的跃迁或者回退。例如，当压缩端获取到的信道状态值较低时，考虑到可能会失去与解压端的同步，将根据最优策略主动选择从较高的压缩态回退到较低的压缩态，反之则主动跃迁到较高的压缩态。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于马尔可夫决策过程的数据报文头压缩优化方法，其特征在于，包括以下步骤：

S01：采集信道状态值；

S02：建立连续时间马尔可夫决策过程数学模型，将采集到的信道状态值作为模型的状态空间S，建立模型的动态转移概率矩阵P和动作集合A，所述动作集合包括信道状态对应的压缩状态改变操作，所述压缩状态包括初始重置态（IR）、一级压缩状态（FO）、二级压缩状态（SO）三种状态，三种状态压缩率依次增高，以最优奖励值作为目标函数，获取最优策略决策表；

S03：根据采集的信道状态值与最优策略决策表，选择压缩状态的跃迁或者回退。

2.根据权利要求1所述的基于马尔可夫决策过程的数据报文头压缩优化方法，其特征在于，所述信道状态值包括信道质量报告（CQI）和一段时间内的混合自动重传（HARQ）次数，根据信道状态值划分信道质量等级。

3.根据权利要求1所述的基于马尔可夫决策过程的数据报文头压缩优化方法，其特征在于，所述步骤S02中利用MATLAB仿真模型，将所有状态集合作为输入值，求解模型获得最优策略决策表。

4.根据权利要求1所述的基于马尔可夫决策过程的数据报文头压缩优化方法，其特征在于，所述建立动态转移概率矩阵包括：

根据接收到的数据，分析计算相邻两种状态值出现的次数，并记录到状态转换矩阵中；

统计实际数据中状态值出现的总次数，然后分别将状态转换矩阵中每个状态转换的次数除以总次数，得到状态转换概率矩阵。