CN112737978A - 面向数据报文的双队列同步方法、系统、设备、存储介质 - Google Patents

Abstract

本发明公开了一种面向数据报文的双队列同步方法、系统、设备、存储介质，其中方法步骤如下：获取报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。本发明在保障实时报文需求的同时，通过报文合并的方式，降低非实时报文的同步频次及IP头开销的目的。

Description

面向数据报文的双队列同步方法、系统、设备、存储介质

技术领域

本发明涉及通信技术领域，更具体的，涉及一种面向数据报文的双队列同步方法、系统、设备、存储介质。

背景技术

当前通讯系统中对报文的处理能力要求越来越高。但由于在通讯系统内部需要使用不同的报文处理能力和处理目的，从而也带来了报文间处理能力的不平衡。目前在传输报文时，使用用户数据协议报文传输，一个传送帧里面包括一个数据区，由于报文的发送极为频繁，导致应用程序频繁的调用底层发送接口，更进一步的凸显了传统报文处理方法的性能低下，满足不了系统的需求。为了解决报文的处理能力较差的问题，降低同步频率，针对不需要重传及分片的网络环境，在目的地址相同的情况下，需要一种在一个大包中包括多个数据区即合并报文进行的方案。

如中国专利公开号：CN101136856A，公开日：2008-03-05，公开了一种单板间合并报文传输方法和系统，包括以下步骤：步骤1，当发送多个用户数据包协议报文时，将多个用户数据包协议报文以顺序方式组合成IP报文的数据区；步骤2，使用与多个用户数据包协议报文的IP头相同的一个IP头，按照一个IP报文的方式，调用发送口传输报文。

然而这种方法存在以下几点缺点：

1.报文同步时对实时性的要求存在差异，现有技术虽然使用合并报文的方法，节约数据头，降低同步频次，实现提升同步效率的目的，但并未考虑部分业务实时性的需求，不能区分不同优先级的报文。

2.由于根据时间顺序对报文进行处理，使同一IP头下若下一个长报文的到来使报文的总长度超过最大值，就会立即发送报文，在处理非实时业务时，会导致一些能够容纳后续小报文的空间浪费掉，这也会增大网络资源的开销，降低同步效率。

3.没有考虑报文同步的等待时间，按顺序进行合并传输，可能导致部分报文由于等待时间过长造成同步失败，无法保证同步可靠性。

发明内容

本发明为了解决现有技术通过单一的队列同步方式，无法满足部分业务实时性的需求和在带宽受限环境下，影响其他业务的正常通信的问题，提供了一种面向数据报文的双队列同步方法、系统、设备、存储介质，其通过双队列报文同步的方式，在保障实时报文需求的同时，通过报文合并的方式，降低非实时报文的同步频次及IP头开销的目的。

为实现上述本发明目的，采用的技术方案如下：一种面向数据报文的双队列同步方法，所述的方法包括步骤如下：

获取产生或接收的报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；

针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

优选地，所述的报文合并算法，具体地，考虑单个数据包最大容量固定为W＝1472字节，为节约数据头，降低同步频次，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，并描述为一个背包问题；不同报文的长度记为w_i，根据报文同步优先级，设定报文价值为v_i，合并问题即转化为在单个数据包内同步尽可能多的报文，降低同步频次。

进一步地，所述的报文合并算法，表达式如下：

T_i-τ_i(t)≥0，{i|，x_i＝1}

式中，x＝{x₁，x₂，…，x_n}表示当前计算队列中合并至当前数据包的报文编号，x_i＝0表示报文i不合并至当前数据包；x_i＝1表示报文i合并至当前数据包；N表示每次计算报文合并的队列长度；T_i表示当前报文最大等待时间；

τ_i(t)表示已排队时间，等待超过该时间认为同步超时失效；W表示单个数据包最大容量；w_i表示报文i的长度；v_i(t)表示当前报文i的价值；w_head表示IP头的长度。

再进一步地，所述的报文价值v_i的设定，具体结合报文同步的优先级和报文剩余等待时间；其中优先级高、剩余等待时间低的报文，价值越高，越倾向于优先同步；

由于报文需要在最大等待时间内同步完成来保证同步时效性，因此针对不同报文等待时间，需要动态调整报文价值函数，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i，保证等待时间较长的报文在下次合并时能完成同步，避免造成同步超时。

再进一步地，利用动态规划方法，对背包问题进行求解，具体如下：

S1：定义子问题：P(i，W)，在前i个报文中，挑选总长度不超过W-W_head的报文，每个报文最多只能挑选1次，使总价值最大；此时最优值记作m(i，W)，其中1≤i≤N；

S2：考虑第i个报文，存在x_i＝1或x_i＝0两种可能：

c)x_i＝0,背包容量不变，改变为问题P(i-1，W)；

d)x_i＝1，背包容量减小，改变为问题P(i-1，W-w_i)

S3：选取最优方案：

m(i，W)＝max{m(i-1，W)，m(i-1，W-w_i)+v_i}

即得到

再进一步地，基于所述的报文合并算法输出的报文编号，将标识的非实时报文按照合并报文的格式进行协议封装，得到合并后的非实时报文队列，并进行合并报文格式同步执行策略。

一种面向数据报文的双向队列同步方法的系统，所述的系统包括

获取报文参数模块，用于获取产生或接收的报文参数；

报文队列划分模块，根据报文实时性的需求分成实时报文队列和非实时报文队列；

报文存入模块，基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

非实时报文合并模块，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包；

报文同步执行模块，对合并打包后的非实时报文进行合并报文格式同步执行策略，对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

优选地，所述的非实时报文合并模块还包括当前价值设定子模块、报文合并子模块；

所述的当前价值设定子模块，结合报文同步的优先级和报文剩余等待时间动态调整报文价值，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i；

所述的报文合并子模块，采用报文合并算法，考虑单个数据包最大容量固定为W＝1472字节，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，并描述为一个背包问题。

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的方法的步骤。

本发明的有益效果如下：

1.本发明通过双队列报文同步方法，在保障实时报文需求的同时，通过报文合并的方式，降低非实时报文的同步频次及IP头开销的目的。针对实时报文，通过实时队列，按需实时同步，每个报文使用一个不同的IP头，保证实时报文的高效可靠同步；针对非实时业务，通过合并多个数据报文，节约IP头，降低同步频次，实现降低同步开销，提升同步效率的目的，进一步提升网络资源利用率。

2.以不同数据报文的优先级、等待时间等指标定义数据合并价值，保证同步策略能够满足不同报文同步的时延需求。同时本发明具备通用能力，针对实际场景的同步数据类型，可以对价值指标体系进行扩充和修正，提高网络优化和演进能力。

附图说明

图1是实施例1所述的双队列同步方法的步骤流程图。

图2是实施例1所述的报文合并策略执行的示意图。

图3是实施例1所述的实时/非实时报文同步队列的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做详细描述。

实施例1

分布式分域网络在网络边缘侧大多采用带宽受限的无线电波进行各类数据的传输与同步，在无线网络的构建与维护过程中，会产生大量小报文同步业务。报文类型的数据业务，具备业务量大、同步频次高的特点。此外，报文同步对实时性的要求存在差异，通过单一的队列同步方式，一方面无法满足部分业务实时性的需求，另一方面高频次的同步会增加网络同步开销，在带宽受限环境下，影响其他业务的正常通信。

针对以上存在的不足，本实施例的主要目标为针对高时敏类业务、低时敏类业务设计可兼容双轨制同步方案，对高时敏业务需要保证其同步的及时性与有效性；对低时敏业务可以在保证可靠同步的基础上，尽可能降低同步开销，将多频次的同步数据进行合并后再同步，节省IP头开销。本实施例提出的一种面向数据报文的双队列同步方法的流程如图1所示。

一种面向数据报文的双队列同步方法，所述的方法包括步骤如下：

获取产生或接收的报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；

针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

在一个具体的实施例中，报文队列划分实时报文队列和非实时报文队列，具体的，节点根据产生或接收到的报文参数，判断报文的时延敏感标识，分别将高时敏业务存入实时报文队列，将低时敏业务存入非实时报文队列。其中，对于实时报文按照报文产生顺序，通过实时同步的方式完成同步；针对非实时报文，通过报文合并，将多个报文数据合并到同一个IP数据包中进行同步传输，降低同步频次，提高报文同步效率。报文参数具体如表1所示：

表1报文参数说明

参数名	类型	说明
			源节点标识	int	标识源节点信息
目的节点标识	int	标识目的节点信息
			报文长度	int	标识待同步报文长度(bit)
报文数组	MSG_INFO	报文信息数组
			时敏信息	True/False	标识当前报文的时延敏感信息，True表示实时报
数据包容量	int	节点IP数据包容量(bit)
			同步等待时间	int	报文同步最大等待时间(ms)

在一个具体的实施例中，传统的报文同步，基于单一的队列按顺序同步，单个IP数据包只同步一条业务，单一报文格式如表2所示。由于报文长度远小于一个数据包的容量，在频繁同步的场景下使用单一报文格式进行同步会造成IP头开销的增大。报文合并的目的是在单个数据包的容量内，合并尽可能多目的节点相同的报文来节约IP头，降低同步频次。合并后的报文格式如表3所示，表3所示的一个数据包合并了两个报文。

表2单一报文格式

IP头

报文头1

报文数据1

表3合并报文格式

IP头

报文头1

报文数据1

隔离区

报文头2

报文数据2

本实施例基于组合优化的方式对非实时报文进行合并决策，为提高报文同步效率，实现在有限数据包内同步尽可能多报文的目的，建立组合优化的报文合并算法。所述的报文合并算法，具体地，考虑单个数据包最大容量固定为W＝1472字节，为节约数据头，降低同步频次，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，该组合优化问题描述为一个背包问题；不同报文的长度记为w_i，根据报文同步优先级，设定报文价值为v_i，合并问题即转化为在单个数据包内同步尽可能多的报文，降低同步频次。

在一个具体的实施例中，所述的报文合并算法，表达式如下：

T_i-τ_i(t)≥0，{i|，x_i＝1}

式中，x＝{x₁，x₂，…，x_n}表示当前计算队列中合并至当前数据包的报文编号，x_i＝0表示报文i不合并至当前数据包；x_i＝1表示报文i合并至当前数据包；N表示每次计算报文合并的队列长度；T_i表示当前报文最大等待时间；

τ_i(t)表示已排队时间，等待超过该时间认为同步超时失效；W表示单个数据包最大容量；w_i表示报文i的长度；v_i(t)表示当前报文i的价值；w_head表示IP头的长度。

在一个具体的实施例中，所述的报文价值v_i的设定，具体结合报文同步的优先级和报文剩余等待时间；其中优先级高、剩余等待时间低的报文，价值越高，越倾向于优先同步；

本实施例将报文同步优先级分为高中低三类，具体价值设置见表4。

表4报文价值设定

优先级	高	中	低
				v<sub>i</sub>	2	1.5	1

由于报文需要在最大等待时间内同步完成来保证同步时效性，因此针对不同报文等待时间，需要动态调整报文价值函数，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i，保证等待时间较长的报文在下次合并时能完成同步，避免造成同步超时。

基于以上所述的组合优化问题可以看作一个0-1背包问题，利用动态规划方法，对背包问题进行求解，具体如下：

S1：定义子问题：P(i，W)，在前i个报文中，挑选总长度不超过W-W_head的报文，每个报文最多只能挑选1次，使总价值最大；此时最优值记作m(i，W)，其中1≤i≤N；

S2：考虑第i个报文，存在x_i＝1或x_i＝0两种可能：

e)x_i＝0,背包容量不变，改变为问题P(i-1，W)；

f)x_i＝1，背包容量减小，改变为问题P(i-1，W-w_i)

S3：选取最优方案：

m(i，W)＝max{m(i-1，W)，m(i-1，W-w_i)+v_i}

即得到

算法流程如下：

在一个具体的实施例中，基于所述的报文合并算法输出的报文编号，将标识的非实时报文按照合并报文的格式进行协议封装，得到如图2所示的合并报文同步队列，其中编号1、2、4；3、7；5、6；8、9、10、12的报文进行合并，编号为11的报文由于长度接近数据包容量，以单一报文格式同步。

至此，节点产生或接收的报文划分为如图3所示的实时报文同步队列和非实时报文同步队列，其中实时报文同步队列按照单一报文格式进行顺序同步，保证同步的时效性。非实时报文按照合并报文格式进行组合同步，降低网络同步开销。

实施例2

一种面向数据报文的双向队列同步方法的系统，所述的系统包括

获取报文参数模块，用于获取产生或接收的报文参数；

报文队列划分模块，根据报文实时性的需求分成实时报文队列和非实时报文队列；

报文存入模块，基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

非实时报文合并模块，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包；

报文同步执行模块，对合并打包后的非实时报文进行合并报文格式同步执行策略，对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

在一个具体的实施例中，所述的非实时报文合并模块还包括当前价值设定子模块、报文合并子模块；

所述的当前价值设定子模块，结合报文同步的优先级和报文剩余等待时间动态调整报文价值，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i；

所述的报文合并子模块，采用报文合并算法，考虑单个数据包最大容量固定为W＝1472字节，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，并描述为一个背包问题。

实施例3

一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现如下步骤：

获取产生或接收的报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；

针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

实施例4

一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现如下步骤：

获取产生或接收的报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；

针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种面向数据报文的双队列同步方法，其特征在于：所述的方法包括步骤如下：

获取产生或接收的报文参数，根据报文实时性的需求分成实时报文队列和非实时报文队列；基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

针对非实时报文，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包，进行合并报文格式同步执行策略；

针对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

2.根据权利要求1所述的面向数据报文的双队列同步方法，其特征在于：所述的报文合并算法，具体地，考虑单个数据包最大容量固定为W＝1472字节，为节约数据头，降低同步频次，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，并描述为一个背包问题；不同报文的长度记为w_i，根据报文同步优先级，设定报文价值为v_i，合并问题即转化为在单个数据包内同步尽可能多的报文，降低同步频次。

3.根据权利要求2所述的面向数据报文的双队列同步方法，其特征在于：所述的报文合并算法，表达式如下：

T_i-τ_i(t)≥0，{i|，x_i＝1}

式中，x＝{x₁，x₂，...，x_n}表示当前计算队列中合并至当前数据包的报文编号，x_i＝0表示报文i不合并至当前数据包；x_i＝1表示报文i合并至当前数据包；N表示每次计算报文合并的队列长度；T_i表示当前报文最大等待时间；

τ_i(t)表示已排队时间，等待超过该时间认为同步超时失效；W表示单个数据包最大容量；w_i表示报文i的长度；v_i(t)表示当前报文i的价值；w_head表示IP头的长度。

4.根据权利要求3所述的面向数据报文的双队列同步方法，其特征在于：所述的报文价值v_i的设定，具体结合报文同步的优先级和报文剩余等待时间；其中优先级高、剩余等待时间低的报文，价值越高，越倾向于优先同步；

由于报文需要在最大等待时间内同步完成来保证同步时效性，因此针对不同报文等待时间，需要动态调整报文价值函数，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i，保证等待时间较长的报文在下次合并时能完成同步，避免造成同步超时。

5.根据权利要求4所述的面向数据报文的双队列同步方法，其特征在于：利用动态规划方法，对背包问题进行求解，具体如下：

S1：定义子问题：P(i，W)，在前i个报文中，挑选总长度不超过W-W_head的报文，每个报文最多只能挑选1次，使总价值最大；此时最优值记作m(i，W)，其中1≤i≤N；

S2：考虑第i个报文，存在x_i＝1或x_i＝0两种可能：

a)x_i＝0，背包容量不变，改变为问题P(i-1，W)；

b)x_i＝1，背包容量减小，改变为问题P(i-1，W-w_i)

S3：选取最优方案：

m(i，W)＝max{m(i-1，W)，m(i-1，W-w_i)+v_i}

即得到

6.根据权利要求5所述的面向数据报文的双队列同步方法，其特征在于：基于所述的报文合并算法输出的报文编号，将标识的非实时报文按照合并报文的格式进行协议封装，得到合并后的非实时报文队列，并进行合并报文格式同步执行策略。

7.一种面向数据报文的双向队列同步方法的系统，其特征在于：所述的系统包括

获取报文参数模块，用于获取产生或接收的报文参数；

报文队列划分模块，根据报文实时性的需求分成实时报文队列和非实时报文队列；

报文存入模块，基于时延敏感信息标识将高时敏报文存入实时报文队列，将低时敏报文存入非实时报文队列；

非实时报文合并模块，依据报文目的节点标识，对相同目的节点的报文，采用基于动态规划的报文合并算法，将多个非实时报文以协议预定的方式组合成IP报文数据区，共享一个IP头，实现将对应的非实时报文合并打包；

报文同步执行模块，对合并打包后的非实时报文进行合并报文格式同步执行策略，对实时报文，按照实时报文产生时刻顺序完成单一报文格式同步执行策略。

8.根据权利要求7所述的面向数据报文的双向队列同步方法的系统，其特征在于：所述的非实时报文合并模块还包括当前价值设定子模块、报文合并子模块；

所述的当前价值设定子模块，结合报文同步的优先级和报文剩余等待时间动态调整报文价值，当T_i-τ_i(t)≤50ms时，提高当前报文价值v_i；

所述的报文合并子模块，采用报文合并算法，考虑单个数据包最大容量固定为W＝1472字节，通过相同目的节点报文合并的方式，对多个低时敏报文进行合并同步，并描述为一个背包问题。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时，实现如权利要求1～6任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时，实现如权利要求1～6任一项所述的方法的步骤。

Images