CN114884881B

CN114884881B - 一种数据压缩传输方法及终端

Info

Publication number: CN114884881B
Application number: CN202210518162.9A
Authority: CN
Inventors: 刘德建; 陈丛亮; 李佳
Original assignee: Fujian Tianqing Online Interactive Technology Co Ltd
Current assignee: Fujian Tianqing Online Interactive Technology Co Ltd
Priority date: 2022-05-12
Filing date: 2022-05-12
Publication date: 2023-07-07
Anticipated expiration: 2042-05-12
Also published as: CN114884881A

Abstract

本发明公开了一种数据压缩传输方法及终端，对数据传输请求按照请求地址和请求内容进行分组，并将分组后的请求地址存为第一请求包，将分组后的请求内容存为第二请求包；将第一请求包和第二请求包发送至服务端，并在服务端中进行数据传输请求的还原，随后转发至原始进程。以此方式，无需对发送请求的终端进行代码修改，并且能够大量减少请求连接数，省去不必要的重复传输的数据，减少连接开销并节约带宽。

Description

一种数据压缩传输方法及终端

技术领域

本发明涉及计算机技术领域，特别涉及一种数据压缩传输方法及终端。

背景技术

目前大部分传输数据均使用json传输，其中，使用json传输的数据中包含了key和value，但是json中的key通常是大量重复的，调用时候的会重复传输。

并且对于大部分系统，修改数据格式的重构成本很大，并且有一些系统可能都无法修改，从而导致数据传输的数据量较大。

发明内容

本发明所要解决的技术问题是：提供一种数据压缩传输方法及终端，能够在不修改现有代码的情况下减少数据压缩传输量。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据压缩传输方法，包括步骤：

接收数据传输请求，按照请求地址和请求内容对所述数据传输请求进行分组；

将所述数据传输请求的所述请求地址封装为第一请求包，将所述请求内容封装为第二请求包；

将所述第一请求包和所述第二请求包发送至服务端，所述服务端用于根据所述第一请求包和所述第二请求包还原所述数据传输请求，并转发至原始进程。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据压缩传输方法，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

本发明的有益效果在于：对数据传输请求按照请求地址和请求内容进行分组，并将分组后的请求地址存为第一请求包，将分组后的请求内容存为第二请求包；将第一请求包和第二请求包发送至服务端，并在服务端中进行数据传输请求的还原，随后转发至原始进程。以此方式，无需对发送请求的终端进行代码修改，并且能够大量减少请求连接数，省去不必要的重复传输的数据，减少连接开销并节约带宽。

附图说明

图1为本发明实施例的一种数据压缩传输方法的流程图；

图2为本发明实施例的一种数据压缩传输终端的示意图；

标号说明：

1、一种数据压缩传输终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种数据压缩传输方法，包括步骤：

从上述描述可知，本发明的有益效果在于：对数据传输请求按照请求地址和请求内容进行分组，并将分组后的请求地址存为第一请求包，将分组后的请求内容存为第二请求包；将第一请求包和第二请求包发送至服务端，并在服务端中进行数据传输请求的还原，随后转发至原始进程。以此方式，无需对发送请求的终端进行代码修改，并且能够大量减少请求连接数，省去不必要的重复传输的数据，减少连接开销并节约带宽。

进一步地，将所述数据传输请求的所述请求地址封装为第一请求包包括：

将所述数据传输请求中所有记录的请求地址进行排序；

按照排序顺序将所述请求地址和对应的排序序号封装为第一请求包。

由上述描述可知，提取数据传输请求中的所有请求地址并进行排序，按照排序顺序将请求地址及其序号存为第一请求包，便于后续还原数据传输请求。

进一步地，将所述请求内容封装为第二请求包包括：

将所述数据传输请求中每一条记录的请求内容按照对应请求地址的排序顺序排列，并使用符号拼接，得到每一条记录的内容；

合并所述数据传输请求中每一条记录的内容得到第二请求包。

由上述描述可知，根据请求地址的顺序，提取请求中每一条记录的请求内容，从而得到每一条记录的内容；合并每一条记录的内容得到第二请求包，以此方式能够将第一请求包的内容与第二请求包的内容相对应，便于后续还原数据传输请求。

进一步地，将所述请求内容封装为第二请求包还包括：

设置基础请求包，将所述第二请求包和所述基础请求包进行偏移计算，得到第三请求包；

将所述第一请求包和所述第二请求包发送至服务端包括：

将所述第一请求包、所述基础请求包和每一个数据传输请求的第三请求包发送至服务端。

由上述描述可知，对于每一个数据传输请求，均根据其第二请求包与基础请求包进行偏移计算得到第三请求包，因此只需要发送一个第一请求包和一个基础请求包给服务端，对于每一个数据传输请求只需要发送第三请求包即可，从而节约带宽。

进一步地，根据所述第一请求包和所述第二请求包还原所述数据传输请求包括：

根据所述基础请求包和所述第三请求包还原出第二请求包；

根据所述第二请求包和所述第一请求包还原出数据传输请求。

由上述描述可知，先根据基础请求包和第三请求包还原出数据传输请求的第二请求包，再根据第二请求包和第一请求包还原出数据传输请求，从而将还原后的数据传输请求直接转发至原始进程，以快速得到数据传输请求并减少系统间的传输量。

请参照图2，本发明另一实施例提供了一种数据压缩传输终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

由上述描述可知，对数据传输请求按照请求地址和请求内容进行分组，并将分组后的请求地址存为第一请求包，将分组后的请求内容存为第二请求包；将第一请求包和第二请求包发送至服务端，并在服务端中进行数据传输请求的还原，随后转发至原始进程。以此方式，无需对发送请求的终端进行代码修改，并且能够大量减少请求连接数，省去不必要的重复传输的数据，减少连接开销并节约带宽。

将所述数据传输请求中所有记录的请求地址进行排序；

进一步地，将所述请求内容封装为第二请求包包括：

进一步地，将所述请求内容封装为第二请求包还包括：

将所述第一请求包和所述第二请求包发送至服务端包括：

根据所述基础请求包和所述第三请求包还原出第二请求包；

本发明上述的一种数据压缩传输方法及终端，适用于对包含大量重复请求地址的数据传输请求进行压缩传输，并且在不修改现有代码的情况下减少数据传输量，以下通过具体的实施方式进行说明：

实施例一

请参照图1，一种数据压缩传输方法，包括步骤：

S1、接收数据传输请求，按照请求地址和请求内容对所述数据传输请求进行分组。

具体的，本实施例中数据传输请求可以为http请求。代理进程客户端接收客户端通过修改环境变量转发的http请求，并将http请求暂存在内存队列中，其中，按照请求地址url和请求内容特征值对http请求中的数据进行分组。

若分组后相同的请求地址url占比超过预设比例，则执行步骤S2。

S2、将所述数据传输请求的所述请求地址封装为第一请求包，将所述请求内容封装为第二请求包。

具体的，当内存队列中的http请求达到预设数量或者内存队列中的http请求的存放时间达到预设时间时，执行步骤S21。

S21、将所述数据传输请求中所有记录的请求地址进行排序，按照排序顺序将所述请求地址和对应的排序序号封装为第一请求包。

具体的，在本实施例中，数据传输请求为json数据格式，key表示请求地址，value表示请求内容：

[{“key2”:”value2”,”key1”:”value1”,”xxkey5”:value5},{“key2”:”value2”,”key1”:”value1”,”xxkey5”:value5}]；

将key进行排序，得到第一请求包：

key1:1

key2:2

xxkey5:3

S22、将所述数据传输请求中每一条记录的请求内容按照对应请求地址的排序顺序排列，并使用符号拼接，得到每一条记录的内容，合并所述数据传输请求中每一条记录的内容得到第二请求包。

具体的，在本实施例中，提取数据传输请求中的每条记录的请求内容，并按照key的顺序排列，通过逗号拼接，每条记录通过换行符拼接，如果内容包含换行符则转义，可以得到第二请求包：

value1,value2,value5

S23、设置基础请求包，将所述第二请求包和所述基础请求包进行偏移计算，得到第三请求包；

具体的，本实施例中基础请求包可以预先设置，也可以是一个已使用过的数据包，例如基础请求包为：

value1,value2,value3

本实施例中通过计算差分以进行偏移计算，具体的，对第二请求包和基础请求包进行差分计算，得到第三请求包，第三请求包中记录用于表示修改的偏移量的数据，本实施例中第三请求包为：

19,20,替换,5

其中，第三请求包中每一条记录的四个值分别表示开始位置、结束位置、操作类型和内容。

S3、将所述第一请求包和所述第二请求包发送至服务端，所述服务端用于根据所述第一请求包和所述第二请求包还原所述数据传输请求，并转发至原始进程。

S31、将所述第一请求包、所述基础请求包和每一个数据传输请求的第三请求包发送至服务端。

具体的，在本实施例中只需要发送一个第一请求包和一个基础请求包给代理进程服务端，对于每一个数据传输请求只需要发送第三请求包即可，能够起到节约带宽的作用。

S32、根据所述基础请求包和所述第三请求包还原出第二请求包。

具体的，在本实施例中按照第三请求包记录的偏移量，对基础请求包进行插入、替换、删除等操作，以还原出第二请求包。

S33、根据所述第二请求包和所述第一请求包还原出数据传输请求。

将第二请求包中的请求内容与第一请求包中的请求地址一一对应，以此方式进行数据传输请求的还原，再由代理进程服务端转发给原始进程。

实施例二

请参照图2，一种数据压缩传输终端1，包括存储器2、处理器3以及存储在所述存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一的一种数据压缩传输方法的各个步骤。

综上所述，本发明提供的一种数据压缩传输方法及终端，对数据传输请求按照请求地址和请求内容进行分组；提取数据传输请求中的所有请求地址并进行排序，按照排序顺序将请求地址及其序号存为第一请求包；根据请求地址的顺序，提取请求中每一条记录的请求内容，从而得到每一条记录的内容；合并每一条记录的内容得到第二请求包，以此方式能够将第一请求包的内容与第二请求包的内容相对应，便于后续还原数据传输请求。对于每一个数据传输请求，均根据其第二请求包与基础请求包进行差分计算得到第三请求包，因此只需要发送一个第一请求包和一个基础请求包给服务端，对于每一个数据传输请求只需要发送第三请求包即可，并在服务端中进行数据传输请求的还原，随后转发至原始进程。以此方式，无需对发送请求的终端进行代码修改，并且能够大量减少请求连接数，省去不必要的重复传输的数据，减少连接开销并节约带宽。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据压缩传输方法，其特征在于，包括步骤：

将所述第一请求包和所述第二请求包发送至服务端，所述服务端用于根据所述第一请求包和所述第二请求包还原所述数据传输请求，并转发至原始进程；

将所述数据传输请求的所述请求地址封装为第一请求包包括：

将所述数据传输请求中所有记录的请求地址进行排序；

按照排序顺序将所述请求地址和对应的排序序号封装为第一请求包；

将所述请求内容封装为第二请求包包括：

2.根据权利要求1所述的一种数据压缩传输方法，其特征在于，将所述请求内容封装为第二请求包还包括：

将所述第一请求包和所述第二请求包发送至服务端包括：

3.根据权利要求2所述的一种数据压缩传输方法，其特征在于，根据所述第一请求包和所述第二请求包还原所述数据传输请求包括：

根据所述基础请求包和所述第三请求包还原出第二请求包；

4.一种数据压缩传输终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

将所述数据传输请求中所有记录的请求地址进行排序；

将所述请求内容封装为第二请求包包括：

5.根据权利要求4所述的一种数据压缩传输终端，其特征在于，将所述请求内容封装为第二请求包还包括：

将所述第一请求包和所述第二请求包发送至服务端包括：

6.根据权利要求5所述的一种数据压缩传输终端，其特征在于，根据所述第一请求包和所述第二请求包还原所述数据传输请求包括：

根据所述基础请求包和所述第三请求包还原出第二请求包；