CN116054840B - 一种json字符串数据压缩方法、装置及存储介质 - Google Patents

Abstract

本申请提出的JSON字符串数据压缩方法、装置及存储介质中，获取需要压缩的业务数据，其中业务数据利用标准JSON字符串格式表示，确定业务数据是否需要进行压缩，若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，基于压缩后的业务数据生成数据对象还原函数。由此，本申请可以利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，并基于压缩后的业务数据生成数据对象还原函数，并将数据对象还原函数发送到前端浏览器，使得业务数据进行压缩，从而无需传输大量重复业务数据，进而提高了数据传输效率。

Description

一种JSON字符串数据压缩方法、装置及存储介质

技术领域

本申请涉及数据压缩技术领域，尤其涉及一种JSON字符串数据压缩方法、装置及存储介质。

背景技术

目前，系统中的前后端数据交互以JSON格式为主，数据从后端发送到前端浏览器需要经过JSON格式编码、网络传输、JSON格式数据解码三个步骤。其中，在特定业务场景中，如：频繁的数据查询、报表展示、数据导入等操作时，JSON格式交互的数据量会很大，从而容易造成网络堵塞、数据下载时间长。

相关技术中，后端服务通常对数据直接进行JSON编码，编码方式采用JSON标准格式，编码长度与发送数据量呈线性增长，从而使得数据传输效率低。

发明内容

本申请提供一种JSON字符串数据压缩方法、装置及存储介质，以解决上述相关技术中出现的问题。

本申请第一方面实施例提出一种JSON字符串数据压缩方法，可以包括：

获取业务数据，其中所述业务数据利用标准JSON字符串格式表示；

确定所述业务数据是否需要进行压缩；

若确定所述业务数据需要进行压缩，则利用数据压缩算法对所述业务数据进行压缩，得到压缩后的业务数据；

基于所述压缩后的业务数据生成数据对象还原函数。

本申请第二方面实施例提出一种JSON字符串数据压缩装置，可以包括：

获取模块，用于获取业务数据，其中所述业务数据利用标准JSON字符串格式表示；

确定模块，用于确定所述业务数据是否需要进行压缩；

压缩模块，用于若确定所述业务数据需要进行压缩，则利用数据压缩算法对所述业务数据进行压缩，得到压缩后的业务数据；

生成模块，用于基于所述压缩后的业务数据生成数据对象还原函数。

本申请第三方面实施例提出的计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现如上第一方面所述的方法。

本申请第四方面实施例提出的计算机设备，其中，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时，能够实现如上第一方面所述的方法。

本申请的实施例提供的技术方案至少带来以下有益效果：

本申请提出的JSON字符串数据压缩、装置及存储介质中，获取需要压缩的业务数据，其中业务数据利用标准JSON字符串格式表示，确定业务数据是否需要进行压缩，若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，基于压缩后的业务数据生成数据对象还原函数。由此，本申请可以利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，并基于压缩后的业务数据生成数据对象还原函数，并将数据对象还原函数发送到前端浏览器，使得业务数据进行压缩，从而无需传输大量重复业务数据，进而提高了数据传输效率。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请一个实施例提供的JSON字符串数据压缩方法的流程示意图；

图2为根据本申请一个实施例提供的标准JSON字符串格式的示意图；

图3为根据本申请一个实施例提供的JSON字符串数据压缩装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的JSON字符串数据压缩方法及装置。

实施例一

图1为根据本申请一个实施例提供的一种JSON字符串数据压缩方法的流程示意图，如图1所示，可以包括：

步骤101、获取业务数据，其中业务数据利用标准JSON字符串格式表示。

其中，在本申请的实施例之中，图2为本申请实施例提出的一种标准JSON字符串格式的示意图。

如图2所示，标准JSON字符串格式的中括号“[]”表示数组，大括号“{}”表示对象，对象的属性和值使用冒号：，多个属性使用逗号，分割。以及，业务数据是以数据库表的形式存储，基于此，每个数据对象的属性都是相同的，没有值的属性使用null(空值)表示。

步骤102、确定业务数据是否需要进行压缩。

其中，在本申请的实施例之中，在对业务数据进行压缩之前，还需要确定业务数据是否需要进行压缩，若确定业务数据需要进行压缩，则对该业务数据进行压缩；否则，无需对该业务数据进行压缩。

以及，在本申请的实施例之中，确定业务数据是否需要进行压缩的方法，可以包括以下步骤：

步骤一、确定业务数据的数据量。

其中，在本申请的实施例之中，可以根据标准JSON字符串格式中“{}”中的数量，确定业务数据的数据量。

步骤二、若业务数据的数据量大于或等于预设阈值，则确定业务数据需要压缩。

其中，在本申请的实施例之中，上述预设阈值可以提前进行设置。示例的，假设上述预设阈值为2，则若业务数据的数据量大于或等于2，则确定业务数据需要进行压缩。

步骤三、若业务数据的数据量小于预设阈值，则确定业务数据不需要进行压缩。

步骤103、若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据。

其中，在本申请的实施例之中，利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据的方法，可以包括以下步骤：

步骤1031、基于业务数据的标准JSON字符串格式，提取业务数据中的属性特征。

其中，在本申请的实施例之中，在标准JSON字符串格式数据中所有数据的属性是相同的并且重复出现，基于此可以提取业务数据中的属性值进行单独传输。

以及，在本申请的实施例之中，可以将标准JSON字符串格式中冒号：的前“”中的内容确定为属性，将冒号：后“”中的内容确定为该属性对应的数据。

步骤1032、将业务数据中所有属性特征对应的数据，转换为第一二维数组。

步骤1033、将第一二维数组进行数据处理得到数据索引和第二二维数组。

其中，在本申请的实施例之中，基于业务数据的特点，业务数据中存在大量重复数据和/或超长数据，基于此可以将重复数据/超长数据进行数据索引，使得重复数据或超长数据利用简短的变量名代替，从而减少了重复数据和/或超长数据出现的频率，进一步压缩了数据。

具体地，在本申请的实施例之中，将第一二维数组进行数据处理得到数据索引和第二二维数组的方法，可以包括以下步骤：

步骤a、将第一二维数组中的空值去掉，并统计第一二维数组中每个数据出现的频率。

步骤b、将第一二维数组中满足第一索引条件和/或第二索引条件的数据进行数据索引，得到数据索引和第二二维数组。

其中，在本申请的实施例之中，第一索引条件包括业务数据的长度超过预设字符数量；以及，第二索引条件包括业务数据出现的频率超过预设次数。

以及，在本申请的实施例之中，预设字符数量和预设次数可以提前设置。示例的，在本申请的实施例之中，上述预设字符数量可以为2，预设次数可以为2，也即是，数据的长度超过2个字符和/或数据出现的频率超过2次，则将该数据进行数据索引。

步骤1034、基于属性特征、数据索引和第二二维数组，得到压缩后的业务数据。

其中，在本申请的实施例之中，上述压缩后的业务数据包括属性特性、数据索引和第二二维数组。

基于上述对步骤103的介绍，本申请实施例对利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据的方法进行举例说明。

步骤1、获取的业务数据数据为：

[

{col1：val1,col2:val2,col3:val3}，

{col1:val1,col2:null,col3:null}

]。

基于上述业务数据的标准JSON字符串格式，提取业务数据中的属性特征为：[col1，col2，col3]。

步骤2、将业务数据中所有属性特征对应的数据，转换为第一二维数组为：[[val1，val2，val3]，[val1，null，null]]。

步骤3、将第一二维数组进行数据处理得到数据索引和第二二维数组。

其中，将第一二维数组中的空值去掉，并统计第一二维数组中每个数据出现的频率，得到[[val1，val2，val3]，[val1，，]]。

以及，上述第一二维数组中满足第一索引条件和/或第二索引条件的数据为val1，将val1进行索引得到数据索引为$1＝val1，第二二维数组为[[$1，val2，val3]，[$1，，]]。

步骤4、基于属性特征、数据索引和第二二维数组，得到压缩后的业务数据为：

属性特征：[col1，col2，col3]；

数据索引：$1＝val1；

第二二维数组：[[$1，val2，val3]，[$1，，]]。

步骤104、基于压缩后的业务数据生成数据对象还原函数。

其中，在本申请的实施例之中，得到压缩后的业务数据可以基于该压缩后的业务数据生成数据对象还原函数，使得后续前端可以根据数据对象还原函数还原业务数据。

具体地，在本申请的实施例之中，基于压缩后的业务数据生成数据对象还原函数的方法，可以包括以下步骤：

步骤1041、基于属性特征生成解压逻辑。

步骤1042、基于数据索引生成常量。

步骤1043、基于第二二维数组生成数据。

步骤1044、基于解压逻辑、常量和数据生成数据对象还原函数。

示例的，在本申请的实施例中，基于解压逻辑、常量和数据生成数据对象还原函数包括：

以及，在本申请的实施例之中，上述根据数据属性直接创建数据对象还原函数，可以提高后续前端解析执行速度。

其中，在本申请的实施例之中，上述方法还可以包括以下步骤：将数据对象还原函数传输至前端浏览器；前端浏览器基于数据对应还原函数进行数据还原，得到业务数据。

其中，在本申请的实施例之中，前端浏览器解析JSON数据时，可以通过Eval、Function和浏览器内置的JSON解析器解析JSON数据。以及，Eval和Function可以直接自解析数据对应还原函数得到业务数据，浏览器内置的JSON解析器不能自解析数据对应还原函数，基于此需要在前端框架进行调整。

具体地，在本申请的实施例之中，前端框架可以使用JQuery.Ajax、Axios组件处理Ajax请求。其中，JQuery使用AjaxSetup修改默认数据解析器，Axios可以通过拦截器处理返回值。

示例的，JQuery.Ajax修改默认代码如下：

Axios拦截器代码如下：

需要说明的是，在本申请的实施例之中，表1为业务数据量为1000条时，数据传输和数据还原结果对比。

表1

比较项	标准JSON传出	压缩格式传输
			传输数据量	1,272K	158K
数据传输速度	20.2ms	1.7ms
			IE8数据还原	36ms	24ms
IE11数据还原	32ms	23ms
			Chrome数据还原	36ms	12ms

其中，在本申请的实施例之中，基于表1中的测试结果对比分析可知，利用上述方法进行压缩，得到的数据压缩率在16％-14％左右，数据传输所需时间少于标准JSON编码，前端浏览器在IE、Chrome两种主流浏览器中数据还原所需时间均减少。

本申请提出的JSON字符串数据压缩方法中，获取需要压缩的业务数据，其中业务数据利用标准JSON字符串格式表示，确定业务数据是否需要进行压缩，若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，基于压缩后的业务数据生成数据对象还原函数。由此，本申请可以利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，并基于压缩后的业务数据生成数据对象还原函数，并将数据对象还原函数发送到前端浏览器，使得业务数据进行压缩，从而无需传输大量重复业务数据，进而提高了数据传输效率。

实施例二

图3为根据本申请一个实施例提供的JSON字符串数据压缩装置的结构示意图，如图3所示，可以包括：

获取模块301，用于获取业务数据，其中业务数据利用标准JSON字符串格式表示。

确定模块302，用于确定业务数据是否需要进行压缩。

压缩模块303，用于若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据。

生成模块304，用于基于压缩后的业务数据生成数据对象还原函数。

本申请提出的JSON字符串数据压缩装置中，获取需要压缩的业务数据，其中业务数据利用标准JSON字符串格式表示，确定业务数据是否需要进行压缩，若确定业务数据需要进行压缩，则利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，基于压缩后的业务数据生成数据对象还原函数。由此，本申请可以利用数据压缩算法对业务数据进行压缩，得到压缩后的业务数据，并基于压缩后的业务数据生成数据对象还原函数，并将数据对象还原函数发送到前端浏览器，使得业务数据进行压缩，从而无需传输大量重复业务数据，进而提高了数据传输效率。

为了实现上述实施例，本公开还提出一种计算机存储介质。

本公开实施例提供的计算机存储介质，存储有可执行程序；所述可执行程序被处理器执行后，能够实现如图1任一所示的方法。

为了实现上述实施例，本公开还提出一种计算机设备。

本公开实施例提供的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述程序时，能够实现如图1任一所示的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种JSON字符串数据压缩方法，其特征在于，所述方法包括：

获取业务数据，其中所述业务数据利用标准JSON字符串格式表示，标准JSON字符串格式的中对象的属性和值使用冒号，多个属性使用逗号分割，每个数据对象的属性是相同的；

确定所述业务数据是否需要进行压缩；

若确定所述业务数据需要进行压缩，则利用数据压缩算法对所述业务数据进行压缩，得到压缩后的业务数据；

基于所述压缩后的业务数据生成数据对象还原函数；

所述利用数据压缩算法对所述业务数据进行压缩，得到压缩后的业务数据，包括：

基于所述业务数据的标准JSON字符串格式，提取所述业务数据中的属性特征；

将所述业务数据中所有属性特征对应的数据，转换为第一二维数组；

将所述第一二维数组进行数据处理得到数据索引和第二二维数组；

基于所述属性特征、所述数据索引和所述第二二维数组，得到压缩后的业务数据；

所述将所述第一二维数组进行数据处理得到数据索引和第二二维数组，包括：

将所述第一二维数组中的空值去掉，并统计所述第一二维数组中每个数据出现的频率；

将所述第一二维数组中满足第一索引条件和/或第二索引条件的数据进行数据索引，得到所述数据索引和所述第二二维数组；其中，第一索引条件包括业务数据的长度超过预设字符数量；以及，第二索引条件包括业务数据出现的频率超过预设次数；

所述基于所述压缩后的业务数据生成数据对象还原函数，包括：

基于所述属性特征生成解压逻辑；

基于所述数据索引生成常量；

基于所述第二二维数组生成数据；

基于所述解压逻辑、所述常量和所述数据生成所述数据对象还原函数。

2.根据权利要求1所述的方法，其特征在于，所述确定所述业务数据是否需要进行压缩，包括：

确定所述业务数据的数据量；

若所述业务数据的数据量大于或等于预设阈值，则确定所述业务数据需要压缩；

若所述业务数据的数据量小于预设阈值，则确定所述业务数据不需要进行压缩。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述数据对象还原函数传输至前端浏览器；

所述前端浏览器基于所述数据对应还原函数进行数据还原，得到所述业务数据。

4.一种JSON字符串数据压缩装置，其特征在于，所述装置包括：

获取模块，用于获取业务数据，其中所述业务数据利用标准JSON字符串格式表示，标准JSON字符串格式的中对象的属性和值使用冒号，多个属性使用逗号分割，每个数据对象的属性是相同的；

确定模块，用于确定所述业务数据是否需要进行压缩；

压缩模块，用于若确定所述业务数据需要进行压缩，则利用数据压缩算法对所述业务数据进行压缩，得到压缩后的业务数据；

生成模块，用于基于所述压缩后的业务数据生成数据对象还原函数；

所述压缩模块，还用于基于所述业务数据的标准JSON字符串格式，提取所述业务数据中的属性特征；

将所述业务数据中所有属性特征对应的数据，转换为第一二维数组；

将所述第一二维数组中的空值去掉，并统计所述第一二维数组中每个数据出现的频率；

将所述第一二维数组中满足第一索引条件和/或第二索引条件的数据进行数据索引，得到所述数据索引和第二二维数组；其中，第一索引条件包括业务数据的长度超过预设字符数量；以及，第二索引条件包括业务数据出现的频率超过预设次数；

基于所述属性特征、所述数据索引和所述第二二维数组，得到压缩后的业务数据；

所述生成模块，还用于基于所述属性特征生成解压逻辑；

基于所述数据索引生成常量；

基于所述第二二维数组生成数据；

基于所述解压逻辑、所述常量和所述数据生成所述数据对象还原函数。

5.一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1-3中任一所述的方法。

6.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的方法。