CN110505218A - 基于json的栅格数据自适应压缩传输方法及计算机存储介质 - Google Patents

Abstract

本发明公开了一种基于JSON的栅格数据自适应压缩传输方法及计算机存储介质，采用的自适应压缩方法，依据栅格数据的特征，建立栅格数据字典，自适应调整压缩因子，通过将栅格相关的参数及取值转换为JSON中的Key以及Value，基于JSON实现栅格数据的压缩传输。相比较传统基于JSON的压缩传输方法，能够更大程度的压缩栅格数据，降低传输带宽需求，并且，基于JSON使得栅格数据能够跨语言传输，具有更好的实用性和灵活性。

Description

基于JSON的栅格数据自适应压缩传输方法及计算机存储介质

技术领域

本发明涉及一种自适应压缩传输方法及计算机存储介质，特别是涉及一种基于JSON的栅格数据自适应压缩传输方法及计算机存储介质。

背景技术

JSON(JavaScript ObiectNotation)是一种轻量级、跨语言的数据交换格式，其通过Key以及Value来表明传输的数据项以及具体内容。JSON编写解析简单，可阅读性强，可用于网络、消息等数据交互，是一种理想的数据交换语言。虽然JSON是一种轻量级的结构，但是同样能够传输图像或者栅格等内存块数据，只不过需要先将内存转换为数据流，然后进行Base64编码。对栅格数据的传输效率取决于JSON所传输的栅格数据的大小，如果数据过大，必将会占用较多的传输带宽，最终影响到系统整体功能。

现有的JSON数据压缩传输算法主要是对JSON数据中重复的Key或者Value进行处理，或者通过转义或者数据字典匹配的方式以达到JSON数据压缩目的。但是，在对大块栅格数据流进行压缩传输时，效果并不明显，因此，需要一种方法能够针对栅格数据的特点，设计相应的压缩传输方式，从而降低传输的JSON数据量，提高传输效率。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于JSON的栅格数据自适应压缩传输方法及计算机存储介质，解决了现有的JSON数据压缩方法对大块栅格数据压缩效果不理想的问题，能够更大程度的压缩栅格数据，显著降低传输数据量，降低传输带宽需求，提高传输效率，此外，基于JSON使得栅格数据能够跨语言传输，具有更好的实用性和灵活性。

技术方案：本发明所述的基于JSON的栅格数据自适应压缩传输方法，包括发送端的发送方法和接收端的接收方法，所述发送方法为：

(1)从地图中提取需要传输的区域，将该区域转化为栅格数据矩阵T₀；

(2)获取栅格矩阵T₀中不同栅格元素值的数量以及元素值，建立栅格数据字典MAP；

(3)利用栅格数据字典MAP，替换T₀中的元素值，生成栅格矩阵T₁；

(4)计算自适应压缩因子n，对T₁自适应压缩，生成一维矩阵T₂；

(5)通过通用Base64对照表及Base64字符转换方式，将T₂转为字符串数组T₃；

(6)设置JSON数据的Key和Value值，组织为包含T₃的JSON数据，并传输所述JSON数据；

所述接收方法为：

(7)接收JSON数据并进行解析，获取栅格数据字典MAP、T₁的行数M、T₁的列数N以及字符串数组T₃；

(8)通过通用的Base64逆对照表及Base64逆转换方式，将T₃逆转换成T₂；

(9)计算自适应压缩因子n，对T₂进行解压缩，生成T₁；

(10)利用栅格数据字典MAP，还原栅格数据矩阵T₀。

进一步的，步骤(2)中的建立栅格数据字典MAP具体为：遍历T₀，将不同的栅格数据值保存至一维数组A中，对数组进行升序排序，在数组元素索引与数组元素值之间建立字典MAP(index，A[index])，index表示数据字典的索引，A[index]表示数组A中第index个元素的取值。

进一步的，步骤(3)中生成栅格矩阵T₁的方法为：遍历栅格矩阵T₀，如果MAP中存在元素的A[index]与T₀(i，j)相等，则将该元素的A[index]对应的索引index赋值给T₀(i，j)，依次将矩阵T₀中所有元素替换完成后，获得新的栅格矩阵T₁。

进一步的，步骤(4)中自适应压缩因子n的计算方法为：

2ⁿ-1≥m，(a)

其中，m为栅格数据字典MAP的长度，n取满足公式(a)条件的所有值中的最小值。

进一步的，步骤(4)中生成一维矩阵T₂的方法为：

遍历T₁，对于连续相同的至少一个元素，记录元素总数为Number，元素值为Value，如果n∈[0，4)，包括以下步骤：

(41)当Number≤2^8-n-1，

T₂[i]＝(Number＜＜n)|Value；

(42)当Number＞2^8-n-1，包括以下步骤：

(421)Number1＝(2^8-n-1)，T₂[i]＝(Number1＜＜n)|Value；

(422)i＝i+1，Number＝Number-(2^8-n-1)；

(423)返回到步骤(421)，直至Number≤2^8-n-1时返回步骤(41)；

其中，(Number＜＜n)|Value表示的是先将数值Number左移n位，然后与Value按位取或形成新的元素，(Number1＜＜n)|Value表示的是先将数值Number1左移n位，然后与Value按位取或形成新的元素；

如果包括以下步骤：

(43)当Number≤255，

T₂[i]＝Number，T₂[i+1]＝Value；

(44)若Number＞255，包括以下步骤：

(441)Number2＝255，T₂[i]＝Number2，T₂[i+1]＝Value；

(442)i＝i+1，Number＝Number-255；

(443)返回步骤(441)，直至Number≤255时返回步骤(43)。

进一步的，步骤(9)中生成T₁的方法为：

(91)遍历T₂；

(92)如果n∈[0，4)，

Number＝(0x7F＞＞(n-1))&(T₂[i]＞＞n)，

Value＝(0x7F＞＞(7-n))&(T₂[i])，

其中，Number＝(0x7F＞＞(n-1))&(T₂[i]＞＞n)表示的是从一维数组T₂中的元素T₂[i]中获取Number时，先将T₂[i]右移n位、将0x7F右移n-1位，然后将右移之后的两个数按位相与得到Number；Value＝(0x7F＞＞(7-n))&(T₂[i])表示的是从一维数组T₂中的元素T₂[i]中获取Value时，将0x7F右移7-n位之后，与T₂[i]按位相与得到Value；

(93)如果

Number＝T₂[i]，

Value＝T₂[i+1]；

(94)建立M*N的二维数组T′₁，对元素进行赋值，

T′₁[i][j]＝Value，

其中，i为(Count+m)/N的向下取整，j为(Count+m)-i*N的向下取整，m＝1，2，...，Number，Count为已经赋值的元素个数；

(95)返回步骤(91)，直至T₂遍历完毕，T₁＝T′₁。

本发明所述的计算机存储介质，其上存储有计算机程序，所述计算机程序在被计算机处理器执行时实现上述基于JSON的栅格数据自适应压缩传输方法。

有益效果：本发明具有以下优点：1、本发明为栅格数据建立数据字典，可有效减少栅格数据在传输时的种类；2、本发明采用自适应方法动态调整字节中栅格的数值以及数量，压缩方式灵活且压缩效率高；3、本发明将压缩后的栅格数据转为基于Base64的字符串，不但能够实现基于JSON实现多种语言或者平台之间的栅格数据传输，且大大减少传输数据量。

附图说明

图1是本发明实施方式的方法整体流程图；

图2是本实施方式栅格矩阵建立的示意图；

图3是本实施方式栅格数据压缩的示意图。

具体实施方式

本发明实施方式基于已有的栅格地图作为原始数据源，方法流程如图1所示，具体为：

步骤一，获取栅格数据矩阵，即在地理坐标系中选择需要传输栅格数据的矩形区域，设置经度以及纬度方向的量化经度，并依据地形对照表，将矩形区域离散化为栅格矩阵。从地图中提取需要传输的区域，依据地理信息特征，将该区域转化为栅格数据矩阵。在地理坐标系中的选择起始坐标点S(J_s，W_s)、结束坐标点E(J_e，W_e)，形成一个矩形区域，设置纬度、经度方向的离散精度K_I、K_W，离散精度的单位为“度/单元”，按照公式(1)，将矩形区域离散化为M*N栅格矩阵T₀。

其中，M表示矩阵行数，N表示矩阵列数，INT表示取整，J_s表示起始点经度，J_e表示结束点经度，W_s表示起始点纬度，W_e表示结束点纬度，T₀(i，j)表示矩阵T₀中的第i行、第j列的元素，TZ表示获取T₀(i，j)对应坐标位置处的地理信息特征，通过查询地形数据库或者已有的对照表获得。

在本实施例中，选择需要传输栅格地图区域的起始坐标为(120.2417，34.2315)，终止坐标为(120.2677，34.2215)，原始地图信息如图2中的(a)所示，地形信息对照表为：

设置纬度方向上的量化为0.0001度，经度方向上的量化经度为-0.0001度，将该区域进行量化，如图2中的(b)所示。量化后的矩阵元素大小为260*100，第(i，j)个元素的经纬度坐标为(120.2417+i*0.0001，34.2315-j*0.0001)，譬如第(1，1)个元素(120.2418，34.2314)为湖泊，则T₀(1，1)＝130，依此，最终形成矩阵T₀，如图2中的(c)所示。

步骤二，建立栅格数据字典。获取栅格矩阵中不同栅格元素值的数量以及元素值，建立栅格数据字典。遍历栅格矩阵T₀，将不同的栅格数据值保存至一维数组A_m中，对数组进行升序排序，在数组元素索引与数组元素值之间建立字典MAP(index，A[index])，index表示数据字典的索引，A[index]为数组A_m中第index个元素的取值，数据字典的长度与数组A_m的长度相同，即为m，m一般不超过255。

在本实施例中，栅格数值共有m＝5种，数组A＝[130，213，15，129，69]，因此，可获得栅格数据字典为[(0，15)，(1，69)，(2，129)，(3，130)，(4，213)]。

步骤三，依据栅格数据字典，替换栅格矩阵中的元素值，生成新的栅格矩阵。遍历栅格矩阵T₀，如果T₀(i，j)与MAP中的某个元素A[index]相等，则将A[index]对应的索引index赋值给T₀(i，j)，依次将矩阵T₀中所有元素替换完成后，获得新的栅格矩阵T₁。

在本实施例中，将图2中的(c)中的矩阵每个数据元素替换为对应的索引，即将取值为15的所有元素填换为0，取值为69的替换为1，取值为129的替换为2，取值为130的所有元素替换为3，取值为213的所有元素替换为4，形成的如图2中的(d)所示矩阵T₁。

步骤四，计算自适应压缩因子，对栅格矩阵自适应压缩，形成新的一维矩阵。首先，依据公式(2)，

2ⁿ-1≥m，min(n) (2)

求得自适应压缩因子n，其中m为数据字典MAP的长度，min(n)表示取满足条件的所有n中的最小值；

其次，遍历栅格矩阵T₁，对于连续相同的至少一个元素，记录元素总数和元素值分别为Number和Value；最后，形成新的一维数组T₂，根据n的大小计算一维数组T₂中的每一个元素，即：

遍历T₁，对于连续相同的至少一个元素，记录元素总数为Number，元素值为Value，如果n∈[0，4)，

T₂[i]＝(Number1＜＜n)|Value， (3)

其中，若Number＞2^8-n-1，则令Number1＝(2^8-n-1)并计算T₂[i]，然后设置i＝i+1及Number＝Number-(2^8-n-1)直至Number≤2^8-n-1；若Number≤2^8-n_1，Number1＝Number，则(Number1＜＜n)|Value表示的是先将数值Number1左移n位，然后与Value按位取或形成新的元素；

如果

T₂[i]＝Number2，T₂[i+1]＝Value， (4)

其中，若Number＞255，则令Number2＝255并计算T₂[i]，然后设置i＝i+1及Number＝Number-255直至Number≤255；若Number≤255，则Number2＝255。在公式(4)中，T₂[i]＝Number及T₂[i+1]＝Value含义是前一个元素表示Number，后一个元素表示Value，两个元素成对出现；Number≤255是为了限制T₂[i]所包含的Number范围，如果Number超过了255，则需要将Number减去255之后，重新通过公式(4)新增元素。

在本实施例中，按照公式(2)、(3)以及(4)所示方法，首先将矩阵T₁视为1×26000的一维数组，然后进行自适应压缩，形成新的一维数组T₂。依据公式(2)计算压缩因子n＝3，则在一维数组T₂中，T₂[i]的低3位表示栅格值，高5位表示栅格值对应的栅格数量，譬如在前100个元素中，连续分布的栅格数据为2(75个)、3(3个)、2(9个)、4(10个)、0(3个)，依据公式(3)，压缩之后在T₂存储为[250，250，210，51，146，164，48]，如图3所示。按照同样的方式，计算剩余的25900个元素，形成新的一维数组T₂。

步骤五，基于通用Base64对照表及Base64字符转换方式，将一维数组T₂转为字符串数组T₃。此转换方式为通用的转换方式。

步骤六，组织JSON数据，设置JSON的Key以及Value值，并将JSON通过网络或者消息进行传输。在JSON数据中定义区域范围Rect、离散精度K_J以及K_w、矩阵行数M、矩阵列数N、栅格数据字典MAP以及栅格字符串T₃，然后基于网络或者消息方式进行传输。

在本实施例中，定义JSON格式为：

步骤七，JSON数据接收解析。通过网络或者消息接收到JSON数据后，按照约定的Key以及Value进行解析。通过网络或者消息接收到JSON数据后，首先按照JSON中定义各数据字段获取区域范围Rect、离散精度K_J以及K_w、矩阵行数M、矩阵列数N、栅格数据字典MAP以及栅格字符串T′₃，T′₃＝T₃。

步骤八，基于通用的Base64逆对照表及Base64逆转换方式，将字符串逆转换成一维数组T′₂，T′₂＝T₂。步骤七、步骤八，均采用的是通用的转换方式。

步骤九，计算自适应压缩因子n，将压缩的栅格数据解压。首先，依据栅格数据字典MAP及其长度m，通过公式(2)获取自适应压缩因子n；其次，遍历一维数组T′₂，如果n∈[0，4)，则通过公式(5)计算Number和Value的值，否则通过公式(6)计算；最后，形成T′₁，依据Number和Value，依据栅格数据的行数M和列数N，建立M*N的二维数组T′₁，并从T′₁[0][0]开始对元素进行赋值，假设已经赋值的元素个数为Count(初始时Count为0)，则将Number个Value赋值给T′₁中的对应的元素T′₁[i][j]方法如公式(7)所示，T₁＝T′₁。

在公式(5)中Number＝(0x7F＞＞(n-1))&(T′₂[i]＞＞n)表示的是从一维数组T′₂中某一个元素T′₂[i]中获取Number时，先将T′₂[i]右移n位、将0x7F右移n-1位，然后将右移之后的两个数按位相与得到Number；Value＝(0x7F＞＞(7-n))&(T′₂[i])表示的是从一维数组T′₂中某一个元素T′₂[i]中获取Value时，将0x7F右移7-n位之后，与T′₂[i]按位相与得到Value。公式(7)表示的随着m以步长为1从1逐渐增加到Number时，T′₁中元素T′₁[i][j]的赋值方法。随着m的递增，Count同样以步长1进行递增，i＝(Count+m)/N并向下取整，表示T′₁[i][j]元素所处的行，j＝(Count+m)-i*N并向下取整，表示T′₁[i][j]元素所处的列。

在本实施例中，首先依据步骤七中获得栅格参数，创建260*100的矩阵T′₁；然后，依据公式(2)计算压缩因子n＝3，表示一维数组T′₂，T′₂[i]的低3位表示栅格值，高5位表示栅格值对应的栅格数量，以T′₂[0]＝250为例，计算该元素对应的Number＝(0x7F＞＞(3-1))&(250＞＞3)＝31，Value＝(0x7F＞＞(7-3))&(250))＝2，即该元素表示了连续31个2，设置T′₁从T′₁[0][0]至第T′₁[0][30]的值为2，对剩余的T′₂按照此方法进行解压，从而获得解压后的矩阵T′₁。

步骤十，按照步骤一至步骤三所描述的方法，进行逆操作，从获取栅格矩阵T′₀。

在本实施例中，遍历矩阵T′₁，将取值为0的所有元素填换为15，取值为1的替换为69，取值为2的替换为129，取值为3的所有元素替换为130，取值为4的所有元素替换为213，从而形成矩阵T′₀＝T₀，至此，完成栅格数据的压缩传输。

本发明实施例如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实例不限制于任何特定的硬件和软件结合。

相应的，本发明的实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述基于JSON的栅格数据自适应压缩传输方法。例如，该计算机存储介质为计算机可读存储介质。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (7)

1.一种基于JSON的栅格数据自适应压缩传输方法，其特征在于，包括发送端的发送方法和接收端的接收方法，所述发送方法为：

(1)从地图中提取需要传输的区域，将该区域转化为栅格数据矩阵T₀；

(2)获取栅格矩阵T₀中不同栅格元素值的数量以及元素值，建立栅格数据字典MAP；

(3)利用栅格数据字典MAP，替换T₀中的元素值，生成栅格矩阵T₁；

(4)计算自适应压缩因子n，对T₁自适应压缩，生成一维矩阵T₂；

(5)通过通用Base64对照表及Base64字符转换方式，将T₂转为字符串数组T₃；

(6)设置JSON数据的Key和Value值，组织为包含T₃的JSON数据，并传输所述JSON数据；

所述接收方法为：

(7)接收JSON数据并进行解析，获取栅格数据字典MAP、T₁的行数M、T₁的列数N以及字符串数组T₃；

(8)通过通用的Base64逆对照表及Base64逆转换方式，将T₃逆转换成T₂；

(9)计算自适应压缩因子n，对T₂进行解压缩，生成T₁；

(10)利用栅格数据字典MAP，还原栅格数据矩阵T₀。

2.根据权利要求1所述的基于JSON的栅格数据自适应压缩传输方法，其特征在于，步骤(2)中的建立栅格数据字典MAP具体为：遍历T₀，将不同的栅格数据值保存至一维数组A中，对数组进行升序排序，在数组元素索引与数组元素值之间建立字典MAP(index，A[index])，index表示数据字典的索引，A[index]表示数组A中第index个元素的取值。

3.根据权利要求2所述的基于JSON的栅格数据自适应压缩传输方法，其特征在于，步骤(3)中生成栅格矩阵T₁的方法为：遍历栅格矩阵T₀，如果MAP中存在元素的A[index]与T₀(i，j)相等，则将该元素的A[index]对应的索引index赋值给T₀(i，j)，依次将矩阵T₀中所有元素替换完成后，获得新的栅格矩阵T₁。

4.根据权利要求1所述的基于JSON的栅格数据自适应压缩传输方法，其特征在于，步骤(4)中自适应压缩因子n的计算方法为：

2ⁿ-1≥m， (a)

其中，m为栅格数据字典MAP的长度，n取满足公式(a)条件的所有值中的最小值。

5.根据权利要求1所述的基于JSON的栅格数据自适应压缩传输方法，其特征在于，步骤(4)中生成一维矩阵T₂的方法为：

遍历T₁，对于连续相同的至少一个元素，记录元素总数为Number，元素值为Value，如果n∈[0，4)，包括以下步骤：

(41)当Number≤2^8-n-1，

T₂[i]＝(Number＜＜n)|Value；

(42)当Number＞2^8-n-1，包括以下步骤：

(421)Number1＝(2^8-n-1)，T2[i]＝(Number1＜＜n)|Value；

(422)i＝i+1，Number＝Number-(2^8-n-1)；

(423)返回到步骤(421)，直至Number≤2^8-n-1时返回至步骤(41)；

其中，(Number＜＜n)|Value表示的是先将数值Number左移n位，然后与Value按位取或形成新的元素，(Number1＜＜n)|Value表示的是先将数值Number1左移n位，然后与Value按位取或形成新的元素；

如果包括以下步骤：

(43)当Number≤255，

T₂[i]＝Number，T₂[i+1]＝Value；

(44)当Number＞255，包括以下步骤：

(441)Number2＝255，T₂[i]＝Number2，T₂[i+1]＝Value；

(442)i＝i+1，Number＝Number-255；

(443)返回步骤(441)，直至Number≤255时返回至步骤(43)。

6.根据权利要求1所述的基于JSON的栅格数据自适应压缩传输方法，其特征在于，步骤(9)中生成T₁的方法为：

(91)遍历T₂；

(92)如果n∈[0，4)，

Number＝(0x7F＞＞(n-1))&(T₂[i]＞＞n)，

Value＝(0x7F＞＞(7-n))&(T₂[i])，

其中，Number＝(0x7F＞＞(n-1))&(T₂[i]＞＞n)表示的是从一维数组T₂中的元素T₂[i]中获取Number时，先将T₂[i]右移n位、将0x7F右移n-1位，然后将右移之后的两个数按位相与得到Number；Value＝(0x7F＞＞(7-n))&(T₂[i])表示的是从一维数组T₂中的元素T₂[i]中获取Value时，将0x7F右移7-n位之后，与T₂[i]按位相与得到Value；

(93)如果

Number＝T₂[i]，

Value＝T₂[i+1]；

(94)建立M*N的二维数组T′₁，对元素进行赋值，

T′₁[i][j]＝Value，

其中，i为(Count+m)/N的向下取整，j为(Count+m)-i*N的向下取整，m＝1，2，...，Number，Count为已经赋值的元素个数；

(95)返回步骤(91)，直至T₂遍历完毕，T₁＝T′₁。

7.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现权利要求1至6任一项所述的方法。