CN109144957B - 网格数据压缩方法和网格数据压缩装置 - Google Patents

Abstract

本发明实施例涉及数据压缩技术领域，具体是关于一种网格数据压缩方法，包括：获取网格区域中第一网格的第一特征数据；获取所述网格区域中第二网络的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；对所述第三特征数据进行压缩。通过本发明的实施例，可以对第三特征数据进行压缩，相对于直接压缩第一特征数据和第二特征数据，由于第三特征数据更有序，冗余更多，从而可以降低压缩率。

Description

网格数据压缩方法和网格数据压缩装置

技术领域

本发明实施例涉及数据压缩技术领域，尤其涉及网格数据压缩方法、网格数据压缩装置、电子设备和计算机可读存储介质。

背景技术

目前的数据压缩方法，主要是将数据作为一维的字节流来处理，例如gzip(基于GNU自由软件的数据压缩方法)，zlib(基于deflate压缩算法的压缩方法)。

基于目前的数据压缩方法，压缩率一般只能达到45％左右，也即节省55％左右的存储空间，但是这在对压缩后的数据量要求较小，而需要压缩的数据量较大的情况下，压缩率仍然难以满足需求。

发明内容

本发明实施例提供网格数据压缩方法、网格数据压缩装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种网格数据压缩方法，包括：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据进行压缩。

可选地，所述根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据包括：

对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据。

可选地，所述对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据包括：

计算所述第一特征数据中第一比特，和所述第二特征数据中第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

可选地，所述对所述第三特征数据进行压缩包括：

对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

可选地，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

可选地，所述对所述第三特征数据进行压缩包括：

通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。

根据本发明实施例的第二方面，提供一种网格数据压缩装置，包括：

获取模块，获取网格区域中第一网格的第一特征数据；以及获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

生成模块，用于根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

压缩模块，用于对所述第三特征数据进行压缩。

可选地，所述生成模块用于对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据。

可选地，所述生成模块用于计算所述第一特征数据中第一比特，和所述第二特征数据中第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

可选地，所述压缩模块用于对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

可选地，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

可选地，所述压缩模块用于通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。

根据本发明实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据进行压缩。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据进行压缩。

由上述实施例可知，本发明对第三特征数据进行压缩，相对于直接压缩第一特征数据和第二特征数据，由于第三特征数据更有序，冗余更多，从而可以降低压缩率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本发明实施例示出的一种网格数据压缩方法的示意流程图。

图2是根据本发明实施例示出的一种网格的示意图。

图3是根据本发明实施例示出的一种特征数据的示意图。

图4是根据本发明实施例示出的另一种网格数据压缩方法的示意流程图。

图5是根据本发明实施例示出的又一种网格数据压缩方法的示意流程图。

图6是根据本发明实施例示出的又一种网格数据压缩方法的示意流程图。

图7是根据本发明实施例示出的一种网格数据压缩装置的示意框图。

图8是根据本发明实施例示出一种网格数据压缩装置所在设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本发明实施例示出的一种网格数据压缩方法的示意流程图，该实施例可以用于压缩与地理因素相关的数据，例如外卖订单数据，网络约车数据等，以下主要在该实施例应用于网络约车数据的情况下进行示例性说明。如图1所示，该实施例可以包括以下步骤：

步骤S1，获取网格区域中第一网格的第一特征数据。

步骤S2，获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻。

在一个实施例中，以该实施例适用于网络约车数据为例，网格区域可以是某个网络约车订单数量相对集中的区域，例如市区，机场等。

在一个实施例中，可以根据预设规则在某个区域中设置网格，从而基于该区域形成网格区域，例如预设规则可以是设置三角形网格，或者设置矩形网格等，具体规则可以根据需要设定。

在一个实施例中，可以根据经度和纬度将在某个区域中设置网格，从而基于该区域形成网格区域，其中，经度和纬度的精度可以根据需要设定，并且经度和纬度的精度可以相同，例如均为500米，则网格区域中每个网格的形状为正方形；或者经度的纬度的精度可以不同，例如经度的精度为300米，纬度的精度为200米，网格区域中每个网格的形状为矩形。

在一个实施例中，网格区域中每个网格对应的地理区域的形状可以相同，也可以不同，并且每个地理区域的尺寸可以相同，也可以不同。

以每个地理区域的形状相同，且尺寸相同为例，图2是根据本发明实施例示出的一种地理区域的示意图。如图2所示，第一网格1和第二网格2相邻，且形状均为矩形，并且面积相同。

在一个实施例中，在相同时刻，网络约车数据的差异主要取决于地理位置的差异，也即地理位置相距越远，一般情况下差异越大，而地理位置相距越近，一般情况下差异越小。相应地，在网格区域中，网络约车数据的差异则主要取决于网络约车数据对应网格的不同，也即网格相距越远，网格对应的地理区域中的网络约车数据差异越大，网格相距越近，网格对应的地理区域中的网络约车数据差异越小。

其中，本实施例中的第一特征数据和第二特征数据属于相同类型的网络约车数据，例如均为订单成交率，或者均为单位时间内订单数等。

图3是根据本发明实施例示出的一种特征数据的示意图。

基于图2所示的实施例，如图3所示，第一网格1和第二网格2相邻，并且第一网格1和第二网格2与其他网格0均不相邻，因此得到的第一网格的第一特征数据与第二网格的第二特征数据，仅第6个字节不同，而第一特征数据和第二特征数据与其他网格的其他特征数据，第5、6和7字节均不同。

步骤S3，根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据。

步骤S4，对所述第三特征数据进行压缩。

在一个实施例中，由于第一特征数据和第二特征数据差异较小，也即相同位置的第一字节和第二字节差异较小，例如图3所示，8个字节中仅1个字节不同，其他相同位置的字节均相同，因此根据第一特征数据和第二特征数据的差异性生成第三特征数据。

例如可以对第一特征数据和第二特征数据进行同或运算，使得其中相同的毕业得到的同或结果为1，不同的比特得到同或结果为0。那么针对图3所示的实施例，8个字节的7个字节中相同比特同或结果为1，只有第6个字节中三个比特同或结果为0，基于此，得到的第三特征数据中仅有3个比特与其他比特不同，相对于第二特征数据中存在4个比特与其他比特不同的情况，更为有序。

例如还可以对第一特征数据和第二特征数据进行异或运算，使得其中相同的比特得到的结果为0，不同的比特得到异或结果为1。那么针对图3所示的实施例，8个字节的7个字节中相同比特同或结果为0，只有第6个字节中三个比特同或结果为1，基于此，得到的第三特征数据中仅有3个比特与其他比特不同，相对于第二特征数据中存在4个比特与其他比特不同的情况，更为有序。

基于本实施例，可以使得第三特征数据在大多数情况下相比第一特征数据和/或第二特征数据更有序，冗余也更多。进而对第三特征数据进行压缩，相对于直接压缩第一特征数据和第二特征数据，由于第三特征数据更有序，冗余更多，从而可以降低压缩率。

具体生成第三特征数据的方式可以根据需要进行选择，并不限于上述同或和异或运算。

图4是根据本发明实施例示出的另一种网格数据压缩方法的示意流程图。如图4所示，在图1所示实施例的基础上，所述根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据包括：

步骤S31，对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据。

在一个实施例中，通过可以对第一特征数据和第二特征数据进行异或运算，使得其中相同的比特得到的结果为0，不同的比特得到异或结果为1。那么针对图3所示的实施例，8个字节的7个字节中相同比特同或结果为0，只有第6个字节中三个比特同或结果为1，基于此，得到的第三特征数据中仅有3个比特与其他比特不同，相对于第二特征数据中存在4个比特与其他比特不同的情况，更为有序。

并且一般情况下，第一特征数据和第二特征数据中相同大多数比特是相同的，因此经过异或运算得到的第三特征数据中大多数比特为0，若经过同或运算得到第三特征数，那么其中大多数比特为1，而压缩更多比特为0的数据，相对于压缩更多比特为1的数据，可以进一步降低压缩率。因此，较优地，可以通过异或运算来得到第三特征数据。

图5是根据本发明实施例示出的又一种网格数据压缩方法的示意流程图。如图5所示，在图4所示实施例的基础上，所述对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据包括：

步骤S32，计算所述第一特征数据中第一比特，和所述第二特征数据中第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

在一个实施例中，基于图3所示的实施例中，具体地可以对于第一特征数据和第二特征数据中相同位置的比特进行异或运算。由于第一特征数据中和第二特征数据中仅第6个字节中的第5、6和7个比特不同，因此经过异或运算得到的第三特征数据，也仅第6个字节中的第5、6和7个比特的值为1，其他比特的值为0，也即根据第6个第一字节A和第6个第二字节B计算得到的第三字节C为00001110，根据其他位置的第一字节和第二字节计算得到的第三字节均为00000000。因此，得到的第三特征数据相对于第一特征数据和/或第二特征数据更为有序，更有利于提高压缩比。

以北京的网络约车订单数据为例，网格对应的地理区域为形状为正方形，且边长为500米，那么对于北京全城一天中网络约车订单数据约为2.6M，通过lz4算法压缩后的数据为1.2M，压缩率约为45％。

而根据本实施例的方法，对于上述数据进行压缩，压缩后的数据约为0.7M，压缩率达到了25％，相对于相关技术中45％的压缩率，极大地缩小了压缩率，从而节省了存储空间。

图6是根据本发明实施例示出的又一种网格数据压缩方法的示意流程图。如图6所示，在图4所示实施例的基础上，所述对所述第三特征数据进行压缩包括：

步骤S41，对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

在一个实施例中，在通过异或运算得到第三特征数据的基础上，由于与压缩对应的还需要解压缩，也即需要解压缩得到第一特征数据和第二特征数据，而在已知A xor B＝C的情况下，根据异或运算的自反性，在已知C的情况下，若可以确定A，那么即可得到B；相应地，在已知C的情况下，若可以确定B，则可以得到A。因此在本实施例中，第一特征数据和第二特征数据在异或运算过程中可以互换，也即第三特征数据也可以对应第一特征数据。

具体地，在确定A和情况下，可以对C与A再进行异或运算，也即CxorA＝A xor BxorA＝B；相应地，在确定B的情况下，可以对C与B再进行异或运算，也即CxorB＝A xor Bxor B＝A。

因此在第三数据对应第二数据的基础上，那么在得到第三特征数据的情况下，可以压缩第三特征数据和第一特征数据，并存储压缩结果，以便保证在降低压缩率的基础上，能够根据存储的数据顺利地解压缩得到第一特征数据和第二特征数据。

可选地，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

在一个实施例中，形状相同且面积相等的地理区域，在相邻的情况下，更有利于保证第一特征数据和第二特征数据的相似性，进而保证图1至图6中任一实施例能够以较小的压缩率压缩数据。

可选地，所述对所述第三特征数据进行压缩包括：

通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。适用于本实施例的压缩算法并不限于上述三种，可以根据需要选择具体的压缩算法。

与上述网格数据压缩方法的实施例相对应地，本发明还提出了网格数据压缩装置的实施例。

图7是根据本发明实施例示出的一种网格数据压缩装置的示意框图。如图7所示，该网格数据压缩装置包括：

获取模块1，用于获取网格区域中第一网格的第一特征数据；以及获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

生成模块2，用于根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

压缩模块3，用于对所述第三特征数据进行压缩。

可选地，所述生成模块用于对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据。

可选地，所述生成模块用于计算所述第一特征数据中第一比特，和所述第二特征数据中第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

可选地，所述压缩模块用于对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

可选地，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

可选地，所述压缩模块用于通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。

本发明网格数据压缩装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明网格数据压缩装置所在设备的一种硬件结构图，除了图8所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在相关的方法实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据进行压缩。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据进行压缩。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。其中，所述第一特征数据与所述第二特征数据为相同类型的数据。

Claims (12)

1.一种地理区域网格数据压缩方法，其特征在于，包括：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据和所述第一特征数据进行压缩；

其中，所述根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据包括：

对所述第一特征数据和所述第二特征数据进行异或运算或同或运算，以生成所述第三特征数据；

其中，所述第一特征数据与所述第二特征数据为相同类型的数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征数据和所述第二特征数据进行异或运算，以生成所述第三特征数据包括：

计算所述第一特征数据中的第一比特，和所述第二特征数据中的第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

3.根据权利要求1所述的方法，其特征在于，所述对所述第三特征数据进行压缩包括：

对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述对所述第三特征数据进行压缩包括：

通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。

6.一种地理区域网格数据压缩装置，其特征在于，包括：

获取模块，用于获取网格区域中第一网格的第一特征数据；以及获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

生成模块，用于根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

压缩模块，用于对所述第三特征数据和所述第一特征数据进行压缩；

其中，所述生成模块用于对所述第一特征数据和所述第二特征数据进行异或运算或同或运算，以生成所述第三特征数据；

其中，所述第一特征数据与所述第二特征数据为相同类型的数据。

7.根据权利要求6所述的装置，其特征在于，所述生成模块用于计算所述第一特征数据中第一比特，和所述第二特征数据中第二比特的异或值，以作为第三比特，根据所述第三比特确定第三字节，且多个所述第三字节构成第三特征数据，其中，所述第一比特在所述第一特征数据中的位置与所述第二比特在所述第二特征数据中的位置相同。

8.根据权利要求6所述的装置，其特征在于，所述压缩模块用于对所述第三特征数据进行压缩，以及对所述第一特征数据进行压缩。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述网格区域中每一个网格对应的地理区域的面积和形状均相同。

10.根据权利要求6至8中任一项所述的装置，其特征在于，所述压缩模块用于通过gzip、zlib和/或lz4压缩算法对所述第三特征数据进行压缩。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据和所述第一特征数据进行压缩；

其中，所述根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据包括：

对所述第一特征数据和所述第二特征数据进行异或运算或同或运算，以生成所述第三特征数据；

其中，所述第一特征数据与所述第二特征数据为相同类型的数据。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

获取网格区域中第一网格的第一特征数据；

获取所述网格区域中第二网格的第二特征数据，其中，所述第一网格对应的地理区域和所述第二网格对应的地理区域相邻；

根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据；

对所述第三特征数据和所述第一特征数据进行压缩；

其中，所述根据所述第一特征数据和所述第二特征数据的差异性，生成所述第二特征数据对应的第三特征数据包括：

对所述第一特征数据和所述第二特征数据进行异或运算或同或运算，以生成所述第三特征数据；

其中，所述第一特征数据与所述第二特征数据为相同类型的数据。

Images