CN109962711B - 一种数据压缩方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据压缩方法、电子设备及存储介质，方法包括：获取数据集，数据集包括若干数据；识别若干数据的数据类型，数据类型包括布尔类型和非布尔类型；将数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据；将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据，其中，第二数据压缩规则与第一数据压缩规则不同，从而简化运算过程，提高运算效率。

Description

一种数据压缩方法、电子设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种数据压缩方法、电子设备及存储介质。

背景技术

无人机飞行过程中，所产生的数据类型多、数据量庞大、更新速率快，而飞机运算单元的输出端口有限，按照常规的方法，每一个数据变量均占用一个端口，至少需要成百上千个端口来传输和存储数据，这就会造成端口资源严重地浪费。并且，数据的采样频率很高，大量的数据输出很容易造成存储单元的匮乏。而对于开发人员而言，数据记录存储越全面，分析飞行故障的信息就越全面，定位问题就越快，研发效率就越高。因此，对于飞机而言，传输存储的数据变量越少越好；对于开发人员而言，则存储的数据变量越多越好，这是一个矛盾。

现有的数据处理方法包括两种：一是优先传输和存储特别重要的数据，将数据按照重要程度依次排序进行存储，直至端口资源被全部占用，未能“排上队”的数据变量，则将其舍弃；二是将数据进行整理，通过压缩算法来对数据进行压缩，争取用少量的端口传输更多的数据以进行存储，在后续分析时，采用相应的解压缩算法来进行数据解包处理，还原真实数据。对于方法一，能够传输存储的数据变量十分有限，每一个数据变量占用一个数据端口，严重浪费资源；为了尽可能多的传输存储重要数据，需要将端口数增多，这严重影响了飞机的计算速率，且大量的端口不易于管理，还会占用大量的存储空间。对于方法二，大多数是通过编码技术来实现数据的压缩，运算比较复杂，解码速度较慢。

发明内容

为了克服现有技术中数据运算复杂，计算效率低的问题，本发明的目的在于提供一种数据压缩方法、电子设备及存储介质，以解决现有数据处理中运算复杂，计算效率低的问题。

本发明提供一种数据压缩方法，包括：

获取数据集，所述数据集包括若干数据；

识别所述若干数据的数据类型，所述数据类型包括布尔类型和非布尔类型；

将数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据；

将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据，其中，所述第二数据压缩规则与所述第一数据压缩规则不同。

进一步地，将数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据包括：

将所述布尔数据分组；

将分组后的各组布尔数据分别按照第一公式进行运算得到与所述各组布尔数据一一对应的多个所述第一压缩数据。

进一步地，所述第一公式为：

其中，v₁,v₂…,v_N表示一组布尔数据中的N个布尔数据，v_bool表示第一压缩数据。

进一步地，所述布尔数据包括飞机飞行过程中的飞机标志位数据。

进一步地，将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据包括：

将所述非布尔数据分组，每个分组包括两个非布尔数据；

将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个所述第二压缩数据。

进一步地，所述数据集中的非布尔数据包括候选数据集和已分组数据集，将所述非布尔数据分组包括：

按照第一预设规则从所述候选数据集中选取两个非布尔数据；

判断所述两个非布尔数据是否满足预设压缩条件；

若所述两个非布尔数据满足预设压缩条件，则将所述两个非布尔数据作为一个分组并加入已分组数据集中。

进一步地，所述方法还包括：

若所述两个非布尔数据不满足预设压缩条件，则将所述两个非布尔数据重新放入所述候选数据集。

进一步地，将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据包括：

将所述非布尔数据分组，每个分组包括两个非布尔数据；

将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个待定压缩数据；

将所述多个待定压缩数据分组，每个分组包括两个待定压缩数据；

将分组后的待定压缩数据分别按照第二公式进行运算得到与各组待定压缩数据一一对应的多个所述第二压缩数据。

进一步地，所述第二公式为：

v_{1_2}＝(int)K₁v₁+(int)2K₂K₁M₁v₂，

其中，v₁,v₂为一组非布尔数据中的两个非布尔数据，v_{1_2}为第二压缩数据，

e₁和e₂分别是v₁和v₂的截断误差。

进一步地，所述预设压缩条件为：

K₁M₁+2K₂K₁M₁M₂≤2^N-1，

其中，M₁和M₂分别为一组非布尔数据中的两个非布尔数据所对应的变量的量程，N为所述变量的位数。

进一步地，所述非布尔数据包括飞机飞行过程中的飞机状态变量和传感器数据。

进一步地，所述方法还包括：

存储所述第一压缩数据和第二压缩数据。

本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机可读程序，所述计算机可读程序被配置成由处理器执行，所述计算机可读程序被处理器执行时实现上述的方法。

本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

相比现有技术，本发明的有益效果在于：将获取到的数据集按照布尔类型和非布尔类型分类，对于布尔类型，按照第一压缩规则压缩，对于非布尔数据，按照第二压缩规则进行压缩，从而简化运算过程，提高运算效率。

附图说明

图1为本发明一实施例提供的数据压缩方法流程图；

图2为本发明一实施例提供的将数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据的流程图；

图3为本发明一实施例提供的将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据的流程图；

图4为本发明一实施例提供的将非布尔数据分组的流程图；

图5为本发明一实施例提供的将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据的流程图；

图6为本发明实施例提供的电子设备的示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

本发明提供的数据压缩方法应用于无人机，用于对无人机飞行过程中所采集到的数据进行压缩。

如图1所示，本发明实施例提供的数据压缩方法，包括：

步骤S101：获取数据集，所述数据集包括若干数据。

其中，数据集是由无人机飞行过程中所产生的数据的集合，例如，包括飞机的状态变量、飞机的各类标志位和传感器数据等。其中，飞机的状态变量包括飞机的位置、速度、加速度等，飞机的标志位包括静止状态和运动状态，传感器数据包括加速度传感器的数据。

步骤S102：识别所述若干数据的数据类型，所述数据类型包括布尔类型和非布尔类型。

将数据按照是否是逻辑变量进行分类，分为布尔类型和非布尔类型，布尔类型为逻辑变量，例如，飞机的标志位包括静止状态和运动状态，飞机的标志位为布尔数据，飞机的状态变量和传感器数据为非布尔数据。每个数据与一个身份标识关联，身份标识代表数据所对应的变量，根据身份标识识别出数据是否为布尔类型。

步骤S103：将数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据。

其中，第一数据压缩规则可以为计算公式，多个布尔数据根据计算公式叠加计算得出一个数据，实现对布尔类型的布尔数据的压缩。

步骤S104：将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据，其中，所述第二数据压缩规则与所述第一数据压缩规则不同。

其中，第二压缩规则可以为计算公式，将数量较多的非布尔数据根据计算公式叠加计算得出数量较少的数据，实现对非布尔数据的压缩。

通过将数据集中的数据分为布尔数据和非布尔数据，对布尔数据和非布尔数据分别进行压缩，简化运算过程，提高运算效率。

如图2所示，在一种实施方式中，步骤S103包括：

步骤S201：将所述布尔数据分组。

例如，若某个时刻获取到的布尔数据的数量为100个，则将100个数据分为10组数据，每组包括10个数据。需要说明的是，每组布尔数据的数量可以相同，也可以不同。

步骤S202：将分组后的各组布尔数据分别按照第一公式进行运算得到与所述各组布尔数据一一对应的多个所述第一压缩数据。

在一种实施方式中，第一公式为：

其中，v₁,v₂…,v_N表示一组布尔数据中的N个布尔数据，v_bool表示第一压缩数据。

例如，每组有5个数据，其中一组数据为0、0、1、0、1，则根据1*0+2*0+4*1+8*0+16*1＝20计算出叠加数据，对得出的叠加数据转化为二进制取整后即得出第一压缩数据，从而将N个数据压缩为一个数据。

将第一压缩数据存储或者发送给终端设备，例如发送给手机，手机根据解压公式进行解压。解压公式为：

v_i＝bitand(2^i-1，v_bool)。

例如，v_bool为10100，对应的是5个原始数据的第一压缩数据，则将1、2、4、8、16转化为二进制后分别与10100按位进行与运算得到5个原始数据。

在上述实施例中，对于布尔数据，将N个数据压缩为一个数据，可以节约N-1个端口，存储空间节省(N-1)/N×100％。

如图3所示，在一种实施方式中，步骤S104包括：

步骤S301：将所述非布尔数据分组，每个分组包括两个非布尔数据。

如图4所示，在一种实施方式中，步骤S301包括：

步骤S401：按照第一预设规则从所述候选数据集中选取两个非布尔数据。

其中，数据集中的非布尔数据包括候选数据集和已分组数据集，已分组数据集为已经完成分组的数据，候选数据集为待选取以进行分组的数据。第一预设规则可以是获取数据的时间顺序，也可以是数据类型，也可以是随机选取。例如，按照获取数据的时间顺序依次选取两个非布尔数据，或者从获取到的数据中任意选取一个传感器数据和一个飞机速度数据。也可以将获取到的非布尔数据按照设定规则分成小组后，再从中选取两个非布尔数据，例如，获取到的非布尔数据包括速度数据、方向数据和加速度数据，按照5个速度数据、3个加速度数据和2个方向数据为一个小组的规则，将获取到的数据分为多个小组，再从每个小组中选取两个非布尔数据。

步骤S402：判断所述两个非布尔数据是否满足预设压缩条件。

其中，预设压缩条件为：

K₁M₁+2K₂K₁M₁M₂≤2^N-1，

其中，M₁和M₂分别为一组非布尔数据中的两个非布尔数据所对应的变量的量程，N为所述变量的位数，例如，两个数据均为速度，飞机飞行过程中速度的最大值为10m/s，则M₁和M₂的值均为10，飞机飞行过程中的布尔数据和非布尔数据均为二进制形式的数据，N为两个非布尔数据中其中一个的位数。

e₁和e₂分别是两个非布尔数据的截断误差。截断误差为数据的近似值与准确值之间的差值，例如，对于小数位数较多的数据，数据存储过程中取近似值进行存储，则存在截断误差。

步骤S403：若所述两个非布尔数据满足预设压缩条件，则将所述两个非布尔数据作为一个分组并加入已分组数据集中。

步骤S404：若所述两个非布尔数据不满足预设压缩条件，则将所述两个非布尔数据重新放入所述候选数据集。

具体的，若两个非布尔数据满足预设压缩条件，则将两个数据压缩为一个数据，若两个非布尔数据不满足压缩条件，则将两个数据放入候选数据集，以判断与其他数据是否满足压缩条件，若与其他数据均不满足压缩条件，则输入原始数据。在非限制性实施例中，若两个数据不满足预设压缩条件，则直接输出两个非布尔数据。

步骤S302：将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个所述第二压缩数据。

在一种实施方式中，第二公式为：

v_{1_2}＝(int)K₁v₁+(int)2K₂K₁M₁v₂，

其中，v₁、v₂为一组非布尔数据中的两个非布尔数据，v_{1_2}为第二压缩数据，

e₁和e₂分别是v₁和v₂的截断误差。

在上述实施例中，将两个非布尔数据通过第二公式计算得到一个数据，从而将两个数据压缩为一个第二压缩数据，两个非布尔数据可以节约1个端口，存储空间节省50％。

将第二压缩数据存储或者发送给终端设备，例如发送给手机，手机根据解压公式进行解压。解压公式为：

根据解压公式，由一个第二压缩数据即可计算出两个原始的非布尔数据。

如图5所示，在另一实施方式中，步骤S104包括：

步骤S501：将所述非布尔数据分组，每个分组包括两个非布尔数据。

步骤S502：将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个待定压缩数据。

在一种实施方式中，将满足预设压缩条件的两个非布尔数据作为一个分组，进行压缩得到一个待定压缩数据，多个分组压缩得到多个待定压缩数据。其中，不满足预设压缩条件的非布尔数据也可以作为待定压缩数据。

步骤S503：将所述多个待定压缩数据分组，每个分组包括两个待定压缩数据。

步骤S504：将分组后的待定压缩数据分别按照第二公式进行运算得到与各组待定压缩数据一一对应的多个所述第二压缩数据。

在一个实施方式中，将多个待定压缩数据重新按照预设压缩条件进行分组，满足预设压缩条件的两个非布尔数据作为一个分组，压缩后得到一个第二压缩数据，不满足预设压缩条件的非布尔数据直接输出待定压缩数据。将压缩后的待定压缩数据再次压缩，以进一步节省存储空间。

在另一实施方式中，将满足预设压缩条件的两个非布尔数据作为一个分组，进行一次压缩后，将满足预设压缩调节的压缩后的数据进一步分组进行压缩，在压缩后的数据中进一步选取满足预设压缩条件的两个数据，再次进行压缩，以此进行多次压缩。在非限制性实施例中，也可以在压缩后的数据与不满足预设压缩条件的数据中重新选取出满足预设压缩条件的两个非布尔数据进行压缩。在解压过程中根据压缩次数进行多次解压得到原始数据。

如图6所示，本发明实施例提供的电子设备，包括处理器11和存储器2，存储器12中存储有计算机可读程序，计算机可读程序被配置成由处理器11执行，计算机可读程序被处理器11执行时实现上述的方法。

本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程，为了说明书的简洁，在此就不再赘述。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。

本发明还涉及一种计算机可读存储介质，如ROM/RAM、磁碟、光盘等，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

本发明提供的数据压缩方法、电子设备及存储介质，将获取到的数据集按照布尔类型和非布尔类型分类，对于布尔类型，按照第一压缩规则压缩，对于非布尔数据，按照第二压缩规则进行压缩，从而简化运算过程，提高运算效率，且节省存储空间。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (12)

1.一种数据压缩方法，其特征在于，包括：

获取数据集，所述数据集包括若干数据；

识别所述若干数据的数据类型，所述数据类型包括布尔类型和非布尔类型；

将同一时刻获取到的数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据；

将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据，其中，所述第二数据压缩规则与所述第一数据压缩规则不同；

其中，将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据包括：

将所述非布尔数据分组，每个分组包括两个非布尔数据；

将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个所述第二压缩数据；

所述第二公式为：

v_{1_2}＝(int)K₁v₁+(int)2K₂K₁M₁v₂，

其中，v₁，v₂为一组非布尔数据中的两个非布尔数据，v_{1_2}为第二压缩数据，M₁为一组非布尔数据中的两个非布尔数据中的其中一个所对应的变量的量程；

e₁和e₂分别是v₁和v₂的截断误差。

2.根据权利要求1所述的数据压缩方法，其特征在于，将同一时刻获取到的数据类型为布尔类型的布尔数据按照第一数据压缩规则形成第一压缩数据包括：

将所述布尔数据分组；

将分组后的各组布尔数据分别按照第一公式进行运算得到与所述各组布尔数据一一对应的多个所述第一压缩数据。

3.根据权利要求2所述的数据压缩方法，其特征在于，所述第一公式为：

其中，v₁，v₂...，v_N表示一组布尔数据中的N个布尔数据，v_bool表示第一压缩数据。

4.根据权利要求1所述的数据压缩方法，其特征在于，所述布尔数据包括飞机飞行过程中的飞机标志位数据。

5.根据权利要求1所述的数据压缩方法，其特征在于，所述数据集中的非布尔数据包括候选数据集和已分组数据集，将所述非布尔数据分组包括：

按照第一预设规则从所述候选数据集中选取两个非布尔数据；

判断所述两个非布尔数据是否满足预设压缩条件；

若所述两个非布尔数据满足预设压缩条件，则将所述两个非布尔数据作为一个分组并加入已分组数据集中。

6.根据权利要求5所述的数据压缩方法，其特征在于，所述方法还包括：

若所述两个非布尔数据不满足预设压缩条件，则将所述两个非布尔数据重新放入所述候选数据集。

7.根据权利要求1所述的数据压缩方法，其特征在于，将数据类型为非布尔类型的非布尔数据按照第二数据压缩规则形成第二压缩数据包括：

将所述非布尔数据分组，每个分组包括两个非布尔数据；

将分组后的非布尔数据分别按照第二公式进行运算得到与各组非布尔数据一一对应的多个待定压缩数据；

将所述多个待定压缩数据分组，每个分组包括两个待定压缩数据；

将分组后的待定压缩数据分别按照第二公式进行运算得到与各组待定压缩数据一一对应的多个所述第二压缩数据。

8.根据权利要求5所述的数据压缩方法，其特征在于，所述预设压缩条件为：

K₁M₁+2K₂K₁M₁M₂≤2^N-1，

其中，M₂为一组非布尔数据中的两个非布尔数据中的另一个所对应的变量的量程，N为所述变量的位数。

9.根据权利要求1所述的数据压缩方法，其特征在于，所述非布尔数据包括飞机飞行过程中的飞机状态变量和传感器数据。

10.根据权利要求1所述的数据压缩方法，其特征在于，所述方法还包括：

存储所述第一压缩数据和第二压缩数据。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机可读程序，所述计算机可读程序被配置成由处理器执行，所述计算机可读程序被处理器执行时实现如权利要求1-10任意一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任意一项所述的方法。

Images