CN115065732A - 数据传输方法、装置、电子设置及存储介质 - Google Patents

Abstract

本申请涉及一种数据传输方法、装置、电子设置及存储介质，该方法包括：获取待传输数据；在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。这样可以对待传输数据进行并行压缩处理，从而减小待传输数据的容量，即使在网络环境差的情况下也能保证数据传输速度和数据不被丢失。

Description

数据传输方法、装置、电子设置及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据传输方法、装置、电子设置及存储介质。

背景技术

目前，现有的数据传输方式是直接对数据包进行传递，如果在网络环境较差的情况下，容易引起数据传输慢、数据包丢失等问题。而对于需要进行实时数据传输的场景，如智能家居控制场景，需要实时发送和接收智能家居设备的数据，如果由于网络环境差引起数据传输慢、数据包丢失等问题，这将直接影响到智能家居设备的使用体验。因此，如何在网络环境差的情况下保证数据传输速度和数据不被丢失，成为亟待解决的技术问题。

发明内容

本申请提供了一种数据传输方法、装置、电子设置及存储介质，以解决现有数据传输方式在网络环境差的情况下容易引起数据传输慢、数据包丢失的问题。

第一方面，本申请提供了一种数据传输方法，所述方法包括：

获取待传输数据；

在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；

将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。

可选地，所述利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块，包括：

利用多个线程并行对所述多个数据分段进行熵编码压缩处理，得到所述压缩后的数据块。

可选地，在所述获取待传输数据之后，包括：

在所述待传输数据的容量值小于或等于预设阈值的情况下，采用预设字典对所述待传输数据进行压缩处理，得到所述压缩后的数据块，其中，所述预设字典是基于预设的机器学习模型训练得到。

可选地，所述采用预设字典对所述待传输数据进行压缩处理，得到所述压缩后的数据块，包括：

将所述待传输数据中的字符依次与所述预设字典中的字符进行匹配，得到所述压缩后的数据块，其中，所述压缩后的数据块为三元组序列，所述三元组序列由多个三元组组成，每个所述三元组包括匹配字符串在所述字典中的偏移量、匹配字符串的长度和匹配之后的下一个字符。

可选地，在所述将所述数据帧传递给目标设备之后，所述方法还包括：

在接收到所述目标设备发送的数据帧的情况下，对所述目标设备发送的数据帧进行解析，得到所述目标设备发送的数据帧的解压参数，其中，所述解压参数存储于所述目标设备发送的数据帧的帧头内，所述解压参数用于表征所述目标设备发送的数据帧内的数据块的数量和尺寸；

根据所述解压参数，对所述目标设备发送的数据帧内的压缩后的数据块进行解压缩处理，得到解压缩后的数据分段；

将所述解压缩后的数据分段进行拼接，得到解压后的数据。

第二方面，本申请还提供了一种数据传输装置，所述装置包括：

获取模块，用于获取待传输数据；

第一压缩模块，用于在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；

封装模块，用于将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。

第三方面，本申请还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的数据传输方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的数据传输方法的步骤。

在本申请实施例中，通过获取待传输数据；在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。通过这种方式，可以对待传输数据进行并行压缩处理，从而减小待传输数据的容量，即使在网络环境差的情况下也能保证数据传输速度和数据不被丢失。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据传输方法的流程示意图；

图2为本申请实施例提供的一种压缩和解压方式的示意图；

图3为本申请实施例提供的数据传输装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，图1为本申请实施例提供的一种数据传输方法的流程示意图。如图1所示，该数据传输方法包括：

步骤101、获取待传输数据。

具体地，上述待传输数据是指数据发送方需要传输的数据，该待传输数据可以根据实际使用场景进行确定。例如，在智能家居使用场景下，待传输数据可以是指智能家居设备需要传输至数据平台或者控制设备的数据，也可以是指数据平台或者控制设备需要传输至智能家居设备的数据，本申请不做具体限定。需要说明的是，执行该数据传输方法的装置为数据发送方，在智能家居使用场景中该数据发送方可以是智能家居设备、数据平台、控制设备中的任一设备。当然，该数据传输方法同样适用在其他使用场景中，在此不再一一赘述。

步骤102、在待传输数据的容量值大于预设阈值的情况下，将待传输数据划分成多个数据分段，利用多个线程对多个数据分段进行并行压缩处理，得到压缩后的数据块。

具体地，上述预设阈值可以根据实际需要进行设置，如5KB、10KB、20KB等等，本申请不做具体限定。在数据发送方获取到待传输数据后，可以判断该待传输数据的容量值是否大于预设阈值，如果待传输数据的容量值大于该预设阈值，那么可以将待传输数据划分成多个数据分段，利用多个线程对这多个数据分段进行并行压缩处理，得到压缩后的数据块。其中，线程的数量受限于数据发送方中的多核中央处理器(Central Processing Unit，简称为CPU)的内核的数量，可以根据实际情况进行设置。例如，当数据发送方中的多核CPU的内核为4个时，可以设置2、3或4个线程进行并行处理等。另外，每个数据分段的大小和重叠部分的大小可以预设设置，这样，就可以将待传输数据按照每个数据分段的大小和重叠部分的大小，划分为多个数据分段，再使用预设压缩算法对这多个数据分段进行并行压缩处理，得到多个压缩后的数据块。

步骤103、将压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，封装后的数据帧包括解压参数，解压参数存储于封装后的数据帧的帧头内，解压参数用于表征封装后的数据帧内的数据块的数量和尺寸。

在该步骤中，可以将压缩后的数据块封装成数据帧，方便对待传输数据进行传输，以使目标设备能够接收到该待传输数据。其中，每个数据帧中可以包括解压参数，该解压参数位于帧头内，该解压参数用于表征解压参数。此处的目标设备可以理解为数据接收方，用于接收该待传输数据。例如，在智能家居使用场景下，如果数据发送方为数据平台，则目标设备可以为任一智能家居设备。

在本实施例中，可以对待传输数据进行并行压缩处理，从而减小待传输数据的容量，即使在网络环境差的情况下也能保证数据传输速度和数据不被丢失。

进一步地，上述步骤102、利用多个线程对多个数据分段进行并行压缩处理，得到压缩后的数据块，包括：

利用多个线程并行对多个数据分段进行熵编码压缩处理，得到压缩后的数据块。

在一实施例中，可以采用熵编码压缩方式如香农编码、哈夫曼编码和算术编码等，对多个数据分段进行压缩，由于采用熵编码压缩方式，压缩比和压缩速度都比较高，因此可以进一步提高数据的传输速度。并且，通过采用多线程的方式进行压缩，以便充分利用多核CPU，提升压缩速度。这样，多线程压缩可以在较短时间内把大数据包压缩成小数据包，在对压缩后得到的数据帧进行传输，传输速度会快很多。

进一步地，在上述步骤101、获取待传输数据之后，该方法还包括：

在待传输数据的容量值小于或等于预设阈值的情况下，采用预设字典对待传输数据进行压缩处理，得到压缩后的数据块，其中，预设字典是基于预设的机器学习模型训练得到。

在一实施例中，对于小数据采用上述熵编码压缩方式并不能明显提高压缩比和压缩速度，因而，当待传输数据的容量值小于或等于预设阈值时，可以采用预设字典对待传输数据进行压缩处理，得到压缩后的数据块。采用该方式，需要在数据发送方预设设置好字典，其中，该字典可以根据预设的机器学习模型训练预先训练得到，也可以人为手动编写得到。具体地，可以利用Python语言针对特定的数据类型训练相应的字典，通过提供一些文件样本来实现训练过程，训练后的结果当做字典存储起来。如果字典丢失，就不能解压相应的数据了。例如，假如需要提取出多个json文件中的共有部分，可以将多个json文件作为样本来完成字典的训练过程。另外，还可以采用手工编写方式，人为设计更高效的字典。

进一步地，上述采用预设字典对待传输数据进行压缩处理，得到压缩后的数据块，包括：

将待传输数据中的字符依次与预设字典中的字符进行匹配，得到压缩后的数据块，其中，压缩后的数据块为三元组序列，三元组序列由多个三元组组成，每个三元组包括匹配字符串在字典中的偏移量、匹配字符串的长度和匹配之后的下一个字符。

在一实施例中，可以通过预设滑动窗口对待传输数据中的字符进行选择，并将预设滑动窗口中选择出来的字符依次与字典中的字符进行匹配，当预设滑动窗口中的字符与字典中的字符相匹配时，可以得到压缩后的数据块，即一个三元组(off,len,char)，其中，off表示匹配字符串在字典中的偏移量，len表示匹配字符串的长度，char表示匹配之后的下一个字符。这样，滑动窗口每移动一次，就可以获取一个三元组，直到待传输数据中的所有字符被遍历，得到多个三元组，形成三元组序列。在对该三元组序列进行解压缩时，可以根据字典和三元组序列中的每个三元组进行解压，得到原来的待传输数据。

进一步地，在将数据帧传递给目标设备之后，方法还包括：

在接收到目标设备发送的数据帧的情况下，对目标设备发送的数据帧进行解析，得到目标设备发送的数据帧的解压参数，其中，解压参数存储于目标设备发送的数据帧的帧头内，解压参数用于表征目标设备发送的数据帧内的数据块的数量和尺寸；

根据解压参数，对目标设备发送的数据帧内的压缩后的数据块进行解压缩处理，得到解压缩后的数据分段；

将解压缩后的数据分段进行拼接，得到解压后的数据。

在一实施例中，在接收到目标设备发送的数据帧后，可以将目标设备发送的数据帧进行解析，从而得到目标设备发送的数据帧的解压参数，即目标设备发送的数据帧内的数据块的数量和尺寸。在得到目标设备发送的数据帧的解压参数之后，可以对目标设备发送的数据帧内的压缩后的数据块进行解压缩处理，得到解压缩后的数据分段，再将解压缩后的数据分段按照数据帧原有的顺序进行拼接，得到解压后的数据。具体地，目标设备发送的数据由一个或者多个独立的数据帧组成，每个数据帧完全独立，并且每个数据帧可以包括解压参数。每个数据帧包括一个或多个数据块，数据块的数量和尺寸作为解压参数存储于帧头里。与数据帧解压缩方式不同的是，数据块解压缩时依赖于其上一数据块，不依赖于其下一数据块，完整的数据块可以被全部解压缩。

需要说明的是，数据解压时同样可以采用多线程并行处理，如果采用多线程并行处理，可以根据实际需要设置线程的数量，以此来通过多线程提升解压速度。

在一实施例中，可以采用图2所示的压缩和解压方式对待传输数据进行压缩和解压。在图2中，可以通过预设好的字典对待传输数据的多个数据分段进行并行压缩，每个数据分段对应一个压缩后的数据块，再将数据块封装成数据帧进行传输。在需要对数据帧进行解压时，可以采用该字典对数据帧中的多个数据块进行并行解压缩，得到多个数据分段，再将多个数据分段连接后得到该数据帧解压后的数据。

参见图3，图3为本申请实施例提供的数据传输装置的结构示意图。如图3所示，该数据传输装置300包括：

获取模块301，用于获取待传输数据；

第一压缩模块302，用于在待传输数据的容量值大于预设阈值的情况下，将待传输数据划分成多个数据分段，利用多个线程对多个数据分段进行并行压缩处理，得到压缩后的数据块；

封装模块303，用于将压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，封装后的数据帧包括解压参数，解压参数存储于封装后的数据帧的帧头内，解压参数用于表征封装后的数据帧内的数据块的数量和尺寸。

进一步地，第一压缩模块302包括：

第一压缩子模块，用于利用多个线程并行对多个数据分段进行熵编码压缩处理，得到压缩后的数据块。

进一步地，该装置300还包括：

第二压缩模块，用于在待传输数据的容量值小于或等于预设阈值的情况下，采用预设字典对待传输数据进行压缩处理，得到压缩后的数据块，其中，预设字典是基于预设的机器学习模型训练得到。

进一步地，第二压缩模块包括：

第二压缩子模块，用于将待传输数据中的字符依次与预设字典中的字符进行匹配，得到压缩后的数据块，其中，压缩后的数据块为三元组序列，三元组序列由多个三元组组成，每个三元组包括匹配字符串在字典中的偏移量、匹配字符串的长度和匹配之后的下一个字符。

进一步地，该装置300还包括：

解析模块，用于在接收到目标设备发送的数据帧的情况下，对目标设备发送的数据帧进行解析，得到目标设备发送的数据帧的解压参数，其中，解压参数存储于目标设备发送的数据帧的帧头内，解压参数用于表征目标设备发送的数据帧内的数据块的数量和尺寸；

解压缩模块，用于根据解压参数，对目标设备发送的数据帧内的压缩后的数据块进行解压缩处理，得到解压缩后的数据分段；

拼接模块，用于将解压缩后的数据分段进行拼接，得到解压后的数据。

需要说明的是，该数据传输装置300可以实现如前述任意一个方法实施例提供的数据传输方法的步骤，且能达到相同的技术效果，在此不再一一赘述。

如图4所示，本申请实施例还提供了一种电子设备，包括处理器411、通信接口412、存储器413和通信总线414，其中，处理器411，通信接口412，存储器413通过通信总线414完成相互间的通信，

存储器413，用于存放计算机程序；

在本申请一个实施例中，处理器411，用于执行存储器413上所存放的程序时，实现前述任意一个方法实施例提供的数据传输方法，包括：

获取待传输数据；

在待传输数据的容量值大于预设阈值的情况下，将待传输数据划分成多个数据分段，利用多个线程对多个数据分段进行并行压缩处理，得到压缩后的数据块；

将压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，封装后的数据帧包括解压参数，解压参数存储于封装后的数据帧的帧头内，解压参数用于表征封装后的数据帧内的数据块的数量和尺寸。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的数据传输方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据传输方法，其特征在于，所述方法包括：

获取待传输数据；

在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；

将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。

2.根据权利要求1所述的方法，其特征在于，所述利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块，包括：

利用多个线程并行对所述多个数据分段进行熵编码压缩处理，得到所述压缩后的数据块。

3.根据权利要求1所述的方法，其特征在于，在所述获取待传输数据之后，所述方法还包括：

在所述待传输数据的容量值小于或等于预设阈值的情况下，采用预设字典对所述待传输数据进行压缩处理，得到所述压缩后的数据块，其中，所述预设字典是基于预设的机器学习模型训练得到。

4.根据权利要求3所述的方法，其特征在于，所述采用预设字典对所述待传输数据进行压缩处理，得到所述压缩后的数据块，包括：

将所述待传输数据中的字符依次与所述预设字典中的字符进行匹配，得到所述压缩后的数据块，其中，所述压缩后的数据块为三元组序列，所述三元组序列由多个三元组组成，每个所述三元组包括匹配字符串在所述字典中的偏移量、匹配字符串的长度和匹配之后的下一个字符。

5.根据权利要求1所述的方法，其特征在于，在所述将所述数据帧传递给目标设备之后，所述方法还包括：

在接收到所述目标设备发送的数据帧的情况下，对所述目标设备发送的数据帧进行解析，得到所述目标设备发送的数据帧的解压参数，其中，所述解压参数存储于所述目标设备发送的数据帧的帧头内，所述解压参数用于表征所述目标设备发送的数据帧内的数据块的数量和尺寸；

根据所述解压参数，对所述目标设备发送的数据帧内的压缩后的数据块进行解压缩处理，得到解压缩后的数据分段；

将所述解压缩后的数据分段进行拼接，得到解压后的数据。

6.一种数据传输装置，其特征在于，所述装置包括：

获取模块，用于获取待传输数据；

第一压缩模块，用于在所述待传输数据的容量值大于预设阈值的情况下，将所述待传输数据划分成多个数据分段，利用多个线程对所述多个数据分段进行并行压缩处理，得到压缩后的数据块；

封装模块，用于将所述压缩后的数据块封装成数据帧，并将封装后的数据帧传递给目标设备，其中，所述封装后的数据帧包括解压参数，所述解压参数存储于所述封装后的数据帧的帧头内，所述解压参数用于表征所述封装后的数据帧内的数据块的数量和尺寸。

7.根据权利要求6所述的装置，其特征在于，所述第一压缩模块包括：

第一压缩子模块，用于利用多个线程并行对所述多个数据分段进行熵编码压缩处理，得到所述压缩后的数据块。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二压缩模块，用于在所述待传输数据的容量值小于或等于预设阈值的情况下，采用预设字典对所述待传输数据进行压缩处理，得到所述压缩后的数据块，其中，所述预设字典是基于预设的机器学习模型训练得到。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的数据传输方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的数据传输方法的步骤。

Images