CN109981221A - 工业dtu数据预处理方法及装置 - Google Patents

Abstract

本发明实施例公开一种工业DTU数据预处理方法及装置，其中方法包括如下步骤：获取待传输数据的数据点位配置，根据数据点位配置为待传输数据添加数据标记，其中，数据标记分为重要数据标记和非重要数据标记，再以所述数据标记对应的数据传输方式将所述待传输数据发送至云服务器。采用本发明，通过对工业DTU中待传输的数据添加重要和非重要的数据标记，通过对工业DTU中待传输的数据添加重要和非重要的数据标记，可以在网络异常时本地缓存重要数据，避免丢失。

Description

工业DTU数据预处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种工业DTU数据预处理方法及装置。

背景技术

工业DTU通常不具备对物联网数据进行边缘计算处理的能力，普遍采用透传模式，将采集到的数据原封不动地传递到云端，如果遇到网络不通等问题，将丢失需要传输的数据，造成重要信息的遗失。

发明内容

本发明实施例提供一种工业DTU数据预处理方法及装置，通过对工业DTU中待传输的数据添加重要和非重要的数据标记，可以在网络异常时本地缓存重要数据，避免丢失。

并需要确认云端对重要数据的接收确认，再未接收到确认时，将重要数据缓存，保证网络可用时的再传输，避免丢失。

本发明实施例第一方面提供了一种工业DTU数据预处理方法，可包括：

获取待传输数据的数据点位配置；

根据数据点位配置为待传输数据添加数据标记，数据标记分为重要数据标记和非重要数据标记；

以数据标记对应的数据传输方式将待传输数据发送至云服务器。

进一步的，在以数据标记对应的数据传输方式将待传输数据发送至云服务器时，上述预处理方法还包括：

当待传输数据的数据标记为非重要数据标记时，将待传输数据发送至云服务器；

当待传输数据的数据标记为重要数据标记时，将待传输数据和待传输数据对应的数据确认请求发送至云服务器，以使云服务器根据数据确认请求返回数据确认信息。

进一步的，在将待传输数据和待传输数据对应的数据确认请求发送至云服务器之后，上述预处理方法还包括：

当未接收到数据确认信息时，将标记为重要数据的待传输数据存储至本地缓存中。

进一步的，上述预处理方法还包括：

对待传输数据进行压缩处理，数据压缩处理包括数据去重和数据压缩。

进一步的，上述预处理方法还包括：

采用对称加密技术对待传输数据进行数据加密处理。

进一步的，上述预处理方法还包括：

基于预设时间间隔发送心跳数据至云服务器。

进一步的，上述预处理方法还包括：

当装置断电时，将断电状态数据发送至云服务器。

为了实现上述目的，根据本申请的另一方面，提供了一种工业DTU数据预处理装置。

根据本申请的数据预处理装置包括：

配置获取模块，用于获取待传输数据的数据点位配置；

标记添加模块，用于根据数据点位配置为待传输数据添加数据标记，数据标记分为重要数据标记和非重要数据标记；

数据传输模块，用于以数据标记对应的数据传输方式将待传输数据发送至云服务器。

进一步的，上述数据传输模块包括：

第一数据传输单元，用于当待传输数据的数据标记为非重要数据标记时，将待传输数据发送至云服务器；

第二数据传输单元，用于当待传输数据的数据标记为重要数据标记时，将待传输数据和待传输数据对应的数据确认请求发送至云服务器，以使云服务器根据数据确认请求返回数据确认信息。

进一步的，上述预处理装置还包括：

数据存储模块，用于当未接收到数据确认信息时，将标记为重要数据的待传输数据存储至本地缓存中。

进一步的，上述预处理装置还包括：

压缩处理模块，用于对待传输数据进行压缩处理，数据压缩处理包括数据去重和数据压缩。

进一步的，上述预处理装置还包括：

数据加密模块，用于采用对称加密技术对待传输数据进行数据加密处理。

进一步的，上述预处理装置还包括：

断电状态发送模块，用于当装置断电时，将断电状态数据发送至云服务器。

在本发明实施例中，通过对工业DTU中待上传的数据添加重要和非重要的数据标记，在未接收云端反馈的接收确认信息时，将重要数据缓存，待网络条件允许时重新传输，避免了丢失重要数据。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明实施例提供的一种工业DTU数据预处理方法的流程示意图；

图2是本发明实施例提供的一种工业DTU数据预处理装置的结构示意图；

图3是本发明实施例提供的数据传输模块的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

在本发明实施例中，工业DTU数据预处理装置可以是具备本申请中相关的数据预处理功能的工业DTU，后续简称为预处理装置。

如图1所示，该方法包括如下的步骤S101至步骤S103：

S101，获取待传输数据的数据点位配置。

具体的，上述预处理装置可以通过云端获取待传输数据的数据点位配置，可以理解的是，上述数据点位配置可以指示待传输数据的重要性。

S102，根据数据点位配置为待传输数据添加数据标记。

具体的，上述预处理装置可以根据数据点位配置为待传输数据添加数据标记，以便根据该标记对待传输的数据进行不同的处理。可以理解的是，上述数据标记可以包括重要数据标记和非重要数据标记。标记为重要数据标记的数据可以携带重要的数据字段，若丢失可能引起信息传输不全，遗漏重要信息。标记为非重要数据标记的数据及时丢失也不会影响整个信息的接收。例如，一条待传输数据为“3月13日周三的天气为晴天”，其中“周三的天气”可以被标记为非重要数据，“3月13，晴天”可以被标记为重要数据。

S103，以数据标记对应的数据传输方式将待传输数据发送至云服务器。

具体的，上述预处理装置可以以数据标记对应的数据传输方式将待传输数据发送至云服务器。具体实现中，当待传输数据的数据标记为非重要数据标记时，可以将待传输数据直接发送至云服务器，类似于传统的透穿模式，最重要的是，当待传输数据的数据标记为重要数据标记时，可以将待传输数据和待传输数据对应的数据确认请求发送至云服务器，进而，云服务器可以根据数据确认请求返回数据确认信息。预处理装置可以根据是否接收到数据确认信息，确认所发送的待传输数据是否发送成功。

可以理解的是，当装置突然断电或者发生其他突发情况引起的数据未上传成功，可能导致上述预处理装置接收不到云端发聩的数据确认信息，此时，预处理装置可以将标记为重要数据的待传输数据存储至本地缓存中。可以理解的是，上述预处理装置中可以内置一个断电保持存储模块，该模块可以在断电的情况下缓存未上传的数据，或者在其他突发情况下缓存数据。可以理解的是，待网络条件允许时，上述待传输数据可以从新排队上传。

在可选实施例中，当本地缓存中的数据上传成功后，预处理装置可以将成功上传的数据从本地缓存中删除，以避免本地缓存的存储空间不足。

在可选实施例中，上述预处理装置可以对待传输数据进行压缩处理，其中，数据压缩处理可以包括数据去重和数据压缩，可以将重复数据，或在可接受波动范围内的数据，采取计数但不记值的方式进行存储。比如：11111，记为1@5，在云端解析为5个1。可选的，重要数据可不去重，或者标记波动范围，在波动范围之外的数据，不去重。通过数据压缩处理，降低了数据量大传送频繁时，大量消耗网络流量，造成运营成本过高的情况发生的概率。

在可选实施例中，上述预处理装置可以采用对称加密技术对待传输数据进行数据加密处理，云服务器接收加密的数据后可以通过验证证书解密。通过数据加密，避免了数据被窃取。

在本发明实施例中，预处理装置可以基于预设时间间隔发送心跳数据至云服务器，可以理解的是，上述预设时间间隔可以是任何合理的时间段，例如1ms。，上述心跳数据可以是定期向云服务器上报设备处于在线状态的数据，可以不携带任何有用的信息，云服务器接受到该数据时只要可以知悉工业DTU处于在线状态即可。可选的，预处理装置还可以定制传输频率最高的数据至云端用于心跳，或者可以指定时间发送一个数据到云端用于心跳，即使没有数据传送，也可以是云端定期获得装置在线的状态，防止装置掉线或故障而云端仍然错误地认为DTU处于健康状态，延误故障排除时间，造成数据丢失和告警失败的隐患。

在可选实施例中，上述预处理装置工业DTU可以本地设置电池，用于断电正常工作，在断电后，预处理装置可以发送断电状态给云端服务器，然后根据实现设定的机制正常进入关机程序，或继续运行到电力即将耗尽再进入关机程序。

在本发明实施例中，通过对工业DTU中待上传的数据添加重要和非重要的数据标记，在未接收云端反馈的接收确认信息时，将重要数据缓存，待网络条件允许时重新传输，避免了丢失重要数据；通过数据加密保证了数据传输的安全性；通过数据压缩降低了运营成本；通过内置电池保证了云端知悉装置是否为断电状态。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述工业DTU数据预处理方法的预处理装置10，如图2所示，该装置可以包括：配置获取模块101、标记添加模块102、数据传输模块103、数据存储模块104、压缩处理模块105、数据加密模块106和断电状态发送模块107。其中，上述数据传输模块103如图3所示可以包括：第一数据传输单元1031和第二数据传输单元1032。

配置获取模块101，用于获取待传输数据的数据点位配置。

具体实现中，上述配置获取模块101可以通过云端获取待传输数据的数据点位配置，可以理解的是，上述数据点位配置可以指示待传输数据的重要性。

标记添加模块102，用于根据数据点位配置为待传输数据添加数据标记。

具体实现中，标记添加模块102可以根据数据点位配置为待传输数据添加数据标记，以便根据该标记对待传输的数据进行不同的处理。可以理解的是，上述数据标记可以包括重要数据标记和非重要数据标记。标记为重要数据标记的数据可以携带重要的数据字段，若丢失可能引起信息传输不全，遗漏重要信息。标记为非重要数据标记的数据及时丢失也不会影响整个信息的接收。例如，一条待传输数据为“3月13日周三的天气为晴天”，其中“周三的天气”可以被标记为非重要数据，“3月13，晴天”可以被标记为重要数据。

数据传输模块103，用于以数据标记对应的数据传输方式将待传输数据发送至云服务器。

具体实现中，数据传输模块103可以以数据标记对应的数据传输方式将待传输数据发送至云服务器。可选的，当待传输数据的数据标记为非重要数据标记时，第一数据传输单元1031可以将待传输数据直接发送至云服务器，类似于传统的透穿模式，最重要的是，当待传输数据的数据标记为重要数据标记时，第二数据传输单元1032可以将待传输数据和待传输数据对应的数据确认请求发送至云服务器，进而，云服务器可以根据数据确认请求返回数据确认信息。预处理装置10可以根据是否接收到数据确认信息，确认所发送的待传输数据是否发送成功。

可以理解的是，当装置突然断电或者发生其他突发情况引起的数据未上传成功，可能导致上述预处理装置接收不到云端发聩的数据确认信息，此时，数据存储模块104可以将标记为重要数据的待传输数据存储至本地缓存中。可以理解的是，上述预处理装置10中可以内置一个断电保持存储模块即数据存储模块104，该模块可以在断电的情况下缓存未上传的数据，或者在其他突发情况下缓存数据。可以理解的是，待网络条件允许时，上述待传输数据可以从新排队上传。

在可选实施例中，当本地缓存中的数据上传成功后，预处理装置10可以将成功上传的数据从本地缓存中删除，以避免本地缓存的存储空间不足。

在可选实施例中，压缩处理模块105可以对待传输数据进行压缩处理，其中，数据压缩处理可以包括数据去重和数据压缩，可以将重复数据，或在可接受波动范围内的数据，采取计数但不记值的方式进行存储。比如：11111，记为1@5，在云端解析为5个1。可选的，重要数据可不去重，或者标记波动范围，在波动范围之外的数据，不去重。通过数据压缩处理，降低了数据量大传送频繁时，大量消耗网络流量，造成运营成本过高的情况发生的概率。

在可选实施例中，数据加密模块106可以采用对称加密技术对待传输数据进行数据加密处理，云服务器接收加密的数据后可以通过验证证书解密。通过数据加密，避免了数据被窃取。

在本发明实施例中，预处理装置10可以基于预设时间间隔发送心跳数据至云服务器，可以理解的是，上述预设时间间隔可以是任何合理的时间段，例如1ms。，上述心跳数据可以是定期向云服务器上报设备处于在线状态的数据，可以不携带任何有用的信息，云服务器接受到该数据时只要可以知悉工业DTU处于在线状态即可。可选的，预处理装置10还可以定制传输频率最高的数据至云端用于心跳，或者可以指定时间发送一个数据到云端用于心跳，即使没有数据传送，也可以是云端定期获得装置在线的状态，防止装置掉线或故障而云端仍然错误地认为DTU处于健康状态，延误故障排除时间，造成数据丢失和告警失败的隐患。

在可选实施例中，上述预处理装置工业DTU可以本地设置电池，用于断电正常工作，在断电后，断电状态发送模块107可以发送断电状态给云端服务器，然后根据实现设定的机制正常进入关机程序，或继续运行到电力即将耗尽再进入关机程序。

在本发明实施例中，通过对工业DTU中待上传的数据添加重要和非重要的数据标记，在未接收云端反馈的接收确认信息时，将重要数据缓存，待网络条件允许时重新传输，避免了丢失重要数据；通过数据加密保证了数据传输的安全性；通过数据压缩降低了运营成本；通过内置电池保证了云端知悉装置是否为断电状态。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种工业DTU数据预处理方法，其特征在于，包括：

获取待传输数据的数据点位配置；

根据所述数据点位配置为所述待传输数据添加数据标记，所述数据标记分为重要数据标记和非重要数据标记；

以所述数据标记对应的数据传输方式将所述待传输数据发送至云服务器。

2.根据权利要求1所述的方法，其特征在于，在以所述数据标记对应的数据传输方式将所述待传输数据发送至云服务器时，所述方法还包括：

当所述待传输数据的数据标记为非重要数据标记时，将所述待传输数据发送至云服务器；

当所述待传输数据的数据标记为重要数据标记时，将所述待传输数据和所述待传输数据对应的数据确认请求发送至所述云服务器，以使所述云服务器根据所述数据确认请求返回数据确认信息。

3.根据权利要求2所述的方法，其特征在于，在将所述待传输数据和所述待传输数据对应的数据确认请求发送至所述云服务器之后，所述方法还包括：

当未接收到所述数据确认信息时，将标记为重要数据的待传输数据存储至本地缓存中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述待传输数据进行压缩处理，所述数据压缩处理包括数据去重和数据压缩。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用对称加密技术对所述待传输数据进行数据加密处理。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于预设时间间隔发送心跳数据至所述云服务器。

7.一种工业DTU数据预处理装置，其特征在于，包括：

配置获取模块，用于获取待传输数据的数据点位配置；

标记添加模块，用于根据所述数据点位配置为所述待传输数据添加数据标记，所述数据标记分为重要数据标记和非重要数据标记；

数据传输模块，用于以所述数据标记对应的数据传输方式将所述待传输数据发送至云服务器。

8.根据权利要求7所述的装置，其特征在于，所述数据传输模块包括：

第一数据传输单元，用于当所述待传输数据的数据标记为非重要数据标记时，将所述待传输数据发送至云服务器；

第二数据传输单元，用于当所述待传输数据的数据标记为重要数据标记时，将所述待传输数据和所述待传输数据对应的数据确认请求发送至所述云服务器，以使所述云服务器根据所述数据确认请求返回数据确认信息。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

数据存储模块，用于当未接收到所述数据确认信息时，将标记为重要数据的待传输数据存储至本地缓存中。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

断电状态发送模块，用于当所述装置断电时，将断电状态数据发送至所述云服务器。