CN111767275A - 数据的处理方法及装置、数据处理系统 - Google Patents

Abstract

本发明公开了一种数据的处理方法及装置、数据处理系统。其中，该方法包括：获取待处理的源数据，其中，源数据为从待监测设备端读取的数据；将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到；基于数据读取指令将重构数据传输至云服务器。本发明解决了相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的技术问题。

Description

数据的处理方法及装置、数据处理系统

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据的处理方法及装置、数据处理系统。

背景技术

在工业流程控制领域，使用者常常通过对关键设备运行状态的数据采集，及时掌握设备运行状态和故障信息。随着物联网技术的发展，基于无线网络的数据采集系统因其架构灵活和实施方便越来越获得广泛应用。

目前的物联网系统在一些特殊场景的应用上，还缺乏适宜的技术手段，比如，在设备离散分布、数据量生成量大但有效数据量较小的场景，需要识别和积累关键数据用以不断完善故障特征模型的场景，需要一段时间内快速数据采集但数据传输带宽受限的场景，一套系统满足数据多样化和需要灵活扩展的场景等。现有的此类型的数据采集系统很多，下面举例进行说明：

1)单纯结构数据源的数据采集系统，例如，图1是根据现有技术的基于物联网的电梯监测系统的框架图，如图1所示，该数据采集系统所采集的数据对象在数据数量、数据类型、物理特征等方面比较明确，可以在系统中通过适当预留一些数据的办法使数据模型单一化，如在上述案例中可以在数据模型中预留若干个模拟量和数据量，以备特殊需要时使用；然而，对于数据结构变化大的场景，此方法受到约束，也不具备数据筛选和捕捉能力。

2)大数据系统架构下的数据采集系统，例如，图2是根据现有技术的基于大数据的设备状态监测系统的框架图，如图2所示，上述系统建立了多层次的网络架构，不仅可以高速采集设备数据，还能通过此网络系统实现数据的存储、处理和挖掘、决策支持等功能；但是上述系统架构复杂，成本高，不适合更加离散的中、小设备的数据采集。

针对上述相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的处理方法及装置、数据处理系统，以至少解决相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的技术问题。

根据本发明实施例的一个方面，提供了一种数据的处理方法，包括：获取待处理的源数据，其中，所述源数据为从待监测设备端读取的数据；将所述源数据输入数据重构模型，并利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，其中，所述数据重构模型为预先通过机器自动处理得到；基于数据读取指令将所述重构数据传输至云服务器。

可选地，所述获取待处理的源数据，包括以下至少之一：获取由所述待监测设备内部的数据采集设备采集的传感器数据；获取所述待监测设备的状态数据。

可选地，所述利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，包括以下至少之一：利用所述数据重构模型对所述源数据进行重构处理，重构得到一维数据集；利用所述数据重构模型对所述源数据进行重构处理，重构得到二维数据集；利用所述数据重构模型对所述源数据进行重构处理，重构得到三维数据集。

可选地，在所述重构数据为一维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到一维数据集，包括：确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；基于所述数据定义指令依次读取所述源数据中的数据；将读取到的所述源数据中的数据转存至预定地址空间，得到所述一维数据集。

可选地，在所述重构数据为二维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到二维数据集，包括：确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；依次读取所述多组源数据段中的数据；将读取的所述多组源数据段中的数据存储至预定地址空间，得到所述二维数据集。

可选地，在所述重构数据为三维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到三维数据集，包括：确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；依次读取所述多组源数据段中的数据，将读取的所述多组源数据段中的数据存储至预定地址空间，得到二维数据集；为所述二维数据集添加标识，得到所述三维数据集。

可选地，在所述重构数据为一维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：接收所述数据读取指令，并基于所述数据读取指令读取特征数据地址段中的一维数据；将读取的所述一维数据传输至所述云服务器。

可选地，在所述重构数据为二维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：接收所述数据读取指令；基于所述数据读取指令读取所述二维数据，并将读取的二维数据传输至所述云服务器，直到将二维数据集中的所有二维数据读取完毕。

可选地，在所述重构数据为三维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：接收所述数据读取指令；基于所述数据读取指令读取每个事件中的每组二维数据，并将读取的三维数据传输至所述云服务器，直到将三维数据集中的所有三维数据读取完毕。

根据本发明实施例的另外一个方面，还提供了一种数据的处理装置，包括：获取单元，用于获取待处理的源数据，其中，所述源数据为从待监测设备端读取的数据；重构单元，用于将所述源数据输入数据重构模型，并利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，其中，所述数据重构模型为预先通过机器自动处理得到；传输单元，用于基于数据读取指令将所述重构数据传输至云服务器。

可选地，所述获取单元，包括以下至少之一：第一获取模块，用于获取由所述待监测设备内部的数据采集设备采集的传感器数据；第二获取模块，用于获取所述待监测设备的状态数据。

可选地，所述重构单元，包括以下至少之一：第一重构模块，用于利用所述数据重构模型对所述源数据进行重构处理，重构得到一维数据集；第二重构模块，用于利用所述数据重构模型对所述源数据进行重构处理，重构得到二维数据集；第三重构模块，用于利用所述数据重构模型对所述源数据进行重构处理，重构得到三维数据集。

可选地，在所述重构数据为一维数据集的情况下，所述第一重构模块，包括：第一确定子模块，用于确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；第一读取子模块，用于基于所述数据定义指令依次读取所述源数据中的数据；第一获取子模块，用于将读取到的所述源数据中的数据转存至预定地址空间，得到所述一维数据集。

可选地，在所述重构数据为二维数据集的情况下，所述第二重构模块，包括：第二确定子模块，用于确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；第一分组子模块，用于基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；第二读取子模块，用于依次读取所述多组源数据段中的数据；第二获取子模块，用于将读取的所述多组源数据段中的数据存储至预定地址空间，得到所述二维数据集。

可选地，在所述重构数据为三维数据集的情况下，所述第三重构模块，包括：第三确定子模块，用于确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；第二分组子模块，用于基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；第三读取子模块，用于依次读取所述多组源数据段中的数据，将读取的所述多组源数据段中的数据存储至预定地址空间，得到二维数据集；第三获取子模块，用于为所述二维数据集添加标识，得到所述三维数据集。

可选地，在所述重构数据为一维数据的情况下，所述传输单元，包括：第一接收模块，用于接收所述数据读取指令，并基于所述数据读取指令读取特征数据地址段中的一维数据；第一传输模块，用于将读取的所述一维数据传输至所述云服务器。

可选地，在所述重构数据为二维数据的情况下，所述传输单元，包括：第二接收模块，用于接收所述数据读取指令；第二传输模块，用于基于所述数据读取指令读取所述二维数据，并将读取的二维数据传输至所述云服务器，直到将二维数据集中的所有二维数据读取完毕。

可选地，在所述重构数据为三维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：第一接收模块，用于接收所述数据读取指令；第三传输模块，用于基于所述数据读取指令读取每个事件中的每组二维数据，并将读取的三维数据传输至所述云服务器，直到将三维数据集中的所有三维数据读取完毕。

根据本发明实施例的另外一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述中任一项所述的数据的处理方法。

根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任一项所述的数据的处理方法。

根据本发明实施例的另外一个方面，还提供了一种数据处理系统，包括：存储器，与所述存储器耦合的处理器，所述存储器和所述处理器通过总线系统相通信；所述存储器用于存储程序，其中，所述程序在被处理器执行时控制所述存储器所在设备执行上述中任一项所述的数据的处理方法；所述处理器用于运行程序，其中，所述程序运行时执行上述中任一项所述的数据的处理方法。

在本发明实施例中，采用获取待处理的源数据，其中，源数据为从待监测设备端读取的数据；将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到；基于数据读取指令将重构数据传输至云服务器。通过本发明实施例提供的数据的处理方法，实现了可以预先定义比较大的源数据，通过重构数据集的方法定义出待监测设备的特征数据、日志数据等，可以对采集的数据进行快速存储的目的，达到了提高数据的采集与传输的速度的技术效果，进而解决了相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据现有技术的基于物联网的电梯监测系统的框架图；

图2是根据现有技术的基于大数据的设备状态监测系统的框架图；

图3是根据本发明实施例的数据的处理方法的流程图；

图4是根据本发明实施例的设备状态数据采集系统的架构图；

图5是根据本发明实施例的设备状态数据采集系统的硬件结构图；

图6是根据本发明实施例的数据集重构和读取的流程图；

图7是根据本发明实施例的一维数据集的构成示意图；

图8是根据本发明实施例的二维数据集的构成示意图；

图9是根据本发明实施例的三维数据集的构成示意图；

图10(a)是根据本发明实施例的数据定义指令处理的流程图；

图10(b)是根据本发明实施例的数据集重构的流程图；

图11(a)是根据本发明实施例的一维数据集读取的流程图；

图11(b)是根据本发明实施例的二维数据集读取的流程图；

图11(c)是根据本发明实施例的三维数据集读取的流程图；

图12是根据本发明实施例的服务器端的数据处理流程图；

图13是根据本发明实施例的数据的处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种数据的处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本发明实施例的数据的处理方法的流程图，如图3所示，该数据的处理方法包括如下步骤：

步骤S302，获取待处理的源数据，其中，源数据为从待监测设备端读取的数据。

可选地，上述待监测设备可以为图4中的现场设备，其中，图4是根据本发明实施例的设备状态数据采集系统的架构图，如图4所示，可以包括设备端、云端以及访问用户端。这里先从设备端进行说明。

上述现场设备可以为多个，在本发明实施例中对现场设备的种类不做具体限定，可以为电液执行机构。图5是根据本发明实施例的设备状态数据采集系统的硬件结构图，如图5所示，现场设备可以包含：控制模块、采集和通讯模块、设备功能模块，如液压动力模块和执行模块等，控制模块用于对现场设备的其他功能模块进行控制和数据采集监测，监测的内容可以包括现场设备的工作压力、油液温度、液位、各种控制信号、各种反馈信号、各检测点参数、工作状态量等。

在图5中，控制模块与设备功能模块连接，采集外部指令和内部信号，根据内部控制逻辑对现场设备的各功能模块进行控制，同时将必要的设备状态信息反馈给远程控制中心；在控制设备运行的同时，控制模块将采集各种传感数据，连同内部衍生的状态数据，通过通讯接口传递给数据采集和通讯模块，数据采集和通讯模块再对这些数据按照预定的重构算法生成云服务器所需读取的数据集。

步骤S304，将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到。

另外，在一种可选的实施例中，上述数据重构模型也可以为使用多组训练数据通过机器学习训练得到的，其中，多组训练数据中的每一组训练数据均包括：源数据以及基于源数据生成的重构数据。

步骤S306，基于数据读取指令将重构数据传输至云服务器。

由上可知，在本发明实施例中，可以获取待处理的源数据，其中，源数据为从待监测设备端读取的数据；将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到；基于数据读取指令将重构数据传输至云服务器，实现了可以预先定义比较大的源数据，通过重构数据集的方法定义出待监测设备的特征数据、日志数据等，可以对采集的数据进行快速存储的目的，达到了提高数据的采集与传输的速度的技术效果。

值得注意的是，由于在本发明实施例中，先预定义比较大的源数据，使其覆盖尽可能多的类似设备，在此基础上，根据某一设备特有的功能配置，通过重构数据集的方法定义出该设备的特征数据、日志数据等，重构出的新数据集已剔除了与该设备无关的数据，从而使其面对各种设备时均能保持较高的数据传输效率。

因此，通过本发明实施例提供的数据的处理方法，解决了相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的技术问题。

根据本发明实施例，在步骤S302，获取待处理的源数据，包括以下至少之一：获取由待监测设备内部的数据采集设备采集的传感器数据；获取待监测设备的状态数据。

根据本发明上述实施例，利用数据重构模型对源数据进行重构处理，得到重构数据，包括以下至少之一：利用数据重构模型对源数据进行重构处理，重构得到一维数据集；利用数据重构模型对源数据进行重构处理，重构得到二维数据集；利用数据重构模型对源数据进行重构处理，重构得到三维数据集。

需要说明的是，数据集重构的目的之一是对庞大的源数据按需要进行筛选压缩，以兼顾系统的广泛适用性和云服务器的读取效率。重构的另一个目的，是将高速采集到的数据序列存入预先规划的缓存地址空间，随后可通过专用的读指令将数据序列读取到云服务器的数据表中。图6是根据本发明实施例的数据集重构和读取的流程图，数据集重构和读取的流程，如图6所示，首先，需要预定义源数据，然后从云服务器端获取数据定义指令，并进行数据定义指令解析，对源数据进行数据定义(即，数据重构)，得到特征数据、日志数据、批量数据、事件数据及其他数据，并将定义后的数据传输至云服务器。

下面对源数据的重构处理进行详细说明。

在一种可选的实施例中，在重构数据为一维数据集的情况下，利用数据重构模型对源数据进行重构处理，重构得到一维数据集，包括：确定数据定义指令，其中，数据定义指令中携带数据存储格式；基于数据定义指令依次读取源数据中的数据；将读取到的源数据中的数据转存至预定地址空间，得到一维数据集。

图7是根据本发明实施例的一维数据集的构成示意图，如图7所示，可以对源数据(Data_0，Data_1，Data_2，Data_i，Data_j，Data_k，Data_99)进行重构处理，具体地，可以基于数据定义指令(设备地址、功能码、Adress_i，Adress_j，Adress_k)对源数据进行处理，得到一维数据集(例如，2000，Data_i；2001，Data_j，2002，Data_k)，并一维数据集读取至云服务器。

在一种可选的实施例中，在重构数据为二维数据集的情况下，利用数据重构模型对源数据进行重构处理，重构得到二维数据集，包括：确定数据定义指令，其中，数据定义指令中携带数据存储格式；基于数据定义指令将源数据中的数据按照采集时间进行分组，得到多组源数据段；依次读取多组源数据段中的数据；将读取的多组源数据段中的数据存储至预定地址空间，得到二维数据集。

图8是根据本发明实施例的二维数据集的构成示意图，如图8所示，可以对源数据进行处理得到二维数据集，并将得到的二维数据集传输至云服务器。在该实施例中，数据集重构时，根据数据定义指令将源数据中指定的数据，按采集时点分组，依次读取并转存至专属的地址空间。

在一种可选的实施例中，在重构数据为三维数据集的情况下，利用数据重构模型对源数据进行重构处理，重构得到三维数据集，包括：确定数据定义指令，其中，数据定义指令中携带数据存储格式；基于数据定义指令将源数据中的数据按照采集时间进行分组，得到多组源数据段；依次读取多组源数据段中的数据，将读取的多组源数据段中的数据存储至预定地址空间，得到二维数据集；为二维数据集添加标识，得到三维数据集。

需要说明的是，三维数据集的重构过程是在多个(时间，数据)二维结构的集合，在此系统中用于建立报警事件的数据集。一个报警事件是一个二维数据集，在处理当前报警数据时，可能会同时或紧随发生下一个报警事件，三维数据集就是在二维数据集基础上增加了二维数据集的ID，从而形成多个二维数据集的合集。

图9是根据本发明实施例的三维数据集的构成示意图，具体地重构过程如图9所示。

图10(a)是根据本发明实施例的数据定义指令处理的流程图，该重构流程图中包含数据定义指令的处理流程和数据集重构流程，如图10(a)所示，可以利用数据传输设备DTU接收数据定义指令，将数据定义指令解析并存储。

图10(b)是根据本发明实施例的数据集重构的流程图，如图10(b)所示，利用与控制模块的通讯接口接收到新的数据，与数据定义指令比对，判断是否有特殊数据集标识，若无，则对比特征数据定义指令将源数据中的指定数据，并组合各种待读取的特定数据量，存入特征数据地址段；放置，则识别数据集标识，当数据集标识为事件数据标识的情况下，对比事件数据定义指令，按照三维数据集模型将源数据中的指定数据存入事件数据地址，计算生成待采集事件数据数量；当数据集标识为批量数据标识的情况下，对比批量数据定义指令，按照二维数据集模型将源数据中的指定数据存入批量数据地址段，并计算生成待采集批量数据数量；对于其他数据集标识，其他类似的数据操作可以计算生成其他类型待采集数据数量，对比特征数据定义指令将源数据中的指定数据，并组合各种待读取的特定数据量，存入特征数据地址段。

需要说明的是，在本发明实施例中提出的数据重构方法，不仅仅限定于一维至三维数据重构，也可以根据需求应用到更多维度数据的数据重构中。

针对设备状态数据的读取方法，在设备端内部对上述重构后的数据还包含有相对应的数据读取指令，用于按照定义的数据结构一次或分次读取并传送至云服务器。在本系统中，云服务器周期性地读取设备的特征数据，特征数据是最基本的数据集(一维)，其中包含有其它数据集的待读取数量，作为云服务器进行完整数据采集的计数器。下面对数据读取进行详细说明。

在一种可选的实施例中，在重构数据为一维数据的情况下，基于数据读取指令将重构数据传输至云服务器，包括：接收数据读取指令，并基于数据读取指令读取特征数据地址段中的一维数据；将读取的一维数据传输至云服务器。

图11(a)是根据本发明实施例的一维数据集读取的流程图，如图11(a)所示，数据传输设备DTU接收到特征数据采集指令，读取特征数据地址段中的数据，并通过数据传输设备DTU发送。

在一种可选的实施例中，在重构数据为二维数据的情况下，基于数据读取指令将重构数据传输至云服务器，包括：接收数据读取指令；基于数据读取指令读取二维数据，并将读取的二维数据传输至云服务器，直到将二维数据集中的所有二维数据读取完毕。

图11(b)是根据本发明实施例的二维数据集读取的流程图，如图11(b)所示，数据传输设备DTU接收到批量数据采集指令，读取第j组数据，并通过数据传输单元DTU发送，判断是否读取完最后一组数据，若否的情况下，j-1；若是的情况下结束流程。

在一种可选的实施例中，在重构数据为三维数据的情况下，基于数据读取指令将重构数据传输至云服务器，包括：接收数据读取指令；基于数据读取指令读取每个事件中的每组二维数据，并将读取的三维数据传输至云服务器，直到将三维数据集中的所有三维数据读取完毕。

图11(c)是根据本发明实施例的三维数据集读取的流程图，如图11(c)所示，数据传输设备DTU接收到事件数据读取指令，读取第i个事件的数据，读取第i个事件中的第j组数据；判断是否读取完本事件最后一组，若否，则返回继续读取第i个事件中的第j组数据；反之，则判断是否是最后一个事件，若否，则i-1，继续读取第i个事件的数据，反之，结束流程。

图12是根据本发明实施例的服务器端的数据处理流程图，如图12所示，按照设定周期循环读取特征数据；待读取事件数量i≥1，若是，则开始读取第i个事件数据；读取并保存第i个事件中第j组数据；判断当前数据是否为最后一组数据，若是，则判断是否为最后一个事件，若否，则i-1，开始读取第i个事件数据，若是，则判断是否有批量数据标识，若是，则读取并保存第j组数据，判断是否为最后一组数据，若是，则依次读取其他同类数据；判断是否读取完成，若是，则本周期采集任务结束。

通过本发明实施例提供的数据的处理方法，可以通过对源数据重构可对预定义的数据空间进行筛选和排列，从而兼顾系统的广泛适用性和云服务器的读取效率；二维和三维数据集重构还可以将高速采集到的数据序列缓存后，再通过专用的读指令将其传送至云服务器，从而实现高速数据采集。

另外，为了实现上述目的，在本发明实施例中还定义了一系列数据定义指令用于数据集重构和与这些定义指令对应的数据读取指令，下面进行说明：

其中，表1示出了一维数据集的定义指令结构，具体如下表所示：

表1

表2示出了一维数据集的读取指令结构，具体如下表：

表2

表3示出了二维数据集的定义指令结构，具体如下表所示：

表3

表4示出了二维数据集的读取指令结构，具体如下表：

表4

表5示出了三维数据集的定义指令结构，具体如下表所示：

表5

表6示出了三维数据集的读取指令结构，具体如下表：

表6

通过上述数据重构所构建的数据定义指令，在设备端仅对数据进行筛选和专属地址内存储，无复杂运算、无对设备控制过程的干预，是一种安全性较高的数据操作。

此外，为了存储数据定义模型以及依据数据定义模型所获取的数据，在本发明实施例中，在设备本体中还配置有专用缓存器。

通过本发明实施例提供的数据的处理方法基于BS架构，具备以下优点：

1).预定义比较大的源数据，使其覆盖尽可能多的类似设备。在此基础上，根据某一设备特有的功能配置，通过重构数据集的方法定义出该设备的特征数据、日志数据等。重构出的新数据集已剔除了与该设备无关的数据，从而使其面对各种设备时均能保持较高的数据传输效率。

2).将该设备若干源数据的时间序列定义成带有时间坐标二维数据集，并存储于指定的缓存区。通过这种重构，可以实现快速采集数据的暂存，当设备接收到对应的读取指令后，此缓存区数据被读取至云端服务器，从而实现了设备状态数据的快速采集和传输。

3).与各种重构的数据集对应，设计了与其对应的数据读取指令。

此外，本发明基于无线公网，以数据传输单元DTU为数据传输终端，以数据集重构的思想，采用多种数据定义和与之配合的数据采集流程，构建了简易灵活，并且满足终端设备离散、数据集简洁灵活、具有区间速采功能的设备状态数据采集系统。

实施例2

根据本发明实施例的另外一个方面，还提供了一种数据的处理装置，图13是根据本发明实施例的数据的处理装置的示意图，如图13所示，该数据的处理装置可以包括：获取单元1301，重构单元1303以及传输单元1305。下面对该数据的处理装置进行说明。

获取单元1301，用于获取待处理的源数据，其中，源数据为从待监测设备端读取的数据。

重构单元1303，用于将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到。

传输单元1305，用于基于数据读取指令将重构数据传输至云服务器。

此处需要说明的是，上述获取单元1301，重构单元1303以及传输单元1305对应于实施例中的步骤S302至S306，上述单元与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述单元作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

由上可知，在本申请上述实施例中，可以利用获取单元，用于获取待处理的源数据，其中，源数据为从待监测设备端读取的数据；重构单元，用于将源数据输入数据重构模型，并利用数据重构模型对源数据进行重构处理，得到重构数据，其中，数据重构模型为预先通过机器自动处理得到；传输单元，用于基于数据读取指令将重构数据传输至云服务器，通过本发明实施例提供的数据的处理装置，实现了可以预先定义比较大的源数据，通过重构数据集的方法定义出待监测设备的特征数据、日志数据等，可以对采集的数据进行快速存储的目的，达到了提高数据的采集与传输的速度的技术效果，进而解决了相关技术中数据采集系统由于自身设计结构的限制，使得灵活性较差，当从海量数据中提取关键性数据时比较困难的技术问题。

在一种可选的实施例中，获取单元，包括以下至少之一：第一获取模块，用于获取由待监测设备内部的数据采集设备采集的传感器数据；第二获取模块，用于获取待监测设备的状态数据。

在一种可选的实施例中，重构单元，包括以下至少之一：第一重构模块，用于利用数据重构模型对源数据进行重构处理，重构得到一维数据集；第二重构模块，用于利用数据重构模型对源数据进行重构处理，重构得到二维数据集；第三重构模块，用于利用数据重构模型对源数据进行重构处理，重构得到三维数据集。

在一种可选的实施例中，在重构数据为一维数据集的情况下，第一重构模块，包括：第一确定子模块，用于确定数据定义指令，其中，数据定义指令中携带数据存储格式；第一读取子模块，用于基于数据定义指令依次读取源数据中的数据；第一获取子模块，用于将读取到的源数据中的数据转存至预定地址空间，得到一维数据集。

在一种可选的实施例中，在重构数据为二维数据集的情况下，第二重构模块，包括：第二确定子模块，用于确定数据定义指令，其中，数据定义指令中携带数据存储格式；第一分组子模块，用于基于数据定义指令将源数据中的数据按照采集时间进行分组，得到多组源数据段；第二读取子模块，用于依次读取多组源数据段中的数据；第二获取子模块，用于将读取的多组源数据段中的数据存储至预定地址空间，得到二维数据集。

在一种可选的实施例中，在重构数据为三维数据集的情况下，第三重构模块，包括：第三确定子模块，用于确定数据定义指令，其中，数据定义指令中携带数据存储格式；第二分组子模块，用于基于数据定义指令将源数据中的数据按照采集时间进行分组，得到多组源数据段；第三读取子模块，用于依次读取多组源数据段中的数据，将读取的多组源数据段中的数据存储至预定地址空间，得到二维数据集；第三获取子模块，用于为二维数据集添加标识，得到三维数据集。

在一种可选的实施例中，在重构数据为一维数据的情况下，传输单元，包括：第一接收模块，用于接收数据读取指令，并基于数据读取指令读取特征数据地址段中的一维数据；第一传输模块，用于将读取的一维数据传输至云服务器。

在一种可选的实施例中，在重构数据为二维数据的情况下，传输单元，包括：第二接收模块，用于接收数据读取指令；第二传输模块，用于基于数据读取指令读取二维数据，并将读取的二维数据传输至云服务器，直到将二维数据集中的所有二维数据读取完毕。

在一种可选的实施例中，在重构数据为三维数据的情况下，基于数据读取指令将重构数据传输至云服务器，包括：第一接收模块，用于接收数据读取指令；第三传输模块，用于基于数据读取指令读取每个事件中的每组二维数据，并将读取的三维数据传输至云服务器，直到将三维数据集中的所有三维数据读取完毕。

实施例3

根据本发明实施例的另外一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述中任一项的数据的处理方法。

实施例4

根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任一项的数据的处理方法。

实施例5

根据本发明实施例的另外一个方面，还提供了一种数据处理系统，包括：存储器，与存储器耦合的处理器，存储器和处理器通过总线系统相通信；存储器用于存储程序，其中，程序在被处理器执行时控制存储器所在设备执行上述中任一项的数据的处理方法；处理器用于运行程序，其中，程序运行时执行上述中任一项的数据的处理方法。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种数据的处理方法，其特征在于，包括：

获取待处理的源数据，其中，所述源数据为从待监测设备端读取的数据；

将所述源数据输入数据重构模型，并利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，其中，所述数据重构模型为预先通过机器自动处理得到；

基于数据读取指令将所述重构数据传输至云服务器。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理的源数据，包括以下至少之一：

获取由所述待监测设备内部的数据采集设备采集的传感器数据；

获取所述待监测设备的状态数据。

3.根据权利要求1所述的方法，其特征在于，所述利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，包括以下至少之一：

利用所述数据重构模型对所述源数据进行重构处理，重构得到一维数据集；

利用所述数据重构模型对所述源数据进行重构处理，重构得到二维数据集；

利用所述数据重构模型对所述源数据进行重构处理，重构得到三维数据集。

4.根据权利要求3所述的方法，其特征在于，在所述重构数据为一维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到一维数据集，包括：

确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；

基于所述数据定义指令依次读取所述源数据中的数据；

将读取到的所述源数据中的数据转存至预定地址空间，得到所述一维数据集。

5.根据权利要求3所述的方法，其特征在于，在所述重构数据为二维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到二维数据集，包括：

确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；

基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；

依次读取所述多组源数据段中的数据；

将读取的所述多组源数据段中的数据存储至预定地址空间，得到所述二维数据集。

6.根据权利要求3所述的方法，其特征在于，在所述重构数据为三维数据集的情况下，所述利用所述数据重构模型对所述源数据进行重构处理，重构得到三维数据集，包括：

确定数据定义指令，其中，所述数据定义指令中携带数据存储格式；

基于所述数据定义指令将所述源数据中的数据按照采集时间进行分组，得到多组源数据段；

依次读取所述多组源数据段中的数据，将读取的所述多组源数据段中的数据存储至预定地址空间，得到二维数据集；

为所述二维数据集添加标识，得到所述三维数据集。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述重构数据为一维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：

接收所述数据读取指令，并基于所述数据读取指令读取特征数据地址段中的一维数据；

将读取的所述一维数据传输至所述云服务器。

8.根据权利要求1至6中任一项所述的方法，其特征在于，在所述重构数据为二维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：

接收所述数据读取指令；

基于所述数据读取指令读取所述二维数据，并将读取的二维数据传输至所述云服务器，直到将二维数据集中的所有二维数据读取完毕。

9.根据权利要求1至6中任一项所述的方法，其特征在于，在所述重构数据为三维数据的情况下，所述基于数据读取指令将所述重构数据传输至云服务器，包括：

接收所述数据读取指令；

基于所述数据读取指令读取每个事件中的每组二维数据，并将读取的三维数据传输至所述云服务器，直到将三维数据集中的所有三维数据读取完毕。

10.一种数据的处理装置，其特征在于，包括：

获取单元，用于获取待处理的源数据，其中，所述源数据为从待监测设备端读取的数据；

重构单元，用于将所述源数据输入数据重构模型，并利用所述数据重构模型对所述源数据进行重构处理，得到重构数据，其中，所述数据重构模型为预先通过机器自动处理得到；

传输单元，用于基于数据读取指令将所述重构数据传输至云服务器。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至9中任一项所述的数据的处理方法。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9中任一项所述的数据的处理方法。

13.一种数据处理系统，其特征在于，包括：

存储器，与所述存储器耦合的处理器，所述存储器和所述处理器通过总线系统相通信；

所述存储器用于存储程序，其中，所述程序在被处理器执行时控制所述存储器所在设备执行权利要求1至9中任一项所述的数据的处理方法；

所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9中任一项所述的数据的处理方法。

Images