CN112307012A

CN112307012A - 海量工业数据存储和读取方法

Info

Publication number: CN112307012A
Application number: CN201910695382.7A
Authority: CN
Inventors: 谢朝辉; 宋浩; 桑骏
Original assignee: Zoomlion Heavy Industry Science and Technology Co Ltd; Zhongke Yungu Technology Co Ltd
Current assignee: Zoomlion Heavy Industry Science and Technology Co Ltd; Zhongke Yungu Technology Co Ltd
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2021-02-02

Abstract

本发明实施方式提供一种海量工业数据存储方法和一种海量工业数据读取方法，所述数据存储方法包括工业设备将采集到的工业数据发送到云端数据库，所述数据存储方法还包括如下步骤：S1)在云端数据库中建立元数据池，并预先定义所述元数据；S2)将每一种工业设备的所述工业数据的协议与所述元数据池中的每种元数据建立一一对应的关系；S3)将具有不同协议的所述工业数据存放在所述云端数据库中的同一表中。本发明支持海量数据的存储和扩容；如果需要增加协议类型或者修改协议数据格式，只要将对应的元数据进行修改即可支持，大大提供了开发的效率，简化了操作。

Description

海量工业数据存储和读取方法

技术领域

本发明涉及数据存取领域，具体地涉及一种海量工业数据存储方法和一种海量工业数据读取方法。

背景技术

在工业互联网场景下，种类繁多的设备将数据发送至云端，云端数据库将这些数据进行解析和保存，并对这些数据进行展示和分析。设备的多样性，工业数据总线的不同，导致数据异构。传统的存储方法是云端将接收的数据进行协议解析后，将数据存储在关系数据库中。一般情况下，不同协议的上报的数据结构是不相同的。为了支持异构数据，云端会根据不同的协议，将数据存储在不同的数据表中。并且，工业互联网中的设备数据必须要支持海量数据，而传统关系型数据库扩容麻烦；由于数据存储在不同的表中，对数据的统一查询支持的不够好；如果增加一种新的协议类型，云端需要手工添加表结构；如果修改了协议，数据结构变化，云端需要修改对应的表结构。

发明内容

本发明实施方式的目的是为了支持异构数据的存储，并高效支持后续的数据处理、查询、分析；由此，本方案提出了基于元数据的统一存储方案。

为了实现上述目的，在本发明第一方面，提供一种海量工业数据存储方法，包括工业设备将采集到的工业数据发送到云端数据库，所述数据存储方法还包括如下步骤：

S1)在云端数据库中建立元数据池，并预先定义所述元数据池中的元数据；

S2)将每一种工业设备的工业数据的协议与所述元数据池中的每种元数据建立一一对应的关系；

S3)将具有不同协议的工业数据存放在所述云端数据库中的同一表中；

可选的，为所述表中的列关键字头部附加上所述工业数据对应的第一特征和第二特征。

进一步的，所述第一特征和第二特征包括：工业设备的编号和工业数据采集的时间戳。

进一步的，所述步骤S2)中，所述每一种工业设备的工业数据的协议均为二进制格式的数据协议。

进一步的，所述步骤S2)中，所述将每一种工业设备的工业数据的协议与所述元数据池中的每种元数据建立一一对应的关系，包括如下步骤：

S21)对所述工业数据的协议中的每个字段的开始位置和结束位置的二进制数据进行确定，以确定所述工业数据的每个字段的开始位置与结束位置之间的字段内容；

S22)将所述步骤S21)中确定的所述字段内容按照计算公式或解码方式进行转换，以获得所述每个字段所对应的值；

S23)将与所述步骤S22)中获取的每个字段的字段含义、数据范围和数据类型匹配的元数据与该字段建立一一对应的关系。

可选的，所述步骤S22)中，所述解码方式包括BCD码解码和格雷码解码。

可选的，所述步骤S1)中，所述元数据池中的元数据的列名按照递增的方式排序。

可选的，所述云端数据库为HBase。

另一方面，本发明还提供一种海量工业数据读取方法，包括采用前述的存储方法进行工业数据存储，所述数据读取方法还包括：

S4)根据所述工业设备的唯一所述编号，查询所述工业设备具有的所述工业数据的协议；

S5)结合步骤S4)中的所述工业数据的协议与元数据的关系，构造查询请求给所述云端数据库，从所述云端数据库中提取出需要读取的数据。

第三方面，本发明还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行上述技术方案中任一项所述的海量工业数据存储方法，或执行上述技术方案中任一所述的海量工业数据读取方法。

本发明支持海量数据的存储和扩容，如需增加协议类型或者修改协议数据格式，只要将对应的元数据进行修改即可支持，大大提供了开发的效率，简化了操作；在存储性能上，采用了元数据的简单列名，节省了磁盘空间，降低了成本；采用元数据池方案，含义相近的字段存储在同一列族名中，为后续数据处理和人工智能分析提高了效率；本方案实施后，可大幅度提高新设备的接入速度，对查询和分析进行了有力的支撑。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是本发明一种实施方式提供的海量工业数据存储方法的流程图；

图2是本发明提供的数据存储方法中建立工业数据的协议与元数据库中的元数据一一对应关系的流程图；

图3是本发明一种实施方式提供的海量工业数据读取方法的流程图。

技术名词解释

元数据：又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。

图1是本发明提供一种海量工业数据存储方法，包括工业设备将采集到的工业数据发送到云端数据库，所述数据存储方法还包括如下步骤：

S1)在云端数据库中建立元数据池，并预先定义所述元数据；

建立这种元数据池，是为了方便将异构数据强相关的数据字段放在数据库的同一列族，提高后续的数据处理的效率。

S2)将每一种工业设备的所述工业数据的协议与所述元数据池中的每种元数据建立一一对应的关系；

云端数据库为每一种类型的数据协议进行模型建立，目的是建立协议与元数据的关系，以及方便后续的协议处理。由于在应用过程中，面对都是采用私有协议的二进制格式的数据协议，因此需要对协议的每一个字段进行建模。

S3)将具有不同协议的所述工业数据存放在所述云端数据库中的同一表中；

云端数据库在接收到设备数据后，解析过程中根据设备的协议类型和协议模型，将数据存储到云端数据库中的同一张表中。将数据存储在同一张表中，不仅提高了开发的效率，而且有利于数据进行统一的分析和查询。

可选的，所述数据存储方法还包括：为所述表中的列关键字头部附加上所述工业数据对应的第一特征和第二特征。

一般情况下，设备数据的查询都是按照某个设备在哪个时间段的数据；为了加快查询速度，在列关键字上进行了特别的设计：列关键字是由Prefix(2个字节)+每个工业设备唯一编号+0+(Long.MAXVALUE–时间戳(8字节))组成；所述每个工业设备唯一编号为终端的唯一编号，Long.MAXVALUE是时间戳最大值。

进一步的，所述步骤S2)中，所述每个工业设备的工业数据协议均为二进制格式的数据协议。

进一步的，所述步骤S2)中，所述建立一一对应的关系包括如下步骤：

S21)对所述工业数据的协议中的每个字段的开始位置和结束位置的二进制数据进行确定，以确定所述工业数据的每个字段的开始位置与结束位置之间的字段的内容；

每个工业设备的工业数据的每个字段都是有开始字符和结束字符的，这样便于接收方识别。

S22)将所述步骤S21)中确定的每个字段的内容按照计算公式或解码方式进行转换，以获得所述每个字段所对应的值；

当去除所述每个字段的开始字符和结束字符后，每个字段剩下的就是该字段的实际内容。

S23)将与所述步骤S22)中获取的每个字段的字段含义、数据范围和数据类型匹配的元数据与该所述字段建立一一对应的关系。

每个字段的信息可能为以下，如：发动机转速，油温，压力。由于每个字段包含的数据内容不同，且数据范围和数据类型不同，因此，需要根据数据内容、数据范围或数据类型来确定元数据的内容。最终，每种工业设备的工业数据将存储在具有与其工业数据的数据内容、数据范围和数据类型对应的元数据的表中。

进一步的，所述步骤S22)中的所述解码方式包括BCD码解码、格雷码解码。所述去除了开始字符和结束字符的字段仍然为二进制编码，要理解其含义，必须经过解码步骤。所述原编码可以是BCD码、格雷码等多种码，本实施例采用的是上述两种编码，因此，解码也应该采用上述两种解码方法。

进一步的，所述步骤S1)中的所述元数据池中的元数据的列名按照递增的方式排序。一般就是按照1,2,3，以次类推的方式来进行递增的方式排序。

进一步的，所述云端数据库为HBase。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同是，HBase是基于列的而不是基于行的模式。也可以采用其他数据库，例如ORACLE或MySql数据库，都可以实现上述数据的存储。

另一方面，本发明还提供一种海量工业数据读取方法，包括采用前述的数据存储方法进行工业数据存储，所述数据读取方法还包括：

每种工业设备的编号是唯一的，其工业数据的协议是与编号对应的。由于设置了工业设备的编号，并且该编号在数据库中是唯一的，所以，利于使用者在数据库中查询、读取。

而且，由于采用了上述的将具有不同协议的工业数据存放在所述云端数据库中的同一表中的存储方法，所以，检索速度也会加快；避免了通过多张表来进行查询和检索造成的检索速度降低的不利效果。所述读取方法降低了查询和检索的复杂度，使得读取更方便。从而实现了数据的自助式探索。

本发明支持海量数据的存储和扩容，增加协议类型，或者修改协议数据格式，只要将对应的元数据进行修改即可支持，大大提供了开发的效率，简化了操作；在存储性能上，采用了元数据的简单列名，节省了磁盘空间，降低了成本；采用元数据池方案，含义相近的字段存储在同一列族名中，为后续数据处理和人工智能分析提高了效率；本方案实施后，大幅度提高了新设备的接入速度，对查询和分析进行了有力的支撑。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims

1.一种海量工业数据存储方法，包括工业设备将采集到的工业数据发送到云端数据库，其特征在于，所述数据存储方法还包括如下步骤：

S3)将具有不同协议的工业数据存放在所述云端数据库中的同一表中。

2.根据权利要求1所述的数据存储方法，其特征在于，该数据存储方法还包括：为所述表中的列关键字头部附加上所述工业数据对应的第一特征和第二特征。

3.根据权利要求2所述的数据存储方法，其特征在于，所述第一特征和第二特征包括：工业设备的编号和工业数据采集的时间戳。

4.根据权利要求1所述的数据存储方法，其特征在于，所述步骤S2)中，所述每一种工业设备的工业数据的协议均为二进制格式的数据协议。

5.根据权利要求4所述的数据存储方法，其特征在于，所述步骤S2)中，所述将每一种工业设备的工业数据的协议与所述元数据池中的每种元数据建立一一对应的关系，包括如下步骤：

6.根据权利要求5所述的数据存储方法，其特征在于，所述步骤S22)中，所述解码方式包括BCD码解码和格雷码解码。

7.根据权利要求6所述的数据存储方法，其特征在于，所述步骤S1)中，所述元数据池中的元数据的列名按照递增的方式排序。

8.根据权利要求1所述的数据存储方法，其特征在于，所述云端数据库为HBase。

9.一种海量工业数据读取方法，包括采用权利要求3～8中任一项所述的数据存储方法进行工业数据存储，其特征在于，所述数据读取方法包括：

S4)根据所述工业设备的唯一编号，查询所述工业设备具有的工业数据的协议；

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行权利要求1至8中任一项所述的海量工业数据存储方法，或执行权利要求9所述的海量工业数据读取方法。