CN102768666A - 一种工业数据存储读取方法及其系统 - Google Patents

Abstract

本发明公开了一种工业数据存储读取方法及其系统，通过将海量的工业数据与其对应的采集点信息分离存储，将无重复的工业数据存储在文件型数据库中，将重复的采集点信息存储在关系型数据库中，使得在不影响工业实时数据库的吞吐效率的情况下，减少数据冗余，大大提高工业数据的存储能力，且采集点属性的任何修改都不会影响已存储的工业数据。

Description

一种工业数据存储读取方法及其系统

技术领域

本发明涉及一种工业数据存储技术

背景技术

在工业领域，如电力、油气、煤矿、交通等领域中需要进行大量的数据采集，由于工业领域的场站通常分布在全国各个地区，从而需要从各个地区的采集点进行数据采集，并且需要保留大量数据的历史记录。

工业数据来源于日常的工业生产或其相关数据，一个工业数据对应生产中的一个物理点，即采集点，如某一条生产线的累计产量、某一个检测点温度等。工业数据是一段连续的量，其存储的数据都带有时间戳。工业数据具有明显的时间特性，每个工业数据中包含一时间戳，其结构可以用VQT(Value、Quality、Timestamp，数据值、质量码、时间戳)来表示。时间戳是进行工业数据查询的关键条件，最常见的是需要查询某一个或多个采集点某一段时间内的数据。

同时工业数据是不断产生的，具有海量数据的特点。

这些海量工业数据的历史记录非常重要，会在不同的应用需求中使用到。每条历史记录都关联到对应数据的采集点，在存储这些历史记录时，需要存储其对应的采集点的信息。每个采集点通常有唯一的引用名称，唯一的属性标识propertyID，唯一的资源标识resourceID等属性。每条历史记录对应一个采集点的ID号，现有技术中一般使用8字节的数字表示，然而这些采集点数量通常不会超过4字节所能表示的数的范围。

由于每条历史记录中都需要保存相对应的采集点信息，这些无重复的信息将会占用大量的数据库容量。在工业领域中为了保证数据的实时性，无法使用关系型数据库，而使用文件型数据库。然而文件型数据库通常结构固定，不能像关系型数据库那样可以使用不同的数据表来表达关系，减少冗余。

为了节省存储空间，避免重复存储采集点信息，通常会把对应同一个采集点的数据组合在一起，只存储一次采集点信息，来避免重复保存相同的信息，尽量减少数据冗余。虽然该解决方法能避免一定的重复，但这样就破坏了历史记录时间的连续性，大大加重了工业数据查找的负担，而且使数据按一定条件组织在一起，也会加重工业数据库的负担，降低数据吞吐的速率。并且，用8字节表示4字节的数据范围这种冗余的情况也没有得到很好的解决。更严重的是当采集点属性发生变更时将会影响到已经入库的数据信息。

发明内容

本发明主要解决的技术问题是提供一种工业数据存储读取方法及其系统，使得在不影响工业实时数据库的吞吐效率的情况下，减少数据冗余，大大提高工业数据的存储能力，且工业采集点属性的任何修改都不会影响已存储的工业数据。

为了解决上述技术问题，本发明提供了一种工业数据存储及读取方法，包含以下步骤：

将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

建立一关系型数据库，保存该文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；

在该文件型数据库被打开时，将该关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；

在进行工业数据查询时，根据待查询采集点信息和该位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识；

从该文件型数据库中获取该位置标识所对应的存储位置的工业数据。

作为上述技术方案的改进，工业数据的位置标识与存储位置的对应关系为：工业数据的位置标识为顺序序列，工业数据的位置标识乘以工业数据存储的数据结构大小，为该工业数据的存储位置。

作为上述技术方案的改进，采集点信息至少包含以下之一或其组合：参数名、资源标识、和/或属性标识。

作为上述技术方案的改进，位置标识与采集点信息的映射关系至少包含以下之一或其组合：参数名与地址标识的映射关系、和/或属性标识与地址标识的映射关系。

作为上述技术方案的改进，该方法还可以包含以下步骤：

在新增采集点时，在参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在该关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。

本发明还提供了一种工业数据存储及读取系统，包含：

一文件型数据库，用于将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

一关系型数据库，用于保存该文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；

映射模块，用于在该文件型数据库被打开时，将该关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；

查询模块，用于在进行工业数据查询时，根据待查询采集点信息和该位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识，从该文件型数据库中获取该位置标识所对应的存储位置的工业数据。

本发明实施方式与现有技术相比，主要区别及其效果在于：将海量的工业数据存储在一文件型数据库中，将工业数据对应的采集点的信息存储在一关系型数据库中。文件型数据库中每条工业数据包含一位置标识，与该工业数据的存储位置相对应；关系型数据库中保存各工业数据的位置标识、及该工业数据对应的采集点的信息；在文件型数据库被打开时，在内存中导入工业数据的位置标识与采集点信息的映射关系导；在进行工业数据查询时，根据待查询采集点信息和内存中的映射关系，确定待查询工业数据的位置标识；从该文件型数据库中获取该位置标识所对应的存储位置的工业数据。通过将海量的工业数据与其对应的采集点信息分离存储，将无重复的工业数据存储在文件型数据库中，将重复的采集点信息存储在关系型数据库中，使得在不影响工业实时数据库的吞吐效率的情况下，减少数据冗余，大大提高工业数据的存储能力，且采集点属性的任何修改都不会影响已存储的工业数据。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明一实施方式一种工业数据存储及读取方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明一较佳实施方式涉及一种工业数据存储及读取方法。在本实施方式中，将海量的工业数据存储在一文件型数据库中，将工业数据对应的采集点的信息存储在一关系型数据库中。当文件型数据库被打开时，在内存中导入工业数据的位置标识与采集点信息的映射关系导；在进行工业数据查询时，根据待查询采集点信息和内存中的映射关系，确定待查询工业数据的位置标识；从该关系型数据库中获取该位置标识所对应的存储位置的工业数据。

以工业数据的历史记录为例，具体存储及读取方法如图1所示，在步骤101中，建立一文件型历史数据库和一关系型模型数据库。

步骤102中，将工业数据的历史记录存储在该历史数据库中。并且，每条历史记录包含一位置标识，与该历史记录的存储位置相对应。

为了减少数据冗余，本实施方式中历史记录的位置标识为顺序序列，由该历史记录的存储位置确定，历史记录的位置标识乘以其存储的数据结构大小，则为该历史记录的存储位置，由于历史记录的位置标识可以由其存储位置推导而出，从而使得文件型历史数据库不用保存位置标识的相关数据，减少了数据冗余，节省存储空间。

举例而言，历史数据库中存储的工业数据中历史记录的数据结构的大小为8字节，某一历史记录的指针位于文件的位置是80字节处，即其存储位置为80字节处，则该工业数据的位置标识为10。

步骤103中，在模型数据库中保存历史数据库中各历史数据的位置标识、及该历史数据对应的采集点的信息。

其中，采集点的信息一般包含：参数名、资源标识、和属性标识。

举例而言，采集点的信息结构可如下所示：

位置标识

参数名

资源标识

属性标识

一般情况下，位置标识按照从1开始的顺序序列。

步骤104中，在内存中建立位置标识与采集点信息的映射，包括以下映射：

参数名到位置标识的映射；位置标识与属性标识之间的唯一映射。

当文件型历史数据库被打开时，进入步骤105，载入该模型数据库，并在内存中将关系型历史数据库中各工业数据的位置标识与采集点信息导入以上映射中。

当进行工业数据中历史记录查询时，进入步骤106，根据待查询采集点信息和位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识。

具体地说，当对文件型历史数据库中的工业数据进行查询时，以待查询的采集点信息为参数名为例，首先把传进来的参数名，通过参数名到位置标识的映射进行转换，转换后变为位置标识，然后，再把该位置标识传入文件型历史数据库中。

步骤107中，根据该位置标识，从历史数据库中获取所对应的存储位置的工业数据。

在新增采集点时，在该参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在该关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取该进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。

通过将海量的工业数据与其对应的采集点信息分离存储，将无重复的工业数据存储在文件型数据库中，将重复的采集点信息存储在关系型数据库中，从而使得文件型历史数据库中不用保存任何采集点的相关信息，在不影响工业实时数据库的吞吐效率的情况下，减少数据冗余，大大提高工业数据的存储能力，但对但对文件型历史数据库的性能不存在任何影响。并且，采集点属性的任何修改都不会影响已存储的工业数据，提高了工业数据库的稳定性。

另外，本实施方式中，采集点信息的属性标识的数据类型是8字节大小，但是在文件型历史数据库中只要存放采集点个数大小的数据类型，即只要4字节就可以表示采集点的所有信息，节约了存储空间。

本发明第二实施方式涉及一种工业数据存储及读取系统，包含：

一文件型数据库，用于将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应，工业数据的位置标识为顺序序列，工业数据的位置标识乘以工业数据存储的数据结构大小，为该工业数据的存储位置。

一关系型数据库，用于保存文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；采集点信息包含：参数名、资源标识、属性标识等。

一映射模块，用于在文件型数据库被打开时，将关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；这里的映射关系至少包含：参数名与地址标识的映射关系、属性标识与地址标识的映射关系。

一查询模块，用于在进行工业数据查询时，根据待查询采集点信息和位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识，从文件型数据库中获取位置标识所对应的存储位置的工业数据。

一更新模块，用于在新增采集点时，在参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种工业数据存储及读取方法，其特征在于，包含以下步骤：

将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

建立一关系型数据库，保存所述文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；

在所述文件型数据库被打开时，将所述关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；

在进行工业数据查询时，根据待查询采集点信息和所述位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识；

从所述文件型数据库中获取所述位置标识所对应的存储位置的工业数据。

2.根据权利要求1所述的工业数据存储及读取方法，其特征在于，所述工业数据的位置标识与存储位置的对应关系为：

所述工业数据的位置标识为顺序序列，所述工业数据的位置标识乘以所述工业数据存储的数据结构大小，为该工业数据的存储位置。

3.根据权利要求2所述的工业数据存储及读取方法，其特征在于，所述采集点信息至少包含以下之一或其组合：参数名、资源标识、和/或属性标识。

4.根据权利要求3所述的工业数据存储及读取方法，其特征在于，所述位置标识与采集点信息的映射关系至少包含以下之一或其组合：

参数名与地址标识的映射关系、和/或属性标识与地址标识的映射关系。

5.根据权利要求1至4中任意一项所述的工业数据存储及读取方法，其特征在于，还包含以下步骤：

在新增采集点时，在所述参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在所述关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取所述进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。

6.一种工业数据存储及读取系统，其特征在于，包含：

一文件型数据库，用于将工业数据存储在一文件型数据库中，每条工业数据包含一位置标识，与该工业数据的存储位置相对应；

一关系型数据库，用于保存所述文件型数据库中各工业数据的位置标识、及该工业数据对应的采集点的信息；

映射模块，用于在所述文件型数据库被打开时，将所述关系型数据库中各工业数据的位置标识与采集点信息的映射关系导入内存；

查询模块，用于在进行工业数据查询时，根据待查询采集点信息和所述位置标识与采集点信息的映射关系，确定待查询工业数据的位置标识，从所述文件型数据库中获取所述位置标识所对应的存储位置的工业数据。

7.根据权利要求6所述的工业数据存储及读取系统，其特征在于，所述工业数据的位置标识与存储位置的对应关系为：

所述工业数据的位置标识为顺序序列，所述工业数据的位置标识乘以所述工业数据存储的数据结构大小，为该工业数据的存储位置。

8.根据权利要求7所述的工业数据存储及读取系统，其特征在于，所述采集点信息至少包含以下之一或其组合：参数名、资源标识、和/或属性标识。

9.根据权利要求8所述的工业数据存储及读取系统，其特征在于，所述位置标识与采集点信息的映射关系至少包含以下之一或其组合：

参数名与地址标识的映射关系、和/或属性标识与地址标识的映射关系。

10.根据权利要求6至9中任意一项所述的工业数据存储及读取系统，其特征在于，还包含：

更新模块，用于在新增采集点时，在所述参数名与地址标识的映射关系中查找是否存在对应该采集点的信息，如果不存在，则在所述关系型数据库中添加该采集点信息；如果存在则代表修改文件型数据库中工业数据，获取所述进行修改的工业数据的位置标识，更新关系型数据库中该工业数据的位置标识及其对应的采集点信息。