CN102446184A - 一种基于时间序列的工业数据存储及索引方法 - Google Patents

Abstract

本发明公开了一种基于时间序列的工业数据存储及索引方法，将相同时间段内的工业数据存储在一个数据文件中，将属于相同采集点的数据存储在同一个物理块中，从而无需再保存每条工业数据对应的采集点的标签，节省了存储空间，在工业领域上千万条工业数据的情况下，明显提高了数据存储效率。在进行查询时，根据待查询的工业数据的时间段索引到对应的数据文件，根据待查询的采集点标签索引到对应的起始物理块，根据起始物理块头文件中的起讫时间和下一个物理块的指针、索引到需要查询的时间段的工业数据的物理存储位置，该方式能够快速索引、批量查询一个时间段内的工业数据，满足工业数据的查询需求。

Description

一种基于时间序列的工业数据存储及索引方法

技术领域

本发明涉及数据库存储及索引领域，尤其涉及工业数据存储及索引技术。

背景技术

工业数据来源于工业生产或其相关数据，一个工业数据对应生产中的一个物理点，如某一条生产线的累计产量、某一个检测点温度等。工业数据是一段连续的量，其存储的数据都带有时间戳。工业数据具有明显的时间特性，其结构可以用VQT(Value、Quality、Timestamp，数据值、质量码、时间戳)来表示。同时工业数据是不断产生的，具有海量数据的特点。

现有的数据库技术很好地解决了关系数据的存储与访问要求。但是对于工业数据而言，现有的存储和访问方式有很多不足。

由于工业数据的连续时间的特性以及海量的特性，使用传统的关系数据库的存储和访问方法所需的存储空间极大、访问不便。

并且，对于工业数据库而言，其查询数据的目的通常是为了进行工业数据的趋势分析、故障分析等，需要查询的通常不是某一条数据，在工业控制领域，某个采集点某个时间点上的单个数据点是无意义的，一般需要对多个采集点的连续时间段内的工业数据进行查询，通过查询出的数据进行趋势分析、发现系统故障。

可见现有的数据库存储和查询技术不适合工业数据的存储和查询，需要能满足时间特性和海量特点的数据存储结构和查询方法。

发明内容

本发明主要解决的技术问题是提供一种基于时间序列的工业数据存储及索引方法，使得降低海量工业数据存储所需空间，加快工业数据索引查询效率。

为了解决上述技术问题，本发明提供了一种基于时间序列的工业数据存储及索引方法，工业数据来自不同的采集点，每条工业数据包含一个时间戳，包含以下步骤：

将相同时间段内的工业数据存储在一个数据文件中，该数据文件包含N个文件块，N为大于2的自然数；

将一个时间段内属于同一个采集点的工业数据存储在对应该时间段的数据文件中的同一个物理块中，保存该数据文件中各采集点与其对应的起始物理块的索引关系，在各物理块的头文件中包含本物理块中存储的工业数据的起讫时间、以及对应相同采集点的上一个物理块和/或下一个物理块的指针；

在进行一个时间段的工业数据查询时，根据待查询的工业数据的时间段索引到对应的数据文件，根据待查询的采集点标签索引到该数据文件中对应该采集点的起始物理块，根据该起始物理块头文件中的起讫时间和下一个物理块的指针、索引到待查询的工业数据的物理存储位置。

作为上述技术方案的改进，根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到待查询的工业数据的物理存储位置的步骤中，

从起始物理块开始，依次将各物理块的起讫时间和待查询的工业数据时间段相比较，如果不匹配，则根据该物理块头文件中的下一个物理块的指针，找到下一个物理块，进行进一步比较，找到匹配待查询的时间段的物理块。

作为上述技术方案的改进，工业数据至少包含数值、质量码、时间戳，将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

在存储工业数据时，将该工业数据的时间戳与上一条工业数据的时间戳比较，保存该时间差；

根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到待查询的工业数据的物理存储位置的步骤中，

根据找到的物理块中存储的工业数据的起始时间和各工业数据的时间差，找到待查询的时间段的工业数据。

作为上述技术方案的改进，每个数据文件唯一对应一个时间段，各数据文件所对应的时间段相连续。

作为上述技术方案的改进，将属于同一个采集点的工业数据存储在同一个物理块中的步骤中，

如果该采集点标签对应的物理块已写满，则根据该物理块头文件中的下一个物理块的指针，找到同属于该采集点的其他物理块，将工业数据存储在该其他物理块中。

作为上述技术方案的改进，工业数据至少包含数值、质量码、时间戳，将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

为每条工业数据设置一个质量码标识位，在存储工业数据时，将该工业数据的质量码与上一条工业数据的质量码比较，如果相同，则不保存本条工业数据的质量码，并将质量码标识设置为不保存；如果不同，则保存该条工业数据的质量码，并将质量码标识设置为保存；

索引到待查询的工业数据的物理存储位置的步骤之后，包含以下步骤：读取待查询的工业数据，根据各工业数据的质量码标识位的值，确定该条工业数据的质量码。

作为上述技术方案的改进，工业数据存储区域包括主数据区和溢出数据区，主数据区和溢出数据区中分别为每个采集点预留至少一个对应的物理块，采集点的起始物理块为该采集点对应的主数据区中的物理块。

作为上述技术方案的改进，主数据区中从前至后依次预留各采集点对应的物理块；溢出数据区中从后至前依次预留各采集点对应的物理块。溢出数据区可以为主数据区的1至2倍。

本发明实施方式与现有技术相比，主要区别及其效果在于：将相同时间段内的工业数据存储在一个数据文件中，将一个时间段内属于相同采集点的数据存储在该时间段数据文件的同一个物理块中，从而无需再保存每条工业数据对应的采集点的标签，节省了存储空间，在工业领域上千万条工业数据的情况下，明显提高了数据存储效率。

针对上述存储方式，在进行查询时，可以根据待查询的工业数据的时间段索引到对应的数据文件，根据待查询的采集点标签索引到该数据文件中对应的起始物理块，根据起始物理块头文件中的起讫时间和下一个物理块的指针、索引到需要查询的工业数据的物理存储位置，该三级索引方式定位迅速，能够批量、高效查询一个时间段内的工业数据，充分满足工业数据的查询需求。

在存储工业数据时，将该工业数据的质量码与上一条工业数据的质量码比较，如果相同，则不保存本条工业数据的质量码，只在不同的情况下，才保存该条工业数据的质量码，为每条工业数据预留一个标识位，标示该条工业数据中是否保存有质量码。从而进一步降低了工业数据的存储空间，提高了数据存储效率。

在保存工业数据的时间戳时，只保存本条工业数据与上一条工业数据的时间差，一般情况下，时间戳的保存需要占用4个字节，而保存其时间差则只需1个字节，明显降低了工业数据的存储空间，提高了数据存储效率。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明一较佳实施方式的基于时间序列的工业数据存储及索引方法中对应同一采集点的各物理块的链接关系；

图2是本发明一较佳实施方式的基于时间序列的工业数据存储及索引方法中物理块的结构示意图；

图3是本发明一较佳实施方式的基于时间序列的工业数据存储及索引方法中工业数据的存储结构图；

图4是本发明一较佳实施方式的基于时间序列的工业数据存储及索引方法中数据文件的结构示意图；

图5是本发明一较佳实施方式的基于时间序列的工业数据索引方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明一较佳实施方式涉及一种基于时间序列的工业数据存储及索引方法。本实施方式中的工业数据来自不同的采集点，每条工业数据包含一个时间戳。在存储时，将一个时间段内的工业数据存储在一个数据文件中，确保每个数据文件均唯一对应一个时间段，各数据文件所对应的时间段相连续。一个数据文件中进一步包含多个物理块。将数据文件分为主数据区和溢出数据区两部分，在主数据区和溢出数据区分别为每个采集点分配至少一个物理块。当主数据区域中的物理块写满时，将数据存储到溢出数据区域中属于相同采集点的物理块中。由于每个物理块只存储同一采集点的数据，这样就无需另外保存采集点标签的ID，能够更有效地利用物理磁盘空间。

其中，主数据区的大小是由数据库字典中的采集点数和每个物理块的大小决定的，如果采集点有10000个，则主数据区的大小为10000×4K(每个页面的大小)。溢出数据区的大小，由不同工业系统不同的数据采集特性决定，一般为主数据区的1至2倍。如对于电力系统，采用1倍的主数据区大小最佳，而石油系统采用1.5倍的主数据区大小为佳。

每个物理块仅仅保存属于同一采集点标签的工业数据，属于同一采集点标签的物理块通过双向指针链接，如图1所示。

每个物理块由2部分组成，分别是Record Header(物理块头文件)和Record Data(物理块数据区)，如图2所示。

其中，Record Header标识了该物理块中保存的工业数据的信息，包括采集点标签ID、本物理块中存储的工业数据的起讫时间、数据值的类型、数据值的长度、本物理块的标识、上一个物理块的指针和/或下一个物理块的指针等信息。通过该头文件，使得各物理块之间能够构成如图1所示的双向链接，可以通过当前的物理块找到属于同一采集点的其他物理块。具体地说，在进行某个采集点的数据存储时，首先将工业数据存储在主数据区中对应该采集点的第一个物理块(称为起始物理块)，在起始物理块存储满后，根据起始物理块头文件中下一个物理块的指针，找到对应同一采集点的下一个物理块，存储满之后，再找到对应同一采集点的下一个物理块，如此依次存储。同样，在进行数据查询时，将待查询数据的时间段依次和各物理块头文件中的起讫时间比较，如果不匹配，则根据头文件中下一个物理块的指针，快速索引到下一个物理块，进行进一步匹配，直到找到时间相匹配的物理块。

Record Data部分保存了连续的工业数据，工业数据的存储结构采用改进的计数法。具体地说，每条工业数据均包含数据值、质量码和时间戳。其中不同工业数据的质量码可能相同，从而容易产生相同数据的重复保存。时间戳，是工业数据的一个重要特性，但为每条工业数据保存完整的时间戳，需要占用许多存储空间。为了提高存储空间的利用率，本实施方式中将当前工业数据与上一条工业数据进行比较，保存两条工业数据的时间差，如果两条数据的质量码相同，则不再保存本条工业数据中的质量码。本实施方式的数据存储结构如图3所示，第一个字节的第一个bit用来表示是否保存了质量码，后7个bit为数据值长度标识位，标示了该条工业数据的数据值长度，数据值长度标识位之后保存数据值，数据值之后的1个字节用来保存时间差。

在具体存储时，首先比较本条工业数据的质量码与上一条工业数据的质量码是否相同，如果相同，则不再存储该质量码，将质量码标识位(第一个字节的第一个bit)设置为0，表示不存储质量码；如果不同，并将该工业数据的质量码标识位设置为1，表示已存储质量码，并将该质量码保存在最后。其后7bit保存本条工业数据的数据值的长度。随后保存该数据值。之后，计算本条工业数据的时间戳与上一条工业数据时间戳的时间差，用1字节保存该时间差。如果本工业数据的质量码与上一条不同，则将该质量码保存在时间差之后。

通过上述存储结构，对于每条工业数据，一般只需1个字节标示是否保存质量码以及数据值长度、1个字节保存时间差、8个字节保存数据值，在质量码与前一条工业数据相比没有变化的情况下，只需要10个字节就能保存一条完整的工业数据，有效的节省了存储的空间，提高了数据存储效率。

上述主数据区和溢出数据区构成本实施方式中数据文件的数据区，一个数据文件共有三部分组成，除了上述数据区以外，还包括文件头、文件块与采集点的索引图等，如图4所示。其中，文件头中包含了该数据文件的详细信息，如总物理块数、可用物理块数、文件中工业数据的起始时间、和终止时间等信息。

需要说明的是，在为各采集点预留物理块时，主数据区中可以从前至后依次预留各采集点对应的物理块；溢出数据区中可以从后至前依次预留各采集点对应的物理块。从而即便发生突然增加采集点的情况，也能够顺利扩充主数据区，保存主数据区中各物理块的连续性。

通过上述存储方式，尽可能避免了对工业数据中的重复信息进行重复保存，包括每条工业数据的采集点标签信息、连续的工业数据的相同质量码，且在保留时间戳的前提下通过更少的空间存储该时间戳，由于工业数据数量极大，通过上述几点能够明显降低工业数据的存储空间，提高空间利用率，提高工业数据存储效率。

在一万采集点的情况下，采集周期为5秒，则每天的数据量达到4.8GB，每年的历史数据超过1.7TB，庞大的数据量使得数据查询和分析的效率很低。而采用本发明后，每年的历史数据仅需要25GB，大大的节省了存储空间，并且数据查询和分析的效率也会大大提高。

下面对上述存储方式相对应的索引方法进行具体说明，具体的工业数据索引流程图如图5所示。本实施方式中在进行工业数据存储时，已建立各采集点标签与起始物理块(一般是主数据区中物理块)的索引关系。

步骤501中，根据待查询的工业数据的时间段，索引到包含该时间段的数据文件。

步骤502中，根据待查询的工业数据对应的采集点标签，索引到该数据文件中对应该采集点的起始物理块。

步骤503中，将待查询的工业数据的时间段与起始物理块头文件中的起讫时间相比较，如果该起讫时间与待查询的时间段相匹配(完全包含待查询的时间段，或者包含待查询的时间段的一部分)，则进入步骤504；如果该起讫时间与待查询的时间段不相匹配(两个时间段完全不相交)，则进入步骤505，根据起始物理块头文件中保存的下一个物理块的指针，找到本采集点对应的下一个物理块，返回步骤503，将待查询的工业数据的时间段与该下一个物理块头文件中的起讫时间相比较。

步骤504中，已定位到了待查询的工业数据所存储的物理块，根据该定位的物理块中存储的工业数据的起始时间和各工业数据的时间差，找到待查询的工业数据。如果该定位的物理块中只保存待查询的部分数据，则根据该物理块头文件中下一个物理块的指针，找到下一个物理块，继续获取待查询的工业数据，直到得到待查询全部工业数据。

通过上述索引方式，使得用户能够直接根据需要查询的采集点和时间段，索引到待查询的工业数据的物理存储位置，实现快速索引、批量查询一个时间段内的工业数据，满足工业数据的查询需求。

在读取待查询的工业数据时，根据工业数据的存储格式，如图3所示，首先读取工业数据的质量码标识位的值，确定该条工业数据的质量码是否省略保存，如果值为0则读取上一条工业数据的质量码，如果值为1，则在读取时间差之后读取质量码。其后读取7bit的数据值长度，根据该长度读取其后的数据值。之后再读取本条工业数据与上一条工业数据的时间差，将该时间差还原为时间戳。最后在质量码标识位为1的情况下，读取本条工业数据的质量码。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种基于时间序列的工业数据存储及索引方法，所述工业数据来自不同的采集点，每条工业数据包含一个时间戳，其特征在于，包含以下步骤：

将相同时间段内的工业数据存储在一个数据文件中，该数据文件包含N个文件块，N为大于2的自然数；

将一个时间段内属于同一个采集点的工业数据存储在对应该时间段的数据文件中的同一个物理块中，保存该数据文件中各采集点与其对应的起始物理块的索引关系，在所述各物理块的头文件中包含本物理块中存储的工业数据的起讫时间、以及对应相同采集点的上一个物理块和/或下一个物理块的指针；

在进行一个时间段的工业数据查询时，根据待查询的工业数据的时间段索引到对应的数据文件，根据待查询的采集点标签索引到该数据文件中对应该采集点的起始物理块，根据该起始物理块头文件中的起讫时间和下一个物理块的指针、索引到所述待查询的工业数据的物理存储位置。

2.根据权利要求1所述的基于时间序列的工业数据存储及索引方法，其特征在于，所述根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到所述待查询的工业数据的物理存储位置的步骤中，

从所述起始物理块开始，依次将各物理块的起讫时间和待查询的工业数据时间段相比较，如果不匹配，则根据该物理块头文件中的下一个物理块的指针，找到下一个物理块，进行进一步比较，找到匹配所述待查询的时间段的物理块。

3.根据权利要求2所述的基于时间序列的工业数据存储及索引方法，所述工业数据至少包含数值、质量码、时间戳，其特征在于，所述将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

在存储所述工业数据时，将该工业数据的时间戳与上一条工业数据的时间戳比较，保存所述时间差；

所述根据起始物理块头文件中的起讫时间和下一个物理块的指针索引到所述待查询的工业数据的物理存储位置的步骤中，

根据找到的物理块中存储的工业数据的起始时间和各工业数据的时间差，找到待查询的时间段的工业数据。

4.根据权利要求1所述的基于时间序列的工业数据存储及索引方法，其特征在于，每个数据文件唯一对应一个时间段，各数据文件所对应的时间段相连续。

5.根据权利要求1所述的基于时间序列的工业数据存储及索引方法，其特征在于，所述将属于同一个采集点的工业数据存储在同一个物理块中的步骤中，

如果所述采集点标签对应的物理块已写满，则根据该物理块头文件中的下一个物理块的指针，找到同属于该采集点的其他物理块，将所述工业数据存储在该其他物理块中。

6.根据权利要求1至5中任意一项所述的基于时间序列的工业数据存储及索引方法，所述工业数据至少包含数值、质量码、时间戳，其特征在于，所述将同一个采集点的工业数据存储在同一个物理块的步骤中，还包含以下步骤：

为每条工业数据设置一个质量码标识位，在存储所述工业数据时，将该工业数据的质量码与上一条工业数据的质量码比较，如果相同，则不保存本条工业数据的质量码，并将所述质量码标识设置为不保存；如果不同，则保存该条工业数据的质量码，并将所述质量码标识设置为保存；

所述索引到待查询的工业数据的物理存储位置的步骤之后，包含以下步骤：读取待查询的工业数据，根据所述各工业数据的质量码标识位的值，确定该条工业数据的质量码。

7.根据权利要求1至5中任意一项所述的基于时间序列的工业数据存储及索引方法，其特征在于，所述工业数据存储区域包括主数据区和溢出数据区，所述主数据区和溢出数据区中分别为每个采集点预留至少一个对应的物理块，所述采集点的起始物理块为该采集点对应的主数据区中的物理块。

8.根据权利要求7所述的基于时间序列的工业数据存储及索引方法，其特征在于，

所述主数据区中从前至后依次预留所述各采集点对应的物理块；

所述溢出数据区中从后至前依次预留所述各采集点对应的物理块。

9.根据权利要求8所述的基于时间序列的工业数据存储及索引方法，其特征在于，所述溢出数据区为所述主数据区的1至2倍。

Images