CN101609331A - 一种适用于工业过程控制中的数据存储和读取方法 - Google Patents

Abstract

本发明公开了一种适用于工业过程控制中的数据存储和读取方法，包括以下步骤：一、采用数据流格式将所需存储的多个数据变量在多个时间点的数值即存储数据，按时间顺序连续存入存储器中；存入存储器中的数据流数据类型由数据类型头部和存储数据组成；存储数据为m行n列的矩阵数据即m×n矩阵型数据流，其中m为时间点个数，n为数据变量个数；二、根据m×n矩阵型数据流头部的数据长度和其数据流格式，对m×n矩阵型数据流中某一行i某一列j上的数据进行读取。本发明设计合理、存储和读取过程简单、操作方便且实用性强、应用前景广泛，能有效解决工业控制生产中实时性要求比较高的大量数据的存储问题。

Description

一种适用于工业过程控制中的数据存储和读取方法

技术领域

本发明涉及一种数据存储和读取方法，尤其是涉及一种适用于工业过程控制中的数据存储和读取方法。

背景技术

随着工业自动化程度的逐渐加深，工业控制中产生的数据也越来越多。为了更好地管理企业的生产经营，需要将工业控制过程产生的数据记录下来进行分析，以便对生产过程进行分析和管理。工业控制过程中的数据变量通常比较多，少则几百个，多则成千上万甚至上亿。如果采用传统的关系型数据库来存储这些生产数据，则需要为每个数据变量定义一个属性字段，由此导致的结果就是一张表中可能有好几百个属性字段，结果可想而知，这样既不好管理数据，并且对开发人员来说，大大增加了开发难度，更重要的是随着数据变量的增多，系统的运行效率会快速下降，达不到工业控制中数据存储的时间性要求。

同时工业控制中，不同的应用场合对数据的存储要求也不一样。在数据存储量上，有的应用场合要求将生产过程中所有产生的数据都要存储到磁盘上，而有的应用场合只需要存储其所关心的若干数据；在数据存储时间上，有的应用场合需要每隔半秒钟甚至几十毫秒钟就要将数据存储到磁盘上，而有的应用则需要每隔一秒钟或者几秒钟才将数据存储到磁盘上。

在实际工业生产中，存在这样的一种应用场合：每隔一秒钟，需要将一千多个数据变量的数据存储到本地磁盘上，以供数据分析之用。针对这样的应用场合，如果采用传统的关系型数据库来存储数据，则会带来以下问题：

第一、字段管理比较复杂：

传统的关系型数据库需要给每个数据变量定义一个属性字段，而目前的关系型数据库系统中单个表所支持的字段数量不超过1024，有的数据库系统甚至不超过200，这样就需要在数据库上建立两张以上的表。每次从PLC服务器端将数据读取回来后，还需要分析当前服务器的数据变量存在哪个表中，然后才能存储数据。当一个服务器的数据变量非常多，以至于需要两张以上的表才能够存放的时候，字段管理就会变得比较复杂。

第二、增加了表的管理：

由于字段的数量比较大，以致产生了两张甚至更多的表。而每秒钟需要将读取回来的数据全部存储到所有的表中，因此就需要统一管理所有的表，记录当前用于存储数据的表的名字。

第三、程序实现的难度比较大：

由于属性字段非常多，因此存储数据的SQL语句会变得非常冗长。一旦属性字段名有较大的变动，则程序代码的修改量比较大，并且非常容易出错；由于多张表的存在以及属性字段非常多，使得存储数据的程序实现难度比较大。

鉴于在该应用场合下使用传统关系型数据库所产生的问题比较复杂，有必要寻找一种新的存储方案以减小该应用场合中数据存储的难度。

综上，在上述应用场合中，产生以上问题的原因主要有：(1)每次存储数据前需要知道每个字段的名字；(2)所有的数据不能存储在一张表中。

而数据流这个概念最初是在通信领域使用，代表传输中所使用信息的数字编码信号序列，但是这里所提到数据流的概念和通信领域所说的概念不一样，这里所说的数据流是指按照特定字节顺序排列的有序数据元素集合。从理论上讲，基于数据流的数据类型的容量大小依赖于磁盘空间的大小，因此使用一个字段存储所有的数据成为了可能。由于所有数据变量的数据都可以用统一的数据类型来表示，因此所有的数据都可以转化成相同类型的字节顺序。根据数据元素字节顺序类型的不同，我们可以将数据流类型分为整型数据流、浮点型数据流以及双精度数据流等等。数据流的格式如表1所示。

表1  数据流格式

数据元素1

数据元素2

数据元素3

……

数据元素n

表1中所示的数据流格式中，n个数目的数据元素是按照特定的顺序排列的，这和使用者有关，例如不同的使用者可以按照自己规定的顺序排列数据元素；每个数据元素的类型必须是相同的，即每个数据元素具有相同类型的字节顺序，这和数据流的类型有关，例如整形数据流类型中数据元素与浮点型数据流类型中数据元素具有不同类型的字节顺序。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种适用于工业过程控制中的数据存储和读取方法，其设计合理、存储和读取过程简单、操作方便且实用性强、应用前景广泛，能有效解决工业控制生产中实时性要求比较高的大量数据的存储问题。

为解决上述技术问题，本发明采用的技术方案是：一种适用于工业过程控制中的数据存储和读取方法，其特征在于该方法包括以下步骤：

步骤一、利用数据库系统以数据流格式，将工业过程控制中所需存储的多个数据变量对应分别在多个时间点的数值即存储数据，按时间顺序连续存入存储器中；存入存储器中的数据流数据类型由数据类型头部和存储数据组成；所述存储数据为m行n列的矩阵数据即m×n矩阵型数据流，相应地所述数据流的数据类型为矩阵型数据流数据类型，其中m为时间点个数，n为数据变量个数；所述m×n矩阵型数据流的数据流格式为该矩阵型数据流中一行数据的格式；所述m×n矩阵型数据流中的一行数据为所述多个数据变量在某一时间点的所有数据，且其一列数据为所述多个数据变量中的某一数据变量在多个时间点的所有数值；所述数据类型头部包括所述m×n矩阵型数据流的数据长度以及m×n矩阵型数据流的行数m和列数n；利用数据库系统并使用所述矩阵型数据流数据类型进行数据存储的过程如下：

101、定义一张字段表，具体是定义需存储的所述m×n矩阵型数据流的每一列数据为一个字段数据；

102、将所要存储的所述m×n矩阵型数据流的所有数据，按照所述字段表中的顺序格式化为二进制的m×n矩阵型数据流，并在当前二进制的m×n矩阵型数据流的头部加入该矩阵型数据流的数据长度、行数m和列数n；

103、将所述二进制的m×n矩阵型数据流写入所述存储器上的数据库文件中；

步骤二、由所述数据库系统根据所述二进制的m×n矩阵型数据流头部的数据长度和其数据流格式，对所述二进制的m×n矩阵型数据流中某一行i某一字段数据进行读取，其读取过程如下：

201、确定要读取字段数据在步骤101中所述字段表中的索引位置即索引值index；

202、根据所述要读取数据的行号i和步骤101中所确定的索引位置，确定所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x，并相应读取该位置上的数据；

所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x根据以下公式进行计算：x＝L+(index-1)×L₀+(i-1)×L₀×j，其中L为所述二进制的m×n矩阵型数据流的数据类型头部长度，L₀为所述二进制的m×n矩阵型数据流中单位数据的数据长度，j为所述二进制的m×n矩阵型数据流的列数；所述二进制的m×n矩阵型数据流的索引值、行号和列号均以1为基值。

上述步骤一中所述二进制的m×n矩阵型数据流中的数据类型为整型数据或浮点数据。

上述步骤103中写入所述二进制的m×n矩阵型数据流时，以一单位时间段为单位分别存储至不同的数据库文件中，即将所述二进制的m×n矩阵型数据流中一个单位时间段内的所有数据存储至一个单独的数据库文件中，每个单独的数据库文件中均只创建一个表且表内的字段为数据采集时间和所存储的所有数据。

所述单位时间段为天或者月。

上述步骤101中所述字段表中包含的属性有所存储的存储器编号、数据变量描述、存储器地址、数据类型和服务器编号，所述服务器为所存储数据的出处。

上述步骤二中所述二进制的m×n矩阵型数据流中单位数据的数据长度L₀为4个字节。

本发明与现有技术相比具有以下优点：

1、设计新颖、合理且存储和读取过程简单，操作方便。

2、使用面较广，本发明所述的矩阵型数据流数据类型适合存储数据元素类型相同的数据，例如：整型矩阵数据流数据类型存储的数据元素要求所有的数据是整型类型的数据元素，浮点型矩阵数据流数据类型存储的数据元素要求所有的数据是浮点型类型的数据元素。

3、本发明所存储的矩阵型数据流数据类型的结构简单、明确，总共分为四部分：矩阵型数据流的数据长度、行数、列数和所存储数据，前三部分称之为数据类型头部。其中数据流的数据长度用于记录数据流的数据的大小，以便于对数据流数据进行操作，该长度所占的字节数根据实际应用场合设定，我们将该部分所占的字节数设定为四个字节；数据流的数据的大小理论上依赖于磁盘空间的大小，但是第一部分的数据流的数据长度也决定了数据流的数据的大小，例如四个字节长度决定了数据流的数据容量大小最大只能为4GB。实际应用过程中，m×n矩阵型数据流的数据流格式即为矩阵数据流的数据类型中一行数据的格式；一行数据中的n个数据元素表示该数据流数据类型包含了n列数据。

4、具有广泛的应用前景，实用性非常强，为了更好地在工业过程控制中应用矩阵数据流数据类型存储数据，设计和实现了实时数据库系统VegeBam 1.0版，该数据库系统能够对数据进行增加、修改、删除和查询操作，相对于使用传统关系型数据库来讲，矩阵数据流数据类型可以存储传统数据库中的多个字段的数据，对于存储成千上万个字段数据来讲，大大地减少了客户端程序的开发难度。矩阵数据流数据类型主要用于存储工业控制生产中对实时性要求比较高的大量数据，具有短时间内将大量数据写入磁盘的数据文件中的能力，可以应用在国内的火电厂数据存储项目当中，同时也可以用于存储字段数量比较多，数据元素的数据类型相同的场合当中。

综上所述，本发明设计合理、存储和读取过程简单、操作方便且实用性强、应用前景广泛，能有效解决工业控制生产中实时性要求比较高的大量数据的存储问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图。

具体实施方式

如图1所示，本发明所述的适用于工业过程控制中的数据存储和读取方法，包括以下步骤：

步骤一、利用数据库系统以数据流格式，将工业过程控制中所需存储的多个数据变量对应分别在多个时间点的数值即存储数据，按时间顺序连续存入存储器中；存入存储器中的数据流数据类型由数据类型头部和存储数据组成；所述存储数据为m行n列的矩阵数据即m×n矩阵型数据流，相应地所述数据流的数据类型为矩阵型数据流数据类型，其中m为时间点个数，n为数据变量个数；所述m×n矩阵型数据流的数据流格式为该矩阵型数据流中一行数据的格式；所述m×n矩阵型数据流中的一行数据为所述多个数据变量在某一时间点的所有数据，且其一列数据为所述多个数据变量中的某一数据变量在多个时间点的所有数值；所述数据类型头部包括所述m×n矩阵型数据流的数据长度以及m×n矩阵型数据流的行数m和列数n；利用数据库系统并使用所述矩阵型数据流数据类型进行数据存储的过程如下：

101、定义一张字段表，具体是定义需存储的所述m×n矩阵型数据流的每一列数据为一个字段数据；

102、将所要存储的所述m×n矩阵型数据流的所有数据，按照所述字段表中的顺序格式化为二进制的m×n矩阵型数据流，并在当前二进制的m×n矩阵型数据流的头部加入该矩阵型数据流的数据长度、行数m和列数n；

103、将所述二进制的m×n矩阵型数据流写入所述存储器上的数据库文件中。

本步骤中，所述二进制的m×n矩阵型数据流中的数据类型为整型数据或浮点数据。

实际存储过程中，当需从多个服务器中分别读取数据进行存储时，本步骤中所述字段表中包含的属性有所存储的存储器编号、数据变量描述、存储器地址、数据类型和服务器编号，所述服务器为所存储数据的出处。

步骤二、根据所述二进制的m×n矩阵型数据流头部的数据长度和其数据流格式，对所述二进制的m×n矩阵型数据流中某一行i某一数据字段进行读取，其读取过程如下：

201、确定要读取数据字段在步骤101中所述字段表中的索引位置即索引值index；

202、根据所述要读取数据的行号i和步骤101中所确定的索引位置，确定所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x，并相应读取该位置上的数据；

所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x根据以下公式进行计算：x＝L+(index-1)×L₀+(i-1)×L₀×j，其中L为所述二进制的m×n矩阵型数据流的数据类型头部长度，L₀为所述二进制的m×n矩阵型数据流中单位数据的数据长度，j为所述二进制的m×n矩阵型数据流的列数；所述二进制的m×n矩阵型数据流的索引值、行号和列号均以1为基值。

写入所述二进制的m×n矩阵型数据流时，以一单位时间段为单位分别存储至不同的数据库文件中，即将所述二进制的m×n矩阵型数据流中一个单位时间段内的所有数据存储至一个单独的数据库文件中，每个单独的数据库文件中均只创建一个表且表内的字段为数据采集时间和所存储的所有数据。实际应用过程中，所述单位时间段为天或者月。本实施例中，所用的数据库系统为实时数据库系统VegeBam 1.0版。

实施例1

工业控制过程中，当需将传感器一和传感器二的数据分别存储到磁盘当中时，假设第一时刻传感器一所采集的数据为1(二进制流使用十六进制表示为：01000000)，传感器二所采集的数据为3(二进制流使用十六进制表示为：03000000)；第二时刻传感器一所采集的数据为7(二进制流使用十六进制表示为：07000000)，传感器二所采集的数据为9(二进制流使用十六进制表示为：09000000)。因而本实施例中，数据变量个数m为2，时间点个数n为2，即所存储数据为2行2列的矩阵数据即2×2矩阵型数据流。

采用数据库系统并使用本发明所述的矩阵型数据流数据类型对上述传感器一和传感器二在第一时刻和第二时刻所采集数据，进行存储的过程如下：

101、定义一张字段表，具体是定义需存储的所述2×2矩阵型数据流的每一列数据为一个字段数据。

本实施例中，所定义字段表中的内容为：传感器一、传感器二。此时，按照所述字段表中的顺序，传感器一和传感器二在第一时刻和第二时刻两个时刻的数据可以表示为2×2矩阵即 $\begin{array}{cc}1& 3\\ 7& 9\end{array}.$

102、将所要存储的所述2×2矩阵型数据流的所有数据即 $\begin{array}{cc}1& 3\\ 7& 9\end{array}$ ，按照所述字段表中的顺序格式化为二进制的2×2矩阵型数据流，并在当前二进制的2×2矩阵型数据流的头部加入该矩阵型数据流的行数2和列数2。

本实施例中，要将传感器一和传感器二在第一时刻和第二时刻两个时刻的数据，按照所述字段表中的顺序逐个时刻格式化成二进制数据流，即01000000030000000700000009000000；由于上述二进制数据流为2×2矩阵型数据流，因而在所述2×2矩阵型数据流的头部加入该矩阵型数据的行数2和列数2后的结果为：020000000200000001000000030000000700000009000000；最后将所述2×2矩阵型数据流存储到磁盘上的数据库文件中。在将所述2×2矩阵型数据流存储到磁盘上的数据库文件过程中，数据库系统会自动根据数据流的类型以及数据流内容自动计算出该2×2矩阵型数据流的长度并加入到该数据流的头部。本实施例中，2×2矩阵型数据流中的数据长度为16(二进制流使用十六进制表示为：10000000)个字节。本实施例中，所述二进制的m×n矩阵型数据流中单位数据的数据长度L₀为4个字节。

103、将所述二进制的2×2矩阵型数据流写入所述存储器上的数据库文件中。

本实施例中，所述二进制的2×2矩阵型数据流的数据流格式如表2所示。

表2

2×2矩阵型数据流的数据长度16

2×2矩阵型数据流的行数2

2×2矩阵型数据流的列数2

2×2矩阵型数据流所存储的数据

最后，存储在磁盘上的所述2×2矩阵型数据流的内容为：10000000020000000200000001000000030000000700000009000000。

步骤二、当需将传感器二第二时刻的数据读取出来时，根据所述二进制的2×2矩阵型数据流头部的数据长度和其数据流格式，对所述二进制的2×2矩阵型数据流中第2行第2列上的数据进行读取，其读取过程如下：

201、确定要读取数据所在字段，在步骤101中所述字段表中的索引位置即索引值index，即所述index＝列号j＝2。

本实施例中，传感器二在字段表中的索引位置Index＝2(索引位置1为传感器一)，具体操作时将数据库的记录指针定位到该矩阵数据流数据的位置，并读取该数据流数据长度为16个字节(该数据流的前四个字节)。

202、根据所述要读取数据的行号i＝2(第二时刻)和步骤101中所确定的索引位置即index＝2，确定所述要读取数据在所述二进制的2×2矩阵型数据流中的具体位置x，并相应读取该位置上的数据。

本实施例中，所述二进制的2×2矩阵型数据流的数据长度、行数和数据流的列数共占了12字节，由此计算出该矩阵数据流的实际长度为16+12＝28字节。

所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x根据以下公式进行计算：x＝L+(index-1)×L₀+(i-1)×L₀×j，其中L为所述二进制的2×2矩阵型数据流的数据类型头部长度＝L₀×3＝4×3＝12，L₀为所述二进制的2×2矩阵型数据流中单位数据的数据长度＝4，j为所述二进制的m×n矩阵型数据流的列数＝2；所述二进制的2×2矩阵型数据流的索引值、行号和列号均以1为基值。

实施例2

本实施例中，与实施例1不同的是：在火电厂的一个实际项目中，在数据存储量上，需要使用modbus协议从三个PLC服务器上读取大约一千二百个数据并存储到磁盘上，其中从每个PLC服务器上读取大约四百个数据；在数据存储的时间上，要求每隔一秒钟将数据读取回来并存储到磁盘上。

为了保证在规定的时间内将数据读取回来，采用了多线程技术，为每个服务器启动一个读取数据线程。为了管理方便，每个PLC服务器的数据分开储存，每个PLC服务器的数据存储在各自的数据库文件中。

采用本发明进行存储时，所定义的字段表中，每个数据变量为字段表中的一个字段，并且将字段表中所存储的数据按照一定的顺序排列，字段表中的字段顺序规定了数据变量的数值在矩阵型数据流中的顺序。所述字段表中的字段数目即为矩阵型数据流中的列数。数据流中的行数为所采集的时间点数，可以根据集体需要进行设定，如果只将一秒钟的数据存储在矩阵型数据流的单个记录中，则数据流中的行数为1。同时，所述字段表中包含的属性有寄存器编号、数据变量描述、寄存器地址、数据类型、服务器编号。每一行即为数据流中的一个数据元素，我们对表中的数据首先按照服务器编号由小到大进行排序，然后再针对每个服务器内的数据变量按照寄存器地址从小到大进行排序，这样就规定了数据流中数据元素的次序。

本实施例中，其数据的存储和读取过程与实施例1相同。

由于应用要求每隔一秒要从服务器端读取一千多个数据，并将读取到的这些数据存储到磁盘上，这样一天将会产生一百多兆的数据量。为了加快以后检索的速度，将每天产生的数据存储到一个数据库文件中，即每天程序将自动生成一个新的数据库文件，并且该数据库文件上仅仅创建一个表，表内的字段为：数据采集时间、数据。其中，所存储矩阵型数据流的数据类型为浮点数据。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种适用于工业过程控制中的数据存储和读取方法，其特征在于该方法包括以下步骤：

步骤一、利用数据库系统以数据流格式，将工业过程控制中所需存储的多个数据变量对应分别在多个时间点的数值即存储数据，按时间顺序连续存入存储器中；存入存储器中的数据流数据类型由数据类型头部和存储数据组成；所述存储数据为m行n列的矩阵数据即m×n矩阵型数据流，相应地所述数据流的数据类型为矩阵型数据流数据类型，其中m为时间点个数，n为数据变量个数；所述m×n矩阵型数据流的数据流格式为该矩阵型数据流中一行数据的格式；所述m×n矩阵型数据流中的一行数据为所述多个数据变量在某一时间点的所有数据，且其一列数据为所述多个数据变量中的某一数据变量在多个时间点的所有数值；所述数据类型头部包括所述m×n矩阵型数据流的数据长度以及m×n矩阵型数据流的行数m和列数n；利用数据库系统并使用所述矩阵型数据流数据类型进行数据存储的过程如下：

101、定义一张字段表，具体是定义需存储的所述m×n矩阵型数据流的每一列数据为一个字段数据；

102、将所要存储的所述m×n矩阵型数据流的所有数据，按照所述字段表中的顺序格式化为二进制的m×n矩阵型数据流，并在当前二进制的m×n矩阵型数据流的头部加入该矩阵型数据流的数据长度、行数m和列数n；

103、将所述二进制的m×n矩阵型数据流写入所述存储器上的数据库文件中；

步骤二、由所述数据库系统根据所述二进制的m×n矩阵型数据流头部的数据长度和其数据流格式，对所述二进制的m×n矩阵型数据流中某一行i某一字段数据进行读取，其读取过程如下：

201、确定要读取字段数据在步骤101中所述字段表中的索引位置即索引值index；

202、根据所述要读取数据的行号i和步骤101中所确定的索引位置，确定所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x，并相应读取该位置上的数据；

所述要读取数据在所述二进制的m×n矩阵型数据流中的具体位置x根据以下公式进行计算：x＝L+(index-1)×L₀+(i-1)×L₀×j，其中L为所述二进制的m×n矩阵型数据流的数据类型头部长度，L₀为所述二进制的m×n矩阵型数据流中单位数据的数据长度，j为所述二进制的m×n矩阵型数据流的列数；所述二进制的m×n矩阵型数据流的索引值、行号和列号均以1为基值。

2.按照权利要求1所述的一种适用于工业过程控制中的数据存储和读取方法，其特征在于：步骤一中所述二进制的m×n矩阵型数据流中的数据类型为整型数据或浮点数据。

3.按照权利要求1或2所述的一种适用于工业过程控制中的数据存储和读取方法，其特征在于：步骤103中写入所述二进制的m×n矩阵型数据流时，以一单位时间段为单位分别存储至不同的数据库文件中，即将所述二进制的m×n矩阵型数据流中一个单位时间段内的所有数据存储至一个单独的数据库文件中，每个单独的数据库文件中均只创建一个表且表内的字段为数据采集时间和所存储的所有数据。

4.按照权利要求3所述的一种适用于工业过程控制中的数据存储和读取方法，其特征在于：所述单位时间段为天或者月。

5.按照权利要求1或2所述的一种适用于工业过程控制中的数据存储和读取方法，其特征在于：步骤101中所述字段表中包含的属性有所存储的存储器编号、数据变量描述、存储器地址、数据类型和服务器编号，所述服务器为所存储数据的出处。

6.按照权利要求1或2所述的一种适用于工业过程控制中的数据存储和读取方法，其特征在于：步骤二中所述二进制的m×n矩阵型数据流中单位数据的数据长度L₀为4个字节。

Images