CN108182198B - 存储先进控制器运行数据的控制装置和读取方法 - Google Patents

Abstract

本发明提供了存储先进控制器运行数据的控制装置和读取方法，属于数据库领域。包括先进控制器结构发送装置以及存储结构创建装置。前者用于获取先进控制器的相关参数，并将获取到的相关参数发送至存储结构创建装置中，以便于后者建立用于存储相关参数的多级目录以及数据库文件。通过根据先进控制器结构特性，实现了一套结构化并支持异构数据的存储，该控制装置非常轻量化并且易于维护，不增加对控制器的组态工作量，只要在原控制器内部增加数据存储逻辑，即可实现控制器运行数据按需存储，为今后实现控制器性能评估打下基础。同时将数据压缩后进行存储，提高了存储空间利用率；服务端将原始数据返回给客户端，由客户端解压，降低服务端访问压力。

Description

存储先进控制器运行数据的控制装置和读取方法

技术领域

本发明属于数据库领域，特别涉及存储先进控制器运行数据的控制装置和读取方法。

背景技术

运行于上位机的先进控制器在实时在线计算过程中，会生成大量过程数据，包括输入参数、中间变量、输出参数等，其中一部分先进控制器参数由于配置现场IO点会存储在DCS或者实时数据库中，但由于受硬件存储容量、存储结构等限制，大部分先进控制器参数的运行数据无法保存到DCS或实时数据库。

为了解决上述问题，现有技术中主要采取的方法为在实时数据库中建立虚拟IO点，并将虚点关联到先进控制器参数，实现对先进控制器运行参数的存储，但这会导致实时数据库IO点大大增加，致使数据库读取性能下降。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提供了将控制器数据发送按一定格式进行分类存储，从而节省数据库存储压力的存储先进控制器运行数据的控制装置和读取方法。

为了达到上述技术目的，一方面，本发明提供了存储先进控制器运行数据的控制装置，所述控制装置包括：

先进控制器结构发送装置，用于将先进控制器所处的机器名称、先进控制器名称、先进控制器结构信息发送给存储结构创建装置；

存储结构创建装置，用于根据先进控制器结构信息，在存储根目录下创建以该机器名命名的二级目录，接着在二级目录下创建以该先进控制器命名的三级目录，最后在其三级目录下创建以当前系统时间命名的数据库文件，并在数据库文件中分别创建一系列以变量+参数命名的参数表以及一张参数值类型表；

其中，先进控制器结构信息包括MV变量名列表、CV变量名列表、DV变量名列表、参数名及参数值列表。

可选地，所述控制装置包括设置在客户端的运行装置，所述运行装置包括：

数据发送装置，用于接收并缓存先进控制器发送的参数运行数据，在转储状态表中生成未转储并且时间戳为T1的记录，同时在缓存表中生成预设数量的记录，启动后台转储作业将数据转储到服务器；

其中，转储状态表包含转储状态、时间戳两个字段；缓存表包含参数名、时间戳、质量码、值。

可选地，所述运行装置还包括：

数据解压装置，用于根据采样周期对原始数据进行采样。

可选地，所述装置还包括设置在服务器端的管理装置，所述管理装置包括：

数据存储/压缩装置，用于按机器名和先进控制器名为单位进行划分，在内存中构建一颗当前正在进行写值操作的所有先进控制器最近一个周期的运行数据快照树；

当接收到参数运行数据时，根据机器名找到该机器下的全部先进控制器快照信息，接着根据先进控制器名查找到该先进控制器快照树；

根据参数名找到该参数快照值，假设参数名为P1，内存快照值V1，质量码Q1，时间戳T1；该参数在数据表最新记录为(V1(值)，Q1(质量码)，T1(起始时间)，0(结束时间))；当前值V2，质量码Q2，时间戳T2；

如果V1＝V2并且Q1＝Q2则更新快照时间戳T1为T2后结束，否则打开指定数据文件将当前参数值的结束时间由0更新为T2变成(V1，Q1，T1，T2)，并且添加一条记录(V2，Q2，T2，0)作为当前最新记录，同时更新快照内容为(V2，Q2，T2)。

可选地，所述数据存储/压缩装置，还用于：

在将数据写入相应数据库文件前，判断该数据库文件大小是否超过预设上限；

若大于等于上限或者达到上限90％，则新建一个数据库文件，并从上一个数据库文件中复制出所有参数表及参数值类型表结构，新建的数据库文件名以当前系统时间命名。

可选地，所述管理装置还包括：

数据读取装置，用于根据传入的主机名、先进控制器名、参数名、起止时间等检索条件从存储根目录进行检索，将原始数据直接返回。

另一方面，本发明还提供了存储先进控制器运行数据的读取方法，所述读取方法包括：

步骤一、获取读取控制器数据的请求；

步骤二、如果所述请求为针对所述控制器的首次读取请求，则在存储目录下查找以所述控制器命名的文件夹；

步骤三、如果在所述存储目录下获取到以所述控制器命名的文件夹，则遍历所述文件夹中的全部数据库文件，基于所述全部数据库文件创建连接实例；

步骤四、调取工作线程读取与所述控制器对应的历史数据，结合连接实例得到与所述控制器对应的目标数据。

可选地，所述读取方法，包括：

步骤五、如果所述请求并非针对所述控制器的首次读取请求，则执行遍历缓存的操作。

可选地，在执行步骤五后，所述读取方法还包括：

步骤六、在执行遍历缓存的操作后，如果未找到针对所述控制器的缓存项，则执行如步骤三至步骤四所示的操作。

可选地，所述读取方法，还包括：

在执行步骤二后，如果未找到以所述控制器命名的文件夹，则终止操作。

本发明提供的技术方案带来的有益效果是：

通过根据先进控制器结构特性，实现了一套结构化并支持异构数据的存储，该控制装置非常轻量化并且易于维护，不增加对控制器的组态工作量，只要在原控制器内部增加数据存储逻辑，即可实现控制器运行数据按需存储，为今后实现控制器性能评估打下基础。同时将数据压缩后进行存储，提高了存储空间利用率；服务端将原始数据返回给客户端，由客户端解压，降低服务端访问压力。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的存储先进控制器运行数据的控制装置的结构示意图；

图2是本发明提供的存储先进控制器运行数据的读取方法的流程示意图。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

为了达到上述技术目的，本发明提供了存储先进控制器运行数据的控制装置，如图1所示，所述控制装置1包括：

先进控制器结构发送装置11，用于将先进控制器所处的机器名称、先进控制器名称、先进控制器结构信息发送给存储结构创建装置；

存储结构创建装置12，用于根据先进控制器结构信息，在存储根目录下创建以该机器名命名的二级目录，接着在二级目录下创建以该先进控制器命名的三级目录，最后在其三级目录下创建以当前系统时间命名的数据库文件，并在数据库文件中分别创建一系列以变量+参数命名的参数表以及一张参数值类型表；

其中，先进控制器结构信息包括MV变量名列表、CV变量名列表、DV变量名列表、参数名及参数值列表。

在实施中，先进控制以过程计算机系统(DCS\PLC\FCS)及上位机为实施平台，以常规控制为基础，以整个生产装置或关键单元为控制对象的，实现大型、复杂、多变量和约束过程的高性能控制的一类优化控制策略，如模型预测控制和智能控制等。先进控制器则是运行在上位机上的一套计算机程序。SQLite，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它包含在一个相对小的C库中。

先进控制器结构发送装置11用于将控制器所在机器名称、控制器名称、控制器结构信息(包括MV变量名列表、CV变量名列表、DV变量名列表、参数名及参数值列表)等信息发送给存储结构创建装置。

存储结构创建装置12用于根据控制器结构信息，在存储根目录下创建以该机器名命名的二级目录，接着在二级目录下创建以该控制器命名的三级目录，最后在其三级目录下创建以当前系统时间命名的数据库文件，并在数据库文件中分别创建一系列以变量+参数命名的参数表以及一张参数值类型表。

参数表结构包含值、质量码、起始时间、结束时间四个字段；参数值类型表包含参数名、值类型两个字段。

值类型由浮点型(F)、整型(I)、字符串型(S)、布尔型(B)以及单值(1)、数组(2)、矩阵(3)等组合成12种编码，分别为F1、F2、F3、I1、I2、I3、S1、S2、S3、B1、B2、B3。值类型与字段类型的对应规则如表1所示。

值类型	字段类型
		F1	REAL
F2	BOLB
		F3	BOLB
I1	INTEGER
		I2	BOLB
I3	BOLB
		S1	TEXT
S2	BOLB
		S3	BOLB
B1	INTEGER
		B2	BOLB
B3	BOLB

表1值类型与字段类型的对应规则

因此在创建参数表的值字段时，根据上述对应规则自动创建相应字段类型。相比通过在实时数据库建虚位号点实现数据存储，支持对浮点型、整型、字符串、布尔型、单值、数组、矩阵等异构数据的存储，免安装配置及后期维护

该控制装置利用SQLite嵌入式文件数据库的特点，根据先进控制器结构特性，实现了一套结构化并支持异构数据的存储，该控制装置非常轻量化并且易于维护，不增加对控制器的组态工作量，只要在原控制器内部增加数据存储逻辑，即可实现控制器运行数据按需存储，为今后实现控制器性能评估打下基础。

可选的，所述控制装置包括设置在客户端的运行装置，所述运行装置包括：

数据发送装置，用于接收并缓存先进控制器发送的参数运行数据，在转储状态表中生成未转储并且时间戳为T1的记录，同时在缓存表中生成预设数量的记录，启动后台转储作业将数据转储到服务器；

其中，转储状态表包含转储状态、时间戳两个字段；缓存表包含参数名、时间戳、质量码、值。

在实施中，数据发送装置部署在客户端，具体定义了转储状态表和缓存表。转储状态表包含转储状态、时间戳两个字段；缓存表包含参数名、时间戳、质量码、值(都以BLOB定义)四个字段。

假设控制器在T1时间戳发送500个参数运行数据到该装置，由该装置接收下来之后首先被缓存在本地，包括在状态表中生成一条未转储并且时间戳为T1的记录，同时在缓存表中生成500条记录，接着启动后台转储作业将数据转储到服务器，通过该装置缓存机制防止服务器意外断电或宕机造成的数据丢失。

具体过程如下：

(1)从转储状态表获取一条未转储记录，并提取该记录中的对应时间戳T1；

(2)以提取到的时间戳T1作为查询条件，获取缓存表运行数据；

(3)发送数据到服务端；

(4)从转储状态表删除该时间戳T1对应记录；

(5)从缓存表删除该时间戳T1对应记录；

可选的，所述运行装置还包括：

数据解压装置，用于根据采样周期对原始数据进行采样。

在实施中，该装置部署在客户端，该装置负责根据采样周期对原始数据进行采样，采样规则如下：

(1)假设原始数据长度等于1

计算采样点数＝(结束时间-开始时间)/采样周期，

用该原始值填充，直到长度＝采样点数；

(2)假设原始数据长度大于等于2

i＝0；

计算(i，i+1)相邻两个原始数据采样点数＝(第i+1个原始点时间戳-第i个原始点时间戳)/采样周期；

用第i个值填充，直到长度＝采样点数；

重复第2步和第3步，直到i＝原始数据长度-1。

可选的，所述装置还包括设置在服务器端的管理装置，所述管理装置包括：

数据存储/压缩装置，用于按机器名和先进控制器名为单位进行划分，在内存中构建一颗当前正在进行写值操作的所有先进控制器最近一个周期的运行数据快照树；

当接收到参数运行数据时，根据机器名找到该机器下的全部先进控制器快照信息，接着根据先进控制器名查找到该先进控制器快照树；

根据参数名找到该参数快照值，假设参数名为P1，内存快照值V1，质量码Q1，时间戳T1；该参数在数据表最新记录为(V1(值)，Q1(质量码)，T1(起始时间)，0(结束时间))；当前值V2，质量码Q2，时间戳T2；

如果V1＝V2并且Q1＝Q2则更新快照时间戳T1为T2后结束，否则打开指定数据文件将当前参数值的结束时间由0更新为T2变成(V1，Q1，T1，T2)，并且添加一条记录(V2，Q2，T2，0)作为当前最新记录，同时更新快照内容为(V2，Q2，T2)。

在实施中，数据存储和压缩装置，该装置部署在服务器端，负责将接收到数据进行压缩处理后存储。

具体过程为：按机器名和控制器名为单位进行划分，在内存中构建一颗当前正在进行写值操作的所有控制器最近一个周期的运行数据快照树，包含参数名、质量码、值以及数据文件等信息。

当接收到运行数据，首先根据机器名找到该机器下所有控制器快照信息，接着根据控制器名查找到该控制器快照树，然后根据参数名找到该参数快照值，假设参数名为P1，内存快照值V1，质量码Q1，时间戳T1；

该参数在数据表最新记录为(V1(值)，Q1(质量码)，T1(起始时间)，0(结束时间))；当前值V2，质量码Q2，时间戳T2；

当V1＝V2并且Q1＝Q2则更新快照时间戳T1为T2后结束，否则打开指定数据文件将当前参数值的结束时间由0更新为T2变成(V1，Q1，T1，T2)，并且添加一条记录(V2，Q2，T2，0)作为当前最新记录，同时更新快照内容为(V2，Q2，T2)，以此往复。

可选的，所述数据存储/压缩装置，还用于：

在将数据写入相应数据库文件前，判断该数据库文件大小是否超过预设上限；

若大于等于上限或者达到上限90％，则新建一个数据库文件，并从上一个数据库文件中复制出所有参数表及参数值类型表结构，新建的数据库文件名以当前系统时间命名。

在实施中，为解决单个数据文件在32位机器上不得超过4G大小限制问题，设计了按大小分库策略，在将数据写入相应数据库文件前，首先判断该数据库文件大小是否超过设置上限(该上限可配置)，若大于等于上限或者达到上限90％，则自动新建一个数据库文件，并从上一个数据库文件中复制出所有参数表及参数值类型表结构，新建的数据库文件名以当前系统时间命名。

可选的，所述管理装置还包括：

数据读取装置，用于根据传入的主机名、先进控制器名、参数名、起止时间等检索条件从存储根目录进行检索，将原始数据直接返回。

在实施中，该装置部署在服务器端，根据传入的主机名、控制器名、参数名、起止时间等检索条件从存储根目录进行检索，最后将原始数据直接返回。

本发明提供了存储先进控制器运行数据的控制装置，包括先进控制器结构发送装置以及存储结构创建装置。前者用于获取先进控制器的相关参数，并将获取到的相关参数发送至存储结构创建装置中，以便于后者建立用于存储相关参数的多级目录以及数据库文件。通过根据先进控制器结构特性，实现了一套结构化并支持异构数据的存储，该控制装置非常轻量化并且易于维护，不增加对控制器的组态工作量，只要在原控制器内部增加数据存储逻辑，即可实现控制器运行数据按需存储，为今后实现控制器性能评估打下基础。同时将数据压缩后进行存储，提高了存储空间利用率；服务端将原始数据返回给客户端，由客户端解压，降低服务端访问压力。

实施例二

本发明还提供了存储先进控制器运行数据的读取方法，如图2所示，所述读取方法包括：

步骤一、获取读取控制器数据的请求；

步骤二、如果所述请求为针对所述控制器的首次读取请求，则在存储目录下查找以所述控制器命名的文件夹；

步骤三、如果在所述存储目录下获取到以所述控制器命名的文件夹，则遍历所述文件夹中的全部数据库文件，基于所述全部数据库文件创建连接实例；

步骤四、调取工作线程读取与所述控制器对应的历史数据，结合连接实例得到与所述控制器对应的目标数据。

步骤五、如果所述请求并非针对所述控制器的首次读取请求，则执行遍历缓存的操作。

步骤六、在执行遍历缓存的操作后，如果未找到针对所述控制器的缓存项，则执行如步骤三至步骤四所示的操作。

在执行步骤二后，如果未找到以所述控制器命名的文件夹，则终止操作。

在实施中，基于前一实施例提出的控制装置，本实施例还提出了该控制装置实施的读取方法，该读取方法用于在接收到对读取控制器数据请求后对该请求的处理方式，具体的在获取到请求后，根据前一实施例中数据发送装置建立的转储状态表和缓存表，以遍历的形式获取针对请求中控制器的全部实施例文件以及历史数据，进而创建连接实例，最终得到与请求对应的控制器数据。由于在数据存储过程中利用SQLite嵌入式文件数据库的特点，并且根据控制器结构特性，通过数据存储装置实现了对控制器运行数据的结构化存储和异构数据的存储，同时免安装部署及后期维护，不增加对控制器的组态工作量。

本发明提供了存储先进控制器运行数据的读取方法，包括获取读取控制器数据的请求；如果所述请求为针对所述控制器的首次读取请求，则在存储目录下查找以所述控制器命名的文件夹；如果在所述存储目录下获取到以所述控制器命名的文件夹，则遍历所述文件夹中的全部数据库文件，基于所述全部数据库文件创建连接实例；调取工作线程读取与所述控制器对应的历史数据，结合连接实例得到与所述控制器对应的目标数据。通过在数据存储过程中利用SQLite嵌入式文件数据库的特点，并且根据控制器结构特性，通过数据存储装置实现了对控制器运行数据的结构化存储和异构数据的存储，同时免安装部署及后期维护，不增加对控制器的组态工作量。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.存储先进控制器运行数据的控制装置，其特征在于，所述控制装置包括：

先进控制器结构发送装置，用于将先进控制器所处的机器名称、先进控制器名称、先进控制器结构信息发送给存储结构创建装置；

存储结构创建装置，用于根据先进控制器结构信息，在存储根目录下创建以该机器名命名的二级目录，接着在二级目录下创建以该先进控制器命名的三级目录，最后在其三级目录下创建以当前系统时间命名的数据库文件，并在数据库文件中分别创建一系列以变量+参数命名的参数表以及一张参数值类型表；

其中，先进控制器结构信息包括MV变量名列表、CV变量名列表、DV变量名列表、参数名及参数值列表。

2.根据权利要求1所述的存储先进控制器运行数据的控制装置，其特征在于，所述控制装置包括设置在客户端的运行装置，所述运行装置包括：

数据发送装置，用于接收并缓存先进控制器发送的参数运行数据，在转储状态表中生成未转储并且时间戳为T1的记录，同时在缓存表中生成预设数量的记录，启动后台转储作业将数据转储到服务器；

其中，转储状态表包含转储状态、时间戳两个字段；缓存表包含参数名、时间戳、质量码、值。

3.根据权利要求2所述的存储先进控制器运行数据的控制装置，其特征在于，所述运行装置还包括：

数据解压装置，用于根据采样周期对原始数据进行采样。

4.根据权利要求1所述的存储先进控制器运行数据的控制装置，其特征在于，所述装置还包括设置在服务器端的管理装置，所述管理装置包括：

数据存储/压缩装置，用于按机器名和先进控制器名为单位进行划分，在内存中构建一颗当前正在进行写值操作的所有先进控制器最近一个周期的运行数据快照树；

当接收到参数运行数据时，根据机器名找到该机器下的全部先进控制器快照信息，接着根据先进控制器名查找到该先进控制器快照树；

根据参数名找到该参数快照值，假设参数名为P1，内存快照值V1，质量码Q1，时间戳T1；该参数在数据表最新记录为(V1(值)，Q1(质量码)，T1(起始时间)，0(结束时间))；当前值V2，质量码Q2，时间戳T2；

如果V1＝V2并且Q1＝Q2则更新快照时间戳T1为T2后结束，否则打开指定数据文件将当前参数值的结束时间由0更新为T2变成(V1，Q1，T1，T2)，并且添加一条记录(V2，Q2，T2，0)作为当前最新记录，同时更新快照内容为(V2，Q2，T2)。

5.根据权利要求4所述的存储先进控制器运行数据的控制装置，其特征在于，所述数据存储/压缩装置，还用于：

在将数据写入相应数据库文件前，判断该数据库文件大小是否超过预设上限；

若大于等于上限或者达到上限90％，则新建一个数据库文件，并从上一个数据库文件中复制出所有参数表及参数值类型表结构，新建的数据库文件名以当前系统时间命名。

6.根据权利要求1所述的存储先进控制器运行数据的控制装置，其特征在于，所述控制装置还包括：

数据读取装置，用于根据传入的主机名、先进控制器名、参数名、起止时间等检索条件从存储根目录进行检索，将原始数据直接返回。

7.存储先进控制器运行数据的读取方法，其特征在于，所述读取方法包括：

步骤一、获取读取控制器数据的请求；

步骤二、如果所述请求为针对所述控制器的首次读取请求，则在存储目录下查找以所述控制器命名的文件夹；

步骤三、如果在所述存储目录下获取到以所述控制器命名的文件夹，则遍历所述文件夹中的全部数据库文件，基于所述全部数据库文件创建连接实例；

步骤四、调取工作线程读取与所述控制器对应的历史数据，结合连接实例得到与所述控制器对应的目标数据。

8.根据权利要求7所述的存储先进控制器运行数据的读取方法，其特征在于，所述读取方法，包括：

步骤五、如果所述请求并非针对所述控制器的首次读取请求，则执行遍历缓存的操作。

9.根据权利要求8所述的存储先进控制器运行数据的读取方法，其特征在于，在执行步骤五后，所述读取方法还包括：

步骤六、在执行遍历缓存的操作后，如果未找到针对所述控制器的缓存项，则执行如步骤三至步骤四所示的操作。

10.根据权利要求7所述的存储先进控制器运行数据的读取方法，其特征在于，所述读取方法，还包括：

在执行步骤二后，如果未找到以所述控制器命名的文件夹，则终止操作。

Images