CN108073706B

CN108073706B - 一种仿真系统历史库纵向数据横向化展示的方法

Info

Publication number: CN108073706B
Application number: CN201711380300.7A
Authority: CN
Inventors: 王继华; 张惠仙; 郑冬梅
Original assignee: Beijing Sifang Automation Co Ltd
Current assignee: Beijing Sifang Automation Co Ltd
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2022-02-22
Anticipated expiration: 2037-12-20
Also published as: CN108073706A

Abstract

一种仿真系统历史库纵向数据横向化展示的方法。该方法主要组成部分包括两大缓存区、四大模块：(1)纵向数据缓存区：为每个待监测变量生成纵向数据存储空间。(2)横向数据缓存区：为每个待监测变量生成横向数据存储空间。(3)数据提取模块：从历史库获取数据填充至纵向数据缓存区。(4)缓存填充模块：当纵向数据缓存区中某变量待处理的缓存区余量不足时为其增加数据。(5)数据转换模块：将横向数据转换为纵向数据并存放至横向数据缓存区。(6)横向数据展示模块：将横向数据缓存区数据赋值给使用横向数据的展示系统。本发明公开的历史库纵向数据横向化展示方法具备结构清晰，描述形象、可操作性强、时间复杂度低、空间复杂度低的特点。

Description

一种仿真系统历史库纵向数据横向化展示的方法

技术领域

本发明属于系统仿真技术领域，涉及仿真系统的历史库纵向数据横向化展示方法。

背景技术

仿真系统历史库的功能是将数据采集与监视控制(亦称为SCADA)系统中所涉及的各种变量(诸如：数字量、模拟量、打包量等)的实时数据进行存储的数据集。由于将系统中所有变量的各个时刻数据全部存储的方式不具备可操作性，故常见的历史库均根据其时间动态冗余特性，依变量名为索引，在其值的变化量大于给定阙值时，将“变量名+时间戳”作为关键字，增加数据记录至历史库保存。

使用者对历史库的需求通常是获取某单一变量在一时间段内的所有数据，之后以绘制二维曲线的方式得出其历史趋势，进而展开分析。但是仿真系统对历史库的使用将不局限于上述需求，使用者经常会希望获取某一时刻的所有数据，之后以呈现在展示系统操作界面上的方式得出其历史回放过程，进而进行深入分析。具体来讲，将某一时刻所有数据的数值同时展示在仿真展示系统提供的操作界面上，随着界面的切换，可以同时看到同一瞬间的所有数据；与此同时，随着时间的推进，使用者可以真实重现数据发生时的操作体验。

历史库中存储的数据是以变量名为索引的纵向数据，再次展示出来的是以时间为索引的横向数据。通常现有方法是生成一个庞大的时间颗粒跨度乘以变量个数(通常DCS系统的监视数据规模以“千”为单位，仿真系统的监视数据规模以“万”为单位)维度的矩阵，从而获取每一时刻的所有数值。上述方法将会浪费大量的系统内存空间及CPU资源，针对上述问题，本发明提出了一种易于实施、便于理解、快速部署、高效执行的历史库纵向数据横向化展示方法。

发明内容

为解决现有技术中存在的上述问题，本发明公开了一种仿真系统历史库纵向数据横向化展示的方法。该方法的实现过程是通过两大缓存区和四大模块协同完成的。

使用本专利发明中仿真系统历史库纵向数据横向化展示方法的前提条件如下：

前提1：存在一个存储纵向数据的历史库。

历史库中存储了仿真系统的历史信息，其存储了系统中所有变量的纵向数据。比如：历史库中存在以某一以时间命名的数据表“2017-10-1”，该表所包含的属性列为“点名、时间戳、数值”，如果其数据记录包含如下“VAR001,08:00:00,12.00”、“VAR001,08:00:06,12.10”。则表示名字为VAR001的变量在2017年10月1日8时0分0秒时数据为12.00，六秒钟后，其数值变化为12.10。这样的数据存储格式即属于纵向数据存储。

前提2：存在一个使用横向数据的展示系统。

使用者需要将某一时刻瞬间，获取系统中所有数据的当前值进行再次利用。比如：在仿真系统进行回放历史数据时，使用者输入了一个时间段“2017-10-1 08:00:00 2017-10-108:10:00”，则表示希望获取这十分钟内的数据，默认时间颗粒度为1秒。那么就是从时间起点开始，每隔一秒将指定时刻瞬间的数据全部获取到，然后写入仿真展示系统的数据库给予呈现。从而为使用者提供了与当时一致的操作体验。

在上述两个前提的基础上，仿真系统需要有一个特定的业务逻辑功能块可以实现历史数据库中的纵向数据横向化展示的功能。本专利发明的内容就是针对此部份详细阐述的。

本发明具体采用以下技术方案：

一种仿真系统历史库纵向数据横向化展示的方法，采用历史数据库存储纵向数据、通过展示系统输出横向数据；其特征在于，所述方法包括以下步骤：

步骤1：在仿真系统中开辟“纵向数据缓存区”：为仿真系统中所监视的每一个变量生成一个独立的纵向数据存储空间；

步骤2：在仿真系统中开辟“横向数据缓存区”：为某一瞬间所有变量数据值生成一个独立的横向数据存储空间；

步骤3：在仿真系统中建立“数据提取模块”：仿真系统初始化时，通过从历史数据库获取数据来填充纵向数据缓存区；

步骤4：在仿真系统中建立“缓存填充模块”：仿真系统进行过程中，当纵向数据缓存区待处理数据余量不足时，为纵向数据缓存区增加相应缓存数据；

步骤5：在仿真系统中建立“数据转化模块”：仿真系统进行过程中，对每一个纵向数据缓存区进行转化操作，进而生成填充横向数据缓存区所需要的数据；

步骤6：在仿真系统中建立“横向数据展示模块”：仿真系统进行过程中，将横向数据缓存区数据输出到展示系统的数据区，供使用者分析。

本发明进一步包括以下优选方案：

在步骤1中，开辟所述纵向数据缓存区，包括以下内容：

1.1采用成组批量建立内存对象空间的方式，使得纵向数据缓存区内相邻的两个数据对象在内存空间中的实际存储地址也相邻，进而为纵向数据缓存区被调用时的单向匀速性提供空间便利；

1.2采用同变量同索引的设计策略，确保纵向数据缓存区内的变量和仿真系统历史数据库中的变量数目一致、变量索引顺序一致；

1.3设计了采用阙值回调方式运行的缓存填充模块，确保纵向数据缓存区被数据转化模块调用的实时使用特性；

在步骤2中，开辟横向数据缓存区包括以下内容：

2.1通过对各个纵向数据缓存区指定时间戳的数据汇总合并的方式，生成横向数据缓存区；

2.2采用周期调用的方式，确保横向数据缓存区时刻保存着当下时间戳对应的数据最新瞬时值；

在步骤3中，建立数据提取模块包括以下内容：

3.1通过输入明确的开始时间、结束时间和变量索引三个变量的方式，从仿真系统历史库获取对应数据填充至横向数据缓存区；

3.2依据数据提取模块数据库接口的抽象性：设计基于工厂模式框架的结构实现了数据提取模块对不同历史库的支持；

3.3根据数据提取模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据提取模块并行存在的功能；

在步骤4中，建立缓存填充模块包括以下内容：

4.1将缓存填充模块设置为回调模式，用来填充纵向数据缓存区，确保纵向数据缓存区的数据可供数据转化模块正常使用；

4.2根据缓存填充模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个缓存填充模块并行存在的功能；

4.3仿真系统采用纵向数据缓存区中各个数据对象的时间戳距离为衡量标准，缓存填充模块替换算法的运行机制为时间戳距离最大的数据对象被覆盖，确保合适的位置被新数据替换。

在步骤5中，建立数据转化模块包括以下内容：

5.1采用输入接口为当前时间戳，执行方向，执行跨度三个变量，得出每一个纵向数据在目标时间戳的当前数值；

5.2通过引入真实数据和插值数据的概念，实现仿真系统所指定的时间戳数据是否存储于纵向数据缓存区的不同处理；

5.3根据数据转化模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据转化模块并行存在的功能；

在步骤6中，所述横向数据展示模块采用全拷贝方式、变化赋值两种方式。

本发明具有以下有益效果：

本发明公开的历史库纵向数据横向化展示方法具备结构清晰，描述形象、可操作性强、时间复杂度低、空间复杂度低的特点，基于此理论可构造出更为稳健、形象的数据库回放系统，为事故追忆等需求提供更好的分析手段。

附图说明

图1为仿真系统历史库纵向数据横向化展示的方法的模块结构图。

图2为仿真系统历史库纵向数据横向化展示的方法的流程图。

具体实施方法

下面结合说明书附图对本发明技术方案做进一步详细介绍。

图1为仿真系统历史库纵向数据横向化展示的方法涉及模块的简要结构图。其通过模型层、控制层、显示层三层架构的方式展示出了该方法的主要框架。模型层为存储纵向数据的历史库；控制层包括了方法中涉及的两大缓存区、四大模块：纵向数据缓存区、横向数据缓存区、数据提取模块、缓存填充模块、数据转换模块、横向数据展示模块；显示层为使用横向数据的展示系统。

其中纵向数据缓存区存储仿真系统使用的纵向数据；横向数据缓存区存储仿真系统使用的横向数据；数据提取模块从历史库获取数据写入纵向数据缓存区；缓存填充模块从历史库获取数据填充至纵向数据缓存区；数据转换模块从纵向数据缓存区获取数据写入横向数据缓存区；横向数据展示模块从横向数据缓存区获取数据赋值给展示系统。

图2为仿真系统历史库纵向数据横向化展示的方法的简要流程图。结合图2对本发明方法的六大步骤的实施过程依次进行详细描述。

步骤1：在仿真系统中开辟“纵向数据缓存区”。实现步骤如下：

步骤1.1：采用成组批量建立内存对象空间的方式，使得纵向数据缓存区内相邻的两个数据对象在内存空间中的实际存储地址也相邻，进而为纵向数据缓存区被调用时的单向匀速性提供空间便利；

本次实施的项目为一个中型火力发电厂的仿真系统，历史数据库中被监视数据的规模为5千点，故此处需要建立的纵向数据缓存区应分别对应上述5千监视点。纵向数据缓存区中每一个数据包内的具体内容包含两部分信息，分别为时间戳和数据值。

单向匀速特性：使用者通常是匀速播放历史数据，故纵向数据缓存区的使用通常是单向等跨度进行的，即纵向数据缓存区的单向匀速特性。因此数据缓存区中的变量存储空间应满足近距离原则。具体为变量的时间戳相邻的两个数值其所对应的内存空间也是相邻的，故纵向数据缓存区采用连续的一段内存空间来实现。

此处采用申请5千维度的连续对象数组空间作为纵向数据缓存区。

步骤1.2：采用同变量同索引的设计策略，确保纵向数据缓存区内的变量和仿真系统历史数据库中的变量数目一致、变量索引顺序一致；

申请的纵向数据缓存区内5千对象的排序方式要和原始仿真系统历史库中的5千监视点排序方式保持一致，这样确保二者一一对应。

步骤1.3：设计了采用阙值回调方式运行的缓存填充模块，确保纵向数据缓存区被数据转化模块调用的实时使用特性。

实时使用特性：使用者观看的回放数据是随着时间流逝实时更新的，纵向数据缓存区提供的数据必须能满足数据转化模块的实时使用。故此处的纵向数据缓存区空间须确保后续调用模块的正常使用。

为了满足纵向数据缓存区对实时使用特性的需求，设计了阙值回调方式的缓存填充模块。

步骤2：在仿真系统中开辟“横向数据缓存区”。实现步骤如下：

步骤2.1：通过对各个纵向数据缓存区指定时间戳的数据汇总合并的方式，生成横向数据缓存区；

每一个横向数据缓存区的当前数值和纵向数据缓存区的各个区域一一对应。针对本次实施的项目，所建立的横向数据缓存区是对指定时间戳的数据汇总合并，开辟了5千维的数值数组，供展示模块使用。

步骤2.2：采用周期调用的方式，确保横向数据缓存区时刻保存着当下时间戳对应的数据最新瞬时值。

瞬时有效性：横向数据缓存区在数据转化模块的作用下，时刻保存着当下时间戳所对应的所有数据瞬时值。

此处数组类型会依据数据的类型不同而不同，于是将数字量、模拟量、打包点格式化为统一类型加以处理。为了满足横向数据缓存区对瞬时有效性特性的需求，设计了周期调用方式的数据转化模块。

步骤3：在仿真系统中建立“数据提取模块”。实现步骤如下：

步骤3.1：通过输入明确的开始时间、结束时间和变量索引三个变量的方式，从仿真系统历史库获取对应数据填充至横向数据缓存区；

首先获取到所需要读取数据的开始时间、结束时间、变量索引。该信息供后续步骤使用。

步骤3.2：依据数据提取模块数据库接口的抽象性：设计基于工厂模式框架的结构实现了数据提取模块对不同历史库的支持；

抽象性：实际的系统在实施过程中会面向不同的历史库实体，为了增强系统的普适性，此处模块为面向抽象的具体实现。针对不同的历史库会有不同的实现过程。

这里针对此实例读取的历史数据库格式，依据其提供的数据接口，设计了相应的数据提取功能。

步骤3.3：根据数据提取模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据提取模块并行存在的功能。

这里针对此实例读取的数据规模，设定两个独立的线程同时进行数据提取。

步骤4：在仿真系统中建立“缓存填充模块”。实现步骤如下：

步骤4.1：将缓存填充模块设置为回调模式，用来填充纵向数据缓存区，确保纵向数据缓存区的数据可供数据转化模块正常使用；

在执行过程中进行回调标准判断。

首先进行判断1：当数据转化模块执行位置介于开始、结束时间之间时，进入判断2；否则，执行流程结束。

判断2：当纵向数据缓存区中待处理数据余量充足时，进入步骤5的数据转化模块；否则，进入步骤4的缓存填充模块。

缓存填充模块确保纵向数据缓存区中每个变量的数据存储余量可供数据转化模块正常进行。

及时性：当纵向数据缓存区某变量的待处理数据余量不够数据转化模块使用的时候，缓存填充模块必须及时将纵向数据缓存区的余量补充到足够的存储量，否则整个仿真系统的实时性就无法保证。故在具体实施过程中，此处设定一个阙值s＝10，剩余存储量小于等于阙值时，采用回调函数触发的方式，确保其被及时补充到S＝30。

步骤4.2：根据缓存填充模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个缓存填充模块并行存在的功能；

这里针对此实例读取的数据规模，设定两个独立的线程同时进行缓存填充。

步骤4.3：仿真系统采用纵向数据缓存区中各个数据对象的时间戳距离为衡量标准，缓存填充模块替换算法的运行机制为时间戳距离最大的数据对象被覆盖，确保合适的位置被新数据替换。

空间局部性：当使用者细致反复回放某一时刻附近的数据时，该时刻附近的纵向数据缓存区数据会被频繁调用，这种局部数据被频繁使用的特性就是使用纵向数据缓存区的空间局部性。因此当纵向数据缓存区空间不足时，要将一部分旧的缓存区删除掉让新的数据填充进来，这就是缓存填充模块的工作内容。这时选择一个合理的缓存填充替换算法异常重要。常见的有FIFO算法等，此处引入时间戳距离概念。以纵向数据缓存区中各个数据对象的时间戳距离为衡量标准，该模块替换算法的运行机制为时间戳距离最大的数据对象被覆盖，确保合适的位置被新数据替换。

步骤5：在仿真系统中建立“数据转化模块”。实现步骤如下：

步骤5.1：采用输入接口为当前时间戳，执行方向，执行跨度三个变量，得出每一个纵向数据在目标时间戳的当前数值；

双向性：使用者若按照常规回放方式使用系统，则数据转化模块执行方向是正方向；倘若使用者以后退模式进行操作，或者在某一时刻定位过往时间戳，则执行方向是反方向；实施过程中，执行方向会影响到缓存填充模块的触发时机判断。

变速性：系统可依据使用者的需求在加速、常速、减速的情况下进行播放数据，这就是数据转化模块的变速性。通过引入执行跨度的概念，实现仿真系统对纵向缓存区数据加速、常速、减速方式使用的实现。

在实施过程中通过输入的当前时间戳，执行方向，执行跨度三个变量对每一个纵向数据缓存区进行转化操作，进而生成填充横向数据缓存区所需要的数据。执行完毕后，更新当前时间戳，再次执行数据转化模块。

步骤5.2：通过引入真实数据和插值数据的概念，实现仿真系统所指定的时间戳数据是否存储于纵向数据缓存区的不同处理；

插值性：该模块的输入是一个特定的时间戳，依据当前的时间戳在纵向数据缓存区中进行横向转化时会有该时间戳不存在的情况，此时的转化数据就是插值结果。

步骤5.3：根据数据转化模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据转化模块并行存在的功能。

这里针对此实例读取的数据规模，设定两个独立的线程同时进行数据转化。

步骤6：在仿真系统中建立“横向数据展示模块”。实现步骤如下：

建立的展示模块是将最终得到的横向数据缓存区结果赋值到展示系统，呈现给使用者。

通常该模块有全拷贝方式、变化赋值两种。其中前者是建立在两个数据空间格式一致的前提下，直接采用的内存拷贝方式；当展示系统的数据结构和横向数据缓存区数据结构不一致时，采用变化赋值的方式，即当数据发生变化才进行的单值赋值方式。

Claims

1.一种仿真系统历史库纵向数据横向化展示的方法，采用历史数据库存储纵向数据、通过展示系统输出横向数据；其特征在于，所述方法包括以下步骤：

步骤1：在仿真系统中开辟“纵向数据缓存区”：为仿真系统中所监视的每一个变量生成一个独立的纵向数据存储空间；步骤2：在仿真系统中开辟“横向数据缓存区”：为某一瞬间所有变量数据值生成一个独立的横向数据存储空间；

开辟所述横向数据缓存区包括以下内容：

2.根据权利要求1所述的仿真系统历史库纵向数据横向化展示的方法，其特征在于：

在步骤1中，开辟所述纵向数据缓存区，包括以下内容：

1.3设计了采用阙值回调方式运行的缓存填充模块，确保纵向数据缓存区被数据转化模块调用的实时使用特性。

3.根据权利要求1所述的仿真系统历史库纵向数据横向化展示的方法，其特征在于：

在步骤3中，建立所述数据提取模块包括以下内容：

3.3根据数据提取模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据提取模块并行存在的功能。

4.根据权利要求1所述的仿真系统历史库纵向数据横向化展示的方法，其特征在于：

在步骤4中，建立所述缓存填充模块包括以下内容：

5.根据权利要求1所述的仿真系统历史库纵向数据横向化展示的方法，其特征在于：

在步骤5中，建立所述数据转化模块包括以下内容：

5.3根据数据转化模块的独立性，通过开辟多个异步线程的方式，实现仿真系统中多个数据转化模块并行存在的功能。

6.根据权利要求1所述的仿真系统历史库纵向数据横向化展示的方法，其特征在于：

在步骤6中，采用全拷贝方式、变化赋值两种方式，实现展示模块的实时性。