CN105205185A - 监控系统与管理信息系统间数据交互及数据建模的方法 - Google Patents

Abstract

本发明公开了监控系统与管理信息系统之间数据交互及数据建模方法，建立基于计量点的数据交互模型，保留监控系统中原有数据持久化方法，通过智能代理方式进行数据交互，包含以下步骤：a)建立交互数据模型；b)结合管理系统业务需求基于交互数据模型制定统一数据交互接口，形成管理信息系统的底层数据驱动；c)制定数据交互代理接口标准，结合监控系统数据存储方式和其对外接口开发数据交互代理器，将代理器注册至智能代理，实现管理信息系统与监控系统的数据交互。本发明降低了系统集成的复杂度和存储成本，降低了管理系统与监控系统之间的耦合度，提升了管理系统的可扩展性；提供了一种解决与监控系统数据交互平台异构的方法。

Description

监控系统与管理信息系统间数据交互及数据建模的方法

技术领域

本发明涉及监控系统与管理信息系统之间的数据交互方法，尤其是基于计量点数据模型进行时序数据交互的监控系统与管理信息系统间数据交互及数据建模的方法。

背景技术

随着企业信息水平的不断提升，能源监控管理系统所监控能源介质范围不断扩大，逐步覆盖水、电、气以及固体能源种类。管理系统的传统报表制作方法已无法满足企业多样化报表的需求。能源管控系统将监控系统与日常管理紧密结合，通过历史统计分析等手段计算出公司的重要产品指标，为公司的生产决策提供真实、精确的数据支撑。监控系统提供了一些报表制作和发布工具，但其应用局限于监控平台难以集成至管理系统，且报表组态工具难以制作格式复杂、内容丰富的统计报表。不同种类的监控系统，历史数据存储方式各不相同，管理系统中数据展示功能与监控系统的集成工作已成为系统集成的瓶颈。重点表现为以下两个问题：

1)用户对报表格式需求多样化。部署系统时企业希望在线报表与既有报表格式一致，相同功能模块企业报表的格式多样，具体可细化至整体布局、单元格背景颜色、行间距、字体大小、字体颜色等。

2)不同监控系统的历史数据存储方式差异较大，亟需一种统一接口方式实现管理系统与监控系统之间的数据交互。

发明内容

本发明的目的在于：提供一种监控系统与管理信息系统间数据交互及数据建模的方法，本监控系统与管理信息系统间数据交互及数据建模的方法降低了管理系统与不同监控系统集成难度的方法，采用对交换数据进行建模、制定历史数据的标准读写接口、利用标准读写接口对监控系统的历史数据读写操作进行封装等方法，使得管理系统和监控系统之间能够按照业务应用需要进行数据交互，最大程度地降低系统之间的耦合度。

本发明的技术方案是：监控系统与管理信息系统间数据交互及数据建模的方法，在实时监控系统完成数据采集并做好历史记录后，对实时监控系统的计量点建模，以计量点的功能、用途、数据类型等信息进行建模；

a)结合管理系统业务需求和监控系统数据存储结构，建立基于计量点模式的数据模型，通过定时任务保证计量点模型信息与监控系统的一致性，利用全文检索技术提高计量点检索的用户体验和响应速度；

对所需交互的数据进行建模，数据均是由监控系统通过仪表实时采集的，每个采集数据点具有特定的数据意义，采集数据点简称计量点。规范计量点的命名标准，透过名称直接体现计量点的功能。数据类型主要分为模拟量数据、信号量数据、累计量数据。在业务应用中这三类的数据的应用各不相同，如：模拟量数据，日常管理系统需要模拟量的整点实时值，某时间段的平均值、最大值、最小值；信号量在某时间段内的出现次数总和，某整点时刻信号量的值；累计量在时、日、月、年以及自定义时间段的累积值，固定时间间隔内累计值的平均值、最大值、最小值。根据数据模型对监控系统的计量点创建索引。

b)基于计量点数据模型结合管理系统业务功能需求，为管理系统制定数据接口标准；

c)采用智能代理方式，自动识别计量点数据来源，选择数据交互代理到数据源获数据交互据或统计数据；

其中步骤a)进一步包括：不同监控系统的数据存储结构各不相同，给系统集成造成巨大困扰。管理系统业务逻辑与底层数据存储纠缠不清，通过分层设计方案可降低系统复杂度，在业务逻辑与监控功能之间创建数据交互模型。数据模型记录计量点名称、数据来源、数据类型等信息。在制作报表时，管理系统可根据名称描述区分每个计量点的功能含义，选择所需计算点。管理系统接入多个监控系统，利用数据来源信息到指定的监控系统获取数据交互据。不同的数据类型对应不同的统计信息，根据数据类型向业务人员提供不同的统计数据。日常维护过程中，监控系统随时可能接入新的计量仪表，并引入新的计量点，监控系统在日志表中记录更新时间，计量点模型维修进程定时查询更新日志，发现更新信息及时更新计量点模型库。通过全文检索技术为计量点信息查询提供模糊查询功能，并提高检索速度。

本发明中使用两种机制存放计量点模型信息，一种是数据库存放方式，另一种是应用服务器本地存放方式。数据库存放方式可保证各应用服务器的计量点模型信息全局唯一，所有应用服务器均访问同一个数据库集群，所有应用服务器仅有一个活动进程负责维护数据库中计量点模型信息，若该服务器节点故障，将切换至另一应用服务器进行维护。应用服务器本地存放方式利用全文检索技术进一步提高了计量点信息模糊查询功能的性能，同时将频繁的检索功能移植到至全文检索引擎，降低了数据库运行负荷，提高了整个系统的可靠性。

其中步骤b)进一步包括：根据a)中数据类型主要分为模拟量数据、信号量数据、累计量数据。在业务应用中这三类的数据的应用各不相同，主要设计以下几类数据交互接口：单点表计值，某制定时刻的表计值；序列表计值，某时间段固定时间间隔的表计值；模拟量在某段时间内平均值、最大值和最小值；模拟量在某段时间内有效数据的平均值、最大值和最小值；信号量在某段时间内真值数、假值数和总数；累计量在某段时间的累计值；累计量在某段时间内固定时间窗口的累计值的最大值、最小值和平均值。

其中步骤c)进一步包括：利用计量点数据模型和智能代理对业务提供的接口规范定义代理接口规范，接入监控系统时根据监控系统数据存储结构或历史数据交互接口按照接口规范实现数据交互代理功能。

本发明中计量点模型信息包含计量点数据源信息，接入新系统时，首先根据代理接口规范实现历史取数的数据交互驱动，然后将该代理接口实例注册至智能代理管理器。注册完成后，智能代理器将会自动地将新接入系统的计量点模型添加至模型库，管理系统便可与该系统进行数据交互。

本监控系统与管理信息系统之间数据交互及数据建模的方法，建立一套基于计量点模式的数据交互模型，基于交互数据模型结合管理系统的业务逻辑制定统一的数据访问接口；数据交互采用代理方式对不同监控系统进行数据访问，并通过智能代理自动切换数据交互代理；计量点模型维护提供数据库持久化和文本持久化两种维护方法；利用数据库持久化实现多个应用服务器之间计量点模型的实时同步，通过全文检索技术提高检索计量点信息的响应速度，进一步改善用户体验；交互数据模型中计量点的采集数据存储由监控系统进行维护；接入监控系统时，根据智能代理制定的代理器实现标准将监控系统的数据交互封装成数据交互代理器，将数据交互代理器注册至智能代理；数据交互时，智能代理器根据计量点信息自动选择代理器进行数据交互；

本发明通过交互数据模型保持原有数据存储结构，通过智能代理方式实现管理系统与监控系统之间的数据交互，降低了系统集成的复杂度和存储成本。本发明通过数据代理方式接入多种监控系统，降低了管理系统与监控系统之间的耦合度，提升了管理系统的可扩展性。数据代理实现不限定数据持久化方法、数据库连接方式以及数据库类型，提供了一种解决与监控系统数据交互平台异构的方法。

本发明用于解决系统之间的数据交互问题，通过对监控系统和管理信息系统之间的交换数据进行建模，在管理系统中制定一套统一的历史数据数据交互接口，与监控系统集成时以管理系统数据交互接口为标准，对监控系统的历史数据交互接口进行封装，降低管理系统与不同监控系统的集成难度。数据交互时，智能代理根据计量点中数据源信息自动选择数据交互代理完成数据交互。

本发明的有益效果是：本发明提供了一种方便、快捷、统一的方法，将不同监控系统的监控历史数据和统计信息接入至管理信息系统。实现了跨系统的数据传递，支持不同数据库类型的监控系统，同时通过封装监控系统提供的数据交互接口，进一步屏蔽监控系统底层数据持久化的技术细节，降低系统集成难度。

附图说明

图1为网络架构示意图。

图2管理系统与监控系统间数据交互图。

图3智能代理框架示图。

具体实施方式

参见图1、图2和图3，本监控系统与管理信息系统之间数据交互及数据建模方法，包括以下步骤：建立基于计量点的数据交互模型，保留监控系统中原有数据持久化方法，通过智能代理方式进行数据交互，包含以下三个步骤：

a)建立交互数据模型：以监控系统接入计量仪表时的点表信息为单元，所有历史数据是计量点时序数据的集合，将计量点类型、监控系统信息以属性方式存储至计量点模型库；

b)结合管理系统业务需求基于交互数据模型制定统一数据交互接口，形成管理信息系统的底层数据驱动；

c)制定数据交互代理接口标准，结合监控系统数据存储方式和其对外接口开发数据交互代理器，将代理器注册至智能代理，实现管理信息系统与监控系统的数据交互。

作为优选方案，其中步骤a)进一步包括：创建计量点方式数据存储模型，不再创建额外存储空间存储采集数据，利用已有监控数据，在存储逻辑上将实时系统数据存储模式映射至计量点时序模式；自动创建模型，动态实时地从监控系统中提取计量点模型信息，并将计量点模型信息存储至数据库，计量点模型库根据存储方式分为数据库类模型库和文本类模型库。系统定时查询监控系统的计量信息是否发生变化，若发生变化比较计量点模型和监控系统的最新计量点表，将变更信息更新至计量点模型库中，在数据库中保存模型更新日志，所有应用服务器的数据库模型共享同一模型库。文件类数据库以文件方式存储在各应用服务器，该存储方式提供全文检索功能，对于检索功能具有较快的响应速度；文件类模型库更新时，从数据库类模型库获取模型更新日志，根据日志判断模型是否发生变化并及时更新文件类模型库；文件类模型查询不局限于正则表达式匹配模式，提供了计量点信息的模糊查询功能。其中步骤b)进一步包括：管理系统业务访问监控系统时，屏蔽了监控系统的异构性，将数据访问统一至计量点数据模型和数据访问接口。其中步骤c)进一步包括：制定代理器标准接口，智能代理负责维护所有数据交互代理器，引用某监控系统的数据时将监控代理器实现注册至智能代理；监控系统的数据交互代理器实现代理器标准接口，并与监控系统数据存储方式匹配即可。

如图1所示能源工控系统中管理信息服务器与监控系统服务器通过网络相连接，监控服务器通过开放端口方式便于管理信息系统访问其历史数据。

本发明通过建立交互数据模型统一管理信息系统与不同监控系统之间数据交互的数据格式，在管理系统底层根据业务需求封装数据交互接口，在监控系统层根据交互模型标准编写驱动程序实现数据交互代理功能，利用全文检索技术创建计量点索引信息库，并通过定时任务实时更新索引信息库，以智能代理方式实现管理系统与不同种类监控系统热插拔式数据访问。整个方案结构见图2，管理信息系统通过智能代理方式从数据持久层互不相同的监控系统获取历史数据以及其统计信息。监控系统的历史数据获取方式可灵活多变，按照数据交互模型实现智能代理所需的接口便可与管理信息系统进行数据交互。

整个方案包括交互数据建模、管理信息系统业务接口封装、监控系统数据交互智能代理三部分内容。

一、建立系统交互数据模型

工业监控系统对生产工艺指标、水电气生产消耗、环保质量数据进行监控，不同工业监控系统产品的软件架构各不相同，其数据库软件、数据持久化方法和软件设计理念更是千差万别。由于管理系统需要从各类监控系统中获取历史监控数据，因此需要在对各类监控系统的数据模型进行统一建模。

步骤1)中数据模型通过对监控系统中历史数据以仪表采集点表方式进行分类，并形成一个计量点模型，所有历史数据是计量点时序数据的集合，计量点模型包括以下数据结构：

MEASURE(计量点)的各属性定义如下：

步骤2)进一步包括：管理信息系统维护一份计量点索引，保持管理系统计量点索引与监控系统同步一致。通过定时任务每隔一段时间检查监控系统的更新日志，如若监控系统计量点信息有改动，获取变化信息并以增量的方式更新至管理系统，通过该方法实现监控系统与管理系统计量点信息同步一致。

步骤3)进一步包括：维护一份计量点索引表供用户查询检索使用，由于管理系统频繁调用计量点名称检索功能且对检索响应时间有较高要求，不再使用商用数据库的查询功能进行计量点名称检索。取而代之的是在每台应用服务器以文件存储方式利用全文检索引擎提供计量点名称检索功能，全文检索引擎定时地查询管理系统数据库是否有计量点数据更新，并要求管理信息系统在维护索引数据信息时，将更新日志记录至计量点索引维护日志。全文检索引擎更新索引时首先判断数据库索引变动时间是否在上次全文索引更新之后，若在全文索引更新之后则重新生成新的全文索引，如若在全文索引更新之前则忽略此次数据库索引变动。

计量点索引维护日志(LOCALHOST_LOG)如下：

属性名	数据类型	描述
			HOSTNAME	VARchar2(32)	维护索引的主机名称
LOG_NAME	VARchar2(32)	功能名称
			CHANGE_TIME	DATE	索引变动时间
LAST_UPDATE	DATE	上次更新时间
			CURRENT_UPDATE	DATE	当前更新时间

二、管理信息系统业务接口封装

管理信息系统的业务接口基于统一数据模型基础上进行一系列相关操作，屏蔽了底层数据持久化的异构性，首先在业务上将数据模型中数据类型主要分为模拟量(简称AI点)、信号量(DI点)、累计量(CI点)。模拟量是指瞬时值有效的数据，如：压力、温度等。信号量是0、1值有效的数据，如设备开关状态。累计量是时间段起止时间差值有效的数据，如：电度值等。

其中模拟量的瞬时值(VALUE)、平均值(AVG)、有效平均值(EFFAVG)、最大值(MAX)、有效最大值(EFFMAX)、最小值(MIN)、有效最小值(EFFMIN)，信号量的瞬时值(VALUE)、真值数求和(TSUM)、假值数求和(FSUM)、求和值(SUM)、真值率(TRATE)、假值率(FRATE)，累计量的瞬时值(VALUE)、累计值(ACCVALUE)、平均累计值(ACCAVG)、最大累计值(ACCMAX)、最小累计值(ACCMIN)，在业务上是有意义的。

管理系统业务上主要需要获取并显示仪表在某时间点的刻度值，瞬时值(VALUE)则显示表计瞬时刻度。对于模拟量数据，平均值、最大值、最小值是对时间段内的所有数据的统计。时间段内的设备可能停运，停运期间的模拟量数据是无效的，不能参与统计。通过设置数据有效值范围，统计时只计算有效数据的平均值、最大值、最小值，将计算结果定义为有效平均值、有效最大值、有效最小值。对于信号量数据，需要统计时间段内的真值、假值出现次数以及总出现次数。对于累计量需要统计时间段上的累计值，即时间段开始时间和结束时间的差值。累积量还需要统计时间段内各个固定时间间隔的累计值，并计算上述累计值的平均值、最大值、最小值。

管理信息系统业务接口设计如下：

三、监控系统数据交互智能代理

管理信息系统仅维护计量点索引信息，并不维护计量点历史采集数据。通过监控系统的智能代理，根据计量点的ID、KEY等信息从监控系统的历史存储中获取相关计量点的历史数据以及历史统计数据。

创建智能代理，下面三个步骤完成智能代理的创建：1)创建智能数据交互对上标准接口；2)创建智能读数对下标准接口；3)实现智能代理自动选择代理进行数据交互功能。

其中步骤1)规范接口标准，管理系统根据规范接口可直接获取历史数据，智能代理对监控系统层数据交互实现进行封装，对上屏蔽底层实现细节。

对业务层接口定义如下：

其中步骤2)实现智能代理对下数据交互功能，首先根据监控系统的数据储存方式以及历史数据交互接口实现历史数据交互，然后实现业务层定义数据交互接口。数据交互实现主要分为：直接访问数据库方式和调用监控系统提供的历史取数接口方式。直接访问数据方式，数据交互接口实现先分析系统历史数据的存储格式，通过JDBC(或JNDI等其他方法)方式连接监控系统的历史库，并对历史数据相关的表结构进行数据持久化，完成步骤(1)中接口的实现。对于调用监控系统提供的历史数据交互方式，监控系统可能提供历史数据交互API或WEBSERVICE等类型的调用接口，首先分析上述接口能否实现步骤(1)制定的接口标准，若能则完成标准接口的实现并将实现注册至智能代理适配器，若不能则使用直接访问数据库的方式完成对下数据交互功能。

其中步骤3)实现智能代理适配器自动选择代理并获取历史数据，计量点模型类型(TYPE)属性用于描述数据源，与历史数据交互代理器存在一一映射的关系。代理适配器根据管理系统提供的查询参数，获取计量点的数据模型信息，根据数据模型中的数据源类型自动选择相应的历史数据交互代理器进行数据查操作，整体架构如图3所示。

下面是计量点模型中数据源类型的范例：

Claims (6)

1.监控系统与管理信息系统之间数据交互及数据建模方法，其特征是包括以下步骤：建立基于计量点的数据交互模型，保留监控系统中原有数据持久化方法，通过智能代理方式进行数据交互，包含以下三个步骤：

a)建立交互数据模型：以监控系统接入计量仪表时的点表信息为单元，所有历史数据是计量点时序数据的集合，将计量点类型、监控系统信息以属性方式存储至计量点模型库；

b)结合管理系统业务需求基于交互数据模型制定统一数据交互接口，形成管理信息系统的底层数据驱动；

c)制定数据交互代理接口标准，结合监控系统数据存储方式和其对外接口开发数据交互代理器，将代理器注册至智能代理，实现管理信息系统与监控系统的数据交互。

2.如权利要求1所述的监控系统与管理信息系统之间数据交互及数据建模方法，其特征是其中步骤a)进一步包括：

创建计量点方式数据存储模型，不再创建额外存储空间存储采集数据，利用已有监控数据，在存储逻辑上将实时系统数据存储模式映射至计量点时序模式；

自动创建模型，动态实时地从监控系统中提取计量点模型信息，并将计量点模型信息存储至数据库，计量点模型库根据存储方式分为数据库类模型库和文本类模型库。

3.如权利要求2所述的数据库类模型库自动创建方法，其特征是：系统定时查询监控系统的计量信息是否发生变化，若发生变化比较计量点模型和监控系统的最新计量点表，将变更信息更新至计量点模型库中，在数据库中保存模型更新日志，所有应用服务器的数据库模型共享同一模型库。

4.如权利要求2所述的文件类模型库自动创建方法，其特征是：

文件类数据库以文件方式存储在各应用服务器，该存储方式提供全文检索功能，对于检索功能具有较快的响应速度；

文件类模型库更新时，从数据库类模型库获取模型更新日志，根据日志判断模型是否发生变化并及时更新文件类模型库。

5.如权利要求1所述的监控系统与管理信息系统之间数据交互及数据建模方法，其特征是：其中步骤b)进一步包括：管理系统业务访问监控系统时，屏蔽了监控系统的异构性，将数据访问统一至计量点数据模型和数据访问接口。

6.如权利要求1所述的监控系统与管理信息系统之间数据交互及数据建模方法，其特征是：其中步骤c)进一步包括：制定代理器标准接口，智能代理负责维护所有数据交互代理器，引用某监控系统的数据时将监控代理器实现注册至智能代理；监控系统的数据交互代理器实现代理器标准接口，并与监控系统数据存储方式匹配即可。