CN102799555B - 电力信息系统中可配置数据交互工具的设计方法及其系统 - Google Patents
电力信息系统中可配置数据交互工具的设计方法及其系统 Download PDFInfo
- Publication number
- CN102799555B CN102799555B CN201210258077.XA CN201210258077A CN102799555B CN 102799555 B CN102799555 B CN 102799555B CN 201210258077 A CN201210258077 A CN 201210258077A CN 102799555 B CN102799555 B CN 102799555B
- Authority
- CN
- China
- Prior art keywords
- file
- data
- read
- write
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013461 design Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 25
- 230000002452 interceptive effect Effects 0.000 claims description 20
- 238000005065 mining Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 201000007094 prostatitis Diseases 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种电力信息系统中可配置数据交互工具的设计方法,该设计方法包括下述步骤:(1)E文件格式配置;(2)命名映射管理;(3)数据读取;(4)数据写出;(5)数据交互任务调度;(6)数据交互任务监控;(7)数据补采补传。本发明设计实现了一种配置化的电力信息系统数据交互工具,即通过文件周期、格式以及收发路径的配置实现E文件的读取或写出,实现电力信息系统中不同业务应用之间数据的灵活交互和共享。
Description
技术领域
本发明涉及电力自动化领域,具体涉及一种电力信息系统中可配置数据交互工具的设计方法及其系统。
背景技术
随着电网公司的信息化建设,越来越多的计算机技术支持系统用于电网的运行管理、分析决策等业务的技术支持。在实际应用中,每个系统都专注于电网运行的某一项或几项业务,系统之间往往需要进行电网模型及运行数据的共享,数据交互的需求必不可少。由于各系统的建设阶段、软件供应商的设计开发原则各异,数据结构以及相应的存储、检索方式不尽相同,另外,随着各信息系统的扩展和新系统的不断加入,需要交互的信息和数据也在不断变化。因此数据交互的设计和实施既要适应现有的信息交换需求,还得考虑未来的适应能力。
为满足电力系统数据模型的高效描述和大量在线数据的高效交换,电力系统的数据交互广泛采用数据模型描述语言--E语言作为数据描述。E语言采用基于文本文件的存贮和交换方式,独立于数据库和操作系统,适合描述电力系统复杂模型,应用于电力系统方式计算用电网设备模型和参数的描述、电网运行数据交换等领域。E文件的格式请见附件。为规范数据文件的格式,减少因为格式变化导致的数据写出和解析工作量。
前一发明(电力信息数据的物理、应用、时间三维属性建模机制)采用物理、应用、时间三维属性对电力信息数据进行标准化建模。对于这种数据结构而言,定义了数据的三维标签即可唯一确定该数据,设定数据的三维标签属性,调用统一的数据操作命令即可实现该数据的检索或存储。
发明内容
针对现有技术的不足,本发明提供一种电力信息系统中可配置数据交互工具的设计方法及其系统,本发明设计实现了一种配置化的电力信息系统数据交互工具,即通过文件周期、格式以及收发路径的配置实现E文件的读取或写出,实现电力信息系统中不同业务应用之间数据的灵活交互和共享。
本发明的目的是采用下述技术方案实现的:
一种电力信息系统中可配置数据交互工具的设计方法,其改进之处在于,所述设计方法包括下述步骤:
(1)E文件格式配置;
(2)命名映射管理;
(3)数据读取;
(4)数据写出;
(5)数据交互任务调度;
(6)数据交互任务监控;
(7)数据补采补传。
优选的,所述步骤(1)中,所述E文件格式配置完成对E文件的统一注册和信息配置;对E文件的信息配置包括文件的名称格式、周期类型、文件中输入输出的数据块、数据块中各列数据内容以及文件收发的频率、时间、路径设置。
较优选的,其中文件中输入输出的数据块名称的配置类型为物理标签、应用标签、时间戳或固定值;
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值。
较优选的,其中,数据块中各列数据内容的配置信息为物理标签、应用标签、时间戳或固定值;
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值。
优选的,所述步骤(2)中,所述命名映射管理是为实现E文件中数据的解析和传送过程中物理对象的一致,对各电力信息系统之间物理主体的命名规范进行映射管理,确保在通过文件进行数据交互时根据文件中的名称标识找到对应的物理主体。
优选的,所述步骤(3)中,所述数据读取是解析E文件进行数据读取,包括下述步骤:
A、查询E文件注册记录,获取E文件配置信息;
B、按照分隔配置信息将E文件分块,逐块读E文件;
C、判断是否到分块结束位置,是则读下一分块,否则读下一行记录。
D、循环读取E文件数据直至E文件结束,将读取到的标签数据序列入库;
E、E文件中所有数据读取完毕后,复制该E文件到设定的备份路径下以备查,并将读取路径下的E文件删除。
较优选的,所述步骤B包括下述步骤:
a、读块分隔文字,判断数据块名称的配置类型:
①是固定值,判断与配置的固定值是否匹配,是则继续进行一下步骤,否则跳转读下一分块;
②是物理标签,获得物理标签编码;
③是应用标签,获得应用标签编码;
④是时间戳,获得当前数据块对应的时间。
b、读记录行中的数据:
I、根据配置信息找到记录行中的固定值列,判断固定列的数据是否满足配置,是则继续进行步骤II,否则跳转读下一分块;
II、按次序读其他列,读配置为物理、应用或时间的列:
①是物理标签,从当前列中读取本行数据的物理标签;
②是应用标签,从配置信息中获取本列配置的应用标签编码,再从当前列中读取该应用标签对应的数据值;
③是时间戳,获得本行数据的时间;
III、当读完所有列后,按照应用标签的数量构造标签数据,分别设置它们的物理、应用标签、时间戳和数据值。
优选的,所述步骤(4)中,所述数据写出包括下述步骤:
i、查询E文件注册记录,获取E文件配置信息;
ii、根据文件周期、当前时间以及文件写出时间设置查询数据库,得到待写入数据文件的标签数据dataList;根据文件中数据块的名称格式对数据序列分组,将每组数据逐块写文件;
iii、数据块中各列的数据写完后,判断分组数据是否遍历结束,是则写下一分块,否则写下一行记录;
iv、所有分块的所有记录写完后,将E文件传送至配置信息中设定的路径。
较优选的,所述步骤ii包括下述步骤:
1)根据数据块的名称格式写块分隔文字:
j、数据块名称设置为固定值,则分隔文字为前缀-固定值;
k、数据块名称设置为应用标签,则取分组数据的各项dataItem的应用标签名;
m、数据块名称设置为物理标签,前缀-tag_phy对应的映射名;
n、数据块名称设置为时间戳,前缀-date_time格式化字符串;
2)遍历分组数据,根据配置类型写列数据:
w、是物理标签,tag_phy对应的映射名;
x、是应用标签,tag_app对应的应用标签名i;
y、是时间戳,date_time格式化字符串;
z、是固定值,配置的固定值。
优选的,所述步骤(5)中,负责所述数据交互任务调度的是后台常驻程序,所述后台常驻程序负责根据E文件的配置信息定时调起文件的读取或写出任务,显示任务执行过程中的输出信息,并记录相应的日志。
较优选的,所述步骤(5)中,所述数据交互任务调度包括E文件读取任务调度和E文件写出任务调度。
较优选的,所述E文件读取任务调度包括下述步骤:
一、查询接口E文件注册记录,获得需读取的E文件列表;
二、根据E文件列表中各个文件的读取路径,扫描这些路径下是否有待解析的文件:若有则启动相应的读取流程;在一个读取任务启动后,设置锁定标志位,等到该文件读取完成后标志位才能被解锁,防止多个同类文件读取任务同时被启动而造成异常。
较优选的,所述E文件写出任务调度包括下述步骤:
查询接口E文件注册记录,获得需写出的E文件列表;
根据E文件列表中各个文件的周期属性和写出时间设置,计算出文件下一次写出任务的启动时间;
按照设定的频率比较系统时间和文件的下一次任务启动时间,若相同则启动相应的写出逻辑。在一个写出任务启动后,设置锁定标志位,等到该文件写出完成后标志位才能被解锁,防止多个同类文件写出任务同时被启动而造成异常。
优选的,所述数据交互状态监控包括E文件的读取或写出任务执行过程的过程信息;所述过程信息包括文件名称、文件读取或写出的时间、文件读取或写出任务是否成功完成和文件的处理行数。
优选的,所述数据补采补传用于实现E文件解析或写出任务的手工调度以完成数据的交互。
本发明基于另一目的提供的一种电力信息系统可配置数据交互工具系统,其改进之处在于,所述系统包括:
配置模块:用于完成E文件的周期、收发路径和文件格式、待交互数据内容的设置;
命名映射管理模块:用于实现E文件中数据的解析口径的一致,对不同应用、不同系统之间物理主体的命名规范进行映射管理的模块;
数据读取模块:根据E文件周期、接收路径和文件格式、数据内容参数,用于完成E文件数据解析入库的流程设计;
数据写出模块:根据E文件周期、发送路径和文件格式、数据内容参数,用于完成数据查询和文件生成的流程设计;
数据交互任务调度模块:根据E文件的周期属性和读取或写出时间设置,定时调起相应的E文件读取或写出服务;
数据交互状态监控模块:用于对E文件的读取或写出情况进行监控,根据E文件的周期属性展示指定时间段内需读取或写出的E文件的实际执行情况,给出相应的日志信息;
数据补采补传模块:用于手工读取或写出E文件。
与现有技术比,本发明达到的有益效果是:
1、本发明涉及一种可配置的电力信息系统数据交互工具,基于电力信息数据的特点,根据物理、应用、时间三维标签数据的标准化定位机制设计了E文件的参数配置和数据的自动读、写流程,实现了电力信息系统之间可配置的数据交互。
2、本发明突出的特点在于电力信息系统之间数据交互的配置化实现,当数据交互需求变化时,仅通过调整配置信息即可增加或修改需交互的数据,有效地避免了由于数据交互需求变化导致的重复开发和调试工作,显著提高了电力信息系统中数据交互功能的适应能力。
附图说明
图1是本发明提供的电力信息系统中可配置数据交互工具的设计方法的流程示意图;
图2是本发明提供的配置模块界面示意图;
图3是本发明提供的数据读取流程图;
图4是本发明提供的数据写出流程图;
图5是本发明提供的数据任务调度显示界面图;
图6是本发明提供的数据交互状态监视界面图;
图7是本发明提供的可配置数据交互工具用于电力信息系统数据交互的实施方案示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
本发明在对电力系统运营数据进行物理、应用、时间三维建模基础上,根据标准化的数据格式设计E文件参数配置工具和E文件的自动读写逻辑流程,并通过后台的自动任务调度程序实现了E文件的定时读取或写出功能,本发明提供的一种电力信息系统中可配置数据交互工具系统,包含如下功能模块:
(1)配置模块。用于E文件的周期、收发路径和文件格式、待交互数据内容的设置;配置模块界面显示如图2所示。
(2)命名映射管理模块,即为实现E文件中数据的解析口径的一致,对不同应用、不同系统之间物理主体的命名规范进行映射管理的模块;
(3)数据读取模块,即根据E文件周期、接收路径和文件格式、数据内容等参数进行文件数据解析入库的流程设计;
(4)数据写出模块,即根据E文件周期、发送路径和文件格式、数据内容等参数进行数据查询和文件生成的流程设计;
(5)数据交互任务调度模块,即后台的常驻程序,根据E文件的周期属性和读取或写出时间设置,定时调起相应的E文件读取或写出服务;
(6)数据交互状态监控模块,即对各类E文件的读取或写出情况进行监控,根据E文件的周期属性展示指定时间段内需读取或写出的E文件的实际执行情况,必要时给出相应的日志信息。
(7)数据补采补传模块,即手工读取或写出E文件的功能,根据用户选定的时间区间和文件类型,重新调起相关E文件的处理任务。
E文件格式如下所示:
<统调机组日发电量>
</统调机组日发电量>
本发明提供的电力信息系统中可配置数据交互工具的设计方法,其工作流程如图1所示。包括下述步骤:
(1)E文件格式配置;
E文件格式配置通过配置模块实现。配置模块完成对E文件的统一注册和信息配置。对E文件的信息配置包括文件的名称格式、周期类型、文件中输入输出的数据块、数据列(参看附件中的E文件格式)数据内容以及文件收发的频率、时间、路径设置等。文件内容的配置信息如下:
文件名称格式;
文件中数据块名称格式;
数据块名称的配置类型(物理/应用/时间/固定值/无):
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值;
数据块中各列的配置信息(物理/应用/时间/固定值/无):
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值。
(2)命名映射管理;
命名映射管理通过命名映射管理模块实现。各电力信息系统之间由于设计原则、编码生成方式的差异,对同一物理设备的命名各不相同,为实现E文件中数据的解析和传送过程中物理对象的一致,需要对不同系统之间物理主体的命名规范进行映射管理。本模块实现对接口系统类型的管理和本系统中注册的各类物理主体在各个接口系统中的映射名称的维护。
在E文件读取流程中,将按照文件配置信息中物理主体的映射系统类型、文件中的物理主体名称反查出该物理主体在本系统中的编码,然后构造本系统中的三维数据结构完成数据的入库。
在E文件写出流程中,将按照文件配置信息中物理主体的映射系统类型、本系统中的物理主体编码查询出该物理主体在接口系统中的名称写入文件。
(3)数据读取;
数据读取流程设计通过数据读取模块实现。数据读取流程如图3所示。解析E文件进行数据读取的流程设计包括如下步骤:
A、查询文件注册记录,获取文件配置信息;
B、按照分隔配置信息将文件分块,逐块读文件;
a、读块分隔文字,去除前缀后,根据配置信息获取相应的信息,包括:
①是固定值,判断与配置的固定值是否匹配,否则继续读下一分块;
②是物理标签,获得物理标签编码;
③是应用标签,获得应用标签编码;
④是时间戳,获得当前数据块对应的时间。
b、读记录行中的固定值列:
首先判断定义为固定值的各列数据是否满足配置,是则继续进行一下步骤,否则跳转读下一分块;
读配置为物理/应用/时间的列:
I、是物理标签,从当前列中读取本行数据的物理标签;
II、是应用标签,从配置信息中获取本列配置的应用标签编码,再从当前列中读取该应用标签对应的数据值;
III、是时间戳,获得本行数据的时间;
IV、当读完所有列后,按照应用标签的数量构造标签数据,分别设置它们的物理、应用标签、时间戳和数据值。
C、判断是否到分块结束位置,是则读下一分块,否则读下一行记录。
D、循环读取文件数据直至文件结束,将读取到的标签数据序列入库。
E、文件中所有数据读取完毕后,复制该文件到设定的备份路径下以备查,并将读取路径下的文件删除。
(4)数据写出;
数据写出通过数据写出模块实现。数据写出流程如图4所示.数据写出至E文件的流程设计包括如下步骤:
i、查询文件注册记录,获取文件配置信息。
ii、根据文件周期、当前时间以及文件写出时间设置查询数据库,得到待写入数据文件的标签数据dataList。根据文件中数据块的名称格式对数据序列分组,然后将每组数据逐块写文件。
1)根据数据块的名称格式写块分隔文字,包括:
j、数据块名称设置为固定值,则分隔文字为前缀+固定值;
k、数据块名称设置为应用标签,则取分组数据的各项dataItem的应用标签名(此时数据序列按照应用标签分组,因此组内的各数据项应用标签相同);
m、数据块名称设置为物理标签,前缀+tag_phy对应的映射名;
n、数据块名称设置为时间戳,前缀+date_time格式化字符串。
2)遍历分组数据,根据配置内容写列数据,包括:
w、是物理标签,tag_phy对应的映射名;
x、是应用标签,tag_app对应的应用标签名i;
y、是时间戳,date_time格式化字符串;
z、是固定值,配置的固定值。
iii、数据块中各列的数据写完后,判断分组数据是否遍历结束,是则写下一分块,否则写下一行记录。
iv、所有分块的所有记录写完后,将文件传送至配置信息中设定的路径。
(5)数据交互任务调度;
数据交互任务调度通过数据交互任务调度模块实现。任务调度部署为后台的常驻程序,它负责根据文件的配置信息定时调起文件的读取或写出任务,显示任务执行过程中必要的输出信息,并记录相应的日志。数据交互任务调度显示界面如图5所示。
一、文件读取任务调度:
查询接口E文件注册记录,获得需读取的E文件列表,根据其中各个文件的读取路径,扫描这些路径下是否有待解析的文件,若有则启动相应的读取流程。在一个读取任务启动后,设置锁定标志位,等到该文件读取完成后标志位才能被解锁,防止多个同类文件读取任务同时被启动而造成异常。
二、文件读取任务调度:
查询接口E文件注册记录,获得需写出的E文件列表,根据其中各个文件的周期属性和写出时间设置,计算出文件下一次写出任务的启动时间。按照设定的频率比较系统时间和文件的下一次任务启动时间,若相同则启动相应的写出逻辑。在一个写出任务启动后,设置锁定标志位,等到该文件写出完成后标志位才能被解锁,防止多个同类文件写出任务同时被启动而造成异常。
(6)数据交互任务监控;
数据交互任务监控通过数据交互任务监控模块实现。数据交互状态监视界面如图6所示。正常情况下,数据交互通过后台的任务调度程序自动掉启用E文件的读取或写出任务进行,无需人工干预,用户通过数据交互状态监视来了解E文件的读取或传输情况。状态监视模块还负责记录E文件的读取或写出任务执行过程的过程信息,包括文件名称、文件读取或写出的时间、文件读取或写出任务是否成功完成、文件的处理行数等,如读取或写出过程出现异常,发生异常时还将记录异常信息,包括异常出现的行数、异常出现的原因、异常抛出字符串等。
(7)数据补采补传;
数据补采补传通过数据补采补传模块实现。任务调度驻程序实现E文件解析或写出任务的调度执行,当自动调度任务执行过程发生异常或由于其他原因需要文件重新处理时,可采用文件的补采补传实现E文件解析或写出任务的手工调度以完成数据的交互。文件补采时由于原接收路径下的文件在首次读取完成后被删除,因此补采之前先在文件的备份路径下将指定时间区间中所有的文件复制到接收路径下,然后再启动文件读取任务。
实施例
本发明的可配置数据交互工具用于电力信息系统数据交互的实施方案如图7所示。该案例中,可配置的数据交互工具部署在安全III区的A系统中,通过工具的E文件写出功能将A系统中的数据按照文件的配置信息生成相应的数据文件,经由反向隔离装置送至安全II区的B系统;B系统的输出数据在生成E文件后通过正向隔离装置送至安全III区,再由可配置的数据交互工具的文件解析功能按照E文件的配置信息对文件进行解析并将数据入库,实现A、B两个系统的双向数据交互。
本发明提供的电力信息系统中可配置数据交互工具的设计方法,通过E文件格式和文件中数据内容的设置以及定时的文件自动读取、写出逻辑设计实现了电力信息数据在不同系统之间的自由交互。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种电力信息系统中可配置数据交互工具的设计方法,其特征在于,所述设计方法包括下述步骤:
(1)E文件格式配置;
(2)命名映射管理;
(3)数据读取;
(4)数据写出;
(5)数据交互任务调度;
(6)数据交互任务监控;
(7)数据补采补传;
所述步骤(1)中, 所述E文件格式配置完成对E文件的统一注册和信息配置;对E文件的信息配置包括文件的名称格式、周期类型、文件中输入输出的数据块、数据块中各列数据内容以及文件收发的频率、时间、路径设置;
所述步骤(2)中,所述命名映射管理是为实现E文件中数据的解析和传送过程中物理对象的一致,对各电力信息系统之间物理主体的命名规范进行映射管理,确保在通过文件进行数据交互时根据文件中的名称标识找到对应的物理主体;
所述步骤(3)中, 所述数据读取是解析E文件进行数据读取,包括下述步骤:
A、查询E文件注册记录,获取E文件配置信息;
B、按照分隔配置信息将E文件分块,逐块读E文件;
C、判断是否到分块结束位置,是则读下一分块,否则读下一行记录;
D、循环读取E文件数据直至E文件结束,将读取到的标签数据序列入库;
E、E文件中所有数据读取完毕后,复制该E文件到设定的备份路径下以备查,并将读取路径下的E文件删除;
所述步骤(4)中, 所述数据写出包括下述步骤:
i、查询E文件注册记录,获取E文件配置信息;
ii、根据文件周期、当前时间以及文件写出时间设置查询数据库,得到待写入数据文件的标签数据dataList;根据文件中数据块的名称格式对数据序列分组,将每组数据逐块写文件;
iii、数据块中各列的数据写完后,判断分组数据是否遍历结束,是则写下一分块,否则写下一行记录;
iv、所有分块的所有记录写完后,将E文件传送至配置信息中设定的路径;
所述步骤(5)中,负责所述数据交互任务调度的是后台常驻程序,所述后台常驻程序负责根据E文件的配置信息定时调起文件的读取或写出任务,显示任务执行过程中的输出信息,并记录相应的日志;
所述数据交互状态监控包括E文件的读取或写出任务执行过程的过程信息;所述过程信息包括文件名称、文件读取或写出的时间、文件读取或写出任务是否成功完成和文件的处理行数;
所述数据补采补传用于实现E文件解析或写出任务的手工调度以完成数据的交互。
2.如权利要求1所述的可配置数据交互工具的设计方法,其特征在于,其中文件中输入输出的数据块名称的配置类型为物理标签、应用标签、时间戳或固定值;
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值。
3.如权利要求1所述的可配置数据交互工具的设计方法,其特征在于,其中,数据块中各列数据内容的配置信息为物理标签、应用标签、时间戳或固定值;
若为物理标签,设定映射转换的接口系统;
若为应用标签,设定应用标签码;
若为时间戳,设定时间字符串格式;
若为固定值,设定固定值。
4.如权利要求1所述的可配置数据交互工具的设计方法,其特征在于,所述步骤B包括下述步骤:
a、读块分隔文字,判断数据块名称的配置类型:
①是固定值,判断与配置的固定值是否匹配,是则继续进行一下步骤,否则跳转读下一分块;
②是物理标签,获得物理标签编码;
③是应用标签,获得应用标签编码;
④是时间戳,获得当前数据块对应的时间;
b、读记录行中的数据:
I、根据配置信息找到记录行中的固定值列,判断固定列的数据是否满足配置,是则继续进行步骤II,否则跳转读下一分块;
II、按次序读其他列,读配置为物理、应用或时间的列:
①是物理标签,从当前列中读取本行数据的物理标签;
②是应用标签,从配置信息中获取本列配置的应用标签编码,再从当前列中读取该应用标签对应的数据值;
③是时间戳,获得本行数据的时间;
III、当读完所有列后,按照应用标签的数量构造标签数据,分别设置它们的物理、应用标签、时间戳和数据值。
5.如权利要求1所述的可配置数据交互工具的设计方法,其特征在于,所述步骤ii包括下述步骤:
1)根据数据块的名称格式写块分隔文字:
j、数据块名称设置为固定值,则分隔文字为前缀-固定值;
k、数据块名称设置为应用标签,则取分组数据的各项dataItem的应用标签名;
m、数据块名称设置为物理标签,前缀-tag_phy对应的映射名;
n、数据块名称设置为时间戳,前缀- date_time格式化字符串;
2)遍历分组数据,根据配置类型写列数据:
w、是物理标签,tag_phy对应的映射名;
x、是应用标签,tag_app对应的应用标签名i;
y、是时间戳,date_time格式化字符串;
z、是固定值,配置的固定值。
6.如权利要求1所述的可配置数据交互工具的设计方法,其特征在于,所述步骤(5)中,所述数据交互任务调度包括E文件读取任务调度和E文件写出任务调度。
7.如权利要求6所述的可配置数据交互工具的设计方法,其特征在于,所述E文件读取任务调度包括下述步骤:
一、查询接口E文件注册记录,获得需读取的E文件列表;
二、根据E文件列表中各个文件的读取路径,扫描这些路径下是否有待解析的文件:若有则启动相应的读取流程;在一个读取任务启动后,设置锁定标志位,等到该文件读取完成后标志位才能被解锁,防止多个同类文件读取任务同时被启动而造成异常。
8.如权利要求6所述的可配置数据交互工具的设计方法,其特征在于,所述E文件写出任务调度包括下述步骤:
查询接口E文件注册记录,获得需写出的E文件列表;
根据E文件列表中各个文件的周期属性和写出时间设置,计算出文件下一次写出任务的启动时间;
按照设定的频率比较系统时间和文件的下一次任务启动时间,若相同则启动相应的写出逻辑;在一个写出任务启动后,设置锁定标志位,等到该文件写出完成后标志位才能被解锁,防止多个同类文件写出任务同时被启动而造成异常。
9.一种电力信息系统可配置数据交互工具系统,其特征在于,所述系统包括:
配置模块:用于完成E文件的周期、收发路径和文件格式、待交互数据内容的设置;E文件格式配置完成对E文件的统一注册和信息配置;对E文件的信息配置包括文件的名称格式、周期类型、文件中输入输出的数据块、数据块中各列数据内容以及文件收发的频率、时间、路径设置;
命名映射管理模块:用于实现E文件中数据的解析口径的一致,对不同应用、不同系统之间物理主体的命名规范进行映射管理的模块;命名映射管理是为实现E文件中数据的解析和传送过程中物理对象的一致,对各电力信息系统之间物理主体的命名规范进行映射管理,确保在通过文件进行数据交互时根据文件中的名称标识找到对应的物理主体;
数据读取模块:根据E文件周期、接收路径和文件格式、数据内容参数,用于完成E文件数据解析入库的流程设计;数据读取是解析E文件进行数据读取,包括下述步骤:
A、查询E文件注册记录,获取E文件配置信息;
B、按照分隔配置信息将E文件分块,逐块读E文件;
C、判断是否到分块结束位置,是则读下一分块,否则读下一行记录;
D、循环读取E文件数据直至E文件结束,将读取到的标签数据序列入库;
E、E文件中所有数据读取完毕后,复制该E文件到设定的备份路径下以备查,并将读取路径下的E文件删除;
数据写出模块:根据E文件周期、发送路径和文件格式、数据内容参数,用于完成数据查询和文件生成的流程设计;数据写出包括下述步骤:
i、查询E文件注册记录,获取E文件配置信息;
ii、根据文件周期、当前时间以及文件写出时间设置查询数据库,得到待写入数据文件的标签数据dataList;根据文件中数据块的名称格式对数据序列分组,将每组数据逐块写文件;
iii、数据块中各列的数据写完后,判断分组数据是否遍历结束,是则写下一分块,否则写下一行记录;
iv、所有分块的所有记录写完后,将E文件传送至配置信息中设定的路径;
数据交互任务调度模块:根据E文件的周期属性和读取或写出时间设置,定时调起相应的E文件读取或写出服务;负责所述数据交互任务调度的是后台常驻程序,所述后台常驻程序负责根据E文件的配置信息定时调起文件的读取或写出任务,显示任务执行过程中的输出信息,并记录相应的日志;
数据交互状态监控模块:用于对E文件的读取或写出情况进行监控,根据E文件的周期属性展示指定时间段内需读取或写出的E文件的实际执行情况,给出相应的日志信息;所述数据交互状态监控包括E文件的读取或写出任务执行过程的过程信息;所述过程信息包括文件名称、文件读取或写出的时间、文件读取或写出任务是否成功完成和文件的处理行数;
数据补采补传模块:用于手工读取或写出E文件;所述数据补采补传用于实现E文件解析或写出任务的手工调度以完成数据的交互。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210258077.XA CN102799555B (zh) | 2012-07-24 | 2012-07-24 | 电力信息系统中可配置数据交互工具的设计方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210258077.XA CN102799555B (zh) | 2012-07-24 | 2012-07-24 | 电力信息系统中可配置数据交互工具的设计方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102799555A CN102799555A (zh) | 2012-11-28 |
CN102799555B true CN102799555B (zh) | 2014-03-12 |
Family
ID=47198668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210258077.XA Active CN102799555B (zh) | 2012-07-24 | 2012-07-24 | 电力信息系统中可配置数据交互工具的设计方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102799555B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867888A (zh) * | 2015-01-22 | 2016-08-17 | 天津金牛电源材料有限责任公司 | 一种基于vba的锂电池循环数据管理系统及其使用方法 |
CN107305580A (zh) * | 2016-04-25 | 2017-10-31 | 西门子公司 | 一种数据调度的方法及装置 |
CN106707883A (zh) * | 2017-02-10 | 2017-05-24 | 上海蔚来汽车有限公司 | 移动充电车补能控制系统及数据交互单元 |
CN108804606B (zh) * | 2018-05-29 | 2021-08-31 | 上海欣能信息科技发展有限公司 | 一种电力量测类数据迁移到HBase的方法及系统 |
CN110134563A (zh) * | 2019-01-16 | 2019-08-16 | 中国银联股份有限公司 | 一种对信息系统进行监控的监控方法以及监控系统 |
CN110321379A (zh) * | 2019-07-01 | 2019-10-11 | 中国南方电网有限责任公司 | 调频辅助服务市场出清文件的解析方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101686246A (zh) * | 2008-09-27 | 2010-03-31 | 国家电力调度通信中心 | 一种用于大规模信息交换和处理的数据模型描述方法 |
CN101877500B (zh) * | 2009-04-30 | 2014-06-25 | 北京科东电力控制系统有限责任公司 | 面向互联电力系统的分层分解时空协调建模方法 |
CN102496075B (zh) * | 2011-11-08 | 2015-11-11 | 中国电力科学研究院 | 一种基于内存的在线数据整合方法 |
-
2012
- 2012-07-24 CN CN201210258077.XA patent/CN102799555B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102799555A (zh) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102799555B (zh) | 电力信息系统中可配置数据交互工具的设计方法及其系统 | |
CN103379159B (zh) | 一种分布式Web站点数据同步的方法 | |
CN102955845B (zh) | 数据访问方法、装置与分布式数据库系统 | |
CN102999584B (zh) | 电力gis跨平台空间数据服务方法及系统 | |
CN101252471A (zh) | 一种分布式自动化测试系统及其方法 | |
CN103631596A (zh) | 业务对象数据录入及更新规则的配置装置和配置方法 | |
CN102081611A (zh) | 一种主、备网管系统数据库同步的实现方法及装置 | |
CN102981933A (zh) | 物联网感知层的数据增量备份方法及系统 | |
CN104517181A (zh) | 一种核电站企业内容管理系统及方法 | |
CN111274223A (zh) | 一种一键部署大数据和深度学习容器云平台及其构建方法 | |
CN102917009A (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
CN102306355A (zh) | 一种it运维配置管理系统 | |
CN103902405A (zh) | 一种准连续性数据复制方法及装置 | |
CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
US9269113B2 (en) | Energy management system and a screen generation method thereof | |
CN115759955A (zh) | 一种基于区块链的业务流程执行引擎 | |
CN117851163A (zh) | 一种基于自研openstack平台的服务巡检工具 | |
CN103809946A (zh) | 一种基于xml和中间件的异构数据库集成的方法 | |
CN107239601B (zh) | 一种基于组态技术的配电终端灵活配置方法 | |
CN117827970A (zh) | 图数据库的数据同步方法、装置、设备及存储介质 | |
CN110533320B (zh) | 一种基于Hadoop平台的电力设备停电计划编制方法 | |
CN117389545A (zh) | 一种基于低代码构建建筑行业智慧工地应用的方法 | |
CN117235178A (zh) | 一种基于区块链技术和大数据的数据同步调度管控系统 | |
CN117290449A (zh) | 语句级别日志的数据库幂等性数据增量同步方法和系统 | |
CN109074403A (zh) | 运用管理装置、运用管理方法以及运用管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |