CN112861499A - 一种面向电网调度及电力市场应用的多源数据统计方法 - Google Patents

一种面向电网调度及电力市场应用的多源数据统计方法 Download PDF

Info

Publication number
CN112861499A
CN112861499A CN202011401582.6A CN202011401582A CN112861499A CN 112861499 A CN112861499 A CN 112861499A CN 202011401582 A CN202011401582 A CN 202011401582A CN 112861499 A CN112861499 A CN 112861499A
Authority
CN
China
Prior art keywords
data
text
judging whether
file
data file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011401582.6A
Other languages
English (en)
Inventor
罗烨锋
肖艳炜
孙珂
徐立中
裘雨音
张东波
郑远德
王周虹
郑子淮
洪蕾
朱轶伦
任颖
陈敏志
付小平
王林童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202011401582.6A priority Critical patent/CN112861499A/zh
Publication of CN112861499A publication Critical patent/CN112861499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域,尤其涉及一种面向电网调度及电力市场应用的多源数据统计方法,包括:与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库;对数据文件进行校验;若校验通过,则从校验通过的数据文件中提取文本数据;根据需求定义对应的模板,并将文本数据填入对应的模板中。本发明的有益效果:实现了适用于电力市场、调度应用的多源数据的方便提取、整理和报表生成,还实现了对自动获取的数据正确性的校验。

Description

一种面向电网调度及电力市场应用的多源数据统计方法
技术领域
本发明涉及数据处理领域,尤其涉及一种面向电网调度及电力市场应用的多源数据统计方法。
背景技术
电力市场统计数据、调度和监控日常工作所需各类数据,需要从多个数据源中提取及整理,如OPEN3000、D5000系统、调控云平台、电力市场数据报表系统等,并且经常需要调整数据需求和表格格式,多数据源的海量数据获取和统计使得工作变得繁琐,工作人员在数据统计的过程中需要耗费大量的时间,工作负担大且效率低下,还容易出错。虽然重复性的工作可以通过office自带的宏命令完成部分工作,然而难以满足办公过程中多样化的报表格式要求。
发明内容
为解决上述问题,本发明提出一种面向电网调度及电力市场应用的多源数据统计方法。
一种面向电网调度及电力市场应用的多源数据统计方法,包括:
与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库;
对数据文件进行校验;
若校验通过,则从校验通过的数据文件中提取文本数据;
根据需求定义对应的模板,并将文本数据填入对应的模板中。
优选的,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
对各数据源分别设置触发同步时间,当到触发同步时间时,对应数据源将数据文件传输到本地数据库。
优选的,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
所述多数据源利用ftp协议将数据文件传输到本地服务器。
优选的,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
对获取的数据文件进行分析,并根据关键字存入本地数据库中。
优选的,所述从校验通过的数据文件中提取文本数据包括:
判断数据文件是否通过网络通道填写:
若是,则判断网络通信是否正常,若不正常,则发出出现网络通讯失败告警,并判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警;若正常,则从相应的数据文件中提取文本数据;
若否,则判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警。
优选的,所述从校验通过的数据文件中提取文本数据包括:
判断数据文件中的文本变量分割符是否符合语法;
若不符合,则输出错误内容;若符合,则根据文本变量分隔符切割出固定语句,并将文本变量添加至处理任务列表;
判断任务是否完成:
若任务未完成,则从处理任务列表中取出一条处理任务,读取其中的文本数据,并将读取的文本数据根据格式要求进行转换,再返回判断任务是否完成;
若任务完成,则将文本数据输出至文本浏览框,并判断是否需要填入相应空格位置,若需要,则根据处理任务列表依次修改文本字体,并将文本数据输出至相应位置,若不需要,则结束流程。
优选的,所述根据需求定义对应的模板,并将文本数据填入对应的模板中包括:
根据需求设定偏移量及各规则条目;
判断偏移量、各规则条目是否合法;
若不合法,则将错误内容写至告警框;若合法,则根据偏移量获取各规则条目的数据目标位置;
判断任务是否完成:
若未完成,则取出一条处理规则,并按照格式切割出数据源信息与数据处理信息,根据数据源信息读取相应数据目标位置的文本数据,根据数据处理信息对读取的文本数据进行相应处理,判断数据校验是否通过,若未通过,则将错误信息加至告警框,若通过,则返回判断任务是否完成;
若完成,则判断文本数据是否正确,若正确,则将所有文本数据按照规则填入指定数据目标位置,若不正确,则结束流程。
本发明的有益效果:多数据源建立连接,并获取多数据源的数据文件存储在本地数据库;对数据文件进行校验;若校验通过,则从校验通过的数据文件中提取文本数据;根据需求选择对应的模板,并将文本数据填入对应的模板中,实现了适用于电力市场、调度应用的多源数据的方便提取、整理和报表生成,还实现了对自动获取的数据正确性的校验。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法流程示意图;
图2是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中读取数据文件的流程示意图;
图3是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中提取文本数据的流程示意图;
图4是本发明实施例一种面向电网调度及电力市场应用的多源数据统计方法中文本数据填入的流程示意图。
具体实施方式
以下结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
本发明的基本思想是提供一种面向电网调度及电力市场应用的多源数据统计方法,部署在电力市场或电力调度系统工作站上,工作人员不需要在多数据源的海量数据中查询所需数据,能自动获取多种数据源文本生成统计报表,同时对自动获取的数据正确性进行校验,提高了工作效率,减轻了工作人员的负担。
基于上述思想,本发明实施例提出一种面向电网调度及电力市场应用的多源数据统计方法,如图1所示,包括以下步骤:
S1:与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库。
多数据源包括OPEN3000、D5000系统、调控云平台、电力市场数据报表等系统。配置OPEN3000、D5000系统、调控云平台、电力市场数据报表等系统登录用户,以用户登录接口建立连接。
在本实施例中,对各数据源分别设置触发同步时间,当到触发同步时间时,对应数据源将数据文件传输到本地数据库。对各数据源可以设置相同的触发同步时间,对数据文件集中处理。考虑到系统数据处理能力有限,也可以对各数据源分别设置不同的触发同步时间,以减小系统处理的压力。
在本实施例中,多数据源利用ftp协议将数据文件传输到本地服务器。文件传输协议(File Transfer Protocol,FTP)是一种提供网络之间共享文件的协议,它可以在计算机之间可靠、高效地传送文件。在传输时,传输双方的操作系统、磁盘文件系统类型可以不同。
在本实施例中,对获取的数据文件进行分析,并根据关键字存入本地数据库中。数据文件根据关键字存入本地数据库,当需要搜索数据文件时,则只需要对关键字进行搜索,就能够找到目标数据文件,提高了数据查询的效率。
S2:对数据文件进行校验。
为保证数据源的正确性,需要添加数据正确性校验这一步骤,解决人工校验效率低下的问题。本发明已预置了数据重复和数据差别过大的校验步骤。当覆盖后的数据与记录数据相同,则会判断为数据未更新;当覆盖后的数据与记录数据差别过大,则会判断为数据源出错。出错后,所有填写工作将取消,并将所有错误数据源定位后显示在告警框内,便于操作人员进行后续处理。
在本实施例中,通过对数据文件的正确性进行校验保证了数据正确性。
S3:若校验通过,则从校验通过的数据文件中提取文本数据。
在编写数据读取规则时,当设定数据为网络获取时,在填写表格、生成文本过程中将优先从网络获取相应数据;当网络连接失败、数据读取错误时,会自动从本地读取相应文件、数据内容。如图2所示,具体步骤如下:
判断数据文件是否通过网络通道填写:若是,则判断网络通信是否正常,若不正常,则发出出现网络通讯失败告警,并判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警;若正常,则从相应的数据文件中提取文本数据;若否,则判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警。
如图3所示,具体的文本数据提取还包括以下步骤:
判断数据文件中的文本变量分割符是否符合语法;若不符合,则输出错误内容;若符合,则根据文本变量分隔符切割出固定语句,并将文本变量添加至处理任务列表;判断任务是否完成:若任务未完成,则从处理任务列表中取出一条处理任务,读取其中的文本数据,并将读取的文本数据根据格式要求进行转换,再返回判断任务是否完成;若任务完成,则将文本数据输出至文本浏览框,并判断是否需要填入相应空格位置,若需要,则根据处理任务列表依次修改文本字体,并将文本数据输出至相应位置,若不需要,则结束流程。
本发明实现了对本地及网络文件、数据的读取,在一个平台上即可实现多源数据的提取工作,省去了到各个数据源下载数据的繁琐流程。
S4:根据需求选择对应的模板,并将文本数据填入对应的模板中。
如图4所示,具体包括以下步骤:根据需求设定偏移量及各规则条目;判断偏移量、各规则条目是否合法;若不合法,则将错误内容写至告警框;若合法,则根据偏移量获取各规则条目的数据目标位置;判断任务是否完成:若未完成,则取出一条处理规则,并按照格式切割出数据源信息与数据处理信息,根据数据源信息读取相应数据目标位置的文本数据,根据数据处理信息对读取的文本数据进行相应处理,判断数据校验是否通过,若未通过,则将错误信息加至告警框,若通过,则返回判断任务是否完成;若完成,则判断文本数据是否正确,若正确,则将所有文本数据按照规则填入指定数据目标位置,若不正确,则结束流程。
在本实施例中,规则为能让后台读取识别的语法,用户一般是通过界面自动生成的,比如输入两格表格位置后,点添加按钮,就会生成一条规则。偏移量是根据基准位置下移/右移多少格子数。通过设定偏移量及各规则条目以实现自定义模板。
本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,包括:
与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库;
对数据文件进行校验;
若校验通过,则从校验通过的数据文件中提取文本数据;
根据需求定义对应的模板,并将文本数据填入对应的模板中。
2.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
对各数据源分别设置触发同步时间,当到触发同步时间时,对应数据源将数据文件传输到本地数据库。
3.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
所述多数据源利用ftp协议将数据文件传输到本地服务器。
4.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述与多数据源建立连接,并获取多数据源的数据文件存储在本地数据库包括:
对获取的数据文件进行分析,并根据关键字存入本地数据库中。
5.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述从校验通过的数据文件中提取文本数据包括:
判断数据文件是否通过网络通道填写:
若是,则判断网络通信是否正常,若不正常,则发出出现网络通讯失败告警,并判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警;若正常,则从相应的数据文件中提取文本数据;
若否,则判断本地数据库中是否找到相应的数据文件,若是,则从相应的数据文件中提取文本数据,若否,则发出出现数据文件读取失败的告警。
6.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述从校验通过的数据文件中提取文本数据包括:
判断数据文件中的文本变量分割符是否符合语法;
若不符合,则输出错误内容;若符合,则根据文本变量分隔符切割出固定语句,并将文本变量添加至处理任务列表;
判断任务是否完成:
若任务未完成,则从处理任务列表中取出一条处理任务,读取其中的文本数据,并将读取的文本数据根据格式要求进行转换,再返回判断任务是否完成;
若任务完成,则将文本数据输出至文本浏览框,并判断是否需要填入相应空格位置,若需要,则根据处理任务列表依次修改文本字体,并将文本数据输出至相应位置,若不需要,则结束流程。
7.根据权利要求1所述的一种面向电网调度及电力市场应用的多源数据统计方法,其特征在于,所述根据需求定义对应的模板,并将文本数据填入对应的模板中包括:
根据需求设定偏移量及各规则条目;
判断偏移量、各规则条目是否合法;
若不合法,则将错误内容写至告警框;若合法,则根据偏移量获取各规则条目的数据目标位置;
判断任务是否完成:
若未完成,则取出一条处理规则,并按照格式切割出数据源信息与数据处理信息,根据数据源信息读取相应数据目标位置的文本数据,根据数据处理信息对读取的文本数据进行相应处理,判断数据校验是否通过,若未通过,则将错误信息加至告警框,若通过,则返回判断任务是否完成;
若完成,则判断文本数据是否正确,若正确,则将所有文本数据按照规则填入指定数据目标位置,若不正确,则结束流程。
CN202011401582.6A 2020-12-02 2020-12-02 一种面向电网调度及电力市场应用的多源数据统计方法 Pending CN112861499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011401582.6A CN112861499A (zh) 2020-12-02 2020-12-02 一种面向电网调度及电力市场应用的多源数据统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011401582.6A CN112861499A (zh) 2020-12-02 2020-12-02 一种面向电网调度及电力市场应用的多源数据统计方法

Publications (1)

Publication Number Publication Date
CN112861499A true CN112861499A (zh) 2021-05-28

Family

ID=75996895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011401582.6A Pending CN112861499A (zh) 2020-12-02 2020-12-02 一种面向电网调度及电力市场应用的多源数据统计方法

Country Status (1)

Country Link
CN (1) CN112861499A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144174A1 (en) * 2001-03-15 2002-10-03 Nwabueze E. Kenneth Methods for dynamically accessing , processing, and presenting data acquired from disparate data sources
CN103699555A (zh) * 2013-07-03 2014-04-02 国电南瑞科技股份有限公司 一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法
CN105046344A (zh) * 2015-05-15 2015-11-11 北京科东电力控制系统有限责任公司 面向智能电网调度技术支持系统的主站数据质量优化方法
CN111539633A (zh) * 2020-04-26 2020-08-14 北京思特奇信息技术股份有限公司 一种业务数据质量的稽核方法、系统、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144174A1 (en) * 2001-03-15 2002-10-03 Nwabueze E. Kenneth Methods for dynamically accessing , processing, and presenting data acquired from disparate data sources
CN103699555A (zh) * 2013-07-03 2014-04-02 国电南瑞科技股份有限公司 一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法
CN105046344A (zh) * 2015-05-15 2015-11-11 北京科东电力控制系统有限责任公司 面向智能电网调度技术支持系统的主站数据质量优化方法
CN111539633A (zh) * 2020-04-26 2020-08-14 北京思特奇信息技术股份有限公司 一种业务数据质量的稽核方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王铮: "统一多数据源报告在线生成系统的设计和实现", 万方数据 *

Similar Documents

Publication Publication Date Title
CN105225076B (zh) 造价分析数据采集与处理系统
CN110389898A (zh) 测试策略的获取方法、装置、终端及计算机可读存储介质
CN111585344B (zh) 一种基于全站ied仿真的变电站智能校核方法及装置
CN104123227A (zh) 一种自动生成测试用例的方法
CN109274178B (zh) 一种电力调度前置运行信息的自动化分析系统和方法
CN105657677A (zh) 一种短信发送方法、短信网关及业务平台
CN108519929A (zh) 一种智能变电站母线保护配置管控crc校验方法及装置
CN101645073A (zh) 一种将已有数据库文件导入嵌入式数据库的方法
CN114661584A (zh) 一种用于软件测试的测试装置及使用方法
CN112612802A (zh) 一种实时数据中台的处理方法、装置及平台
CN112861499A (zh) 一种面向电网调度及电力市场应用的多源数据统计方法
CN103793519A (zh) 一种支持海量数据导出的自动化工具
CN111752918A (zh) 一种历史数据交互系统及其配置方法
CN111475405A (zh) 回归测试的方法、装置、计算机设备及存储介质
CN110069516B (zh) 一种基于标准文献的服务内容智能管理技术实现方法
CN113239039B (zh) 动态数据的存储方法、查询方法、管理方法及管理系统
CN116300697A (zh) 一种六轴相贯线切割机切口数据自动填充方法及系统
CN105933396A (zh) 一种协同各渠道系统接口实现长流程的方法及系统
CN109710809B (zh) 一种基于专家库的scd文件虚端子自动连接方法
CN104216986A (zh) 以数据更新周期进行预操作提高数据查询效率的装置及方法
CN106713666A (zh) 验证信息的识别显示方法、装置
CN105589803A (zh) 一种测试工具的生成方法和终端设备
CN117372210B (zh) 一种法律服务咨询系统
CN103176992A (zh) 专利导出方法及系统
CN109062639A (zh) 一种变电站scd文件的升级信息的显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination