CN107943835A - 一种用于电力系统的报送数据自动分析与归类系统 - Google Patents
一种用于电力系统的报送数据自动分析与归类系统 Download PDFInfo
- Publication number
- CN107943835A CN107943835A CN201711012595.2A CN201711012595A CN107943835A CN 107943835 A CN107943835 A CN 107943835A CN 201711012595 A CN201711012595 A CN 201711012595A CN 107943835 A CN107943835 A CN 107943835A
- Authority
- CN
- China
- Prior art keywords
- business
- data
- model
- submitted
- reported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000029305 taxis Effects 0.000 title claims abstract description 18
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000010276 construction Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000013075 data extraction Methods 0.000 claims abstract description 8
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 230000006978 adaptation Effects 0.000 claims abstract description 6
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于电力系统的报送数据自动分析与归类系统，包括数据抽取模块，用于将多源业务数据源按照数据规范提交业务数据XML规范字符串，完成业务数据的适配工作，报送给模型构建模块中的业务模型；模型构建模块，按照电力业务进行可视化构建业务模型，根据业务需要配置构建业务数据校验模型，并将业务模型和校验模型上传给业务逻辑模块；业务逻辑模块，用于报送数据的业务校验结果生成，能够根据错误异常数据进行自动分析与归类；展示交互模块，将错误异常数据统计发布和准实时提醒业务员。本发明适应报送业务的扩展性，具备不进行二次开发的条件下，能够自动处理数据报送的业务要求，同时具备报送数据的错误异常信息的准实时提醒。
Description
技术领域
本发明涉及电力系统管理技术领域，具体涉及一种用于电力系统的报送数据自动分析与归类系统。
背景技术
随着电力行业信息系统的逐步建设，系统使用人员信息化水平与信息化系统的建设水平不高成为系统建设亟待解决的矛盾之一，尤其是针对上下级单位数据报送比较频繁的业务场景。其次各级调度机构的信息化水平不一致，部分建设单位可以直接通过数据服务直接报送数据，部分建设单位只能通过文件形式报送数据，满足不同信息化水平的建设单位的报送要求也是亟待解决的矛盾之一。
目前电力系统信息交换的手段主要包括：1)Excel、Word、Wps等office文档；2)XML、E文本等文本格式文件；3)基于SOA(面向服务的架构)的数据服务集成；4)数据库直接获取。报送数据的来源多样化，必然带来开发工作量的激增，同时在开发效率上，不满足业务上的实时需求。
根据电力系统信息报送领域存在的问题，本发明主要解决以下方面的问题：
(1)满足报送方式的多样化要求：在满足不同信息报送方式的规范化文件的基础上，系统提供适配模式自动解析下级单位报送的数据；
(2)非开发条件下快速满足新业务的报送要求：通过报送数据对应的业务模型配置，用户能够自动生成报送模板，具备报送文件模板的下发功能，实现新业务报送的快速实现；
(3)报送数据的错误信息定位与准实时推送：当用户报送数据文件的情况下，必然想了解报送数据文件的正确性和规范性，尤其需要准确了解错误数据的位置信息；
(4)错误异常信息的统计与交互展示：目前大部分数据报送系统对报送过程的错误信息没有合理有效利用起来，在上报过程中，无法对系统使用人员提供合理的建议。
因此，满足电力系统报送数据自动分析与归类的实现方法，满足克服上述的要求，是当前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明提供一种用于电力系统的报送数据自动分析与归类系统，解决电力系统的数据报送智能化水平不高的问题。
为了实现上述目标，本发明采用如下技术方案：一种用于电力系统的报送数据自动分析与归类系统，其特征在于，包括数据抽取模块、模型构建模块、业务逻辑模块和展示交互模块：
数据抽取模块，用于将多源业务数据源按照数据规范提交业务数据XML规范文件，完成业务数据的适配工作，并通过通用任务调度功能报送给模型构建模块中的业务模型，或者通过数据上报页面实现文件的报送；
模型构建模块，按照电力业务进行可视化构建业务模型，根据业务需要配置业务数据校验模型，并将业务模型和校验模型上传给业务逻辑模块；
业务逻辑模块，根据业务模型和校验模型进行业务校验，生成报送数据的业务校验结果，能够根据错误异常数据进行自动分析与归类；
展示交互模块，将错误异常数据统计发布和准实时提醒业务员。
前述的一种用于电力系统的报送数据自动分析与归类系统，其特征是：所述多源业务数据源包括：1)office文档；2)文本格式文件；3)基于SOA的数据服务集成；4)数据库。
前述的一种用于电力系统的报送数据自动分析与归类系统，其特征是：所述数据抽取模块具体步骤包括：
1)定义抽取模型，抽取模型包括数据抽取类型、抽取方法、抽取周期、目标对象，并将抽取模型固化在系统配置中；
2)根据数据抽取模型，进行数据源对象与目标对象XML数据规范的转换工作，定时执行数据抽取工作，实现数据的对象化工作。
前述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述数据抽取类型包括数据库服务、数据接口服务和文件服务；
前述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述业务数据校验模型的业务配置规则包括数据类型、数据范围、正则表达式。
前述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述业务模型与校验模型构建步骤包括：
1)根据业务数据可视化构建业务模型：通过可视化建模方式构建满足电力系统的业务需要的业务模型，包括业务对象构建和业务对象相关属性的建立；
2)根据业务数据构建校验模型：根据数据库配置方式或通过Excel导入的方式实现业务校验模型的建立，建立数据库字段级别的检验模型，同时满足字段之间的业务校验。
3)将业务模型和校验模型报送给业务逻辑模块进行业务校验，系统报送方式包括数据库报送、数据服务报送和文件报送。
本发明所达到的有益效果：本发明通过可视化配置的方式实现上下级之间具备多源特征的业务数据报送，并具备错误异常信息的智能提醒与统计分析。通过数据报送、模型适配、业务校验实现错误异常数据的统计与分析，并通过消息机制实现错误异常信息的准实时推送。本发明具备不进行二次开发的条件下，能够自动处理数据报送的业务要求，同时具备报送数据的错误异常信息的准实时提醒，业务人员能够自助实现报送文件模板生成，并且在非二次开发的条件下，实现报送业务的上报、解析、校验和消息通知的全过程管理，加快新业务的上线过程，在错误异常信息推送和统计分析的基础上，节省系统报送人员的学习时间，提高工作效率，具有良好的应用前景。
附图说明
图1是本发明的系统结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种用于电力系统的报送数据自动分析与归类系统，包括数据抽取模块、模型构建模块、业务逻辑模块和展示交互模块，
数据抽取模块，用于将多源业务数据源按照数据规范提交业务数据XML规范字符串，完成业务数据的适配工作，并通过通用任务调度功能报送给模型构建模块中的业务模型，或者通过数据上报页面实现文件的报送；
模型构建模块，按照电力业务进行可视化构建业务模型，根据业务需要配置构建业务数据校验模型，业务数据校验模型的业务配置规则包括数据类型、数据范围、正则表达式等方面，并将业务模型和校验模型上传给业务逻辑模块；
业务逻辑模块，用于报送数据的业务校验结果生成，能够根据错误异常数据进行自动分析与归类；
展示交互模块，将错误异常数据统计发布和准实时提醒业务员。
所述多源业务数据源来源包括：1)Excel、Word、Wps等office文档；2)XML、E文本等文本格式文件；3)基于SOA(面向服务的架构)的数据服务集成；4)数据库。
所述数据抽取模块中的具体步骤包括：
1)定义抽取模型：包括数据抽取类型、抽取方法、抽取周期、目标对象，并固化在系统配置中，其中抽取类型包括数据库服务、数据接口服务和文件服务等方式；
2)数据规范化：根据数据抽取类型，进行数据源对象与目标对象XML数据规范的转换工作：对于数据库抽取，实现数据表信息转换为XML文件；对于数据服务抽取，要求按照XML规范提供数据文件；对于非结构化文件抽取，实现文件的结构化与XML转换；
3)任务调度：根据抽取模型，定时执行数据抽取工作，实现多源数据的规范化处理，实现数据的对象化工作，完成数据提取工作。
所述业务模型与校验模型构建步骤包括：
1)构建业务模型：通过可视化建模方式构建满足电力系统的业务需要，建立方式包括业务对象构建和业务对象相关属性的建立；
2)构建校验模型：具备数据库配置方式建立校验模型，具备通过Excel导入的方式实现业务校验模型的建立，建立数据库字段级别的检验模型，同时满足字段之间的业务校验模型；
3)业务模型和校验模型报送给业务逻辑模块，系统报送方式包括数据库报送、数据服务报送和文件报送，如果采用文件报送，系统支持报送文件模板自动生成，下发相关报送单位。
系统终端用户接入系统，自动订阅错误异常推送接口；系统终端用户浏览错误异常信息的统计信息，掌握报送过程中容易发生的错误现象；上级部门可以周期性统计相关单位的错误异常数据统计，并形成统计分析报告，选择下发相关部门参考；提取用户属性进行特征分析，按照概率进行挖掘报送异常的智能分析，并按照业务场景提供给用户分析与学习，避免后续发生同样的错误。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种用于电力系统的报送数据自动分析与归类系统，其特征在于，包括数据抽取模块、模型构建模块、业务逻辑模块和展示交互模块：
数据抽取模块，用于将多源业务数据源按照数据规范提交业务数据XML规范文件，完成业务数据的适配工作，并通过通用任务调度功能报送给模型构建模块中的业务模型，或者通过数据上报页面实现文件的报送；
模型构建模块，按照电力业务进行可视化构建业务模型，根据业务需要配置业务数据校验模型，并将业务模型和校验模型上传给业务逻辑模块；
业务逻辑模块，根据业务模型和校验模型进行业务校验，生成报送数据的业务校验结果，能够根据错误异常数据进行自动分析与归类；
展示交互模块，将错误异常数据统计发布和准实时提醒业务员。
2.根据权利要求1所述的一种用于电力系统的报送数据自动分析与归类系统，其特征是：所述多源业务数据源包括：1)office文档；2)文本格式文件；3)基于SOA的数据服务集成；4)数据库。
3.根据权利要求1所述的一种用于电力系统的报送数据自动分析与归类系统，其特征是：所述数据抽取模块具体步骤包括：
1)定义抽取模型，抽取模型包括数据抽取类型、抽取方法、抽取周期、目标对象，并将抽取模型固化在系统配置中；
2)根据数据抽取模型，进行数据源对象与目标对象XML数据规范的转换工作，定时执行数据抽取工作，实现数据的对象化工作。
4.根据权利要求3所述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述数据抽取类型包括数据库服务、数据接口服务和文件服务。
5.根据权利要求1所述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述业务数据校验模型的业务配置规则包括数据类型、数据范围、正则表达式。
6.根据权利要求1所述的一种用于电力系统的报送数据自动分析与归类系统，其特征是，所述业务模型与校验模型构建步骤包括：
1)根据业务数据可视化构建业务模型：通过可视化建模方式构建满足电力系统的业务需要的业务模型，包括业务对象构建和业务对象相关属性的建立；
2)根据业务数据构建校验模型：根据数据库配置方式或通过Excel导入的方式实现业务校验模型的建立，建立数据库字段级别的检验模型，同时满足字段之间的业务校验。
3)将业务模型和校验模型报送给业务逻辑模块进行业务校验，系统报送方式包括数据库报送、数据服务报送和文件报送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711012595.2A CN107943835A (zh) | 2017-10-26 | 2017-10-26 | 一种用于电力系统的报送数据自动分析与归类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711012595.2A CN107943835A (zh) | 2017-10-26 | 2017-10-26 | 一种用于电力系统的报送数据自动分析与归类系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107943835A true CN107943835A (zh) | 2018-04-20 |
Family
ID=61935641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711012595.2A Pending CN107943835A (zh) | 2017-10-26 | 2017-10-26 | 一种用于电力系统的报送数据自动分析与归类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107943835A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723549A (zh) * | 2020-06-15 | 2020-09-29 | 中国电力科学研究院有限公司 | 省间和省内电力市场的模型嵌套与信息交互方法、系统及设备 |
| CN112256469A (zh) * | 2020-10-29 | 2021-01-22 | 贵州电网有限责任公司信息中心 | 一种基于跨系统协同场景的问题智能定位方法 |
| CN117009422A (zh) * | 2023-05-09 | 2023-11-07 | 三峡高科信息技术有限责任公司 | 便利业务人员进行数据导入的实现方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010144618A1 (en) * | 2009-06-09 | 2010-12-16 | Ebh Enterprises Inc. | Methods, apparatus and software for analyzing the content of micro-blog messages |
| CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
| CN104750787A (zh) * | 2015-03-12 | 2015-07-01 | 国家电网公司 | 数据集成处理系统和集成处理方法 |
| CN106056481A (zh) * | 2016-06-23 | 2016-10-26 | 中国南方电网有限责任公司电网技术研究中心 | 一种配用电多源数据系统及多源数据的处理方法 |
| CN106777141A (zh) * | 2016-12-19 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 一种融合多源异构电网数据的获取和分布式存储方法 |
| CN106775929A (zh) * | 2016-11-25 | 2017-05-31 | 中国科学院信息工程研究所 | 一种虚拟化平台安全监控方法及系统 |
-
2017
- 2017-10-26 CN CN201711012595.2A patent/CN107943835A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010144618A1 (en) * | 2009-06-09 | 2010-12-16 | Ebh Enterprises Inc. | Methods, apparatus and software for analyzing the content of micro-blog messages |
| CN104111983A (zh) * | 2014-06-30 | 2014-10-22 | 中国科学院信息工程研究所 | 一种开放式的多源数据采集系统及方法 |
| CN104750787A (zh) * | 2015-03-12 | 2015-07-01 | 国家电网公司 | 数据集成处理系统和集成处理方法 |
| CN106056481A (zh) * | 2016-06-23 | 2016-10-26 | 中国南方电网有限责任公司电网技术研究中心 | 一种配用电多源数据系统及多源数据的处理方法 |
| CN106775929A (zh) * | 2016-11-25 | 2017-05-31 | 中国科学院信息工程研究所 | 一种虚拟化平台安全监控方法及系统 |
| CN106777141A (zh) * | 2016-12-19 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 一种融合多源异构电网数据的获取和分布式存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王东顺: "基于TnPM的A电力公司设备管理对策研究", 《中国优秀硕士学位论文全文数据库 经济与管理科学辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723549A (zh) * | 2020-06-15 | 2020-09-29 | 中国电力科学研究院有限公司 | 省间和省内电力市场的模型嵌套与信息交互方法、系统及设备 |
| CN111723549B (zh) * | 2020-06-15 | 2023-06-16 | 中国电力科学研究院有限公司 | 省间和省内电力市场的模型嵌套与信息交互方法、系统及设备 |
| CN112256469A (zh) * | 2020-10-29 | 2021-01-22 | 贵州电网有限责任公司信息中心 | 一种基于跨系统协同场景的问题智能定位方法 |
| CN117009422A (zh) * | 2023-05-09 | 2023-11-07 | 三峡高科信息技术有限责任公司 | 便利业务人员进行数据导入的实现方法 |
| CN117009422B (zh) * | 2023-05-09 | 2024-04-12 | 三峡高科信息技术有限责任公司 | 便利业务人员进行数据导入的实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111240662A (zh) | 一种基于任务可视化拖拽的spark机器学习系统及学习方法 | |
| CN104991975A (zh) | 电力业务系统的数据查询方法及其系统 | |
| CN102496083B (zh) | 信用评级报告底稿制作方法 | |
| CN103605651A (zh) | 一种基于olap多维分析的数据处理展现方法 | |
| CN105260841A (zh) | 一种配电网故障抢修回单审核系统 | |
| CN107943835A (zh) | 一种用于电力系统的报送数据自动分析与归类系统 | |
| CN107844914B (zh) | 基于集团管理的风险管控系统和实现方法 | |
| CN106777106A (zh) | 基于excel的财务报表的数据展示方法 | |
| CN105046604A (zh) | 专利信息管理系统 | |
| CN101976394A (zh) | 数据采集和统计系统及方法 | |
| CN103473305A (zh) | 一种在统计分析中进行决策流程展示的方法及系统 | |
| CN110400101A (zh) | 行业报告分析系统及方法 | |
| CN107742162B (zh) | 一种基于配调监控信息的多维特征关联分析方法 | |
| CN109858807A (zh) | 一种企业运营监控的方法及系统 | |
| CN112633621B (zh) | 一种基于paas平台的电网企业管理决策系统和方法 | |
| CN112669133A (zh) | 一种根据应用场景自动匹配的智能费控报销方法 | |
| CN110689149B (zh) | 数据中心移动巡检平台 | |
| CN105721586A (zh) | 信息智能分配装置、方法及系统 | |
| CN112446619B (zh) | 配电网抢修处理方法和装置 | |
| CN105373996A (zh) | 基于审批数据的建模系统 | |
| CN114416828A (zh) | 一种基于规则的物联网流式数据统计分析方法 | |
| CN114707968A (zh) | 一种基于电力大数据的流程告示牌 | |
| CN114003774A (zh) | 一种用于智慧城市的电力大数据信息采集系统 | |
| CN111625616A (zh) | 一种能够海量存储的企业级的数据管理系统 | |
| CN106548303A (zh) | 核电布置设计中碰撞信息的管理方法、系统及核电布置设计设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180420 |