CN111061796A - 一种配电网多源数据质量管控系统 - Google Patents

一种配电网多源数据质量管控系统 Download PDF

Info

Publication number
CN111061796A
CN111061796A CN201911319972.6A CN201911319972A CN111061796A CN 111061796 A CN111061796 A CN 111061796A CN 201911319972 A CN201911319972 A CN 201911319972A CN 111061796 A CN111061796 A CN 111061796A
Authority
CN
China
Prior art keywords
data
management
module
power grid
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911319972.6A
Other languages
English (en)
Inventor
徐敏
刘翠玲
宫政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Priority to CN201911319972.6A priority Critical patent/CN111061796A/zh
Publication of CN111061796A publication Critical patent/CN111061796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明公开了一种配电网多源数据质量管控系统,属于数据管理技术领域,包括电网数据采集模组、管控平台和数据管理及展示平台;所述电网数据采集模组用于采集电网数据;所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据,所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块,所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检,所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输,所述大数据存储模块用于存储数据;所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据。通过管控平台对采集到的数据进行管理控制有效地发现并解决异常数据。

Description

一种配电网多源数据质量管控系统
技术领域
本发明涉及数据管理技术领域,特别涉及一种配电网多源数据质量管控系统。
背景技术
数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,大数据具有海量、动态、不确定和多源异构等特点,这些特点使得数据的存储、传输与及时响应和处理面临巨大的挑战。信息融合作为有效整合和管理数据的重要工具之一,已经成为大数据资源治理的重要理论方法。信息融合是一种形式框架,其过程是用数学方法和技术工具综合不同源信息,目的是得到高品质的有用信息。与单一信源独立处理相比,信息融合的优势包括:提高可探测性和可信度,扩大时空感知范围;降低推理模糊程度,改进探测精度等性能;增加目标特征维数,提高空间分辨率;增强系统容错能力和自适应性,从而提高全系统性能。
电网在运行的时候会产生大量的数据,这些数据在节点中备份然后发送给后台存储模块进行保存,而在这一过程中需要对数据传输进行管控,传统的数据管控系统是在数据存入数据库之后进行管理,无法及时的发现数据在传输过程中的异常状态,而且数据库中管理数据即使发现问题,也不能及时的查询到问题产生的原因和位置,导致数据传输的管控不方便,而且传统的管控系统缺少数据的具象化展示,并且对于分散的数据也不方便进行统计和展示,用户也无法直观的查看到数据传输图表。
发明内容
本发明的目的就在于为了解决上述数据传输质量管控系统无法及时查询到数据传输过程中的异常数据以及后续不便于对传输数据进行统计和展示,使用户无法直观的通过数据传输图表掌握数据传输情况的问题提出一种配电网多源数据质量管控系统,具有通过巡检和质量监控及时管控数据传输过程中出现的异常情况,通过数据统计和展示方便用户直观的看出传输结果的优点。
本发明通过以下技术方案来实现上述目的,一种配电网多源数据质量管控系统,包括电网数据采集模组、管控平台和数据管理及展示平台;
所述电网数据采集模组用于采集电网数据;
所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据,所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块,所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检,所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输,所述大数据存储模块用于存储数据;
所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据。
优选的,所述自动巡检模块的巡检功能包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态。
优选的,所述数据传输质量监控模块的监控功能包括数据表类型监控、数据表大小监控、数据表传输时间监控和异常报错信息推送。
优选的,所述大数据存储模块的存储功能包括数据接收、节点暂存、数据处理和后台存储。
优选的,所述数据管理及展示平台包括数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化。
优选的,所述数据资源管理包括数据资源目录、数据资源信息统计和数据全链路分析。
优选的,所述数据资源信息采集包括数据模型采集适配和ETL工具采集适配。
优选的,所述数据资产全景视图包括映射关系维护和全景地图展示。
优选的,所述工具自动化包括数据资源变化分析。
与现有技术相比,本发明的有益效果是:
1、通过管控平台对采集到的数据进行巡检,巡检的范围包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态可以发现数据从采集到存储中是否存在问题,再通过数据传输质量监控模块对数据传输质量进行监控保证数据可以稳定的传输,最后通过大数据存储模块进行存储,保证数据可以分类存储,便于后续的调用。
2、通过数据管理及展示平台调用大数据存储模块内部的数据,利用数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化将多源数据进行管理和展示,方便用户更加直观的了解到数据管控的结果,便于用户对电网数据的治理和研究。
附图说明
图1为本发明的整体系统连接示意图。
图2为本发明的管控平台内部功能模块连接示意图。
图3为本发明的数据管理及展示平台内部功能模块连接示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3所示,一种配电网多源数据质量管控系统,包括电网数据采集模组、管控平台和数据管理及展示平台;所述电网数据采集模组用于采集电网数据;所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据,所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块,所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检,所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输,所述大数据存储模块用于存储数据;所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据,管控平台主要负责管控数据传输过程中所出现的问题,自动化巡检实现主机、数据库、ETL以及程序的自动化检查、监控,每日生成巡检报告,巡检内容包括:kettle抽取任务、数据库运行状态、数据推送情况、大数据平台空间大小、数据库表传输大数据平台是否正常等;数据传输质量监控模块自动监控分析数据质量,判断文件或数据表类型、大小、传输时间等是否满足要求,并将异常报错信息实时推送给负责人,实现问题从发现到处理及时、高效、便捷;大数据存储模块利用离线及实时数据接入组件,完成源端业务系统结构化数据的接入,利用半结构化数据接入组件完成源端业务系统半结构化数据接入,利用大数据处理组件完成数据的清洗转换分析,利用大数据存储组件支撑海量数据的存储,实现数据从产生、处理、存储到应用的全过程管理,清晰反映数据的加工处理过程,提升数据质量,为发挥数据资产价值奠定基础。
所述自动巡检模块的巡检功能包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态,所述数据传输质量监控模块的监控功能包括数据表类型监控、数据表大小监控、数据表传输时间监控和异常报错信息推送,所述大数据存储模块的存储功能包括数据接收、节点暂存、数据处理和后台存储。
所述数据管理及展示平台包括数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化,所述数据资源管理包括数据资源目录、数据资源信息统计和数据全链路分析,数据资源目录按域、按系统对数据资源总体情况可视化、业务导航、查询检索、数据资源目录以及业务目录配置功能开发,其中模型按照域,源业务系统按照系统;数据资源信息统计包括数据资源条目数统计、数据内容预览、使用情况、变更分类统计;数据全链路分析实现数据从采集、处理、存储、应用和共享的全过程血缘追踪,方便用户知晓数据用在了哪里、数据加工过程如何、应用的数据来源于哪里以及数据的上下游关系,让用户清晰、直观地了解数据的来龙去脉,快速掌握数据的血缘以及数据对象变更将会造成的影响,所述数据资源信息采集包括数据模型采集适配和ETL工具采集适配,数据模型采集适配通过数据库连接、任务管理、采集排程配置、日志信息等获取数据资源信息;ETL工具采集适配通过OGG、ETL接口采集适配器,获取数据接口链路信息,包括映射关系、运行情况,所述数据资产全景视图包括映射关系维护和全景地图展示,所述工具自动化包括数据资源变化分析,数据映射关系维护,提供全业务数据中心数据分析域数据仓库各层及全域模型之间映射的关系、源数据的映射关系维护,实现自动同步和手动同步;全景地图展示采用全景展示数据资产分布,便于快速查询、定位、获取、辨识和应用数据资源,促进数据资产的有效利用。
本发明的工作原理:通过管控平台对采集到的数据进行巡检,巡检的范围包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态可以发现数据从采集到存储中是否存在问题,再通过数据传输质量监控模块对数据传输质量进行监控保证数据可以稳定的传输,最后通过大数据存储模块进行存储,保证数据可以分类存储,便于后续的调用,通过数据管理及展示平台调用大数据存储模块内部的数据,利用数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化将多源数据进行管理和展示,方便用户更加直观的了解到数据管控的结果,便于用户对电网数据的治理和研究。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种配电网多源数据质量管控系统,其特征在于:包括电网数据采集模组、管控平台和数据管理及展示平台;
所述电网数据采集模组用于采集电网数据;
所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据,所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块,所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检,所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输,所述大数据存储模块用于存储数据;
所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据。
2.根据权利要求1所述的一种配电网多源数据质量管控系统,其特征在于:所述自动巡检模块的巡检功能包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态。
3.根据权利要求1所述的一种配电网多源数据质量管控系统,其特征在于:所述数据传输质量监控模块的监控功能包括数据表类型监控、数据表大小监控、数据表传输时间监控和异常报错信息推送。
4.根据权利要求1所述的一种配电网多源数据质量管控系统,其特征在于:所述大数据存储模块的存储功能包括数据接收、节点暂存、数据处理和后台存储。
5.根据权利要求1所述的一种配电网多源数据质量管控系统,其特征在于:所述数据管理及展示平台包括数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化。
6.根据权利要求5所述的一种配电网多源数据质量管控系统,其特征在于:所述数据资源管理包括数据资源目录、数据资源信息统计和数据全链路分析。
7.根据权利要求5所述的一种配电网多源数据质量管控系统,其特征在于:所述数据资源信息采集包括数据模型采集适配和ETL工具采集适配。
8.根据权利要求5所述的一种配电网多源数据质量管控系统,其特征在于:所述数据资产全景视图包括映射关系维护和全景地图展示。
9.根据权利要求5所述的一种配电网多源数据质量管控系统,其特征在于:所述工具自动化包括数据资源变化分析。
CN201911319972.6A 2019-12-19 2019-12-19 一种配电网多源数据质量管控系统 Pending CN111061796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911319972.6A CN111061796A (zh) 2019-12-19 2019-12-19 一种配电网多源数据质量管控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911319972.6A CN111061796A (zh) 2019-12-19 2019-12-19 一种配电网多源数据质量管控系统

Publications (1)

Publication Number Publication Date
CN111061796A true CN111061796A (zh) 2020-04-24

Family

ID=70300697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911319972.6A Pending CN111061796A (zh) 2019-12-19 2019-12-19 一种配电网多源数据质量管控系统

Country Status (1)

Country Link
CN (1) CN111061796A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652485A (zh) * 2020-05-25 2020-09-11 青海绿能数据有限公司 一种基于大数据平台的新能源数据采集分析系统
CN111737272A (zh) * 2020-06-02 2020-10-02 脑谷人工智能研究院(南京)有限公司 一种可交互展示各类指标的大数据自动化管理平台
CN113806339A (zh) * 2020-06-11 2021-12-17 中国标准化研究院 一种数据资产管理系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
CN104917803A (zh) * 2014-07-28 2015-09-16 国家电网公司 一种基于用户行为管控的自主巡检系统
CN107133255A (zh) * 2017-03-15 2017-09-05 中国电力科学研究院 一种大电网全景安全防御方法和系统
CN107707029A (zh) * 2017-10-23 2018-02-16 珠海许继芝电网自动化有限公司 中低压配电网一体化监控与管理系统
US20180210025A1 (en) * 2017-01-13 2018-07-26 Pacific Gas And Electric Company Wire down detection system and method
CN108389008A (zh) * 2018-03-29 2018-08-10 重庆举宇科技有限公司 配电网资源管理系统
CN109242446A (zh) * 2018-10-16 2019-01-18 南京工业大学 一种城市智慧能源全景管控平台
CN109902133A (zh) * 2019-03-06 2019-06-18 北京中电普华信息技术有限公司 基于电网任意分割区域的多源数据纠错处理方法及系统
CN110247474A (zh) * 2019-05-22 2019-09-17 国网安徽省电力有限公司 一种基于d5000系统电网运行状态的统计汇总方法及系统
CN110549336A (zh) * 2019-08-28 2019-12-10 广西电网有限责任公司电力科学研究院 一种变电站巡检机器人集控主站系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
CN104917803A (zh) * 2014-07-28 2015-09-16 国家电网公司 一种基于用户行为管控的自主巡检系统
US20180210025A1 (en) * 2017-01-13 2018-07-26 Pacific Gas And Electric Company Wire down detection system and method
CN107133255A (zh) * 2017-03-15 2017-09-05 中国电力科学研究院 一种大电网全景安全防御方法和系统
CN107707029A (zh) * 2017-10-23 2018-02-16 珠海许继芝电网自动化有限公司 中低压配电网一体化监控与管理系统
CN108389008A (zh) * 2018-03-29 2018-08-10 重庆举宇科技有限公司 配电网资源管理系统
CN109242446A (zh) * 2018-10-16 2019-01-18 南京工业大学 一种城市智慧能源全景管控平台
CN109902133A (zh) * 2019-03-06 2019-06-18 北京中电普华信息技术有限公司 基于电网任意分割区域的多源数据纠错处理方法及系统
CN110247474A (zh) * 2019-05-22 2019-09-17 国网安徽省电力有限公司 一种基于d5000系统电网运行状态的统计汇总方法及系统
CN110549336A (zh) * 2019-08-28 2019-12-10 广西电网有限责任公司电力科学研究院 一种变电站巡检机器人集控主站系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李杰豪;黎跃宇;: "基于GIS平台的智能输电运检管理系统应用分析" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652485A (zh) * 2020-05-25 2020-09-11 青海绿能数据有限公司 一种基于大数据平台的新能源数据采集分析系统
CN111737272A (zh) * 2020-06-02 2020-10-02 脑谷人工智能研究院(南京)有限公司 一种可交互展示各类指标的大数据自动化管理平台
CN113806339A (zh) * 2020-06-11 2021-12-17 中国标准化研究院 一种数据资产管理系统及方法

Similar Documents

Publication Publication Date Title
CN111061796A (zh) 一种配电网多源数据质量管控系统
CN109783322A (zh) 一种企业信息系统运行状态的监控分析系统及其方法
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
CN110943870B (zh) 一种智能站全景数据监测分析系统及方法
CN110581773A (zh) 一种自动化服务监控与报警管理系统
CN104850635B (zh) 一种多数据源环境下数据缺失自动检查及集中监控方法
CN112765232B (zh) 核电厂重大设备的数据管理方法及系统
CN112865311B (zh) 一种电力系统消息总线监视方法和装置
CN112884452A (zh) 一种智能运维多源数据采集可视化分析系统
CN110048509A (zh) 一种基于mr智能安全帽的变电站巡检系统及方法
CN111585840A (zh) 服务资源监测方法、装置和设备
CN109361576A (zh) 一种pim监控数据处理方法及系统
CN111080261A (zh) 一种基于大数据的可视化数据资产管理系统
CN112186901B (zh) 一种变电站全景感知监控方法及系统
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN105467907A (zh) 一种自动巡检的系统及方法
CN106649765A (zh) 基于大数据技术的智能电网全景数据分析方法
CN117312293B (zh) 一种面向电力多源异构的数据治理与智能分析方法及系统
CN114201649A (zh) 电网数据处理系统和处理方法
CN113342874A (zh) 一种基于云计算的风电大数据分析系统和流程
CN111104399A (zh) 一种海量电网数据管理存储系统
CN110990657A (zh) 一种全流程可视化建模平台
CN104104292B (zh) 一种发电机励磁系统状态广域实时获取系统
Jiang et al. Research and application of architecture and interface service based on new digital system
CN212012920U (zh) 一种视频运维诊断系统框架

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication