CN112433998B - 一种基于电力系统的多源异构数据采集汇聚系统及方法 - Google Patents

Abstract

本发明涉及大数据技术领域，特别涉及一种基于电力系统的多源异构数据采集汇聚系统及方法，系统包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集；所述工作流任务调度模块对采集配置功能进行确定；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集；所述数据管理模块实现所述采集后数据的查询和预览。本发明的基于电力系统的多源异构数据采集汇聚系统及方法能减少数据采集的开发工作，快速定制采集任务，实现周期性或实时性数据采集汇聚从而达到开发高效、运行高效的目的。

Description

一种基于电力系统的多源异构数据采集汇聚系统及方法

技术领域

本发明涉及大数据技术领域，特别涉及一种基于电力系统的多源异构数据采集汇聚系统及方法。

背景技术

近年来，随着人工智能、大数据、智能电网等高新技术的高速发展，大数据的行业前景成为各电力企业共同面对的严峻考验和宝贵机遇。电力系统可以看作是高度复杂的处理能力直接决定电力系统应用场合的智能化程度。目前电力信息网中的多源异构大数据主要来源于四个方面：(1)海量电网运行状态信息采集数据；(2)海量电力设备运行状态数据；(3)图像识别技术的应用；(4)缺陷文本日志的记录。电力系统的多源异构数据具有以下特点：(1)混合型数据：包括结构化和非结构化数据；(2)数据离散性：数据分布在不同的系统或者平台；(3)数据量大：业务系统或平台数据量庞大；(4)数据质量参差不齐：不同平台的数据质量不一致。

多源异构数据采集汇聚的本质是对多源异构数据进行信息分析处理上进行采集汇聚，从而加快数据的处理速度和分析精度。当前，电力大数据采集汇聚在电力市场、居民用电消费、电力系统安全评估、电网灾害预警等各个领域都具有广泛的应用，但分析和研究多源异构数据的采集汇聚技术就显得非常重要。

专利号201310723548.4的专利说明书中公开了一种基于数据仓库的异构大数据整合方法与系统，该方法通过建立结构化数据、半结构化数据及非结构化数据的关联关系，然后结合关系型数据库、分布式数据库以及内存数据库的各自优势，整合各类数据，最后基于数据仓库做深层次数据分析，不断深化数据挖掘进而实现高效、高质量的异构大数据分析处理。此方法主要针对结构化数据、半结构化数据和非结构化数据的整合，并未涉及到非实时性数据、日志数据以及互联网数据的采集汇聚，同时未涉及不同数据源之间的存储问题。

发明内容

本发明提供一种基于电力系统的多源异构数据采集汇聚系统，该系统可实现将不同数据结构，不同数据存储方式的数据通过任务调度的方式高效地汇聚到数据中心大数据平台进而实现数据地汇聚拉通。

本发明的又一目的在于提供一种基于电力系统的多源异构数据采集汇聚方法。

为实现以上发明目的，而采用的技术手段是：

一种基于电力系统的多源异构数据采集汇聚系统，包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据配置模块与所述数据采集模块连接，所述数据采集模块与所述工作流任务调度模块和所述数据管理模块相连接，所述数据采集模块和所述工作流任务调度模块与所述任务监控模块相连接；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集，将采集后的数据源传输到所述数据采集模块；所述工作流任务调度模块对采集配置功能进行确定，将确定后的采集配置功能传输到所述数据采集模块；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集，将采集后的数据传输到所述数据管理模块；所述数据管理模块实现所述采集后数据的查询和预览。

进一步地，所述的数据源配置模块根据不同的采集方式配置指定的数据源配置项实现所需数据源的配置，其中，所述指定的数据源包括实时数据源、结构化数据源、非结构化数据源、互联网数据源和日志数据源，所述不同的采集方式包括实时数据源采集方式、结构化数据源采集方式、非结构化数据源采集方式、互联网数据源采集方式和日志数据源采集方式；所述数据采集模块实现数据源配置模块信息的读取，并根据数据源配置信息实现特定方式的数据采集，其中，所述特定方式的数据采集在工作流任务节点配置指定，所述工作流任务节点是工作流中的一个节点，所述工作流由多个节点组成的，一个工作流的一次流转作为一次任务，所述任务流支持shell、python、SQL开发语言自定义参数处理，所述自定义参数包括时间参数；所述工作流任务调度模块通过任务节点的方式实现将数据采集模块配置的采集功能挂载带工作流中；所述任务监控模块实现工作流节点、执行日志、数据采集量情况的监控；所述数据管理模块实现采集到数据的查询和预览。

进一步地，所述的数据采集模块包括实时数据采集配置功能、结构化数据采集配置功能、非结构化数据采集配置功能、互联网数据爬取配置功能和日志数据采集配置功能；所述实时数据采集配置功能通过kafka管道topic及其采集策略，实现对kafka流式数据的采集；所述结构化数据采集配置功能能采集指定数据库表，制定全量采集或增量采集策略；所述非结构化数据采集配置功能可直接采集csv格式、txt文本、半结构化数据，存储语音、图片格式的数据，并配置解析策略；所述互联网数据爬取配置功能可采集网址及界面采集标签项，将页面列表或详细信息采集入库，且支持插件上传和自定义解析页面；所述日志数据采集配置功能能配置相应的数据采集管道，定制采集策略，对数据日志进行采集入库。

一种基于电力系统地多源异构数据采集汇聚方法，包括以下步骤：

步骤1：通过数据源配置模块确定采集方式和配置所需数据源，对数据源的接入方式及存储方式统一规划，将配置好的数据源传输至数据采集模块；

步骤2：通过工作流任务调度模块定义工作流任务，将定义好的工作流任务传输至数据采集模块，其中，工作流任务包括创建工作流、填写工作流名称、工作流编码、工作流任务描述；

步骤3：通过工作流任务调度模块定义任务节点，将定义好的任务节点传输至数据采集模块，其中，任务节点包括开始、采集数据、清洗数据、整合数据、输出数据、结束；

步骤4：利用步骤2的工作流任务和步骤3中的任务节点，在数据采集模块上对进行各类型数据接入方式的节点配置和数据采集，将采集完成的数据传输到数据管理模块，其中，各类型数据的接入方式包括实时数据的接入方式、结构化数据的接入方式、非结构化数据的接入方式、互联网数据的接入方式、日志数据的接入方式；

步骤5：任务调度监控模块对步骤2中的工作流任务调度模块和步骤3中的数据采集模块进行全程监测；

步骤6：利用数据管理模块对于步骤S5中所述的采集完成的数据进行查询和预览。

进一步地，步骤4中所述非结构化数据的接入方式为非结构化数据通过文件传输协议传输的方式导入。

进一步地，步骤4中所述结构化数据的接入方式为结构化数据通过sqoop方式进行数据导入。

进一步地，步骤4中所述日志数据的接入方式为日志数据通过使用Flume工具导入。

进一步地，所述步骤4中所述互联网数据的接入方式为互联网数据通过爬虫程序爬取数据并导入。

与现有技术相比，本发明技术方案的有益效果是：

(1)提供多源异构数据源配置界面，通过界面方式灵活快捷配置异构数据源，简化数据源开发工作，提高大数据采集实施的效率；提供工作流任务调度界面，快速定制采集任务，帮实现周期性或实时性数据采集汇聚，提高开发效率，采集效率；提供可视化任务监控界面，方便监控工作流任务中各个节点的任务执行时间，采集的数据总数、日志信息。

(2)实现数据的统一管理。

附图说明

图1为本发明的基于电力系统的多源异构数据采集汇聚的系统功能关系图；

图2为本发明的多源异构大数据技术框架图；

图3为本发明的基于电力系统的多源异构数据采集汇聚方法图；

图4为本发明的异构数据处理框架图；

图5为本发明的非结构化数据采集数据流向；

图6为本发明的Flume数据采集流向图；

图7为本发明的网站数据爬取数据流向图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施案例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于电力系统地多源异构数据采集汇聚系统，包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据配置模块与所述数据采集模块连接，所述数据采集模块与所述工作流任务调度模块和所述数据管理模块相连接，所述数据采集模块和所述工作流任务调度模块与所述任务监控模块相连接；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集，将采集后的数据源传输到所述数据采集模块；所述工作流任务调度模块对采集配置功能进行确定，将确定后的采集配置功能传输到所述数据采集模块；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集，将采集后的数据传输到所述数据管理模块；所述数据管理模块实现所述采集后数据的查询和预览。

同时，所述的数据源配置模块根据不同的采集方式配置指定的数据源配置项实现所需数据源的配置，其中，所述指定的数据源包括实时数据源、结构化数据源、非结构化数据源、互联网数据源和日志数据源，所述不同的采集方式包括实时数据源采集方式、结构化数据源采集方式、非结构化数据源采集方式、互联网数据源采集方式和日志数据源采集方式；所述数据采集模块实现数据源配置模块信息的读取，并根据数据源配置信息实现特定方式的数据采集，其中，所述特定方式的数据采集在工作流任务节点配置指定，所述工作流任务节点是工作流中的一个节点，所述工作流由多个节点组成的，一个工作流的一次流转作为一次任务，所述任务流支持shell、python、SQL开发语言自定义参数处理，所述自定义参数包括时间参数；所述工作流任务调度模块通过任务节点的方式实现将数据采集模块配置的采集功能挂载带工作流中；所述任务监控模块实现工作流节点、执行日志、数据采集量情况的监控；所述数据管理模块实现采集到数据的查询和预览。

同时，如图2所示，所述的数据采集模块包括实时数据采集配置功能、结构化数据采集配置功能、非结构化数据采集配置功能、互联网数据爬取配置功能和日志数据采集配置功能；所述实时数据采集配置功能通过kafka管道topic及其采集策略，实现对kafka流式数据的采集；所述结构化数据采集配置功能能采集指定数据库表，制定全量采集或增量采集策略；所述非结构化数据采集配置功能可直接采集csv格式、txt文本、半结构化数据，存储语音、图片格式的数据，并配置解析策略；所述互联网数据爬取配置功能可采集网址及界面采集标签项，将页面列表或详细信息采集入库，且支持插件上传和自定义解析页面；所述日志数据采集配置功能能配置相应的数据采集管道，定制采集策略，对数据日志进行采集入库。

实施例2

如图3所示，一种基于电力系统的多源异构数据采集汇聚方法，其具体过程是：

步骤1：通过数据源配置模块确定采集方式和配置所需数据源，对数据源的接入方式及存储方式统一规划，将配置好的数据源传输至数据采集模块；

步骤2：通过工作流任务调度模块定义工作流任务，将定义好的工作流任务传输至数据采集模块，其中，工作流任务包括创建工作流、填写工作流名称、工作流编码、工作流任务描述；

步骤3：通过工作流任务调度模块定义任务节点，将定义好的任务节点传输至数据采集模块，其中，任务节点包括开始、采集数据、清洗数据、整合数据、输出数据、结束；

步骤4：利用步骤2的工作流任务和步骤3中的任务节点，在数据采集模块上对进行各类型数据接入方式的节点配置和数据采集，将采集完成的数据传输到数据管理模块，其中，各类型数据的接入方式包括实时数据的接入方式、结构化数据的接入方式、非结构化数据的接入方式、互联网数据的接入方式、日志数据的接入方式；

步骤5：任务调度监控模块对步骤2中的工作流任务调度模块和步骤3中的数据采集模块进行全程监测；

步骤6：利用数据管理模块对于步骤S5中所述的采集完成的数据进行查询和预览。

同时，如图4所示，所述实时数据采集到消息队列集群中，再进入到HBASE，或通过stream流处理引擎进入到HBASE数据库中，HBASE数据存储到HDFS分布式文件系统中，所述结构化业务系统数据进入到HBASE，HBASE数据存储到HDFS中，所述非结构化文本数据采集进入到HDFS，所述业务日志数据采集进入到HDFS，所述互联泥瓦工数据采集进入到HDFS；其中，HBASE指的是列式存储数据库，HDFS指的是分布式文件系统，sqoop指的是数据管道，ftp指的是文件传输协议，Flume指的是互联网数据采集技术。

同时，如图5所示，步骤4中所述非结构化数据的接入方式为非结构化数据通过文件传输协议传输的方式导入，其具体的流程为：文件从业务系统文件服务器进入传输管道，进入传输管道的数据存储到数据中心的分布式文件系统HDFS中。

进一步地，步骤4中所述结构化数据的接入方式为结构化数据通过sqoop方式进行数据导入，其导入方式可分为全量导入和增量导入，其中，全量导入通过程序：sqoopimport--connect jdbc:mysql://0.0.0.0:3306/XXX--username root--password000000--table data--hive-import--fields-terminated-by','-m 1；增量导入通过程序：sqoop import--connect jdbc:mysql://0.0.0.0:3306/XXX--username root--password 000000--table data--target-dir'/opt/hive/data'--incremental append--check-column id--last-value 3-m 1。

进一步地，如图6所示，步骤4中所述日志数据的接入方式为日志数据通过使用Flume工具导入，其具体的流程为：业务侧日志系统主动将数据推送进传输管道，进入传输管道的数据存储到数据中心的分布式文件系统HDFS中。

进一步地，如图7所示，所述步骤4中所述互联网数据的接入方式为互联网数据通过爬虫程序爬取数据并导入，其具体的流程为：数据源配置功能配置抓取网站URL，数据采集功能获取页面中的URL访问地址，将获取的新的URL访问地址放入到地址清单中，过滤地址清单链接得到过滤后的URL访问地址，通过采集过滤后的URL访问地址对应的页面获取数据，将数据存储到数据库。

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于电力系统的多源异构数据采集汇聚系统，其特征在于，包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据源配置模块与所述数据采集模块连接，所述数据采集模块与所述工作流任务调度模块和所述数据管理模块相连接，所述数据采集模块和所述工作流任务调度模块与所述任务监控模块相连接；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集，将采集后的数据源传输到所述数据采集模块；所述工作流任务调度模块对采集配置功能进行确定，将确定后的采集配置功能传输到所述数据采集模块；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集，将采集后的数据传输到所述数据管理模块；所述数据管理模块实现所述采集后数据的查询和预览；

所述的数据源配置模块根据不同的采集方式配置指定的数据源配置项实现所需数据源的配置，其中，所述指定的数据源包括实时数据源、结构化数据源、非结构化数据源、互联网数据源和日志数据源，所述不同的采集方式包括实时数据源采集方式、结构化数据源采集方式、非结构化数据源采集方式、互联网数据源采集方式和日志数据源采集方式；所述数据采集模块实现数据源配置模块信息的读取，并根据数据源配置信息实现特定方式的数据采集，其中，所述特定方式的数据采集在工作流任务节点配置指定，所述工作流任务节点是工作流中的一个节点，所述工作流由多个节点组成的，一个工作流的一次流转作为一次任务，所述任务支持shell、python、SQL开发语言自定义参数处理，所述自定义参数包括时间参数；所述工作流任务调度模块通过任务节点的方式实现将数据采集模块配置的采集功能挂载带工作流中；所述任务监控模块实现工作流节点、执行日志、数据采集量情况的监控；所述数据管理模块实现采集到数据的查询和预览。

2.根据权利要求1所述的基于电力系统的多源异构数据采集汇聚系统，其特征在于，所述的数据采集模块包括实时数据采集配置功能、结构化数据采集配置功能、非结构化数据采集配置功能、互联网数据爬取配置功能和日志数据采集配置功能；所述实时数据采集配置功能通过kafka管道topic及其采集策略，实现对kafka流式数据的采集；所述结构化数据采集配置功能能采集指定数据库表，制定全量采集或增量采集策略；所述非结构化数据采集配置功能可直接采集csv格式、txt文本半结构化数据，存储语音、图片格式的数据，并配置解析策略；所述互联网数据爬取配置功能可采集网址及界面采集标签项，将页面列表或详细信息采集入库，且支持插件上传和自定义解析页面；所述日志数据采集配置功能能配置相应的数据采集管道，定制采集策略，对数据日志进行采集入库。

3.一种利用权利要求1所述的基于电力系统的多源异构数据采集汇聚系统的方法，其特征在于，包括以下步骤：

S1.通过数据源配置模块确定采集方式和配置所需数据源，对数据源的接入方式及存储方式统一规划，将配置好的数据源传输至数据采集模块；

S2.通过工作流任务调度模块定义工作流任务，将定义好的工作流任务传输至数据采集模块，其中，工作流任务包括创建工作流、填写工作流名称、工作流编码、工作流任务描述；

S3.通过工作流任务调度模块定义任务节点，将定义好的任务节点传输至数据采集模块，其中，任务节点包括开始、采集数据、清洗数据、整合数据、输出数据、结束；

S4.利用步骤S2的工作流任务和步骤S3中的任务节点，在数据采集模块上对进行各类型数据接入方式的节点配置和数据采集，将采集完成的数据传输到数据管理模块，其中，各类型数据的接入方式包括实时数据的接入方式、结构化数据的接入方式、非结构化数据的接入方式、互联网数据的接入方式、日志数据的接入方式；

S5.任务调度监控模块对步骤S2中的工作流任务调度模块和步骤S3中的数据采集模块进行全程监测；

S6.利用数据管理模块对于步骤S5中所述的采集完成的数据进行查询和预览。

4.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的实时数据的接入方式为实时数据通过分布式消息队列的形式由Kafka分发。

5.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的结构化数据的接入方式为结构化数据通过sqoop方式进行数据导入。

6.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的非结构化数据的接入方式为非结构化数据通过文件传输协议传输的方式导入。

7.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的日志数据的接入方式为日志数据通过使用Flume工具导入。

8.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的互联网数据的接入方式为互联网数据通过爬虫程序爬取数据并导入。

Images