CN112256770A - 一种基于智能化数据采集与分析的智慧数据分析平台 - Google Patents

Abstract

本发明公开了一种基于智能化数据采集与分析的智慧数据分析平台，包括：目标数据中心、人机操作模块、数据采集与分析模块和数据存储反馈模块；通过数据采集与分析模块接收人机操作模块输入的查询请求、多维分析命令和学习命令对营销、用采和PMS2.0业务系统的数据进行采集与分析，之后将处理结果通过数据存储反馈模块进行存储和信息反馈；替代了人工执行的重复性任务和工作流程，解决低附加值业务岗位产出及大量重复性劳动问题，具备操作高效、数据准确性高、安全性高及可拓展、部署灵活的应用优势；且，通过预设的程序操作指令模拟人工作业处理流程标准化工作，可以加速业务流程并减少人力投入。

Description

一种基于智能化数据采集与分析的智慧数据分析平台

技术领域

本发明涉及一种智慧数据分析平台，具体涉及一种基于智能化数据采集与分析的智慧数据分析平台，属于数据分析领域。

背景技术

大数据、云计算、 “互联网+”已成为创新发展的新趋势，在大数据条件下，企业需备在第一时间洞察数据的变化、感知有问题的数据，并提供有效的安全策略的能力。目前，传统的产品工具对数据的处理目前仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联要靠人工进行逐条甄别。鉴于此，迫切需要设计一种可实现数据自动获取分析处理的数据分析处理平台。

随着国家电网水平的不断提高以及各类智能设备的广泛应用，电力行业在工作方面获得的数据量也急剧增加。

为了工作的需要，用户要将获取的数据进行分析处理。而电网企业现有的信息管理系统，数据存储基本都是采用传统的关系型数据库，例如 Oracle、Sybase 等，这些关系型数据库普遍采用单节点来部署，因此，电网企业现有的信息管理系统对数据进行处理也是以单节点为单位进行的，这样就使得电网企业现有的信息管理系统对数据的处理受到很大的限制，基本上只能集中在数据查询和小范围的数据汇总分析。

申请号为201911377773.0的中国发明专利公开了一种数据分析处理平台，该发明公开了一种数据分析处理平台，包括目标数据采集模块，用于进行目标数据的采集；数据标准化模块，基于预设的算法完成目标数据的标准化处理；数据处理模块，采用基于平均多粒度决策粗糙集的属性约简算法对完成标准化处理后的目标数据进行约简处理；数据特征提取模块，基于CCIPCA算法实现数据特征的提取；数据分类模块，基于LIBSVM根据所述特征数据实现目标数据的分类；数据分析模块，基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型基于所述数据特征实现目标数据的分析。该发明提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

而面对电网企业越来越庞大的数据量及对大量数据进行分析处理的迫切任务，电网企业现有的信息管理系统已不能够满足需要。对数据的处理不仅需要具有数据查询和数据汇总功能，更应该具有从数据中挖掘未知的有价值知识的能力，以提取出有价值的数据，为电力企业决策提供有利支持。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了一种新型的

为了实现上述目标，本发明采用如下的技术方案：

一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，包括：目标数据中心、人机操作模块、数据采集与分析模块和数据存储反馈模块；

所述目标数据中心用于存储待采集与分析的营销、用采和PMS2.0业务系统的数据；所述数据采集与分析模块与目标数据中心、人机操作模块和数据存储反馈模块进行信息连接，用于将待分析的数据进行采集和分析，并将分析后的数据进行传输；所述人机操作模块用于程序操作指令输入到数据采集与分析模块中，并对其进行控制，所述程序操作指令包括查询请求、多维分析命令、学习命令；所述数据存储反馈用于接收数据采集与分析模块处理过后的数据，对其进行存储，并通过人机交互平台进行反馈。

优选地，前述数据采集与分析模块为RPA数据采集与分析模块，所述RPA数据采集与分析模块为自主工作的虚拟流程自动化机器人，通过设置在其内部的程序操作指令进行工作。

更优选的，前述RPA数据采集与分析模块模拟人工作业处理流程，进行标准化工作，采集系统内营销、用采和PMS2.0业务数据，再进行分析。

再优选地，前述RPA数据采集与分析模块用于根据接收到的查询请求查询对应的待处理数据，根据接收到的多维分析命令分析对应的待处理数据，根据接收到的学习命令，采用对应的学习命令挖掘对应的待处理数据，所述学习命令包括：线性回归 (LinearRegression)、逻辑回归 (Logistic Regression)、决策树 (Decision Tree)、支持向量机（SVM）、朴素贝叶斯 (Naive Bayes)、K邻近算法（KNN）、K-均值算法（K-means）、随机森林(Random Forest)、降低维度算法（Dimensionality Reduction Algorithms）、GradientBoost和Adaboost算法。

进一步优选地，前述RPA数据采集与分析模块内还设置有自动预警分析模块，实现系统各类指标数据的监控分析及状态自动研判预警。

更进一步优选地，前述人机操作模块为一操作面板，与数据采集与分析模块信息连接，将程序操作指令输入到数据采集与分析模块中控制数据采集与分析模块工作。

且，前述人机交互平台接收经数据采集与分析模块处理后的数据，将处理结果展示给用户。

本发明的有益之处在于：

本发明的智慧数据分析平台，通过RPA数据采集与分析模块接收人机操作模块输入的查询请求、多维分析命令和学习命令对营销、用采和PMS2.0业务系统的数据进行采集与分析，之后将处理结果通过数据存储反馈模块进行存储和信息反馈，本发明替代了人工执行的重复性任务和工作流程，解决低附加值业务岗位产出及大量重复性劳动问题，本平台具备操作高效、数据准确性高、安全性高及可拓展、部署灵活等多种应用优势；且，通过预先设定的程序操作指令模拟人工作业处理流程标准化工作，达到加速业务流程流转并减少人力投入目的；同时基于自动预警分析技术的研究，实现电力系统各类指标数据的监控分析及状态自动研判预警，达到指标动态管控的目的，使得本发明具有较高的使用价值。

附图说明

图1是本发明一实施例的系统框图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本实施例应用于电力系统的一种基于智能化数据采集与分析的智慧数据分析平台，结合图1所示，其由目标数据中心、人机操作模块、数据采集与分析模块和数据存储反馈模块组成；该目标数据中心用于存储待采集与分析的营销、用采和PMS2.0业务系统的数据；数据采集与分析模块与目标数据中心、人机操作模块和数据存储反馈模块进行信息连接，用于将待分析的数据进行采集和分析，并将分析后的数据进行传输；人机操作模块用于程序操作指令输入到数据采集与分析模块中，并对其进行控制，程序操作指令包括查询请求、多维分析命令、学习命令；且，数据存储反馈用于接收数据采集与分析模块处理过后的数据，对其进行存储，并通过人机交互平台进行反馈。

在本实施例中，数据采集与分析模块为RPA数据采集与分析模块，该RPA数据采集与分析模块为自主工作的虚拟流程自动化机器人，通过设置在其内部的程序操作指令进行工作。RPA数据采集与分析模块模拟人工作业处理流程，进行标准化工作，采集系统内营销、用采和PMS2.0业务数据，再进行分析。RPA数据采集与分析模块根据接收到的查询请求查询对应的系统内营销、用采和PMS2.0业务数据，根据接收到的多维分析命令分析对应的待处理数据，根据接收到的学习命令，采用对应的学习命令挖掘对应的待处理数据，学习命令包括：线性回归 (Linear Regression)、逻辑回归 (Logistic Regression)、决策树(Decision Tree)、支持向量机（SVM）、朴素贝叶斯 (Naive Bayes)、K邻近算法（KNN）、K-均值算法（K-means）、随机森林(Random Forest)、降低维度算法（Dimensionality ReductionAlgorithms）、Gradient Boost和Adaboost算法。RPA数据采集与分析模块内还设置有自动预警分析模块，实现系统各类指标数据的监控分析及状态自动研判预警。

为了将程序操作指令输入到RPA数据采集与分析模块，本实施例还设置有人机操作模块，该模块为一操作面板，与RPA数据采集与分析模块信息连接，通过该操作面板将程序操作指令输入到RPA数据采集与分析模块中控制数据采集与分析模块工作。待RPA数据采集与分析模块将数据采集分析后，将结果传输到人机交互平台，人机交互平接收经RPA数据采集与分析模块处理后的数据，将处理结果展示给用户。

综上，本发明的智慧数据分析平台，通过RPA数据采集与分析模块接收人机操作模块输入的查询请求、多维分析命令和学习命令对营销、用采和PMS2.0业务系统的数据进行采集与分析，之后将处理结果通过数据存储反馈模块进行存储和信息反馈，本发明替代了人工执行的重复性任务和工作流程，解决低附加值业务岗位产出及大量重复性劳动问题，本平台具备操作高效、数据准确性高、安全性高及可拓展、部署灵活等多种应用优势；且，通过预先设定的程序操作指令模拟人工作业处理流程标准化工作，达到加速业务流程流转并减少人力投入目的；同时基于自动预警分析技术的研究，实现电力系统各类指标数据的监控分析及状态自动研判预警，达到指标动态管控的目的，使得本发明具有较高的使用价值。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，包括：目标数据中心、人机操作模块、数据采集与分析模块和数据存储反馈模块；

所述目标数据中心用于存储待采集与分析的营销、用采和PMS2.0业务系统的数据；

所述数据采集与分析模块与目标数据中心、人机操作模块和数据存储反馈模块进行信息连接，用于将待分析的数据进行采集和分析，并将分析后的数据进行传输；

所述人机操作模块用于程序操作指令输入到数据采集与分析模块中，并对其进行控制，所述程序操作指令包括查询请求、多维分析命令、学习命令；

所述数据存储反馈用于接收数据采集与分析模块处理过后的数据，对其进行存储，并通过人机交互平台进行反馈。

2.根据权利要求1所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述数据采集与分析模块为RPA数据采集与分析模块，所述RPA数据采集与分析模块为自主工作的虚拟流程自动化机器人，通过设置在其内部的程序操作指令进行工作。

3.根据权利要求2所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述RPA数据采集与分析模块模拟人工作业处理流程，进行标准化工作，采集系统内营销、用采和PMS2.0业务数据，再进行分析。

4.据权利要求3所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述RPA数据采集与分析模块用于根据接收到的查询请求查询对应的待处理数据，根据接收到的多维分析命令分析对应的待处理数据，根据接收到的学习命令，采用对应的学习命令挖掘对应的待处理数据，所述学习命令包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、K邻近算法、K-均值算法、随机森林、降低维度算法、Gradient Boost和Adaboost算法。

5.据权利要求4所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述RPA数据采集与分析模块内还设置有自动预警分析模块，实现系统各类指标数据的监控分析及状态自动研判预警。

6.根据权利要求1所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述人机操作模块为一操作面板，与数据采集与分析模块信息连接，将程序操作指令输入到数据采集与分析模块中控制数据采集与分析模块工作。

7.根据权利要求1所述的一种基于智能化数据采集与分析的智慧数据分析平台，其特征在于，所述人机交互平台接收经数据采集与分析模块处理后的数据进行储存，将处理结果展示给用户。

Images