CN113342874A - 一种基于云计算的风电大数据分析系统和流程 - Google Patents

Abstract

一种基于云计算的风电大数据分析系统和流程，包括：基于云计算的风电大数据分析系统包括为四类用户提供服务，分别为应用开发者、系统维护人员、运检中心和公司高层领导提供服务；为所述应用开发者提供的服务可以为开发者提供程序开发的软件包及开发环境，并为开发出来的系统提供运行托管服务；结合另外的结构和方法有效避免了现有技术中针对风电大数据的平台系统无法构造规范化的风电大数据管理体系、无法为决策提供及时、准确、可靠的信息依据、无法提高新能源生产的前瞻性和针对性的缺陷。

Description

一种基于云计算的风电大数据分析系统和流程

技术领域

本发明涉及风电技术领域，具体涉及一种基于云计算的风电大数据分析系统和流程。

背景技术

风是没有公害的能源之一。而且它取之不尽，用之不竭。对于缺水、缺燃料和交通不便的沿海岛屿、草原牧区、山区和高原地带，因地制宜地利用风力发电，非常适合，大有可为。风电是可再生能源发展的重要领域，是推动能源技术进步和产业升级的重要力量，是促进能源结构调整的重要措施。

而目前针对风电大数据的平台系统，无法构造规范化的风电大数据管理体系，也无法为决策提供及时、准确、可靠的信息依据，也无法提高新能源生产的前瞻性和针对性。

发明内容

为解决上述问题，本发明提供了一种基于云计算的风电大数据分析系统和方法，有效避免了现有技术中针对风电大数据的平台系统无法构造规范化的风电大数据管理体系、无法为决策提供及时、准确、可靠的信息依据、无法提高新能源生产的前瞻性和针对性的缺陷。

为了克服现有技术中的不足，本发明提供了一种基于云计算的风电大数据分析系统和方法的解决方案，具体如下：

一种基于云计算的风电大数据分析系统，包括：

基于云计算的风电大数据分析系统包括为四类用户提供服务，分别为应用开发者、系统维护人员、运检中心和公司高层领导提供服务；

为所述应用开发者提供的服务可以为开发者提供程序开发的软件包及开发环境，并为开发出来的系统提供运行托管服务；

为系统维护人员提供的服务包括能够使用基于云计算的风电大数据分析系统的工具进行针对基于云计算的风电大数据分析系统的运维，工作内容包括企业仓库及大数据平台系统组件监控、系统升级、权限分配、缺陷处理这样的运维工作；

为运检中心提供的服务包括能够应用平台功能进行数据查询、数据导入导出、数据分析这样的工作，并能够利用基于云计算的风电大数据分析系统的工具开发简单的应用程序。

为公司高层领导提供的服务包括能够使用平台发布的系统，通过电脑或手机查看数据，进行数据对比对标。

所述基于云计算的风电大数据分析系统应以数据集成为基础，以业务支撑为核心，通过数据探索和管理工具为用户提供服务，同时应将用户交互与后端处理业务隔离开来，降低各业务模块之间无关耦合。

所述基于云计算的风电大数据分析系统用于提供数据的实时处理和计算机制，基于相应的实时计算技术，可以对风电的各业务数据进行实时查看和统计，针对各类情况快速做出决策和响应，将传统监控中各类日周月年的统计，转化为更加及时有效的监控方式，适应新能源行业目前信息化、智能化发展的需求；

所述基于云计算的风电大数据分析系统用于将各类数据管理标准与大数据技术有机结合起来，使用实时处理，并行计算，分布式计算等方式将数据去重、数据标准化、数据质量检查这样的操作高效有序地进行，保证处理后的数据和各类统计结果及时传输到后续环节；

所述基于云计算的风电大数据分析系统用于针对新能源数据的特点，提供集多种存储引擎于一体的存储服务，针对业务数据、对象数据以及时序数据采取不同存储方式；

所述基于云计算的风电大数据分析系统用于提供基于mapreduce、spark这样的多种大数据计算引擎，并提供对Java、Scala、R、Python这样的多种语言的支持，应内嵌针对新能源行业的常用算法库，支持各类统计、查询、机器学习算法的大规模计算；

所述基于云计算的风电大数据分析系统用于支持从业务层面、计算层面、数据层面进行不同程度的水平扩展，对于日益增长的数据量、业务量，可以在不重启服务的情况下进行新节点的扩展，实现动态扩容；

所述基于云计算的风电大数据分析系统用于支持数据治理，对数据的获取、处理、使用进行全方位监管，通过版本管理、数据质量管理等手段及时进行主数据治理，保证干净、精确、及时以及一致的主数据，经过有效地对元数据进行管理，可以提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性，最终提供对数据流向、质量、操作等全方面的审计跟踪；

所述基于云计算的风电大数据分析系统用于在海量数据计算的基础上集成预警等常见新能源业务的支撑；

所述基于云计算的风电大数据分析系统用于支持用户定制业务模型的开发，通过连接开放式开发者环境，用户可以自由调用系统中的数据进行数据探索，可以在可视化页面下选择系统已有的算法，也可以在开发环境下定义自己的算法，通过对各类数据源、指标、算法进行灵活组合，定制自己的模型，将自定义的模型发布到平台中运行；

所述基于云计算的风电大数据分析系统用于提供全面一体化的配置、管理、监控工具，为平台安装、使用、维护、管理这样的各个生命周期提供可视化工具。

所述基于云计算的风电大数据分析系统包括分布式消息中间件；所述分布式消息队列中间件是指利用消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成；

所述基于云计算的风电大数据分析系统能够支持生产者-消费者模式、发布-订阅模式、API完备、支持多语言、大吞吐量、低延迟、高可用、理论上不会丢失，有配套运维工具以及文档完备的消息中间件；

所述基于云计算的风电大数据分析系统还包括分布式文件系统；

所述基于云计算的风电大数据分析系统还包括时序数据存储；

所述基于云计算的风电大数据分析系统还包括流处理框架；所述流处理框架为分布式流处理。

一种基于云计算的风电大数据分析系统的流程，包括：

一、数据标准化接入；

二、指标体系；

三、数据管理；

四、数据共享；

五、业务计算；

六、可视化业务分析工具；

七、组态化数据探索环境；

八、开放式开发者环境；

九、平台管理；

十、数据质量管理；

十一、安全管理。

所述数据标准化接入包括：

(1)数据接入工具架构要求，即所述基于云计算的风电大数据分析系统能够实时接入的实现结构化和非结构化的数据；

(2)时序数据接入，即所述基于云计算的风电大数据分析系统能够将物联网平台采集的时序数据接入到数据服务平台的时序数据存储中；时序数据的采集和接收，要求单机吞吐高，每条记录不丢不重，在单点故障发生的情况下，不应该影响时序数据的持续接入；要求数据质量治理应能够在采集和接收前端完成，逐条核查时序数据的质量；

根据用户使用的场景，所述基于云计算的风电大数据分析系统应能够对时序数据提供至少以下三种接入方式：实时接入、批量接入和定时批量接入；

(3)对象数据接入，即所述基于云计算的风电大数据分析系统能够将传输过来的对象数据接入到数据服务平台的对象数据存储中；

(4)关系数据接入，即应能够在所述基于云计算的风电大数据分析系统中接入关系数据，对于支撑实际业务需求，实现异构数据间的关联分析具有现实意义，将物联网平台传输过来的业务数据接入到所述基于云计算的风电大数据分析系统；

(5)规则引擎，所述规则引擎应能够帮助用户灵活地转发和处理设备消息，用户可通过SQL的形式设定规则，对消息数据筛选、变型、转发，应能够根据不同场景将数据无缝转发至不同的数据目的地；

(6)设备基础信息管理，即所述基于云计算的风电大数据分析系统应能够实现模型管理、资产树管理、告警这样的功能。

所述指标体系以企业仓库及大数据平台系统为基础，应结合新能源运营业务特色设计指标评价体系；指标体系应能够统一风电、光伏两大新能源业务场景，支持跨领域的数据横向比较；

所述数据管理应能够对不同类型的数据建立标准，从而能够对数据进行收集、整理、组织、存储、加工、传输、检索。

所述数据共享包括：企业仓库及大数据平台系统应能够集成所有生产相关系统数据，打通所有系统的数据交互，并且能够通过平台登录智慧仓、全国集控、北网集控；实现生产管理系统、物资管理系统等外部数据的抽取、存储、计算、发布这样的功能，以及实时数据的提供；平台应能够通过数据查询服务调用查询引擎，对存储中的各类数据进行关联查询，并返回结果，通过底层数据的合理组织满足数据分析数据应用；同时，为满足用户自定义功能的需要，增强平台可扩展性，平台应能够提供多种API服务，用户可以通过API调用的方式获取平台中的数据、事件以及相关统计信息，添加到自己的工作环境相关环节中；

平台提供的API服务应包含但不限于以下几类：

(1)数据提供服务API

(2)消息通知服务API

(3)计算引擎调度API

为保证API接口的安全性，在接口中应至少采取以下策略：

(1)信息加密：

(2)身份鉴权：

平台应能够支持集成其他关系数据库数据。并应能够帮助数据开发人员实现数据同步和文件同步等功能；

平台应支持制定数据共享标准，在标准制定时，应充分考虑互联互通的技术标准，确保已有系统和未来新接入系统依照标准能够方便快捷接入平台，实现与外部系统的无缝集成。未来与外部系统之间的数据交互不需要大规模编程开发，只需要简单配置即可实现。

所述业务计算包括：基于云计算的风电大数据分析系统应能够实现业务计算功能，从而应实现流处理服务、批处理&调度服务这样的功能。

所述可视化业务分析工具包括：企业仓库及大数据平台系统应能够提供一个数据分析工具，通过可视化、易用性和创新性的方式让企业能够实现敏捷的业务智能分析；

所述组态化数据探索环境包括：平台还应提供多种数据探索服务，以满足用户定制化业务的需求；平台应能够为数据专家提供兼顾专业性和易用性的自定义模型服务，这种服务应能够在图形化操作界面上使用鼠标进行拖拽即可完成数据挖掘全过程，为业务专家使用提供便捷容易理解的参数设置以及大量的数据挖掘模型。

所述开放式开发者环境包括：平台应能够提供开放式的开发环境，以实现对自定义模型的补充和扩展，用户能够以开发者身份进入，进一步参与平台建设的渠道，使得互联网行业所提倡的共享、共建、共赢的理念在新能源行业延伸；具备新应用管理和部署功能，可配置菜单；

所述平台管理功能包括但不限于资源管理、业务监控、平台监控、平台用户管理、权限管理、配置管理和日志管理。

本发明的有益效果为：

本发明建立规范化风电大数据数据管理体系，为决策提供及时、准确、可靠的信息依据，提高新能源生产的前瞻性和针对性，具体效果如下：

(1)提供企业仓库及大数据平台系统服务：应能够实现数据标准化接入、指标体系、数据存储、数据共享、业务计算、可视化业务分析工具、组态化数据探索环境、开放式开发者环境、平台管理、安全管理等；

(2)提供智能大数据生产管理中心：应能够实现后续支持生产相关业务功能及系统的定制化开发，如效能分析、经营分析、生产指挥等功能模块，为管理者决策提供相应支持；企业仓库及大数据平台系统将完全实现数据存储、计算、业务分析，其他系统进行业务数据展示，实现生产管理智慧运营的目标。有效避免了现有技术中针对风电大数据的平台系统无法构造规范化的风电大数据管理体系、无法为决策提供及时、准确、可靠的信息依据、无法提高新能源生产的前瞻性和针对性的缺陷。

附图说明

图1是本发明的基于云计算的风电大数据分析系统的业务全景规划的结构图。

具体实施方式

下面将结合附图和实施例对本发明做进一步地说明。

如图1所示，基于云计算的风电大数据分析系统，包括：

针对作为针对风电大数据的企业仓库及大数据平台系统的基于云计算的风电大数据分析系统的建设目标，所述基于云计算的风电大数据分析系统主要包括为四类用户提供服务，分别为应用开发者、系统维护人员、运检中心(含数据分析师)和公司高层领导提供服务；

所述应用开发者是使用基于云计算的风电大数据分析系统的数据的应用开发商、系统集成商和公司内软件开发部门/个人的统称，为所述应用开发者提供的服务可以为开发者提供程序开发的软件包及开发环境，并为开发出来的系统提供运行托管服务；

为系统维护人员提供的服务包括能够熟练使用基于云计算的风电大数据分析系统的工具进行针对基于云计算的风电大数据分析系统的运维，工作内容包括企业仓库及大数据平台系统组件监控、系统升级、权限分配、缺陷处理这样的运维工作；

为运检中心(含数据分析师)提供的服务包括能够熟练应用平台功能进行数据查询、数据导入导出、数据分析这样的工作，并能够利用基于云计算的风电大数据分析系统的工具开发简单的应用程序。

为公司高层领导提供的服务包括能够使用平台发布的系统，通过电脑或手机查看数据，进行数据对比对标。

基于云计算的风电大数据分析系统的业务全景规划如图1所示。

作为基于云计算的风电大数据分析系统的企业仓库及大数据平台系统应能够接收物联网平台的时序、对象、业务等多源异构数据，针对不同格式、不同存储方式的数据，平台应能够提供多种数据接入通道，以满足不同数据类型的个性化需求。数据接入后经过内置的数据治理工具，应可实现数据标准化、去重、数据检查等清洗和治理步骤，依据数据分类及存储标准，应统一存储至企业仓库及大数据平台系统，平台还应实现基于分布式架构上的并行查询、分析引擎，同时应能够实现海量数据的存储和计算，并应能够对外提供统一标准的API接口服务。

企业仓库及大数据平台系统采应采用先进的大数据工具、技术框架，在满足系统高可靠、高可用、可扩展、安全稳定的前提下，应能够提供高负载和海量数据处理能力，支撑新能源行业对数据的抽取、转换、清洗、整合、分析、管理等各方面的需求。企业仓库及大数据平台系统需建立数据门户，实现与智慧仓系统、集控系统的单点登陆，在数据门户中方便快捷的实现数据总览、标准数据处理和服务等功能。

所述基于云计算的风电大数据分析系统应以数据集成为基础，以业务支撑为核心，通过数据探索和管理工具为用户提供服务，同时应将用户交互与后端处理业务隔离开来，降低各业务模块之间无关耦合。

所述基于云计算的风电大数据分析系统用于提供数据的实时处理和计算机制，基于相应的实时计算技术，可以对风电的各业务数据进行实时查看和统计，针对各类情况快速做出决策和响应，将传统监控中各类日周月年的统计，转化为更加及时有效的监控方式，适应新能源行业目前信息化、智能化发展的需求；

所述基于云计算的风电大数据分析系统用于将各类数据管理标准与大数据技术有机结合起来，使用实时处理，并行计算，分布式计算等方式将数据去重、数据标准化、数据质量检查这样的操作高效有序地进行，保证处理后的数据和各类统计结果及时传输到后续环节；

所述基于云计算的风电大数据分析系统用于针对新能源数据的特点，提供集多种存储引擎于一体的存储服务，针对业务数据、对象数据以及时序数据采取不同存储方式，能够有效发扬每种数据的特性，使数据产生最大的价值；

所述基于云计算的风电大数据分析系统用于提供基于mapreduce、spark这样的多种大数据计算引擎，应满足大规模并行计算、数据查询、统计分析等各种业务需求，并应提供对Java、Scala、R、Python这样的多种语言的支持，应内嵌针对新能源行业的常用算法库，支持各类统计、查询、机器学习算法的大规模计算；

所述基于云计算的风电大数据分析系统用于支持从业务层面、计算层面、数据层面进行不同程度的水平扩展，对于日益增长的数据量、业务量，可以在不重启服务的情况下进行新节点的扩展，实现动态扩容；

所述基于云计算的风电大数据分析系统用于支持数据治理，对数据的获取、处理、使用进行全方位监管，通过版本管理、数据质量管理等手段及时进行主数据治理，保证干净、精确、及时以及一致的主数据，经过有效地对元数据进行管理，可以提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性，最终提供对数据流向、质量、操作等全方面的审计跟踪；

所述基于云计算的风电大数据分析系统用于在海量数据计算的基础上集成预警等常见新能源业务的支撑，如业内通用的TBA、PBA、MTBI、MTBF等常见指标，以及根据长期积累的业务经验研发出来的常见的预警模型，这些指标和模型应能够由平台统一进行配置和调度，以日、周、月、年、实时等不同频率触发，满足生产业务需求；

除已集成业务外，所述基于云计算的风电大数据分析系统用于支持用户定制业务模型的开发，通过连接开放式开发者环境，用户可以自由调用系统中的数据进行数据探索，可以在可视化页面下选择系统已有的算法，也可以在开发环境下定义自己的算法，通过对各类数据源、指标、算法进行灵活组合，定制自己的模型，将自定义的模型发布到平台中运行；

所述基于云计算的风电大数据分析系统用于提供全面一体化的配置、管理、监控工具，为平台安装、使用、维护、管理这样的各个生命周期提供可视化工具，并应该满足操作简单方便，平台各类性能监控指标集中显示，及时反馈平台当前运转情况等功能。

随着风电大数据技术的不断发展，相关底层技术组件存在大量的开源工具、技术实现与应用方案，良莠不齐。结合新能源行业的数据与业务应用特点，本发明对平台的基础技术公共组件进行主动选型，通过功能筛选、技术审计与性能测评，选择适用于新能源大数据特征的平台公共组件。选型范围应包含但不限于：分布式消息中间件、分布式文件系统、时序数据存储、流处理框架等，应详细列举所有组件。

所述基于云计算的风电大数据分析系统包括分布式消息中间件；所述分布式消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成；通过提供消息传递和消息排队模型，它可以在分布式环境下起到应用异步通信、解耦、流量削峰、扩展性、冗余存储、可恢复性等等作用，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位；

所述基于云计算的风电大数据分析系统能够支持生产者-消费者模式、发布-订阅模式、API完备、支持多语言、大吞吐量、低延迟、高可用、理论上不会丢失，有配套运维工具以及文档完备的消息中间件；

所述基于云计算的风电大数据分析系统还包括分布式文件系统；所述基于云计算的风电大数据分析系统采用比较主流的分布式文件系统架构，并能够将广泛、稳定、部署简单、有图形化管理监控工具的分布式文件系统作为支撑；

所述基于云计算的风电大数据分析系统还包括时序数据存储；所述时间序列数据(TimeSeriesData，TSD，以下简称时序)从定义上来说，就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据，简单的说，就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。它普遍存在于IT基础设施、运维监控系统和物联网中。平台可选的时序数据库应包括但不限于influxDB、OpenTSDB、Prometheus等。

所述基于云计算的风电大数据分析系统还包括流处理框架；所述流处理框架为分布式流处理。分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，平台应采用主流的流计算框架如：SparkStreaming、Storm、Flink等。

一种基于云计算的风电大数据分析系统的流程，包括：

一、数据标准化接入；

二、指标体系；

三、数据管理；

四、数据共享；

五、业务计算；

六、可视化业务分析工具；

七、组态化数据探索环境；

八、开放式开发者环境；

九、平台管理；

十、数据质量管理；

系统提供数据质量管理模块，包含数据质量监控、自动评价、节点状态监测、数据质量标签、自动生成质量报告等服务。

十一、安全管理。

系统应能够提供安全管理功能，包括但不限于：用户认证、设备认证、应用鉴权、授权管理、账户生命周期管理(账户创建，编辑和删除)、多组织用户管理(组织用户都作为一个组织单位进行管理)等内容。

所述数据标准化接入包括：

(1)数据接入工具架构要求，即数据接入是数据可用性的基础，所述基于云计算的风电大数据分析系统应能够实时接入的实现结构化和非结构化的数据；

(2)时序数据接入，即所述基于云计算的风电大数据分析系统应能够将物联网平台采集的时序数据，如光伏组件监测数据、风力发电机组监测数据、升压站监测数据等，接入到数据服务平台的时序数据存储中；时序数据的采集和接收，要求单机吞吐高，每条记录不丢不重，在单点故障发生的情况下，不应该影响时序数据的持续接入；同时，由于风电大数据质量普遍存在问题，要求数据质量治理应能够在采集和接收前端完成，逐条核查时序数据的质量，避免“垃圾进－垃圾出”，采集到对于分析挖掘质量不合格的数据；

根据用户使用的场景，所述基于云计算的风电大数据分析系统应能够对时序数据提供至少以下三种接入方式：实时接入、批量接入和定时批量接入；

(3)对象数据接入，即所述基于云计算的风电大数据分析系统应能够将传输过来的对象数据，如视频监控数据、日志文本数据等，接入到数据服务平台的对象数据存储中；

(4)关系数据接入，即应能够在所述基于云计算的风电大数据分析系统中接入关系数据，对于支撑实际业务需求，实现异构数据间的关联分析具有现实意义，将物联网平台传输过来的业务数据接入到所述基于云计算的风电大数据分析系统；投标方应在投标阶段提供详细的关系数据接入步骤；

(5)规则引擎，所述规则引擎应能够帮助用户灵活地转发和处理设备消息，用户可通过SQL的形式设定规则，对消息数据筛选、变型、转发，应能够根据不同场景将数据无缝转发至不同的数据目的地，如时序数据库、物接入主题、机器学习、流式处理、对象存储和关系型存储等；

(6)设备基础信息管理，即所述基于云计算的风电大数据分析系统应能够实现模型管理、资产树管理、告警这样的功能。

所述指标体系以企业仓库及大数据平台系统为基础，应结合新能源运营业务特色设计指标评价体系；指标体系应能够统一风电、光伏两大新能源业务场景，支持跨领域的数据横向比较；风电指标包含但不局限于：标准空密平均风速(m/s)、等效小时数、PBA(能量可利用率)、TBA(时间可利用率)、MTBF(平均无故障运行时间)、MTTR(平均故障修复时间)、发电量、上网电量、不可用损失电量、故障损失电量、限电时间、限电损失电量、理论功率等；

所述数据管理应能够对不同类型的数据建立标准，从而能够对数据进行收集、整理、组织、存储、加工、传输、检索。其目的之一是从大量原始的数据中抽取、推导出对人们有价值的信息，然后利用信息作为行动和决策的依据；另一目的是为了借助计算机科学地保存和管理复杂的、大量的数据，以便人们能够方便而充分地利用这些信息资源。数据管理功能应能够实现元数据管理、时序数据存储、对象数据存储、关系型数据存储、制定存储策略等功能。

所述数据共享包括：企业仓库及大数据平台系统应能够集成所有生产相关系统数据，打通所有系统的数据交互，并且能够通过平台登录智慧仓、全国集控、北网集控(可采用单点登录方式)；实现生产管理系统、物资管理系统等外部数据的抽取、存储、计算、发布这样的功能，以及实时数据的提供；平台应能够通过数据查询服务调用查询引擎，对存储中的各类数据进行关联查询，并返回结果，通过底层数据的合理组织满足数据分析数据应用等；同时，为满足用户自定义功能的需要，增强平台可扩展性，平台应能够提供多种API服务，用户可以通过API调用的方式获取平台中的数据、事件以及相关统计信息，添加到自己的工作环境相关环节中；

平台提供的API服务应包含但不限于以下几类：

(1)数据提供服务API

(2)消息通知服务API

(3)计算引擎调度API

为保证API接口的安全性，在接口中应至少采取以下策略：

(1)信息加密：

(2)身份鉴权：

平台应能够支持集成其他关系数据库数据。并应能够帮助数据开发人员实现数据同步和文件同步等功能；

平台应支持制定数据共享标准，在标准制定时，应充分考虑互联互通的技术标准，确保已有系统和未来新接入系统依照标准能够方便快捷接入平台，实现与外部系统的无缝集成。未来与外部系统之间的数据交互不需要大规模编程开发，只需要简单配置即可实现。

平台还应支持从其它系统的数据库直接获取数据，支持遵守标准通讯规约的数据获取方式，支持少量数据的人工填报，支持数据固定模版下批量导入等。

平台应能够实现数据订阅功能，推送的内容应包括但不限于资产实时上送数据和资产告警数据信息等。

平台支持设备告警推送到生产管理系统功能。

平台应能够支持数据资产中心功能，数据资产中心用以对各阶段已经完成数据治理和相应标准化处理的结果数据，进行统一的封装，以界面交互的形式进行查询和展示，方便用户直观的了解已经在平台上形成的数据资产及利用方式。数据资产类别应分为：基础数据资产、数据超市等。数据资产中心的关键服务应包括但不限于：支持各项数据的说明性文字、功能使用的帮助链接；支持数据结构、数据结构类型的元数据明细查询；集成数据源、关联数据等血缘关系的查询与展示；集成数据调用方法(API、界面查询、下载方法等)的说明；支持数据查询工具：样例数据、按条件查询、下载等功能。

所述业务计算包括：基于云计算的风电大数据分析系统应能够实现业务计算功能，从而应实现流处理服务、批处理&调度服务这样的功能。具体如下：

(1)流处理服务：

流处理服务应能够充分满足处理设备和资产的实时数据，以及经离线消息通道集成的数据的需求。

应能够基于大规模分布式集群的实时处理能力，并应能够集成可视化的流数据处理任务设计、调试、部署及监控工具。企业仓库及大数据平台系统应可以沉淀一系列通用及领域相关的流计算算子，覆盖多领域核心场景需求。数据开发工程师应能够快速组合出不同的数据处理方案，降低数据开发障碍、缩短数据研发周期。

数据处理服务还应能够实现规则和配置加载、提供相关支持工具等功能。

(2)批处理&调度服务：

批处理又称批计算，是指对平台中离线批量数据的并行计算，过程中会调用数据清洗、聚合、专用算法等平台计算算子，实现数据标准、数据挖掘、应用服务等数据批量处理的功能。

大数据平台应能够提供批处理框架，应包概括但不限于MapReduce和Spark，从而能够分别响应不同的批处理场景。

批计算服务应能够配合调度服务，实现用户的可用性需求。其中，作业是批计算的调度服务的主体，是调度服务中被执行任务的统称。平台提供的调度服务应能够覆盖作业的全生命周期管理，包括但不限于作业的定义、运行监督、结果查询等。

所述可视化业务分析工具包括：企业仓库及大数据平台系统应能够提供一个数据分析工具，通过可视化、易用性和创新性的方式让企业能够实现敏捷的业务智能分析；可视化数据分析工具应具备但不限于以下内容：

(1)数据准备：用户应能够通过界面的拖动的形式执行数据源的合并、取样、查重、语义矛盾等多种标准数据准备算法，同时应能够支持自定义规整算子的添加以及数据修改。

(2)自助式可视化数据分析工具：应能够连接到一个或多个数据源，同时应支持单数据源的多表连接和多数据源的数据融合，可以轻松的对多源数据进行整合分析而无需任何编码基础。

(3)多种数据源整合：应能够支持企业应用系统及数据仓库、数据集市的多数据源无缝整合，从而实现多个数据维度的交叉分析。业务分析工具还应能够满足多类数据源的接口，且不断补充与增加更多数据源接口，可以覆盖文件、关系型数据库、大数据等业内主流数据类型与数据源，支持的数据源种类应包括但不限于：

关系型数据：Oracle、PostgreSQL、MySQL、MongoDB等；

对象数据：OLap、Box等；

文件数据：Miscosoft文件、csv、PDF等；

大数据平台：Hadoop、Impala、Spark等；

SQL文件：EXASOL、GoogleCloudSQL等；

编程文件：json、python、R等；

数据抓取工具：ApacheDrill、Tableau数据提取、ProgressOpenEdge、fineBI等；

(4)可靠的分析性能：分析组件的性能应能够满足数据量和分析效率的要求，同时应能够提供强大的性能调优工具，数据分析工具可以支持存储在平台中PB级数据可靠分析；

可视化业务分析工具关键技术特性应包括但不限于：用户易用性、助式开发、数据的实时定时自动刷新、支持快速实现系统集成、支持订阅式邮件分发等。

所述组态化数据探索环境包括：平台还应提供多种数据探索服务，以满足用户定制化业务的需求；平台应能够为数据专家提供兼顾专业性和易用性的自定义模型服务，这种服务应能够在图形化操作界面上使用鼠标进行拖拽即可完成数据挖掘全过程，为业务专家使用提供便捷容易理解的参数设置以及大量的数据挖掘模型。投标方应在投标阶段提供详细的数据探索服务方案。

所述开放式开发者环境包括：平台应能够提供开放式的开发环境，以实现对自定义模型的补充和扩展，用户能够以开发者身份进入，进一步参与平台建设的渠道，使得互联网行业所提倡的共享、共建、共赢的理念在新能源行业延伸；具备新应用管理和部署功能，可配置菜单；

所述平台管理功能应主要包括但不限于资源管理、业务监控、平台监控、平台用户管理、权限管理、配置管理和日志管理。

资源管理：用户在创建时会被赋予默认的资源量以满足基本操作，如需扩展或调整集群的能力，应能够在线进行资源的申请，扩容，管理等操作。

业务监控：应包括监控平台上的业务应用运行情况、平台上的数据云图、数据质量等。

平台监控：应能够对集群进行管理，如添加、删除节点等操作；应能够监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控；应能够对大数据的多组件进行整合；还应能够对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

用户管理：平台管理的用户分为两大类，一类是平台运维人员，一类是平台之上的应用。平台应能够指定用户的有效期、是否禁用；如果是应用用户应能够限定应用的MAC地址。平台还应提供用户的查询、增加、修改、删除等操作。

权限管理：平台权限管理应能够支持对管理工具的权限管理和对平台数据(包括元数据和业务数据)的权限管理。

配置管理：应能够实现大数据平台的各种组件(Flume、Kafka、Hive、Hbase、HDFS、Spark、yarn、ZooKeeper等)及应用(流计算规则引擎规则配置、预警模型参数配置、调度模块配置、应用告警规则配置、平台监控指标配置、绩效分析指标配置等)的配置项的增加、修改、删除以及查看。

日志管理：系统应能够提供日志记录功能；应能够采集组件接口的日志记录、日志查询等；当应用已部署至某环境时，还应能够通过点击各服务的查看日志按钮查看服务日志详情。

告警管理：系统应能够提供告警功能；

事件管理：即告警服务模块。应能够接收设备上送的事件类信息，能够提供事件的存储，查询，订阅，推送等服务，同时也应支持对接入到平台的实时数据定义产生事件的规则，以满足实时告警，故障分析等业务需求。

以上以用实施例说明的方式对本发明作了描述，本领域的技术人员显而易见的是，本公开不限于以上描述的实施例，在不偏离本发明的范围的状态下，能够做出各种变动、改变和替换。

Claims (10)

1.一种基于云计算的风电大数据分析系统，其特征在于，包括：

基于云计算的风电大数据分析系统包括为四类用户提供服务，分别为应用开发者、系统维护人员、运检中心和公司高层领导提供服务；

为所述应用开发者提供的服务可以为开发者提供程序开发的软件包及开发环境，并为开发出来的系统提供运行托管服务；

为系统维护人员提供的服务包括能够使用基于云计算的风电大数据分析系统的工具进行针对基于云计算的风电大数据分析系统的运维，工作内容包括企业仓库及大数据平台系统组件监控、系统升级、权限分配、缺陷处理这样的运维工作；

为运检中心提供的服务包括能够应用平台功能进行数据查询、数据导入导出、数据分析这样的工作，并能够利用基于云计算的风电大数据分析系统的工具开发简单的应用程序；

为公司高层领导提供的服务包括能够使用平台发布的系统，通过电脑或手机查看数据，进行数据对比对标。

2.根据权利要求1所述的基于云计算的风电大数据分析系统，其特征在于，所述基于云计算的风电大数据分析系统应以数据集成为基础，以业务支撑为核心，通过数据探索和管理工具为用户提供服务，同时应将用户交互与后端处理业务隔离开来，降低各业务模块之间无关耦合。

3.根据权利要求1所述的基于云计算的风电大数据分析系统，其特征在于，所述基于云计算的风电大数据分析系统用于提供数据的实时处理和计算机制，基于相应的实时计算技术，可以对风电的各业务数据进行实时查看和统计，针对各类情况快速做出决策和响应，将传统监控中各类日周月年的统计，转化为更加及时有效的监控方式，适应新能源行业目前信息化、智能化发展的需求；

所述基于云计算的风电大数据分析系统用于将各类数据管理标准与大数据技术有机结合起来，使用实时处理，并行计算，分布式计算等方式将数据去重、数据标准化、数据质量检查这样的操作高效有序地进行，保证处理后的数据和各类统计结果及时传输到后续环节；

所述基于云计算的风电大数据分析系统用于针对新能源数据的特点，提供集多种存储引擎于一体的存储服务，针对业务数据、对象数据以及时序数据采取不同存储方式；

所述基于云计算的风电大数据分析系统用于提供基于mapreduce、spark这样的多种大数据计算引擎，并提供对Java、Scala、R、Python这样的多种语言的支持，应内嵌针对新能源行业的常用算法库，支持各类统计、查询、机器学习算法的大规模计算；

所述基于云计算的风电大数据分析系统用于支持从业务层面、计算层面、数据层面进行不同程度的水平扩展，对于日益增长的数据量、业务量，可以在不重启服务的情况下进行新节点的扩展，实现动态扩容；

所述基于云计算的风电大数据分析系统用于支持数据治理，对数据的获取、处理、使用进行全方位监管，通过版本管理、数据质量管理等手段及时进行主数据治理，保证干净、精确、及时以及一致的主数据，经过有效地对元数据进行管理，可以提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性，最终提供对数据流向、质量、操作等全方面的审计跟踪；

所述基于云计算的风电大数据分析系统用于在海量数据计算的基础上集成预警等常见新能源业务的支撑；

所述基于云计算的风电大数据分析系统用于支持用户定制业务模型的开发，通过连接开放式开发者环境，用户可以自由调用系统中的数据进行数据探索，可以在可视化页面下选择系统已有的算法，也可以在开发环境下定义自己的算法，通过对各类数据源、指标、算法进行灵活组合，定制自己的模型，将自定义的模型发布到平台中运行；

所述基于云计算的风电大数据分析系统用于提供全面一体化的配置、管理、监控工具，为平台安装、使用、维护、管理这样的各个生命周期提供可视化工具。

4.根据权利要求1所述的基于云计算的风电大数据分析系统，其特征在于，所述基于云计算的风电大数据分析系统包括分布式消息中间件；所述分布式消息队列中间件是指利用消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成；

所述基于云计算的风电大数据分析系统能够支持生产者-消费者模式、发布-订阅模式、API完备、支持多语言、大吞吐量、低延迟、高可用、理论上不会丢失，有配套运维工具以及文档完备的消息中间件；

所述基于云计算的风电大数据分析系统还包括分布式文件系统；

所述基于云计算的风电大数据分析系统还包括时序数据存储；

所述基于云计算的风电大数据分析系统还包括流处理框架；所述流处理框架为分布式流处理。

5.一种基于云计算的风电大数据分析系统的流程，其特征在于，包括：

一、数据标准化接入；

二、指标体系；

三、数据管理；

四、数据共享；

五、业务计算；

六、可视化业务分析工具；

七、组态化数据探索环境；

八、开放式开发者环境；

九、平台管理；

十、数据质量管理；

十一、安全管理。

6.根据权利要求5所述的基于云计算的风电大数据分析系统的流程，其特征在于，所述数据标准化接入包括：

(1)数据接入工具架构要求，即所述基于云计算的风电大数据分析系统能够实时接入的实现结构化和非结构化的数据；

(2)时序数据接入，即所述基于云计算的风电大数据分析系统能够将物联网平台采集的时序数据接入到数据服务平台的时序数据存储中；时序数据的采集和接收，要求单机吞吐高，每条记录不丢不重，在单点故障发生的情况下，不应该影响时序数据的持续接入；要求数据质量治理应能够在采集和接收前端完成，逐条核查时序数据的质量；

根据用户使用的场景，所述基于云计算的风电大数据分析系统应能够对时序数据提供至少以下三种接入方式：实时接入、批量接入和定时批量接入；

(3)对象数据接入，即所述基于云计算的风电大数据分析系统能够将传输过来的对象数据接入到数据服务平台的对象数据存储中；

(4)关系数据接入，即应能够在所述基于云计算的风电大数据分析系统中接入关系数据，对于支撑实际业务需求，实现异构数据间的关联分析具有现实意义，将物联网平台传输过来的业务数据接入到所述基于云计算的风电大数据分析系统；

(5)规则引擎，所述规则引擎应能够帮助用户灵活地转发和处理设备消息，用户可通过SQL的形式设定规则，对消息数据筛选、变型、转发，应能够根据不同场景将数据无缝转发至不同的数据目的地；

(6)设备基础信息管理，即所述基于云计算的风电大数据分析系统应能够实现模型管理、资产树管理、告警这样的功能。

7.根据权利要求5所述的基于云计算的风电大数据分析系统的流程，其特征在于，所述指标体系以企业仓库及大数据平台系统为基础，应结合新能源运营业务特色设计指标评价体系；指标体系能够统一风电、光伏两大新能源业务场景，支持跨领域的数据横向比较；

所述数据管理应能够对不同类型的数据建立标准，从而能够对数据进行收集、整理、组织、存储、加工、传输、检索。

8.根据权利要求5所述的基于云计算的风电大数据分析系统的流程，其特征在于，所述数据共享包括：企业仓库及大数据平台系统应能够集成所有生产相关系统数据，打通所有系统的数据交互，并且能够通过平台登录智慧仓、全国集控、北网集控；实现生产管理系统、物资管理系统等外部数据的抽取、存储、计算、发布这样的功能，以及实时数据的提供；平台应能够通过数据查询服务调用查询引擎，对存储中的各类数据进行关联查询，并返回结果，通过底层数据的合理组织满足数据分析数据应用；同时，为满足用户自定义功能的需要，增强平台可扩展性，平台应能够提供多种API服务，用户可以通过API调用的方式获取平台中的数据、事件以及相关统计信息，添加到自己的工作环境相关环节中；

平台提供的API服务应包含但不限于以下几类：

(1)数据提供服务API

(2)消息通知服务API

(3)计算引擎调度API

为保证API接口的安全性，在接口中应至少采取以下策略：

(1)信息加密：

(2)身份鉴权：

平台应能够支持集成其他关系数据库数据。并应能够帮助数据开发人员实现数据同步和文件同步等功能；

平台应支持制定数据共享标准，在标准制定时，应充分考虑互联互通的技术标准，确保已有系统和未来新接入系统依照标准能够方便快捷接入平台，实现与外部系统的无缝集成。未来与外部系统之间的数据交互不需要大规模编程开发，只需要简单配置即可实现。

9.根据权利要求5所述的基于云计算的风电大数据分析系统的流程，其特征在于，所述业务计算包括：基于云计算的风电大数据分析系统应能够实现业务计算功能，从而应实现流处理服务、批处理&调度服务这样的功能。

10.根据权利要求5所述的基于云计算的风电大数据分析系统的流程，其特征在于，所述可视化业务分析工具包括：企业仓库及大数据平台系统应能够提供一个数据分析工具，通过可视化、易用性和创新性的方式让企业能够实现敏捷的业务智能分析；

所述组态化数据探索环境包括：平台还应提供多种数据探索服务，以满足用户定制化业务的需求；平台应能够为数据专家提供兼顾专业性和易用性的自定义模型服务，这种服务应能够在图形化操作界面上使用鼠标进行拖拽即可完成数据挖掘全过程，为业务专家使用提供便捷容易理解的参数设置以及大量的数据挖掘模型；

所述开放式开发者环境包括：平台应能够提供开放式的开发环境，以实现对自定义模型的补充和扩展，用户能够以开发者身份进入，进一步参与平台建设的渠道，使得互联网行业所提倡的共享、共建、共赢的理念在新能源行业延伸；具备新应用管理和部署功能，可配置菜单；

所述平台管理功能包括但不限于资源管理、业务监控、平台监控、平台用户管理、权限管理、配置管理和日志管理。

Images