CN107341241A - 一种基于云计算的风电大数据分析系统 - Google Patents

一种基于云计算的风电大数据分析系统 Download PDF

Info

Publication number
CN107341241A
CN107341241A CN201710542481.2A CN201710542481A CN107341241A CN 107341241 A CN107341241 A CN 107341241A CN 201710542481 A CN201710542481 A CN 201710542481A CN 107341241 A CN107341241 A CN 107341241A
Authority
CN
China
Prior art keywords
wind
data analysis
electricity generation
powered electricity
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710542481.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fanxi Electronics Co Ltd
Original Assignee
Shenzhen Fanxi Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fanxi Electronics Co Ltd filed Critical Shenzhen Fanxi Electronics Co Ltd
Priority to CN201710542481.2A priority Critical patent/CN107341241A/zh
Priority to PCT/CN2017/091935 priority patent/WO2019006721A1/zh
Publication of CN107341241A publication Critical patent/CN107341241A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供了一种基于云计算的风电大数据分析系统，包括分布式文件系统模块(1)，并行编程框架模块(2)，数据仓库系统(3)，监控工具(4)，运行调度工具(5)以及开发工具集合模块(6)，其中分布式系统文件系统(1)用于数据的持久化存储，监控工具(4)用于监控系统的运行状态、数据分析作业的执行状态，运行调度工具(5)根据需求对数据分析作业进行调度，解析作业间的关联或依赖关系，开发工具集合模块(6)用于简化系统的配置管理。该系统提高风电数据分析挖掘速度，从而提高风电管理效率和风机设备利用率，进而提高发电量。

Description

一种基于云计算的风电大数据分析系统
技术领域
本发明涉及风电技术领域，特别是一种基于云计算的风电大数据分析系统。
背景技术
风能作为一种清洁的可再生能源，已经受到全球性的广泛关注和高度重视。随着电力系统中风电装机容量的比重日益增大，每台风电机组的数据也日趋完善和丰富，这样，风电的集中监控系统，也面临着数据存储规模大、实时性、分析性强等挑战。实时、有效、准确的对风电基础数据分析，不仅可以从各方面对风机性能进行掌控，提高风机发电效率和设备利用率，还可以对风电的预测更加准确，从而，使管理人员可以提前做好调度准备，有助于电网消纳更多的风电。
对于集控侧的风机数据，其多样丰富和存储量大的特性，构成风电系统中独具特色的大数据，对于“大数据”，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而是对于这些含有意义的数据进行专业化处理。目前，国内集控系统从风电场侧采集的数据主要有：风机数据、升压站数据、电计量数据、测风塔数据等。风场侧通过数据采集装置和网络将数据传输到集控中心侧，集控中心侧部署数据存储服务器，将所有数据进行历史存储。现有技术关于风电数据的采集和存储系统的流程图如图1所示。
随着风电行业的迅猛发展，风机数据日趋丰富和完善，传统的数据存储系统和数据分析结构将面临巨大的压力和挑战。云计算是一种全新的大规模分布式计算模式，起源于互联网公司对大量计算与存储资源的需求以及对可伸缩性、高性能、高可用等特征的追求。云计算聚合了大量分布、异构的资源，向用户提供强大的海量数据存储与计算能力，云计算通过虚拟化、动态资源调配等技术向用户提供服务避免资源浪费与竞争，提高资源利用率以及应用性能。云计算提供横向伸缩和动态夫在均衡能力。云计算环境中的资源被组织为数据中心的形式，一个数据中心包含数千个甚至数万个节点，节点间通过高速网络互联，共同向用户提供计算和存储资源。
发明内容
本发明的目的在于提供一种基于云计算的风电大数据分析系统，包括分布式文件系统模块，并行编程框架模块，数据仓库系统，监控工具，运行调度工具以及开发工具集合模块，其中所述分布式系统文件系统用于数据的持久化存储，所述监控工具用于监控系统的运行状态、数据分析作业的执行状态，所述运行调度工具根据需求对数据分析作业进行调度，解析作业间的关联或依赖关系，所述开发工具集合模块用于简化系统的配置管理。
优选的，所述分布式文件系统包括元数据服务器和多个数据服务器。
优选的，所述分布式文件系统的文件由数据块构成，数据块分布在不同的节点上，用于维持负载均衡。
优选的，所述并行编程框架模块采用谷歌公司的Hadoop，基于Map-Reduce进行并行编程。
优选的，所述数据仓库模块采用基于Hadoop平台的Hive。
优选的，所述开发工具集合模块包括SQL翻译、并行ETL工具、索引管理和任务管理。
采用该基于云计算的风电大系统，可以提高风电数据分析挖掘速度，从而提高风电管理效率和风机设备利用率，进而提高发电量。在数据存储方面，构建起相对大规模的存储级别的相关系统，在设备利用方面，实现存储设备在线的有效收缩和扩展，在负载均衡方面，实现系统的全局性自动的均衡夫在，在数据安全方面，云存储实现整体数据的安全性与保护性。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。本发明的目标及特征考虑到如下结合附图的描述将更加明显，附图中：
图1为现有技术风电数据的采集和存储系统的流程图；
图2为根据本发明实施例的基于云计算的风电大数据分析系统框图；
附图3为根据本发明实施例的基于云计算的风电大数据分析系统的数据流程图。
具体实施方式
参见附图1，已经在背景技术部分说明了部分该流程图的内容，从风电场侧采集的数据主要有：风机数据、升压站数据、电计量数据、测风塔数据等，风场侧通过数据采集装置和网络将数据传输给集控中心侧，集控中心侧部署数据存储服务器，将所有数据进行历史存储。
参见附图2，一种基于云计算的风电大数据分析系统，包括分布式文件系统模块1，并行编程框架模块2，数据仓库系统3，监控工具4，运行调度工具5以及开发工具集合模块6，其中所述分布式系统文件系统1用于数据的持久化存储，所述监控工具4用于监控系统的运行状态、数据分析作业的执行状态，所述运行调度工具5根据需求对数据分析作业进行调度，解析作业间的关联或依赖关系，所述开发工具集合模块6用于简化系统的配置管理。分布式文件系统1包括元数据服务器1-1和多个数据服务器1-2。分布式文件系统1的文件由数据块构成，数据块分布在不同的节点上，用于维持负载均衡。并行编程框架模块2采用谷歌公司的Hadoop，基于Map-Reduce进行并行编程。数据仓库系统3采用基于Hadoop平台的Hive。开发工具集合模块6包括SQL翻译、并行ETL工具、索引管理和任务管理。
参见附图3，风电大数据与互联网大数据存在明显区别，大多数大数据分析系统Hive和Impala等均未对索引提供良好支持，而风电大数据分析中，多维区域查询极为常见，由于没有索引，导致访问大量不需要的数据，显著降低查询的执行性能，需要设计合适的索引结构以及相应的数据检索机制，风电大数据业务场景中，存在大量的数据修改，以覆盖现有数据的方式执行会导致执行效率低下的问题，因此需提供效率较高的数据改写机制，互联网根据自身的业务而设计的HQL只是SQL的一个子集，并不完全适用于风电大数据分析系统。因此附图3展示的是一种新型的风电数据分析挖掘应用的数据流程图，更适应风电的应用。
采用该基于云计算的风电大系统，可以提高风电数据分析挖掘速度，从而提高风电管理效率和风机设备利用率，进而提高发电量。在数据存储方面，构建起相对大规模的存储级别的相关系统，在设备利用方面，实现存储设备在线的有效收缩和扩展，在负载均衡方面，实现系统的全局性自动的均衡夫在，在数据安全方面，云存储实现整体数据的安全性与保护性。
虽然本发明已经参考特定的说明性实施例进行了描述，但是不会受到这些实施例的限定而仅仅受到附加权利要求的限定。本领域技术人员应当理解可以在不偏离本发明的保护范围和精神的情况下对本发明的实施例能够进行改动和修改。

Claims (6)

1.一种基于云计算的风电大数据分析系统，其特征在于：包括分布式文件系统模块(1)，并行编程框架模块(2)，数据仓库系统(3)，监控工具(4)，运行调度工具(5)以及开发工具集合模块(6)，其中所述分布式系统文件系统(1)用于数据的持久化存储，所述监控工具(4)用于监控系统的运行状态、数据分析作业的执行状态，所述运行调度工具(5)根据需求对数据分析作业进行调度，解析作业间的关联或依赖关系，所述开发工具集合模块(6)用于简化系统的配置管理。
2.根据权利要求1所述的一种基于云计算的风电大数据分析系统，其特征在于：所述分布式文件系统(1)包括元数据服务器和多个数据服务器。
3.根据权利要求1所述的一种基于云计算的风电大数据分析系统，其特征在于：所述分布式文件系统(1)的文件由数据块构成，数据块分布在不同的节点上，用于维持负载均衡。
4.根据权利要求1所述的一种基于云计算的风电大数据分析系统，其特征在于：所述并行编程框架模块(2)采用谷歌公司的Hadoop，基于Map-Reduce进行并行编程。
5.根据权利要求1所述的一种基于云计算的风电大数据分析系统，其特征在于：所述数据仓库模块(3)采用基于Hadoop平台的Hive。
6.根据权利要求1所述的一种基于云计算的风电大数据分析系统，其特征在于：所述开发工具集合模块(6)包括SQL翻译、并行ETL工具、索引管理和任务管理。
CN201710542481.2A 2017-07-05 2017-07-05 一种基于云计算的风电大数据分析系统 Pending CN107341241A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710542481.2A CN107341241A (zh) 2017-07-05 2017-07-05 一种基于云计算的风电大数据分析系统
PCT/CN2017/091935 WO2019006721A1 (zh) 2017-07-05 2017-07-06 一种基于云计算的风电大数据分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710542481.2A CN107341241A (zh) 2017-07-05 2017-07-05 一种基于云计算的风电大数据分析系统

Publications (1)

Publication Number Publication Date
CN107341241A true CN107341241A (zh) 2017-11-10

Family

ID=60217964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542481.2A Pending CN107341241A (zh) 2017-07-05 2017-07-05 一种基于云计算的风电大数据分析系统

Country Status (2)

Country Link
CN (1) CN107341241A (zh)
WO (1) WO2019006721A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342874A (zh) * 2021-06-02 2021-09-03 河北建投新能源有限公司 一种基于云计算的风电大数据分析系统和流程

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156810A (zh) * 2014-07-31 2014-11-19 国网山东省电力公司 一种基于云计算的电力调度生产管理系统及其实现方法
CN105069703A (zh) * 2015-08-10 2015-11-18 国家电网公司 一种电网海量数据管理方法
US20160112283A1 (en) * 2012-08-09 2016-04-21 Rockwell Automation Technologies, Inc. Remote industrial monitoring and analytics using a cloud infrastructure

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281980B (zh) * 2014-09-28 2018-04-27 华电国际电力股份有限公司技术服务中心 基于分布式计算的火力发电机组远程诊断方法及系统
CN104820670B (zh) * 2015-03-13 2018-11-06 华中电网有限公司 一种电力信息大数据的采集和存储方法
CN106850249A (zh) * 2016-10-26 2017-06-13 中国电力技术装备有限公司郑州电力设计院 基于大数据分析的通信网络预警分析系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112283A1 (en) * 2012-08-09 2016-04-21 Rockwell Automation Technologies, Inc. Remote industrial monitoring and analytics using a cloud infrastructure
CN104156810A (zh) * 2014-07-31 2014-11-19 国网山东省电力公司 一种基于云计算的电力调度生产管理系统及其实现方法
CN105069703A (zh) * 2015-08-10 2015-11-18 国家电网公司 一种电网海量数据管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴凯峰等: "基于云计算的电力大数据分析技术与应用", 《中国电力》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342874A (zh) * 2021-06-02 2021-09-03 河北建投新能源有限公司 一种基于云计算的风电大数据分析系统和流程

Also Published As

Publication number Publication date
WO2019006721A1 (zh) 2019-01-10

Similar Documents

Publication Publication Date Title
Wang et al. Wireless big data computing in smart grid
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
Hu et al. Anomaly detection system in secure cloud computing environment
Liu et al. Task scheduling in fog enabled Internet of Things for smart cities
Gao et al. An energy-aware ant colony algorithm for network-aware virtual machine placement in cloud computing
Liao et al. Energy consumption optimization scheme of cloud data center based on SDN
CN107341241A (zh) 一种基于云计算的风电大数据分析系统
CN117539619A (zh) 基于云边融合的算力调度方法、系统、设备和存储介质
CN109508354A (zh) 一种并行处理系统
CN109218439A (zh) 分布式绿色云数据中心利润和性能敏感的多目标任务调度方法
Butt et al. Optimization of response and processing time for smart societies using particle swarm optimization and levy walk
CN108759902A (zh) 一种基于大数据的燃气管网智能监测系统
CN107832451A (zh) 一种简化的大数据清洗方式
Wang et al. Transplantation of data mining algorithms to cloud computing platform when dealing big data
Wu et al. The design of distributed power big data analysis framework and its application in residential electricity analysis
Ullah et al. CRRP analysis of cloud computing in smart grid
Lu et al. Grid load balancing scheduling algorithm based on statistics thinking
Li et al. Architecture Design and Key Technologies of Electric Vehicle Charging Network Operation Service System Based on Cloud Computing
Tan et al. Repair method of complex network based on matthew effect
Wang et al. Simulated annealing based resource allocation for cloud data centers
Li et al. Architecture Design of Cryptographic Data Management Platform Based on Hadoop
Zhang et al. Improved Multi-swarm PSO Based Maintenance Schedule of Power Communication Network
PARK et al. Managing Sensor Data Using Mapreduce
Xiong et al. An energy-aware workload balancing method for cloud video data storage management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171110