CN111598722A - 一种基于云计算实现电力大数据布局和信息共享方法 - Google Patents

一种基于云计算实现电力大数据布局和信息共享方法 Download PDF

Info

Publication number
CN111598722A
CN111598722A CN202010421117.2A CN202010421117A CN111598722A CN 111598722 A CN111598722 A CN 111598722A CN 202010421117 A CN202010421117 A CN 202010421117A CN 111598722 A CN111598722 A CN 111598722A
Authority
CN
China
Prior art keywords
big data
data
sensor
cloud
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010421117.2A
Other languages
English (en)
Inventor
黎小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010421117.2A priority Critical patent/CN111598722A/zh
Publication of CN111598722A publication Critical patent/CN111598722A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于云计算实现电力大数据布局和信息共享方法，涉及大数据及信息管理领域，本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力。本发明采用大数据降维技术，实现了大数据的高纬度转换，使得用户更加容易地识别电力设备大数据，提高了数据的识别能力。本发明云计算的方式对大数据进行处理，能够在几秒钟的时间内实现上百亿次的数据处理，提高了数据的计算能力，有助于用户用不计其数的数据库中快速检索出目标数据，实现大数据的快速处理。本发明采用云网络架构，实现数据的实时、在线和远程应用。

Description

一种基于云计算实现电力大数据布局和信息共享方法
技术领域
本发明涉及大数据及信息管理领域，且更具体地涉及一种基于云计算实现电力大数据布局和信息共享方法。
背景技术
随着信息技术及大数据技术的飞速发展，智能电网数据及电力设备运行等数据以其超强的速度急速发展，面对浩瀚的大数据，用户在使用过程中，如何从实现数据布局、分析和应用，最终实现数据的共享就显得尤为重要。在大数据环境下，协调各地区、各行业、各系统之间的统一调配和互联互通，调整各方信息资源的规划布局，落实各组织之间的权责在提高数据配置和应用方面均具有重要的作用。在进行数据共享时，将传统的TB级存储硬盘与SAN(storage areanenvork)和NAS(network attached storage)拓容技术，进一步突破信息资源的存储容量，利用光纤通信的6Tbit/的密集波分复用(Dense WavelengthDivisionMultiplexing，DWDM)系统和光时分复用(optical time-divisionmultiplexing，OTDM)技术以满足超大容量、超长距离传输的传输需求，从而提高数据的共享能力。但是这些技术需要大量的硬件成本，一旦硬件结构出现问题，则难以实现数据的应用与共享。
发明内容
针对现有技术的不足，本发明公开了一种基于云计算实现电力大数据布局和信息共享方法，本发明将云计算技术融合计算机大数据处理，实现数据的布局与分享，大大提高了电力信息处理和应用能力。
本发明采用以下技术方案：
一种基于云计算实现电力大数据布局和信息共享方法，包括：
底层设备层，其内设置有传感器，通过所述传感器感知各个各种电力设备的工作状态，并传递感知到的各种电力设备数据信息；其中：所述传感器至少包括光电传感器、红外传感器、速度传感器、加速传感器、GIS传感器、振动传感器、纹波传感器、温湿度传感器、角度传感器、磁场传感器、转速传感器、RFID标签、GPS设备、射线辐射传感器、热敏传感器、能耗传感器或M2M终端；
信息传递层，其内设置有有线通信模块或无线通信模块，用于接收并传递所述信息感知层感知的电力设备数据信息；其中所述有线通信模块至少包括RS485通信模块或RS232通信模块，所述无线通信模块至少包括TCP/IP网络系统、ZigBee无线网络、GPRS通信模块或CDMA无线通信、3G网络通信、4G网络通信、WLAN通信、LTE通信、云端服务器或蓝牙通信模块；
大数据处理层，其内设置有计算机管理系统和云端服务器，用于接收并处理所述信息传递层传递的各种电力设备数据信息；其中：所述计算机管理系统连接有显示模块、多通道数据接口、大数据分析模块、故障诊断设备、示波器和告警模块；所述显示模块为LCD显示屏，所述多通道数据接口支撑至少两个以上的通讯数据类型；并且所述多通道数据接口至少支持RS485通讯、TCP/IP通讯、无线通讯或GPRS通讯；所述大数据分析模块连接有Hadoop数据管理平台；其中所述云端服务器通过将规模级的底层服务器通过集约化、虚拟化构建起云端资源池，然后从资源池中调配计算资源组建而成，其中所述CPU、内存、磁盘或带宽以自由组合的方式存在；其中所述云端服务器还设置有大数据分布式存储结构和大数据计算模型，所述大数据分布式存储结构实现数据布局分析，所述大数据计算模型实现大数据计算；
所述大数据分布式存储结构实现数据布局分析的方法为：
设R为电力大数据存储数据结构的数据集合，用数据集合表示为R＝(Ei,Ej,d,t)；数据库中数据集合表示为：X＝{x1,x2,...,xn}；假设数据集X含有c个类别，所述云端服务器的云网络的电力大数据的特征映射为f(k)，则有检索大数据的模型为：
min F(x)＝(f1(x),f2(x),...,fm(x))T (1)
其中n为大数据的统计变量，m为影响检索决策的因变量；T表示检索时间；
数据应用层，其内设置有数据存储单元，用于存储、使用或传递所述大数据处理层处理后的数据；其中：
所述底层设备层的输出端与所述信息传递层的输入端连接，所述信息传递层的输出端与所述大数据处理层的输入端连接，所述大数据处理层的输出端与所述数据应用层的输入端连接。
进一步地，所述大数据计算模型实现大数据计算的方法至少为聚类算法模型、关联算法模型、决策树算法模型、BP神经网络算法模型、KNN算法模型、支持向量机算法模型、VSM法模型或k-近邻素算法模型。
进一步地，所述关联算法模型为贝叶斯分类算法模型。
进一步地，所述贝叶斯分类算法模型的方法为：假设待划分属性的大数据集为d，假设将电力事件数据属性的类别划分为集合C，其中C＝{c1,c2,...,cm}，其中第i分类属性满足这样的条件:1≤i≤m，对于待分类的电力大事件数据集合d，其输出的最大类别为P(ci/d)，则有：
Figure BDA0002496916060000041
其中C、D表示为随机变量，则电力大数据d的贝叶斯分类公式为：
Figure BDA0002496916060000042
进一步地，所述大数据计算模型还包括大数据降维模型，应用所述大数据降维模型进行大数据降维的方法为主成分分析方法，
进一步地，所述主成分分析方法的步骤为：
(1)标准化数据；假设电力大数据样本数据纬度为p，随机向量为x＝(x1,x2,...,xp)T；则对于i个数据样本，存在：xi＝(xi1,xi2,...,xip)T，其中i＝1,2,...,n；当n＞p时，对样本阵元进行标准化变换，其中标准化变换公式为：
Figure BDA0002496916060000043
其中i＝1,2,...,n；j＝1,2,...,p；在公式(3)中，还存在：
Figure BDA0002496916060000044
Figure BDA0002496916060000045
(2)求出所述步骤(1)的标准化矩阵Z的相关系数矩阵；
R＝[rij]p；
(6)
Figure BDA0002496916060000051
其中：
Figure BDA0002496916060000052
其中i,j＝1,2,...,p；
(3)确定主成分，通过求解相关矩阵R的特征方程得出，所述方程为：
|R-λIp|＝0
(9)
在确定n的值时，通过以下公式：
Figure BDA0002496916060000053
在公式(10)中的每个λj，j＝1,2,...,n，解方程组得出：
Rb＝λjb
(11)
通过公式(11)得出特征向量
Figure BDA0002496916060000054
(4)然后再将标准化后的指标变量转换为主成分，则有
Figure BDA0002496916060000061
其中j＝1,2,...,n；并且U1称为第一主成分，U2称为第二主成分，Uj称为第j主成分；
(5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
进一步地，所述云端服务器至少包括分布式存储模块、数据传输接口、CPU、内存、磁盘、带宽和云网络接口。
进一步地，所述云网络接口为兼容性接口，并且至少兼容无线通信接口。
进一步地，所述云端服务器主机的硬件配置为Intel Xeon E3-1220v53.0GHz四核,内存为8GDDR4,硬盘为1*Intel企业级SSD,1*SATA 1T,网卡为2*千兆网口；工作机节点的硬件配置为CPU型号Intel Xeon E53.0GHZ,内存为160GB，硬盘容量为128TB；
进一步地，所述大数据计算模型实现大数据计算的方法还包括Adaboost迭代算法。
积极有益效果：
1、本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力；
2、本发明采用大数据降维技术，实现了大数据的高纬度转换，使得用户更加容易地识别电力设备大数据，提高了数据的识别能力。
3、本发明云计算的方式对大数据进行处理，能够在几秒钟的时间内实现上百亿次的数据处理，提高了数据的计算能力，有助于用户用不计其数的数据库中快速检索出目标数据，实现大数据的快速处理。
4、本发明采用云网络架构，实现数据的实时、在线和远程应用，用户能够在不同的地方实现大数据的共享与应用，数据共享能力强。该技术融合了网络技术、信息技术、整合技术、管理平台技术、应用技术等，可组成资源池，按需所用，灵活便利。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于云计算实现电力大数据布局和信息共享方法的架构示意图；
图2为发明一种基于云计算实现电力大数据布局和信息共享方法的大数据处理模型结构图；
图3为发明一种基于云计算实现电力大数据布局和信息共享方法中主成分分析方法流程示意图；
图4为发明一种基于云计算实现电力大数据布局和信息共享方法中Adaboost迭代算法中的流程示意图；
图5为发明一种基于云计算实现电力大数据布局和信息共享方法中云基础架构示意图；
图6为发明一种基于云计算实现电力大数据布局和信息共享方法中云端平台架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于云计算实现电力大数据布局和信息共享方法，包括：
底层设备层，其内设置有传感器，通过所述传感器感知各个各种电力设备的工作状态，并传递感知到的各种电力设备数据信息；其中：所述传感器至少包括光电传感器、红外传感器、速度传感器、加速传感器、GIS传感器、振动传感器、纹波传感器、温湿度传感器、角度传感器、磁场传感器、转速传感器、RFID标签、GPS设备、射线辐射传感器、热敏传感器、能耗传感器或M2M终端；
信息传递层，其内设置有有线通信模块或无线通信模块，用于接收并传递所述信息感知层感知的电力设备数据信息；其中所述有线通信模块至少包括RS485通信模块或RS232通信模块，所述无线通信模块至少包括TCP/IP网络系统、ZigBee无线网络、GPRS通信模块或CDMA无线通信、3G网络通信、4G网络通信、WLAN通信、LTE通信、云端服务器或蓝牙通信模块；
大数据处理层，其内设置有计算机管理系统和云端服务器，用于接收并处理所述信息传递层传递的各种电力设备数据信息；其中：所述计算机管理系统连接有显示模块、多通道数据接口、大数据分析模块、故障诊断设备、示波器和告警模块；所述显示模块为LCD显示屏，所述多通道数据接口支撑至少两个以上的通讯数据类型；并且所述多通道数据接口至少支持RS485通讯、TCP/IP通讯、无线通讯或GPRS通讯；所述大数据分析模块连接有Hadoop数据管理平台；其中所述云端服务器通过将规模级的底层服务器通过集约化、虚拟化构建起云端资源池，然后从资源池中调配计算资源组建而成，其中所述CPU、内存、磁盘或带宽以自由组合的方式存在；其中所述云端服务器还设置有大数据分布式存储结构和大数据计算模型，所述大数据分布式存储结构实现数据布局分析，所述大数据计算模型实现大数据计算；
所述大数据分布式存储结构实现数据布局分析的方法为：
设R为电力大数据存储数据结构的数据集合，用数据集合表示为R＝(Ei,Ej,d,t)；数据库中数据集合表示为：X＝{x1,x2,...,xn}；假设数据集X含有c个类别，所述云端服务器的云网络的电力大数据的特征映射为f(k)，则有检索大数据的模型为：
min F(x)＝(f1(x),f2(x),...,fm(x))T (1)
其中n为大数据的统计变量，m为影响检索决策的因变量；T表示检索时间；
数据应用层，其内设置有数据存储单元，用于存储、使用或传递所述大数据处理层处理后的数据；其中：
所述底层设备层的输出端与所述信息传递层的输入端连接，所述信息传递层的输出端与所述大数据处理层的输入端连接，所述大数据处理层的输出端与所述数据应用层的输入端连接。
在本发明中，如图2所示，所述大数据计算模型实现大数据计算的方法至少为聚类算法模型、关联算法模型、决策树算法模型、BP神经网络算法模型、KNN算法模型、支持向量机算法模型、VSM法模型或k-近邻素算法模型。
在本发明中，所述关联算法模型为贝叶斯分类算法模型。
在本发明中，所述贝叶斯分类算法模型的方法为：假设待划分属性的大数据集为d，假设将电力事件数据属性的类别划分为集合C，其中C＝{c1,c2,...,cm}，其中第i分类属性满足这样的条件:1≤i≤m，对于待分类的电力大事件数据集合d，其输出的最大类别为P(ci/d)，则有：
Figure BDA0002496916060000101
其中C、D表示为随机变量，则电力大数据d的贝叶斯分类公式为：
Figure BDA0002496916060000102
在本发明中，所述大数据计算模型还包括大数据降维模型，应用所述大数据降维模型进行大数据降维的方法为主成分分析方法，
在本发明中，如图3所示，所述主成分分析方法的步骤为：
(1)标准化数据；假设电力大数据样本数据纬度为p，随机向量为x＝(x1,x2,...,xp)T；则对于i个数据样本，存在：xi＝(xi1,xi2,...,xip)T，其中i＝1,2,...,n；当n＞p时，对样本阵元进行标准化变换，其中标准化变换公式为：
Figure BDA0002496916060000103
其中i＝1,2,...,n；j＝1,2,...,p；在公式(3)中，还存在：
Figure BDA0002496916060000111
Figure BDA0002496916060000112
(2)求出所述步骤(1)的标准化矩阵Z的相关系数矩阵；
R＝[rij]p；
(6)
Figure BDA0002496916060000113
其中：
Figure BDA0002496916060000114
其中i,j＝1,2,...,p；
(3)确定主成分，通过求解相关矩阵R的特征方程得出，所述方程为：
|R-λIp|＝0
(9)
在确定n的值时，通过以下公式：
Figure BDA0002496916060000121
在公式(10)中的每个λj，j＝1,2,...,n，解方程组得出：
Rb＝λjb
(11)
通过公式(11)得出特征向量
Figure BDA0002496916060000122
(4)然后再将标准化后的指标变量转换为主成分，则有
Figure BDA0002496916060000123
其中j＝1,2,...,n；并且U1称为第一主成分，U2称为第二主成分，Uj称为第j主成分；
(5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
在本发明中，所述云端服务器至少包括分布式存储模块、数据传输接口、CPU、内存、磁盘、带宽和云网络接口。
在本发明中，所述云网络接口为兼容性接口，并且至少兼容无线通信接口。
在本发明中，所述云端服务器主机的硬件配置为Intel Xeon E3-1220v53.0GHz四核,内存为8GDDR4,硬盘为1*Intel企业级SSD,1*SATA 1T,网卡为2*千兆网口；工作机节点的硬件配置为CPU型号Intel Xeon E53.0GHZ,内存为160GB，硬盘容量为128TB；
在本发明中，所述大数据计算模型实现大数据计算的方法还包括Adaboost迭代算法，如图4所示，其中Adaboost迭代算法的算法过程为：
(1)获取训练样本，训练弱分类器，通过训练多个弱分类器，训练强分类器；用公式表示为：D1＝(w11,w12，…，w1N)，w1i＝1/N，i＝1,2…N
(2)迭代计算；计算出不同弱分类器分类的误差，所计算出的误差等于各个不同电力营销大数据样本的权重和，算法迭代的次数小于弱分类器的个数；
(3)迭代误差计算，其中迭代误差Gm(x)在训练集上的误差率公式为：
Figure BDA0002496916060000131
(4)归一化处理：获取最优分类器之后，然后进一步地计算所选取的分类器的权重，接着再更新各个不同样本的权重，进行再归一化处理，然后计算Gm(x)的系数，am代表Gm(x)在训练后的最终分类器中的关键程度，用公式表示为：
Figure BDA0002496916060000132
在上述公式中，em≤1/2时，am≥0，通过公式可看出，am与em成反比例关系，即误差率越小，分类器在最终分类器中越起到比较大的作用；
(5)迭代判断：判断迭代次数是否等于阈值，如果与阈值相等，则完成迭代计算，最后的分类器则由迭代过程中所选择的弱分类器经过线性加权得到的，如果迭代次数不等于阈值，则重新进行迭代计算。
如图5所示，云基础架构融合的层次结构包括硬件层、业务层、管理层等。在具体工作时，云端服务器中的FCoE技术和方案，将存储与网络进行融合，以及横向虚拟化、纵向虚拟化实现网络设备自身的融合。此外，还有VEPA技术和方案，则是将计算虚拟化与网络设备和网络虚拟化进行融合，实现虚拟机与虚拟网络之间的关联。
在业务层，典型的方案是云安全解决方案。通过虚拟防火墙与虚拟机之间的融合，可以实现虚拟防火墙对虚拟机的感知、关联，确保虚拟机迁移、新增或减少时，防火墙策略也能够自动关联。此外，还有虚拟机与LB负载均衡之间的联动。当业务突发资源不足时，传统方案需要人工发现虚拟机资源不足，再手工创建虚拟机，并配置访问策略，响应速度很慢，而且非常的费时费力。通过自动探测某个业务虚拟机的用户访问和资源利用率情况，在业务突发时，自动按需增加相应数量的虚拟机，与LB联动进行业务负载分担；同时，当业务突发减小时，可以自动减少相应数量的虚拟机，节省资源。不仅有效解决虚拟化环境中面临的业务突发问题，而且大大提升了业务响应的效率和智能化。
在管理层中，云基础架构通过虚拟化技术与管理层的融合，提升了IT系统的可靠性。例如，虚拟化平台可与网络管理、计算管理、存储管理联动，当设备出现故障影响虚拟机业务时，可自动迁移虚拟机，保障业务正常访问；此外，对于设备正常、操作系统正常、但某个业务系统无法访问的情况，虚拟化平台还可以与应用管理联动，探测应用系统的状态，例！(NWeb、APP、DB等响应速度，当某个应用无法正常提供访问时，自动重启虚拟机，恢复业务正常访问。
数据中心由基础架构向云基础架构的转变，极大提升了基础架构融合的必要性和可行性。通过资源池的云网融合，构建统一、融合、联动的基础架构系统，不仅提升了应用系统部署的可靠性、灵活性、可扩展性和可管理性，而且也促进了云计算的应用和实践。
如图6所示，在云平台中，云计算是一种资源的服务模式，该模式可以实现随时随地、便捷按需地从可配置计算资源共享池中获取所需的资源(如网络、服务器、存储、应用及服务)，资源能够快速供应并释放，大大减少了资源管理工作开销。
一种实施例中的云计算架构包括IaaS(Infrastructure as a Service，基础设施即服务)、PaaS(Platform as aService，平台即服务)、SaaS(Software as a Service，软件即服务)三层服务，其中：
IaaS层为基础设施运维人员服务，提供计算、存储、网络及其他基础资源，云平台使用者可以在上面部署和运行包括操作系统和应用程序在内的任意软件，无需再为基础设施的管理而分心。
PaaS层为应用开发人员服务，提供支撑应用运行所需的软件运行时环境、相关工具与服务，如数据库服务、日志服务、监控服务等，让应用开发者可以专注于核心业务的开发。
SaaS层为一般用户服务，提供了一套完整可用的软件系统，让一般用户无需关注技术细节，只需通过浏览器、应用客户端等方式就能使用部署在云上的应用服务。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：包括：
底层设备层，其内设置有传感器，通过所述传感器感知各个各种电力设备的工作状态，并传递感知到的各种电力设备数据信息；其中：所述传感器至少包括光电传感器、红外传感器、速度传感器、加速传感器、GIS传感器、振动传感器、纹波传感器、温湿度传感器、角度传感器、磁场传感器、转速传感器、RFID标签、GPS设备、射线辐射传感器、热敏传感器、能耗传感器或M2M终端；
信息传递层，其内设置有有线通信模块或无线通信模块，用于接收并传递所述信息感知层感知的电力设备数据信息；其中所述有线通信模块至少包括RS485通信模块或RS232通信模块，所述无线通信模块至少包括TCP/IP网络系统、ZigBee无线网络、GPRS通信模块或CDMA无线通信、3G网络通信、4G网络通信、WLAN通信、LTE通信、云端服务器或蓝牙通信模块；
大数据处理层，其内设置有计算机管理系统和云端服务器，用于接收并处理所述信息传递层传递的各种电力设备数据信息；其中：所述计算机管理系统连接有显示模块、多通道数据接口、大数据分析模块、故障诊断设备、示波器和告警模块；所述显示模块为LCD显示屏，所述多通道数据接口支撑至少两个以上的通讯数据类型；并且所述多通道数据接口至少支持RS485通讯、TCP/IP通讯、无线通讯或GPRS通讯；所述大数据分析模块连接有Hadoop数据管理平台；其中所述云端服务器通过将规模级的底层服务器通过集约化、虚拟化构建起云端资源池，然后从资源池中调配计算资源组建而成，其中所述CPU、内存、磁盘或带宽以自由组合的方式存在；其中所述云端服务器还设置有大数据分布式存储结构和大数据计算模型，所述大数据分布式存储结构实现数据布局分析，所述大数据计算模型实现大数据计算；
所述大数据分布式存储结构实现数据布局分析的方法为：
设R为电力大数据存储数据结构的数据集合，用数据集合表示为R＝(Ei,Ej,d,t)；数据库中数据集合表示为：X＝{x1,x2,...,xn}；假设数据集X含有c个类别，所述云端服务器的云网络的电力大数据的特征映射为f(k)，则有检索大数据的模型为：
min F(x)＝(f1(x),f2(x),...,fm(x))T (1)
其中n为大数据的统计变量，m为影响检索决策的因变量；T表示检索时间；
数据应用层，其内设置有数据存储单元，用于存储、使用或传递所述大数据处理层处理后的数据；其中：
所述底层设备层的输出端与所述信息传递层的输入端连接，所述信息传递层的输出端与所述大数据处理层的输入端连接，所述大数据处理层的输出端与所述数据应用层的输入端连接。
2.根据权利要求1所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述大数据计算模型实现大数据计算的方法至少为聚类算法模型、关联算法模型、决策树算法模型、BP神经网络算法模型、KNN算法模型、支持向量机算法模型、VSM法模型或k-近邻素算法模型。
3.根据权利要求2所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述关联算法模型为贝叶斯分类算法模型。
4.根据权利要求3所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述贝叶斯分类算法模型的方法为：假设待划分属性的大数据集为d，假设将电力事件数据属性的类别划分为集合C，其中C＝{c1,c2,...,cm}，其中第i分类属性满足这样的条件:1≤i≤m，对于待分类的电力大事件数据集合d，其输出的最大类别为P(ci/d)，则有：
Figure FDA0002496916050000031
其中C、D表示为随机变量，则电力大数据d的贝叶斯分类公式：
Figure FDA0002496916050000032
5.根据权利要求2所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述大数据计算模型还包括大数据降维模型，应用所述大数据降维模型进行大数据降维的方法为主成分分析方法。
6.根据权利要求5所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述主成分分析方法的步骤为：
(1)标准化数据；假设电力大数据样本数据纬度为p，随机向量为x＝(x1,x2,...,xp)T；则对于i个数据样本，存在：xi＝(xi1,xi2,...,xip)T，其中i＝1,2,...,n；当n＞p时，对样本阵元进行标准化变换，其中标准化变换公式为：
Figure FDA0002496916050000033
其中i＝1,2,...,n；j＝1,2,...,p；在公式(3)中，还存在：
Figure FDA0002496916050000034
Figure FDA0002496916050000041
(2)求出所述步骤(1)的标准化矩阵Z的相关系数矩阵；
R＝[rij]p；
(6)
Figure FDA0002496916050000042
其中：
Figure FDA0002496916050000043
其中i,j＝1,2,...,p；
(3)确定主成分，通过求解相关矩阵R的特征方程得出，所述方程为：
|R-λIp|＝0
(9)
在确定n的值时，通过以下公式：
Figure FDA0002496916050000044
在公式(10)中的每个λj，j＝1,2,...,n，解方程组得出：
Rb＝λjb
(11)
通过公式(11)得出特征向量
Figure FDA0002496916050000051
(4)然后再将标准化后的指标变量转换为主成分，则有
Figure FDA0002496916050000052
其中j＝1,2,...,n；并且U1称为第一主成分，U2称为第二主成分，Uj称为第j主成分；
(5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
7.根据权利要求1所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述云端服务器至少包括分布式存储模块、数据传输接口、CPU、内存、磁盘、带宽和云网络接口。
8.根据权利要求7所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述云网络接口为兼容性接口，并且至少兼容无线通信接口。
9.根据权利要求7所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述云端服务器主机的硬件配置为Intel Xeon E3-1220v53.0 GHz四核，内存为8GDDR4，硬盘为1*Intel企业级SSD，1*SATA 1T,网卡为2*千兆网口；工作机节点的硬件配置为CPU型号Intel Xeon E53.0GHZ,内存为160GB，硬盘容量为128TB。
10.根据权利要求2所述的一种基于云计算实现电力大数据布局和信息共享方法，其特征在于：所述大数据计算模型实现大数据计算的方法还包括Adaboost迭代算法。
CN202010421117.2A 2020-05-18 2020-05-18 一种基于云计算实现电力大数据布局和信息共享方法 Withdrawn CN111598722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010421117.2A CN111598722A (zh) 2020-05-18 2020-05-18 一种基于云计算实现电力大数据布局和信息共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010421117.2A CN111598722A (zh) 2020-05-18 2020-05-18 一种基于云计算实现电力大数据布局和信息共享方法

Publications (1)

Publication Number Publication Date
CN111598722A true CN111598722A (zh) 2020-08-28

Family

ID=72183466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010421117.2A Withdrawn CN111598722A (zh) 2020-05-18 2020-05-18 一种基于云计算实现电力大数据布局和信息共享方法

Country Status (1)

Country Link
CN (1) CN111598722A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904443A (zh) * 2021-09-28 2022-01-07 国网江苏省电力有限公司连云港供电分公司 多维度空间可视化的现场变电设备监控与预警系统
CN114500058A (zh) * 2022-01-28 2022-05-13 优刻得科技股份有限公司 网络访问控制方法、系统、设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904443A (zh) * 2021-09-28 2022-01-07 国网江苏省电力有限公司连云港供电分公司 多维度空间可视化的现场变电设备监控与预警系统
CN113904443B (zh) * 2021-09-28 2023-01-06 国网江苏省电力有限公司连云港供电分公司 多维度空间可视化的现场变电设备监控与预警系统
CN114500058A (zh) * 2022-01-28 2022-05-13 优刻得科技股份有限公司 网络访问控制方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
US20210097449A1 (en) Memory-efficient system for decision tree machine learning
WO2018148059A1 (en) Distributed data set indexing
CN108038145A (zh) 分布式服务跟踪方法、系统、存储介质和电子设备
US20190384845A1 (en) Using computing resources to perform database queries according to a dynamically determined query size
CN110661861A (zh) 一种智慧后勤业务系统
CN109783472A (zh) 表数据的迁移方法、装置、计算机设备和存储介质
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
US11283863B1 (en) Data center management using digital twins
CN113179190B (zh) 边缘控制器、边缘计算系统及其配置方法
CN112232524B (zh) 多标签信息的识别方法、装置、电子设备和可读存储介质
Lee et al. IoT service classification and clustering for integration of IoT service platforms
CN110855648B (zh) 一种网络攻击的预警控制方法及装置
CN105683918A (zh) 分布式系统中的集中式联网配置
US11100458B2 (en) Asset and device management
CN111598722A (zh) 一种基于云计算实现电力大数据布局和信息共享方法
CN109241096A (zh) 数据处理方法、装置和系统
Wang et al. Maximum data-resolution efficiency for fog-computing supported spatial big data processing in disaster scenarios
Li et al. Research on QoS service composition based on coevolutionary genetic algorithm
CN108710644A (zh) 一种关于政务大数据处理方法
Luo et al. Big-data analytics: challenges, key technologies and prospects
CN117097026A (zh) 一种基于源网荷储新型电力系统运维监控平台的操作方法
Pektürk et al. Performance-aware high-performance computing for remote sensing big data analytics
CN111767225B (zh) 一种云计算环境下第三方软件测试系统及方法
Ju et al. Innovation trend of edge computing technology based on patent perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200828