CN115905348A - 一种多源异构数据的行业用电异常预警方法及系统 - Google Patents

一种多源异构数据的行业用电异常预警方法及系统 Download PDF

Info

Publication number
CN115905348A
CN115905348A CN202211313830.0A CN202211313830A CN115905348A CN 115905348 A CN115905348 A CN 115905348A CN 202211313830 A CN202211313830 A CN 202211313830A CN 115905348 A CN115905348 A CN 115905348A
Authority
CN
China
Prior art keywords
data
industry
abnormal
source heterogeneous
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211313830.0A
Other languages
English (en)
Inventor
洪居华
黄世诚
荀超
涂夏哲
林伟伟
杨丝雨
邹艺超
黄夏楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Fujian Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Fujian Electric Power Co Ltd
Original Assignee
State Grid Fujian Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Fujian Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Fujian Electric Power Co Ltd filed Critical State Grid Fujian Electric Power Co Ltd
Priority to CN202211313830.0A priority Critical patent/CN115905348A/zh
Publication of CN115905348A publication Critical patent/CN115905348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种多源异构数据的行业用电异常预警方法及系统,接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据,保证了数据采集的实时性和完整性;通过边缘云通讯网络传输将多源异构数据传输至边缘服务器,因此基于云通讯网络的数据采集与传输具有高效性和低成本的特点,也为多源异构数据的有效整合提供了基础;对多源异构数据进行数据预处理,将多源异构数据中的异常用电数据进行标记,并基于机器学习模型的训练和测试得到各行业用电数据的检测结果,以此方式能够高准度地进行行业用电异常预警。

Description

一种多源异构数据的行业用电异常预警方法及系统
技术领域
本发明涉及用电预警技术领域,特别涉及一种多源异构数据的行业用电异常预警方法及系统。
背景技术
随着电力物联网技术的飞速发展,在边缘云拓扑结构下产生海量的异构数据,供电业务与日俱增,与其相关联的行业用电数据呈现爆发式增长,为行业用电检测增加了难度。通过构建有效的多源异构数据采集与传输的网络框架,有效为多源数据资源整合提供基础;结合智能技术分析行业用电情况,采用分布式云计算的方式可以有效提高分析的效率,打造常态化同期电量智能化预警监测体系。
电力物联网技术在边缘云拓扑结构下产生海量的异构数据,缺乏有效的采集与整合手段,行业用电异常预警也遇到了难题。因此亟需一种能够基于多源异构数据的行业用电异常预警方法。
发明内容
本发明所要解决的技术问题是:提供一种多源异构数据的行业用电异常预警方法及系统,能够有效根据异构数据,快速高效、低成本、高准度地进行行业用电异常预警。
为了解决上述技术问题,本发明采用的技术方案为:
一种多源异构数据的行业用电异常预警方法,包括步骤:
接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种多源异构数据的行业用电异常预警系统,包括:
数据采集模块,用于接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
数据预处理模块,用于通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
用电预警模块,用于在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
本发明的有益效果在于:接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据,保证了数据采集的实时性和完整性;通过边缘云通讯网络传输将多源异构数据传输至边缘服务器,因此基于云通讯网络的数据采集与传输具有高效性和低成本的特点,也为多源异构数据的有效整合提供了基础;对多源异构数据进行数据预处理,将多源异构数据中的异常用电数据进行标记,并基于机器学习模型的训练和测试得到各行业用电数据的检测结果,以此方式能够高准度地进行行业用电异常预警。
附图说明
图1为本发明实施例的一种多源异构数据的行业用电异常预警方法的流程图;
图2为本发明实施例的一种多源异构数据的行业用电异常预警系统的示意图;
图3为本发明实施例的具体模块示意图;
图4是本发明实施例的行业用电异常预警实现流程图;
图5是本发明实施例的边缘云采集网络的结构示意图;
图6是本发明实施例的行业用电预警过程示意图;
图7为本发明实施例中某地春节期间某行业电量日粒度异常预警结果图;
图8为本发明实施例中某地某疫情时间段前后某行业电量日粒度异常预警结果。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
请参照图1,本发明实施例提供了一种多源异构数据的行业用电异常预警方法,包括步骤:
接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
从上述描述可知,本发明的有益效果在于:接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据,保证了数据采集的实时性和完整性;通过边缘云通讯网络传输将多源异构数据传输至边缘服务器,因此基于云通讯网络的数据采集与传输具有高效性和低成本的特点,也为多源异构数据的有效整合提供了基础;对多源异构数据进行数据预处理,将多源异构数据中的异常用电数据进行标记,并基于机器学习模型的训练和测试得到各行业用电数据的检测结果,以此方式能够高准度地进行行业用电异常预警。
进一步地,对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记包括:
将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
由上述描述可知,对多源异构数据进行数据清洗和量化操作后,进行数据的归一化,便于判断数据是否符合异常用电标准,从而能够快速直观地对异常用电数据进行标记。
进一步地,在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练包括:
构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
所述机器学习的损失函数为:
Figure BDA0003908168850000041
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure BDA0003908168850000042
表示模型预测异常的概率。
由上述描述可知,通过构建用电预警的机器学习模型进行数据训练,便于后续进行数据测试。
进一步地,所述使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果包括:
将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
基于预测情况计算行业用电数据的预测准确率ACCij
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数;
根据行业用电数据的预测准确率计算各行业上的融合权重ωij
Figure BDA0003908168850000051
式中,α表示模型索引,取1、2、3;
根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
由上述描述可知,使用机器学习模型进行测试和预测,能够根据预测情况计算行业用电数据的预测准确率,从而计算各行业的融合权重,具有强适应性、鲁棒性和高准确性。
进一步地,基于所述检测结果进行行业用电异常的预警之后包括:
基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
由上述描述可知,结合行业市场和时事深入分析相应行业出现用电异常的具体原因,便于总结电力系统同期电量预警监测成果经验,调整行业的供电服务政策。
请参照图2,本发明另一实施例提供了一种多源异构数据的行业用电异常预警系统,包括:
数据采集模块,用于接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
数据预处理模块,用于通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
用电预警模块,用于在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
由上述描述可知,接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据,保证了数据采集的实时性和完整性;通过边缘云通讯网络传输将多源异构数据传输至边缘服务器,因此基于云通讯网络的数据采集与传输具有高效性和低成本的特点,也为多源异构数据的有效整合提供了基础;对多源异构数据进行数据预处理,将多源异构数据中的异常用电数据进行标记,并基于机器学习模型的训练和测试得到各行业用电数据的检测结果,以此方式能够高准度地进行行业用电异常预警。
进一步地,对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记包括:
将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
由上述描述可知,对多源异构数据进行数据清洗和量化操作后,进行数据的归一化,便于判断数据是否符合异常用电标准,从而能够快速直观地对异常用电数据进行标记。
进一步地,在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练包括:
构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
所述机器学习的损失函数为:
Figure BDA0003908168850000061
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure BDA0003908168850000062
表示模型预测异常的概率。
由上述描述可知,通过构建用电预警的机器学习模型进行数据训练,便于后续进行数据测试。
进一步地,所述使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果包括:
将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
基于预测情况计算行业用电数据的预测准确率ACCij
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数;
根据行业用电数据的预测准确率计算各行业上的融合权重ωij
Figure BDA0003908168850000071
式中,α表示模型索引,取1、2、3;
根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
由上述描述可知,使用机器学习模型进行测试和预测,能够根据预测情况计算行业用电数据的预测准确率,从而计算各行业的融合权重,具有强适应性、鲁棒性和高准确性。
进一步地,基于所述检测结果进行行业用电异常的预警之后包括:
基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
由上述描述可知,结合行业市场和时事深入分析相应行业出现用电异常的具体原因,便于总结电力系统同期电量预警监测成果经验,调整行业的供电服务政策。
本发明上述的一种多源异构数据的行业用电异常预警方法及系统,适用于在电力物联网中有效根据异构数据,快速高效、低成本、高准度地进行行业用电异常预警,以下通过具体的实施方式进行说明:
实施例一
请参照图1和图4,一种多源异构数据的行业用电异常预警方法,包括步骤:
S1、接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据。
具体的,本实施例中,在各个城市所部署的数据采集的物联网设备主要是电表和气候传感器,分别用于采集企业的用电情况和当地的环境数据;
其中,多源异构数据主要由该地区各类企业的日用电数据和该地的天气数据组成。
S2、通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记。
其中,请参照图5,边缘云拓扑网络结构主要由边缘云、中心云和数据分析中心组成,呈树状结构,其中边缘云中的物联网设备主要包括边缘服务器、边缘路由、电表设备和气候传感器。
在本实施例中,无线发射器通过无线网络获取气候传感器采集到的环境数据和电表采集的企业用电数据,无线发射器以无线网的方式连接边缘路由,通过边缘路由将采集到的数据传输至边缘服务器上。
S21、将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
具体的,按照企业所属类别将用电数据P划分为c个类别行业用电数据,并按类别进行清洗,选取有用的特征,采用均值方式补全缺失值。
S22、将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
具体的,将环境数据E中的无序多分类变量转化为哑变量进行量化操作。
S23、将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
具体的,将步骤S21和S22处理后的数据M={m0,m1,…,mN-1}进行归一化,运算如下:
mn=(mi-mmin)/(mmax-mmin);
式中,mn表示M中的元素,mmin表示M中值最小的元素,mmax表示M中值最大的元素。
S3、在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
S31、构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
本实施例中,请参照图6,构建BiLSTM用电预警模型、线性回归用电预警模型、XGboost用电预警模型,根据预处理结果选取17个影响行业用电的环境数据作为特征输入模型。
其中,三个机器学习模型均定义交叉熵为模型训练的损失函数,机器学习的损失函数为:
Figure BDA0003908168850000091
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure BDA0003908168850000092
表示模型预测异常的概率。
S32、将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
在本实施例中,对训练好的模型,分别输入不同行业的用电数据以及当地的环境数据到预警模型中,得到模型i检测行业j用电数据的N行2列概率矩阵pij=[pij]N*2,当
Figure BDA0003908168850000093
则样本k被预测为正常类别,否则,预测为异常类别。
S33、根据分别得到i模型在j行业用电数据上的异常预警准确率ACCij,组成一个模型-行业准确率矩阵ACC=[ACCij]3*C,i模型在j行业用电数据上的准确率ACCij运算公式如下:
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数。
S34、根据模型-行业准确率矩阵ACC,计算3个模型在各个行业上的融合权重ωij
Figure BDA0003908168850000101
式中,α表示模型索引,取1、2、3。
S35、根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
在本实施例中,根据融合权重,计算可得到融合后各行业用电数据的概率矩阵,综合多个分类模型的准确度,提高异常用电预警的鲁棒性,融合后的概率矩阵运算公式如下:
Figure BDA0003908168850000102
式中,i、j分别表示模型索引和行业索引,ωij表示i模型在j行业用电数据上的融合权重,pij表示j行业用电数据在i模型上计算得到的概率矩阵。
S36、基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
本实施例中,主要应用了中心云与边缘云直接有线网络的双向传输,加快了预警结果的报告速度,能够有效保证实时性;请参照图7和图8,数据中心根据中心云接收的预警结果,结合行业市场和时事深入分析相应行业出现用电异常的具体原因,总结电力系统同期电量预警监测成果经验,调整行业的供电服务政策。
实施例二
请参照图2和图3,一种多源异构数据的行业用电异常预警系统,包括:
数据采集模块,用于接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
数据传输模块,用于通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器;
数据预处理模块,用于对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
用电预警模块,用于在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警;
决策模块,主要由数据中心和中心云组成,用于接收边缘云服务器的计算结果,深入分析原因并作出反馈。
在一些实施例中,对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记包括:
将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
在一些实施例中,在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练包括:
构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
所述机器学习的损失函数为:
Figure BDA0003908168850000111
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure BDA0003908168850000112
表示模型预测异常的概率。
在一些实施例中,所述使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果包括:
将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
基于预测情况计算行业用电数据的预测准确率ACCij
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数;
根据行业用电数据的预测准确率计算各行业上的融合权重ωij
Figure BDA0003908168850000121
式中,α表示模型索引,取1、2、3;
根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
在一些实施例中,基于所述检测结果进行行业用电异常的预警之后包括:
基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
综上所述,本发明提供的一种多源异构数据的行业用电异常预警方法及系统,以城市为单位,在其范围内部署用于数据采集的环境传感器和各行业用电表,用于数据传输的无线发射器和边缘路由,用于数据处理与计算的服务器。基于部署的物联网设备,构建边缘云、中心云和数据中心的三层分布式云计算网络拓扑结构。首先,通过边缘设备采集数据,再经由无线发射器与边缘路由传输至边缘云服务器进行数据处理;然后构建多机器学习预警模型,将处理后的行业用电数据与环境数据作为模型输入进行训练和仿真,计算各模型在各行业用电数据上的融合矩阵,以执行信息融合检测待测用电数据异常情况;然后通过有线连接将各市行业用电异常预警情况从边缘服务器收集至中心云,并由数据中心进行分析;最后,数据中心根据异常具体情况,考虑是否对该地区的供电服务政策作出调整。本发明利用分布式云计算网络结构结合信息融合技术能够实现对各地用电数据完整地收集,具有低成本、高效率、智能化的特点,同时在用电预警方面又具有高准度、强鲁棒、智能化的特点,能够有效整合并利用电力物联网下产生的多源异构数据资源,为电网企业供电服务政策提供参考信息,以提高经济效益。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多源异构数据的行业用电异常预警方法,其特征在于,包括步骤:
接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
2.根据权利要求1所述的一种多源异构数据的行业用电异常预警方法,其特征在于,对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记包括:
将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
3.根据权利要求1所述的一种多源异构数据的行业用电异常预警方法,其特征在于,在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练包括:
构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
所述机器学习的损失函数为:
Figure FDA0003908168840000011
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure FDA0003908168840000012
表示模型预测异常的概率。
4.根据权利要求1所述的一种多源异构数据的行业用电异常预警方法,其特征在于,所述使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果包括:
将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
基于预测情况计算行业用电数据的预测准确率ACCij
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数;
根据行业用电数据的预测准确率计算各行业上的融合权重ωij
Figure FDA0003908168840000021
式中,α表示模型索引,取1、2、3;
根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
5.根据权利要求1所述的一种多源异构数据的行业用电异常预警方法,其特征在于,基于所述检测结果进行行业用电异常的预警之后包括:
基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
6.一种多源异构数据的行业用电异常预警系统,其特征在于,包括:
数据采集模块,用于接收物联网设备采集到的包括行业用电数据和环境数据的多源异构数据;
数据预处理模块,用于通过边缘云通讯网络传输将所述多源异构数据传输至边缘服务器,并对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记;
用电预警模块,用于在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练,并使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果,基于所述检测结果进行行业用电异常的预警。
7.根据权利要求6所述的一种多源异构数据的行业用电异常预警系统,其特征在于,对所述多源异构数据进行数据预处理,将所述多源异构数据中的异常用电数据进行标记包括:
将所述多源异构数据的行业用电数据按照行业类别进行划分,并根据所述行业类别对划分后的数据进行数据清洗;
将所述多源异构数据的环境数据中的无序多分类变量转化为哑变量,并进行量化操作;
将数据清洗后的行业用电数据和量化操作后的环境数据进行归一化,判断归一化后的数据是否符合异常用电标准,若是,则对异常用电的数据进行标记。
8.根据权利要求6所述的一种多源异构数据的行业用电异常预警系统,其特征在于,在所述边缘服务器中构建各行业用电异常的机器学习模型,将预处理后的数据输入各个机器学习模型中进行训练包括:
构建用电预警的机器学习模型,从预处理后的数据中选取预设个数的影响行业用电的环境数据输入所述机器学习模型,进行所述机器学习模型的训练;
所述机器学习的损失函数为:
Figure FDA0003908168840000031
式中,y表示输入数据标记的标签,异常样本取1,正常样本取0,
Figure FDA0003908168840000032
表示模型预测异常的概率。
9.根据权利要求6所述的一种多源异构数据的行业用电异常预警系统,其特征在于,所述使用各行业用电数据对所述机器学习模型进行测试,得到各行业用电数据的检测结果包括:
将各行业的用电数据以及环境数据分别输入至对应行业训练后的所述机器学习模型中,得到各行业的用电数据概率矩阵,若用电数据正常概率矩阵大于用电数据异常概率矩阵,则预测为正常样本,否则,预测为异常样本;
基于预测情况计算行业用电数据的预测准确率ACCij
ACCij=(TPj+TNj)/N;
式中,N表示测试的样本个数,TPj表示预测为正常的正常样本数,TNj是预测为异常的异常样本数;
根据行业用电数据的预测准确率计算各行业上的融合权重ωij
Figure FDA0003908168840000041
式中,α表示模型索引,取1、2、3;
根据所述融合权重计算融合后各行业用电的概率矩阵,得到各行业用电数据的检测结果。
10.根据权利要求6所述的一种多源异构数据的行业用电异常预警系统,其特征在于,基于所述检测结果进行行业用电异常的预警之后包括:
基于所述检测结果结合各行业的市场数据和时事数据分析各行业出现用电异常的原因。
CN202211313830.0A 2022-10-25 2022-10-25 一种多源异构数据的行业用电异常预警方法及系统 Pending CN115905348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211313830.0A CN115905348A (zh) 2022-10-25 2022-10-25 一种多源异构数据的行业用电异常预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211313830.0A CN115905348A (zh) 2022-10-25 2022-10-25 一种多源异构数据的行业用电异常预警方法及系统

Publications (1)

Publication Number Publication Date
CN115905348A true CN115905348A (zh) 2023-04-04

Family

ID=86480417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211313830.0A Pending CN115905348A (zh) 2022-10-25 2022-10-25 一种多源异构数据的行业用电异常预警方法及系统

Country Status (1)

Country Link
CN (1) CN115905348A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844733A (zh) * 2023-08-31 2023-10-03 吉林大学第一医院 一种基于人工智能的医疗数据完整性分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844733A (zh) * 2023-08-31 2023-10-03 吉林大学第一医院 一种基于人工智能的医疗数据完整性分析方法
CN116844733B (zh) * 2023-08-31 2023-11-07 吉林大学第一医院 一种基于人工智能的医疗数据完整性分析方法

Similar Documents

Publication Publication Date Title
CN109872003B (zh) 对象状态预测方法、系统、计算机设备及存储介质
CN103246265B (zh) 机电设备检测维护方法
CN107944590B (zh) 一种渔情分析预报的方法及设备
CN113408087B (zh) 一种基于云边系统和视频智能分析的变电站巡视方法
CN112785458A (zh) 一种桥梁健康大数据智能管养系统
CN107071716B (zh) 基于td-lte专网的水环境监测系统及方法
CN105184886A (zh) 一种云数据中心智能巡检系统及方法
CN106056879A (zh) 一种基于智能识别的电表远程监控系统
CN111854700B (zh) 基于物联网和云计算的无人机监测管理系统
CN110837532A (zh) 一种基于大数据平台对充电桩窃电行为的检测方法
CN114417981B (zh) 一种智能河长巡测系统
CN110636134A (zh) 一种城市道路损伤监测维护方法及系统
CN115905348A (zh) 一种多源异构数据的行业用电异常预警方法及系统
CN116317943A (zh) 一种光伏阵列热斑检测方法
CN106453523A (zh) 一种智能天气识别系统及方法
CN116880402A (zh) 智慧工厂协同管控系统及其方法
CN115660288A (zh) 一种基于互联网大数据的分析管理系统
CN116614366B (zh) 一种基于边缘计算的工业互联网优化方法及系统
CN116756505B (zh) 一种基于大数据的光伏设备智能管理系统及方法
AU2021106280A4 (en) A Method of Water Environment Risk Assessment Based on Fuzzy Integral Model
CN114235653A (zh) 基于端云协同的大气颗粒污染物时空预测云平台
CN114978976A (zh) SRv6融合网络的数据异常检测方法及装置
CN113958463A (zh) 风机叶片在线监测方法、系统及装置
CN114233581A (zh) 一种风机机舱智能巡视报警系统
CN117969789B (zh) 一种地下水资源的水情预测方法及监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination