CN117077871A - 基于大数据的能源需求预测模型的构建方法及装置 - Google Patents
基于大数据的能源需求预测模型的构建方法及装置 Download PDFInfo
- Publication number
- CN117077871A CN117077871A CN202311338179.7A CN202311338179A CN117077871A CN 117077871 A CN117077871 A CN 117077871A CN 202311338179 A CN202311338179 A CN 202311338179A CN 117077871 A CN117077871 A CN 117077871A
- Authority
- CN
- China
- Prior art keywords
- data
- energy
- energy demand
- demand prediction
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 239000013598 vector Substances 0.000 claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 101
- 238000004422 calculation algorithm Methods 0.000 claims description 58
- 238000005457 optimization Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 241000283153 Cetacea Species 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于大数据的能源需求预测模型的构建方法及装置,涉及能源需求预测技术领域,包括:获取训练数据集;使用预先构建的编码器对训练数据集的能源数据进行特征提取,确定能源数据对应的目标特征向量;将目标特征向量和目标特征向量对应的数据标签输入至预先设置的分类器中,根据目标特征向量对应的时序属性,对分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型;其中,能源需求预测模型用于对待测电力数据进行能源需求预测。基于此,可以对时序数据进行处理和理解,保证能源需求预测的精度。
Description
技术领域
本发明涉及通信用户流失预测技术领域,尤其涉及一种基于大数据的能源需求预测模型的构建方法及装置。
背景技术
能源需求预测是电力系统、城市能源规划等多个领域的核心部分,通过准确预测能源需求,可以帮助相关的决策者进行更合理的资源配置和管理,降低运营成本,保障系统稳定安全。
在当今计算能力飞速发展和大数据时代背景下,机器学习和人工智能在包括能源需求预测在内的多个领域的应用也愈发广泛。特别是深度学习、神经网络等方法的出现,使得高维度和非线性问题得以有效处理,同时像朴素贝叶斯和极限学习机等快速稳健的分类器方法也大大推动了这个领域的进步。
而能源需求数据往往具有很强的时序性,例如能源需求可能受到季节、天气、节假日等因素的影响,因此对于这样的时序数据的处理和理解成为了能源需求预测的关键。
发明内容
有鉴于此,本发明的目的在于提供一种基于大数据的能源需求预测模型的构建方法及装置,能够基于时序属性对数据进行能源需求预测,进而能够保证数据预测精度。
第一方面,本发明实施例提供了一种基于大数据的能源需求预测模型的构建方法,该方法包括:获取训练数据集;其中,训练数据集包括多个能源数据,每个能源数据包括时序属性,且,每个能源数据包括数据标签,数据标签用于表征能源数据对应的能源需求等级;使用预先构建的编码器对训练数据集的能源数据进行特征提取,确定能源数据对应的目标特征向量;预先构建的编码器包括优化的编码器参数;将目标特征向量和目标特征向量对应的数据标签输入至预先设置的分类器中,根据目标特征向量对应的时序属性,对分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型;其中,能源需求预测模型用于对待测电力数据进行能源需求预测。
本发明实施例包括以下有益效果:本发明实施例提供一种基于大数据的能源需求预测模型的构建方法及装置,通过对训练数据集特征提取后,基于对应的时序属性构建能源需求预测模型,该模型可以对时序数据进行处理和理解,保证能源需求预测的精度。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于大数据的能源需求预测模型的构建方法的流程图;
图2为本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法的流程图;
图3为本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法的流程图;
图4为本发明实施例提供的一种基于大数据的能源需求预测方法的流程图;
图5为本发明实施例提供的一种基于大数据的能源需求预测模型的构建装置的结构示意图;
图6为本发明实施例提供的另一种基于大数据的能源需求预测模型的构建装置的结构示意图;
图7为本发明实施例提供的一种基于大数据的能源需求预测装置的结构示意图;
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
其中,本发明实施例提供的一种基于大数据的能源需求预测模型的构建方法及装置,具体还包括基于大数据的能源需求预测方法及装置,能够基于时序属性对数据进行能源需求预测,进而能够保证数据预测精度。
为便于对本实施例进行理解,首先对本发明的实施例所公开的一种基于大数据的能源需求预测模型的构建方法进行详细介绍,图1示出了本发明实施例提供的一种基于大数据的能源需求预测模型的构建方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取训练数据集。
步骤S104,使用预先构建的编码器对训练数据集的能源数据进行特征提取,确定能源数据对应的目标特征向量。
步骤S106,将目标特征向量和目标特征向量对应的数据标签输入至预先设置的分类器中,根据目标特征向量对应的时序属性,对分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型。
在具体实现时,本发明实施例利用训练数据集构建能源需求预测模型,并通过对训练数据集进行特征提取后训练分类器,从而构建该模型。其中,本发明实施例的训练数据集包括多个能源数据,每个能源数据包括时序属性,且,每个能源数据包括数据标签,数据标签用于表征能源数据对应的能源需求等级,从而基于能源需求等级对分类器进行分类训练。
此外,为解决目前能源需求数据具有很强的时序性,本发明实施例在对训练数据集进行特征提取后,再基于时序属性对分类器进行分类训练,使构建的模型基于时序属性对数据进行分类,保证能源需求预测的精度。其中,本发明实施例利用预先构建的编码器进行特征提取,该预先构建的编码器包括优化的编码器参数,基于此,可以提高特征提取的质量。其中,所构建的能源需求预测模型用于对待测电力数据进行能源需求预测。
本发明实施例提供的一种基于大数据的能源需求预测模型的构建方法,通过对训练数据集特征提取后,基于对应的时序属性构建能源需求预测模型,该模型可以对时序数据进行处理和理解,保证能源需求预测的精度。
进一步地,在上述实施例的基础上,本发明实施例还提供了另一种基于大数据的能源需求预测模型的构建方法,该方法主要对上述训练数据集进行说明。图2示出了本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法的流程图,如图2所示,该方法包括以下步骤:
步骤S202,获取预设数据库中的能源数据。
步骤S204,将多种数据属性的能源数据进行格式转换,得到能源数据向量。
在具体实现时,本发明实施例利用能源数据进行处理后进行模型训练,其中,本发明实施例所使用的能源数据包括多种数据属性,数据属性至少包括时序属性。其中,在进行能源需求预测的过程中,数据的来源可能多样,比如政府发布的公开数据、电力公司的私有数据,甚至天气预报数据等。对应的数据属性可能包括时间、地点、历史能源消耗量、人口、天气条件等。设原始数据集(也即预设数据库中的能源数据)为,其中每个数据项/>,/>为数据的各个属性。
其中,数据格式常常被转化为CSV或JSON,为了后续的方便处理,本发明实施例针对数据会将其进一步地转化为向量格式,得到能源数据向量。具体地,将这些数据转换为可以被算法处理的向量格式。本发明实施例中,利用映射函数对能源数据进行格式转换,设为一个映射函数,可以将属性/>映射为一个或多个数值/>,各个/>的格式相同,最后得到的向量格式的数据集为/>,其中每个数据项。
步骤S206,基于能源数据向量对应的数据属性,确定能源数据向量对应的数据标签,并使用数据标签对能源数据向量进行标注。
在具体实现时,采集的数据需要经过标注,标注过程通常涉及到一些领域知识和专业判断,在本发明实施例中,根据数据的属性设定一个合理的标注函数,其中为标签,它可能代表某一时期的能源需求等级,进而得到包含标签的能源数据向量。其中,本发明实施例根据专家经验进行标注。
步骤S208,通过预设的样本生成算法对能源数据向量进行数据扩充,并在扩充的样本满足预设的扩充条件时,将扩充的样本确定为能源数据向量对应的扩充样本。
步骤S210,基于扩充样本和能源数据向量构建训练数据集。
进一步地,现有技术中非线性和高维问题处理不足:传统的能源需求预测方法可能难以有效处理非线性和高维的问题。故,对原始数据集进行上述处理后,本发明实施例还对数据集进行扩充,提出通过预设的样本生成算法,生成能源数据向量对应的第一扩充样本。再通过预设的插值算法,生成能源数据向量对应的第二扩充样本,以使构建的训练数据集满足非线性和高维要求。
具体的,假设数据集是经过预处理的数据集,其中,数据扩充的目标是生成新的数据集/>。本发明提出使用Borderline-SMOTE算法作为预设的样本生成算法进行样本生成,得到第一扩充样本。
在具体实现时,本发明实施例通过计算每一个少数类样本的m个最近邻:m个最近邻可以是基于欧几里得距离来确定。之后,分类边界样本:对于每一个少数类样本,计算其m个最近邻中多数类样本的数量。设此数目是Ts,如果l/m大于一个预设的阈值(如0.5),则这个少数类样本就被认为是一个边界样本。之后生成合成样本,其中,本发明实施例仅对上述标记为边界的少数类样本进行样本生成操作,生成方式为:(1)选择一个边界的少数类样本和其一个最近邻/>。(2)对于每个特征维度/>,计算其差值;(3)对于每个特征维度/>,生成新的合成样本特征值。(4)合成的新样本则为/>,也即第一扩充样本。
具体的,差值的计算方式为:
其中,和/>分别是样本/>和/>在第/>个特征上的值。
生成新的合成样本特征值的方式包括:
其中,为生成新的合成样本特征值,/>是一个在[0,1]范围内的随机数。也即,本发明实施例基于计算的差值/>确定新的合成样本特征值,之后,为每个边界的少数类样本生成所需数量的合成样本,直到达到预设数量,其中,每个被标记为边界的少数类样本可以通过上述方法生成相应的合成样本特征值,合成后的样本则得到对应的第一扩充样本。对应的,本发明实施例即在原有的SMOTE算法基础上,对生成的样本位置进行了改进,仅在边界区域生成样本,从而避免在异常样本区域过度生成样本。具体的,设/>算法为的映射,其中/>是通过Borderline-SMOTE算法生成的数据集。
本发明实施例还利用非线性插值作为预设的插值算法,再次进行样本生成,得到能源数据向量对应的第二扩充样本。具体地,设算法为/>的映射,且为非线性插值算法,其中/>是通过非线性插值算法生成的数据集。
之后,通过预设的预测函数对第一扩充样本和第二扩充样本进行扩充预测,确定第一扩充样本和第二扩充样本对应的预测结果;将预测结果指示为预测通过的第一扩充样本或第二扩充样本,确定为能源数据向量对应的扩充样本。
在具体实现时,本发明实施例还在使用Borderline-SMOTE和非线性插值进行数据扩充的同时,使用CRF作为预设的预测函数对扩充的数据进行预测。其中,条件随机场CRF(Conditional Random Fields), CRF 本质是一个无向图。对于CRF的应用进行举例说明:预测的标签一般不会出现 P-B,T-I 并列的情况,因为这样的标签不合理,也无法解析。而当 CRF 模型收敛时,就会学到类似 P-B 和 T-I 作为相邻标签的概率非常低。也即,本发明实施例利用CRF进行预测的预测结果是样本是否应该进行扩充,这样可以在扩充数据的同时,保证生成的样本是有用的,避免对模型的学习造成干扰。
具体地,设CRF算法为的映射,且为CRF的预测函数,其中,/>表示是否应对第/>个样本进行扩充。然后再根据/>决定是否对样本进行扩充:
其中,表示/>算法为/>的映射,/>表示NLI算法为/>的映射,/>表示CRF算法为/>的映射。
新的数据集通过Borderline-SMOTE算法和非线性插值算法生成的数据的并集,既包括了边界区域的样本,又包括了非线性插值生成的样本,从而获得了更加丰富和多样的数据集。
本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法,通过多种算法分别生成能源数据向量对应的扩充样本,再对这些样本进行扩充预测,只有在预测通过时,才基于该生成的扩充样本和原始的能源数据向量构建训练数据集,其中,通过多个样本生成算法能够增加样本多样性,提高分类模型的鲁棒性和泛化能力,且,多种算法中包括Borderline-SMOTE算法,对边界样本进行样本扩充,还包括非线性插值算法,结合条件随机场CRF作为预测函数对扩充的样本进行预测,在扩充多种数据的同时,还能够保证生成的样本是有用的,避免对模型的学习造成干扰,基于此,构建的训练数据集满足非线性和高维要求,进而能够保证能源需求预测的精度。
进一步地,在上述实施例的基础上,本发明实施例还提供另一种基于大数据的能源需求预测模型的构建方法,其中,本发明实施例主要对特征提取的步骤,以及,分类训练的步骤进行详细介绍。图3示出了本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法的流程图,如图3所示,该方法包括如下步骤:
步骤S302,获取训练数据集。
其中,通过步骤S302得到的训练数据集包括扩充后的数据,本发明实施例基于该数据进行特征提取,从而确定满足要求的特征参数,以对模型进行训练。然而,实际采集的数据并非均可以使用,故,本发明实施例还对这些数据进行预处理。
具体的,设能源数据向量的数据集为,其中每个数据项。数据预处理的目标是获得一个新的数据集,其中/>。在本发明实施例中,预处理的主要步骤包括缺失值处理、异常值处理和数据标准化。
具体地,缺失值处理:对于数据项,如果某个/>的值缺失,可以通过多种方法进行填充。设/>为一个填充函数,所述填充函数可以是平均数填充、中位数填充等。异常值处理:设/>为一个函数,它返回一个布尔值,用来判断数据项/>是否包含异常值。如果/>返回真,那么/>会被从数据集/>中剔除。/>的定义需要依赖于实际数据的特性,如三西格玛法则、箱线图法等。数据标准化:设/>为一个标准化函数,它将/>转化为一个标准分数,这样处理后的数据集/>在每一个属性上都符合标准正态分布。/>通常可以定义为/>,其中/>和/>分别是/>的均值和标准差。
步骤S304,将训练数据集输入至预设的堆栈自编码器中,通过堆栈自编码器的激活函数确定训练数据集的能源数据对应的初始目标特征向量。
本发明实施例对处理后的训练数据集进行特征提取,其中。本发明实施例利用预设的堆栈自编码器进行特征提取,该堆栈自编码器包括激活函数,本发明实施例基于激活函数确定提取的特征参数,其中,该步骤得到的特征参数为初始目标特征向量,本发明实施例还对其进行加权,如步骤S308所示,进而得到目标特征向量。在具体实现时,首先,使用堆栈自编码器进行深度特征提取。假设扩充后的数据集为数据集,即,其中每一个/>都是一个特征向量。然后,堆栈自编码器被定义为一个函数/>,它将输入向量/>映射到一个/>维的特征空间。假设堆栈自编码器包含层,其中第/>层的权重和偏置分别为/>和/>,那么,/>可以由以下公式计算得出:
上述公式中,是sigmoid激活函数,用于增加模型的非线性。进一步地,为了避免传统梯度下降算法产生的梯度消失和梯度爆炸现象,同时避免由于梯度导致的局部最优解现象,本发明实施例的激活函数包括优化的编码器参数。在预测能源需求的过程中,本发明所提出的特征提取方法结合了堆栈自编码器和改进的鲸鱼优化算法,采用改进的鲸鱼优化算法优化堆栈自编码器的参数。其中,鲸鱼优化算法是一种自然启发式的优化算法,其灵感来源于鲸鱼捕食的行为。在具体实现时,本发明实施例提出了一个改进的鲸鱼优化算法,其中包含一个自适应权重因子,以帮助算法更有效地探索和利用搜索空间。
具体地,本发明实施例先获取堆栈自编码器的每个子编码层分别对应的编码器参数,再根据编码器参数,生成多个初始化解,并确定每个初始化解对应的目标函数值。在具体实现时,本发明实施例将编码器参数(权重和偏置)定义为鲸鱼优化算法的解。假设搜索空间中的一个解可以被表示为一个向量,其中/>和/>是第/>层的权重和偏置。那么,鲸鱼优化算法的目标是找到一个解/>,使得目标函数/>最小,其中/>可以被定义为堆栈自编码器在验证集上的平均重构误差。然后,改进的鲸鱼优化算法可以通过以下步骤进行:1、初始化一个解的群体/>,其中/>是群体的大小;2、对于每一个解/>,计算其目标函数值/>,也即上述目标函数值。
之后,基于目标函数值,从多个初始化解中确定目标解。再根据目标解,以及预设的自适应权重因子,更新每个初始化解的位置,并执行确定每个初始化解对应的目标函数值的步骤;直到满足预设的更新条件,将当前目标解确定为堆栈自编码器优化的编码器参数。具体地,按照下述步骤执行:3、找到目标函数值最小的解;4、对于每一个解/>,更新其位置/>,其中/>是自适应权重因子,/>是一个产生0到1之间随机数的函数;5、返回步骤2,直到满足预设的最大迭代次数。
其中,在原始的鲸鱼优化算法中,是一个固定的值,在本发明实施例改进的鲸鱼优化算法中,/>是一个随迭代次数变化的值。设当前的迭代次数为/>,那么,/>可以通过以下公式计算得出:
其中,是初始的权重因子,/>是最大的迭代次数。基于此,算法在早期更倾向于探索搜索空间(因为/>较大),而在后期更倾向于利用已经找到的好的解(因为/>较小)。
步骤S306,通过预设的映射函数确定初始目标特征向量对应的特征权重,并通过改进的粒子群优化算法,优化特征权重。
步骤S308,通过优化的特征权重对初始目标特征向量进行加权,得到能源数据对应的目标特征向量。
在特征提取后的数据集(初始目标特征向量)可以表示为一系列的特征向量,其中每个/>都是一个/>维的特征向量,由堆栈自编码器和鲸鱼优化算法生成。其中,为了提升特征表达能力,进而提高分类器的分类精度,本发明实施例还引入一个权重向量(也即特征权重):/>,其中/>是特征/>的权重。
其中,初始时,所有的权重都被设为1,表示所有的特征都被认为是同样重要的。本发明实施例通过预设的映射函数确定对应的特征权重。具体地,本发明实施例首先定义一个函数,它将特征向量/>映射到一个实数,表示其对能源需求预测的贡献。这个函数可以被定义为:
其中,是/>的第/>个元素,/>是其对应的权重。其中,可以为非线性映射,如Sigmoid函数映射,可以将特征进行非线性变换,提升特征表达能力,进而能够提高分类器的分类精度。
进一步地,本发明实施例所确定的特征权重并非固定的,为了提升特征表达能力,进而提高分类器的分类精度,本发明实施例还对这些特征权重优化,其中,使用改进的粒子群优化算法来优化这些权重。具体地,在粒子群优化算法中,一个解(即一组权重)被视为一个粒子,每个粒子都会在搜索空间中飞行,并且会根据其自身的最优解和全局的最优解来更新其速度和位置。
假设搜索空间中的一个解(一组权重)可以被表示为一个向量。那么,粒子群优化算法的目标是找到一个解/>,使得目标函数/>最小,其中/>可以被定义为/>在验证集上的平均误差。然后,改进的粒子群优化算法可以通过以下步骤进行:1、初始化一个粒子群/>,其中/>是粒子群的大小;2、对于每一个粒子/>,计算其目标函数值/>;3、找到目标函数值最小的粒子/>。进一步地,4、对于每一个粒子/>,更新其速度/>,并更新其位置/>。5、返回步骤2,直到满足预设的最大迭代次数。其中,速度的计算公式、位置/>的计算公式分别为:
其中,是惯性权重,/>和/>是学习因子,/>是一个产生0到1之间随机数的函数,/>是/>的最优解。
在原始的粒子群优化算法中,是一个固定的值,但在本发明改进的粒子群优化算法中,/>是一个随迭代次数变化的值。设当前的迭代次数为/>,那么,/>可以通过以下公式计算得出:
其中,和/>是/>的最大值和最小值,/>是最大的迭代次数。基于此,算法在早期更倾向于全局搜索(因为/>较大),而在后期更倾向于局部搜索(因为/>较小)。
之后,通过优化的特征权重对初始目标特征向量进行加权,得到能源数据对应的目标特征向量。其中,特征权重越高,则该初始目标特征向量所发挥的作用越大,基于此,可以提高提取的目标特征向量的质量。
进一步地,利用得到的目标特征向量对分类器进行分类训练,其中,本发明实施例的分类器包括多个子分类器,每个子分类器包括目标函数。也即,本发明实施例利用多个子分类器进行分类训练,能够提高分类的准确性。
步骤S310,将目标特征向量和目标特征向量对应的数据标签输入至预先设置的多个子分类器中,对多个子分类器分别进行分类训练,确定每个子分类器对应的目标函数。
具体的,本发明实施例引入改进的极限学习机和朴素贝叶斯算法进行分类器的训练,命名为混合极限学习机-朴素贝叶斯(Hybrid极限学习机-NB)分类器。对应的,极限学习机和朴素贝叶斯算法分别对应为子分类器。其中,极限学习机是一种单层前馈神经网络,相较于其他神经网络训练方法,它具有学习速度快、泛化性能好的优点。然而,极限学习机在处理大规模数据或噪声数据时的性能有所下降。为了克服这个问题,本发明引入朴素贝叶斯分类器进行改进。
在具体实现时,对于给定的样本集,也即目标特征向量,其中/>是输入向量,/>是对应的目标向量。目标是找到一个函数/>,使得它在训练样本上的预测输出和目标向量尽可能接近,该函数/>为极限学习机子分类器的目标函数。基于此,得到以下优化问题:
其中,是权重,/>是偏置,为极限学习机模型的参数;/>是正则化参数,/>是损失函数。在具体实现时,当上述优化问题指示器输出为最优时,则得到对应的目标函数的最小值。其中,本发明实施例使用平方损失函数:
进一步地,为了求解这个优化问题,本发明实施例使用核技巧,把表示为:
其中,是核函数,本发明实施例选择为径向基函数(RBF):
在实际应用中,通过交叉验证来选择最优的和/>。其中,本发明实施例将径向基函数、核函数、平方损失函数结合,能够提升分类精度。进一步地,本发明引入朴素贝叶斯分类器。利用目标特征向量对朴素贝叶斯分类器进行分类训练,并得到其目标函数。
步骤S312,基于多个子分类器分别对应的目标函数,以及预先确定的权重参数构建目标分类器,并基于目标特征向量对目标分类器进行分类训练。
之后,把朴素贝叶斯分类器的预测结果和极限学习机的预测结果结合起来,得到混合极限学习机-朴素贝叶斯(Hybrid极限学习机-NB)分类器,也即目标分类器:
其中,是权重参数,用于控制极限学习机和朴素贝叶斯的重要性,通过交叉验证来确定。其中,/>为极限学习机子分类器的分类结果,/>为朴素贝叶斯子分类器的分类结果,本发明实施例利用权重参数/>将多个子分类器进行结合,构建目标分类器,其中,本发明实施例可以对多个子分类器的结果同时考虑,提高模型预测的准确程度。
其中,现有技术对时序性数据处理不足:许多方法不能很好地捕获和利用能源需求数据的时序性。基于此,本发明实施例的目标分类器包括分类目标函数,分类目标函数根据预先计算的时间权重确定,时间权重根据目标特征向量对应的时序属性确定,其中,对于分类目标函数的确定参照下述过程:
在进行能源需求预测时,不同时间段的数据可能对预测结果的影响程度不同,近期的数据对预测结果的影响可能大于较早的数据,因此,近期的数据应赋予更高的权重。在具体实现时,本发明实施例还使用新的数据更新模型,即,训练数据集中可以通过加入新的数据,对构建的模型进行更新,以使最终使用的模型可以满足能源需求预测精度。基于此,本发明实施例采用动态权重调整的方式对目标分类器进行改进。其中,基于动态权重调整的预测函数可以表示为:
上述公式中,为数据向量/>所对应的权重/>加权函数。
设时间序列数据集,其中/>是在时间/>的输入向量,/>是在时间/>的目标向量。本发明实施例期望找到一个函数/>,其中/>是样本的权重向量,使得预测输出和目标向量的误差最小。那么,可以得到以下优化问题,该优化问题当输出数值最小时,则得到相应的预测输出:
其中,是损失函数,本发明实施例使用均方误差作为损失函数:
是正则化参数,由人为预设。通过交叉验证来选择最优的/>。
进一步地,对于上述权重向量,本发明实施例引入了一个时间衰减因子/>,它决定了权重随时间的衰减速度。对于在时间/>的数据,其权重/>可以定义为:
其中,是数据集的大小,也即目标特征向量对应的训练数据集的样本数量。具体的,训练数据集是不断用新样本补充的,排序越往后的样本表明为近期的数据,在本发明实施例中,近期的数据(即/>接近/>的数据)会被赋予更高的权重,而较早的数据(即/>较小的数据)会被赋予较低的权重。
步骤S314,根据训练完成的目标分类器构建能源需求预测模型,以通过能源需求预测模型对待测电力数据进行能源需求预测。
当目标分类器优化完成后,也即目标分类器训练完成,可以基于该目标分类器构建所需的能源需求预测模型,以通过该模型对待测电力数据进行能源需求预测。
进一步的,为了保证模型训练的精度,本发明实施例还对上述步骤进行联合优化,具体的,在之前的步骤中进行数据扩充、特征提取、动态权重调整(构建目标分类器)等。然而,这些步骤通常是独立进行的,这可能会导致一些问题。例如,数据扩充的产出物是新生成样本与原始样本的相似度(并基于新生成样本构建训练数据集),这可能会增加噪声;特征提取的产出物为目标特征向量,可能会忽视一些重要的信息;而动态权重调整后可能会使目标分类器过度强调近期的数据。为了解决这些问题,本发明实施例还进行上述步骤的联合优化,以整体目标进行优化,有助于模型预测精度。
其中,在具体实现时,根据预设的优化函数,确定训练数据集、目标特征向量和分类器的分类结果对应的函数结果,并判断函数结果是否满足预设的函数阈值,如果否,对训练数据集、目标特征向量和分类器的分类结果分别进行迭代;直到函数结果满足预设的函数阈值时,基于训练数据集、目标特征向量和分类器构建能源需求预测模型。
具体的,本发明实施例期望在一个统一的框架中同时进行数据扩充、特征提取和动态权重调整。这可以通过以下的优化问题来实现:
其中,是数据扩充函数,/>是特征提取函数,/>表示联合优化权重;其他符号的含义与前面的步骤相同。此优化问题的目标是在给定数据扩充、特征提取和动态权重调整约束的情况下,找到最优的权重向量/>为/>组成的向量。
在本发明中,解决这个优化问题的一种可能的方法是使用坐标下降法。具体的,固定其他变量,对其中一个变量进行优化,然后在固定新的变量值的情况下,对下一个变量进行优化,如此反复,直到收敛。
本发明实施例提供的另一种基于大数据的能源需求预测模型的构建方法,能够提升预测准确度:通过混合极限学习机-朴素贝叶斯分类器和动态权重调整的使用,可以大大提高能源需求预测的准确度。此外,还可以增强模型的稳健性和泛化能力:联合优化和在线学习方法使得模型在处理新数据或大规模噪声数据时具有更好的稳健性和泛化能力。其中,本发明实施例通过使用混合极限学习机-朴素贝叶斯分类器:利用极限学习机的快速学习能力和朴素贝叶斯分类器的稳健性,优化大规模或噪声数据的处理。并引入动态权重调整,能够更加精确地处理时间序列数据,对近期数据赋予更高的权重,从而提高预测的准确性。进一步的,还提出联合优化:通过同时进行数据扩充、特征提取和动态权重调整,克服了各步骤独立操作可能带来的问题,如数据扩充增加噪声,特征提取可能忽视重要信息,动态权重调整可能过度强调近期数据等。
进一步地,本发明实施例还提供了一种基于大数据的能源需求预测方法,图4示出了本发明实施例提供的一种基于大数据的能源需求预测方法的流程图,如图4所示,该方法包括以下步骤:
步骤S402,获取输入的待测电力数据。
步骤S404,将待测电力数据输入至预先构建的能源需求预测模型中,确定待测电力数据对应于能源需求预测模型的原始模型参数的损失值。
步骤S406,基于损失值,对能源需求预测模型的模型参数进行调整,并基于调整的模型参数,由能源需求预测模型对待测电力数据进行预测分类,得到预测分类结果。
步骤S408,基于预测分类结果对待测电力数据进行能源需求预测。
在具体实现时,可以使用预先构建的能源需求预测模型对新的能源需求数据进行预测,该能源需求预测模型为通过上述基于大数据的能源需求预测模型的构建方法构建得到的。其中,对于给定新的输入数据,可以通过模型函数/>得到预测结果/>。公式表示如下:/>
其中,表示在训练过程中优化得到的模型参数,代入模型中可以得到预测结果/>。但是,如果简单地使用这种预测方法,可能会导致一些问题。例如,如果新的输入数据与训练数据有很大的差异,直接使用训练好的模型可能会导致预测误差较大。其中,现有技术的一些方法无法有效地处理与训练数据存在较大差异的新数据,且难以根据新的数据实时更新模型,故,现有技术对新数据适应性不强。
为了解决这个问题,本发明实施例采用在线学习的方式进行预测。也即,先基于待测电力数据确定能源需求预测模型的原始模型参数的损失值。再基于损失值,对能源需求预测模型的模型参数进行调整。
具体的,如果有新的能源需求数据来临,不仅可以使用模型进行预测,还可以用这些新的数据更新模型。这个过程可以表示为以下的优化问题:
其中,表示新数据的真实标签。此优化问题的目标是找到新的模型参数/>,使得模型在新的数据上的预测误差最小,同时新的模型参数与原来的模型参数相差不远。在本发明实施例中,解决这个优化问题的一种可能的方法是使用随机梯度下降法。具体的,通过计算损失函数对模型参数的梯度,然后更新模型参数,如此反复,直到收敛。基于此,根据调整的模型参数由能源需求预测模型对待测电力数据进行预测分类,能够得到更为准确的预测分类结果。
其中,本发明实施例提供的一种基于大数据的能源需求预测方法,与上述实施例提供的基于大数据的能源需求预测模型的构建方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。此外,本发明实施例还提出实时在线学习:对新的能源需求数据,不仅进行预测,还实时更新模型,以减小预测误差并提高模型的准确性。
进一步地,本发明实施例还提供一种基于大数据的能源需求预测模型的构建装置,图5示出了本发明实施例提供的一种基于大数据的能源需求预测模型的构建装置的结构示意图,如图5所示,该装置包括:样本获取模块100,用于获取训练数据集;其中,训练数据集包括多个能源数据,每个能源数据包括时序属性,且,每个能源数据包括数据标签,数据标签用于表征能源数据对应的能源需求等级;样本处理模块200,用于使用预先构建的编码器对训练数据集的能源数据进行特征提取,确定能源数据对应的目标特征向量;预先构建的编码器包括优化的编码器参数;训练模块300,用于将目标特征向量和目标特征向量对应的数据标签输入至预先设置的分类器中,根据目标特征向量对应的时序属性,对分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型;其中,能源需求预测模型用于对待测电力数据进行能源需求预测。
本发明实施例提供的一种基于大数据的能源需求预测模型的构建装置,与上述实施例提供的基于大数据的能源需求预测模型的构建方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
在上述实施例的基础上,本发明实施例还提供另一种基于大数据的能源需求预测模型的构建装置,图6示出了本发明实施例提供的一种基于大数据的能源需求预测模型的构建装置的结构示意图,如图6所示,该装置还包括构建模块400,用于获取预设数据库中的能源数据;能源数据包括多种数据属性,数据属性至少包括时序属性;将多种数据属性的能源数据进行格式转换,得到能源数据向量;基于能源数据向量对应的数据属性,确定能源数据向量对应的数据标签,并使用数据标签对能源数据向量进行标注;通过预设的样本生成算法对能源数据向量进行数据扩充,并在扩充的样本满足预设的扩充条件时,将扩充的样本确定为能源数据向量对应的扩充样本;基于扩充样本和能源数据向量构建训练数据集。
其中,上述构建模块400,还用于通过预设的样本生成算法,生成能源数据向量对应的第一扩充样本;通过预设的插值算法,生成能源数据向量对应的第二扩充样本;通过预设的预测函数对第一扩充样本和第二扩充样本进行扩充预测,确定第一扩充样本和第二扩充样本对应的预测结果;将预测结果指示为预测通过的第一扩充样本或第二扩充样本,确定为能源数据向量对应的扩充样本。
上述样本处理模块200,还用于将训练数据集输入至预设的堆栈自编码器中,通过堆栈自编码器的激活函数确定训练数据集的能源数据对应的初始目标特征向量;激活函数包括优化的编码器参数;通过预设的映射函数确定初始目标特征向量对应的特征权重,并通过改进的粒子群优化算法,优化特征权重;通过优化的特征权重对初始目标特征向量进行加权,得到能源数据对应的目标特征向量。
上述样本处理模块200,还用于获取堆栈自编码器的每个子编码层分别对应的编码器参数;根据编码器参数,生成多个初始化解,并确定每个初始化解对应的目标函数值;基于目标函数值,从多个初始化解中确定目标解;根据目标解,以及预设的自适应权重因子,更新每个初始化解的位置,并执行确定每个初始化解对应的目标函数值的步骤;直到满足预设的更新条件,将当前目标解确定为堆栈自编码器优化的编码器参数。
其中,预先设置的分类器包括多个子分类器,每个子分类器包括目标函数;上述训练模块300,还用于将目标特征向量和目标特征向量对应的数据标签输入至预先设置的多个子分类器中,对多个子分类器分别进行分类训练,确定每个子分类器对应的目标函数;基于多个子分类器分别对应的目标函数,以及预先确定的权重参数构建目标分类器,并基于目标特征向量对目标分类器进行分类训练;目标分类器包括分类目标函数,分类目标函数根据预先计算的时间权重确定,时间权重根据目标特征向量对应的时序属性确定;根据训练完成的目标分类器构建能源需求预测模型,以通过能源需求预测模型对待测电力数据进行能源需求预测。
上述训练模块300,还用于根据预设的优化函数,确定训练数据集、目标特征向量和分类器的分类结果对应的函数结果;判断函数结果是否满足预设的函数阈值,如果否,对训练数据集、目标特征向量和分类器的分类结果分别进行迭代;直到函数结果满足预设的函数阈值时,基于训练数据集、目标特征向量和分类器构建能源需求预测模型。
进一步地,本发明实施例还提供一种基于大数据的能源需求预测装置,图7示出了本发明实施例提供的一种基于大数据的能源需求预测装置的结构示意图,如图7所示,该装置包括:数据获取模块10,用于获取输入的待测电力数据;数据处理模块20,用于将待测电力数据输入至预先构建的能源需求预测模型中,确定待测电力数据对应于能源需求预测模型的原始模型参数的损失值;执行模块30,用于基于损失值,对能源需求预测模型的模型参数进行调整,并基于调整的模型参数,由能源需求预测模型对待测电力数据进行预测分类,得到预测分类结果;输出模块40,用于基于预测分类结果对待测电力数据进行能源需求预测;其中,能源需求预测模型为通过上述基于大数据的能源需求预测模型的构建方法构建得到的。
本发明实施例提供的一种基于大数据的能源需求预测装置,与上述实施例提供的基于大数据的能源需求预测模型的构建方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述图1至图4任一所示的方法的步骤。本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述图1至图4任一所示的方法的步骤。本发明实施例还提供了一种电子设备的结构示意图,如图8所示,为该电子设备的结构示意图,其中,该电子设备包括处理器81和存储器80,该存储器80存储有能够被该处理器81执行的计算机可执行指令,该处理器81执行该计算机可执行指令以实现上述图1至图4任一所示的方法。在图8示出的实施方式中,该电子设备还包括总线82和通信接口83,其中,处理器81、通信接口83和存储器80通过总线82连接。
其中,存储器80可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线82可以是ISA(Industry StandardArchitecture,工业标准体系结构)总线、PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等,还可以是AMBA(Advanced Microcontroller Bus Architecture,片上总线的标准)总线,其中,AMBA定义了三种总线,包括APB(Advanced Peripheral Bus)总线、AHB(Advanced High-performance Bus)总线和AXI(Advanced eXtensible Interface)总线。总线82可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器81可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器81读取存储器中的信息,结合其硬件完成前述图1至图4任一所示的方法。本发明实施例所提供的一种基于大数据的能源需求预测模型的构建方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于大数据的能源需求预测模型的构建方法,其特征在于,所述方法包括:
获取训练数据集;其中,所述训练数据集包括多个能源数据,每个能源数据包括时序属性,且,每个所述能源数据包括数据标签,所述数据标签用于表征所述能源数据对应的能源需求等级;
使用预先构建的编码器对所述训练数据集的能源数据进行特征提取,确定所述能源数据对应的目标特征向量;所述预先构建的编码器包括优化的编码器参数;
将所述目标特征向量和所述目标特征向量对应的数据标签输入至预先设置的分类器中,根据所述目标特征向量对应的时序属性,对所述分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型;其中,所述能源需求预测模型用于对待测电力数据进行能源需求预测。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取预设数据库中的能源数据;所述能源数据包括多种数据属性,所述数据属性至少包括时序属性;
将多种数据属性的能源数据进行格式转换,得到能源数据向量;
基于所述能源数据向量对应的数据属性,确定所述能源数据向量对应的数据标签,并使用所述数据标签对所述能源数据向量进行标注;
通过预设的样本生成算法对所述能源数据向量进行数据扩充,并在扩充的样本满足预设的扩充条件时,将扩充的样本确定为所述能源数据向量对应的扩充样本;
基于所述扩充样本和所述能源数据向量构建所述训练数据集。
3.根据权利要求2所述的方法,其特征在于,通过预设的样本生成算法对所述能源数据向量进行数据扩充,并在扩充的样本满足预设的扩充条件时,将扩充的样本确定为所述能源数据向量对应的扩充样本的步骤,包括:
通过预设的样本生成算法,生成所述能源数据向量对应的第一扩充样本;
通过预设的插值算法,生成所述能源数据向量对应的第二扩充样本;
通过预设的预测函数对所述第一扩充样本和所述第二扩充样本进行扩充预测,确定所述第一扩充样本和所述第二扩充样本对应的预测结果;
将所述预测结果指示为预测通过的第一扩充样本或第二扩充样本,确定为所述能源数据向量对应的扩充样本。
4.根据权利要求1所述的方法,其特征在于,使用预先构建的编码器对所述训练数据集的能源数据进行特征提取,确定所述能源数据对应的目标特征向量的步骤,包括:
将所述训练数据集输入至预设的堆栈自编码器中,通过所述堆栈自编码器的激活函数确定所述训练数据集的能源数据对应的初始目标特征向量;所述激活函数包括优化的编码器参数;
通过预设的映射函数确定所述初始目标特征向量对应的特征权重,并通过改进的粒子群优化算法,优化所述特征权重;
通过优化的所述特征权重对所述初始目标特征向量进行加权,得到所述能源数据对应的目标特征向量。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述堆栈自编码器的每个子编码层分别对应的编码器参数;
根据所述编码器参数,生成多个初始化解,并确定每个所述初始化解对应的目标函数值;
基于所述目标函数值,从多个初始化解中确定目标解;
根据所述目标解,以及预设的自适应权重因子,更新每个所述初始化解的位置,并执行确定每个所述初始化解对应的目标函数值的步骤;
直到满足预设的更新条件,将当前所述目标解确定为所述堆栈自编码器优化的编码器参数。
6.根据权利要求1所述的方法,其特征在于,预先设置的分类器包括多个子分类器,每个所述子分类器包括目标函数;
将所述目标特征向量和所述目标特征向量对应的数据标签输入至预先设置的分类器中,根据所述目标特征向量对应的时序属性,对所述分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型的步骤,包括:
将所述目标特征向量和所述目标特征向量对应的数据标签输入至预先设置的多个子分类器中,对多个子分类器分别进行分类训练,确定每个所述子分类器对应的目标函数;
基于多个子分类器分别对应的目标函数,以及预先确定的权重参数构建目标分类器,并基于所述目标特征向量对所述目标分类器进行分类训练;所述目标分类器包括分类目标函数,所述分类目标函数根据预先计算的时间权重确定,所述时间权重根据所述目标特征向量对应的时序属性确定;
根据训练完成的所述目标分类器构建所述能源需求预测模型,以通过所述能源需求预测模型对待测电力数据进行能源需求预测。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据预设的优化函数,确定所述训练数据集、所述目标特征向量和所述分类器的分类结果对应的函数结果;
判断所述函数结果是否满足预设的函数阈值,如果否,对所述训练数据集、所述目标特征向量和所述分类器的分类结果分别进行迭代;
直到所述函数结果满足预设的函数阈值时,基于所述训练数据集、所述目标特征向量和所述分类器构建所述能源需求预测模型。
8.一种基于大数据的能源需求预测方法,其特征在于,所述方法包括:
获取输入的待测电力数据;
将所述待测电力数据输入至预先构建的能源需求预测模型中,确定所述待测电力数据对应于所述能源需求预测模型的原始模型参数的损失值;
基于所述损失值,对所述能源需求预测模型的模型参数进行调整,并基于调整的模型参数,由所述能源需求预测模型对所述待测电力数据进行预测分类,得到预测分类结果;
基于所述预测分类结果对所述待测电力数据进行能源需求预测;
其中,所述能源需求预测模型为通过权利要求1~7任一项所述的基于大数据的能源需求预测模型的构建方法构建得到的。
9.一种基于大数据的能源需求预测模型的构建装置,其特征在于,所述装置包括:
样本获取模块,用于获取训练数据集;其中,所述训练数据集包括多个能源数据,每个能源数据包括时序属性,且,每个所述能源数据包括数据标签,所述数据标签用于表征所述能源数据对应的能源需求等级;
样本处理模块,用于使用预先构建的编码器对所述训练数据集的能源数据进行特征提取,确定所述能源数据对应的目标特征向量;所述预先构建的编码器包括优化的编码器参数;
训练模块,用于将所述目标特征向量和所述目标特征向量对应的数据标签输入至预先设置的分类器中,根据所述目标特征向量对应的时序属性,对所述分类器进行分类训练,并基于训练完成的分类器构建能源需求预测模型;其中,所述能源需求预测模型用于对待测电力数据进行能源需求预测。
10.一种基于大数据的能源需求预测装置,其特征在于,所述装置包括:
数据获取模块,用于获取输入的待测电力数据;
数据处理模块,用于将所述待测电力数据输入至预先构建的能源需求预测模型中,确定所述待测电力数据对应于所述能源需求预测模型的原始模型参数的损失值;
执行模块,用于基于所述损失值,对所述能源需求预测模型的模型参数进行调整,并基于调整的模型参数,由所述能源需求预测模型对所述待测电力数据进行预测分类,得到预测分类结果;
输出模块,用于基于所述预测分类结果对所述待测电力数据进行能源需求预测;其中,所述能源需求预测模型为通过权利要求1~7任一项所述的基于大数据的能源需求预测模型的构建方法构建得到的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338179.7A CN117077871B (zh) | 2023-10-17 | 2023-10-17 | 基于大数据的能源需求预测模型的构建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338179.7A CN117077871B (zh) | 2023-10-17 | 2023-10-17 | 基于大数据的能源需求预测模型的构建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117077871A true CN117077871A (zh) | 2023-11-17 |
CN117077871B CN117077871B (zh) | 2024-02-02 |
Family
ID=88715620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311338179.7A Active CN117077871B (zh) | 2023-10-17 | 2023-10-17 | 基于大数据的能源需求预测模型的构建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117077871B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117318053A (zh) * | 2023-11-28 | 2023-12-29 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
CN117878929A (zh) * | 2024-03-12 | 2024-04-12 | 山东德源电力科技股份有限公司 | 基于多源数据融合的负荷控制终端预测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019019255A1 (zh) * | 2017-07-25 | 2019-01-31 | 平安科技(深圳)有限公司 | 建立预测模型的装置、方法、预测模型建立程序及计算机可读存储介质 |
CN109544197A (zh) * | 2017-09-22 | 2019-03-29 | 中兴通讯股份有限公司 | 一种用户流失预测方法和装置 |
US20200012938A1 (en) * | 2018-07-09 | 2020-01-09 | Tata Consultancy Services Limited | Systems and methods for classification of multi-dimensional time series of parameters |
JP2020035413A (ja) * | 2018-08-28 | 2020-03-05 | 日鉄エンジニアリング株式会社 | 電力需要予測システム、電力需要予測モデルの構築方法、プログラム、及び営業支援システム |
CN111563829A (zh) * | 2020-04-30 | 2020-08-21 | 新智数字科技有限公司 | 电力价格预测方法、电力价格预测模型训练方法及装置 |
KR20200103193A (ko) * | 2019-02-15 | 2020-09-02 | 성균관대학교산학협력단 | 심층 구조를 이용한 전력 수요 예측 방법 및 장치 |
CN111679949A (zh) * | 2020-04-23 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于设备指标数据的异常检测方法及相关设备 |
CN116028838A (zh) * | 2023-01-09 | 2023-04-28 | 广东电网有限责任公司 | 一种基于聚类算法的能源数据处理方法、装置及终端设备 |
CN116108960A (zh) * | 2022-12-01 | 2023-05-12 | 广东电网有限责任公司 | 多类型能源需求预测模型训练方法及装置 |
CN116227716A (zh) * | 2023-03-14 | 2023-06-06 | 广东电网有限责任公司 | 一种基于Stacking的多因素能源需求预测方法及系统 |
CN116595463A (zh) * | 2023-07-18 | 2023-08-15 | 国网山东省电力公司武城县供电公司 | 窃电识别模型的构建方法、窃电行为识别方法及装置 |
-
2023
- 2023-10-17 CN CN202311338179.7A patent/CN117077871B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019019255A1 (zh) * | 2017-07-25 | 2019-01-31 | 平安科技(深圳)有限公司 | 建立预测模型的装置、方法、预测模型建立程序及计算机可读存储介质 |
CN109544197A (zh) * | 2017-09-22 | 2019-03-29 | 中兴通讯股份有限公司 | 一种用户流失预测方法和装置 |
US20200012938A1 (en) * | 2018-07-09 | 2020-01-09 | Tata Consultancy Services Limited | Systems and methods for classification of multi-dimensional time series of parameters |
JP2020035413A (ja) * | 2018-08-28 | 2020-03-05 | 日鉄エンジニアリング株式会社 | 電力需要予測システム、電力需要予測モデルの構築方法、プログラム、及び営業支援システム |
KR20200103193A (ko) * | 2019-02-15 | 2020-09-02 | 성균관대학교산학협력단 | 심층 구조를 이용한 전력 수요 예측 방법 및 장치 |
CN111679949A (zh) * | 2020-04-23 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于设备指标数据的异常检测方法及相关设备 |
CN111563829A (zh) * | 2020-04-30 | 2020-08-21 | 新智数字科技有限公司 | 电力价格预测方法、电力价格预测模型训练方法及装置 |
CN116108960A (zh) * | 2022-12-01 | 2023-05-12 | 广东电网有限责任公司 | 多类型能源需求预测模型训练方法及装置 |
CN116028838A (zh) * | 2023-01-09 | 2023-04-28 | 广东电网有限责任公司 | 一种基于聚类算法的能源数据处理方法、装置及终端设备 |
CN116227716A (zh) * | 2023-03-14 | 2023-06-06 | 广东电网有限责任公司 | 一种基于Stacking的多因素能源需求预测方法及系统 |
CN116595463A (zh) * | 2023-07-18 | 2023-08-15 | 国网山东省电力公司武城县供电公司 | 窃电识别模型的构建方法、窃电行为识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
LI WEI等: "《Based on Time Sequence of ARIMA Model in the Application of Short-Term Electricity Load Forecasting》", 2009 INTERNATIONAL CONFERENCE ON RESEARCH CHALLENGES IN COMPUTER SCIENCE * |
刘刚,李嘉翔,魏文浩,海轩: "《基于多目标优化组合模型的电力负荷预测》", 兰州大学学报(自然科学版) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117318053A (zh) * | 2023-11-28 | 2023-12-29 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
CN117318053B (zh) * | 2023-11-28 | 2024-03-19 | 广州宝云信息科技有限公司 | 用于储能电站的能源需求预测方法及系统 |
CN117878929A (zh) * | 2024-03-12 | 2024-04-12 | 山东德源电力科技股份有限公司 | 基于多源数据融合的负荷控制终端预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117077871B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117077871B (zh) | 基于大数据的能源需求预测模型的构建方法及装置 | |
Wang et al. | A hybrid wind speed forecasting model based on phase space reconstruction theory and Markov model: A case study of wind farms in northwest China | |
US11042802B2 (en) | System and method for hierarchically building predictive analytic models on a dataset | |
CN108428015B (zh) | 一种基于历史气象数据和随机模拟的风电功率预测方法 | |
CN112508442B (zh) | 基于自动化和可解释机器学习的暂态稳定评估方法及系统 | |
CN116881832B (zh) | 旋转机械设备故障诊断模型的构建方法及装置 | |
Wu et al. | A hybrid-forecasting model reducing Gaussian noise based on the Gaussian support vector regression machine and chaotic particle swarm optimization | |
CN113011529B (zh) | 文本分类模型的训练方法、装置、设备及可读存储介质 | |
CN116934385B (zh) | 用户流失预测模型的构建方法、用户流失预测方法及装置 | |
Vieira et al. | Kernel evolving participatory fuzzy modeling for time series forecasting | |
CN117407797A (zh) | 基于增量学习的设备故障诊断方法及模型的构建方法 | |
CN117290732B (zh) | 故障分类模型的构建方法、风电设备故障分类方法及装置 | |
CN114817571A (zh) | 基于动态知识图谱的成果被引用量预测方法、介质及设备 | |
CN111160459A (zh) | 超参数的优化装置和方法 | |
CN116245259B (zh) | 基于深度特征选择的光伏发电预测方法、装置和电子设备 | |
CN117407781A (zh) | 基于联邦学习的设备故障诊断方法及装置 | |
CN109728958B (zh) | 一种网络节点信任预测方法、装置、设备及介质 | |
Chen et al. | Machine learning forecasts of Scandinavian numerical weather prediction wind model residuals with control theory for wind energy | |
CN115564155A (zh) | 一种分散式风电机组功率预测方法及相关设备 | |
Li et al. | GA-SVR Traffic Flow Prediction Based on Phase Space Reconstruction with Improved KNN Method | |
CN117291314B (zh) | 能源风险识别模型的构建方法、能源风险识别方法及装置 | |
Koloski et al. | Latent graph powered semi-supervised learning on biomedical tabular data | |
Rongali et al. | Parameter optimization of support vector machine by improved ant colony optimization | |
CN117312865B (zh) | 基于非线性动态优化的数据分类模型的构建方法及装置 | |
CN118032327A (zh) | 基于人工智能的设备智能润滑监测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |