CN116776228B - 一种电网时序数据解耦自监督预训练方法与系统 - Google Patents
一种电网时序数据解耦自监督预训练方法与系统 Download PDFInfo
- Publication number
- CN116776228B CN116776228B CN202311035519.9A CN202311035519A CN116776228B CN 116776228 B CN116776228 B CN 116776228B CN 202311035519 A CN202311035519 A CN 202311035519A CN 116776228 B CN116776228 B CN 116776228B
- Authority
- CN
- China
- Prior art keywords
- data
- mask
- component
- time sequence
- sequence data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 title claims abstract description 25
- 230000000737 periodic effect Effects 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000013499 data model Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种电网时序数据解耦自监督预训练方法与系统，属于电网故障诊断技术领域，解决如何将电网时序数据解耦与掩码预测相结合进行自监督预训练，从而提高模型鲁棒性以及泛化能力的问题；本发明通过对时序数据解耦从而分离出时序数据的趋势分量与周期分量，再对解耦后的两分量分别进行掩码预测，最后根据时序数据特征对解耦分量进行重构，继而通过与未掩码数据对比得到掩码损失，端到端的优化整个模型，实现了对电网时序数据模型的预训练，提取出具有强泛化能力的通用特征，增强了模型的鲁棒性，提升了模型的预测精度，同时提高模型对各类下游任务适配性，有效提升了模型的利用率。
Description
技术领域
本发明电网故障诊断技术领域，涉及一种电网时序数据解耦自监督预训练方法与系统。
背景技术
近些年，时序预测在电网运行中有了广泛的应用，在调度方面需要对负荷、新能源发电量进行预测以制定发电计划，在需求响应方面需要对柔性负荷的可调节容量进行预测以助力电网调峰调频。同时，随着新型电力系统的不断发展，电网关键设备的不断升级改造，一些核心设备在承担了更加复杂任务的同时也积累了大量的时序监测数据，通过对这些时序数据的分析和预测，可以有效把握设备内部一些关键参数的变化趋势以及设备的健康状态，从而更早的发现设备可能存在的故障，提升对设备故障诊断的智能化水平，对预防严重事故的产生，维持电网安全稳定的运行有重大意义。然而，现有的时序数据分析方法，大多存在泛化能力弱，对训练数据过拟合的问题，具体表现为针对一个设备所训练的分析模型，在同类型的设备上可能就无法进行有效的分析，从而阻碍了时序模型在相关领域的发展。而自监督训练作为一种通用的模型预训练学习范式，可以从数据中把握关键信息，而忽略不同设备的特有噪声，从而提高模型的泛化能力。
现有技术中，申请公布号为CN116028785A、申请公布日期为2023年4月28日的中国发明专利文献《电网时序数据特征提取模型的训练方法及装置》利用了通用的掩码建模方式进行原始输入数据的重建，但是忽略了时序数据特有的属性，使得预训练模型对数据特征的提取更加困难，限制了模型表征能力。
发明内容
本发明的目的在于如何将电网时序数据解耦与掩码预测相结合进行自监督预训练，以解决现有技术存在的鲁棒性差、泛化能力弱的问题。
本发明是通过以下技术方案解决上述技术问题的：
一种电网时序数据解耦自监督预训练方法，包括以下步骤：
步骤1、对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量；
步骤2、对解耦出的趋势分量与周期分量分别进行一致掩码预测；
步骤3、根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；
步骤4、将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
进一步地，步骤1中所述的对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量的方法如下：
首先根据单次需要解耦的时序数据长度L选取滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量。
进一步地，步骤2中所述的对解耦出的趋势分量与周期分量分别进行一致掩码预测的方法如下：
（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；
（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
进一步地，步骤3中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
进一步地，步骤3中所述的重构损失的计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，/>为掩码的时间步索引。
一种电网时序数据解耦自监督预训练系统，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；
所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量；
所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测；
所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；
所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
进一步地，解耦模块中所述的对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量的方法如下：
首先根据单次需要解耦的时序数据长度L选取滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量。
进一步地，一致掩码预测模块中所述的对解耦出的趋势分量与周期分量分别进行一致掩码预测的方法如下：
（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；
（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
进一步地，预测重构及损失计算模块中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
进一步地，预测重构及损失计算模块中所述的重构损失的计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，/>为掩码的时间步索引。
本发明的优点在于：
本发明通过对时序数据解耦从而分离出时序数据的趋势分量与周期分量，再对解耦后的两分量分别进行掩码预测，最后根据时序数据特征对解耦分量进行重构，继而通过与未掩码数据对比得到掩码损失，端到端的优化整个模型，实现了对电网时序数据模型的预训练，提取出具有强泛化能力的通用特征，增强了模型的鲁棒性，提升了模型的预测精度，同时提高模型对各类下游任务适配性，有效提升了模型的利用率。本发明考虑了时序数据本身的特点，将原始时序数据进行解耦，生成趋势序列和周期序列并分别进行掩码建模，使得预训练模型具有时序数据的归纳偏置，从而提升了模型的掩码建模能力。
附图说明
图1为本发明的方法的流程图；
图2为数据分解流程图；
图3为掩码预测流程图；
图4为特征编码器模块架构图；
图5为重建解码器模块架构图；
图6为预测重构架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
一种电网时序数据解耦自监督预训练方法的主要流程如下：
1、时序数据解耦
本步骤通过数据分解对输入的时序数据进行解耦。如图2所示，为数据分解流程图，首先根据单次需要解耦的时序数据长度L选取合适的滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量。
2、掩码预测
该部分整体流程图见附图3，有两个分支，每个分支都有两个核心模块：趋势特征掩码预测分支和周期特征掩码预测分支，特征编码器模块和重建解码器模块。其中两个分支分别用于处理时序数据解耦出的趋势分量与周期分量，两个分量在两个分支上的处理是相同的。下面以趋势分量在趋势特征掩码预测分支上的处理为例：首先在特征编码器模块中，其整体结构见附图4，对解耦分量/>进行嵌入编码，继而再叠加上位置信息，然后对编码后的时序数据随机选取固定比例的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；在重建解码器模块中，其整体结构见附图5，首先对特征编码器模块的输出数据进行扩充，扩充方法为在数据的时间维度上，根据掩码长度向后扩充仅包含了位置数据的时间步信息，然后输入到一个transfomer解码器中，输出对于掩码部分的预测结果；/>在周期特征掩码预测分支的处理方式与之类似。但值得一提的是，在对时序数据随机选取固定比例的时间步索引时，要保持两个分支的索引是相同的。
3、预测重构
该部分整体流程图见附图6，用于根据未解耦的时序特征对两分支的掩码预测数据进行预测重构，分为两个阶段：阶段一为根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例；阶段二为根据阶段一所得到的叠加比例，对趋势特征掩码预测分支和周期特征掩码预测分支的预测结果，按照对应比例进行预测重构。
重构的数据中包含了对于未掩码时间步的重建，而在预训练模型优化过程中仅关注对于掩码时间步的重构效果，所以在计算损失时还要进行对于掩码时间步的索引，其计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，/>为掩码的时间步索引。
4、模型优化
两分支的掩码预测结果，经过预测重构，重新耦合成了一个新的掩码预测结果，将新的掩码预测损失，替代趋势特征掩码预测分支的重构损失与周期特征掩码预测分支的重构损失，从而同步到端到端优化整个模型。
实施例二
一种电网时序数据解耦自监督预训练系统，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；
所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，其方法如下：
首先根据单次需要解耦的时序数据长度L选取滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量。
所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测，其方法如下：
（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；
（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；
所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
所述的重构损失的计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，/>为掩码的时间步索引。
所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
为了证明时序数据解耦自监督预训练方法的有效性，在变压器顶层油温预测的四个公开数据集ETTh1、ETTh2、ETTm1和ETTm2上的实验结果如下表1所示，与未解耦的自监督预训练方法相比，本发明的模型在均方误差（MSE）和平均绝对值误差（MAE）两个评价指标上均表现出更优的性能。
表1 实验结果
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种电网时序数据解耦自监督预训练方法，其特征在于，包括以下步骤：
步骤1、对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，方法具体如下：
首先根据单次需要解耦的时序数据长度L选取滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量；
步骤2、对解耦出的趋势分量与周期分量分别进行一致掩码预测，方法具体如下：
（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；
（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果；
步骤3、根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失，所述的重构损失的计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，为掩码的时间步索引；
步骤4、将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
2.根据权利要求1所述的电网时序数据解耦自监督预训练方法，其特征在于，步骤3中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
3.一种电网时序数据解耦自监督预训练系统，其特征在于，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；
所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，方法具体如下：
首先根据单次需要解耦的时序数据长度L选取滑窗长度N，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，L表示需要解耦的时序数据长度，N表示滑窗长度，代表索引位置，/>分别为时序数据解耦出的趋势分量与周期分量；
所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测，方法具体如下：
（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；
（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果；
所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；
所述的重构损失的计算公式如下：
其中，为均方误差损失，/>[/>]和/>[/>]分别为重构数值和目标数值，为掩码的时间步索引；
所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
4.根据权利要求3所述的电网时序数据解耦自监督预训练系统，其特征在于，预测重构及损失计算模块中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035519.9A CN116776228B (zh) | 2023-08-17 | 2023-08-17 | 一种电网时序数据解耦自监督预训练方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035519.9A CN116776228B (zh) | 2023-08-17 | 2023-08-17 | 一种电网时序数据解耦自监督预训练方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116776228A CN116776228A (zh) | 2023-09-19 |
| CN116776228B true CN116776228B (zh) | 2023-10-20 |
Family
ID=88008333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311035519.9A Active CN116776228B (zh) | 2023-08-17 | 2023-08-17 | 一种电网时序数据解耦自监督预训练方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116776228B (zh) |
Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102823242A (zh) * | 2010-01-22 | 2012-12-12 | 汤姆森特许公司 | 基于取样超分辨率视频编码和解码的方法和装置 |
| CN111583363A (zh) * | 2020-05-11 | 2020-08-25 | 中国传媒大学 | 一种图文新闻的视觉自动生成方法及系统 |
| CN112131212A (zh) * | 2020-09-29 | 2020-12-25 | 合肥城市云数据中心股份有限公司 | 基于集成学习技术面向混合云场景的时序数据异常预测方法 |
| CN112244861A (zh) * | 2020-10-09 | 2021-01-22 | 广东工业大学 | 一种单导联心电信号f波提取方法 |
| CN112307995A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于特征解耦学习的半监督行人重识别方法 |
| CN112685476A (zh) * | 2021-01-06 | 2021-04-20 | 银江股份有限公司 | 一种具有周期性的多元时间序列异常检测方法及系统 |
| CN113177633A (zh) * | 2021-04-20 | 2021-07-27 | 浙江大学 | 一种深度解耦时间序列预测方法 |
| CN113536682A (zh) * | 2021-07-21 | 2021-10-22 | 北京航空航天大学 | 一种基于二次自编码融合机制的电动液压舵机参数退化时序外推预测方法 |
| CN114004902A (zh) * | 2021-11-02 | 2022-02-01 | 中国联合网络通信集团有限公司 | 一种点云压缩方法、装置及计算机可读存储介质 |
| CN114529051A (zh) * | 2022-01-17 | 2022-05-24 | 杭州电子科技大学 | 基于层次残差自注意力神经网络的长期电力负荷预测方法 |
| KR20220111897A (ko) * | 2021-02-03 | 2022-08-10 | 주식회사 크로커스 | 모드 분해와 신경망을 이용한 전력 예측 장치 |
| CN114926712A (zh) * | 2022-06-08 | 2022-08-19 | 南京航空航天大学 | 一种用于自动驾驶的场景生成方法 |
| CN115344566A (zh) * | 2022-08-19 | 2022-11-15 | 国网安徽省电力有限公司电力科学研究院 | 基于小波分解和傅立叶变换的多能用量数据补全方法 |
| CN115545325A (zh) * | 2022-10-19 | 2022-12-30 | 西南交通大学 | 一种基于无监督对比学习的电力变压器负荷预测方法及装置 |
| CN115564182A (zh) * | 2022-09-05 | 2023-01-03 | 国网安徽省电力有限公司信息通信分公司 | 一种基于电网资源业务中台的电网分析方法 |
| CN115630742A (zh) * | 2022-10-31 | 2023-01-20 | 山东大学 | 一种基于自监督预训练的天气预测方法及系统 |
| CN115688871A (zh) * | 2022-09-20 | 2023-02-03 | 中国科学院计算技术研究所 | 基于预训练增强的多元时间序列预测方法及系统 |
| CN115758273A (zh) * | 2022-11-02 | 2023-03-07 | 网络通信与安全紫金山实验室 | 一种时序数据异常检测方法、装置、设备及介质 |
| CN115809725A (zh) * | 2022-11-18 | 2023-03-17 | 国网福建省电力有限公司经济技术研究院 | 一种多因素短期电量预测方法及装置 |
| CN115829157A (zh) * | 2022-12-28 | 2023-03-21 | 淮阴工学院 | 基于变分模态分解和Autoformer模型的化工水质指标预测方法 |
| CN115905823A (zh) * | 2022-11-18 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种时序数据异常检测的去噪方法及系统 |
| CN116028785A (zh) * | 2022-12-28 | 2023-04-28 | 国网智能电网研究院有限公司 | 电网时序数据特征提取模型的训练方法及装置 |
| CN116488874A (zh) * | 2023-04-07 | 2023-07-25 | 中国人民解放军国防科技大学 | 基于自监督掩码上下文重构的网络入侵检测方法和系统 |
| CN116522099A (zh) * | 2023-05-08 | 2023-08-01 | 国网智能电网研究院有限公司 | 时序数据自监督预训练模型、构建方法、设备及存储介质 |
| CN116579413A (zh) * | 2023-05-22 | 2023-08-11 | 国网智能电网研究院有限公司 | 时序数据预训练模型微调方法及装置、时序数据预测模型 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11748567B2 (en) * | 2020-07-10 | 2023-09-05 | Baidu Usa Llc | Total correlation variational autoencoder strengthened with attentions for segmenting syntax and semantics |
| US20220067534A1 (en) * | 2020-08-28 | 2022-03-03 | Salesforce.Com, Inc. | Systems and methods for mutual information based self-supervised learning |
| KR20220038907A (ko) * | 2020-09-21 | 2022-03-29 | 삼성에스디에스 주식회사 | 생성적 대립 신경망(gan) 기반의 데이터 예측 방법, 그리고 이를 구현하기 위한 장치 |
-
2023
- 2023-08-17 CN CN202311035519.9A patent/CN116776228B/zh active Active
Patent Citations (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102823242A (zh) * | 2010-01-22 | 2012-12-12 | 汤姆森特许公司 | 基于取样超分辨率视频编码和解码的方法和装置 |
| CN111583363A (zh) * | 2020-05-11 | 2020-08-25 | 中国传媒大学 | 一种图文新闻的视觉自动生成方法及系统 |
| CN112131212A (zh) * | 2020-09-29 | 2020-12-25 | 合肥城市云数据中心股份有限公司 | 基于集成学习技术面向混合云场景的时序数据异常预测方法 |
| CN112244861A (zh) * | 2020-10-09 | 2021-01-22 | 广东工业大学 | 一种单导联心电信号f波提取方法 |
| CN112307995A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于特征解耦学习的半监督行人重识别方法 |
| CN112685476A (zh) * | 2021-01-06 | 2021-04-20 | 银江股份有限公司 | 一种具有周期性的多元时间序列异常检测方法及系统 |
| KR20220111897A (ko) * | 2021-02-03 | 2022-08-10 | 주식회사 크로커스 | 모드 분해와 신경망을 이용한 전력 예측 장치 |
| CN113177633A (zh) * | 2021-04-20 | 2021-07-27 | 浙江大学 | 一种深度解耦时间序列预测方法 |
| CN113536682A (zh) * | 2021-07-21 | 2021-10-22 | 北京航空航天大学 | 一种基于二次自编码融合机制的电动液压舵机参数退化时序外推预测方法 |
| CN114004902A (zh) * | 2021-11-02 | 2022-02-01 | 中国联合网络通信集团有限公司 | 一种点云压缩方法、装置及计算机可读存储介质 |
| CN114529051A (zh) * | 2022-01-17 | 2022-05-24 | 杭州电子科技大学 | 基于层次残差自注意力神经网络的长期电力负荷预测方法 |
| CN114926712A (zh) * | 2022-06-08 | 2022-08-19 | 南京航空航天大学 | 一种用于自动驾驶的场景生成方法 |
| CN115344566A (zh) * | 2022-08-19 | 2022-11-15 | 国网安徽省电力有限公司电力科学研究院 | 基于小波分解和傅立叶变换的多能用量数据补全方法 |
| CN115564182A (zh) * | 2022-09-05 | 2023-01-03 | 国网安徽省电力有限公司信息通信分公司 | 一种基于电网资源业务中台的电网分析方法 |
| CN115688871A (zh) * | 2022-09-20 | 2023-02-03 | 中国科学院计算技术研究所 | 基于预训练增强的多元时间序列预测方法及系统 |
| CN115545325A (zh) * | 2022-10-19 | 2022-12-30 | 西南交通大学 | 一种基于无监督对比学习的电力变压器负荷预测方法及装置 |
| CN115630742A (zh) * | 2022-10-31 | 2023-01-20 | 山东大学 | 一种基于自监督预训练的天气预测方法及系统 |
| CN115758273A (zh) * | 2022-11-02 | 2023-03-07 | 网络通信与安全紫金山实验室 | 一种时序数据异常检测方法、装置、设备及介质 |
| CN115809725A (zh) * | 2022-11-18 | 2023-03-17 | 国网福建省电力有限公司经济技术研究院 | 一种多因素短期电量预测方法及装置 |
| CN115905823A (zh) * | 2022-11-18 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种时序数据异常检测的去噪方法及系统 |
| CN115829157A (zh) * | 2022-12-28 | 2023-03-21 | 淮阴工学院 | 基于变分模态分解和Autoformer模型的化工水质指标预测方法 |
| CN116028785A (zh) * | 2022-12-28 | 2023-04-28 | 国网智能电网研究院有限公司 | 电网时序数据特征提取模型的训练方法及装置 |
| CN116488874A (zh) * | 2023-04-07 | 2023-07-25 | 中国人民解放军国防科技大学 | 基于自监督掩码上下文重构的网络入侵检测方法和系统 |
| CN116522099A (zh) * | 2023-05-08 | 2023-08-01 | 国网智能电网研究院有限公司 | 时序数据自监督预训练模型、构建方法、设备及存储介质 |
| CN116579413A (zh) * | 2023-05-22 | 2023-08-11 | 国网智能电网研究院有限公司 | 时序数据预训练模型微调方法及装置、时序数据预测模型 |
Non-Patent Citations (5)
| Title |
|---|
| Kexin Zhang 等.Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects.《arxiv.org》.2023,第1-20页. * |
| Mingyue Cheng 等.TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders.《arxiv.org》.2023,第1-15页. * |
| Youngwan Lee 等.EXPLORING THE ROLE OF MEAN TEACHERS IN SELFSUPERVISED MASKED AUTO-ENCODERS.《arxiv.org》.2022,第1-21页. * |
| 方四安 等.基于自监督预训练模型的低资源语种类型识别.《信息技术与信息化》.2021,第162-166页. * |
| 杨建英 ; .基于自动分发多级分解TCN-BiLSTM-LightGBM家庭PV发电量预测.电子制作.2020,(第19期),第65+70-74页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116776228A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087258B (zh) | 一种基于深度学习的图像去雨方法及装置 | |
| CN101339628B (zh) | 一种具有重构操作的rna遗传算法的化工过程建模方法 | |
| CN105760961A (zh) | 光伏输出功率预测方法和系统 | |
| CN112489616A (zh) | 一种语音合成方法 | |
| CN101669819B (zh) | 基于pt变换与线性预测结合的心电图信号无损压缩方法 | |
| CN116776228B (zh) | 一种电网时序数据解耦自监督预训练方法与系统 | |
| CN114219027A (zh) | 一种基于离散小波变换的轻量级时间序列预测方法 | |
| Tang et al. | MTSMAE: masked autoencoders for multivariate time-series forecasting | |
| CN117033987A (zh) | 一种基于小波的风电场发电功率效率预测方法 | |
| CN116703003A (zh) | 一种居民用水量的预测方法 | |
| CN116796250A (zh) | 一种混叠无线信号智能识别与分离方法及系统 | |
| CN116383616A (zh) | 基于轨迹相似度和深度学习的轨迹gps坐标恢复方法及框架 | |
| CN115630726B (zh) | 基于vmd-bilstm神经网络融合注意力机制的屋顶光伏功率预测方法 | |
| CN116522099A (zh) | 时序数据自监督预训练模型、构建方法、设备及存储介质 | |
| CN116008729A (zh) | 电力故障诊断预警方法、装置、设备及存储介质 | |
| CN105427583A (zh) | 一种基于lzw编码的道路交通数据压缩方法 | |
| Chen et al. | Combining wavelet transform and Markov model to forecast traffic volume | |
| CN117421699B (zh) | 一种电能表故障融合预测方法及系统 | |
| CN117217260A (zh) | 基于残差分解循环神经网络的交通流量预测方法 | |
| Zhao et al. | Ultra-short Term Wind Power Forecast for Offshore Energy System Based on EEMD-TCN | |
| CN117190078B (zh) | 一种输氢管网监测数据异常检测方法及系统 | |
| Yong et al. | Prediction Model of Dissolved Gas in Transformer Oil Based on EMD and BiGRU | |
| Lin et al. | An LSTM and Encoder-Decoder-Based Approach for Runoff Prediction | |
| Wu et al. | Faulty line identification in AC-DC hybrid grids based on MTF and improved Resnet | |
| CN117390431A (zh) | 基于stl分解和vae-tcn网络模型的港口空气质量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |