CN118607871A - 能源数据处理方法、装置、计算机设备和存储介质 - Google Patents
能源数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN118607871A CN118607871A CN202410804175.1A CN202410804175A CN118607871A CN 118607871 A CN118607871 A CN 118607871A CN 202410804175 A CN202410804175 A CN 202410804175A CN 118607871 A CN118607871 A CN 118607871A
- Authority
- CN
- China
- Prior art keywords
- data
- energy data
- energy
- target
- denoised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 133
- 238000013441 quality evaluation Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000011157 data evaluation Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims description 45
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 description 46
- 238000004891 communication Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 9
- 239000013307 optical fiber Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000004146 energy storage Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000012043 cost effectiveness analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种能源数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:基于空分复用传输能源数据,得到原始能源数据;对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果;根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据;将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。采用本方法能够在提高能源数据处理效率的同时,还能利用目标调度信息提升对能源设备的调度效果,实现对能源设备的智能化管理。
Description
技术领域
本申请涉及大数据技术领域,特别是涉及一种能源数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
能源监测作为实现“节能减排”目标的有效技术,主要利用现代计算机、通信网络、实时数据库、数据分析等技术,为企业“水、电、气、热、风、油”等能源介质的生产、输配和消耗及供能、用能设备状态实施集中、扁平化的动态监控和数字化管理,提供了可靠的数据支撑。
然而,能源监测场景中涉及的能源数据往往数据规模较大,所以进行数据采集和数据处理时消耗的时间也较长,导致能源数据的处理效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高能源数据处理效率的能源数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种能源数据处理方法。所述方法包括:
基于空分复用传输能源数据,得到原始能源数据;
对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
在其中一个实施例中,基于空分复用传输源数据,得到原始能源数据,包括:
通过数据采集器获取传感器采集的能源设备的多个所述能源数据;
将所述数据采集器连接的传输介质的空间分割为多个空间信道;
从多个所述空间信道中,确定各所述能源数据所对应的目标空间信道,以通过所述目标空间信道对各所述能源数据进行空分复用传输;
在所述目标空间信道的接收端,对接收到的能源数据进行解复用处理,得到所述原始能源数据。
在其中一个实施例中,对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果,包括:
对所述原始能源数据依次进行校准处理和去噪处理,得到所述去噪后能源数据;
确定所述去噪后能源数据与所述原始能源数据之间的数据误差,以及所述去噪后能源数据与所述原始能源数据之间的信噪比变化量;
根据所述数据误差和所述信噪比变化量,得到所述去噪后能源数据的质量评估结果。
在其中一个实施例中,对所述原始能源数据依次进行校准处理和去噪处理,得到所述去噪后能源数据,包括:
根据所述原始能源数据的数据格式和数据范围,对所述原始能源数据进行校准处理,得到校准后能源数据;
根据所述校准后能源数据的噪声特征,对所述校准后能源数据进行滤波处理,得到所述去噪后能源数据。
在其中一个实施例中,将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息,包括:
通过训练后的所述能源调度处理模型,确定所述目标能源数据对应的多个初始调度信息以及各所述初始调度信息的适应度;所述适应度用于衡量各所述初始调度信息的优劣程度;
基于各所述适应度,从多个所述初始调度信息中筛选出候选调度信息;
对所述候选调度信息进行配对处理,并通过所述能源调度处理模型中的交叉算子对所述候选调度信息进行信息生成处理,得到处理后调度信息;
对所述处理后调度信息进行更新处理,得到更新后调度信息;
根据所述更新后调度信息,所述能源调度处理模型输出所述目标调度信息。
在其中一个实施例中,在得到目标能源数据之后,还包括:
获取所述目标能源数据对应的报警阈值;
若所述目标能源数据达到所述报警阈值,则执行预设的报警操作。
第二方面,本申请还提供了一种能源数据处理装置。所述装置包括:
数据获取模块,用于基于空分复用传输能源数据,得到原始能源数据;
数据评估模块,用于对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
数据去噪模块,用于根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
调度预测模块,用于将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
基于空分复用传输能源数据,得到原始能源数据;
对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
基于空分复用传输能源数据,得到原始能源数据;
对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
基于空分复用传输能源数据,得到原始能源数据;
对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
上述能源数据处理方法、装置、计算机设备、存储介质和计算机程序产品,基于空分复用传输能源数据,得到原始能源数据;对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果;根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据;将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。采用本方法,通过空分复用技术改进数据传输方式,显著加快了能源数据的传输速度,还通过去噪处理和数据质量评估处理,来提高目标能源数据的数据质量,从而提升能源调度处理模型输出的目标调度信息的准确性,在提高了能源数据处理效率的同时,还能利用目标调度信息提升对能源设备的调度效果,实现了对能源设备的智能化管理。
附图说明
图1为一个实施例中能源数据处理方法的应用环境图;
图2为一个实施例中能源数据处理方法的流程示意图;
图3为一个实施例中基于空分复用传输能源数据步骤的流程示意图;
图4为另一个实施例中能源数据处理方法的流程示意图;
图5为又一个实施例中能源数据处理方法的流程示意图;
图6为一个实施例中能源数据处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本申请实施例提供的能源数据处理方法,可以应用于如图1所示的应用环境中。其中,能源设备101与传感器102连接,能源设备101和传感器102分别通过传输介质与能源监测系统103连接。数据存储系统可以存储能源监测系统103需要处理的数据。数据存储系统可以集成在能源监测系统103上,也可以放在云上或其他网络服务器上。其中,能源设备101是指能源领域中产出能源的设备。传感器102用于采集能源设备的能源数据。能源监测系统103用于获取、监管、调度能源设备101的能源产出情况;能源监测系统103可以部署在终端(比如个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备等)或者服务器(比如云服务器、服务器集群等)上。能源监测系统103还可以连接控制器104,控制器104还与能源设备连接,使得能源监测系统103可以通过控制器104控制能源设备101。控制器104包括开关控制器、调节控制器等。
在一个实施例中,如图2所示,提供了一种能源数据处理方法,以该方法应用于图1中的能源监测系统为例进行说明,包括以下步骤:
步骤S201,基于空分复用传输能源数据,得到原始能源数据。
其中,能源数据是指通过监测能源设备的能源产出情况而采集到的数据。例如,能源数据包括电量、功率、电压、电流、设备的运行时间、开关状态、运行模式、运行时间、能耗、温度、湿度和光照等。原始能源数据是指能源数据经过传输和数据处理后得到的数据。
具体地,可以在能源设备上或者能源设备附近安装传感器,以通过传感器采集能源设备的多种能源数据;然后通过空分复用(Space Division Multiple,SDM)通信技术将传输信道划分为多个空间信道,以通过多个独立的空间信道来实现多设备之间的能源数据传输,从而提高了能源数据的传输容量和传输效率。为进一步提升数据传输效率和数据安全性,还可以先对能源数据依次进行加密处理和压缩处理,得到压缩后能源数据,再通过空分复用传输压缩后能源数据,相较于传输能源数据,传输压缩后能源数据能够减少网络带宽占用和数据存储空间,提升了数据传输效率;能源监测系统在接收到压缩后能源数据之后,还需对压缩后能源数据局进行解压处理和解密处理,进而能源监测系统得到原始能源数据。
步骤S202,对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果。
其中,质量评估结果用于衡量去噪后能源数据的数据质量。
具体地,能源监测系统使用设置完初始参数的滤波器,对原始能源数据进行去噪处理,以去除原始能源数据中的电气噪声、电磁干扰等噪声,得到去噪后能源数据。然后能源监测系统基于质量评估指标,对去噪后能源数据进行数据质量评估处理,最终得到去噪后能源数据的质量评估结果。
步骤S203,根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据。
具体地,能源监测系统基于质量评估结果,对上述步骤S202中的滤波器的滤波参数进行调整,得到调整后滤波器;使用调整后滤波器对去噪后能源数据再次进行去噪处理,得到处理后能源数据;对处理后能源数据进行数据质量评估处理,得到处理后能源数据的质量评估结果;若处理后能源数据的质量评估结果优于去噪后能源数据的质量评估结果,则将处理后能源数据设为目标能源数据;若处理后能源数据的质量评估结果劣于去噪后能源数据的质量评估结果,则跳转到对滤波器的滤波参数进行调整,得到调整后滤波器的步骤,以使用调整后滤波器对去噪后能源数据再次进行去噪处理,得到处理后能源数据,直到去噪处理的已执行轮数达到预设最大轮数、或者处理后能源数据的质量评估结果优于去噪后能源数据的质量评估结果时停止。最终,能源监测系统将处理得到的目标能源数据存储到关系型数据库或者数据仓库。
步骤S204,将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。
其中,能源调度处理模型用于推理、优化能源监测系统对能源设备的调度策略。目标调度信息是指描述能源设备资源的使用、存储、调度、规划等策略的信息。
具体地,能源监测系统使用机器学习算法,构建并训练得到能源调度处理模型;例如,能源调度处理模型可以是基于遗传算法构建得到的。能源监测系统将目标能源数据输入到训练后的能源调度处理模型中,以通过训练后的能源调度处理模型基于目标能源数据推理得到对能源设备的调度规划,进而训练后的能源调度处理模型输出目标能源数据的目标调度信息。能源监测系统还可以通过控制器,按照目标调度信息来控制能源设备的运行,实现了能源设备调度运行的自适应调节,有利于提高能源设备产出的能源的利用效率。
上述能源数据处理方法中,基于空分复用传输能源数据,得到原始能源数据;对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果;根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据;将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。采用本方法,通过空分复用技术改进数据传输方式,显著加快了能源数据的传输速度,还通过去噪处理和数据质量评估处理,来提高目标能源数据的数据质量,从而提升能源调度处理模型输出的目标调度信息的准确性,在提高了能源数据处理效率的同时,还能利用目标调度信息提升对能源设备的调度效果,实现了对能源设备的智能化管理。
在一个实施例中,如图3所示,上述步骤S201,基于空分复用传输能源数据,得到原始能源数据,具体包括如下内容:
步骤S301,通过数据采集器获取传感器采集的能源设备的多个能源数据。
具体地,能源监测系统使用传感器采集能源设备的多个能源数据,使用数据采集器接收传感器采集的数据。
步骤S302,将数据采集器连接的传输介质的空间分割为多个空间信道。
具体地,数据采集器可以通过无线传输技术或者光纤通信技术传输能源数据。若采用光纤通信,则可以在新能源发电站或者智能电网中部署多芯光纤或多模式光纤,以实现多个传感器、能源设备和能源监测系统之间的数据传输和通信;能源监测系统通过空分复用技术,将光纤的传输空间分割为多个相互独立的空间信道。
步骤S303,从多个空间信道中,确定各能源数据所对应的目标空间信道,以通过目标空间信道对各能源数据进行空分复用传输。
具体地,能源监测系统为各能源数据分配用于传输的空间信道,即确定各能源数据所对应的目标空间信道,以通过多个各目标控件信道同时发送各能源数据,不仅可以提高数据传输效率,还能减少数据的传输损耗、提高数据传输质量。
步骤S304,在目标空间信道的接收端,对接收到的能源数据进行解复用处理,得到原始能源数据。
其中,接收端是指能源监测系统用于接收能源数据的通信端口。
具体地,数据传输过程中会产生一些传输损耗,所以能源监测系统还在接收端对接收到的能源数据进行一些数据处理,以补偿传输过程的损耗,可以是通过光放大器对接收到的能源数据进行信号放大处理,得到放大后能源数据。由于多路传输会将能源数据混合在一起,所以能源监测系统还对放大后能源数据进行解复用处理,以将混合的能源数据分离(或者还原)为原始的独立数据,则能源监测系统处理得到原始能源数据。
本实施例中,通过数据采集器获取传感器采集的能源设备的多个能源数据,进而使用各能源数据所对应的目标空间信道对各能源数据进行空分复用传输,有效地提高了能源数据的数据传输效率;在目标空间信道的接收端,对接收到的能源数据进行解复用处理,有效地提高了还原得到的原始能源数据的数据质量。
在一个实施例中,上述步骤S202,对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果,具体包括如下内容:对原始能源数据依次进行校准处理和去噪处理,得到去噪后能源数据;确定去噪后能源数据与原始能源数据之间的数据误差,以及去噪后能源数据与原始能源数据之间的信噪比变化量;根据数据误差和信噪比变化量,得到去噪后能源数据的质量评估结果。
其中,信噪比变化量是指描述信噪比变化情况的度量指标。信噪比变化量包括信噪比提升量和信噪比降低量。
具体地,能源监测系统对原始能源数据进行数据校准处理,可以是校准数据格式、数据范围、数据完整性、数据逻辑性等,得到校准后能源数据;通过滤波器,对校准后能源数据进行滤波去噪,得到去噪后能源数据。进而能源监测系统计算去噪后能源数据与原始能源数据之间的数据误差,以及计算去噪后能源数据的第一信噪比,计算原始能源数据的第二信噪比,将第一信噪比与第二信噪比之间差值设为信噪比变化量。能源监测系统还可以计算去噪后能源数据的误差分布和滤波增益,进而根据数据误差、信噪比变化量、误差分布和滤波增益,来综合确定去噪后能源数据的质量评估结果,可以是分别确定数据误差、信噪比变化量、误差分布和滤波增益对应的权重,然后基于权重,对数据误差、信噪比变化量、误差分布和滤波增益进行加权求和,最终计算得到去噪后能源数据的质量评估结果。
其中,滤波增益用于评估滤波器对数据(比如原始能源数据)的滤波效果。滤波增益可以通过信噪比、均方误差、峰值信噪比、结构相似性指数等指标来实现。
在本实施例中,通过对原始能源数据进行校准处理,可以提升处理得到的校准后能源数据的数据质量,再通过去噪处理进一步提升得到去噪后能源数据的数据质量;进而根据数据误差和信噪比变化量,确定去噪后能源数据的质量评估结果,以分析去噪处理对校准后能源数据的增益情况,有助于提升数据质量,从而提高能源调度处理模型的调度分析效果。
在一个实施例中,对原始能源数据依次进行校准处理和去噪处理,得到去噪后能源数据,具体包括如下内容:根据原始能源数据的数据格式和数据范围,对原始能源数据进行校准处理,得到校准后能源数据;根据校准后能源数据的噪声特征,对校准后能源数据进行滤波处理,得到去噪后能源数据。
具体地,能源监测系统可以根据原始能源数据的数据格式,检测其是否符合指定的格式,日期格式、电话号码格式等;还可以根据原始能源数据的数据范围,检测其是否在指定的数据范围内;还可以检测原始能源数据在数据集中是否是唯一的,以校验其数据唯一性;还可以检测原始能源数据的完整性,比如检测是否存在缺失值、空值等;还可以检测原始能源数据的逻辑关系是否符合预期,比如开始日期应该早于结束日期等;还可以校验原始能源数据的数据合法性,也就是检测其是否符合相关法律法规和业务规定,比如检测其是否符合隐私保护法规、财务规定等。还可以校验原始能源数据的一致性,也就是检测原始能源数据在不同系统或数据表中的关联字段是否一致。最终,能源监测系统处理得到校准后能源数据。
进一步地,能源监测系统计算校准后能源数据的功率谱密度,将功率谱密度设为校准后能源数据的噪声特征;然后根据噪声特征,设置滤波器的初始参数,得到设置后的滤波器;使用设置后的滤波器对校准后能源数据进行滤波处理,得到去噪后能源数据。
在本实施例中,根据原始能源数据的数据格式和数据范围,对原始能源数据进行校准处理,以提升处理得到的校准后能源数据的数据质量;根据校准后能源数据的噪声特征,对校准后能源数据进行滤波处理,可以去除数据中的噪声信号,大大提高了得到的去噪后能源数据的数据质量。
在一个实施例中,上述步骤S204,将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息,具体包括如下内容:通过训练后的能源调度处理模型,确定目标能源数据对应的多个初始调度信息以及各初始调度信息的适应度;适应度用于衡量各初始调度信息的优劣程度;基于各适应度,从多个初始调度信息中筛选出候选调度信息;对候选调度信息进行配对处理,并通过能源调度处理模型中的交叉算子对候选调度信息进行信息生成处理,得到处理后调度信息;对处理后调度信息进行更新处理,得到更新后调度信息;根据更新后调度信息,能源调度处理模型输出目标调度信息。
具体地,能源监测模型预先设置训练后的能源调度处理模型的进化代数计数器的参数,即设置的最大进化代数;然后通过训练后的能源调度处理模型,基于目标能源数据随机生成能源设备的多个调度信息,并设为初始调度信息;训练后的能源调度处理模型基于各初始调度信息优劣程度。计算各初始调度信息的适应度;从初始调度信息中,筛选出适应度相对较高的多个初始调度信息并设为候选调度信息;对候选调度信息进行配对处理,得到配对后调度信息,然后通过能源调度处理模型中的交叉算子对配对后调度信息进行信息生成处理,以生成新的调度信息,将新生成的调度信息设为处理后调度信息;对处理后调度信息中的局部调度信息进行随机调整,以增强调度信息的多样性,从而处理得到更新后调度信息,进化代数加一;若当前进化代数达到最大进化代数,或者满足其他的终止条件,则从更新后调度信息中选择最优解输出,并将输出结果设为目标调度信息。
在实际运用中,目标调度信息主要实现以下几个方面:
(1)发电调节:根据风力、太阳能等实时产量方面的能源数据,调节发电量,以适应电网需求。调节参数包括:新能源发电量、电网负荷需求、储能状态、预测数据等。
(2)储能管理:根据电网负荷变化和新能源发电等能源数据,智能调度能源设备的充放电操作。调节参数包括:储能容量、充放电效率、电网需求预测、电价信息等。
(3)电网优化配置:通过目标调度信息,优化电网中的电力流向,提高输电效率,减少损耗。调节参数包括:输电线路容量、线路损耗、节点电压、电力流向等。
(4)需求侧管理:调节用户侧的电力需求,如调整工业负荷或激励家庭用户改变用电模式。调节参数包括:用户用电数据、需求响应能力、电价信号、激励机制等。
(5)电力市场交易:优化电力购买和销售策略。调节参数包括:市场价格、交易规则、预测算法、成本效益分析等。
(6)故障检测与恢复:根据目标调度信息对故障的能源设备执行恢复操作。调节参数包括:故障类型、影响范围、备用方案、恢复优先级等。
(7)预测与模拟:基于当前目标调度信息预测电网在未来时间段的运行状态,并模拟未来时间段下不同的调节策略。调节参数包括:历史运行数据、气象条件、算法模型、模拟结果等。
(8)通信与协调:调节电网中的各个控制单元和设备的通信参数,以确保通信顺畅。调节参数包括:通信协议、数据同步、控制信号、响应时间等。
在本实施例中,通过训练后的能源调度处理模型从目标能源数据中挖掘出能源设备的潜在运行规律,为迭代优化能源设备的调度信息提供了可靠的处理依靠,最终输出得到能源设备的目标调度信息,实现了能源设备调度运行的自适应调节,有利于提高能源设备产出的能源的利用效率。
在一个实施例中,在上述步骤S203,得到目标能源数据之后,还包括:获取目标能源数据对应的报警阈值;若目标能源数据达到报警阈值,则执行预设的报警操作。
具体地,能源监测系统在得到目标能源数据之后,还可以获取目标能源数据对应的报警阈值;若目标能源数据达到报警阈值,则执行预设的报警操作。其中,报警阈值可以是多方面的,比如能耗方面的报警阈值,设备故障方面的报警阈值。还可以根据目标能源数据的数据异常等级,设定不同的报警级别,以便及时采取相应的应对措施。报警操作,可以是声音报警、短信通知、邮件提醒等,确保相关人员能够及时收到报警信息。能源监测系统还可以设定报警信息的接收人员,包括责任人员、管理人员等,确保相关人员能够及时响应并处理报警信息。能源监测系统还可以针对报警操作,设置更详细的操作处理流程,包括报警信息的确认、处理和反馈,确保异常情况得到及时处理和跟踪。
进一步地,为了方便相关人员查看和分析目标能源数据,还可以对目标能源数据进行曲线图、柱状图、表格等多种形式的可视化展示;自定义报表的格式和模板,将目标能源数据导入到报表模板中,以形成报表数据,报表数据可导出为Excel或其他格式,以便进一步处理和分析;还可以将报表数据与历史的目标能源数据进行对比和分析。
在本实施例中,通过目标能源数据的报警阈值和可视化处理,可以在能源设备发生异常时及时发出警报并采取相应措施,提高了能源设备的运行安全性。
在一个实施例中,如图4所示,提供了另一种能源数据处理方法,以该方法应用于图1中的能源监测系统为例进行说明,包括以下步骤:
步骤S401,通过数据采集器获取传感器采集的能源设备的多个能源数据。
步骤S402,将数据采集器连接的传输介质的空间分割为多个空间信道。
步骤S403,从多个空间信道中,确定各能源数据所对应的目标空间信道,以通过目标空间信道对各能源数据进行空分复用传输。
步骤S404,在目标空间信道的接收端,对接收到的能源数据进行解复用处理,得到原始能源数据。
步骤S405,对原始能源数据依次进行校准处理和去噪处理,得到去噪后能源数据。
步骤S406,确定去噪后能源数据与原始能源数据之间的数据误差,以及去噪后能源数据与原始能源数据之间的信噪比变化量。
步骤S407,根据数据误差和信噪比变化量,得到去噪后能源数据的质量评估结果。
步骤S408,根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据。
步骤S409,将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。
上述能源数据处理方法,能够实现以下有益效果:通过空分复用技术改进数据传输方式,显著加快了能源数据的传输速度,还通过去噪处理和数据质量评估处理,来提高目标能源数据的数据质量,从而提升能源调度处理模型输出的目标调度信息的准确性,在提高了能源数据处理效率的同时,还能利用目标调度信息提升对能源设备的调度效果,实现了对能源设备的智能化管理。
为了更清晰阐明本公开实施例提供的能源数据处理方法,以下以一个具体的实施例对上述能源数据处理方法进行具体说明。如图5所示,提供了又一种能源数据处理方法,可以应用于图1中的能源监测系统,具体包括如下内容:
(1)数据采集:对能源设备的能源数据进行准确、全面的采集。
(2)数据传输:通过在新能源发电站或智能电网中部署多芯光纤或多模式光纤,利用空分复用技术在光纤通信系统中实现能源数据的传输。
(3)数据处理:对接收到的能源数据进行校准和滤波处理。
(4)数据存储:将步骤(3)得到的能源数据存储到关系型数据库或数据仓库。
(5)数据分析:通过遗传算法,对步骤(3)得到的能源数据进行数据分析,以优化能源设备的存储管理、能源网络规划和控制策略。
(6)数据监测与报警机制:实时监测步骤(3)得到的能源数据是否超过报警阈值,若超过,则按照预设的报警方式执行相应的报警动作。
(7)报表数据、数据展示:将步骤(3)得到的能源数据转换为报表数据,以及进行数据可视化处理,以方便用户查看和分析。
在本实施例中,通过空分复用技术改进数据传输方式,显著加快了能源数据的传输速度,还通过去噪处理和数据质量评估处理,来提高目标能源数据的数据质量,从而提升能源调度处理模型输出的目标调度信息的准确性,在提高了能源数据处理效率的同时,还能利用目标调度信息提升对能源设备的调度效果,实现了对能源设备的智能化管理。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的能源数据处理方法的能源数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个能源数据处理装置实施例中的具体限定可以参见上文中对于能源数据处理方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种能源数据处理装置600,包括:数据获取模块601、数据评估模块602、数据去噪模块603和调度预测模块604,其中:
数据获取模块601,用于基于空分复用传输能源数据,得到原始能源数据。
数据评估模块602,用于对原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及去噪后能源数据的质量评估结果。
数据去噪模块603,用于根据质量评估结果,对去噪后能源数据再次进行去噪处理,得到目标能源数据。
调度预测模块604,用于将目标能源数据,输入至训练后的能源调度处理模型中,得到目标能源数据的目标调度信息。
在一个实施例中,数据获取模块601,还用于通过数据采集器获取传感器采集的能源设备的多个能源数据;将数据采集器连接的传输介质的空间分割为多个空间信道;从多个空间信道中,确定各能源数据所对应的目标空间信道,以通过目标空间信道对各能源数据进行空分复用传输;在目标空间信道的接收端,对接收到的能源数据进行解复用处理,得到原始能源数据。
在一个实施例中,数据评估模块602,还用于对原始能源数据依次进行校准处理和去噪处理,得到去噪后能源数据;确定去噪后能源数据与原始能源数据之间的数据误差,以及去噪后能源数据与原始能源数据之间的信噪比变化量;根据数据误差和信噪比变化量,得到去噪后能源数据的质量评估结果。
在一个实施例中,能源数据处理装置600还包括数据校准模块,用于根据原始能源数据的数据格式和数据范围,对原始能源数据进行校准处理,得到校准后能源数据;根据校准后能源数据的噪声特征,对校准后能源数据进行滤波处理,得到去噪后能源数据。
在一个实施例中,调度预测模块604,用于通过训练后的能源调度处理模型,确定目标能源数据对应的多个初始调度信息以及各初始调度信息的适应度;适应度用于衡量各初始调度信息的优劣程度;基于各适应度,从多个初始调度信息中筛选出候选调度信息;对候选调度信息进行配对处理,并通过能源调度处理模型中的交叉算子对候选调度信息进行信息生成处理,得到处理后调度信息;对处理后调度信息进行更新处理,得到更新后调度信息;根据更新后调度信息,能源调度处理模型输出目标调度信息。
在一个实施例中,能源数据处理装置600还包括报警处理模块,用于获取目标能源数据对应的报警阈值;若目标能源数据达到报警阈值,则执行预设的报警操作。
上述能源数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,终端上搭载有能源检测系统,终端的内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种能源数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种能源数据处理方法,其特征在于,所述方法包括:
基于空分复用传输能源数据,得到原始能源数据;
对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
2.根据权利要求1所述的方法,其特征在于,所述基于空分复用传输源数据,得到原始能源数据,包括:
通过数据采集器获取传感器采集的能源设备的多个所述能源数据;
将所述数据采集器连接的传输介质的空间分割为多个空间信道;
从多个所述空间信道中,确定各所述能源数据所对应的目标空间信道,以通过所述目标空间信道对各所述能源数据进行空分复用传输;
在所述目标空间信道的接收端,对接收到的能源数据进行解复用处理,得到所述原始能源数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果,包括:
对所述原始能源数据依次进行校准处理和去噪处理,得到所述去噪后能源数据;
确定所述去噪后能源数据与所述原始能源数据之间的数据误差,以及所述去噪后能源数据与所述原始能源数据之间的信噪比变化量;
根据所述数据误差和所述信噪比变化量,得到所述去噪后能源数据的质量评估结果。
4.根据权利要求3所述的方法,其特征在于,所述对所述原始能源数据依次进行校准处理和去噪处理,得到所述去噪后能源数据,包括:
根据所述原始能源数据的数据格式和数据范围,对所述原始能源数据进行校准处理,得到校准后能源数据;
根据所述校准后能源数据的噪声特征,对所述校准后能源数据进行滤波处理,得到所述去噪后能源数据。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息,包括:
通过训练后的所述能源调度处理模型,确定所述目标能源数据对应的多个初始调度信息以及各所述初始调度信息的适应度;所述适应度用于衡量各所述初始调度信息的优劣程度;
基于各所述适应度,从多个所述初始调度信息中筛选出候选调度信息;
对所述候选调度信息进行配对处理,并通过所述能源调度处理模型中的交叉算子对所述候选调度信息进行信息生成处理,得到处理后调度信息;
对所述处理后调度信息进行更新处理,得到更新后调度信息;
根据所述更新后调度信息,所述能源调度处理模型输出所述目标调度信息。
6.根据权利要求1所述的方法,其特征在于,在得到目标能源数据之后,还包括:
获取所述目标能源数据对应的报警阈值;
若所述目标能源数据达到所述报警阈值,则执行预设的报警操作。
7.一种能源数据处理装置,其特征在于,所述装置包括:
数据获取模块,用于基于空分复用传输能源数据,得到原始能源数据;
数据评估模块,用于对所述原始能源数据依次进行去噪处理和数据质量评估处理,得到去噪后能源数据以及所述去噪后能源数据的质量评估结果;
数据去噪模块,用于根据所述质量评估结果,对所述去噪后能源数据再次进行去噪处理,得到目标能源数据;
调度预测模块,用于将所述目标能源数据,输入至训练后的能源调度处理模型中,得到所述目标能源数据的目标调度信息。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410804175.1A CN118607871A (zh) | 2024-06-20 | 2024-06-20 | 能源数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410804175.1A CN118607871A (zh) | 2024-06-20 | 2024-06-20 | 能源数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118607871A true CN118607871A (zh) | 2024-09-06 |
Family
ID=92551676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410804175.1A Pending CN118607871A (zh) | 2024-06-20 | 2024-06-20 | 能源数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118607871A (zh) |
-
2024
- 2024-06-20 CN CN202410804175.1A patent/CN118607871A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11544632B2 (en) | Non-intrusive load monitoring using ensemble machine learning techniques | |
US20210158150A1 (en) | Non-Intrusive Load Monitoring Using Machine Learning | |
CN113486584B (zh) | 设备故障的预测方法、装置、计算机设备及计算机可读存储介质 | |
WO2021108011A1 (en) | Non-intrusive load monitoring using machine learning and processed training data | |
Zafar et al. | Step towards secure and reliable smart grids in Industry 5.0: A federated learning assisted hybrid deep learning model for electricity theft detection using smart meters | |
CN115629576B (zh) | 非侵入式柔性负荷聚合特性辨识与优化方法、装置及设备 | |
CN118607871A (zh) | 能源数据处理方法、装置、计算机设备和存储介质 | |
CN117041212A (zh) | 编址处理方法及装置、电池管理系统、设备和存储介质 | |
US11854054B2 (en) | Adaptive energy storage operating system for multiple economic services | |
US20220414446A1 (en) | Trained Models for Discovering Target Device Presence | |
CN115269176A (zh) | 任务分配方法、装置、计算机设备、存储介质和产品 | |
CN114236458A (zh) | 基于测试数据流的双芯智能电表故障定位方法和装置 | |
KR20220117432A (ko) | 전력 계통 클러스터링 방법 및 장치 | |
CN117996947A (zh) | 配电方法、装置和计算机设备 | |
CN116797029B (zh) | 一种idi全生命周期风险数字化管理方法、系统 | |
US20240054322A1 (en) | Targeted Energy Usage Device Presence Detection Using Multiple Trained Machine Learning Models | |
CN115580493B (zh) | 电力数据分类加密传输方法、装置和计算机设备 | |
CN117834455B (zh) | 一种电力物联网数据传输仿真方法和系统 | |
CN117726038B (zh) | 空间复合高温干旱事件的监测方法、装置和计算机设备 | |
CN112100785B (zh) | 配电网智能终端布局方法、系统、介质及计算机设备 | |
CN118740689A (zh) | 网络异常检测方法、装置、计算机设备和存储介质 | |
CN117371781A (zh) | 一种配电网可靠性评估方法和系统 | |
CN116667377A (zh) | 多能源电力系统振荡稳定性评估方法、装置、设备和介质 | |
CN116993006A (zh) | 用电数据处理方法、装置、计算机设备和存储介质 | |
CN117094504A (zh) | 资源配置方法、装置、计算机设备、介质和计算机产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |