CN115834720A - 一种用于光伏通讯数据的数据压缩方法 - Google Patents
一种用于光伏通讯数据的数据压缩方法 Download PDFInfo
- Publication number
- CN115834720A CN115834720A CN202211101293.3A CN202211101293A CN115834720A CN 115834720 A CN115834720 A CN 115834720A CN 202211101293 A CN202211101293 A CN 202211101293A CN 115834720 A CN115834720 A CN 115834720A
- Authority
- CN
- China
- Prior art keywords
- data
- communication
- acquisition
- characteristic
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种用于光伏通讯数据的数据压缩方法,通过这样设置,使每个采集端根据不同的前采数据情况、环境情况以及采集端本身的固有情况进行分析,同时在本地配置压缩算法库,使得本地具备所有压缩算法的组合,然后通过特征分析、索引,确定最优的压缩算法的策略组合并执行,这样可以针对光伏设备的特殊性,对于不同时段、不同类型的数据通过不同的压缩方式进行处理,且能够对压缩方式进行动态调节匹配,减少了数据冗余,且符合屋顶光伏数据的采集端数量多且数据类型复杂的特点。
Description
技术领域
本发明涉及电网数据管理领域,更具体地说,涉及一种用于光伏通讯数据的数据压缩方法。
背景技术
目前,电网数据管理已经从数据统计时代变化为数据分析时代,而相应的,对整个电网数据系统提出了更高的需求,电网数据系统不仅对数据进行采集、统计,更要兼具分析、安全的功能,而因此,所需的数据量和采集频次也相应增加,而数据量和采集频次的增加导致通讯负荷变大,所以本发明人提出了公告号为CN 110995396 B的基于层级结构的用电信息采集系统通信报文的压缩方法,通过用电协议数据进行拆分并分别处理,通过多种算法对数据压缩,以减小数据冗余,而这种算法虽然减少了数据冗余,但是这种算法更多针对同类型的采集端以及对采集时段不具备特殊的敏感性;
但是随着低碳技术的发展和普及,越来越多的建筑使用了屋顶光伏板作为辅助电源,而这样一来就产生了两个需求,因为不同位置对于光伏板数据监控功能要求不同,所以采集设备的类型有可能存在区别,且相比于仅仅监控用电量的智能电表而言,屋顶光伏数据同时兼具发电功能,采集数据更加复杂,数据量更高,另一方面,由于屋顶光伏的工作本身具有周期性,所以产生的数据同样具备周期性,根据不同时段产生的数据密度、数据冗余可能存在不同,而上述发明对应屋顶光伏系统对减小数据冗余的效果不高。
发明内容
有鉴于此,本发明目的是提供一种用于光伏通讯数据的数据压缩方法。
为了解决上述技术问题,本发明的技术方案是:一种用于光伏通讯数据的数据压缩方法:
步骤A1、采集端生成前传数据并发送至接收端;
步骤A2、接收端根据采集端编码从预设的特征数据库中提取对应采集端的采集特征;
步骤A3、接收端根据所述前传数据并生成前传特征;
步骤A4、接收端获取环境特征,并根据采集特征、环境特征以及前传特征生成索引数据,所述的环境特征包括时段数据项以及有效日照数据项,所述时段数据项反映当前时段,所述有效日照数据项反映当前日照情况;
步骤A5、接收端根据索引数据在预设的指令数据库确定数据压缩指令,并将所述数据压缩指令发送至采集端;
步骤A6、采集端配置有预设的策略数据库,所述策略数据库存储有若干数据压缩策略,每一数据压缩策略包括若干数据压缩条件以及对应每一数据压缩条件下的数据压缩算法,每一数据压缩策略与对应数据压缩指令对应,所述采集端根据数据压缩指令从所述策略数据库中调取对应的数据压缩策略;
步骤A7、所述采集端通过对应的数据压缩策略压缩产生的用电协议数据并发送至接收端。
进一步的,步骤A1中,所述采集端配置有基准压缩策略,所述前传数据通过基准压缩策略压缩用电协议数据生成,所述基准压缩策略包括
步骤B1、将采集到的用电协议数据拆分成控制型数据和数值型数据,且对所述数值型数据进行解析分类得到原始电压数据、原始电流数据、原始电能及费率数据和原始功率数据;
步骤B2、利用差分编码数据压缩算法对原始电能及费率数据进行压缩处理,得到第一压缩数据,且利用原始电压数据和原始电流数据训练得到自编码神经网络模型;
步骤B3、进入第二层数据架构,利用已训练好的自编码神经网络模型对原始电压数据和原始电流数据进行处理,得到第二压缩数据和数据异常位置;
步骤B4、根据所述第一压缩数据、第二压缩数据以及数据异常位置进行数据修正,得到第三压缩数据;
步骤B5、进入第三层数据架构,将所述第三压缩数据、所述原始功率数据以及所述控制型数据按协议中原有的时间戳重新排列得到待压缩数据,利用无损压缩算法进行压缩处理从而得到前传数据。
进一步的,所述步骤A2中,所述采集特征包括通讯特征项,所述通讯特征项反映采集端和接收端之间的通讯负荷;
所述接收端配置有通讯负荷分析器以及通讯负荷分类器,所述通讯负荷分析器获取对应采集端的通讯负荷信息,并根据通讯负荷信息计算通讯失真率以及有效通讯率,所述通讯失真率反映历史数据中该采集端的通讯错误情况,所述有效通讯率反映该采集端的通讯效率;所述通讯负荷分类器配置有预设的通讯分类条件,预设的通讯分类条件以通讯失真率和有效通讯率为依据对所有采集端进行分类并获得若干通讯分类组,为同一通讯分类数组的采集端对应的通讯特征项赋予相同的值。
进一步的,所述采集特征还包括位姿特征项,所述位置特征项反映采集端的位置分布以及受光姿态;
所述接收端配置有位姿分类器,所述位姿分类器根据采集端于通讯网络中的节点位置构建若干位姿分类组,获取预设时段内的每一采集端的发电量数据波形特征,并根据发电量特征波形计算每一位姿分类组的发电量基准波形,并配置有上限离散值、下限离散值、基准偏差值,当任一位姿分类组的发电量特征波形相对于发电量基准波形的离散度高于上限离散值时,将该位姿分类组拆分;当任意两个位姿分类组的发电量特征波形相对于发电量基准波形的离散程度均低于下限离散值且发电量基准波形之间的偏差小于基准偏差值时,将对应的两个位姿分类组重组,直至不再触发拆分和重组位姿分类组的情形;为同一位姿分类组的采集端对应的位姿特征项赋予相同的值。
进一步的,所述采集特征还包括类型特征项,所述类型特征项反映采集端的数据类型;
所述接收端配置有类型特征分类表,所述类型特征分类表存储有不同数据类型对应的特征值,所述接收端根据采集端预先输入的数据类型为采集端赋予对应的特征值。
进一步的,步骤A3中,前传特征包括用电数据项以及发电数据项,所述用电数据项反映采集端对应用户的用电状态,所述发电数据项反映采集端对应用户的发电状态。
进一步的,所述索引数据包括有若干索引子特征,所述索引子特征对应于采集特征、环境特征以及前传特征生成;
每一所述数据压缩指令对应每一索引子特征配置有特征关联值,所述接收端根据索引数据计算每一数据压缩指令的特征关联总值,并选取特征关联总值最高的数据压缩指令发送至所述采集端。
进一步的,步骤A7中还包括,所述采集端配置有压缩分析策略,所述压缩分析策略包括
步骤C1、获取预设时间段内的压缩结果并计算对应的平均压缩比例;
步骤C2、当平均压缩比例超过上限触发值时,减小对应的数据压缩指令和对应的每一索引子特征的特征关联值;当平均压缩比例低于下限触发值时,增加对应的数据压缩指令和对应的每一索引子特征的特征关联值;
步骤C3、存储对应的调整量作为历史信息。
进一步的,所述接收端配置有关联值调整式,当需要增加或减小某一索引子特征的特征关联值时,通过关联值调整式计算调整量
其中,a1为该索引特征值的调整量,β1为预设的基数权重参数,β2为预设的历史权重参数,β3为预设的特性权重参数,有β1+β2+β3=1,gk为第k次调整该索引子特征对应的调整量,tk为第k次调整该索引子特征与当前时刻的间隔时间,G为该索引子特征对应的基准稳定参数,每一索引子特征对应的基准稳定参数预先被配置于接收端。
进一步的,所述采集端还配置有加密数据库,所述加密数据库配置有对应若干数据加密算法,所述数据加密算法与数据压缩算法配置有关联关系,当采集端执行一数据压缩算法且满足所述关联关系时,对对应的用电协议数据执行数据加密算法。
本发明技术效果主要体现在以下方面:通过这样设置,使每个采集端根据不同的前采数据情况、环境情况以及采集端本身的固有情况进行分析,同时在本地配置压缩算法库,使得本地具备所有压缩算法的组合,然后通过特征分析、索引,确定最优的压缩算法的策略组合并执行,这样可以针对光伏设备的特殊性,对于不同时段、不同类型的数据通过不同的压缩方式进行处理,且能够对压缩方式进行动态调节匹配,减少了数据冗余,且符合屋顶光伏数据的采集端数量多且数据类型复杂的特点。
附图说明
图1:本发明现有技术中数据报文传输格式示意图;
图2:本发明数据压缩指令和特征关联值的特征关联值示意图;
图3:本发明用于光伏通讯数据的数据压缩方法的步骤流程图。
图4:本发明用于光伏通讯数据的数据压缩方法的架构原理图。
具体实施方式
以下结合附图,对本发明的具体实施方式作进一步详述,以使本发明技术方案更易于理解和掌握。
首先为了清楚了解本发明的技术意图,首先对目前用电信息数据采集方法进行简述,参照图1所示,为现有技术中固定协议下的通讯数据格式,而用于屋顶光伏数据一般而言在用户数据区的数据长度相对较长,同时采集频次较高且采集周期不规律,另一方面不同的屋顶光伏数据采集设备可能的数据量不同,用户数据在报文中的位置也就可能出现不同,且可能随着具体传输内容的不同,出现变化,例如某报文反映用电情况或者某报文反映光伏板发电情况,都可能出现不同。而如果采用静态的、唯一的压缩策略,则可能导致压缩效果不明显,数据冗余仍然较大。所以基于上述理由,本发明设计
一种用于光伏通讯数据的数据压缩方法,
步骤A1、采集端生成前传数据并发送至接收端;第一步是采集前传数据,前传数据即采集端在一个上传任务下上传的第一组报文,对前传数据处理如下:
步骤A1中,所述采集端配置有基准压缩策略,所述前传数据通过基准压缩策略压缩用电协议数据生成,基准压缩策略本发明人申请的专利CN110995396B的具体步骤相同,所述基准压缩策略包括
步骤B1、将采集到的用电协议数据拆分成控制型数据和数值型数据,且对所述数值型数据进行解析分类得到原始电压数据、原始电流数据、原始电能及费率数据和原始功率数据;
步骤B2、利用差分编码数据压缩算法对原始电能及费率数据进行压缩处理,得到第一压缩数据,且利用原始电压数据和原始电流数据训练得到自编码神经网络模型;
步骤B3、进入第二层数据架构,利用已训练好的自编码神经网络模型对原始电压数据和原始电流数据进行处理,得到第二压缩数据和数据异常位置;
步骤B4、根据所述第一压缩数据、第二压缩数据以及数据异常位置进行数据修正,得到第三压缩数据;
步骤B5、进入第三层数据架构,将所述第三压缩数据、所述原始功率数据以及所述控制型数据按协议中原有的时间戳重新排列得到待压缩数据,利用无损压缩算法进行压缩处理从而得到前传数据。而需要说明的是,基准压缩策略执行屋顶光伏数据采集端的采集的数据区别在于,原始电压数据、原始电流数据、原始电能、费率数据以及原始功率数据都可能包括多类型,例如原始电压数据包括发电电压和用电电压两个部分,而处理方式不做变化,而需要说明的是,利用基准压缩策略进行数据压缩的优势是接收端可以快速识别电压、电流、电能、费率、功率等信息,而采集端可以确定对应信息在报文中的具体位置,就可以配合对应的数据压缩策略完成数据压缩。
步骤A2、接收端根据采集端编码从预设的特征数据库中提取对应采集端的采集特征;这一步骤的目的是将数据格式不同,数据内容不同的采集端的情况进行量化,从而使预设的数据压缩策略可以进行匹配,具体方案如下:
所述步骤A2中,所述采集特征包括通讯特征项,所述通讯特征项反映采集端和接收端之间的通讯负荷;
所述接收端配置有通讯负荷分析器以及通讯负荷分类器,所述通讯负荷分析器获取对应采集端的通讯负荷信息,并根据通讯负荷信息计算通讯失真率以及有效通讯率,所述通讯失真率反映历史数据中该采集端的通讯错误情况,所述有效通讯率反映该采集端的通讯效率;所述通讯负荷分类器配置有预设的通讯分类条件,预设的通讯分类条件以通讯失真率和有效通讯率为依据对所有采集端进行分类并获得若干通讯分类组,为同一通讯分类数组的采集端对应的通讯特征项赋予相同的值。通讯特征是反映采集端情况的一个重要特征,由于通讯硬件的不同,通讯效率和通讯丢包或者数据丢失的情况时有发生,而首先对历史中数据重传、丢包、数据错误等日志进行调取,对通讯错误情况不同类型赋予不同的权重,然后对历史数据进行计次加权可以获得该通讯错误程度,同时考虑时间因素,时间具体越长的数据,可靠性就越低,就有S=c1/t1+c2/t2+Kcn/tn,其中S为通讯失真率,cn为第n次通讯错误的错误类型对应的权重参数,tn为第n次通讯错误的间隔时间,这些反应该采集端对应的通讯的可靠性,另一方面,对历史数据的传输速度,进行调取,反应该采集端通讯的效率有V=χ1P1/T1+χ2P2/T2+KχnPn/Tn,V为为有效通讯率,χn为第n次数据传输对应的可靠性权重,可靠性权重和数据传输与当前时间的间隔时间负相关,与传输时数据类型对应的可靠值正相关,数据类型对应的可靠值是接收端根据数据类型提前赋予,且有χ1+χ2+Kχn=1,Pn为第n次数据传输的数据量,Tn为第n次数据传输的数据长度。而n可以预先定义,也可以取所有数,本发明中优选的定义通讯错误的取数最大值n为5,定义通讯效率取数最大值n为10,也就是通讯错误历史数据选取5次计算通讯失真率,通讯次数选取10次计算有效通讯率。而计算得到两个值后,通过通讯负荷分类器进行聚类分析,通讯负荷分类器可以采用k-mean分类器进行分类,通讯分类条件为将簇数目配置为预设值,该预设值优选为采集端总数的20分之1或50分之一,每一簇都具有对应不同的赋值。
所述采集特征还包括位姿特征项,所述位置特征项反映采集端的位置分布以及受光姿态;由于屋顶光伏数据分为几种情况,1、未受光照,但存在用电情形。2、未受光照但不存在用电情形;3、受光照,存在用电情形,且发电量刚好可以作用用电量使用;4、受光照,存在用电情形,但是发电量不足,需要市电支持。5、受光照,存在用电情形,发电量多于用电量,向市电馈电;6、受光照,不存在用电情形,向市电馈电。例如1,发电相关的数据冗余较多,用电相关的数据冗余较少。2、发电相关和用电相关的数据冗余都较大;3、电费计量相关的数据冗余较大。4、相对而言数据冗余都较少,但是发电相关和用电相关之间产生的数据冗余较大;5、相对而言数据冗余都较少,但是发电相关和用电相关之间产生的数据冗余较大;6、用电相关的数据冗余较大。所以由此可知,在不同的受光条件下,不同的用电时段,产生的数据冗余也有所不同。
因此,本发明涉及所述接收端配置有位姿分类器,所述位姿分类器根据采集端于通讯网络中的节点位置构建若干位姿分类组,获取预设时段内的每一采集端的发电量数据波形特征,并根据发电量特征波形计算每一位姿分类组的发电量基准波形,并配置有上限离散值、下限离散值、基准偏差值,当任一位姿分类组的发电量特征波形相对于发电量基准波形的离散度高于上限离散值时,将该位姿分类组拆分;当任意两个位姿分类组的发电量特征波形相对于发电量基准波形的离散程度均低于下限离散值且发电量基准波形之间的偏差小于基准偏差值时,将对应的两个位姿分类组重组,直至不再触发拆分和重组位姿分类组的情形;为同一位姿分类组的采集端对应的位姿特征项赋予相同的值。首先通过对用电量数据的波形特征采集,判断出每个时段内的受光情况,也就是判断太阳能光伏板是否处于工作状态以及工作的饱和度,根据物理位置关系预先进行划分,将相近位置关系的采集端划分到一个分类组,但是由于光伏板安装朝向可能不同,所以即使两个采集端的物理位置很接近,但是也有可能出现不同的情况,所以通过不断的计算每个位姿分类组的发电量基准波形,从而判断每个分组组内的离散情况,具体方式是计算两个波形的差值面积积分,理论上而言,一组的波形越多,其离散度就越高,如果离散度较高,则将该组拆分成两个新组,再次统计离散度,拆分标准也是以某一节点被拆分形成的新租的采集端的数量相近为要求,划分依据是某一时刻的发电量低于基准的一组,高于基准的一组。而离散度较低的组,还可以和其他组进行重组合并,基本要求是两组的基准波形的偏差非常小,且合并后,离散总值仍然不会被拆分,所以通过不断迭代,就可能完成采集端根据位姿关系的分组。就能相对准确的反映采集端的受光情况。而随着时间的变化如果需要重新分组,因为是基于发电量进行的分组,所以如果组内的采集端发电量波形相同,对应不同的时间,其产生的发电效果也会相近。所以分组完成后,后续仅需要进行微调,不会出现大量的数据变化。
所述采集特征还包括类型特征项,所述类型特征项反映采集端的数据类型;
所述接收端配置有类型特征分类表,所述类型特征分类表存储有不同数据类型对应的特征值,所述接收端根据采集端预先输入的数据类型为采集端赋予对应的特征值。类型特征项反映采集端的类型,可以预先输入采集端的型号、用户用电类型等文字信息,然后通过关键词为索引的类型特征分类表,就可以赋予不同的特征值。
步骤A3、接收端根据所述前传数据并生成前传特征;步骤A3中,前传特征包括用电数据项以及发电数据项,所述用电数据项反映采集端对应用户的用电状态,所述发电数据项反映采集端对应用户的发电状态。具体的,前传特征可以是,用电数据对应的数据量,发电数据对应的数据量然后根据数据量落入的范围确定前传特征。
步骤A4、接收端获取环境特征,并根据采集特征、环境特征以及前传特征生成索引数据,所述的环境特征包括时段数据项以及有效日照数据项,所述时段数据项反映当前时段,所述有效日照数据项反映当前日照情况;当前时段可以对用电情况以及受光情况进行分析,例如节假日的工作,居民楼的用电情况较多,而办公楼的用电情况较少,相反如是,而受光情况则是需要结合当前日照信息,例如多云、下雨,或者晴。而具体受光量则可以根据时段判断。这样就可以得到用电情况和受光情况,足以应对上述的不同情况出现的数据冗余不同,可以采取不同的数据压缩方法。
步骤A5、接收端根据索引数据在预设的指令数据库确定数据压缩指令,并将所述数据压缩指令发送至采集端;所述索引数据包括有若干索引子特征,所述索引子特征对应于采集特征、环境特征以及前传特征生成;获得索引数据后,根据索引数据的维度,可以调取最为匹配的数据压缩指令,索引数据可以理解为采集特征的特征项、环境特征的特征项和前传特征的特征项的集合,而根据特征匹配确定对应的数据压缩指令:
每一所述数据压缩指令对应每一索引子特征配置有特征关联值,所述接收端根据索引数据计算每一数据压缩指令的特征关联总值,并选取特征关联总值最高的数据压缩指令发送至所述采集端。接收端构建不同的索引子特征对应不同的数据压缩指令的关联值,例如图2所示,例如某采集端对应的特征项已知的情形下就可以计算出每个索引子特征对应的特征关联值,并求和得到特征关联总值。然后就可以选择总值最高的数据压缩指令发送至采集端。
步骤A6、采集端配置有预设的策略数据库,所述策略数据库存储有若干数据压缩策略,每一数据压缩策略包括若干数据压缩条件以及对应每一数据压缩条件下的数据压缩算法,每一数据压缩策略与对应数据压缩指令对应,所述采集端根据数据压缩指令从所述策略数据库中调取对应的数据压缩策略;通过策略数据库的设置,就可以起到一个较佳的数据压缩效果,并设置对应的数据压缩策略,通过将数据压缩策略设置在本地,避免了每次做数据加载,而基准数据压缩策略中的数据压缩算法也可以被选择,目前可用的数据压缩算法较多例如Huffma、LZ77等,再此不做赘述,而数据压缩策略不仅是数据压缩算法的组合,还包括根据数据压缩条件去选择数据压缩算法,例如在某一数据压缩策略下,获取的数据报文的总大小设置不同的数据压缩算法、或者对应某个字段区间选择不同的数据压缩算法,以及数据压缩算法设置的先后顺序。所述采集端还配置有加密数据库,所述加密数据库配置有对应若干数据加密算法,所述数据加密算法与数据压缩算法配置有关联关系,当采集端执行一数据压缩算法且满足所述关联关系时,对对应的用电协议数据执行数据加密算法。为了进一步保证安全性,配合数据压缩算法设置有数据加密算法,这样可以根据数据量和通讯情形设置不同的加密算法,提高安全性。
步骤A7、所述采集端通过对应的数据压缩策略压缩产生的用电协议数据并发送至接收端。另一方面,为了使压缩策略在使用过程中不断优化匹配,步骤A7中还包括,所述采集端配置有压缩分析策略,所述压缩分析策略包括
步骤C1、获取预设时间段内的压缩结果并计算对应的平均压缩比例;
步骤C2、当平均压缩比例超过上限触发值时,减小对应的数据压缩指令和对应的每一索引子特征的特征关联值;当平均压缩比例低于下限触发值时,增加对应的数据压缩指令和对应的每一索引子特征的特征关联值;
步骤C3、存储对应的调整量作为历史信息。所述接收端配置有关联值调整式,当需要增加或减小某一索引子特征的特征关联值时,通过关联值调整式计算调整量
其中,a1为该索引特征值的调整量,β1为预设的基数权重参数,β2为预设的历史权重参数,β3为预设的特性权重参数,有β1+β2+β3=1,gk为第k次调整该索引子特征对应的调整量,tk为第k次调整该索引子特征与当前时刻的间隔时间,G为该索引子特征对应的基准稳定参数,每一索引子特征对应的基准稳定参数预先被配置于接收端。通过这样的设置,不断压缩结果的平均压缩比例的计算,去触发调整,使得匹配关系发生变化,提高压缩策略的有效匹配率。
当然,以上只是本发明的典型实例,除此之外,本发明还可以有其它多种具体实施方式,凡采用等同替换或等效变换形成的技术方案,均落在本发明要求保护的范围之内。
Claims (10)
1.一种用于光伏通讯数据的数据压缩方法,其特征在于:
步骤A1、采集端生成前传数据并发送至接收端;
步骤A2、接收端根据采集端编码从预设的特征数据库中提取对应采集端的采集特征;
步骤A3、接收端根据所述前传数据并生成前传特征;
步骤A4、接收端获取环境特征,并根据采集特征、环境特征以及前传特征生成索引数据,所述的环境特征包括时段数据项以及有效日照数据项,所述时段数据项反映当前时段,所述有效日照数据项反映当前日照情况;
步骤A5、接收端根据索引数据在预设的指令数据库确定数据压缩指令,并将所述数据压缩指令发送至采集端;
步骤A6、采集端配置有预设的策略数据库,所述策略数据库存储有若干数据压缩策略,每一数据压缩策略包括若干数据压缩条件以及对应每一数据压缩条件下的数据压缩算法,每一数据压缩策略与对应数据压缩指令对应,所述采集端根据数据压缩指令从所述策略数据库中调取对应的数据压缩策略;
步骤A7、所述采集端通过对应的数据压缩策略压缩产生的用电协议数据并发送至接收端。
2.如权利要求1所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:步骤A1中,所述采集端配置有基准压缩策略,所述前传数据通过基准压缩策略压缩用电协议数据生成,所述基准压缩策略包括
步骤B1、将采集到的用电协议数据拆分成控制型数据和数值型数据,且对所述数值型数据进行解析分类得到原始电压数据、原始电流数据、原始电能及费率数据和原始功率数据;
步骤B2、利用差分编码数据压缩算法对原始电能及费率数据进行压缩处理,得到第一压缩数据,且利用原始电压数据和原始电流数据训练得到自编码神经网络模型;
步骤B3、进入第二层数据架构,利用已训练好的自编码神经网络模型对原始电压数据和原始电流数据进行处理,得到第二压缩数据和数据异常位置;
步骤B4、根据所述第一压缩数据、第二压缩数据以及数据异常位置进行数据修正,得到第三压缩数据;
步骤B5、进入第三层数据架构,将所述第三压缩数据、所述原始功率数据以及所述控制型数据按协议中原有的时间戳重新排列得到待压缩数据,利用无损压缩算法进行压缩处理从而得到前传数据。
3.如权利要求2所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:所述步骤A2中,所述采集特征包括通讯特征项,所述通讯特征项反映采集端和接收端之间的通讯负荷;
所述接收端配置有通讯负荷分析器以及通讯负荷分类器,所述通讯负荷分析器获取对应采集端的通讯负荷信息,并根据通讯负荷信息计算通讯失真率以及有效通讯率,所述通讯失真率反映历史数据中该采集端的通讯错误情况,所述有效通讯率反映该采集端的通讯效率;所述通讯负荷分类器配置有预设的通讯分类条件,预设的通讯分类条件以通讯失真率和有效通讯率为依据对所有采集端进行分类并获得若干通讯分类组,为同一通讯分类数组的采集端对应的通讯特征项赋予相同的值。
4.如权利要求3所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:所述采集特征还包括位姿特征项,所述位置特征项反映采集端的位置分布以及受光姿态;
所述接收端配置有位姿分类器,所述位姿分类器根据采集端于通讯网络中的节点位置构建若干位姿分类组,获取预设时段内的每一采集端的发电量数据波形特征,并根据发电量特征波形计算每一位姿分类组的发电量基准波形,并配置有上限离散值、下限离散值、基准偏差值,当任一位姿分类组的发电量特征波形相对于发电量基准波形的离散度高于上限离散值时,将该位姿分类组拆分;当任意两个位姿分类组的发电量特征波形相对于发电量基准波形的离散程度均低于下限离散值且发电量基准波形之间的偏差小于基准偏差值时,将对应的两个位姿分类组重组,直至不再触发拆分和重组位姿分类组的情形;为同一位姿分类组的采集端对应的位姿特征项赋予相同的值。
5.如权利要求4所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:所述采集特征还包括类型特征项,所述类型特征项反映采集端的数据类型;
所述接收端配置有类型特征分类表,所述类型特征分类表存储有不同数据类型对应的特征值,所述接收端根据采集端预先输入的数据类型为采集端赋予对应的特征值。
6.如权利要求2所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:步骤A3中,前传特征包括用电数据项以及发电数据项,所述用电数据项反映采集端对应用户的用电状态,所述发电数据项反映采集端对应用户的发电状态。
7.如权利要求1所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:所述索引数据包括有若干索引子特征,所述索引子特征对应于采集特征、环境特征以及前传特征生成;
每一所述数据压缩指令对应每一索引子特征配置有特征关联值,所述接收端根据索引数据计算每一数据压缩指令的特征关联总值,并选取特征关联总值最高的数据压缩指令发送至所述采集端。
8.如权利要求7所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:步骤A7中还包括,所述采集端配置有压缩分析策略,所述压缩分析策略包括
步骤C1、获取预设时间段内的压缩结果并计算对应的平均压缩比例;
步骤C2、当平均压缩比例超过上限触发值时,减小对应的数据压缩指令和对应的每一索引子特征的特征关联值;当平均压缩比例低于下限触发值时,增加对应的数据压缩指令和对应的每一索引子特征的特征关联值;
步骤C3、存储对应的调整量作为历史信息。
10.如权利要求1所述的一种用于光伏通讯数据的数据压缩方法,其特征在于:所述采集端还配置有加密数据库,所述加密数据库配置有对应若干数据加密算法,所述数据加密算法与数据压缩算法配置有关联关系,当采集端执行一数据压缩算法且满足所述关联关系时,对对应的用电协议数据执行数据加密算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211101293.3A CN115834720A (zh) | 2022-09-09 | 2022-09-09 | 一种用于光伏通讯数据的数据压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211101293.3A CN115834720A (zh) | 2022-09-09 | 2022-09-09 | 一种用于光伏通讯数据的数据压缩方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115834720A true CN115834720A (zh) | 2023-03-21 |
Family
ID=85523536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211101293.3A Pending CN115834720A (zh) | 2022-09-09 | 2022-09-09 | 一种用于光伏通讯数据的数据压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115834720A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097810A (zh) * | 2023-10-18 | 2023-11-21 | 深圳市互盟科技股份有限公司 | 基于云计算的数据中心传输优化方法 |
-
2022
- 2022-09-09 CN CN202211101293.3A patent/CN115834720A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117097810A (zh) * | 2023-10-18 | 2023-11-21 | 深圳市互盟科技股份有限公司 | 基于云计算的数据中心传输优化方法 |
CN117097810B (zh) * | 2023-10-18 | 2024-01-02 | 深圳市互盟科技股份有限公司 | 基于云计算的数据中心传输优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114298863B (zh) | 一种智能抄表终端的数据采集方法及系统 | |
CN111489188B (zh) | 一种居民可调负荷潜力挖掘方法及系统 | |
CN110826887A (zh) | 一种基于大数据的智能运维管理系统及方法 | |
CN108376262A (zh) | 一种风电出力典型特性的分析模型构建方法 | |
US20210408799A1 (en) | System and method for controlling photovoltaic balancing | |
CN115834720A (zh) | 一种用于光伏通讯数据的数据压缩方法 | |
CN110011358B (zh) | 一种配电网负荷状态调节控制器 | |
CN111091240A (zh) | 一种公共机构电力能效监测系统及服务方法 | |
CN111461921A (zh) | 一种基于机器学习的负荷建模典型用户数据库更新方法 | |
CN115102170A (zh) | 一种风电光伏储能配比的协调优化方法 | |
CN113362103B (zh) | 一种通过用户用电行为特征定制电网峰谷分时电价的方法 | |
CN115292393B (zh) | 一种用于智慧网关的数据管理系统 | |
CN116432136A (zh) | 一种基于用电采集系统的分布式用电异常检测方法 | |
CN114285073B (zh) | 一种并网光伏逆变器性能分析系统 | |
CN112233406B (zh) | 一种基于5g通信的快速数据响应控制方法 | |
CN104050246A (zh) | 输变电设备状态监测数据的预处理方法和系统 | |
CN112787322B (zh) | 基于scada系统和多时间尺度的电网动态管理方法 | |
CN111832805A (zh) | 一种基于电力大数据的经济预警分析系统及方法 | |
Fan et al. | Prediction and Analysis of Power User Energy Consumption Based on Demand Side Management | |
CN114254838B (zh) | 一种短期电力负荷预测影响因子的确定方法 | |
Gong et al. | Analysis and Forecasting for Power Load of Office Buildings Taking Crowd Behavior into Account | |
CN115528687B (zh) | 一种有限成本约束下的电力系统柔性响应能力优化方法 | |
Song et al. | A Classification and Synthesis Method for Load Characteristics of Typical Industry Based on Daily Electricity Consumption Curves | |
CN117996760A (zh) | 一种风电系统的电力调度决策系统及方法 | |
CN118199270A (zh) | 一种用于电力系统的电流自动化控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |