CN116546017A - 基于云边端协同的分布式光伏信息汇聚压缩方法和装置 - Google Patents

基于云边端协同的分布式光伏信息汇聚压缩方法和装置 Download PDF

Info

Publication number
CN116546017A
CN116546017A CN202310613671.4A CN202310613671A CN116546017A CN 116546017 A CN116546017 A CN 116546017A CN 202310613671 A CN202310613671 A CN 202310613671A CN 116546017 A CN116546017 A CN 116546017A
Authority
CN
China
Prior art keywords
data
photovoltaic
terminal
weight
transparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310613671.4A
Other languages
English (en)
Inventor
李波
施展
杨志花
包宇奔
刘元杰
吴振田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310613671.4A priority Critical patent/CN116546017A/zh
Publication of CN116546017A publication Critical patent/CN116546017A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明提供了一种基于云边端协同的分布式光伏信息汇聚压缩方法和装置方法包括：通过各光伏终端，计算当前时隙的第一权重；通过边缘网关获取对应的透传数据包和非透传数据包；对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；通过云端对进行解压缩，并生成对应的摘要数据，将并下发至各边缘网关和各光伏终端；通过所述各边缘网关和各光伏终端计算得到误差向量并上传云端；通过云端计算选择权重，实现权重的更新，并更新对应的汇聚压缩方式。实施本申请，对透传数据包进行无损压缩，对非透传数据包进行可关联推测性优先的压缩，相比现有技术提高了数据传输效率。

Description

基于云边端协同的分布式光伏信息汇聚压缩方法和装置
技术领域
本发明涉及光伏数据处理领域，尤其涉及一种基于云边端协同的分布式光伏信息汇聚压缩方法、装置、终端设备和计算机可读存储介质。
背景技术
近年来，随着光伏发电等分布式电源并网比重不断增加，呈现点多面广以及渗透率高等特点。为保证电网的安全稳定的运行，需要对分布式光伏的电压、电流、温度等运行状态进行实时监测，由此产生的海量分布式光伏并网监测数据对传统的基于载波的通信方式提出了极大的挑战。
传统分布式光伏信息汇聚压缩方法，很多数据未经压缩，或者仅压缩一次就进行传输，使得传输的数据中包含大量的冗余信息，对可用带宽较小的载波通信方式造成极大的负担，极易出现线路占用率过高，导致网络堵塞，使光伏信息传输时延增加。
发明内容
本发明提供了一种基于云边端协同的分布式光伏信息汇聚压缩方法、装置、终端设备和计算机可读存储介质，以解决如何降低传输数据的冗余程度的技术问题。
为了解决上述技术问题，本发明实施例提供了一种基于云边端协同的分布式光伏信息汇聚压缩方法，包括：
通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；
将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；
通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；
通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；
通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。
作为优选方案，所述对非透传数据包进行基于可关联推测性优先的压缩，具体为：
根据下式计算在时隙t非透传光伏终端对应数据包dn与其他非透传光伏终端对应数据包d'n之间的可关联推理度
其中，为光伏终端dn和d'n数据间的互信息量，/>为光伏终端dn和d'n数据间互信息量的平均值，/>为光伏终端dn和d'n数据的欧氏距离集合，/>为光伏终端dn和d'n数据欧式距离的平均值；
根据光伏终端dn的可关联推理度和第一权重，计算时隙t对应的边缘网关的第二权重
其中，为光伏终端dn的数据的重要度，/>为光伏终端dn的数据与其他所有非透传数据的关联程度，/>为光伏时隙t终端dn的数据的重要度对应的权重，终端dn的数据的重要度为光伏时隙t终端dn的数据的关联程度的权重，D'为非透传光伏终端的集合；
根据边缘网关权重选择压缩簇头数据，基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，将所述压缩簇头数据和所述关联推理向量进行封装。
作为优选方案，所述通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，具体为:
根据下式进行计算：
Loss(t)＝||error(t)⊙exp(error(t)-errorp(t))||+||flow(t)⊙E_charge(t)||；
其中,Loss(t)为时刻t进行压缩数据传输造成的数据质量损失和数据传输成本，||error(t)⊙exp(error(t)-errorp(t))||为数据质量损失，||flow(t)⊙E_charge(t)||为数据传输成本损失，error(t)为时刻t各数据解压前后造成的误差向量，errorp(t)为时刻t根据历史数据预测的误差向量，flow(t)为时刻t各压缩数据传输所使用的流量，E_charge(t)为时刻t各压缩数据传输所使用的电量，⊙为进行哈达玛积运算。
作为优选方案，所述计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，具体为：
根据下式进行计算：
其中，w1,n(t+1)为进行透传的光伏终端对应的数据大小选择的权重，w2,n(t+1)为进行透传的光伏终端对应的数据重要度选择的权重，w3,n(t+1)为进行透传的光伏终端对应的数据与历史数据均值的相似度选择的权重，η1(t)为时刻t进行透传的光伏终端所承受损失函数的压力系数，为进行非透传的光伏终端对应的数据重要度选择的权重，/>为进行非透传的光伏终端对应的数据关联程度选择的权重，η2(t)为进行非透传数据的边缘网关承受损失函数的压力系数，η3(t)为进行非透传的光伏终端所承受损失函数的压力系数。
作为优选方案，所述基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，具体为：
其中，Ad(t)为时刻t的关联推理向量，所述关联推理向量存储有所有非透传的光伏终端数据与簇头数据间的推理关系，Y(t)为时刻t所有进行非透传的光伏终端数量，为在时刻t光伏终端簇头dmain产生的分布式光伏接入信息，/>为光伏终端dy与簇头数据的推理关系，/>为进行卷积运算，/>和/>分别为时刻t推理光伏终端dy的接入信息所用的卷积核权重和偏置量。
作为优选方案，所述进行透传的光伏终端所承受损失函数的压力系数具体为：
所述进行非透传数据的边缘网关承受损失函数的压力系数具体为：
所述进行非透传的光伏终端所承受损失函数的压力系数具体为：
其中，N为分布式光伏终端的总数。
作为优选方案，所述对透传数据包进行打包和无损压缩，具体为：
对透传数据包进行打包，并对经过打包的数据包进行霍夫曼压缩或LZW压缩。
相应的，本发明实施例还提供了一种基于云边端协同的分布式光伏信息汇聚压缩装置，包括权重计算模块、选择模块、压缩模块、解压缩模块和更新模块；其中，
所述权重计算模块，用于通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；
所述选择模块，用于将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；
所述压缩模块，用于通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；
所述解压缩模块，用于通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；
所述更新模块，用于通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。
相应的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于云边端协同的分布式光伏信息汇聚压缩方法、装置、终端设备和计算机可读存储介质，所述汇聚压缩方法包括：通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。实施本申请实施例，对透传数据包进行无损压缩，对非透传数据包进行可关联推测性优先的压缩，然后上传至云端进行解压缩，相比现有技术减少了传输数据中包含的冗余信息，减少了载波通信的负担和线路占用率，缩短了光伏信息的传输时延；另一方面，采用云边端协同的方式，边缘网关和光伏终端可以根据云端就历史数据压缩误差、数据传输成本等信息形成新的汇聚压缩方式，进而降低边缘网关和光伏终端数据压缩误差以及数据传输成本，提高光伏信息汇聚整体的运行效率。
附图说明
图1：为本发明基于云边端协同提供的分布式光伏信息汇聚压缩方法的一种实施例的流程示意图。
图2：为本发明基于云边端协同提供的分布式光伏信息汇聚压缩装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种基于云边端协同的分布式光伏信息汇聚压缩方法，包括步骤S1至步骤S5；其中，
步骤S1，通过各分布式光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到。
在本实施例中，共考虑N个分布式光伏终端，这些分布式光伏终端共同构成集合D＝{d1,...,dn,....,dN}，通过这些终端采集若干光伏数据，也就是所述分布式光伏接入数据。
针对所采集的数据，所述基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重，具体为：
根据下式计算时隙t的第一权重：
其中，为在时隙t光伏终端dn产生的分布式光伏数据的总权重，/>为在时隙t光伏终端dn产生的数据大小，/>为在时隙t光伏终端dn采集(产生)的数据重要度，该重要度由光伏终端dn在第t时隙产生数据与光伏终端dn历史数据均值的偏差程度决定，偏差程度可以为产生的数据与历史数据均值相减后的绝对值，/>为在时隙t光伏终端dn产生的数据与光伏终端dn历史数据的相似度，具体地，相似度为光伏终端dn产生的数据与自身产生的T(t＞T+1)个历史时刻数据，即与t-T-1时刻至t-1时刻数据欧几里得距离之和，w1,n(t)为光伏终端dn数据大小因素在时刻t的分权重，w2,n(t)为光伏终端dn数据重要度因素在时刻t的分权重，w3,n(t)为光伏终端dn数据相似度因素在时刻t的分权重，并且w1,n(t),w2,n(t),w3,n(t)∈(0,1]。
步骤S2，将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输。
在本实施例中，可以定义二值变量为光伏终端dn在t时刻产生的数据后续的汇聚与压缩方式选择变量。将/>与所述方式权重thD进行比较，若/>则认为所传输数据权重较大即较为重要，选择透传方式尽量减少压缩次数降低压缩误差，提高数据解压还原后的精度，此时/>若/>则认为所传输数据权重较小即重要度较低，选择非透传方式尽可能对数据进行多重压缩以降低所传输数据的大小，此时 时，将数据在光伏终端进行编码压缩后通过载波传输至边缘网关，边缘网关对数据解压，与其他光伏终端采集数据进行冗余比对后再在步骤S3对数据进行二次冗余压缩，将压缩后的数据传输至云端；/>时将数据在光伏终端进行编码压缩后经由边缘网关经过步骤S3处理后透传至云端。实施本申请实施方式，可以最大限度降低数据的冗余度，提升数据传输效率。
步骤S3，通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端。
在本实施例中，对于透传数据包，可以采用霍夫曼压缩或LZW等无损压缩方式，在保证高数据还原精度的基础上进一步降低透传的数据量。
对于非透传数据包，可以定义D'为所有进行非透传的光伏终端集合。所述对非透传数据包进行基于可关联推测性优先的压缩，具体为：
根据下式计算在时隙t非透传光伏终端对应数据包dn与其他非透传光伏终端对应数据包d'n之间的可关联推理度
其中，dn,d'n∈D'，为光伏终端dn和d'n数据间的互信息量，/>为光伏终端dn和d'n数据间互信息量的平均值，/>为光伏终端dn和d'n数据的欧氏距离集合，/>为光伏终端dn和d'n数据欧式距离的平均值；
进一步地，根据光伏终端dn的可关联推理度和第一权重，计算时隙t对应的边缘网关的第二权重
其中，为光伏终端dn的数据的重要度，/>为光伏终端dn的数据与其他所有非透传数据的关联程度，/>为光伏时隙t终端dn的数据的重要度对应的权重，终端dn的数据的重要度为光伏时隙t终端dn的数据的关联程度的权重，D'为非透传光伏终端的集合；需要说明的是，/>第一权重与第二权重的区别在于，第一权重与光伏终端一一对应，第二权重与边缘网关一一对应，而在本实施例的处理过程中，边缘网关可以对应一个或多个光伏终端。
根据边缘网关权重选择压缩簇头数据(因需要保证在尽可能对数据进行压缩的情况下具有较高的数据还原精度，故选择边缘网关权重最大的光伏终端数据作为压缩簇头数据，保证其他数据可以较为准确的由簇头数据推理得出)，基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，将所述压缩簇头数据和所述关联推理向量进行封装。
作为进一步优选实施方式，所述基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，具体为：
其中，Ad(t)为时刻t的关联推理向量，所述关联推理向量存储有所有非透传的光伏终端数据与簇头数据间的推理关系，Y(t)为时刻t所有进行非透传的光伏终端数量，为在时刻t光伏终端簇头dmain产生的分布式光伏接入信息，/>为光伏终端dy与簇头数据的推理关系，/>为进行卷积运算，/>和/>分别为时刻t推理光伏终端dy的接入信息所用的卷积核权重和偏置量。/>为激活函数。
步骤S4，通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端。
在本实施例中，云端对经过步骤S3压缩的数据进行解压缩，并生成对应的摘要数据，下发所述摘要数据到对应的边缘网关以及对应的光伏终端。如果压缩的数据是来自A光伏终端以及B边缘网关的，则将该数据解压好后重新下发回对应的A光伏终端以及B边缘网关。
步骤S5，通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新为对应的汇聚压缩方式。
在本实施例中，通过所述各边缘网关和各光伏终端，可以基于摘要数据和原始采集数据计算误差向量error(t)，然后通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，具体为:
根据下式进行计算：
Loss(t)＝||error(t)⊙exp(error(t)-errorp(t)||+||flow(t)⊙E_charge(t)||；
其中,Loss(t)为时刻t进行压缩数据传输造成的数据质量损失和数据传输成本，||error(t)⊙exp(error(t)-errorp(t))||为数据质量损失，||flow(t)⊙E_charge(t)||为数据传输成本损失，error(t)为时刻t各数据解压前后造成的误差向量，errorp(t)为时刻t根据历史数据预测的误差向量，flow(t)为时刻t各压缩数据传输所使用的流量，E_charge(t)为时刻t各压缩数据传输所使用的电量，⊙为进行哈达玛积运算。
进一步地，所述计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，具体为：
根据下式进行计算：
其中，逆向压力传导指云端根据光伏终端透传与非透传的数据传输方式，按性能对Loss(t)进行分配。w1,n(t+1)为进行透传的光伏终端对应的数据大小因素选择的权重，w2,n(t+1)为进行透传的光伏终端对应的数据重要度因素选择的权重，w3,n(t+1)为进行透传的光伏终端对应的数据与历史数据均值的相似度因素选择的权重，η1(t)为时刻t进行透传的光伏终端所承受损失函数的压力系数，为进行非透传的光伏终端对应的数据重要度因素选择的权重，/>为进行非透传的光伏终端对应的数据关联程度因素选择的权重，η2(t)为进行非透传数据的边缘网关承受损失函数的压力系数，η3(t)为进行非透传的光伏终端所承受损失函数的压力系数。
所述进行透传的光伏终端所承受损失函数的压力系数具体为：
所述进行非透传数据的边缘网关承受损失函数的压力系数具体为：
所述进行非透传的光伏终端所承受损失函数的压力系数具体为：
其中，N为分布式光伏终端的总数。
云端将更新后的选择权重下发至各边缘网关以及光伏终端，对边缘网关以及光伏终端的汇聚压缩方式进行相应更新，实现云边端的协同，该控制方式可以有效降低云计算数据压缩造成的数据质量损失和数据传输成本损失，并根据逆向压力传导生成数据汇聚与压缩方式及边缘网关簇头选择权重优化策略同时将策略下发，持续优化边缘网关和各光伏终端压缩参数，维持高效数据压缩效率。
相应的，参照图2，本发明实施例还提供了一种基于云边端协同的分布式光伏信息汇聚压缩装置，包括权重计算模块101、选择模块102、压缩模块103、解压缩模块104和更新模块105；其中，
所述权重计算模块101，用于通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；
所述选择模块102，用于将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；
所述压缩模块103，用于通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；
所述解压缩模块104，用于通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；
所述更新模块105，用于通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。
相应的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
其中，所述基于云边端协同的分布式光伏信息汇聚压缩装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于云边端协同的分布式光伏信息汇聚压缩方法、装置、终端设备和计算机可读存储介质，所述汇聚压缩方法包括：通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。实施本申请实施例，对透传数据包进行无损压缩，对非透传数据包进行可关联推测性优先的压缩，然后上传至云端进行解压缩，相比现有技术减少了传输数据中包含的冗余信息，减少了载波通信的负担和线路占用率，缩短了光伏信息的传输时延；另一方面，采用云边端协同的方式，边缘网关和光伏终端可以根据云端就历史数据压缩误差、数据传输成本等信息形成新的汇聚压缩方式，进而降低边缘网关和光伏终端数据压缩误差以及数据传输成本，提高光伏信息汇聚整体的运行效率。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，包括：
通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；
将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；
通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；
通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；
通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。
2.如权利要求1所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述对非透传数据包进行基于可关联推测性优先的压缩，具体为：
根据下式计算在时隙t非透传光伏终端对应数据包dn与其他非透传光伏终端对应数据包dn'之间的可关联推理度
其中，为光伏终端dn和d′n数据间的互信息量，/>为光伏终端dn和d′n数据间互信息量的平均值，/>为光伏终端dn和d′n数据的欧氏距离集合，/>为光伏终端dn和d′n数据欧式距离的平均值；
根据光伏终端dn的可关联推理度和第一权重，计算时隙t对应的边缘网关的第二权重
其中，为光伏终端dn的数据的重要度，/>为光伏终端dn的数据与其他所有非透传数据的关联程度，/>为光伏时隙t终端dn的数据的重要度对应的权重，终端dn的数据的重要度为光伏时隙t终端dn的数据的关联程度的权重，D'为非透传光伏终端的集合；
根据边缘网关权重选择压缩簇头数据，基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，将所述压缩簇头数据和所述关联推理向量进行封装。
3.如权利要求1所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，具体为:
根据下式进行计算：
Loss(t)＝||error(t)⊙exp(error(t)-errorp(t))||+||flow(t)⊙E_charge(t)||；
其中,Loss(t)为时刻t进行压缩数据传输造成的数据质量损失和数据传输成本，||error(t)⊙exp(error(t)-errorp(t))||为数据质量损失，||flow(t)⊙E_charge(t)||为数据传输成本损失，error(t)为时刻t各数据解压前后造成的误差向量，errorp(t)为时刻t根据历史数据预测的误差向量，flow(t)为时刻t各压缩数据传输所使用的流量，E_charge(t)为时刻t各压缩数据传输所使用的电量，⊙为进行哈达玛积运算。
4.如权利要求3所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，具体为：
根据下式进行计算：
其中，w1,n(t+1)为进行透传的光伏终端对应的数据大小因素选择的权重，w2,n(t+1)为进行透传的光伏终端对应的数据重要度因素选择的权重，w3,n(t+1)为进行透传的光伏终端对应的数据与历史数据均值的相似度因素选择的权重，η1(t)为时刻t进行透传的光伏终端所承受损失函数的压力系数，为进行非透传的光伏终端对应的数据重要度因素选择的权重，/>为进行非透传的光伏终端对应的数据关联程度因素选择的权重，η2(t)为进行非透传数据的边缘网关承受损失函数的压力系数，η3(t)为进行非透传的光伏终端所承受损失函数的压力系数。
5.如权利要求2所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述基于选择的压缩簇头数据计算所有非簇头的光伏终端数据与压缩簇头数据之间的推理关系，并将所述推理关系存入关联推理向量，具体为：
；
其中，Ad(t)为时刻t的关联推理向量，所述关联推理向量存储有所有非透传的光伏终端数据与簇头数据间的推理关系，Y(t)为时刻t所有进行非透传的光伏终端数量，为在时刻t光伏终端簇头dmain产生的分布式光伏接入信息，/>为光伏终端dy与簇头数据的推理关系，/>为进行卷积运算，/>和/>分别为时刻t推理光伏终端dy的接入信息所用的卷积核权重和偏置量。
6.如权利要求5所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述进行透传的光伏终端所承受损失函数的压力系数具体为：
所述进行非透传数据的边缘网关承受损失函数的压力系数具体为：
所述进行非透传的光伏终端所承受损失函数的压力系数具体为：
其中，N为分布式光伏终端的总数。
7.如权利要求1至6任意一项所述的一种基于云边端协同的分布式光伏信息汇聚压缩方法，其特征在于，所述基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重，具体为：
根据下式计算时隙t的第一权重：
其中，为在时隙t光伏终端dn产生数据的总权重，/>为在时隙t光伏终端dn产生的数据大小，/>为在时隙t光伏终端dn采集的数据重要度，/>为在时隙t光伏终端dn产生的数据与光伏终端dn历史数据的相似度，w1,n(t)为光伏终端dn数据大小因素在时刻t的分权重，w2,n(t)为光伏终端dn数据重要度因素在时刻t的分权重，w3,n(t)为光伏终端dn数据相似度因素在时刻t的分权重。
8.一种基于云边端协同的分布式光伏信息汇聚压缩装置，其特征在于，包括权重计算模块、选择模块、压缩模块、解压缩模块和更新模块；其中，
所述权重计算模块，用于通过各光伏终端，基于各光伏终端产生的分布式光伏接入数据的大小、重要度和相似度，计算其当前时隙的第一权重；其中，所述重要度根据当前时隙接入数据与对应光伏终端历史数据均值的偏差程度计算得到；
所述选择模块，用于将各光伏终端对应的第一权重分别与预设的方式权重进行比较，在第一权重大于等于所述方式权重时，则选择透传方式对光伏终端的接入数据进行传输；在第一权重小于所述方式权重时，则选择非透传方式对光伏终端的接入数据进行传输；
所述压缩模块，用于通过边缘网关获取各光伏终端接入数据对应的透传数据包和非透传数据包；并对透传数据包进行打包和无损压缩；对非透传数据包进行基于可关联推测性优先的压缩；将经过压缩的所有数据上传至云端；
所述解压缩模块，用于通过所述云端对经过压缩的所有数据进行解压缩，并生成对应的摘要数据，将所述摘要数据分别下发至各边缘网关和各光伏终端；
所述更新模块，用于通过所述各边缘网关和各光伏终端，基于所述摘要数据和解压缩前的数据计算得到误差向量，并将所有误差向量上传所述云端；并通过所述云端计算对应的数据压缩造成的数据质量损失和数据传输成本，从而计算得到各透传数据对应光伏终端的汇聚压缩方式的选择权重以及各非透传数据对应光伏终端的汇聚压缩方式的选择权重，实现所述选择权重的更新，并将更新后的所有选择权重分别下发至各边缘网关和光伏终端，进而更新对应的汇聚压缩方式。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于云边端协同的分布式光伏信息汇聚压缩方法。
CN202310613671.4A 2023-05-26 2023-05-26 基于云边端协同的分布式光伏信息汇聚压缩方法和装置 Pending CN116546017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310613671.4A CN116546017A (zh) 2023-05-26 2023-05-26 基于云边端协同的分布式光伏信息汇聚压缩方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310613671.4A CN116546017A (zh) 2023-05-26 2023-05-26 基于云边端协同的分布式光伏信息汇聚压缩方法和装置

Publications (1)

Publication Number Publication Date
CN116546017A true CN116546017A (zh) 2023-08-04

Family

ID=87454266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310613671.4A Pending CN116546017A (zh) 2023-05-26 2023-05-26 基于云边端协同的分布式光伏信息汇聚压缩方法和装置

Country Status (1)

Country Link
CN (1) CN116546017A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117650791A (zh) * 2024-01-30 2024-03-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117650791A (zh) * 2024-01-30 2024-03-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法
CN117650791B (zh) * 2024-01-30 2024-04-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法

Similar Documents

Publication Publication Date Title
AU2018309213C1 (en) Method and device for encoding polar code
CN116546017A (zh) 基于云边端协同的分布式光伏信息汇聚压缩方法和装置
Nascimento et al. Dsconv: Efficient convolution operator
Reagan et al. Weightless: Lossy weight encoding for deep neural network compression
US20010038347A1 (en) Efficient and lossless conversion for transmission or storage of data
CN111199740B (zh) 一种基于边缘计算加速自动语音识别任务的卸载方法
CN108108285A (zh) 日志处理方法、装置、存储介质及终端设备
CN113473149A (zh) 用于无线图像传输的语义信道联合编码方法及装置
WO2012171312A1 (zh) 一种面向普适终端的三维网格模型连续多分辨率编码方法
US20160156940A1 (en) Common copy compression
CN112884146A (zh) 一种训练基于数据量化与硬件加速的模型的方法及系统
EP4111417A1 (en) Generating quantization tables for image compression
US20220329258A1 (en) Data compression method and apparatus, and computer readable storage medium
CN111479286A (zh) 一种边缘计算系统减少通信流量的数据处理方法
Sun et al. Efficient vector quantization using genetic algorithm
CN113904341B (zh) 一种基于免疫遗传算法的配电网无功优化方法和装置
CN113487036B (zh) 机器学习模型的分布式训练方法及装置、电子设备、介质
Stankovic et al. Distributed compression for condition monitoring of wind farms
CN104935406A (zh) 一种智能电网通信的数据压缩及解压缩方法和智能电网通信系统
He et al. Real-Time Neural Video Recovery and Enhancement on Mobile Devices
US10592338B2 (en) Scale out data protection with erasure coding
Tang et al. Receiver-based loss tolerance method for 3D progressive streaming
CN117729113B (zh) 一种智能电网的网络切换方法及相关设备
CN108449092A (zh) 一种基于循环压缩的Turbo码译码方法及其装置
Sabag et al. The Feedback Capacity of the $(1,\infty) $-RLL Input-Constrained Erasure Channel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination