CN117200803A - 用于电力数据的数据解压缩系统 - Google Patents
用于电力数据的数据解压缩系统 Download PDFInfo
- Publication number
- CN117200803A CN117200803A CN202311262190.XA CN202311262190A CN117200803A CN 117200803 A CN117200803 A CN 117200803A CN 202311262190 A CN202311262190 A CN 202311262190A CN 117200803 A CN117200803 A CN 117200803A
- Authority
- CN
- China
- Prior art keywords
- data
- power
- bits
- decompressed
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006837 decompression Effects 0.000 title claims abstract description 112
- 238000007667 floating Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 239000000872 buffer Substances 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 38
- 230000005540 biological transmission Effects 0.000 abstract description 15
- 238000013144 data compression Methods 0.000 description 27
- 238000012544 monitoring process Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- SYHGEUNFJIGTRX-UHFFFAOYSA-N methylenedioxypyrovalerone Chemical compound C=1C=C2OCOC2=CC=1C(=O)C(CCC)N1CCCC1 SYHGEUNFJIGTRX-UHFFFAOYSA-N 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000023402 cell communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 239000002737 fuel gas Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/4006—Conversion to or from arithmetic code
- H03M7/4012—Binary arithmetic codes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本公开提供一种用于电力数据的数据解压缩系统,包括:存储模块、分割模块、解压模块和拼接模块;存储模块配置为缓存电力数据;分割模块配置为将电力数据分割为数据符号位、第一数据部分和第二数据部分;解压模块配置为将第一数据部分右移4位得到第一解压数据部分的符号位,将第一数据部分左移3位得到第一解压数据部分的数据位;解压模块还配置为将第二数据部分左移5位得到第二解压数据部分;以及拼接模块配置为拼接数据符号位、第一解压数据部分和第二解压数据部分得到目标数据。由此,能够为特定格式的浮点数解压缩还原,在数据以更低的传输压力在电网中传输以及在存储器中占用更少的存储空间的同时保证了数据的可靠性和可还原性。
Description
本申请是申请日为2023年3月1日,申请号为2023102129957、发明名称为分布式能源并网监测的数据解压缩系统、方法及其设备的专利申请的分案申请。
技术领域
本公开涉及数据压缩领域,特别涉及一种用于电力数据的数据解压缩系统。
背景技术
以风电、光电为代表的分布式绿色能源的装机量日益增多,国家电网在接入光伏、风电等分布式能源时,需要实时监控并网设备状态、接入电压、电流、电相均衡等实时数据,并将海量数据通过无线网、公网及专网传输至供电、配电指挥中心。以山东省为例,全省共有50万个台区,每天产生的数据量大概8000万条。
目前,在数据的存储和传输的过程中,一般采用普适性的数据格式。例如,在IEEE754标准中,浮点数可以通过三种不同的格式来表示,然而IEEE754标准中的格式属于普适性的数据格式,在应用于特定场景时可能会导致存储空间浪费的情况。
例如,Float型的浮点数占用4个字节(4Bytes),其精度为十进制的7~8位,然而分布式能源的并网监测数据一般精度为十进制的3~4位。换言之,并网监测数据的精度要求远小于Float型的浮点数的所能表示的精度,使用类似Float型的普适性的数据格式会存在存储空间浪费的情况,同时还会加大数据的传输压力,难以满足目前分布式能源并网的边缘计算层的传输需求,这将直接影响到分布式能源调度、发电量预测以及故障监测的效果和质量。目前有解决上述问题的数据压缩方法,通过将数据压缩为特定非普适性的数据格式的数据再进行传输来满足上述传输需求,但是由于数据被压缩为了特定非普适性的数据格式,因此需要在接收到压缩数据后采用对应的解压缩方法才能将数据还原并利用还原的数据。进而在分布式电网环境下,对于这种特定的解压缩方法有对应的计算机处理环境。
发明内容
本公开提出了一种分布式能源并网监测的数据解压缩系统,目的在于为数据压缩系统提供对应的数据解压技术方案,并且与现有的电网数据解压缩技术相比,具有节省数据的存储空间和降低数据的传输压力的效果。
本公开第一方面提供了一种分布式能源并网监测的数据解压缩系统,用于电网边缘计算层的数据解压,所述电网边缘计算层包括数据压缩系统和数据解压缩系统,所述数据压缩系统将压缩后的电力数据发送至所述数据解压缩系统,所述电力数据包括1位的数据符号位、表征5位阶数位的第一数据部分和表征18位尾数位的第二数据部分,所述数据解压缩系统包括存储模块、分割模块、解压模块和拼接模块;所述存储模块配置为缓存接收到的电力数据到第一存储单元;所述分割模块配置为将所述第一存储单元中的所述电力数据分割为所述数据符号位、所述第一数据部分和所述第二数据部分;所述解压模块配置为将所述第一数据部分右移4位得到所述第一解压数据部分的符号位,将所述第一数据部分左移3位得到第一解压数据部分的数据位;所述解压模块还配置为将所述第二数据部分左移5位得到第二解压数据部分;以及所述拼接模块配置为拼接所述第一解压数据部分的符号位和所述第一解压数据部分的数据位得到第一解压数据部分,以及拼接所述数据符号位、所述第一解压数据部分和所述第二解压数据部分得到目标数据。
由于普适性的数据格式的数据长度较长,应用于电力数据时存在存储空间浪费的现象,进而需要设计一种非普适性的数据格式,旨在减少存储空间的浪费。将原格式的数据转换为特定格式的数据要经过数据压缩,而压缩后的数据并不能直接使用,需要对压缩后的数据进行数据还原,也就是数据解压缩,得到的解压缩后的数据称为目标数据,从而在维持了数据压缩后具有的有用之处如降低传输成本以及节省存储空间的同时也保证了数据能够被用作进一步的使用。在一种将32位浮点数压缩为24位浮点数的压缩场景下,能够有效地实现电力数据在分布式电网场景中以更少的存储空间存储和以更低的传输压力传输。24位的数据格式为非普适性的数据格式,在电网接收到了24位的压缩态数据后对数据的使用需要经过解压缩还原的步骤,也即将24位数据还原为原来的32位数据。
在本公开第一方面所涉及的数据解压缩系统中,可选地,在所述得到目标数据之后,缓存所述目标数据到所述存储模块的第二存储单元。在这种情况下,解压缩后还原得到的电力数据由于被缓存下来而能够进行复用。还原后的电力数据存储到存储模块中特定的单元块中,与接收到的电力数据存储到的单元块相隔离。
在本公开第一方面所涉及的数据解压缩系统中,可选地,所述目标数据是长度为32位的IEEE754标准Float型数据。在这种情况下,目标数据的长度为解压缩前的电力数据的长度,且32位的IEEE754标准Float型数据属于普适性的数据格式,便于目标数据(还原后的电力数据)被使用。
在本公开第一方面所涉及的数据解压缩系统中,可选地,所述电力数据为数据压缩系统和数据解压缩系统实时传输的电力数据。在这种情况下,电力数据由于是实时传输的,电网边缘计算层会对电力数据进行相应的实时性的监控。通常,传入的电力数据为时序性的电力数据。
在本公开第一方面所涉及的数据解压缩系统中,可选地,所述电力数据为从数据压缩系统汇总传输的电力数据。在这种情况下,数据压缩系统合并打包电力数据,再发送至数据解压缩系统,这种传输电力数据的方式为汇总传输,能够对大量的电力数据进行解压,从而实现多组电力数据汇总。
在本公开第一方面所涉及的数据解压缩系统中,可选地,所述电力数据为在分布式能源采集并压缩的电力数据,所述分布式能源包括光伏电站、风力电站和水力电站的至少一种。在这种情况下,数据解压缩系统接收到的电力数据为来自光伏电站、风力电站和水力电站等分布式电站的电力数据。
在本公开第一方面所涉及的数据解压缩系统中,可选地,所述电力数据包括电流、电压、功率和电能中的至少一种。在这种情况下,由于在光伏电站、风力电站或水力电站等分布式能源中,比较重要的数据包括电流、电压、功率和电能,分布式能源会存储并上传大量的电流、电压、功率和电能等电力数据至数据中心,而数据解压缩系统接收的电力数据便能够对应其中的至少一种。
本公开第二方面涉及一种分布式能源并网监测的数据解压缩方法,包括:缓存接收到的电力数据;将所述电力数据分割为数据符号位、第一数据部分和第二数据部分;将所述第一数据部分右移4位得到第一解压数据部分的符号位,将第一数据部分左移3位得到第一解压数据部分的数据位;将所述第二数据部分左移5位得到第二解压数据部分;拼接所述第一解压数据部分的符号位和所述第一解压数据部分的数据位得到第一解压数据部分,以及拼接所述数据符号位、所述第一解压数据部分和所述第二解压数据部分得到目标数据。
本公开所涉及的数据解压缩方法,能够将利用单精度浮点数压缩原理进行压缩过的海量多源异构数据通过解压缩的方式还原到原始数据,将压缩后的三个字节解压缩为原来的四个字节,精度方面该数据解压缩算法在保证电力行业数据5位十进制精度的前提下,对高度压缩过的浮点数进行还原,满足对更高数据精度的需求,且该系统适用于电力行业的分布式能源并网的各种动态实时监测以及汇总传输等场景。
在本公开第二方面所涉及的数据解压缩方法中,可选地,在所述得到目标数据之后,还包括缓存所述目标数据。在这种情况下,由于数据解压缩系统接收到的解压缩前的电力数据被缓存,因此解压缩后得到的目标数据同样能够在具备缓存能力的数据解压缩系统中被缓存下来。
本公开第三方面涉及一种设备,包括存储器和处理器,所述存储器上存储有分布式能源并网监测的数据解压缩程序,其特征在于,所述处理器执行所述数据解压缩程序时实现本公开第二方面所涉及的分布式能源并网监测的数据解压缩方法。
在这种情况下,存储有数据解压缩程序的设备能够部署于分布式电网边缘中,并在边缘计算层上执行所述数据解压缩程序实现电力数据的解压缩。
根据本公开,能够提供一种为数据压缩系统提供对应的数据解压技术方案,并且与现有的电网数据解压缩技术相比,具有节省数据的存储空间和降低数据的传输压力的效果的分布式能源并网监测的数据解压缩系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1是示出了本公开示例所涉及的数据解压缩系统的应用场景示意图。
图2是示出了本公开示例所涉及的数据压缩方法的流程示意图。
图3A是示出了本公开示例所涉及的边缘计算层接收到的浮点型数据的数据结构示意图。
图3B是示出了本公开示例所涉及的目标数据的数据结构示意图。
图4是示出了本公开示例所涉及的数据解压缩系统的结构示意图。
图5是示出了本公开示例所涉及的数据解压缩方法的流程示意图。
图6是示出了本公开示例所涉及的获得第一解压缩数据部分的流程示意图。
图7是示出了本公开示例所涉及的设备的结构图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本公开涉及一种分布式能源并网监测的数据解压缩系统,用于电网边缘计算层的分布式能源并网监测的数据解压,所述电网边缘计算层包括数据压缩系统和数据解压缩系统,所述数据压缩系统将压缩后的电力数据发送至所述数据解压缩系统,所述数据解压缩系统能够将接收到的电力数据缓存并进行分割、解压和拼接,得到目标长度的目标数据,进而能够让电力数据以压缩形式在电网上传输时减轻系统的传输压力,并能够在解压缩系统中以更低的成本存储电力数据。
本公开涉及一种分布式能源并网监测的数据解压缩方法,用于电网边缘计算层的分布式能源并网监测的数据解压,所述电网边缘计算层包括数据压缩系统和数据解压缩系统,所述数据压缩系统压缩所述电力数据并发送至另一电网边缘计算层的数据解压缩系统进行数据解压,得到目标长度的目标数据,进而能够让电力数据以压缩形式在电网上传输时减轻系统的传输压力,并能够让数据解压缩系统以更低的存储成本存储电力数据。
本公开涉及的分布式能源并网监测的数据解压缩系统,包括:存储模块、分割模块、解压模块以及拼接模块。存储模块配置为缓存接收到的电力数据到第一存储单元;分割模块配置为将第一存储单元中的电力数据分割为数据符号位、第一数据部分和第二数据部分;解压模块配置为将第一数据部分右移4位得到第一解压数据部分的符号位,再向左移3位得到第一解压数据部分的数据位;解压模块还配置为将第二数据部分左移5位得到第二解压数据部分;以及拼接模块配置为拼接第一解压数据部分的符号位和第一解压数据部分的数据位得到第一解压数据部分,拼接数据符号位、第一解压数据部分和第二解压数据部分得到目标数据。
由于普适性的数据格式的数据长度较长,应用于电力数据时存在存储空间浪费的现象,进而需要设计一种非普适性的数据格式,旨在减少存储空间的浪费。将原格式的数据转换为特定格式的数据要经过数据压缩,而压缩后的数据并不能直接使用,需要对压缩后的数据进行数据还原,也就是数据解压缩,得到的解压缩后的数据称为目标数据,从而在维持了数据压缩后具有的有用之处如降低传输成本以及节省存储空间的同时也保证了数据能够被用作进一步的使用。在一种将32位浮点数压缩为24位浮点数的压缩场景下,能够有效地实现在分布式电网中产生上述技术效果,24位的数据格式为非普适性的数据格式,在电网接收到了24位的压缩态数据后对数据的使用需要经过解压缩还原的步骤,也即将24位数据还原为原来的32位数据。
在一些示例中,目标数据为IEEE 754标准下的标准浮点型数据格式的数据。在一些示例中,目标数据、数据符号位、第一数据部分和第二数据部分可以均为二进制数。在一些示例中,第一解压数据部分的符号位和第一解压数据部分的数据位可以均为二进制数。
以下配合附图进一步对本公开进行说明分布式能源并网监测的数据解压缩系统、方法及其设备。
图1是示出了本公开示例所涉及的数据解压缩系统4的应用场景示意图。
在一些示例中,参见图1,数据压缩系统2可以通过台区通信网络3将压缩后的电力数据(也即24位(bit)的浮点型数据格式的数据)传送至配电、供电数据中心5(也可以简称为数据中心5),由此能够便于配电、供电数据中心5执行电力分配等操作。
在一些示例中,数据解压缩系统4位于分布式台区边缘计算层,接收来自台区通信网络3的压缩后的电力数据。在一些示例中,台区通信网络3发送传输的电力数据由配电、供电数据中心分配并控制传输。
在一些示例中,电力数据可以为数据压缩系统2和数据解压缩系统4实时传输的电力数据。具体地,传入数据解压缩系统4的电力数据为时序性的电力数据,因此这样的电力数据需要按照一定的策略进行监控。在一些示例中,数据解压缩系统4接收到电力数据并将电力数据缓存下来。
在一些示例中,电力数据可以为从数据压缩系统2汇总传输的电力数据,换言之,电力数据可以为被数据压缩系统2汇总后传输的电力数据。数据压缩系统2可以将一定量的电力数据合并打包后发送至台区通信网络3,此时的电力数据为一个汇总后的数据集合包。
在一些示例中,分布式能源1可以包括分布式的光伏电站、风力电站或水力电站等发电站。在一些示例中,分布式能源1可以是分布在使用端的能源综合利用系统,能源可以包括太阳能利用、风能利用、地热能利用、染料电池和燃气冷、热、电三联供等多种形式。
在一些示例中,分布式能源1包括光伏电站、风力电站和水力电站中的至少一种。在这种情况下,数据解压缩系统4接收到的电力数据为来自光伏电站、风力电站和水力电站等分布式电站的电力数据。
在一些示例中,电力数据可以包括电流、电压、功率和电能的至少一种数据。在这种情况下,由于在光伏电站、风力电站或水力电站等分布式能源1中,比较重要的数据包括电流、电压、功率和电能,分布式能源1会存储并上传大量的电流、电压、功率和电能等电力数据至数据中心。
在一些示例中,参见图2,数据压缩系统2执行的数据压缩方法如图所示。在一些示例中,数据压缩方法可以包括:获取电力数据(步骤S010),基于电力数据的正负获取符号数据(步骤S020),确定第一目标长度和第二目标长度(步骤S030),获取数据长度为第一目标长度的第一数据(步骤S040),获取数据长度为第二目标长度的第二数据(步骤S050),数据拼接(步骤S060)。本数据压缩方法是利用单精度浮点数压缩原理来对海量多源异构数据进行压缩,将原来的四个字节压缩为更少的字节,在满足电力数据的范围要求和精度要求的前提下,实现了对浮点型的数据的高度压缩,能够节省25%以上的存储空间。
在一些示例中,步骤S020中,基于电力数据的正负获取符号数据。在一些示例中,若步骤S010中的电力数据是Float型的数据,可以令Float型数据的数据符号位作为24位的浮点型数据格式的数据的符号数据。在一些示例中,若步骤S010中电力数据为十进制的浮点数,可以查找浮点数中是否存在字符“-”,若浮点数中存在字符“-”,则符号数据可以为1;若浮点数中不存在字符“-”,则符号数据可以为0。
在一些示例中,步骤S030中,可以基于电力数据获取预设范围和预设精度,预设范围不小于电力数据的取值范围,预设精度不低于电力数据的精度要求。
在一些示例中,可以基于预设范围确定第一目标长度,基于预设精度确定第二目标长度。在一些示例中,令第一目标长度、第二目标长度、与1的和为目标数据长度,目标数据长度为单位储存长度的预设倍数并小于预设长度。
在一些示例中,电力数据的取值范围在-1000-1000之间,此时第一目标长度可以为5位,电力数据的预设精度要求4~5位的十进制精度,此时第二目标长度可以为18位。
在一些示例中,步骤S040和步骤S050中,基于电力数据获取数据长度为第一目标长度的第一数据,基于电力数据获取数据长度为第二目标长度的第二数据。
在一些示例中,在步骤S040中和步骤S050,可以通过不同的方式获得第一数据和第二数据。
在一些示例中,可以通过将数据左移或右移的方式获得第一数据和第二数据。具体而言,数据压缩方法可以将IEEE 754标准的Float型的电力数据压缩为24位的浮点型数据格式的数据。在一些示例中,步骤S040中,获取第一数据可以包括:将Float型的电力数据的阶码(8位)右移7位得到阶码的第1位(也可以称为阶码的符号位)并作为第一数据的第1位,获取电力数据的阶码的后4位作为第一数据的后4位,将第一数据的第1位和第一数据的后4位拼接获得第一数据。获取第一数据对应的代码可以表示为:
exponent(Float24DL)=sign(exponent 1bit)+(exponent 4bit),
sign(exponent 1bit)=exponent(Float32)>>>7,
(exponent 4bit)=exponent(Float32)&00001111(B),
其中,Float24DL表示24位的浮点型数据格式的数据,exponent(Float24DL)表示第一数据,sign(exponent 1bit)表示第一数据的第1位,(exponent 4bit)表示第一数据的后4位,exponent(Float32)表示Float型的电力数据的阶码。
在一些示例中,步骤S050中,获取第二数据可以包括:Float型的电力数据的尾数右移5位后取23位尾码中的后18位作为第二数据。获取第一数据对应的代码可以表示为:
Fraction(Float24DL)=(fraction(Float32)>>>5)&00000111111111111111111,
其中,Fraction(Float24DL)表示第二数据,fraction(Float32)表示Float型的电力数据的尾数。
在一些示例中,可以通过对电力数据所对应的字符串进行处理以获得第一数据和第二数据。具体而言,数据压缩方法可以将十进制格式的电力数据压缩为24位的浮点型数据格式的数据。
在一些示例中,步骤S040中,可以分离电力数据的整数部分和小数部分,分别获得二进制的整数部分和二进制的小数部分,拼接二进制的整数部分、小数点和二进制的小数部分得到二进制表示的电力数据的字符串。
在一些示例中,可以基于二进制表示的电力数据的字符串中第一个字符“1”和字符“.”的位置关系计算第一数据和第二数据。具体而言,若第一个字符“1”在字符“.”前,可以基于位置关系计算第一数据,拼接二进制的整数部分和小数部分并保留前18位有效数字得到第二数据;若第一个字符“1”在字符“.”后,可以基于位置关系计算第一数据,获取第一个字符“1”后的18位有效数字得到第二数据。
在一些示例中,在步骤S060中,可以进行数据拼接,例如可以将符号数据、第一数据和第二数据进行拼接以获得24位的浮点型数据格式的数据。
在一些示例中,参见图3A,图3A是示出了本公开示例所涉及的边缘计算层接收到的浮点型数据的数据结构示意图。数据符号位的数据长度可以为1位,第一数据部分的数据长度可以为5位,第二数据部分的数据长度可以为18位。第一解压数据部分的符号位的数据长度可以为1位,第一解压数据部分的数据位的数据长度可以为4位。
在一些示例中,参见图3B,图3B是示出了本公开示例所涉及的单精度浮点型的目标数据的示意图。数据符号位的数据长度可以为1位,第一解压数据部分的数据长度可以为8位,第二解压数据部分Y3的数据长度可以为23位。
在一些示例中,目标数据可以为十进制的浮点数据,该格式可以表示为value=(-1)s*X1*10X2。其中,value表示浮点数的值,s表示浮点数的正负(若浮点数为负数,则s为1:若浮点数为正数,则s为0),其中,X1表示十进制的有效数字,X2表示十进制的指数。
在另一些示例中,目标数据可以为二进制的浮点数据,该格式可以表示为:value=(-1)s*X3*2X4。其中,value表示浮点数的值,s表示浮点数的正负(若浮点数为负数,则s为1;若浮点数为正数,则s为0),其中,X3表示二进制的有效数字,X4表示二进制的指数。
在一些示例中,目标数据的数据长度为分布式能源1的采集数据的数据长度。分布式能源1的采集数据的数据精度为十进制的4~5位,同时在十进制表示的情况下,采集数据的数量级也即电力数据的取值范围)一般在-1000~1000之间。在一些示例中,采集数据的数据精度可以基于分布式能源1的台区中的设备(例如光伏组件或风轮)的数量和种类确定。由此可见,无论是数据精度还是取值范围,采集数据均小于Float型的数据。
在一些示例中,Float型的目标数据可以包括1位(bit)符号位、8位阶码以及23位尾码,由于一个字节(Byte)可以包括8位,因此Float型的目标数据可以利用4个字节表示。例如Float型的目标数据可以表示为s+X3'+X4',其中+可以表示为拼接,也即Float型的数据可以是指将s、X3'和X4'拼接在一起,X3'可以是X3的补码,X4'可以是X4的移码。Float型的数据能够表示的规约数(规约数可以是指根据IEEE754标准中的规约数,例如第一数据不全为1或不全为0的数据)的取值范围在-3.4×1038~3.4×1038之间。同时,Float型的目标数据的数据精度表示为lg224=7.22。由此,Float型的数据的数据精度可为十进制的7~8位,换言之,将Float型的目标数据转换为十进制的数据,这种十进制的数据的有效数字至少有7位。
图4是示出了本公开示例所涉及的数据解压缩系统4的结构示意图。在一些示例中,参见图4,数据解压缩系统4可以包括:存储模块41、分割模块42、解压模块43以及拼接模块44。在这种情况下存储模块41缓存接收到的电力数据,由分割模块42将电力数据分割得到分割后的数据,由解压模块43将分割后的数据对应进行解压,再由拼接模块44拼接解压后的数据获得目标数据。
在一些示例中,存储模块41可以配置为缓存接收到的电力数据到第一存储单元。在一些示例中,存储模块41可以设置于并网侧。在一些示例中,存储模块41可以设置于电网边缘的终端设备中。在一些示例中,存储模块41中的第一存储单元用于缓存电力数据,缓存区域对应存储模块41中的部分区域。在一些示例中,存储模块41还有第二存储单元。在一些示例中,第一存储单元可以是只读存储器(ROM,Read-Only Memory),也可以是随机存取存储器(RAM,Random-Access Memory)
在一些示例中,分割模块42可以配置为将接收到的电力数据分割为数据符号位、第一数据部分和第二数据部分。在一些示例中,数据符号位为1位。在一些示例中,第一数据部分为表示电力数据的阶数位,第二数据部分为表示电力数据的尾数位。在一些示例中,第一数据部分为5位,第二数据部分为18位。
在一些示例中,解压模块43可以配置为将第一数据部分右移4位得到第一解压数据部分的符号位,将第一数据部分左移3位得到第一解压数据部分的数据位。
在一些示例中,解压模块43还可以配置为将第二数据部分左移5位得到第二解压数据部分。
在一些示例中,拼接模块44配置为拼接第一数据部分的符号位和第一数据部分的数据位得到第一解压数据部分。在一些示例中,第一解压数据部分为8位。在一些示例中拼接模块44配置为拼接数据符号位、第一解压数据部分和第二解压数据部分得到目标数据。
在一些示例中,在获得目标数据后,存储模块41存储目标数据在第二存储单元中。在一些示例中,第二存储单元可以是只读存储器(ROM,Read-Only Memory),也可以是随机存取存储器(RAM,Random-Access Memory)。
图5是示出了本公开示例所涉及的数据解压缩方法的流程示意图。在一些示例中,第一数据部分可以是用于表征电力数据的数量级的数据。在一些示例中,由于数据在存储和传输的过程中,一般使用二进制的格式存储和传输数据,同时,电力数据一般以浮点数格式表示,因此,第一数据部分可以表示电力数据的二进制的指数。在一些示例中,第一数据部分也可以称为电力数据在二进制的浮点数格式的阶数。
在一种实施方式中,数据解压缩方法可以将24位Float型的电力数据解压缩为目标数据。
在另一种实施方式中,数据解压缩方法可以将十进制的电力数据先转换成二进制24位Float型的电力数据,再对转换后的电力数据解压缩为目标数据。
在一些示例中,参见图5,数据解压缩方法可以包括:缓存接收到的电力数据(步骤S200);将电力数据分割为数据符号位、第一数据部分和第二数据部分(步骤S210);将第一数据部分解压为第一解压数据部分(步骤S220);将第二数据部分解压为第二解压数据部分(步骤S230);拼接数据符号位、第一解压数据部分和第二解压数据部分得到目标数据(步骤S240)。
图6是示出了本公开示例所涉及的获得第一解压缩数据部分的流程示意图。
在一些示例中,参见图6,第一数据部分右移4位得到第一解压数据部分的符号位(步骤S221),将第一数据部分左移3位得到第一解压数据部分的数据位(步骤S222),拼接第一解压数据部分的符号位和第一解压数据部分的数据位得到第一解压数据部分(步骤S223)。
在一些示例中,第二数据部分左移5位(步骤S231)得到第二解压数据部分。
在一些示例中,数据拼接的方式为追加数据位的方式。
图7是示出了本公开示例所涉及的设备的结构图。参见图7,计算机设备包括存储器和处理器。在一些示例中,存储器上有分布式能源1并网监测的数据解压缩程序。在一些示例中,处理器执行数据解压缩程序时实现分布式能源1并网监测的数据解压缩的方法。
在一些示例中,可以利用python仿真代码实现本发明所公开的数据解压缩方法。python代码如下:
#判断符号位,确定浮点数的正负
本公开提供的的电网边缘计算层的分布式能源1并网监测数据解压缩系统4,能够将利用单精度浮点数压缩原理进行压缩过的海量多源异构数据通过解压缩的方式还原到原始数据,将压缩后的三个字节解压缩为原来的四个字节,精度方面该数据解压缩算法在保证电力行业数据5位十进制精度的前提下,对高度压缩过的浮点数进行还原,满足对更高数据精度的需求,且该系统适用于电力行业的分布式能源1并网的各种动态实时监测以及汇总传输等场景。
与现有技术相比,本公开实施例具有如下优点:针对特定格式的浮点数据,解压缩还原到原来的32位标准浮点数,在数据以更低的传输压力在电网中传输以及在存储器中占用更少的存储空间的同时保证了数据的可靠性和可还原性。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述计算机程序可存储于以计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
虽然以上结合附图和示例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。
Claims (10)
1.一种用于电力数据的数据解压缩系统,其特征在于,所述数据解压缩系统包括:存储模块、分割模块、解压模块和拼接模块;
所述存储模块配置为缓存所述电力数据;
所述分割模块配置为将所述电力数据分割为数据符号位、第一数据部分和第二数据部分;
所述解压模块配置为将所述第一数据部分右移4位得到第一解压数据部分的符号位,将所述第一数据部分左移3位得到所述第一解压数据部分的数据位;
所述解压模块还配置为将所述第二数据部分左移5位得到第二解压数据部分;以及
所述拼接模块配置为拼接所述第一解压数据部分的符号位和所述第一解压数据部分的数据位得到所述第一解压数据部分,以及拼接所述数据符号位、所述第一解压数据部分和所述第二解压数据部分得到目标数据。
2.根据权利要求1所述的数据解压缩系统,其特征在于,
所述目标数据为十进制的浮点数据或二进制的浮点数据。
3.如权利要求1所述的数据解压缩系统,其特征在于,
所述存储模块配置为缓存接收到的电力数据到第一存储单元;所述数据解压缩系统在得到所述目标数据之后,缓存所述目标数据到所述存储模块的第二存储单元。
4.如权利要求1所述的数据解压缩系统,其特征在于,
所述电力数据包括电流、电压、功率和电能中的至少一种。
5.如权利要求1所述的数据解压缩系统,其特征在于,
所述目标数据的数据长度为分布式能源的采集数据的数据长度;所述采集数据的数据精度为十进制的4位至5位,所述采集数据的数量级在负1000至1000之间。
6.如权利要求1所述的数据解压缩系统,其特征在于,
所述存储模块设置于并网侧和/或设置于电网边缘的终端设备中。
7.如权利要求1所述的数据解压缩系统,其特征在于,
所述第一解压数据部分的数据长度为8位,所述第二解压数据部分的数据长度为23位。
8.如权利要求1所述的数据解压缩系统,其特征在于,
所述第一数据部分的符号位的数据长度为1位,所述第一数据部分的数据位的数据长度为4位。
9.如权利要求1所述的数据解压缩系统,其特征在于,
所述数据符号位的数据长度为1位,所述第一数据部分的数据长度为5位,所述第二数据部分的数据长度为18位。
10.如权利要求1所述的数据解压缩系统,其特征在于,
传入所述数据解压缩系统的电力数据为时序性的电力数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311262190.XA CN117200803B (zh) | 2023-03-01 | 2023-03-01 | 用于电力数据的数据解压缩系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310212995.7A CN116208170B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩系统、方法及其设备 |
CN202311262190.XA CN117200803B (zh) | 2023-03-01 | 2023-03-01 | 用于电力数据的数据解压缩系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310212995.7A Division CN116208170B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩系统、方法及其设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117200803A true CN117200803A (zh) | 2023-12-08 |
CN117200803B CN117200803B (zh) | 2024-09-13 |
Family
ID=86511006
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311262190.XA Active CN117200803B (zh) | 2023-03-01 | 2023-03-01 | 用于电力数据的数据解压缩系统 |
CN202310212995.7A Active CN116208170B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩系统、方法及其设备 |
CN202311262222.6A Active CN117220687B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310212995.7A Active CN116208170B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩系统、方法及其设备 |
CN202311262222.6A Active CN117220687B (zh) | 2023-03-01 | 2023-03-01 | 分布式能源并网监测的数据解压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN117200803B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5491685A (en) * | 1994-05-19 | 1996-02-13 | Digital Pictures, Inc. | System and method of digital compression and decompression using scaled quantization of variable-sized packets |
US6240431B1 (en) * | 1998-10-31 | 2001-05-29 | Hewlett-Packard Company | Decompression of limited range floating point numbers |
US20130007076A1 (en) * | 2011-06-30 | 2013-01-03 | Samplify Systems, Inc. | Computationally efficient compression of floating-point data |
CN111279617A (zh) * | 2019-04-17 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 数据解压缩的装置与方法 |
CN113965205A (zh) * | 2020-07-20 | 2022-01-21 | 美光科技公司 | 位串压缩 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8824569B2 (en) * | 2011-12-07 | 2014-09-02 | International Business Machines Corporation | High bandwidth decompression of variable length encoded data streams |
JP6048251B2 (ja) * | 2013-03-21 | 2016-12-21 | 富士通株式会社 | データ圧縮装置、データ圧縮方法、およびデータ圧縮プログラム、並びにデータ復元装置、データ復元方法、およびデータ復元プログラム |
KR20240001326A (ko) * | 2015-05-21 | 2024-01-03 | 제로포인트 테크놀로지 에이비 | 시맨틱 값 데이터 압축 및 압축해제를 위한 방법, 장치 및 시스템 |
CN105634499B (zh) * | 2015-12-30 | 2020-12-01 | 广东工业大学 | 一种基于新短浮点型数据的数据转换方法 |
CN110912562A (zh) * | 2018-09-18 | 2020-03-24 | 深圳市茁壮网络股份有限公司 | 一种浮点数据处理方法、装置及存储介质 |
CN112003624B (zh) * | 2020-08-05 | 2024-01-26 | 北京有生志广科技有限公司 | 无线电监测数据无损压缩与在线解压缩方法、装置 |
CN112234996B (zh) * | 2020-10-29 | 2023-03-21 | 广东电网有限责任公司计量中心 | 一种电力负荷数据的压缩方法、装置、设备和存储介质 |
CN113254259B (zh) * | 2021-05-10 | 2024-03-22 | 桂林电子科技大学 | 一种用于改善低精度浮点数传输效率的方法 |
-
2023
- 2023-03-01 CN CN202311262190.XA patent/CN117200803B/zh active Active
- 2023-03-01 CN CN202310212995.7A patent/CN116208170B/zh active Active
- 2023-03-01 CN CN202311262222.6A patent/CN117220687B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5491685A (en) * | 1994-05-19 | 1996-02-13 | Digital Pictures, Inc. | System and method of digital compression and decompression using scaled quantization of variable-sized packets |
US6240431B1 (en) * | 1998-10-31 | 2001-05-29 | Hewlett-Packard Company | Decompression of limited range floating point numbers |
US20130007076A1 (en) * | 2011-06-30 | 2013-01-03 | Samplify Systems, Inc. | Computationally efficient compression of floating-point data |
CN111279617A (zh) * | 2019-04-17 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 数据解压缩的装置与方法 |
CN113965205A (zh) * | 2020-07-20 | 2022-01-21 | 美光科技公司 | 位串压缩 |
Also Published As
Publication number | Publication date |
---|---|
CN117220687B (zh) | 2024-09-13 |
CN116208170B (zh) | 2023-10-27 |
CN117220687A (zh) | 2023-12-12 |
CN116208170A (zh) | 2023-06-02 |
CN117200803B (zh) | 2024-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2485687C2 (ru) | Способ и устройство для осуществления отображения и обратного отображения клиентского сигнала | |
CN104378117B (zh) | 数据压缩方法及装置、数据传输方法及系统 | |
CN117200802B (zh) | 用于电网边缘计算层的数据压缩系统 | |
CN104951857A (zh) | 基于电网gis的气象数据调用与预处理方法及系统 | |
CN105868194A (zh) | 文本数据压缩、解压方法及装置 | |
EP4258135A1 (en) | Matrix calculation apparatus, method, system, circuit, chip, and device | |
CN117149130B (zh) | 一种应用于fpga嵌入式dsp的多精度浮点乘法器结构 | |
CN117200803B (zh) | 用于电力数据的数据解压缩系统 | |
CN109039342B (zh) | 一种出力数据的压缩方法、系统和解压缩方法、系统 | |
CN112134568A (zh) | 一种有损的数据压缩、解压缩方法及其系统 | |
WO2021143634A1 (zh) | 算术编码器及实现算术编码的方法和图像编码方法 | |
CN107064621B (zh) | 智能电表数据压缩方法和系统 | |
CN110912563A (zh) | 一种针对动力电池的数据压缩优化方法 | |
CN115474044A (zh) | 一种Bayer域图像有损压缩方法 | |
CN111371461B (zh) | 一种适用于智能电表的原码与反码混合式数据压缩方法 | |
CN103457610A (zh) | 一种空间数据的编码方法及系统 | |
CN102651795A (zh) | 游长缩减的二元序列压缩编码方法 | |
CN1317882A (zh) | 一种对数据库中的数据进行压缩与解压缩的方法 | |
CN114666406B (zh) | 一种基于物模型的电力物联网数据压缩方法及装置 | |
CN1437340A (zh) | 从传输格式组合的计算值到传输格式组合指示的映射方法 | |
CN118193442B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
CN118333128B (zh) | 一种大型语言模型的权重压缩处理系统及装置 | |
CN116028508B (zh) | 一种上报存储方法、装置、电能表设备以及存储介质 | |
CN106341135A (zh) | 基于无人机多通道颗粒物的实时压缩方法 | |
CN116131861A (zh) | 数值数据压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |