CN116828070A - 一种智慧电网数据优化传输方法 - Google Patents
一种智慧电网数据优化传输方法 Download PDFInfo
- Publication number
- CN116828070A CN116828070A CN202311083591.9A CN202311083591A CN116828070A CN 116828070 A CN116828070 A CN 116828070A CN 202311083591 A CN202311083591 A CN 202311083591A CN 116828070 A CN116828070 A CN 116828070A
- Authority
- CN
- China
- Prior art keywords
- data
- value
- data segment
- segment
- repeatability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000005540 biological transmission Effects 0.000 title claims abstract description 39
- 238000005457 optimization Methods 0.000 title claims abstract description 20
- 238000007906 compression Methods 0.000 claims abstract description 37
- 230000006835 compression Effects 0.000 claims abstract description 34
- 238000013144 data compression Methods 0.000 claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 230000002596 correlated effect Effects 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据压缩技术领域,具体涉及一种智慧电网数据优化传输方法。本发明首先获取待处理的原始数据序列,然后对原始数据序列进行划分获得数据段;分析每个数据段中的数据进而获得密集性程度值和复杂程度;根据密集性程度值、复杂程度和数据值出现的频率获得重复性概率;根据数据值将每个数据段划分为数据阶梯,然后对数据阶梯进行分析获得连续重复性指标,根据重复性概率、连续重复性指标和预设窗口尺寸获得每个数据段的自适应窗口尺寸,根据所有自适应窗口尺寸对原始数据序列进行压缩,获得压缩结果并传输。本发明实施例从数据的局部出发,获取每个数据段的自适应窗口尺寸,有效提高了数据压缩的效率,进而提高数据传输的效率。
Description
技术领域
本发明涉及数据压缩技术领域,具体涉及一种智慧电网数据优化传输方法。
背景技术
随着人工智能领域的快速发展,智慧电网的建设取得了巨大的进步。智慧电网,即智能化电网,以最新的设备、传感技术以及先进的算法实现电网的智能运转,使得电力系统更具备可靠性、高效性、安全性。智慧电网是一个自动化、信息化以及互动化的电力系统,其数据的传输发挥着重要作用,而智慧电网数据量庞大,往往需要对数据进行压缩,再进行传输,用以提高传输效率。
随着数据压缩领域的发展,多数采用对传感技术监测数据进行压缩,达到资源优化的方法,用以提高数据传输的效率。LZ77数据压缩算法作为一种无损压缩算法,现有技术中通常使用LZ77数据压缩算法对电网数据进行压缩,但是在利用该算法时通常采用固定尺寸的滑动窗口,当电网数据出现较多重复数据时会影响压缩效率,最终导致传输效率低下。
发明内容
为了解决利用LZ77数据压缩算法时通常采用固定尺寸的滑动窗口,当电网数据出现较多重复数据时会影响压缩效率,最终导致传输效率低下的技术问题,本发明的目的在于提供一种智慧电网数据优化传输方法,所采用的技术方案具体如下:
本发明提出了一种智慧电网数据优化传输方法,所述方法包括:
获取待处理的原始数据序列;
根据每个所述原始数据序列中数据的变化趋势对每个所述原始数据序列进行划分,获得数据段;根据每个所述数据段中数据值之间的差异获得每个所述数据段的密集性程度值;
获取每个所述数据段的复杂程度;根据每个所述数据段的密集性程度值、复杂程度以及数据段中所有数据值出现的频率,获得每个所述数据段的重复性概率;根据每个所述数据段中的数据值对每个数据段进行划分获得数据阶梯,根据每个所述数据段中所有数据阶梯的长度以及数据阶梯之间的数据值差异获得每个数据段的连续重复性指标;
根据预设窗口尺寸和每个数据段的重复性概率、连续重复性指标获得自适应窗口尺寸;根据所有所述自适应窗口尺寸对所述原始数据序列进行压缩,获得压缩结果;
根据所述压缩结果完成电网数据的传输。
进一步地,所述数据段的获取方法包括:
基于最小二乘非线性拟合算法对每个所述原始数据序列中的数据值进行拟合,获得拟合函数;
将每个所述拟合函数中相邻两个极小值点的横坐标之间的原始数据序列作为一个数据段。
进一步地,所述密集性程度值的获取方法包括:
将每个所述数据段中数据的最大值与最小值的差值进行负相关映射并归一化后作为极差特征值;
将每个所述数据段中所有相邻的两个数据值的差异进行累加并归一化后作为累加特征值;
根据所述极差特征值与所述累加特征值获得密集性程度值,所述密集性程度值与所述极差特征值呈正相关,所述密集性程度值与所述累加特征值呈负相关。
进一步地,所述复杂程度的获取方法包括:
将每个所述数据段的信息熵作为每个所述数据段的所述复杂程度。
进一步地,所述重复性概率的获取方法包括:
将每个所述数据段中所有数据值出现的频率的平均值作为频率均值;
将每个所述数据段的复杂程度的值进行负相关映射并归一化后的值作为重复性指标;
将每个所述数据段的所述重复性指标、所述频率均值以及所述密集性程度值相乘作为初始重复性概率,将所述初始重复性概率进行归一化后作为所述重复性概率。
进一步地,所述数据阶梯的获取方法包括:
将每个所述数据段中的数据值进行排序获得有序序列,将每个所述有序序列中相同的数据值作为一个数据阶梯。
进一步地,所述连续重复性指标的获取方法包括:
获取每个所述数据段中每个数据阶梯的长度,将每个所述数据段中所有数据阶梯的长度的平均值作为长度均值;
将每个所述数据段中所有的相邻两个数据阶梯对应的数据值的差异进行累加,作为累加差异值;
根据所述长度均值和所述累加差异值获得所述连续重复性指标,所述连续重复性指标与所述长度均值呈正相关,所述连续重复性指标与所述累加差异值呈负相关。
进一步地,所述预设窗口尺寸为8×1。
进一步地,所述自适应窗口尺寸的获取方法包括:
将每个所述数据段的所述重复性概率与所述连续重复性指标相乘并取整作为调节参数,所述取整为四舍五入取整;
根据所述调节参数与所述预设窗口尺寸获得所述自适应窗口尺寸,所述自适应窗口尺寸与所述调节参数呈正相关。
进一步地,所述压缩结果的获取方法包括:
将所述自适应窗口尺寸根据预设比例设置为左侧字典区和右侧待编码区,基于LZ77数据压缩算法根据所有数据段的所述自适应窗口尺寸对所述原始数据序列进行压缩,获得压缩结果。
本发明具有如下有益效果:
本发明的目的在于通过优化电网数据的压缩过程进而提高电网数据的传输效率;因此首先获得待处理的原始数据序列,由于使用固定尺寸的滑动窗口会导致数据压缩效率低下,因此本发明通过原始数据序列中数据的变化趋势将原始数据序列进行分段,获得多个数据段,进而从局部出发,对每个数据段进行分析;通过每个数据段中数据值之间的差异可以获得表征数据段中数据分布特征的密集性程度值;然后将数据段的复杂程度、密集性程度值以及数据段中数据值出现的频率结合起来获得每个数据段的重复性概率,重复性概率可以初步表征出每个数据段中出现重复数据的情况,即可以初步反映出每个数据段需要的滑动窗口尺寸;然后由于每个数据段中数据的连续重复性也可以反映出每个数据段需要的滑动窗口尺寸,故可以将每个数据段基于数据值的大小进行划分,获得数据阶梯,进而通过数据阶梯的长度以及数据阶梯之间的数据值的差异获得连续重复性指标;然后将预设窗口尺寸、连续重复性指标以及重复性概率进行结合可获得每个数据段的最适合的窗口尺寸,也即获得了自适应窗口尺寸;最后根据所有数据段的自适应窗口尺寸对原始数据序列进行压缩,获得压缩结果并进行数据传输。本发明通过从局部进行处理,获得每个数据段的自适应窗口尺寸,避免了当数据连续且重复的现象较多时滑动窗口选取较小的情况,可以提高数据压缩的效率,进而提高了数据的传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种智慧电网数据优化传输方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种智慧电网数据优化传输方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
一种智慧电网数据优化传输方法实施例:
下面结合附图具体的说明本发明所提供的一种智慧电网数据优化传输方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供一种智慧电网数据优化传输方法的方法流程图,该方法包括以下步骤:
步骤S1:获取待处理的原始数据序列。
由于电网数据量庞大,所以往往需要对其进行压缩优化,然后再进行传输,以此来提高智慧电网数据的传输效率。本发明实施例在LZ77数据压缩算法的基础上提供了一种优化传输的方法,首先需要获取智慧电网中待处理的原始数据序列,获取的方法可以利用智慧电网中的传感技术,通过多功能传感器对智慧电网中的智能中置柜进行数据采集,采集的周期时长为一周,所采集的数据序列长度记为N,将所采集的数据序列中任意一个数据序列记为,即/>。在本发明一个实施例中,多功能传感器为温度传感器和湿度传感器为一体的多功能传感器,因此获得的待处理的原始数据序列的个数为2。需要说明的是,进行数据采集的装置可根据具体实施场景进行调整,在此不做限定及赘述,待处理的原始数据序列的个数以及所采集的数据的周期时长也可根据具体情况进行调整,在此不做限定。
至此,可以获得智慧电网中待处理的原始数据序列,然后可对其完成后续的操作过程。
步骤S2:根据每个原始数据序列中数据的变化趋势对每个原始数据序列进行划分,获得数据段;根据每个数据段中数据值之间的差异获得每个数据段的密集性程度值。
传统的LZ77数据压缩算法通常使用固定的滑动窗口尺寸,但是当遇到数据出现连续且重复的现象较多时,固定尺寸的滑动窗口不利于提高整体数据的压缩速度,因此会降低数据压缩效率,进而影响数据传输效率。所以本发明实施例从数据的局部出发,由于当序列中数据的局部变化趋势区域平稳时,即数据具有较小的差异时,那么此时出现数据重复的概率极高,而当序列中数据的局部变化趋势为单调递增或者单调递减时,那么此时出现数据重复的概率极低;所以可以根据每个原始数据序列中数据的变化趋势对每个原始数据序列进行划分,将其划分为多个数据段,然后对每个数据段进行分析处理。
优选地,本发明一个实施例中数据段的获取方法包括:
基于最小二乘非线性拟合算法对每个原始数据序列中的数据值进行拟合,可以获得拟合函数,然后可以利用MATLAB数学软件绘制拟合函数图像,获取拟合函数图像的原因在于可以更加直观清晰的表示原始数据序列中数据的整体变化趋势,便于进行划分获取数据段;此时拟合后的函数的横轴可以和原始数据序列中数据的下标相对应,而拟合函数即可表示出原始数据序列中数据的整体变化趋势,然后可将每个拟合函数中相邻两个极小值点的横坐标之间的原始数据序列作为一个数据段。需要说明的是,本发明实施例中拟合函数的极小值点的获取方法具体可以例如为,通过一阶导数为0而二阶导数大于0的方式筛选出极小值点的横坐标。需要说明的是,最小二乘非线性拟合算法以及利用MATLAB数学软件绘制拟合函数图像为本领域技术人员熟知的技术手段,在此不做赘述。
然后可以对每个数据段中的数据进行分析,由于数据段中数据值的分布越密集,则越可能出现数据重复的情况,而数据分布的密集情况可以根据数据值之间的差异获得,因此可以根据每个数据段中数据值之间的差异获得每个数据段的密集性程度值。
优选地,本发明一个实施例中密集性程度值的获取方法包括:
由于每个数据段中数据的最大值与最小值可以视为该数据段中数据的边界值,因此可以将每个数据段中数据的最大值与最小值的差值进行负相关映射并归一化后作为极差特征值,极差特征值可以表征该数据段中数据分布的集中情况;然后可以统计每个数据段中两两相邻的数据值之间的差异,将所有差异进行累加并归一化后作为累加特征值,最后根据极差特征值与累加特征值获得密集性程度值,并且密集性程度值与极差特征值呈正相关,与累加特征值呈负相关。密集性程度值的公式模型具体可以例如为:
其中,表示第/>个数据段的密集性程度值,/>表示第/>个数据段中数据的最大值,/>表示第/>个数据段中数据的最小值,/>表示第/>个数据段中第/>个数据的数据值,表示第/>个数据段中第/>个数据的数据值,∑表示求和符号,/>表示归一化函数,/>表示第/>个数据段中数据的总数,/>表示自然常数。
在密集性程度值的公式模型中,当数据段中数据的最大值与最小值的差值越小时,则极差特征值就越大,即越大,说明该数据段中的数据值分布的集中性越大,那么密集性程度值就越大,同时当数据段中所有的相邻两个数据值的差异越小,那么将所有差异累加起来的值也就越小,即累加特征值/>越小,说明该数据段中数据值之间的变化差异较小,那么密集性程度值就越大;然后将极差特征值与累加特征值进行结合获得密集性程度值。需要说明的是,归一化的操作为本领域技术人员熟知的计算过程,在此不做赘述。
至此,通过每个数据段中数据值之间的差异获得了每个数据段的密集性程度值,当密集性程度值越大时,则该数据段中就越可能出现数据重复的现象,然后可以继续进行后续的分析处理。
步骤S3:获取每个数据段的复杂程度;根据每个数据段的密集性程度值、复杂程度以及数据段中所有数据值出现的频率,获得每个数据段的重复性概率;根据每个数据段中的数据值对每个数据段进行划分获得数据阶梯,根据每个数据段中所有数据阶梯的长度以及数据阶梯之间的数据值差异获得每个数据段的连续重复性指标。
在步骤S2中获得了每个数据段的密集性程度值,由于每个数据段中数据的复杂程度也可以作为衡量数据是否出现重复的一个指标,因此可以获得每个数据段的复杂程度。
优选地,本发明一个实施例中复杂程度的获取方法包括:
因为数据的信息熵可以作为衡量数据复杂程度的指标,所以可以使用每个数据段的信息熵作为每个数据段的复杂程度。需要说明的是,信息熵的计算公式为本领域技术人员熟知的过程,在此不做赘述,在本发明其他实施例中数据段的复杂程度也可使用方差、标准差等进行表示,在此不做限定。
由于每个数据段中数据值出现的频率也可以作为衡量该数据段中的数据是否出现重复的指标,因此可以将每个数据段的密集性程度值、复杂程度以及数据段中所有数据值出现的频率进行结合获得每个数据段的重复性概率。
优选地,本发明一个实施例中重复性概率的获取方法包括:
首先获取每个数据段中所有数据值出现的频率的平均值,将该平均值作为频率均值;然后将每个数据段的复杂程度的值进行负相关映射并归一化后的值作为重复性指标,将数据段的重复性指标、频率均值以及该数据段的密集性程度值三者进行相乘作为该数据段的初始重复性概率,再将初始重复性概率进行归一化即可获得该数据段的重复性概率。重复性概率的公式模型为:
其中,表示第/>个数据段的重复性概率,/>表示第/>个数据段中第/>种数据值出现的频率,/>表示第/>个数据段中数据值的种数,/>表示第/>个数据段的密集性程度值,/>表示第/>个数据段的复杂程度的值∑表示求和符号,/>表示归一化函数,/>表示自然常数。
在重复性概率的公式模型中,当数据段中数据值的频率均值,即越大时,则说明在平均水平上该数据段中数据出现重复的概率就越大;同时,当数据段的密集性程度值越大,而数据段的复杂程度的值越小,即数据段的重复性指标/>越大时,则说明该数据段内数据值之间的变化幅度较小,数据值在较小的范围内变动,并且该数据段中数据的复杂程度低,那么该数据段中就越可能出现数据重复的情况,也即该数据段的重复性概率就越大。
由于在步骤S2中对原始数据序列进行划分数据段时是根据原始数据序列的拟合函数的极小值点进行划分的,所以如果数据段中出现数据重复程度较大的情况,极大概率是多个重复的数据连续出现的情况,因此,为了更加清晰直观的反映这种情况,可以依据每个数据段中的数据值对每个数据段进行再次划分,获得多个数据阶梯,数据阶梯可以清楚的表征每个数据段中出现相同数据的情况。
优选地,本发明一个实施例中数据阶梯的获取方法包括:
首先对每个数据段中的所有数据进行排序获得一个有序序列,形成阶梯式数据,例如为,其中,/>表示第/>个数据段中所有数据进行排序后获得的一个有序序列;然后可对该有序序列根据数据值进行划分,即有序序列中相同的数据值作为一个数据阶梯,例如,/>为该有序序列中第一个数据阶梯,为该有序序列中第二个数据阶梯,/>为该有序序列中第三个数据阶梯,以此类推,可以获得该数据段的所有数据阶梯。需要说明的是,本发明一个实施例中有序序列采用的为升序序列,实施者也可采用降序序列,在此不做限定及赘述。
由于数据阶梯可以初步反映出一个数据段中出现连续重复数据的可能性,因此在获取到每个数据段的数据阶梯之后,可以根据每个数据段中数据阶梯的长度以及数据阶梯之间的数据值差异对每个数据段出现连续重复数据的可能性进行量化,即获得每个数据段的连续重复性指标。
优选地,本发明一个实施例中连续重复性指标的获取方法包括:
首先获取每个数据段包含的每个数据阶梯的长度,然后将数据段中所有数据阶梯的长度进行累加并求平均值,将该平均值作为长度均值,长度均值可以表征每个数据段中所有数据阶梯长度的平均水平;然后由于同一数据段中不同数据阶梯之间数据值的差异可以反映出该数据段的变化特征,故将每个数据段中所有的相邻两个数据阶梯对应的数据值的差异进行累加作为累加差异值;最后将长度均值与累加差异值进行结合获得该数据段的连续重复性指标,并且连续重复性指标与长度均值呈正相关,与累加差异值呈负相关。连续重复性指标的公式模型具体可以例如为:
其中,表示第/>个数据段的连续重复性指标,/>表示第/>个数据段中的数据阶梯的总数,/>表示第/>个数据段中第/>个数据阶梯的长度,/>表示第/>个数据段中第/>个数据阶梯对应的数据值,/>表示第/>个数据段中第/>个数据阶梯对应的数据值,∑表示求和符号,/>表示预设参数。
在连续重复性指标的公式模型中,当数据段中数据阶梯的长度均值越大时,说明该数据段中的数据阶梯数较少,且每个数据阶梯的长度较长,则该数据段发生数据连续重复出现的可能性就越大,即该数据段的连续重复性指标就越大;同时,当数据段中相邻数据阶梯之间数据值差异的累加差异值/>越小,说明该数据段中数据的变化幅度较小,表示该数据段中数据的变化情况趋于平稳,则此时该数据段发生数据连续重复出现的可能性也就越大,即该数据段的连续重复性指标就越大。需要说明的是,表示预设参数,主要目的在于避免分母为0,根据经验可取值为0.0001,具体数值的设置实施者可进行调整,在此不做限定。
至此,获得了每个数据段的重复性概率以及连续重复性指标,可以对每个数据段进行后续的分析与处理。
步骤S4:根据预设窗口尺寸和每个数据段的重复性概率、连续重复性指标获得自适应窗口尺寸;根据所有自适应窗口尺寸对原始数据序列进行压缩,获得压缩结果。
由于本发明实施例中使用LZ77数据压缩算法优化滑动窗口尺寸进而对数据进行压缩,所以可以将步骤S3获得的每个数据段的重复性概率和连续重复性指标与预设窗口尺寸进行结合,故首先需要设置预设窗口尺寸。
优选地,本发明一个实施例中预设窗口尺寸的取值为8×1,需要说明的是,取值为8×1为根据经验取值,预设窗口尺寸取值的具体数值实施者可根据具体实施场景进行调整,在此不做限定。
然后可以根据预设窗口尺寸、每个数据段的重复性概率以及连续重复性指标获得每个数据段的自适应窗口尺寸,由于每个数据段的重复性概率以及连续重复性指标依次表征了每个数据段中数据出现重复和连续重复的情况,因此每个数据段的自适应窗口尺寸在使用LZ77数据压缩算法时可以更加适应于该数据段中数据的变化情况。
优选地,本发明一个实施例中自适应窗口尺寸的获取方法包括:
首先将每个数据段的重复性概率与连续重复性指标相乘并进行四舍五入取整作为调节参数;然后将调节参数与预设窗口尺寸进行结合获得每个数据段的自适应窗口尺寸,并且调节参数与自适应窗口尺寸呈正相关;由于在使用LZ77数据压缩算法时,滑动窗口的长度会影响数据的压缩效果,所以本发明实施例通过改变预设窗口的长度来获取自适应窗口的尺寸。自适应窗口尺寸的公式模型具体可以例如为:
其中,表示第/>个数据段的自适应窗口尺寸,/>表示第/>个数据段的重复性概率,表示第/>个数据段的连续重复性指标,/>表示四舍五入取整函数,/>表示预设窗口长度。
在自适应窗口尺寸的公式模型中,当数据段的重复性概率以及连续重复性指标都越大时,则说明该数据段中出现连续的重复数据的可能性也就越大,此时四舍五入获得的调节参数也就越大,那么该数据段的自适应窗口也就越大,就可以更加适应于该数据段中数据的变化特征。
在获取到每个数据段的自适应窗口尺寸之后,就可以根据所有数据段的自适应窗口尺寸对原始数据序列进行压缩,然后获得原始数据序列的压缩结果。
优选地,本发明一个实施例中压缩结果的获取方法包括:
由于上述过程中皆是对于LZ77数据压缩算法中滑动窗口的尺寸进行了优化,所以本实施例中使用LZ77数据压缩算法对原始数据序列进行压缩,在压缩的过程中,将每个自适应窗口按照预设比例设置为左侧的字典区和右侧的待编码区,由于原始数据序列已经被划分为多个数据段,且每个数据段都有各自的自适应窗口尺寸,因此当滑动窗口的最右端滑入下一个数据段时,此时滑动窗口的尺寸应改变为该数据段的自适应窗口尺寸。例如,当滑动窗口的最右端在原始数据序列的第10个数据段中滑动时,自适应窗口的尺寸为,而当滑动窗口的最右端滑入原始数据序列的第11个数据段中时,自适应窗口的尺寸应改变为;以此类推,即可基于LZ77数据压缩算法获得原始数据序列的压缩结果。需要说明的是,LZ77数据压缩算法为本领域技术人员熟知的技术手段,在此不做赘述;该实施例中预设比例设置为5:3,具体的比例设置实施者可根据具体实施场景进行调整,在此不做限定。
至此,获得了原始数据序列的压缩结果。
步骤S5:根据压缩结果完成电网数据的传输。
在获取到原始数据序列的压缩结果之后,即可根据压缩结果完成电网数据的传输,可以将压缩结果作为处理后的电网数据电传输至对应的接收端,对此不做限制。由于本发明实施例在压缩过程中的滑动窗口的尺寸可以更加适应于原始数据序列的局部数据变化特征,因此可以提高数据压缩的效果,优化了原始数据序列的存储情况,进而使得对压缩后的数据进行传输时可以获得更高的传输效率。
综上所述,本发明实施例主要针对电网数据的压缩传输,因此首先获取了待处理的原始数据序列,由于传统的LZ77数据压缩算法使用固定尺寸的滑动窗口,会导致当数据出现连续重复情况时的压缩效率低下,所有本发明实施例从数据序列的局部进行分析,根据每个原始数据序列中数据的变化趋势对每个原始数据序列进行划分,变化趋势的获取方法可以为对每个原始数据序列中的数据值进行最小二乘非线性拟合获得拟合函数,然后再根据拟合函数的极小值点划分原始数据序列获得数据段;由于数据段中数据值的重复性可以通过数据段中数据值的密集程度以及复杂程度进行衡量,所以进一步地根据数据段中数据之间的差异获得了每个数据段的密集性程度值,根据数据的信息熵获得数据段的复杂程度,进而将密集性程度值、复杂程度以及每个数据段中数据值出现的频率进行结合获得了每个数据段的重复性概率;然后可以获取每个数据段中数据的连续重复性,故根据每个数据段中的数据值将数据段再次划分,划分为数据阶梯,即先排序,然后将数据段中相同的数据值作为一个数据阶梯,进而可以根据每个数据段中数据阶梯的长度以及数据阶梯之间的数据值的差异获得每个数据段的连续重复性指标,连续重复性指标可以衡量每个数据段中出现连续重复的数据的可能性;进而可以将每个数据段的重复性概率、连续重复性指标以及预设窗口尺寸进行结合获得每个数据段的自适应窗口尺寸,自适应窗口尺寸可以更好的贴合每个数据段的数据变化特征;最后可以基于LZ77数据压缩算法根据所有自适应窗口尺寸对原始数据序列进行压缩,获得压缩结果,本发明实施例通过从数据的局部出发,获取每个数据段的自适应窗口尺寸,可以有效提高数据压缩的效率,进而可以提高数据传输的效率。
一种智慧电网数据压缩方法实施例:
智慧电网在日常生活中发挥着重要的作用,智慧电网即智能化电网,是一个自动化、信息化以及互动化的电力系统;并且智慧电网中包含着庞大且重复度较高的数据,因此往往需要对智慧电网中的数据进行压缩。而LZ77数据压缩算法作为一种无损压缩算法,通常会被用于数据压缩领域,但是由于LZ77数据压缩算法中滑动窗口的尺寸通常为固定尺寸,因此当待处理的数据序列中重复数据较多时,使用固定尺寸的滑动窗口会影响数据的压缩效率。为了解决当待处理的数据序列中重复数据较多时,LZ77数据压缩算法使用固定尺寸的滑动窗口会影响数据的压缩效率的技术问题,本实施例提供了一种智慧电网数据压缩方法,包括:
步骤S1:获取待处理的原始数据序列;
步骤S2:根据每个原始数据序列中数据的变化趋势对每个原始数据序列进行划分,获得数据段;根据每个数据段中数据值之间的差异获得每个数据段的密集性程度值;
步骤S3:获取每个数据段的复杂程度;根据每个数据段的密集性程度值、复杂程度以及数据段中所有数据值出现的频率,获得每个数据段的重复性概率;根据每个数据段中的数据值对每个数据段进行划分获得数据阶梯,根据每个数据段中所有数据阶梯的长度以及数据阶梯之间的数据值差异获得每个数据段的连续重复性指标;
步骤S4:根据预设窗口尺寸和每个数据段的重复性概率、连续重复性指标获得自适应窗口尺寸;根据所有自适应窗口尺寸对原始数据序列进行压缩,获得压缩结果。
其中,步骤S1~S4在上述一种智慧电网数据优化传输方法实施例中已给出了详细说明,在此不再赘述。
本实施例带来的有益效果包括:由于需要提高待处理数据序列的压缩效率,因此本发明实施例首先获取待处理的原始数据序列,然后为了能够提高数据整体的压缩效率,可以从数据的局部特征出发,通过原始数据序列的数据变化趋势将原始数据序列进行分段,然后对每一个数据段进行分析;通过每个数据段中数据值之间的差异可以获得数据段的密集性程度值,密集性程度值可以反映数据段中数据的分布特征;然后将数据段的密集性程度值、复杂程度以及每个数据值出现的频率相结合获得数据段的重复性概率,重复性概率可以初步表征出每个数据段中出现重复数据的情况,也即可以初步反映出每个数据段所需的滑动窗口的尺寸;然后可以进一步地分析每个数据段中数据出现联系重复性的概率,即可基于数据值将每个数据段中的数据进行划分,获得数据阶梯,然后通过数据阶梯的长度以及数据阶梯之间的数据值的差异获得连续重复性指标;进而可将预设窗口尺寸、重复性概率以及连续重复性指标进行结合获得每个数据段的最适合的滑动窗口尺寸,也即获得了每个数据段的自适应滑动窗口尺寸,进而可以根据每个数据段的自适应滑动窗口尺寸对原始数据序列进行数据压缩;由于本发明实施例通过从数据的局部出发,分析了数据的局部特征,进而获得每个数据段的自适应窗口尺寸,因此可以避免当数据出现连续重复时使用固定尺寸的滑动窗口导致的数据压缩效率低下的问题,可以有效的提高数据压缩效率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (9)
1.一种智慧电网数据优化传输方法,其特征在于,所述方法包括:
获取待处理的原始数据序列;
根据每个所述原始数据序列中数据的变化趋势对每个所述原始数据序列进行划分,获得数据段;根据每个所述数据段中数据值之间的差异获得每个所述数据段的密集性程度值;
获取每个所述数据段的复杂程度;根据每个所述数据段的密集性程度值、复杂程度以及数据段中所有数据值出现的频率,获得每个所述数据段的重复性概率;根据每个所述数据段中的数据值对每个数据段进行划分获得数据阶梯,根据每个所述数据段中所有数据阶梯的长度以及数据阶梯之间的数据值差异获得每个数据段的连续重复性指标;
根据预设窗口尺寸和每个数据段的重复性概率、连续重复性指标获得自适应窗口尺寸;根据所有所述自适应窗口尺寸对所述原始数据序列进行压缩,获得压缩结果;
根据所述压缩结果完成电网数据的传输;
所述数据段的获取方法包括:
基于最小二乘非线性拟合算法对每个所述原始数据序列中的数据值进行拟合,获得拟合函数;
将每个所述拟合函数中相邻两个极小值点的横坐标之间的原始数据序列作为一个数据段。
2.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述密集性程度值的获取方法包括:
将每个所述数据段中数据的最大值与最小值的差值进行负相关映射并归一化后作为极差特征值;
将每个所述数据段中所有相邻的两个数据值的差异进行累加并归一化后作为累加特征值;
根据所述极差特征值与所述累加特征值获得密集性程度值,所述密集性程度值与所述极差特征值呈正相关,所述密集性程度值与所述累加特征值呈负相关。
3.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述复杂程度的获取方法包括:
将每个所述数据段的信息熵作为每个所述数据段的所述复杂程度。
4.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述重复性概率的获取方法包括:
将每个所述数据段中所有数据值出现的频率的平均值作为频率均值;
将每个所述数据段的复杂程度的值进行负相关映射并归一化后的值作为重复性指标;
将每个所述数据段的所述重复性指标、所述频率均值以及所述密集性程度值相乘作为初始重复性概率,将所述初始重复性概率进行归一化后作为所述重复性概率。
5.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述数据阶梯的获取方法包括:
将每个所述数据段中的数据值进行排序获得有序序列,将每个所述有序序列中相同的数据值作为一个数据阶梯。
6.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述连续重复性指标的获取方法包括:
获取每个所述数据段中每个数据阶梯的长度,将每个所述数据段中所有数据阶梯的长度的平均值作为长度均值;
将每个所述数据段中所有的相邻两个数据阶梯对应的数据值的差异进行累加,作为累加差异值;
根据所述长度均值和所述累加差异值获得所述连续重复性指标,所述连续重复性指标与所述长度均值呈正相关,所述连续重复性指标与所述累加差异值呈负相关。
7.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述预设窗口尺寸为8×1。
8.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述自适应窗口尺寸的获取方法包括:
将每个所述数据段的所述重复性概率与所述连续重复性指标相乘并取整作为调节参数,所述取整为四舍五入取整;
根据所述调节参数与所述预设窗口尺寸获得所述自适应窗口尺寸,所述自适应窗口尺寸与所述调节参数呈正相关。
9.根据权利要求1所述的一种智慧电网数据优化传输方法,其特征在于,所述压缩结果的获取方法包括:
将所述自适应窗口尺寸根据预设比例设置为左侧字典区和右侧待编码区,基于LZ77数据压缩算法根据所有数据段的所述自适应窗口尺寸对所述原始数据序列进行压缩,获得压缩结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311083591.9A CN116828070B (zh) | 2023-08-28 | 2023-08-28 | 一种智慧电网数据优化传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311083591.9A CN116828070B (zh) | 2023-08-28 | 2023-08-28 | 一种智慧电网数据优化传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116828070A true CN116828070A (zh) | 2023-09-29 |
CN116828070B CN116828070B (zh) | 2023-11-07 |
Family
ID=88115283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311083591.9A Active CN116828070B (zh) | 2023-08-28 | 2023-08-28 | 一种智慧电网数据优化传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116828070B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117171118A (zh) * | 2023-11-02 | 2023-12-05 | 山东天晴生物科技股份有限公司 | 一种乡村营销数据智能管理系统 |
CN117238504A (zh) * | 2023-11-01 | 2023-12-15 | 江苏亿通高科技股份有限公司 | 一种智慧城市cim数据优化处理方法 |
CN117273764A (zh) * | 2023-11-21 | 2023-12-22 | 威泰普科技(深圳)有限公司 | 一种电子雾化器防伪管理方法及系统 |
CN117316301A (zh) * | 2023-11-22 | 2023-12-29 | 北华大学 | 一种基因检测数据智能压缩处理方法 |
CN117376430A (zh) * | 2023-10-30 | 2024-01-09 | 北京富邦智达自动化科技有限公司 | 基于dcs的工业数据快速传输方法及系统 |
CN117459072A (zh) * | 2023-12-22 | 2024-01-26 | 深圳市消防救援支队 | 用于自生氧装置性能测试的数据处理方法 |
CN117792615A (zh) * | 2024-02-28 | 2024-03-29 | 青岛克莱玛物联技术有限公司 | 基于密集型通信模组的数据智能处理方法 |
CN118102461A (zh) * | 2024-04-23 | 2024-05-28 | 杭州可当科技有限公司 | 基于5g网络的物联网技术的智能通信管理系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018214140A1 (zh) * | 2017-05-26 | 2018-11-29 | 深圳配天智能技术研究院有限公司 | 一种数据压缩方法与解压方法以及相关设备 |
CN114244373A (zh) * | 2022-02-24 | 2022-03-25 | 麒麟软件有限公司 | Lz系列压缩算法编解码速度优化方法 |
CN114329324A (zh) * | 2021-12-29 | 2022-04-12 | 寒武纪行歌(南京)科技有限公司 | 数据处理电路、数据处理方法及相关产品 |
CN115204754A (zh) * | 2022-09-15 | 2022-10-18 | 山东西曼克技术有限公司 | 一种基于大数据的热力供需信息管理平台 |
CN115269940A (zh) * | 2022-09-30 | 2022-11-01 | 佳卓智能科技(南通)有限责任公司 | 一种erp管理系统的数据压缩方法 |
CN115987294A (zh) * | 2023-03-17 | 2023-04-18 | 北京悦知未来科技有限公司 | 一种物联网的多维数据处理方法 |
CN116320043A (zh) * | 2023-05-24 | 2023-06-23 | 深圳龙电华鑫控股集团股份有限公司 | 一种提高多载波通信系统传输效率的方法及系统 |
CN116504396A (zh) * | 2023-06-26 | 2023-07-28 | 贵阳市第四人民医院 | 一种中西医结合内科检查数据分析系统 |
CN116592951A (zh) * | 2023-07-17 | 2023-08-15 | 陕西西特电缆有限公司 | 一种电缆数据智能采集方法及系统 |
-
2023
- 2023-08-28 CN CN202311083591.9A patent/CN116828070B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018214140A1 (zh) * | 2017-05-26 | 2018-11-29 | 深圳配天智能技术研究院有限公司 | 一种数据压缩方法与解压方法以及相关设备 |
CN114329324A (zh) * | 2021-12-29 | 2022-04-12 | 寒武纪行歌(南京)科技有限公司 | 数据处理电路、数据处理方法及相关产品 |
CN114244373A (zh) * | 2022-02-24 | 2022-03-25 | 麒麟软件有限公司 | Lz系列压缩算法编解码速度优化方法 |
CN115204754A (zh) * | 2022-09-15 | 2022-10-18 | 山东西曼克技术有限公司 | 一种基于大数据的热力供需信息管理平台 |
CN115269940A (zh) * | 2022-09-30 | 2022-11-01 | 佳卓智能科技(南通)有限责任公司 | 一种erp管理系统的数据压缩方法 |
CN115987294A (zh) * | 2023-03-17 | 2023-04-18 | 北京悦知未来科技有限公司 | 一种物联网的多维数据处理方法 |
CN116320043A (zh) * | 2023-05-24 | 2023-06-23 | 深圳龙电华鑫控股集团股份有限公司 | 一种提高多载波通信系统传输效率的方法及系统 |
CN116504396A (zh) * | 2023-06-26 | 2023-07-28 | 贵阳市第四人民医院 | 一种中西医结合内科检查数据分析系统 |
CN116592951A (zh) * | 2023-07-17 | 2023-08-15 | 陕西西特电缆有限公司 | 一种电缆数据智能采集方法及系统 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117376430B (zh) * | 2023-10-30 | 2024-04-23 | 北京富邦智达自动化科技有限公司 | 基于dcs的工业数据快速传输方法及系统 |
CN117376430A (zh) * | 2023-10-30 | 2024-01-09 | 北京富邦智达自动化科技有限公司 | 基于dcs的工业数据快速传输方法及系统 |
CN117238504A (zh) * | 2023-11-01 | 2023-12-15 | 江苏亿通高科技股份有限公司 | 一种智慧城市cim数据优化处理方法 |
CN117238504B (zh) * | 2023-11-01 | 2024-04-09 | 江苏亿通高科技股份有限公司 | 一种智慧城市cim数据优化处理方法 |
CN117171118A (zh) * | 2023-11-02 | 2023-12-05 | 山东天晴生物科技股份有限公司 | 一种乡村营销数据智能管理系统 |
CN117171118B (zh) * | 2023-11-02 | 2024-02-20 | 山东天晴生物科技股份有限公司 | 一种乡村营销数据智能管理系统 |
CN117273764B (zh) * | 2023-11-21 | 2024-03-08 | 威泰普科技(深圳)有限公司 | 一种电子雾化器防伪管理方法及系统 |
CN117273764A (zh) * | 2023-11-21 | 2023-12-22 | 威泰普科技(深圳)有限公司 | 一种电子雾化器防伪管理方法及系统 |
CN117316301B (zh) * | 2023-11-22 | 2024-03-05 | 北华大学 | 一种基因检测数据智能压缩处理方法 |
CN117316301A (zh) * | 2023-11-22 | 2023-12-29 | 北华大学 | 一种基因检测数据智能压缩处理方法 |
CN117459072A (zh) * | 2023-12-22 | 2024-01-26 | 深圳市消防救援支队 | 用于自生氧装置性能测试的数据处理方法 |
CN117459072B (zh) * | 2023-12-22 | 2024-03-29 | 深圳市消防救援支队 | 用于自生氧装置性能测试的数据处理方法 |
CN117792615A (zh) * | 2024-02-28 | 2024-03-29 | 青岛克莱玛物联技术有限公司 | 基于密集型通信模组的数据智能处理方法 |
CN117792615B (zh) * | 2024-02-28 | 2024-05-14 | 青岛克莱玛物联技术有限公司 | 基于密集型通信模组的数据智能处理方法 |
CN118102461A (zh) * | 2024-04-23 | 2024-05-28 | 杭州可当科技有限公司 | 基于5g网络的物联网技术的智能通信管理系统 |
CN118102461B (zh) * | 2024-04-23 | 2024-07-19 | 杭州可当科技有限公司 | 基于5g网络的物联网技术的智能通信管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116828070B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116828070B (zh) | 一种智慧电网数据优化传输方法 | |
CN115882868B (zh) | 一种气体监测数据智能存储方法 | |
CN117271987B (zh) | 一种配电设备环境状态数据智能采集处理方法 | |
CN116320043B (zh) | 一种提高多载波通信系统传输效率的方法及系统 | |
CN116975008B (zh) | 一种船舶气象监测数据优化存储方法 | |
CN117235557B (zh) | 基于大数据分析的电气设备故障快速诊断方法 | |
CN117473351B (zh) | 基于物联网的电源信息远程传输系统 | |
CN117240930A (zh) | 一种载波通信数据智能采集方法及系统 | |
CN116307944B (zh) | 基于人工智能与物联网的配电箱远程监测系统 | |
CN117376430B (zh) | 基于dcs的工业数据快速传输方法及系统 | |
CN116582133B (zh) | 一种变压器生产过程数据智能管理系统 | |
CN115987294A (zh) | 一种物联网的多维数据处理方法 | |
CN116760908A (zh) | 基于数字孪生的农业信息优化管理方法及系统 | |
CN117692012B (zh) | 一种智能睡袋温度数据远程监测传输方法 | |
CN117608499A (zh) | 一种基于物联网的智慧交通数据优化存储方法 | |
CN116743180B (zh) | 一种储能电源数据智能存储方法 | |
CN117172601A (zh) | 一种基于残差全卷积神经网络的非侵入式负荷监测方法 | |
CN116567269A (zh) | 一种基于信噪分离的频谱监测数据压缩方法 | |
CN115099291B (zh) | 一种建筑节能监测方法 | |
CN117459187B (zh) | 基于光纤网络的高速数据传输方法 | |
CN108992055A (zh) | 一种低采样率下提高光电心率计算精度的方法及装置 | |
CN117176178B (zh) | 一种光电通信系统的数据处理方法 | |
CN118078305B (zh) | 用于可穿戴式血流动力监测仪的动态心电数据处理方法 | |
CN117728842A (zh) | 一种智能穿戴设备的自适应数据采集方法及系统 | |
CN118152389B (zh) | 一种能源系统数据智能化处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |