CN116418882B - 基于hplc双模载波通信的存储器数据压缩方法 - Google Patents
基于hplc双模载波通信的存储器数据压缩方法 Download PDFInfo
- Publication number
- CN116418882B CN116418882B CN202310681325.XA CN202310681325A CN116418882B CN 116418882 B CN116418882 B CN 116418882B CN 202310681325 A CN202310681325 A CN 202310681325A CN 116418882 B CN116418882 B CN 116418882B
- Authority
- CN
- China
- Prior art keywords
- sequence
- data
- processed
- value
- periodic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 title claims abstract description 21
- 238000013144 data compression Methods 0.000 title claims abstract description 20
- 238000004128 high performance liquid chromatography Methods 0.000 title claims abstract description 20
- 230000000737 periodic effect Effects 0.000 claims abstract description 64
- 238000007906 compression Methods 0.000 claims abstract description 54
- 230000006835 compression Effects 0.000 claims abstract description 53
- 230000005856 abnormality Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 238000012163 sequencing technique Methods 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims 3
- 230000005611 electricity Effects 0.000 description 26
- 238000004458 analytical method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3068—Precoding preceding compression, e.g. Burrows-Wheeler transformation
- H03M7/3077—Sorting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/54—Systems for transmission via power distribution lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Power Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据压缩技术领域，具体涉及一种基于HPLC双模载波通信的存储器数据压缩方法。该方法包括获取电力记录数据，排序并时序分解，得到周期序列；确定周期序列的数据异常程度，对周期序列进行数据筛除得到处理后序列；确定处理后序列的序列特征因子；聚类分组得到序列组，确定每个序列组的参考序列；将处理后序列与所处序列组的参考序列进行动态时间规整处理，根据动态时间规整处理得到的最短路径值和对应参考序列的最大值确定初始电力序列的压缩方式，根据对应的压缩方式对初始电力序列进行压缩处理，本发明通过自适应的压缩方式，能够有效提升数据压缩的可靠性，增强压缩效果。
Description
技术领域
本发明涉及数据压缩技术领域，具体涉及一种基于HPLC双模载波通信的存储器数据压缩方法。
背景技术
高速电力线载波（Highspeed Power Line Communication，HPLC）通信通过调制器将信息融入电力信号，借由电力线缆传输至接收端，解调器再将信号还原得到源数据，该过程通常用于电力抄表，通常需要对一个区域内的用电进行统计分析，对数据进行压缩，而由于数据中往往包括异常数据，该异常数据可能为用户的异常用电所导致的，也可能为数据传输过程中产生异常所导致的。相关技术中，通过预设标准用电序列，使用动态时间规整算法对任一用户的用电数据进行动态时间规整分析，这种方式下，由于异常数据的影响，往往导致动态时间规整得到的偏移情况无法有效表征真实的用户用电偏移情况，进而导致在根据动态时间规整算法对数据进行分析时的分析结果误差较大，从而根据分析结果进行压缩的可靠性较低，压缩效果较差。
发明内容
为了解决压缩可靠性较低，压缩效果较差的技术问题，本发明提供一种基于HPLC双模载波通信的存储器数据压缩方法，所采用的技术方案具体如下：
本发明提出了一种基于HPLC双模载波通信的存储器数据压缩方法，方法包括：
周期性获取至少两个电表用户的电力记录数据，按照采集时间对所述电力记录数据进行排序，得到不同电力记录数据的初始电力序列，对所述初始电力序列进行时序分解，得到所述初始电力序列的周期序列；
根据所述周期序列中数据的数值，确定所述周期序列的数据异常程度，根据所述数据异常程度和所述周期序列中数据的数值，对所述周期序列进行数据筛除，得到处理后序列；
根据所述处理后序列的数据异常程度，所述处理后序列中数据的最大值、最小值和均值，确定所述处理后序列的序列特征因子；根据所述序列特征因子对所述处理后序列进行聚类分组，得到序列组，根据每个序列组中所述处理后序列的数据数值确定每个序列组的参考序列；
将所述处理后序列与所处序列组的参考序列进行动态时间规整处理，根据所述动态时间规整处理得到的最短路径值和对应参考序列的最大值确定所述初始电力序列的压缩方式，根据对应的压缩方式对所述初始电力序列进行压缩处理。
进一步地，所述对所述初始电力序列进行时序分解，得到所述初始电力序列的周期序列，包括：
基于时序分解算法对所述初始电力序列进行时序分解，得到所述初始电力序列的趋势项；
获得所述初始电力序列中电力记录数据在所述趋势项中所对应的数据，并按照时序顺序排序得到周期序列。
进一步地，所述根据所述周期序列中数据的数值，确定所述周期序列的数据异常程度，包括：
计算所述周期序列中数据的均值，计算数据与所述均值的差值绝对值作为数据差异；计算所有数据差异的均值的归一化值作为所述数据异常程度。
进一步地，所述根据所述数据异常程度和所述周期序列中数据的数值，对所述周期序列进行数据筛除，得到处理后序列，包括：
将所述周期序列中的数据按照数值由大到小的顺序进行排序，得到数据序列，按顺序依次删除所述数据序列中的数据，得到删除后序列，并重新计算删除后序列的数据异常程度；
在所述删除后序列的数据异常程度满足预设条件时，停止删除数据，将最终得到的删除后序列中的数据按照时间排序，获得处理后序列，其中，所述预设条件包括：所述数据异常程度小于预设异常程度阈值。
进一步地，所述根据所述处理后序列的数据异常程度，所述处理后序列中数据的最大值、最小值和均值，确定所述处理后序列的序列特征因子，包括：
计算所述处理后序列中数据的最大值与最小值的差值作为处理后极差；
计算所述处理后序列中所有数据的均值和数据异常程度的乘积作为特征系数；
根据所述处理后极差和所述特征系数，获得所述处理后序列的序列特征因子，其中，所述处理后极差与所述序列特征因子呈正相关关系，所述特征系数与所述序列特征因子呈正相关关系，所述序列特征因子的取值为归一化后的数值。
进一步地，所述根据所述序列特征因子对所述处理后序列进行聚类分组，得到序列组，包括：
基于DBSCAN算法对所述序列特征因子进行聚类处理，根据聚类结果对所述处理后序列划分进行划分，得到序列组。
进一步地，所述根据每个序列组中所述处理后序列的数据数值确定每个序列组的参考序列，包括：
计算每个序列组中所有处理后序列中采集时间相同的数据的均值，将所述均值按照对应顺序排序得到参考序列。
进一步地，所述根据所述动态时间规整处理得到的最短路径值和对应参考序列的最大值确定所述初始电力序列的压缩方式，包括：
计算最短路径值与对应参考序列中最大值的比值作为路径比值；
在所述路径比值大于预设路径阈值时，使用第一压缩方式对最短路径值对应的初始电力序列进行数据压缩，在所述路径比值小于等于预设路径阈值时，使用第二压缩方式对最短路径值对应的初始电力序列进行数据压缩，其中，所述第一压缩方式为无损压缩方式，所述第二压缩方式为有损压缩方式。
本发明具有如下有益效果：
本发明通过对初始电力序列进行时序分解，得到初始电力序列的周期序列，能够结合电表用户用电量整体呈趋势的特点，提取电表用户电力记录数据的整体趋势，从而便于后续根据整体趋势对电力记录数据进行分析；通过周期序列的数据异常程度和周期序列中数据的数值，对周期序列进行数据筛除，能够对异常数据进行初步筛除，保证处理后序列中数据的整体趋势能够更接近于真实的电表用户的用电量情况，从而能够根据处理后序列对电表用户的用电量情况进行准确分析；通过确定处理后序列的序列特征因子，能够基于序列特征因子表征处理后序列的数据分布特征，根据序列特征因子准确对处理后序列进行聚类分组，可以理解的是，由于不同的用电量使用场景可以对应多种不同的用电量情况，但是对于相同使用场景中的用电量情况较为相似，本发明实施例通过对处理后序列进行聚类分组，能够有效区分不同的用电量使用场景，便于后续根据不同的序列组进行分类讨论；本发明通过动态时间规整处理得到最短路径值和参考序列的最大值，确定初始电力序列的压缩方式，能够提升整体动态时间规整分析的准确性，增强分析结果的客观性，根据不同时间用电量的偏移选择相匹配的压缩方式对初始电力序列进行自适应的分类压缩，从而能够提升数据压缩的可靠性，有效增强压缩效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于HPLC双模载波通信的存储器数据压缩方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于HPLC双模载波通信的存储器数据压缩方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于HPLC双模载波通信的存储器数据压缩方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于HPLC双模载波通信的存储器数据压缩方法流程图，该方法包括：
S101：周期性获取至少两个电表用户的电力记录数据，按照采集时间对电力记录数据进行排序，得到不同电力记录数据的初始电力序列，对初始电力序列进行时序分解，得到初始电力序列的周期序列。
本发明实施例中，可以按照预设的时间周期获取多个电表用户的电力记录数据，可以理解的是，本发明可以获取一定区域内所有电表用户的电力记录数据，预设的时间周期可以为一个月，或者，也可以为1天，根据实际需求进行调整，对此不做限制。
也即是说，本发明的一种应用场景可以具体例如为，基于高速电力线载波（Highspeed Power Line Communication，HPLC）获取一定区域内所有电表用户的用电量数据，并将用电量数据作为电力记录数据，以便于执行后续电力记录数据的数据分析和压缩过程。
本发明实施例中，可以按照采集的时间先后顺序对电力记录数据进行排序，由此，统计一定时间范围内每个电表用户的电力记录数据，得到初始电力序列。
可选地，本发明的一些实施例中，对初始电力序列进行时序分解，得到初始电力序列的周期序列，包括：基于时序分解算法对初始电力序列进行时序分解，得到初始电力序列的趋势项；获得初始电力序列中电力记录数据在趋势项中所对应的数据，并按照时序顺序排序得到周期序列。
其中，时序分解（Seasonal-Trend decomposition using Loess，STL）算法为对时序数据进行数据分解的算法，STL算法可以将时序数据分解为趋势项、季节项和残差项，时序分解算法为本领域所熟知的算法，对此不再赘述。
本发明实施例中，可以对初始电力序列进行时序分解得到初始电力序列的趋势项，并按照电力记录数据的采集时间获取趋势项中不同时刻电力记录数据所对应的趋势项数据点，并将趋势项数据点对应的数据组成周期序列，也即是说，根据采集时间点对连续的趋势项对应时间上的数据进行提取，得到对应时间点的趋势项数值作为周期序列中的数据，组成周期序列。
S102：根据周期序列中数据的数值，确定周期序列的数据异常程度，根据数据异常程度和周期序列中数据的数值，对周期序列进行数据筛除，得到处理后序列。
可选地，本发明的一些实施例中，根据周期序列中数据的数值，确定周期序列的数据异常程度，包括：计算周期序列中数据的均值，计算数据与均值的差值绝对值作为数据差异；计算所有数据差异的均值的归一化值作为数据异常程度。
本发明实施例中，数据异常程度的计算公式可以具体例如为：
式中，表示第s个周期序列的数据异常程度，/>表示第s个周期序列中第t个数据的数值，s表示周期序列的索引，t表示周期序列中数据的索引，/>表示第s个周期序列中所有数据的总数量，/>表示第s个周期序列中所有数据的均值，/>表示取绝对值，表示数据差异，G()表示归一化处理，本发明实施例中的归一化处理可以具体例如为最大最小值归一化处理，或者，也可以例如为其他任意可能的归一化方式，对此不做限制。
本发明实施例中，数据异常程度可以表征对应周期序列中数据的分布异常情况，可以理解的是，在数据发生异常时，会产生对应的极大值或极小值，通过计算数据与均值的差值绝对值作为数据差异，在数据与均值的差值绝对值越大时，可以表征对应的数据极大值或极小值的值越大，也即越有可能有异常数据，数据异常程度越大，也即是说，对于数据异常程度越大的周期序列，可以表征对应周期序列中含有异常数据的可能性越大。
可选地，本发明的一些实施例中，根据数据异常程度和周期序列中数据的数值，对周期序列进行数据筛除，得到处理后序列，包括：将周期序列中的数据按照数值由大到小的顺序进行排序，得到数据序列，按顺序依次删除数据序列中的数据，得到删除后序列，并重新计算删除后序列的数据异常程度；在删除后序列的数据异常程度满足预设条件时，停止删除数据，将最终得到的删除后序列中的数据按照时间排序，获得处理后序列，其中，预设条件包括：数据异常程度小于预设异常程度阈值。
本发明实施例中，通过将周期序列中的数据按照数值由大到小的顺序进行排序。可以理解的是，在用电量异常的情况中，通常为用电量异常大的情况，而用电量较小的情况通常可能出现在用电淡季的时期，因此，通过排除用电量异常大的情况从而对周期序列进行数据筛除。
本发明的实施例中，先将用电量最大所表征的数据进行筛除，得到筛除后的数据序列，而后计算筛除后的数据序列的数据异常程度，在数据异常程度大于等于预设异常程度阈值时，继续对数据序列进行筛除处理，并对筛除两个数据的数据序列进行数据异常程度的计算，直至最终得到的数据异常程度小于预设异常程度阈值，停止数据筛除处理，将最终得到的筛除数据后的数据序列中的数据按照时间排序，获得处理后序列。
其中，预设异常程度阈值，为数据异常程度的门限值，该数值可以根据实际需求进行调整，举例而言，可以将预设异常程度阈值设置为0.75，从而将数据异常程度大于等于0.75的数据序列作为待筛除的序列继续进行数据筛除处理，直至得到的数据异常程度小于0.75时，停止数据筛除处理，并将最终得到的筛除数据后的数据序列中的数据按照时间排序，获得处理后序列。
可以理解的是，通过筛除最大数据，从而保证将异常可能性最大的数据进行筛除，从而保证处理后序列的可靠性，且更适用于用电的真实情况，又因去除了极端数值，保留了极端数值波动产生的变化趋势，因此通过处理后序列间的比对能够有效获取不同电表用户电力记录数据间的相似特征。
S103：根据处理后序列的数据异常程度，处理后序列中数据的最大值、最小值和均值，确定处理后序列的序列特征因子；根据序列特征因子对处理后序列进行聚类分组，得到序列组，根据每个序列组中处理后序列的数据数值确定每个序列组的参考序列。
可选地，本发明的一些实施例中，根据处理后序列的数据异常程度，处理后序列中数据的最大值、最小值和均值，确定处理后序列的序列特征因子，包括：计算处理后序列中数据的最大值与最小值的差值作为处理后极差；计算处理后序列中所有数据的均值和数据异常程度的乘积作为特征系数；根据处理后极差和特征系数，获得处理后序列的序列特征因子，其中，处理后极差与序列特征因子呈正相关关系，特征系数与序列特征因子呈正相关关系，序列特征因子的取值为归一化后的数值。
本发明实施例中，序列特征因子对应的计算公式可以具体例如为：
式中，表示第/>个处理后序列的序列特征因子，/>表示处理后序列的索引，表示第/>个处理后序列中数据的最大值，/>表示第/>个处理后序列中数据的最小值，/>表示第/>个处理后序列中数据的处理后极差，/>表示第/>个处理后序列的数据异常程度，/>表示第/>个处理后序列中数据的均值，/>表示第/>个处理后序列的特征系数，/>表示取归一化。
本发明实施例中，序列特征因子表示处理后序列的数据特征，则本发明通过处理后极差和特征系数作为数据特征的表征参数，其中，处理后极差表征处理后序列中数据的最大最小值差异，也即表征用电量的峰值和谷值间的差异，处理后极差越大表征用电量波动越大，而特征系数表征数据异常程度和均值的乘积，也即表征处理后序列中数据的整体特征，通过处理后极差和特征系数得到序列特征因子，能够有效表征处理后的数据的波动特征和整体数值特征，保证序列特征因子的可靠性。
可选地，本发明的一些实施例中，根据序列特征因子对处理后序列进行聚类分组，得到序列组，包括：基于DBSCAN算法对序列特征因子进行聚类处理，根据聚类结果对处理后序列划分进行划分，得到序列组。
其中，一种基于密度，对噪声鲁棒的空间聚类（Density-Based SpatialClustering of Applications with Noise，DBSCAN）算法为基于密度的聚类算法，DBSCAN算法为本领域所熟知的聚类算法，使用DBSCAN算法进行聚类处理，得到聚类结果的步骤不再赘述。
其中，由于序列特征因子表征处理后的数据的波动特征和整体数值特征，序列特征因子相似的处理后序列为数据分布相似的序列，也即是说，基于DBSCAN算法聚类之后的序列组中所包含的处理后序列均为数据分布相似的序列，由此，将处理后序列划分为一个或多个序列组。
可选地，本发明的一些实施例中，根据每个序列组中处理后序列的数据数值确定每个序列组的参考序列，包括：计算每个序列组中所有处理后序列中采集时间相同的数据的均值，将均值按照对应顺序排序得到参考序列。
本发明实施例中，可以计算每个序列组中所有处理后序列中采集时间相同的数据的均值，将均值按照对应顺序排序得到参考序列，可以理解的是，统计相同时间点的数据的均值作为参考序列中对应位置的数据，由于处理后序列中筛除部分数据，因此，不同处理后序列对应的序列长度不同，因此，根据处理后序列中数据对应的采集时间，对数据进行计算，使得参考序列更能准确表征同序列中所有处理后序列对应电表用户在不同时间点的用电量特征。
S104：将处理后序列与所处序列组的参考序列进行动态时间规整处理，根据动态时间规整处理得到的最短路径值和对应参考序列的最大值确定初始电力序列的压缩方式，根据对应的压缩方式对初始电力序列进行压缩处理。
本发明实施例中，可以使用动态时间规整(Dynamic Time Warping，DTW)算法对处理后序列与所处序列组的参考序列进行动态时间规整处理，由于相同序列组中处理后序列的数据分布特征相似，也即是说，进行动态时间规整得到的差异越大的处理后序列，其包含的异常数据的可能性越大，则本发明实施例通过DTW算法对相同序列组中处理后序列和该序列组对应参考序列进行动态时间规整处理，以确定异常情况较大的处理后序列。
其中，DTW算法为本领域所熟知的技术，通过输入两条时间序列，计算两个序列各个点之间的距离矩阵，寻找一条从矩阵左上角到右下角的路径，使得路径上的元素和最小，DTW算法为本领域所熟知的算法，对此不再赘述。可以理解的是，由于某些时间点的数据在数据筛除步骤中进行筛除处理，本发明可以通过计算相邻时间点的数据的均值对该时间点的数据进行填充处理，以根据填充后的结果进行动态时间规整处理。
可选地，本发明的一些实施例中，根据动态时间规整处理得到的最短路径值和对应参考序列的最大值确定初始电力序列的压缩方式，包括：计算最短路径值与对应参考序列中最大值的比值作为路径比值；在路径比值大于预设路径阈值时，使用第一压缩方式对最短路径值对应的初始电力序列进行数据压缩，在路径比值小于等于预设路径阈值时，使用第二压缩方式对最短路径值对应的初始电力序列进行数据压缩，其中，第一压缩方式为无损压缩方式，第二压缩方式为有损压缩方式。
本发明实施例中，可以根据动态时间规整处理得到的最短路径值与对应参考序列中最大值的比值作为路径比值，其中，对应参考序列可以为得到最短路径值的参考序列，参考序列表征一个序列组的总体分布特征，通过最短路径值与参考序列中最大值的比值，能够得到处理后序列与总体分布特征的差异，从而根据路径比值确定压缩方式。由于参考序列为总体特征分布序列，则参考序列中的最大值为0时整个参考序列无意义，也即是说参考序列中的最大值不可能为0。
本发明实施例中，预设路径阈值，为路径比值的门限值，可以理解的是，由于路径比值越大，可以表征对应的处理后序列中数据分布越复杂，则本发明实施例可以设置预设路径阈值用于区分处理后序列中数据分布的异常程度。可选地，预设路径阈值可以具体例如为0.8，当然，本发明还支持根据实际检测需求对预设路径阈值进行调整，对此不做限制。
本发明实施例中，在路径比值大于预设路径阈值时，可以表征对应的处理后序列与参考序列中数据差异较大，处理后序列的数据分布较异常，在路径比值小于等于预设路径阈值时，可以表征处理后序列与参考序列中数据差异较小，处理后序列的数据分布异常程度较低。
其中，第一压缩方式为无损压缩方式，第二压缩方式为有损压缩方式，可以理解的是，无损压缩方式的压缩率往往小于有损压缩方式的压缩率，也即是说，在处理后序列的数据分布较异常时，可以表征处理后序列所对应初始电力序列异常程度较高，则本发明实施例使用无损压缩方式对其进行压缩，便于后续对异常数据进行分析，在处理后序列的数据分布异常程度较低时，可以表征处理后序列所对应初始电力序列异常程度较低，本发明实施例使用有损压缩方式对其进行压缩，从而提升压缩率，降低压缩后的数据量。
本发明通过对初始电力序列进行时序分解，得到初始电力序列的周期序列，能够结合电表用户用电量整体呈趋势的特点，提取电表用户电力记录数据的整体趋势，从而便于后续根据整体趋势对电力记录数据进行分析；通过周期序列的数据异常程度和周期序列中数据的数值，对周期序列进行数据筛除，能够对异常数据进行初步筛除，保证处理后序列中数据的整体趋势能够更接近于真实的电表用户的用电量情况，从而能够根据处理后序列对电表用户的用电量情况进行准确分析；通过确定处理后序列的序列特征因子，能够基于序列特征因子表征处理后序列的数据分布特征，根据序列特征因子准确对处理后序列进行聚类分组，可以理解的是，由于不同的用电量使用场景可以对应多种不同的用电量情况，但是对于相同使用场景中的用电量情况较为相似，本发明实施例通过对处理后序列进行聚类分组，能够有效区分不同的用电量使用场景，便于后续根据不同的序列组进行分类讨论；本发明通过动态时间规整处理得到最短路径值和参考序列的最大值，确定初始电力序列的压缩方式，能够提升整体动态时间规整分析的准确性，增强分析结果的客观性，根据不同时间用电量的偏移选择相匹配的压缩方式对初始电力序列进行自适应的分类压缩，从而能够提升数据压缩的可靠性，有效增强压缩效果。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (8)
1.一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述方法包括：
周期性获取至少两个电表用户的电力记录数据，按照采集时间对所述电力记录数据进行排序，得到不同电力记录数据的初始电力序列，对所述初始电力序列进行时序分解，得到所述初始电力序列的周期序列；
根据所述周期序列中数据的数值，确定所述周期序列的数据异常程度，根据所述数据异常程度和所述周期序列中数据的数值，对所述周期序列进行数据筛除，得到处理后序列；
根据所述处理后序列的数据异常程度，所述处理后序列中数据的最大值、最小值和均值，确定所述处理后序列的序列特征因子；根据所述序列特征因子对所述处理后序列进行聚类分组，得到序列组，根据每个序列组中所述处理后序列的数据数值确定每个序列组的参考序列；
将所述处理后序列与所处序列组的参考序列进行动态时间规整处理，根据所述动态时间规整处理得到的最短路径值和对应参考序列的最大值确定所述初始电力序列的压缩方式，根据对应的压缩方式对所述初始电力序列进行压缩处理。
2.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述对所述初始电力序列进行时序分解，得到所述初始电力序列的周期序列，包括：
基于时序分解算法对所述初始电力序列进行时序分解，得到所述初始电力序列的趋势项；
获得所述初始电力序列中电力记录数据在所述趋势项中所对应的数据，并按照时序顺序排序得到周期序列。
3.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据所述周期序列中数据的数值，确定所述周期序列的数据异常程度，包括：
计算所述周期序列中数据的均值，计算数据与所述均值的差值绝对值作为数据差异；计算所有数据差异的均值的归一化值作为所述数据异常程度。
4.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据所述数据异常程度和所述周期序列中数据的数值，对所述周期序列进行数据筛除，得到处理后序列，包括：
将所述周期序列中的数据按照数值由大到小的顺序进行排序，得到数据序列，按顺序依次删除所述数据序列中的数据，得到删除后序列，并重新计算删除后序列的数据异常程度；
在所述删除后序列的数据异常程度满足预设条件时，停止删除数据，将最终得到的删除后序列中的数据按照时间排序，获得处理后序列，其中，所述预设条件包括：所述数据异常程度小于预设异常程度阈值。
5.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据所述处理后序列的数据异常程度，所述处理后序列中数据的最大值、最小值和均值，确定所述处理后序列的序列特征因子，包括：
计算所述处理后序列中数据的最大值与最小值的差值作为处理后极差；
计算所述处理后序列中所有数据的均值和数据异常程度的乘积作为特征系数；
根据所述处理后极差和所述特征系数，获得所述处理后序列的序列特征因子，其中，所述处理后极差与所述序列特征因子呈正相关关系，所述特征系数与所述序列特征因子呈正相关关系，所述序列特征因子的取值为归一化后的数值。
6.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据所述序列特征因子对所述处理后序列进行聚类分组，得到序列组，包括：
基于DBSCAN算法对所述序列特征因子进行聚类处理，根据聚类结果对所述处理后序列进行划分，得到序列组。
7.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据每个序列组中所述处理后序列的数据数值确定每个序列组的参考序列，包括：
计算每个序列组中所有处理后序列中采集时间相同的数据的均值，将所述均值按照对应顺序排序得到参考序列。
8.如权利要求1所述的一种基于HPLC双模载波通信的存储器数据压缩方法，其特征在于，所述根据所述动态时间规整处理得到的最短路径值和对应参考序列的最大值确定所述初始电力序列的压缩方式，包括：
计算最短路径值与对应参考序列中最大值的比值作为路径比值；
在所述路径比值大于预设路径阈值时，使用第一压缩方式对最短路径值对应的初始电力序列进行数据压缩，在所述路径比值小于等于预设路径阈值时，使用第二压缩方式对最短路径值对应的初始电力序列进行数据压缩，其中，所述第一压缩方式为无损压缩方式，所述第二压缩方式为有损压缩方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681325.XA CN116418882B (zh) | 2023-06-09 | 2023-06-09 | 基于hplc双模载波通信的存储器数据压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681325.XA CN116418882B (zh) | 2023-06-09 | 2023-06-09 | 基于hplc双模载波通信的存储器数据压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116418882A CN116418882A (zh) | 2023-07-11 |
| CN116418882B true CN116418882B (zh) | 2023-08-04 |
Family
ID=87049592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310681325.XA Active CN116418882B (zh) | 2023-06-09 | 2023-06-09 | 基于hplc双模载波通信的存储器数据压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116418882B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116743180B (zh) * | 2023-08-08 | 2024-02-13 | 东莞市欧派奇电子科技有限公司 | 一种储能电源数据智能存储方法 |
| CN117082153B (zh) * | 2023-10-13 | 2024-02-13 | 深圳龙电华鑫控股集团股份有限公司 | 一种载波通信数据采集及数据优化方法 |
| CN117786370B (zh) * | 2024-02-26 | 2024-04-19 | 北京国旺盛源智能终端科技有限公司 | 一种网格化服务终端用信息智能分析系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111614438A (zh) * | 2020-05-09 | 2020-09-01 | 云南电网有限责任公司电力科学研究院 | 一种基于电力载波通信的数据融合系统及方法 |
| CN111695639A (zh) * | 2020-06-17 | 2020-09-22 | 浙江经贸职业技术学院 | 一种基于机器学习的电力用户用电异常检测方法 |
| CN114169568A (zh) * | 2021-11-03 | 2022-03-11 | 国网浙江省电力有限公司瑞安市供电公司 | 基于Prophet模型的配电线路电流预测与重过载预警及系统 |
| CN114443331A (zh) * | 2020-11-04 | 2022-05-06 | 中国电信股份有限公司 | 时序数据异常检测方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11146445B2 (en) * | 2019-12-02 | 2021-10-12 | Alibaba Group Holding Limited | Time series decomposition |
-
2023
- 2023-06-09 CN CN202310681325.XA patent/CN116418882B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111614438A (zh) * | 2020-05-09 | 2020-09-01 | 云南电网有限责任公司电力科学研究院 | 一种基于电力载波通信的数据融合系统及方法 |
| CN111695639A (zh) * | 2020-06-17 | 2020-09-22 | 浙江经贸职业技术学院 | 一种基于机器学习的电力用户用电异常检测方法 |
| CN114443331A (zh) * | 2020-11-04 | 2022-05-06 | 中国电信股份有限公司 | 时序数据异常检测方法和装置 |
| CN114169568A (zh) * | 2021-11-03 | 2022-03-11 | 国网浙江省电力有限公司瑞安市供电公司 | 基于Prophet模型的配电线路电流预测与重过载预警及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116418882A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116418882B (zh) | 基于hplc双模载波通信的存储器数据压缩方法 | |
| CN111612650B (zh) | 一种基于dtw距离的电力用户分群方法及系统 | |
| CN116320043B (zh) | 一种提高多载波通信系统传输效率的方法及系统 | |
| CN111008726A (zh) | 一种电力负荷预测中类图片转换方法 | |
| CN110991527A (zh) | 一种考虑电压曲线平均波动率的相似度阈值确定方法 | |
| CN114912720A (zh) | 基于记忆网络电力负荷预测方法、装置、终端及存储介质 | |
| CN114020593B (zh) | 一种基于轨迹聚类的异质流程日志采样方法与系统 | |
| CN107908807B (zh) | 一种基于贝叶斯理论的小子样可靠性评定方法 | |
| CN117786584B (zh) | 基于大数据分析的畜牧业水源污染监测预警方法及系统 | |
| CN109065176A (zh) | 一种血糖预测方法、装置、终端和存储介质 | |
| CN109933680A (zh) | 图像数据筛选方法、装置、计算机设备及其存储介质 | |
| CN113288133A (zh) | 用于预测血糖值的方法、装置、存储介质及处理器 | |
| CN117592656A (zh) | 基于碳数据核算的碳足迹监控方法及系统 | |
| CN112215410A (zh) | 基于改进深度学习的电力负荷预测方法 | |
| CN102117380B (zh) | 简化基于矩阵的Boosting算法的系统及方法 | |
| CN112164468B (zh) | 一种孕期检查数据的缺失数据处理方法 | |
| CN111798237B (zh) | 基于应用日志的异常交易诊断方法及系统 | |
| CN113139673A (zh) | 一种预测空气质量的方法、装置、终端及存储介质 | |
| CN112613521A (zh) | 基于数据转换的多层次数据分析系统及方法 | |
| CN111387940A (zh) | 一种疲劳检测方法及装置、电子设备 | |
| CN117076868B (zh) | 一种持久化数据模型建模方法 | |
| CN117851836B (zh) | 一种用于养老信息服务系统的数据智能分析方法 | |
| CN115995282B (zh) | 一种基于知识图谱的呼气流量数据处理系统 | |
| CN116934358B (zh) | 基于信息验证的阿胶质量追溯方法及系统 | |
| Guo et al. | An SEI-Based Identification Scheme for Illegal FM Broadcast |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |