CN117459072A - 用于自生氧装置性能测试的数据处理方法 - Google Patents
用于自生氧装置性能测试的数据处理方法 Download PDFInfo
- Publication number
- CN117459072A CN117459072A CN202311775927.8A CN202311775927A CN117459072A CN 117459072 A CN117459072 A CN 117459072A CN 202311775927 A CN202311775927 A CN 202311775927A CN 117459072 A CN117459072 A CN 117459072A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- transmission
- performance
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910052760 oxygen Inorganic materials 0.000 title claims abstract description 64
- 239000001301 oxygen Substances 0.000 title claims abstract description 64
- 238000011056 performance test Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 136
- 238000007906 compression Methods 0.000 claims abstract description 62
- 230000006835 compression Effects 0.000 claims abstract description 62
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 230000005856 abnormality Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012512 characterization method Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000013144 data compression Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据压缩技术领域,具体涉及一种用于自生氧装置性能测试的数据处理方法;根据性能数据序列中数据点的波动特征获得异常程度和目标数据点。获得目标数据点的标记滑窗;根据标记滑窗的分布特征获得标记预分段和其他预分段;获得标记预分段的分段重要度、数据传输顺序和优先传输段。根据优先传输段和相邻其他预分段中数据点的种类特征获得频率迭代序列、基准相似度和优先压缩段;本发明根据优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据数据传输顺序进行传输处理;在保证压缩传输效率的同时,提高了重要数据的优先传输性,便于及时调控自生氧装置。
Description
技术领域
本发明涉及数据压缩技术领域,具体涉及一种用于自生氧装置性能测试的数据处理方法。
背景技术
自生氧装置是一种用于生成和提供氧气的装置,广泛用于医疗、航空、潜水等领域。在应用过程中,确保自生氧装置性能的可靠性非常重要,故需要对自生氧装置进行大量的性能测试;通过对自生氧装置进行性能测试,制造商可以确保产品在生产过程中的一致性和稳定性。在测试过程中,需要长时间持续地采集氧气产生率、纯度和压力等参数并进行处理。
在对大量数据进行处理时,需要通过压缩处理提高数据的传输效率,保证测试的时效性。监测自生氧装置的数据精度较为重要,需要对数据进行无损压缩,现有的霍夫曼编码是一种无损压缩方法,而无损压缩在针对大量数据进行处理时的处理效果差。并且在采集的数据中存在大量的数据冗余,包括重复的测量和无效的数据点,导致分析过程复杂且低效;同时对大量数据的传输不利于对数据进行高效处理,导致反馈不及时,不利于及时调整和改进自生氧状态的性能,存在滞后性。
发明内容
为了解决上述通过无损压缩不能够高效传输自生氧装置的监测数据,导致装置性能的反馈不及时的技术问题,本发明的目的在于提供一种用于自生氧装置性能测试的数据处理方法,所采用的技术方案具体如下:
获取监测自生氧装置运行的性能数据序列;根据所述性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点;
根据所述目标数据点的预设滑窗中的数据分布特征获得标记滑窗;根据所述性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段;根据所述标记预分段中的标记滑窗的分布特征获得分段重要度;
根据所述分段重要度获得数据传输顺序和优先传输段;根据所述优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列;根据所述频率迭代序列与幂律分布的相关特征获得基准相似度;根据所述基准相似度对应的数据段获得优先压缩段;
根据所述优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据所述数据传输顺序进行传输处理。
进一步地,所述根据所述性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点的步骤包括:
计算预设性能范围的最大值和最小值的平均值,获得自生氧装置的性能标准值;计算预设性能范围的最大值和最小值的差值,获得自生氧装置的性能范围值;计算所述数据点与所述性能标准值的差值绝对值,获得数据点的离散程度;将所述离散程度归一化获得数据点的离散表征值;当所述离散程度超过所述性能范围值时,所述离散表征值为预设第一数值;
计算数据点的预设邻域范围内其他数据点的方差并正相关映射,获得数据点的波动表征值;
计算所述波动表征值与所述离散表征值的乘积并归一化,获得数据点的所述异常程度;当数据点的异常程度超过预设异常阈值时,将数据点作为所述目标数据点。
进一步地,所述根据所述目标数据点的预设滑窗中的数据分布特征获得标记滑窗的步骤包括:
计算所述目标数据点的预设滑窗内其他目标数据点与数据点的数量比值,获得目标数据点的滑窗占比值;当所述滑窗占比值超过预设比例阈值时,在所述性能数据序列中将所述目标数据点的预设滑窗的位置作为所述标记滑窗。
进一步地,所述根据所述性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段的步骤包括:
当任意两个标记滑窗之间出现重合部分时,将所述任意两个标记滑窗进行合并,获得标记新滑窗;遍历所述性能数据序列,将所述标记新滑窗和未合并的标记滑窗在所述性能数据序列中作为所述标记预分段;将所述性能数据序列中除所述标记预分段以外的其他数据段作为所述其他预分段。
进一步地,所述根据所述标记预分段中的标记滑窗的分布特征获得分段重要度的步骤包括:
计算所述标记预分段中所述任意两个标记滑窗的重合部分的长度之和,获得标记预分段的重合表征值;计算所述重合表征值与所述标记预分段的长度的比值,获得标记预分段的所述分段重要度。
进一步地,所述根据所述分段重要度获得数据传输顺序和优先传输段的步骤包括:
根据所有标记预分段的所述分段重要度从大至小对标记预分段进行排序,获得标记预分段的所述数据传输顺序;将所述数据传输顺序中排序第一的标记预分段作为所述优先传输段。
进一步地,所述根据所述优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列的步骤包括:
所述频率迭代序列包括频率初始序列和频率更新序列;
计算所述优先传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先传输段的所述频率初始序列;在所述优先传输段的相邻其他预分段中任意选择一个数据点作为切分点,在所述相邻其他预分段中将切分点与所述优先传输段的边界点之间的数据段作为扩充段;将所述优先传输段与扩充段进行拼接,获得优先扩充传输段;计算所述优先扩充传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先扩充传输段的所述频率更新序列。
进一步地,所述根据所述频率迭代序列与幂律分布的相关特征获得基准相似度的步骤包括:
根据DTW算法计算所述频率迭代序列与预设幂律分布序列的动态时间规整距离并负相关映射,获得不同频率迭代序列的不同相似度;将所述相似度的最大值作为所述基准相似度。
进一步地,所述根据所述基准相似度对应的数据段获得优先压缩段的步骤包括:
将所述基准相似度对应的频率迭代序列作为基准频率迭代序列,将获得所述基准频率迭代序列的数据段作为所述优先压缩段。
进一步地,所述根据所述优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据所述数据传输顺序进行传输处理的步骤包括:
将所述优先压缩段通过霍夫曼编码压缩获得子数据包进行传输;在所述性能数据序列中将传输完成后的优先压缩段剔除并根据所述数据传输顺序获得下一个优先压缩段和下一个子数据包进行传输。
本发明具有如下有益效果:
在本发明实施例中,获取数据点的异常程度和目标数据点能够确定在性能数据序列中表征自生氧装置运行异常的数据段,为分析数据压缩传输的先后顺序提供基础;获得标记滑窗能够进一步分析目标数据点是否为噪声数据或运行异常数据,提高压缩传输的准确性。获得标记预分段和其他预分段能够准确地判断需要优先压缩传输以及冗余数据的数据段范围;根据分段重要度获得数据传输顺序和优先传输段能够对标记预分段的压缩传输顺序进行排序,提高压缩效率以及自生氧装置的调控速度。获得频率迭代序列能够根据霍夫曼编码的压缩特征获得基准相似度并最合适的优先压缩段;最终根据优先压缩段通过霍夫曼编码进行压缩获得并根据数据传输顺序进行传输处理;能够在保证压缩传输效率的同时,提高了重要数据的优先传输性,便于及时调控自生氧装置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于自生氧装置性能测试的数据处理方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于自生氧装置性能测试的数据处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于自生氧装置性能测试的数据处理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种用于自生氧装置性能测试的数据处理方法流程图,该方法包括以下步骤:
步骤S1,获取监测自生氧装置运行的性能数据序列;根据性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点。
在本发明实施例中,实施场景为对自生氧装置性能测试的数据传输处理方法。首先获取监测自生氧装置运行的性能数据序列,自生氧状态性能测试数据可以用来验证自生氧装置是否符合技术规格和性能指标。自生氧装置性能测试数据包括:氧气产生率,通过流量计等传感器进行采集;氧气纯度,通过氧气分析仪等仪器进行采集;输出压力,通过压力传感器等设备进行采集;需要说明的是,实施者可根据实施场景自行确定采集对象和采集频率。将采集后的任意采集对象的数据序列称为性能数据序列,本发明实施例以压力数据的性能数据序列为例进行分析,其他采集对象的分析步骤相同。
采集的性能数据序列进行数据传输时采用分包传输的方法进行数据传输,将一段时间范围内的数据进行压缩再进行传输。在对自生氧装置进行性能测试时需要长时间的数据采集,在正常运行过程中,会存在大量相似的冗余数据,该类数据对性能测试的分析重要性较小;而对于运行异常时,数据出现了较为明显的波动,对于运行异常时采集的数据对性能测试分析的重要性更大,便于快速调控自生氧装置;故在数据传输时,需要优先对异常数据进行传输,便于自生氧装置的操作系统快速做出反应,对异常情况进行处理。因此可根据性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点。
优选地,在本发明一个实施例中,获取异常程度和目标数据点的步骤包括:计算预设性能范围的最大值和最小值的平均值,获得自生氧装置的性能标准值;预设性能范围指自生氧装置正常运行时,监测对象的正常数值范围,该性能标准值表征了监测对象的正常数值特征。计算预设性能范围的最大值和最小值的差值,获得自生氧装置的性能范围值;该性能范围值表征了监测对象的正常运行的数据区间。计算数据点与性能标准值的差值绝对值,获得数据点的离散程度,当离散程度越大,意味着该数据点的数据越偏离正常情况;将离散程度归一化获得数据点的离散表征值,离散表征值越接近1,意味着该数据点的异常特征越明显;当离散程度超过性能范围值时,离散表征值为预设第一数值;此时意味着该数据点已经严重偏离了正常运行的数值范围,在本发明实施例中预设第一数值为1,实施者可根据实施场景自行确定。
进一步地,计算数据点的预设邻域范围内其他数据点的方差并正相关映射,获得数据点的波动表征值;当该数据点的预设邻域范围内的数据波动越明显,方差越大,该数据点越可能为异常数据点。在本发明实施例中,数据点的预设邻域范围为以数据点为窗口中心,序列长度为9的窗口范围,若数据点在序列边缘,则以数据点最接近窗口中心的窗口范围作为预设邻域范围,实施者可根据实施场景自行确定。计算波动表征值与离散表征值的乘积并归一化,获得数据点的异常程度;当异常程度越大,意味着该数据点的异常特征越明显;当数据点的异常程度超过预设异常阈值时,将数据点作为目标数据点,对于异常程度越大的数据点,在对自生氧装置的性能测试中数据分析的重要性越大,越应该优先传输该类目标数据点的数据,在本发明实施例中,预设异常阈值为0.6,实施者可根据实施场景自行确定。获取异常程度的公式包括:
式中,表示数据点的异常程度,/>表示数据点的数值,/>表示预设性能范围的最大值,/>表示预设性能范围的最小值,/>表示数据点的预设邻域范围内其他数据点的方差,/>表示以自然常数为底的指数函数,/>表示数据点的波动表征值;/>表示性能标准值,/>表示数据点的离散程度,表示数据点的离散表征值;/>表示归一化函数。需要说明的是,当离散程度超过性能范围值/>时,数据点的离散表征值为预设第一数值。
步骤S2,根据目标数据点的预设滑窗中的数据分布特征获得标记滑窗;根据性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段;根据标记预分段中的标记滑窗的分布特征获得分段重要度。
获得的目标数据点可能为噪声导致的噪声数据,也有可能为运行异常的异常数据,对于噪声数据没有优先传输的必要性,且噪声数据往往是随机出现,而异常数据在一段范围内出现频率较高;故需要根据目标数据点的预设滑窗中的数据分布特征获得标记滑窗。
优选地,在本发明一个实施例中,获取标记滑窗包括:计算目标数据点的预设滑窗内其他目标数据点与数据点的数量比值,获得目标数据点的滑窗占比值;当该目标数据点的预设滑窗内其他目标数据点的数量与预设滑窗内总数据点数量的比值越大,该滑窗占比值越大,进而目标数据点的附近数据越能够表征自生氧装置的异常情况,在本发明实施例中,预设滑窗的位置为以目标数据点为窗口起始点,序列长度为20的窗口范围,实施者可根据实施场景自行确定。当滑窗占比值超过预设比例阈值时,在性能数据序列中将目标数据点的预设滑窗的位置作为标记滑窗,在本发明实施例中预设比例阈值为0.5,实施者可根据实施场景自行确定,标记滑窗意味着在性能数据序列中该数据段的数据特征能够表征自生氧装置的运行异常情况,在后续压缩传输过程中需要优先传输,便于对自生氧装置的性能测试与调控。
进一步地,获得了性能数据序列中不同目标数据点对应的标记滑窗后,可能存在不同的标记滑窗存在重合部分的情况,为了避免数据的重复压缩,故根据性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段,具体包括:当任意两个标记滑窗之间出现重合部分时,将该任意两个标记滑窗进行合并,获得标记新滑窗;例如一个标记滑窗在性能数据序列中的坐标次序范围为第10到第30,另一个标记滑窗的坐标次序范围为第20到第40,则标记新滑窗在性能数据序列中的坐标次序范围为第10到第40,将所有存在重合部分的标记滑窗都进行合并,获得不同的标记新滑窗。遍历该性能数据序列,将标记新滑窗和未合并的标记滑窗在性能数据序列中作为标记预分段;将性能数据序列中除标记预分段以外的其他数据段作为其他预分段。标记预分段表征了自生氧装置运行异常的数据特征,需要优先进行压缩传输,而其他预分段表征了自生氧装置正常运行的冗余数据特征,可最后进行压缩传输;在性能数据序列中标记预分段与其他预分段交替出现,与每个标记预分段两端相邻的为其他预分段,与每个其他预分段两端相邻的为标记预分段。
获得性能数据序列中不同的标记预分段后,需要在所有标记预分段中分析最需要优先压缩传输的标记预分段,进一步提高自生氧装置的性能测试与调控的时效性;故根据标记预分段中的标记滑窗的分布特征获得分段重要度。
优选地,在本发明一个实施例中,获取分段重要度包括:计算标记预分段中任意两个标记滑窗的重合部分的长度之和,获得标记预分段的重合表征值,该长度指重合部分的数据点的数量;当两个标记滑窗的重合部分越长,重合表征值越大,意味着该标记预分段中表征异常特征的目标数据点分布越集中,自生氧装置的运行异常特征越明显,越需要优先压缩传输;若标记预分段中只有一个标记滑窗,则该重合表征值为零。计算重合表征值与标记预分段的长度的比值,获得标记预分段的分段重要度,当分段重要度越大,意味着该标记预分段表征的异常特征越明显,越需要优先压缩传输。
步骤S3,根据分段重要度获得数据传输顺序和优先传输段;根据优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列;根据频率迭代序列与幂律分布的相关特征获得基准相似度;根据基准相似度对应的数据段获得优先压缩段。
获得不同标记预分段的分段重要度后,则可根据分段重要度获得数据传输顺序和优先传输段,具体包括:根据所有标记预分段的分段重要度从大至小对标记预分段进行排序,获得标记预分段的数据传输顺序;将数据传输顺序中排序第一的标记预分段作为优先传输段。数据传输顺序表征了标记预分段的压缩传输的先后顺序,将排序第一的标记预分段作为优先传输段并进行传输,传输完成后将数据传输顺序中排序第二的标记预分段作为优先传输段进行传输,根据数据传输顺序传输所有标记预分段。
进一步地,将优先传输段进行传输后,可将优先传输段与自生氧装置性能测试的历史相似数据中进行对比分析,便于归纳分析装置的运行特征;但历史相似数据和优先传输段的数据会存在一定差异,故在权衡分析准确性和传输效率后,可对优先传输段进行扩充,即将优先传输段两端的任意长度的其他预分段与优先传输段进行拼接后同时传输,提高对比分析的准确性。但拼接的长度范围需要进一步分析,避免压缩过多的冗余数据,因此可根据优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列。
优选地,在本发明一个实施例中,获取频率迭代序列包括:频率迭代序列包括频率初始序列和频率更新序列;计算优先传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先传输段的频率初始序列,该频率初始序列表征了不同种类数据点的占比特征;不同种类的数据点指数值大小的不同,相同数值大小为同一种类数据点。因本发明实施例采用的现有压缩算法为霍夫曼编码,根据霍夫曼编码的压缩原理可知,对数据进行压缩时,数据种类的分布特征呈现幂律分布特征时压缩效果是最好的;幂律分布是指某个具有分布性质的变量,其分布密度函数是幂函数,变量在本发明实施例中指不同种类的数据点;即频率初始序列呈现幂律分布的变化特征时压缩效果最好最快;频率初始序列表征了优先传输段未扩充时的数据种类的分布特征。
进一步地,在优先传输段的相邻其他预分段中任意选择一个数据点作为切分点,在相邻其他预分段中将切分点与优先传输段的边界点之间的数据段作为扩充段;将该优先传输段与扩充段进行拼接,获得优先扩充传输段;计算该优先扩充传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先扩充传输段的频率更新序列。若该优先传输段的两端相邻其他预分段中共有个数据点,则最终会得到/>个扩充段和/>个频率更新序列。
获得优先传输段和对应的优先扩充传输段所有的频率迭代序列后,则需要判断最符合幂律分布的频率迭代序列;故根据频率迭代序列与幂律分布的相关特征获得基准相似度,具体包括:根据DTW算法计算频率迭代序列与预设幂律分布序列的动态时间规整距离并负相关映射,获得不同频率迭代序列的不同相似度;将相似度的最大值作为基准相似度。需要说明的是,DTW算法属于现有技术,具体计算步骤不再赘述,当两个序列的变化特征越相似且序列数值越接近,动态时间规整距离越小;故当频率迭代序列的相似度越大时,该频率迭代序列越符合幂律分布的特征。在本发明实施例中,预设幂律分布序列为,实施者可根据实施场景自行确定。
获得基准相似度后,可根据基准相似度对应的数据段获得优先压缩段,具体包括:将基准相似度对应的频率迭代序列作为基准频率迭代序列,将获得基准频率迭代序列的数据段作为优先压缩段;该优先压缩段既权衡了与历史相似数据对比分析的准确性,又保证了压缩效果。
步骤S4,根据优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据数据传输顺序进行传输处理。
获得优先压缩段后,则可根据优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据数据传输顺序进行传输处理,具体包括:将优先压缩段通过霍夫曼编码压缩获得子数据包进行传输;需要说明的是,霍夫曼编码属于现有技术,具体压缩传输步骤不再赘述。将优先压缩段传输完成后,在性能数据序列中将已经传输完成的优先压缩段剔除并根据数据传输顺序获得下一个优先压缩段和下一个子数据包进行传输,即需要根据数据传输顺序将排序第二的标记预分段作为优先压缩段进行处理分析获得对应的优先传输段并进行压缩传输,如此遍历,直至将所有标记预分段先后进行压缩传输。需要说明的是,将标记预分段压缩传输完成后,实施者可根据实施场景自行确定表征冗余数据的剩余其他预分段是否传输,不做限定。通过对性能数据序列进行数据分析并获得标记预分段,在保证压缩传输的效率的同时,提高了重要数据的优先传输性,更利于对自生氧装置的性能测试以及调控。数据传输完成后,实施者可根据传输后的数据对自生氧装置的性能测试进行分析以及调控。
综上所述,本发明实施例提供了一种用于自生氧装置性能测试的数据处理方法;根据性能数据序列中数据点的波动特征获得异常程度和目标数据点。获得目标数据点的标记滑窗;根据标记滑窗的分布特征获得标记预分段和其他预分段;获得标记预分段的分段重要度、数据传输顺序和优先传输段。根据优先传输段和相邻其他预分段中数据点的种类特征获得频率迭代序列、基准相似度和优先压缩段;本发明根据优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据数据传输顺序进行传输处理;在保证压缩传输效率的同时,提高了重要数据的优先传输性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述方法包括以下步骤:
获取监测自生氧装置运行的性能数据序列;根据所述性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点;
根据所述目标数据点的预设滑窗中的数据分布特征获得标记滑窗;根据所述性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段;根据所述标记预分段中的标记滑窗的分布特征获得分段重要度;
根据所述分段重要度获得数据传输顺序和优先传输段;根据所述优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列;根据所述频率迭代序列与幂律分布的相关特征获得基准相似度;根据所述基准相似度对应的数据段获得优先压缩段;
根据所述优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据所述数据传输顺序进行传输处理。
2.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述性能数据序列中数据点与预设性能范围的差异特征、数据点的预设邻域范围内的波动特征获得数据点的异常程度和目标数据点的步骤包括:
计算预设性能范围的最大值和最小值的平均值,获得自生氧装置的性能标准值;计算预设性能范围的最大值和最小值的差值,获得自生氧装置的性能范围值;计算所述数据点与所述性能标准值的差值绝对值,获得数据点的离散程度;将所述离散程度归一化获得数据点的离散表征值;当所述离散程度超过所述性能范围值时,所述离散表征值为预设第一数值;
计算数据点的预设邻域范围内其他数据点的方差并正相关映射,获得数据点的波动表征值;
计算所述波动表征值与所述离散表征值的乘积并归一化,获得数据点的所述异常程度;当数据点的异常程度超过预设异常阈值时,将数据点作为所述目标数据点。
3.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述目标数据点的预设滑窗中的数据分布特征获得标记滑窗的步骤包括:
计算所述目标数据点的预设滑窗内其他目标数据点与数据点的数量比值,获得目标数据点的滑窗占比值;当所述滑窗占比值超过预设比例阈值时,在所述性能数据序列中将所述目标数据点的预设滑窗的位置作为所述标记滑窗。
4.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述性能数据序列中的标记滑窗之间的距离特征获得标记预分段和其他预分段的步骤包括:
当任意两个标记滑窗之间出现重合部分时,将所述任意两个标记滑窗进行合并,获得标记新滑窗;遍历所述性能数据序列,将所述标记新滑窗和未合并的标记滑窗在所述性能数据序列中作为所述标记预分段;将所述性能数据序列中除所述标记预分段以外的其他数据段作为所述其他预分段。
5.根据权利要求4所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述标记预分段中的标记滑窗的分布特征获得分段重要度的步骤包括:
计算所述标记预分段中所述任意两个标记滑窗的重合部分的长度之和,获得标记预分段的重合表征值;计算所述重合表征值与所述标记预分段的长度的比值,获得标记预分段的所述分段重要度。
6.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述分段重要度获得数据传输顺序和优先传输段的步骤包括:
根据所有标记预分段的所述分段重要度从大至小对标记预分段进行排序,获得标记预分段的所述数据传输顺序;将所述数据传输顺序中排序第一的标记预分段作为所述优先传输段。
7.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述优先传输段和相邻其他预分段中不同范围的数据点的种类特征获得不同的频率迭代序列的步骤包括:
所述频率迭代序列包括频率初始序列和频率更新序列;
计算所述优先传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先传输段的所述频率初始序列;在所述优先传输段的相邻其他预分段中任意选择一个数据点作为切分点,在所述相邻其他预分段中将切分点与所述优先传输段的边界点之间的数据段作为扩充段;将所述优先传输段与扩充段进行拼接,获得优先扩充传输段;计算所述优先扩充传输段中所有种类的数据点的出现频率并从大至小进行排序,获得优先扩充传输段的所述频率更新序列。
8.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述频率迭代序列与幂律分布的相关特征获得基准相似度的步骤包括:
根据DTW算法计算所述频率迭代序列与预设幂律分布序列的动态时间规整距离并负相关映射,获得不同频率迭代序列的不同相似度;将所述相似度的最大值作为所述基准相似度。
9.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述基准相似度对应的数据段获得优先压缩段的步骤包括:
将所述基准相似度对应的频率迭代序列作为基准频率迭代序列,将获得所述基准频率迭代序列的数据段作为所述优先压缩段。
10.根据权利要求1所述的一种用于自生氧装置性能测试的数据处理方法,其特征在于,所述根据所述优先压缩段通过霍夫曼编码进行压缩获得子数据包并根据所述数据传输顺序进行传输处理的步骤包括:
将所述优先压缩段通过霍夫曼编码压缩获得子数据包进行传输;在所述性能数据序列中将传输完成后的优先压缩段剔除并根据所述数据传输顺序获得下一个优先压缩段和下一个子数据包进行传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775927.8A CN117459072B (zh) | 2023-12-22 | 2023-12-22 | 用于自生氧装置性能测试的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775927.8A CN117459072B (zh) | 2023-12-22 | 2023-12-22 | 用于自生氧装置性能测试的数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117459072A true CN117459072A (zh) | 2024-01-26 |
CN117459072B CN117459072B (zh) | 2024-03-29 |
Family
ID=89580219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311775927.8A Active CN117459072B (zh) | 2023-12-22 | 2023-12-22 | 用于自生氧装置性能测试的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117459072B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117914450A (zh) * | 2024-03-19 | 2024-04-19 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
CN117955503A (zh) * | 2024-03-22 | 2024-04-30 | 渭南市华州区信达电器有限公司 | 基于霍夫曼编码的电热毯热传导数据的高效传输方法 |
CN117972318A (zh) * | 2024-04-02 | 2024-05-03 | 山东万洋石油科技有限公司 | 一种高速自发电剪切阀脉冲波形测试方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130304710A1 (en) * | 2010-07-26 | 2013-11-14 | Ucl Business Plc | Method and system for anomaly detection in data sets |
US20170083608A1 (en) * | 2012-11-19 | 2017-03-23 | The Penn State Research Foundation | Accelerated discrete distribution clustering under wasserstein distance |
WO2021093012A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳大学 | 时间序列数据组成模式的提取方法、装置及终端设备 |
US20230082012A1 (en) * | 2021-06-24 | 2023-03-16 | Tencent Technology (Shenzhen) Company Limited | Service data processing method and apparatus, computer device, and storage medium |
CN116700630A (zh) * | 2023-08-03 | 2023-09-05 | 山东三方化工集团有限公司 | 基于物联网的有机无机复混肥料生产数据优化存储方法 |
CN116756526A (zh) * | 2023-08-17 | 2023-09-15 | 北京英沣特能源技术有限公司 | 一种蓄能设备全生命周期性能检测分析系统 |
CN116828070A (zh) * | 2023-08-28 | 2023-09-29 | 无锡市锡容电力电器有限公司 | 一种智慧电网数据优化传输方法 |
-
2023
- 2023-12-22 CN CN202311775927.8A patent/CN117459072B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130304710A1 (en) * | 2010-07-26 | 2013-11-14 | Ucl Business Plc | Method and system for anomaly detection in data sets |
US20170083608A1 (en) * | 2012-11-19 | 2017-03-23 | The Penn State Research Foundation | Accelerated discrete distribution clustering under wasserstein distance |
WO2021093012A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳大学 | 时间序列数据组成模式的提取方法、装置及终端设备 |
US20230082012A1 (en) * | 2021-06-24 | 2023-03-16 | Tencent Technology (Shenzhen) Company Limited | Service data processing method and apparatus, computer device, and storage medium |
CN116700630A (zh) * | 2023-08-03 | 2023-09-05 | 山东三方化工集团有限公司 | 基于物联网的有机无机复混肥料生产数据优化存储方法 |
CN116756526A (zh) * | 2023-08-17 | 2023-09-15 | 北京英沣特能源技术有限公司 | 一种蓄能设备全生命周期性能检测分析系统 |
CN116828070A (zh) * | 2023-08-28 | 2023-09-29 | 无锡市锡容电力电器有限公司 | 一种智慧电网数据优化传输方法 |
Non-Patent Citations (1)
Title |
---|
姚学忠;尚江峰;曹晶晶;盛步云;吴志宏;宋寅;: "基于相似性匹配的机泵监测模拟量数据压缩方法", 组合机床与自动化加工技术, no. 08, 20 August 2020 (2020-08-20), pages 88 - 92 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117914450A (zh) * | 2024-03-19 | 2024-04-19 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
CN117914450B (zh) * | 2024-03-19 | 2024-05-14 | 西安德悦电子信息技术有限公司 | 基于云端控制的发电机组实时数据传输策略优化方法 |
CN117955503A (zh) * | 2024-03-22 | 2024-04-30 | 渭南市华州区信达电器有限公司 | 基于霍夫曼编码的电热毯热传导数据的高效传输方法 |
CN117955503B (zh) * | 2024-03-22 | 2024-06-04 | 渭南市华州区信达电器有限公司 | 基于霍夫曼编码的电热毯热传导数据的高效传输方法 |
CN117972318A (zh) * | 2024-04-02 | 2024-05-03 | 山东万洋石油科技有限公司 | 一种高速自发电剪切阀脉冲波形测试方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117459072B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117459072B (zh) | 用于自生氧装置性能测试的数据处理方法 | |
CN117150217B (zh) | 一种基于大数据的数据压缩处理方法 | |
CN115982602B (zh) | 一种光伏变压器电故障检测方法 | |
CN109813269B (zh) | 结构监测传感器在线校准数据序列匹配方法 | |
CN113225209B (zh) | 一种基于时间序列相似检索的网络监控实时预警方法 | |
CN117195137B (zh) | 基于数据分析的转子压铸误差检测系统 | |
KR101522385B1 (ko) | 반도체 제조 공정에서의 이상 감지 방법, 장치 및 기록매체 | |
CN116155426B (zh) | 基于历史数据的调音台运行异常监测方法 | |
CN115987294B (zh) | 一种物联网的多维数据处理方法 | |
CN113821938B (zh) | 一种互感器计量误差状态短期预测方法及装置 | |
CN117889945B (zh) | 一种公路桥梁施工振动测试方法 | |
CN118282413B (zh) | 一种用于超高层钢结构施工过程的监测数据管理方法 | |
CN116776094B (zh) | 一种晶振温度测试数据智能分析存储系统 | |
CN117112514B (zh) | 基于对氯甲基苯乙烯生产数据的记录存储方法 | |
CN112906782A (zh) | 基于dtw与最小二乘估计的轨道静态检查历史数据匹配方法 | |
CN116148656A (zh) | 一种便携式模拟断路器故障检测方法 | |
CN117640463B (zh) | 一种卫星宽带短报文通信与生命体征健康监测方法及系统 | |
CN110990603A (zh) | 用于分段图像数据的格式识别的方法和系统 | |
CN114036463B (zh) | 一种基于指数分布的产品失效率一致性检验方法 | |
CN114783550B (zh) | 基于人工智能的新材料在线评估方法及系统 | |
CN109587627B (zh) | 基于rssi改进终端异质性问题的室内定位方法 | |
CN116595338B (zh) | 基于物联网工程信息采集处理系统 | |
CN115035109B (zh) | 一种大功率直线电机动态性能在线监测方法 | |
CN117560015B (zh) | 一种空调安装工程数据高效处理系统 | |
Puchalski et al. | Stable distributions, generalised entropy, and fractal diagnostic models of mechanical vibration signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |