CN113452378A - 孪生数据的压缩方法、装置与计算机可读存储介质 - Google Patents
孪生数据的压缩方法、装置与计算机可读存储介质 Download PDFInfo
- Publication number
- CN113452378A CN113452378A CN202110722028.6A CN202110722028A CN113452378A CN 113452378 A CN113452378 A CN 113452378A CN 202110722028 A CN202110722028 A CN 202110722028A CN 113452378 A CN113452378 A CN 113452378A
- Authority
- CN
- China
- Prior art keywords
- data
- interval
- value
- compression ratio
- twin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013144 data compression Methods 0.000 title abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 107
- 230000006835 compression Effects 0.000 claims abstract description 107
- 238000005192 partition Methods 0.000 claims abstract description 13
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 abstract description 17
- 239000000463 material Substances 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请提供了一种孪生数据的压缩方法、装置与计算机可读存储介质。该方法包括获取孪生数据;获取标准值;基于标准值,将孪生数据划分为多个区间;确定各区间的压缩比例;采用压缩比例分区间对孪生数据进行压缩。本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
Description
技术领域
本申请涉及孪生数据处理领域,具体而言,涉及一种孪生数据的压缩方法、装置、计算机可读存储介质与处理器。
背景技术
随着电力物资质量检测中心数字孪生体的建立,大量的传感器等设备的应用,使得海量的物联感知数据(孪生数据)产生,海量的数据存储对整体的应用带来了巨大的压力,传统的压缩方法主要是对数据进行粗放的压缩,实现数据的抽样存储,这样无法发现数据本身的特点也没有充分考虑到检测数据存储的目的性。
发明内容
本申请的主要目的在于提供一种孪生数据的压缩方法、装置、计算机可读存储介质与处理器,以解决现有技术中孪生数据的压缩方法无法发现数据本身的特点等问题。
为了实现上述目的,根据本申请的一个方面,提供了一种孪生数据的压缩方法,包括:获取孪生数据;获取标准值;基于所述标准值,将所述孪生数据划分为多个区间;确定各所述区间的压缩比例;采用所述压缩比例分区间对所述孪生数据进行压缩。
可选地,基于所述标准值,将所述孪生数据划分为多个区间,包括:确定所述孪生数据中大于所述标准值的数据,组成的区间为告警区间;获取所述孪生数据中的极大值和极小值;基于所述极大值和所述极小值,将所述孪生数据等分为2N+1份,N为大于或者等于1的整数;取中间的一份数据组成中位区。
可选地,在N=5,基于所述标准值,将所述孪生数据划分为多个区间,还包括:计算所述标准值与所述中位区的最大值的第一差值;计算所述第一差值的第一预定比值;确定第一上区间的上限和下限,所述第一上区间的上限为所述标准值,所述第一上区间的下限为所述标准值与所述第一差值的第一预定比值之差;确定第二上区间的上限和下限,所述第二上区间的上限为所述标准值与所述第一差值的第一预定比值之差,所述第二上区间的下限为所述中位区的最大值。
可选地,基于所述标准值,将所述孪生数据划分为多个区间,还包括:计算所述中位区的最小值与所述极小值的第二差值;计算所述第二差值的第一预定比值;确定第二下区间的上限和下限,所述第二下区间的下限为所述极小值,所述第二下区间的上限为所述极小值与所述第二差值的第一预定比值之和;确定第一下区间的上限和下限,所述第一下区间的下限为所述极小值与所述第二差值的第一预定比值之和,所述第一下区间的上限为所述中位区的最小值。
可选地,基于所述标准值,将所述孪生数据划分为多个区间,还包括:若其他区间与所述告警区间重叠,则将重叠的部分划归所述告警区间,所述其他区间为所述第一上区间、所述第二上区间、所述中位区、所述第一下区间或者所述第二下区间;若不同的所述其他区间之间重叠,则按照优先级划归区间,所述优先级为所述中位区>所述第一上区间>所述第二下区间>所述第二上区间>所述第一下区间。
可选地,确定各所述区间的压缩比例,包括:确定所述告警区间的压缩比例为第一压缩比例;确定所述第一上区间的压缩比例为第二压缩比例;确定所述第二上区间的压缩比例为第三压缩比例;确定所述中位区的压缩比例为第四压缩比例;确定所述第一下区间的压缩比例为第五压缩比例;确定所述第二下区间的压缩比例为第六压缩比例。
可选地,所述第一预定比值为以下之一:1/3、1/5、1/7、1/9。
可选地,采用所述压缩比例分区间对所述孪生数据进行压缩,包括如下步骤:步骤S1:遍历所述孪生数据;步骤S2:计算所述孪生数据是否为跨区间数据,若是所述跨区间数据,执行步骤S5,否则,执行步骤S3;步骤S3:计算所述孪生数据是否为保留抽样数据,若是,则执行步骤S5,否则,执行步骤S4;步骤S4:计算所述孪生数据与基础数据的差值的绝对值,判断所述绝对值是否超过所述孪生数据所在区间的第二预定比值,若是,则执行步骤S5,否则,遗弃所述孪生数据,返回执行步骤S1;步骤S5:将所述孪生数据添加为保留数据,并重置所述基础数据,在将所有的所述孪生数据遍历结束后,执行步骤S6,否则,执行步骤S3;步骤S6:输出压缩数据。
根据本申请的另一个方面,提供了一种孪生数据的压缩装置,包括:第一获取单元,用于获取孪生数据;第二获取单元,用于获取标准值;划分单元,用于基于所述标准值,将所述孪生数据划分为多个区间;确定单元,用于确定各所述区间的压缩比例;压缩单元,用于采用所述压缩比例分区间对所述孪生数据进行压缩。
根据本申请的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
根据本申请的一个方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行任意一种所述的方法。
应用本申请的技术方案,通过获取孪生数据,获取标准值,然后基于标准数据将孪生数据划分为多个区间,然后采用不同的压缩比例对各区间的孪生数据进行压缩,实现了对孪生数据的分区间压缩,相对于传统粗放式的压缩,本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请的实施例的孪生数据的压缩方法流程图;
图2示出了根据本申请的实施例的一种孪生数据的区间划分示意图;
图3示出了根据本申请的实施例的另一种孪生数据的区间划分示意图;
图4示出了根据本申请的实施例对孪生数据进行压缩的流程图;
图5示出了根据本申请的实施例的孪生数据的压缩装置示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所介绍的,现有技术中孪生数据的压缩方法无法发现数据本身的特点,为解决如上孪生数据的压缩方法无法发现数据本身的特点的问题,本申请的实施例提供了一种
根据本申请的实施例,提供了一种孪生数据的压缩方法。
图1是根据本申请实施例的孪生数据的压缩方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取孪生数据;
步骤S102,获取标准值;
步骤S103,基于上述标准值,将上述孪生数据划分为多个区间;
步骤S104,确定各上述区间的压缩比例;
步骤S105,采用上述压缩比例分区间对上述孪生数据进行压缩。
上述方案中,通过获取孪生数据,获取标准值,然后基于标准数据将孪生数据划分为多个区间,然后采用不同的压缩比例对各区间的孪生数据进行压缩,实现了对孪生数据的分区间压缩,相对于传统粗放式的压缩,本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
具体地,可以将本申请中的孪生数据的压缩方法应用于电力物资质量检测领域。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中,基于上述标准值,将上述孪生数据划分为多个区间,包括:确定上述孪生数据中大于上述标准值的数据,组成的区间为告警区间;获取上述孪生数据中的极大值和极小值;基于上述极大值和上述极小值,将上述孪生数据等分为2N+1份,N为大于或者等于1的整数;取中间的一份数据组成中位区。
本申请的一种实施例中,在N=5,基于上述标准值,将上述孪生数据划分为多个区间,还包括:计算上述标准值与上述中位区的最大值的第一差值;计算上述第一差值的第一预定比值;确定第一上区间的上限和下限,上述第一上区间的上限为上述标准值,上述第一上区间的下限为上述标准值与上述第一差值的第一预定比值之差;确定第二上区间的上限和下限,上述第二上区间的上限为上述标准值与上述第一差值的第一预定比值之差,上述第二上区间的下限为上述中位区的最大值。
本申请的一种实施例中,基于上述标准值,将上述孪生数据划分为多个区间,还包括:计算上述中位区的最小值与上述极小值的第二差值;计算上述第二差值的第一预定比值;确定第二下区间的上限和下限,上述第二下区间的下限为上述极小值,上述第二下区间的上限为上述极小值与上述第二差值的第一预定比值之和;确定第一下区间的上限和下限,上述第一下区间的下限为上述极小值与上述第二差值的第一预定比值之和,上述第一下区间的上限为上述中位区的最小值。
本申请的一种实施例中,基于上述标准值,将上述孪生数据划分为多个区间,还包括:若其他区间与上述告警区间重叠,则将重叠的部分划归上述告警区间,上述其他区间为上述第一上区间、上述第二上区间、上述中位区、上述第一下区间或者上述第二下区间;
若不同的上述其他区间之间重叠,则按照优先级划归区间,上述优先级为上述中位区>上述第一上区间>上述第二下区间>上述第二上区间>上述第一下区间。
本申请的一种实施例中,确定各上述区间的压缩比例,包括:确定上述告警区间的压缩比例为第一压缩比例;确定上述第一上区间的压缩比例为第二压缩比例;确定上述第二上区间的压缩比例为第三压缩比例;确定上述中位区的压缩比例为第四压缩比例;确定上述第一下区间的压缩比例为第五压缩比例;确定上述第二下区间的压缩比例为第六压缩比例。具体地,将第一压缩比例设置为1(即每个值都要存储);第二压缩比例设置为5(即每5个值要存储1个);第三压缩比例设置为10;第四压缩比例设置为15;第五压缩比例设置为20;第六压缩比例设置为50。即对数据变化曲率分析,将变化比较剧烈的部分进行多点取值,对变化平缓的地方进行稀疏取点,这样即保障了数据的压缩比例,又保障了试验数据的有效性,最后实现对电力物资孪生质量数据进行有效的压缩存储。即告警区间的数据的保留比例最高,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,更适用于电力物资质量检测数据的压缩。
本申请的一种实施例中,上述第一预定比值为以下之一:1/3、1/5、1/7、1/9。当然,第一预定比值还可以为除1/3、1/5、1/7、1/9以外的值。
本申请的一种具体的实施例中,如图2所示,中位区的最大值小于标准值,N=5,D0表示告警区间,D1表示第一上区间,D2表示第二上区间,D3表示中位区,D4表示第一下区间,D5表示第二下区间,第一预定比值为1/5,极大值P1等于15,标准值P0等于10,极小值P2等于0,(15-0)/5=3。告警区间为(10,15],中位区为[6,9],第一上区间为(9.8,10],第二上区间为(9,9.8],第一下区间为[1.2,6),第二下区间[0,1.2)。需要说明的是,相邻区间的边界包括在哪个区间,可以自由设置。
本申请的一种具体的实施例中,如图3所示,N=5,D0表示告警区间,D1表示第一上区间,D2表示第二上区间,D3表示中位区,D4表示第一下区间,D5表示第二下区间,第一预定比值为1/5,极大值P1等于21,标准值P0等于10,极小值P2等于6,告警区间为(10,22],中位区为[12,15],第一上区间为(10,11],第二上区间为(11,15],第一下区间为[7.2,12),第二下区间[6,7.2)。即中位区包括在告警区间之内,根据告警区间的优先级最高,以及优先级:中位区D3>上述第一上区间D1>上述第二下区间D5>上述第二上区间D2>上述第一下区间D4。将区间进行合并得到:告警区间D0为(10,22],第二下区间D5为[6,7.2),第一下区间D4为[7.2,10),中位区D3、第一上区间D1、第二上区间D2全部被合并入告警区间D0中。
需要说明的是,图2和图3示出的例子仅仅是区间划分的两种可选的方案,其他情况下的划分原理是不变的,此处就不再一一列举。
本申请的一种实施例中,采用上述压缩比例分区间对上述孪生数据进行压缩,如图4所示,包括如下步骤:
步骤S1:遍历上述孪生数据;
步骤S2:计算上述孪生数据是否为跨区间数据,若是上述跨区间数据,执行步骤S5,否则,执行步骤S3;
步骤S3:计算上述孪生数据是否为保留抽样数据,若是,则执行步骤S5,否则,执行步骤S4;
步骤S4:计算上述孪生数据与基础数据的差值的绝对值,判断上述绝对值是否超过上述孪生数据所在区间的第二预定比值,若是,则执行步骤S5,否则,遗弃上述孪生数据,返回执行步骤S1;
步骤S5:将上述孪生数据添加为保留数据,并重置上述基础数据,在将所有的上述孪生数据遍历结束后,执行步骤S6,否则,执行步骤S3;
步骤S6:输出压缩数据。
具体地,第二预定比值可以取为1/10、1/20、1/30等值。
在将孪生数据划分为多个区间以确定后每一个区间的压缩比例之后,就开始遍历上述孪生数据,对每一个孪生数据进行压缩,上述跨区间数据是指一个孪生数据同时属于不同的区间中,是否为保留抽样数据是指该孪生数据与基础数据的数据序列差值是否满足保留条件(例如,第一上区间D1基础数据与该孪生数据之间已经丢弃了4个数据,这是第5个数据,按照D1的压缩比例取5,即五个数据中保留一个,该数据必须保留);上述基础数据是指按照时间顺序保留下来的上一个数据。
本申请实施例还提供了一种孪生数据的压缩装置,需要说明的是,本申请实施例的孪生数据的压缩装置可以用于执行本申请实施例所提供的用于孪生数据的压缩方法。以下对本申请实施例提供的孪生数据的压缩装置进行介绍。
图5是根据本申请实施例的孪生数据的压缩装置的示意图。如图5所示,该装置包括:
第一获取单元10,用于获取孪生数据;
第二获取单元20,用于获取标准值;
划分单元30,用于基于上述标准值,将上述孪生数据划分为多个区间;
确定单元40,用于确定各上述区间的压缩比例;
压缩单元50,用于采用上述压缩比例分区间对上述孪生数据进行压缩。
上述方案中,第一获取单元获取孪生数据,第二获取单元获取标准值,划分单元基于标准数据将孪生数据划分为多个区间,压缩单元采用不同的压缩比例对各区间的孪生数据进行压缩,实现了对孪生数据的分区间压缩,相对于传统粗放式的压缩,本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
本申请的一种实施例中,划分单元包括第一确定模块、获取模块、划分模块和处理模块,第一确定模块用于确定上述孪生数据中大于上述标准值的数据,组成的区间为告警区间;获取模块用于获取上述孪生数据中的极大值和极小值;划分模块用于基于上述极大值和上述极小值,将上述孪生数据等分为2N+1份,N为大于或者等于1的整数;处理模块用于取中间的一份数据组成中位区。
本申请的一种实施例中,在N=5,划分单元还包括第一计算模块、第二计算模块、第二确定模块和第三确定模块,第一计算模块用于计算上述标准值与上述中位区的最大值的第一差值;第二计算模块用于计算上述第一差值的第一预定比值;第二确定模块用于确定第一上区间的上限和下限,上述第一上区间的上限为上述标准值,上述第一上区间的下限为上述标准值与上述第一差值的第一预定比值之差;第三确定模块用于确定第二上区间的上限和下限,上述第二上区间的上限为上述标准值与上述第一差值的第一预定比值之差,上述第二上区间的下限为上述中位区的最大值。
本申请的一种实施例中,划分单元还包括第三计算模块、第四计算模块、第四确定模块和第五确定模块,第三计算模块用于计算上述中位区的最小值与上述极小值的第二差值;第四计算模块用于计算上述第二差值的第一预定比值;第四确定模块用于确定第二下区间的上限和下限,上述第二下区间的下限为上述极小值,上述第二下区间的上限为上述极小值与上述第二差值的第一预定比值之和;第五确定模块用于确定第一下区间的上限和下限,上述第一下区间的下限为上述极小值与上述第二差值的第一预定比值之和,上述第一下区间的上限为上述中位区的最小值。
本申请的一种实施例中,划分单元还包括第一划归模块和第二划归模块,第一划归模块用于若其他区间与上述告警区间重叠,则将重叠的部分划归上述告警区间,上述其他区间为上述第一上区间、上述第二上区间、上述中位区、上述第一下区间或者上述第二下区间;第二划归模块用于若不同的上述其他区间之间重叠,则按照优先级划归区间,上述优先级为上述中位区>上述第一上区间>上述第二下区间>上述第二上区间>上述第一下区间。
本申请的一种实施例中,确定单元包括第一确定子模块、第二确定子模块、第三确定子模块、第四确定子模块、第五确定子模块和第六确定子模块,第一确定子模块用于确定上述告警区间的压缩比例为第一压缩比例;第二确定子模块用于确定上述第一上区间的压缩比例为第二压缩比例;第三确定子模块用于确定上述第二上区间的压缩比例为第三压缩比例;第四确定子模块用于确定上述中位区的压缩比例为第四压缩比例;第五确定子模块用于确定上述第一下区间的压缩比例为第五压缩比例;第六确定子模块用于确定上述第二下区间的压缩比例为第六压缩比例。
所述孪生数据的压缩装置包括处理器和存储器,上述第一获取单元、第二获取单元、划分单元、确定单元和压缩单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现对孪生数据的有效压缩。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行所述孪生数据的压缩方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述孪生数据的压缩方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S101,获取孪生数据;
步骤S102,获取标准值;
步骤S103,基于上述标准值,将上述孪生数据划分为多个区间;
步骤S104,确定各上述区间的压缩比例;
步骤S105,采用上述压缩比例分区间对上述孪生数据进行压缩。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S101,获取孪生数据;
步骤S102,获取标准值;
步骤S103,基于上述标准值,将上述孪生数据划分为多个区间;
步骤S104,确定各上述区间的压缩比例;
步骤S105,采用上述压缩比例分区间对上述孪生数据进行压缩。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请的孪生数据的压缩方法,通过获取孪生数据,获取标准值,然后基于标准数据将孪生数据划分为多个区间,然后采用不同的压缩比例对各区间的孪生数据进行压缩,实现了对孪生数据的分区间压缩,相对于传统粗放式的压缩,本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
2)、本申请的孪生数据的压缩装置,第一获取单元获取孪生数据,第二获取单元获取标准值,划分单元基于标准数据将孪生数据划分为多个区间,压缩单元采用不同的压缩比例对各区间的孪生数据进行压缩,实现了对孪生数据的分区间压缩,相对于传统粗放式的压缩,本方案可以根据数据本身的特点进行压缩。能够将更有价值的孪生数据更多地保留下来,即能反应检验试验的价值数据保留率更高,相对于传统的数据压缩方法准确率更高,价值数据保留率更高,减少无价值数据的存储,更适用于电力物资质量检测数据的压缩。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种孪生数据的压缩方法,其特征在于,包括:
获取孪生数据;
获取标准值;
基于所述标准值,将所述孪生数据划分为多个区间;
确定各所述区间的压缩比例;
采用所述压缩比例分区间对所述孪生数据进行压缩。
2.根据权利要求1所述的方法,其特征在于,基于所述标准值,将所述孪生数据划分为多个区间,包括:
确定所述孪生数据中大于所述标准值的数据,组成的区间为告警区间;
获取所述孪生数据中的极大值和极小值;
基于所述极大值和所述极小值,将所述孪生数据等分为2N+1份,N为大于或者等于1的整数;
取中间的一份数据组成中位区。
3.根据权利要求2所述的方法,其特征在于,在N=5,基于所述标准值,将所述孪生数据划分为多个区间,还包括:
计算所述标准值与所述中位区的最大值的第一差值;
计算所述第一差值的第一预定比值;
确定第一上区间的上限和下限,所述第一上区间的上限为所述标准值,所述第一上区间的下限为所述标准值与所述第一差值的第一预定比值之差;
确定第二上区间的上限和下限,所述第二上区间的上限为所述标准值与所述第一差值的第一预定比值之差,所述第二上区间的下限为所述中位区的最大值。
4.根据权利要求3所述的方法,其特征在于,基于所述标准值,将所述孪生数据划分为多个区间,还包括:
计算所述中位区的最小值与所述极小值的第二差值;
计算所述第二差值的第一预定比值;
确定第二下区间的上限和下限,所述第二下区间的下限为所述极小值,所述第二下区间的上限为所述极小值与所述第二差值的第一预定比值之和;
确定第一下区间的上限和下限,所述第一下区间的下限为所述极小值与所述第二差值的第一预定比值之和,所述第一下区间的上限为所述中位区的最小值。
5.根据权利要求4所述的方法,其特征在于,基于所述标准值,将所述孪生数据划分为多个区间,还包括:
若其他区间与所述告警区间重叠,则将重叠的部分划归所述告警区间,所述其他区间为所述第一上区间、所述第二上区间、所述中位区、所述第一下区间或者所述第二下区间;
若不同的所述其他区间之间重叠,则按照优先级划归区间,所述优先级为所述中位区>所述第一上区间>所述第二下区间>所述第二上区间>所述第一下区间。
6.根据权利要求4所述的方法,其特征在于,确定各所述区间的压缩比例,包括:
确定所述告警区间的压缩比例为第一压缩比例;
确定所述第一上区间的压缩比例为第二压缩比例;
确定所述第二上区间的压缩比例为第三压缩比例;
确定所述中位区的压缩比例为第四压缩比例;
确定所述第一下区间的压缩比例为第五压缩比例;
确定所述第二下区间的压缩比例为第六压缩比例。
7.根据权利要求3至6中任一项所述的方法,其特征在于,所述第一预定比值为以下之一:1/3、1/5、1/7、1/9。
8.根据权利要求1所述的方法,其特征在于,采用所述压缩比例分区间对所述孪生数据进行压缩,包括如下步骤:
步骤S1:遍历所述孪生数据;
步骤S2:计算所述孪生数据是否为跨区间数据,若是所述跨区间数据,执行步骤S5,否则,执行步骤S3;
步骤S3:计算所述孪生数据是否为保留抽样数据,若是,则执行步骤S5,否则,执行步骤S4;
步骤S4:计算所述孪生数据与基础数据的差值的绝对值,判断所述绝对值是否超过所述孪生数据所在区间的第二预定比值,若是,则执行步骤S5,否则,遗弃所述孪生数据,返回执行步骤S1;
步骤S5:将所述孪生数据添加为保留数据,并重置所述基础数据,在将所有的所述孪生数据遍历结束后,执行步骤S6,否则,执行步骤S3;
步骤S6:输出压缩数据。
9.一种孪生数据的压缩装置,其特征在于,包括:
第一获取单元,用于获取孪生数据;
第二获取单元,用于获取标准值;
划分单元,用于基于所述标准值,将所述孪生数据划分为多个区间;
确定单元,用于确定各所述区间的压缩比例;
压缩单元,用于采用所述压缩比例分区间对所述孪生数据进行压缩。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的方法。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110722028.6A CN113452378B (zh) | 2021-06-28 | 2021-06-28 | 孪生数据的压缩方法、装置与计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110722028.6A CN113452378B (zh) | 2021-06-28 | 2021-06-28 | 孪生数据的压缩方法、装置与计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113452378A true CN113452378A (zh) | 2021-09-28 |
CN113452378B CN113452378B (zh) | 2024-07-05 |
Family
ID=77813835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110722028.6A Active CN113452378B (zh) | 2021-06-28 | 2021-06-28 | 孪生数据的压缩方法、装置与计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113452378B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115622568A (zh) * | 2022-11-08 | 2023-01-17 | 中科数智能源科技(深圳)有限公司 | 一种油藏数字孪生系统历史数据压缩方法、系统及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2508141A1 (en) * | 2002-12-02 | 2004-06-17 | Silverbrook Research Pty Ltd | Dead nozzle compensation |
US20110276653A1 (en) * | 2010-05-10 | 2011-11-10 | Fujitsu Limited | Information processing device, image transmission program, image display program, and image display method |
CN103838766A (zh) * | 2012-11-26 | 2014-06-04 | 深圳市腾讯计算机系统有限公司 | 防空缓存方法和装置 |
US20150221310A1 (en) * | 2012-08-01 | 2015-08-06 | Nintendo Co., Ltd. | Data compression apparatus, computer-readable storage medium having stored therein data compression program, data compression system, data compression method, data decompression apparatus, data compression/decompression apparatus, and data structure of compressed data |
CN105103452A (zh) * | 2013-05-30 | 2015-11-25 | 日本电气株式会社 | 数据压缩系统 |
CN105653698A (zh) * | 2015-12-30 | 2016-06-08 | 北京奇艺世纪科技有限公司 | 一种数据库表Hive Table的数据加载方法和装置 |
CN107612554A (zh) * | 2017-09-21 | 2018-01-19 | 国家电网公司 | 数据压缩处理方法 |
CN108446300A (zh) * | 2018-01-26 | 2018-08-24 | 北京奇虎科技有限公司 | 数据信息的扫描方法及装置 |
CN109921952A (zh) * | 2019-04-01 | 2019-06-21 | 安徽农业大学 | 一种基于压缩感知和模型驱动的数据收集方法 |
-
2021
- 2021-06-28 CN CN202110722028.6A patent/CN113452378B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2508141A1 (en) * | 2002-12-02 | 2004-06-17 | Silverbrook Research Pty Ltd | Dead nozzle compensation |
US20040143710A1 (en) * | 2002-12-02 | 2004-07-22 | Walmsley Simon Robert | Cache updating method and apparatus |
US20110276653A1 (en) * | 2010-05-10 | 2011-11-10 | Fujitsu Limited | Information processing device, image transmission program, image display program, and image display method |
US20150221310A1 (en) * | 2012-08-01 | 2015-08-06 | Nintendo Co., Ltd. | Data compression apparatus, computer-readable storage medium having stored therein data compression program, data compression system, data compression method, data decompression apparatus, data compression/decompression apparatus, and data structure of compressed data |
CN103838766A (zh) * | 2012-11-26 | 2014-06-04 | 深圳市腾讯计算机系统有限公司 | 防空缓存方法和装置 |
CN105103452A (zh) * | 2013-05-30 | 2015-11-25 | 日本电气株式会社 | 数据压缩系统 |
CN105653698A (zh) * | 2015-12-30 | 2016-06-08 | 北京奇艺世纪科技有限公司 | 一种数据库表Hive Table的数据加载方法和装置 |
CN107612554A (zh) * | 2017-09-21 | 2018-01-19 | 国家电网公司 | 数据压缩处理方法 |
CN108446300A (zh) * | 2018-01-26 | 2018-08-24 | 北京奇虎科技有限公司 | 数据信息的扫描方法及装置 |
CN109921952A (zh) * | 2019-04-01 | 2019-06-21 | 安徽农业大学 | 一种基于压缩感知和模型驱动的数据收集方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115622568A (zh) * | 2022-11-08 | 2023-01-17 | 中科数智能源科技(深圳)有限公司 | 一种油藏数字孪生系统历史数据压缩方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113452378B (zh) | 2024-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111241073B (zh) | 一种数据质量检查方法及装置 | |
CN108255886B (zh) | 推荐系统的评估方法及装置 | |
WO2023005771A1 (zh) | 轨迹查询方法、设备、存储介质及计算机程序产品 | |
CN113452378A (zh) | 孪生数据的压缩方法、装置与计算机可读存储介质 | |
CN112748993A (zh) | 任务执行方法、装置、存储介质及电子设备 | |
CN115544304A (zh) | 文件解析方法、装置、可读存储介质及文件解析设备 | |
CN110557291A (zh) | 一种网络服务监控系统 | |
CN113919683A (zh) | 工艺工时的计算方法、装置、存储介质及处理器 | |
CN109992470B (zh) | 一种阈值调整方法和装置 | |
CN112766397B (zh) | 一种分类网络及其实现方法和装置 | |
CN110968483B (zh) | 业务数据采集方法、装置及电子设备 | |
CN108804210B (zh) | 一种云平台的资源配置方法及装置 | |
CN111637897A (zh) | 地图的更新方法、更新装置、存储介质以及处理器 | |
CN110377262B (zh) | 数据存储方法及装置、存储介质和处理器 | |
CN114968028A (zh) | 基于用户行为分析动态改变菜单布局的方法、设备及介质 | |
KR970055857A (ko) | 디지탈 셀룰라 시스템에서 기지국시스템의 로딩방법 | |
CN114491936A (zh) | 高压管汇寿命的确定方法及装置、高压管汇系统 | |
CN110020332A (zh) | 一种基于圈选元素的事件生成方法及装置 | |
CN110874268B (zh) | 数据处理方法、装置和设备 | |
CN108810299B (zh) | 一种信息解析的方法、介质及设备 | |
CN109709418B (zh) | 一种充电设施的检测方法及装置、存储介质和处理器 | |
CN109426540B (zh) | 元素的点击情况检测方法和装置、存储介质、处理器 | |
CN111385275A (zh) | 光伏系统中数据的处理方法、装置、存储介质和处理器 | |
CN111314303B (zh) | 直播系统、直播系统的数据处理方法及装置 | |
CN108965373B (zh) | 多媒体文件上传方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |