CN116627361B - 一种冗余信息的储存比对管理方法及系统 - Google Patents
一种冗余信息的储存比对管理方法及系统 Download PDFInfo
- Publication number
- CN116627361B CN116627361B CN202310911578.1A CN202310911578A CN116627361B CN 116627361 B CN116627361 B CN 116627361B CN 202310911578 A CN202310911578 A CN 202310911578A CN 116627361 B CN116627361 B CN 116627361B
- Authority
- CN
- China
- Prior art keywords
- storage
- information
- data
- target
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 20
- 238000007906 compression Methods 0.000 claims abstract description 124
- 230000006835 compression Effects 0.000 claims abstract description 124
- 238000013144 data compression Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000005457 optimization Methods 0.000 claims abstract description 60
- 238000013500 data storage Methods 0.000 claims abstract description 41
- 230000006837 decompression Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 241000219095 Vitis Species 0.000 description 5
- 235000009754 Vitis X bourquina Nutrition 0.000 description 5
- 235000012333 Vitis X labruscana Nutrition 0.000 description 5
- 235000014787 Vitis vinifera Nutrition 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据存储技术领域，提供了一种冗余信息的储存比对管理方法及系统，方法包括：获取剩余存储空间、字节长度信息；获取目标存储内容的存储冗余度信息；基于数据类型特征，设置存储标签集合；通过剩余存储空间与字节长度信息，若接收数据存储请求，基于存储冗余度信息与存储标签集合，配置数据压缩通道，将目标存储内容压缩存储至目标存储装置，确定目标压缩存储内容；比对目标存储内容与目标压缩存储内容，获取储存比对结果，反馈至数据压缩通道，持续反馈优化，解决了存储内容中的冗余信息占取大量的存储空间，使得内容存储效率低下的技术问题，实现了选择适配的压缩算法，减少冗余信息的存储空间占用量，提高存储效率的技术效果。
Description
技术领域
本发明涉及数据存储相关技术领域，具体涉及一种冗余信息的储存比对管理方法及系统。
背景技术
除去传输信息时所需最小限度信息外，在传输过程出现的其他非必要信息统称为冗余信息，一般来说，冗余信息会使得传输效率降低，这是冗余信息的消极意义；在整个通信系统中，冗余信息可以提高可靠性。
但，由于在对冗余信息的储存过程中，需要占用更大的存储空间，一般的，对存在冗余的存储内容进行压缩，但在数据压缩过程中，因压缩包括无损压缩（霍夫曼编码、LZW、LZ78等一系类算法）、有损压缩（小波压缩、分形压缩、JPEG等一系类算法），且数据不可以进行无限压缩，需要确定相适应的压缩算法，对存储内容进行压缩。
综上所述，现有技术中存在存储内容中的冗余信息占取大量的存储空间，使得内容存储效率低下的技术问题。
发明内容
本申请通过提供了一种冗余信息的储存比对管理方法及系统，旨在解决现有技术中的存储内容中的冗余信息占取大量的存储空间，使得内容存储效率低下的技术问题。
鉴于上述问题，本申请实施例提供了一种冗余信息的储存比对管理方法及系统。
本申请公开的第一个方面，提供了一种冗余信息的储存比对管理方法，其中，所述方法包括：获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；基于所述目标存储内容的数据类型特征，设置存储标签集合；通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化。
本申请公开的另一个方面，提供了一种冗余信息的储存比对管理系统，其中，所述系统包括：信息获取模块，用于获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及数据冗余度计算模块，用于基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；存储标签集合设置模块，用于基于所述目标存储内容的数据类型特征，设置存储标签集合；请求接收判断模块，用于通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；数据压缩通道配置模块，用于在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；压缩存储内容确定模块，用于利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；储存比对结果获取模块，用于比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；反馈优化模块，用于将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了获取剩余存储空间、字节长度信息；以及基于目标存储内容，进行获取存储冗余度信息；基于数据类型特征，设置存储标签集合；通过剩余存储空间与字节长度信息，若目标存储装置接收数据存储请求，基于存储冗余度信息与存储标签集合，配置数据压缩通道，将目标存储内容压缩存储至目标存储装置，确定目标压缩存储内容；比对目标存储内容与目标压缩存储内容，获取储存比对结果，反馈至数据压缩通道，持续进行反馈优化，实现了保证数据可靠性的基础上，选择适配的压缩算法，适度降低存储内容中的冗余信息占比，减少冗余信息的存储空间占用量，提高存储效率的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种冗余信息的储存比对管理方法可能的流程示意图；
图2为本申请实施例提供了一种冗余信息的储存比对管理方法中配置数据压缩通道可能的流程示意图；
图3为本申请实施例提供了一种冗余信息的储存比对管理方法中反馈优化可能的流程示意图；
图4为本申请实施例提供了一种冗余信息的储存比对管理系统可能的结构示意图。
附图标记说明：信息获取模块100，数据冗余度计算模块200，存储标签集合设置模块300，请求接收判断模块400，数据压缩通道配置模块500，压缩存储内容确定模块600，储存比对结果获取模块700，反馈优化模块800。
实施方式
本申请实施例提供了一种冗余信息的储存比对管理方法及系统，解决了存储内容中的冗余信息占取大量的存储空间，使得内容存储效率低下的技术问题，实现了保证数据可靠性的基础上，选择适配的压缩算法，适度降低存储内容中的冗余信息占比，减少冗余信息的存储空间占用量，提高存储效率的技术效果。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例
如图1所示，本申请实施例提供了一种冗余信息的储存比对管理方法，其中，所述方法包括：
S10：获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及
S20：基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；
S30：基于所述目标存储内容的数据类型特征，设置存储标签集合；
具体而言，所述目标存储装置可以是固态硬盘或其他具备存储功能的硬件装置，所述剩余存储空间即所述目标存储装置中的未添加存储内容的剩余存储容量，所述目标存储内容可以是图片文件、音频文件、视频文件、程序文件、文本文件，所述字节长度信息即所述目标存储内容的空间占用量，为后续分析提供数据基础；
具体而言，采用数据冗余度公式：R=1-（Q/mn），代入进行数据冗余度计算，其中，R为数据冗余度，Q为相邻属性值变化次数的累加和，m为行数，n为列数（重复的数据称为数据冗余，基于此，确定数据冗余度公式，就像用户甲：1月收入、2月收入、3月收入、4月收入、5月收入、6月收入、7月收入、8月收入、9月收入、10月收入、11月收入、12月收入、全年收入总额；其中，有一个“全年收入总额”的冗余字段，全年收入总额即前面12个月收入的加和），通过所述数据冗余度公式，对所述目标存储内容的字节长度信息进行数据冗余度计算，计算获取存储冗余度信息，为进行冗余信息的储存比对提供参考；
采用PCA（Principal Component Analysis，核主成成分分析法）对所述目标存储内容进行数据类型特征分析提取，采用所述目标存储内容构建矩阵，迭代矩阵位于对角线上的数据，每次下一次迭代都会进一步完善矩阵，直到它们收敛为止，得到数据类型特征，将所述数据类型特征作为元素，设置存储标签集合，按照所述存储标签集合执行冗余信息的储存操作，为保证数据存储的有序进行提供支持。
S40：通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
步骤S40还包括步骤：
S41：比较所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
S42：若所述剩余存储空间超出所述字节长度信息，所述目标存储装置接收数据存储请求；
S43：若所述剩余存储空间不超出所述字节长度信息，所述目标存储装置不接收数据存储请求。
具体而言，通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求，包括，一般来说，在完成压缩后，若需要查看/改写压缩文件，需要进行解压操作，解压会默认存到原本文件夹或C盘（存储至C盘会影响设备运行速度），由此，在不进行路径选择的情况下，压缩文件在解压后，多数会默认存到原本文件夹，由此，在进行压缩之前，需要比较所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求：若所述剩余存储空间超出所述字节长度信息（如剩余存储空间为100GB、字节长度信息为30MB），所述目标存储装置接收数据存储请求，所述接收数据存储请求为一功能性指令，用于问询是否执行数据存储操作；若所述剩余存储空间不超出所述字节长度信息（如剩余存储空间为100GB、字节长度信息为130GB），所述目标存储装置不接收数据存储请求（一般来说，就是换个磁盘，直至接收数据存储请求，若均不接收数据存储请求，则需考虑进行硬件升级），在压缩前，若原始文件过大，在原始文件压缩后存在解压失败的风险（如果用户需要进行解压到对应的文件夹，就会解压失败，若反复解压失败，解压过程会产生多个编号文件夹，为垃圾文件清理带来负担），提前比对剩余存储空间与字节长度信息，全面提升信息储存合理性。
步骤S42还包括步骤：
S421：若所述剩余存储空间超出所述字节长度信息，计算所述字节长度信息占用所述剩余存储空间的空间占用百分比；
S422：在用户端发出所述目标压缩存储内容的解压请求指令后，比较所述空间占用百分比与预设百分比；
S423：若所述空间占用百分比大于或等于所述预设百分比，驳回所述解压请求指令，并将解压路径更换提醒发送至用户端；
S424：若所述空间占用百分比小于所述预设百分比，接收所述解压请求指令。
具体而言，若所述剩余存储空间超出所述字节长度信息，所述目标存储装置接收数据存储请求，还包括，若所述剩余存储空间超出所述字节长度信息，计算所述字节长度信息占用所述剩余存储空间的空间占用百分比，其中，空间占用百分比=字节长度信息/目标存储装置的剩余存储空间×100%；
在用户端发出所述目标压缩存储内容的解压请求指令后，比较所述空间占用百分比与预设百分比，其中，预设百分比=目标存储装置的剩余存储空间/目标存储装置的实际存储空间×100%（一般来说，目标存储装置的标称容量若为1T，目标存储装置的实际存储空间=0.93×标称容量=0.93×1T=952.32GB，系数0.93为多次验证所得）；
若所述空间占用百分比大于或等于所述预设百分比，驳回所述解压请求指令，并将解压路径更换提醒发送至用户端，在解压路径更换后，重新比较所述空间占用百分比与下一个磁盘的预设百分比；若所述空间占用百分比小于所述预设百分比，接收所述解压请求指令，一般来说，当硬盘比较满的时候，易出现读取变慢，通过比较所述空间占用百分比与预设百分比，在硬盘比较满的时候，驳回所述解压请求指令，为提前避开信息读取变慢情况。
S50：在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；
如图2所示，步骤S50还包括步骤：
S51：确定所述数据压缩通道对应的K种压缩算法，其中，K为大于2的整数；
S52：通过所述数据压缩通道对应的K种压缩算法，确定K个压缩算法配置指标集；
S53：基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数；
S54：其中，所述K个压缩算法配置指标集中存在一个压缩算法配置指标集的各个元素与所述M个压缩算法配置参数一一对应，其中，M为大于1的整数；
S55：在所述M个压缩算法配置参数设置完成后，所述数据压缩通道配置结束。
具体而言，在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，所述数据压缩通道为HTTP协议连接的两个端口节点，HTTP协议中采用了端到端压缩技术所使用的内容协商机制相类似的机制，对响应的目标存储内容进行压缩；
基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，包括，确定所述数据压缩通道对应的K种压缩算法（压缩算法常见如：7z-zip、rar、zip），其中，K为大于2的整数；通过所述数据压缩通道对应的K种压缩算法进行指标配置，确定K个压缩算法配置指标集（K个压缩算法配置指标集与所述K种压缩算法一一对应），所述压缩算法配置指标集中的元素为压缩算法配置参数，压缩算法配置参数包括但不限于线程个数、字典大小、单词大小、固实大小、压缩比率；
基于所述存储冗余度信息与所述存储标签集合，参照K个压缩算法配置指标集，设置M个压缩算法配置参数，其中，所述K个压缩算法配置指标集中存在一个压缩算法配置指标集的各个元素与所述M个压缩算法配置参数一一对应，将与所述M个压缩算法配置参数一一对应的压缩算法配置指标集命名为第V个压缩算法配置指标集，所述第V个压缩算法配置指标集所确定的压缩算法与M个压缩算法配置参数确定的压缩算法一样，其中，M、V均为大于1的整数；在所述M个压缩算法配置参数设置完成后，所述数据压缩通道配置结束，为进行信息压缩配置提供参考。
步骤S53包括步骤：
S531：通过所述目标存储内容，确定第一文件类型，其中，所述第一文件类型包括程序文件、文本文件；
S532：基于所述第一文件类型，按照所述存储标签集合，采用无损压缩的方式，确定程序/文本压缩方法；
S533：通过所述程序/文本压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
具体而言，基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数，包括，区别性说明：无损压缩的方式下，实际上只有程序文件和文本文件有压缩价值的，图片、音频、视频文件，数据基本上已经压缩了，无损压缩算法是几乎没有作用的，基于此：若所述目标存储内容为程序文件或文本文件，确定第一文件类型；
基于所述第一文件类型，按照所述存储标签集合，采用无损压缩的方式（编码算法如：“吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮”，将“葡萄”作为一个整体化的字符串，在完全还原被压缩的数据的情况下，替换重复出现的数据段，以这种方式实现数据压缩），确定程序/文本压缩方法，所述程序/文本压缩方法还包括LZ77算法、LZW算法、LZSS算法等一系列编程算法；通过所述程序/文本压缩方法与所述存储冗余度信息（冗余度高，对应的，压缩比率可以设置为100%），设置M个压缩算法配置参数，为对应数据类型与数据冗余度进行算法配置提供支持。
步骤S53还包括步骤：
S534：通过所述目标存储内容，确定第二文件类型，其中，所述第二文件类型包括图片文件、音频文件、视频文件；
S535：基于所述第二文件类型，按照所述存储标签集合，采用有损压缩的方式，确定图片/音频/视频压缩方法；
S536：通过所述图片/音频/视频压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
具体而言，基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数，还包括，区别性说明：图片、音频、视频文件，无损压缩算法是几乎没有作用的，可以才无法保证辨识度的情况下，采用有损压缩的方式，基于此：若所述目标存储内容为图片文件、音频文件或视频文件，确定第二文件类型；基于所述第二文件类型，按照所述存储标签集合，采用有损压缩的方式（降低图片文件的图片分辨率、降低音频文件的采样率、降低视频文件的视频码率/视频帧率），确定图片/音频/视频压缩方法；
通过所述图片/音频/视频压缩方法与所述存储冗余度信息（冗余度高，对应的，若音频文件的采样率高于192KHz，可以将采样率设置为192KHz，一般来说若音频文件低于采样率192KHz，音质损伤比较大，即在不产生较大音频文件损伤的情况下，最大限度的降低音频文件的采样率；同理的，在不产生较大图片/音频/视频文件损伤的情况下，降低图片分辨率/采样率/视频码率与视频帧率），设置M个压缩算法配置参数，为对应数据类型与数据冗余度进行算法配置提供支持。
S60：利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；
S70：比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；
具体而言，在所述数据压缩通道配置结束后，利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容，所述目标压缩存储内容即目标存储内容压缩后所得；比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息（若为无损压缩，损失比对为0%；若为有损压缩，音频文件的采样率原本为320K，压缩后的音频文件的采样率为192KHz，损失比对为192/320×100%=60%）、传输时耗比对信息（若目标存储内容为120MB，目标压缩存储内容大小为91MB，在同样的网速下，传输时耗比对为120∶91，极大的缩短传输用时）、空间占有比对信息（结合上述示例：在同样的网速下，传输时耗比对＝空间占有比对）与数据可靠性比对信息（数据可靠性与数据的冗余度呈正比），通过冗余信息的储存比对，为进行冗余信息的储存反馈调整提供数据支持；
另，特别说明，在一般情况下，冗余信息同样是有价值的，常见的，可以使用冗余信息进行误码判定：就像用户甲：1月收入、2月收入、3月收入、4月收入、5月收入、6月收入、7月收入、8月收入、9月收入、10月收入、11月收入、12月收入、全年收入总额；有一个“全年收入总额”的冗余字段，若全年收入总额=全年收入总额即前面12个月收入的加和，即表明数据传输无误，由此可知，在进行信息压缩过程中，常用对整个消息的重复技术来提高可靠性，并非是冗余信息的冗余度越低越好（冗余度高，但能提高通讯的抗干扰能力），需要综合剩余存储空间等相关指标进行综合考虑。
S80：将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化。
如图3所示，步骤80包括步骤：
S81：在所述储存比对结果反馈至所述数据压缩通道后，将所述储存比对结果中的传输时耗比对信息、空间占有比对信息与数据可靠性比对信息作为第一反馈优化信息；
S82：将所述储存比对结果中的数据损失比对信息作为第二反馈优化信息；
S83：将所述第一反馈优化信息与所述第二反馈优化信息作为对抗样本，在配置所述数据压缩通道的过程持续进行反馈优化。
具体而言，将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化，还包括，在所述储存比对结果反馈至所述数据压缩通道后，将所述储存比对结果中的传输时耗比对信息、空间占有比对信息与数据可靠性比对信息作为第一反馈优化信息（在同样的网速下，传输时耗比对信息、空间占有比对信息呈比例，指标变化方向存在一致性，同样的，数据可靠性与数据的冗余度呈正比），数据压缩过程中，所述第一反馈优化信息为变化方向为负相关的指标参数；将所述储存比对结果中的数据损失比对信息作为第二反馈优化信息，数据压缩过程中，所述第二反馈优化信息为变化方向为正相关的指标参数；
将所述第一反馈优化信息与所述第二反馈优化信息作为对抗样本（第一反馈优化信息为正类、第二反馈优化信息为负类，体现了对抗的思想，即第一反馈优化信息的调整方向与第二反馈优化信息的调整方向相反：为了加速反馈优化的过程，在向着第一反馈优化信息方向调整过程中，将第二反馈优化信息作为权重值；在向着第二反馈优化信息方向调整过程中，将第一反馈优化信息作为权重值），在配置所述数据压缩通道的过程持续进行反馈优化，为保证反馈优化的稳定执行提供支持；
在向着第一反馈优化信息方向调整过程中，将第二反馈优化信息作为权重值，包括：对所述传输时耗比对信息、空间占有比对信息、数据可靠性比对信息和数据损失比对信息进行标准化处理，利用变异系数法对标准化处理得到的结果进行加权计算，具体包括：所述变异系数法为一种客观赋权的方法，直接利用所述数据损失比对信息的标准化处理所包含的信息计算得到权重值，确定权重值后，对标准化处理的所述传输时耗比对信息、标准化处理的空间占有比对信息与标准化处理的数据可靠性比对信息进行加权计算，通过权重调整，确定向着第一反馈优化信息方向调整过程中的反馈优化调整信息，通过所述反馈优化调整信息，在配置所述数据压缩通道的过程持续进行反馈优化。
综上所述，本申请实施例所提供的一种冗余信息的储存比对管理方法及系统具有如下技术效果：
1．由于采用了获取剩余存储空间、字节长度信息；以及基于目标存储内容，进行获取存储冗余度信息；基于数据类型特征，设置存储标签集合；通过剩余存储空间与字节长度信息，若目标存储装置接收数据存储请求，基于存储冗余度信息与存储标签集合，配置数据压缩通道，将目标存储内容压缩存储至目标存储装置，确定目标压缩存储内容；比对目标存储内容与目标压缩存储内容，获取储存比对结果，反馈至数据压缩通道，持续进行反馈优化，本申请通过提供了一种冗余信息的储存比对管理方法及系统，实现了保证数据可靠性的基础上，选择适配的压缩算法，适度降低存储内容中的冗余信息占比，减少冗余信息的存储空间占用量，提高存储效率的技术效果。
2．由于采用了将传输时耗比对信息、空间占有比对信息与数据可靠性比对信息作为第一反馈优化信息；将数据损失比对信息作为第二反馈优化信息，在配置数据压缩通道的过程持续进行反馈优化，为保证反馈优化的稳定执行提供支持。
实施例
基于与前述实施例中一种冗余信息的储存比对管理方法相同的发明构思，如图4所示，本申请实施例提供了一种冗余信息的储存比对管理系统，其中，所述系统包括：
信息获取模块100，用于获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及
数据冗余度计算模块200，用于基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；
存储标签集合设置模块300，用于基于所述目标存储内容的数据类型特征，设置存储标签集合；
请求接收判断模块400，用于通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
数据压缩通道配置模块500，用于在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；
压缩存储内容确定模块600，用于利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；
储存比对结果获取模块700，用于比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；
反馈优化模块800，用于将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化。
进一步的，所述系统包括：
第一比较模块，用于比较所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
数据存储请求接收模块，用于若所述剩余存储空间超出所述字节长度信息，所述目标存储装置接收数据存储请求；
数据存储请求不接收模块，用于若所述剩余存储空间不超出所述字节长度信息，所述目标存储装置不接收数据存储请求。
进一步的，所述系统包括：
空间占用百分比计算模块，用于若所述剩余存储空间超出所述字节长度信息，计算所述字节长度信息占用所述剩余存储空间的空间占用百分比；
第二比较模块，用于在用户端发出所述目标压缩存储内容的解压请求指令后，比较所述空间占用百分比与预设百分比；
解压请求指令驳回模块，用于若所述空间占用百分比大于或等于所述预设百分比，驳回所述解压请求指令，并将解压路径更换提醒发送至用户端；
解压请求指令接收模块，用于若所述空间占用百分比小于所述预设百分比，接收所述解压请求指令。
进一步的，所述系统包括：
压缩算法确定模块，用于确定所述数据压缩通道对应的K种压缩算法，其中，K为大于2的整数；
压缩算法配置指标集确定模块，用于通过所述数据压缩通道对应的K种压缩算法，确定K个压缩算法配置指标集；
压缩算法配置参数设置模块，用于基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数；
参数对应模块，用于其中，所述K个压缩算法配置指标集中存在一个压缩算法配置指标集的各个元素与所述M个压缩算法配置参数一一对应，其中，M为大于1的整数；
通道配置结束模块，用于在所述M个压缩算法配置参数设置完成后，所述数据压缩通道配置结束。
进一步的，所述系统包括：
第一文件类型确定模块，用于通过所述目标存储内容，确定第一文件类型，其中，所述第一文件类型包括程序文件、文本文件；
无损压缩模块，用于基于所述第一文件类型，按照所述存储标签集合，采用无损压缩的方式，确定程序/文本压缩方法；
第一压缩算法配置模块，用于通过所述程序/文本压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
进一步的，所述系统包括：
第二文件类型确定模块，用于通过所述目标存储内容，确定第二文件类型，其中，所述第二文件类型包括图片文件、音频文件、视频文件；
有损压缩模块，用于基于所述第二文件类型，按照所述存储标签集合，采用有损压缩的方式，确定图片/音频/视频压缩方法；
第二压缩算法配置模块，用于通过所述图片/音频/视频压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
进一步的，所述系统包括：
第一反馈优化信息确定模块，用于在所述储存比对结果反馈至所述数据压缩通道后，将所述储存比对结果中的传输时耗比对信息、空间占有比对信息与数据可靠性比对信息作为第一反馈优化信息；
第二反馈优化信息确定模块，用于将所述储存比对结果中的数据损失比对信息作为第二反馈优化信息；
持续反馈优化模块，用于将所述第一反馈优化信息与所述第二反馈优化信息作为对抗样本，在配置所述数据压缩通道的过程持续进行反馈优化。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (7)
1.一种冗余信息的储存比对管理方法，其特征在于，所述方法包括：
获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及
基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；
基于所述目标存储内容的数据类型特征，设置存储标签集合；
通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；
利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；
比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；
将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化；
所述基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，所述方法包括：
确定所述数据压缩通道对应的K种压缩算法，其中，K为大于2的整数；
通过所述数据压缩通道对应的K种压缩算法，确定K个压缩算法配置指标集；
基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数；
其中，所述K个压缩算法配置指标集中存在一个压缩算法配置指标集的各个元素与所述M个压缩算法配置参数一一对应，其中，M为大于1的整数；
在所述M个压缩算法配置参数设置完成后，所述数据压缩通道配置结束。
2.如权利要求1所述的方法，其特征在于，所述通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求，所述方法包括：
比较所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
若所述剩余存储空间超出所述字节长度信息，所述目标存储装置接收数据存储请求；
若所述剩余存储空间不超出所述字节长度信息，所述目标存储装置不接收数据存储请求。
3.如权利要求2所述的方法，其特征在于，所述若所述剩余存储空间超出所述字节长度信息，所述目标存储装置接收数据存储请求，所述方法还包括：
若所述剩余存储空间超出所述字节长度信息，计算所述字节长度信息占用所述剩余存储空间的空间占用百分比；
在用户端发出所述目标压缩存储内容的解压请求指令后，比较所述空间占用百分比与预设百分比；
若所述空间占用百分比大于或等于所述预设百分比，驳回所述解压请求指令，并将解压路径更换提醒发送至用户端；
若所述空间占用百分比小于所述预设百分比，接收所述解压请求指令。
4.如权利要求1所述的方法，其特征在于，所述基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数，所述方法包括：
通过所述目标存储内容，确定第一文件类型，其中，所述第一文件类型包括程序文件、文本文件；
基于所述第一文件类型，按照所述存储标签集合，采用无损压缩的方式，确定程序/文本压缩方法；
通过所述程序/文本压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
5.如权利要求1所述的方法，其特征在于，所述基于所述存储冗余度信息与所述存储标签集合，设置M个压缩算法配置参数，所述方法还包括：
通过所述目标存储内容，确定第二文件类型，其中，所述第二文件类型包括图片文件、音频文件、视频文件；
基于所述第二文件类型，按照所述存储标签集合，采用有损压缩的方式，确定图片/音频/视频压缩方法；
通过所述图片/音频/视频压缩方法与所述存储冗余度信息，设置M个压缩算法配置参数。
6.如权利要求1所述的方法，其特征在于，所述将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化，所述方法包括：
在所述储存比对结果反馈至所述数据压缩通道后，将所述储存比对结果中的传输时耗比对信息、空间占有比对信息与数据可靠性比对信息作为第一反馈优化信息；
将所述储存比对结果中的数据损失比对信息作为第二反馈优化信息；
将所述第一反馈优化信息与所述第二反馈优化信息作为对抗样本，在配置所述数据压缩通道的过程持续进行反馈优化。
7.一种冗余信息的储存比对管理系统，其特征在于，用于实施权利要求1-6任意一项所述的一种冗余信息的储存比对管理方法，包括：
信息获取模块，用于获取目标存储装置的剩余存储空间、目标存储内容的字节长度信息；以及
数据冗余度计算模块，用于基于所述目标存储内容，进行数据冗余度计算，获取存储冗余度信息；
存储标签集合设置模块，用于基于所述目标存储内容的数据类型特征，设置存储标签集合；
请求接收判断模块，用于通过所述剩余存储空间与所述字节长度信息，判断所述目标存储装置是否接收数据存储请求；
数据压缩通道配置模块，用于在所述目标存储装置是接收数据存储请求后，基于所述存储冗余度信息与所述存储标签集合，配置数据压缩通道，其中，所述数据压缩通道为HTTP协议连接的两个端口节点；
压缩存储内容确定模块，用于利用所述数据压缩通道，将所述目标存储内容压缩存储至所述目标存储装置，确定目标压缩存储内容；
储存比对结果获取模块，用于比对所述目标存储内容与所述目标压缩存储内容，获取储存比对结果，所述储存比对结果包括数据损失比对信息、传输时耗比对信息、空间占有比对信息与数据可靠性比对信息；
反馈优化模块，用于将所述储存比对结果反馈至所述数据压缩通道，在配置所述数据压缩通道的过程持续进行反馈优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310911578.1A CN116627361B (zh) | 2023-07-25 | 2023-07-25 | 一种冗余信息的储存比对管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310911578.1A CN116627361B (zh) | 2023-07-25 | 2023-07-25 | 一种冗余信息的储存比对管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116627361A CN116627361A (zh) | 2023-08-22 |
| CN116627361B true CN116627361B (zh) | 2023-11-17 |
Family
ID=87592507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310911578.1A Active CN116627361B (zh) | 2023-07-25 | 2023-07-25 | 一种冗余信息的储存比对管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116627361B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532804A (zh) * | 2019-09-05 | 2019-12-03 | 广州知弘科技有限公司 | 一种基于大数据的安全存储控制方法 |
| CN111538464A (zh) * | 2020-05-10 | 2020-08-14 | 智博云信息科技(广州)有限公司 | 一种基于物联网平台的数据清理方法及装置 |
| CN111587417A (zh) * | 2017-11-09 | 2020-08-25 | 瑞典爱立信有限公司 | 用于数据存储的方法、设备、计算机程序和计算机程序产品 |
| CN112269789A (zh) * | 2020-11-16 | 2021-01-26 | 北京百度网讯科技有限公司 | 存储数据的方法和装置、以及读取数据的方法和装置 |
| US11216186B1 (en) * | 2016-12-29 | 2022-01-04 | EMC IP Holding Company LLC | Managing inline data compression in storage systems |
| CN116301656A (zh) * | 2023-04-07 | 2023-06-23 | 平安科技（深圳）有限公司 | 基于日志结构合并树的数据存储方法、系统及设备 |
-
2023
- 2023-07-25 CN CN202310911578.1A patent/CN116627361B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11216186B1 (en) * | 2016-12-29 | 2022-01-04 | EMC IP Holding Company LLC | Managing inline data compression in storage systems |
| CN111587417A (zh) * | 2017-11-09 | 2020-08-25 | 瑞典爱立信有限公司 | 用于数据存储的方法、设备、计算机程序和计算机程序产品 |
| CN110532804A (zh) * | 2019-09-05 | 2019-12-03 | 广州知弘科技有限公司 | 一种基于大数据的安全存储控制方法 |
| CN111538464A (zh) * | 2020-05-10 | 2020-08-14 | 智博云信息科技(广州)有限公司 | 一种基于物联网平台的数据清理方法及装置 |
| CN112269789A (zh) * | 2020-11-16 | 2021-01-26 | 北京百度网讯科技有限公司 | 存储数据的方法和装置、以及读取数据的方法和装置 |
| CN116301656A (zh) * | 2023-04-07 | 2023-06-23 | 平安科技（深圳）有限公司 | 基于日志结构合并树的数据存储方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116627361A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9479383B2 (en) | Data compression for priority based data traffic, on an aggregate traffic level, in a multi stream communications system | |
| US9690656B2 (en) | Data encoding on single-level and variable multi-level cell storage | |
| US4225885A (en) | Method and apparatus for adaptive transform coding of picture signals | |
| US20170017407A1 (en) | Data object processing method and apparatus | |
| EP2034739B1 (en) | Data compression/decompression apparatus and method | |
| US8059016B2 (en) | Data compression apparatus and method | |
| US7605721B2 (en) | Adaptive entropy coding compression output formats | |
| CN111611250A (zh) | 数据存储设备、数据查询方法、装置、服务器及存储介质 | |
| US20210173824A1 (en) | Data storage method, data obtaining method, and apparatus | |
| US10303402B2 (en) | Data compression using partial statistics | |
| US7518538B1 (en) | Adaptive entropy coding compression with multi-level context escapes | |
| US11881873B1 (en) | Huffman correction encoding method and system, and relevant components | |
| CN116627361B (zh) | 一种冗余信息的储存比对管理方法及系统 | |
| CN105975498A (zh) | 数据查询的方法、装置和系统 | |
| CN116303297B (zh) | 文件压缩处理方法、装置、设备及介质 | |
| US11829600B2 (en) | Storage system and data processing method using data compression | |
| CN116302670A (zh) | 编解码方法、编解码器、芯片、硬盘、通讯系统 | |
| JP2019133468A (ja) | データ蓄積システム及びデータ蓄積装置 | |
| CN114337680B (zh) | 一种压缩处理方法、装置、存储介质及电子设备 | |
| US5838691A (en) | Codebook-based lossy data compression encoding system | |
| US7564383B2 (en) | Compression ratio of adaptive compression algorithms | |
| US20240086392A1 (en) | Consistency checks for compressed data | |
| US11561738B2 (en) | Memory system | |
| US12010352B2 (en) | Coding method and related device | |
| US11960449B2 (en) | Computer-readable recording medium storing information processing program, information processing method, and information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |