CN111949621A - 一种基于场景切换的文件压缩存储方法及终端 - Google Patents
一种基于场景切换的文件压缩存储方法及终端 Download PDFInfo
- Publication number
- CN111949621A CN111949621A CN202010756371.8A CN202010756371A CN111949621A CN 111949621 A CN111949621 A CN 111949621A CN 202010756371 A CN202010756371 A CN 202010756371A CN 111949621 A CN111949621 A CN 111949621A
- Authority
- CN
- China
- Prior art keywords
- stored
- file
- compression
- compression type
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 265
- 230000006835 compression Effects 0.000 title claims abstract description 265
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 77
- 238000013500 data storage Methods 0.000 claims description 34
- 238000000638 solvent extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于场景切换的文件压缩存储方法及终端，获取不同格式的测试文件，用不同的压缩类型压缩不同格式的测试文件得到各个格式的测试文件所对应的测试结果；根据测试结果确定各个格式对应的压缩类型，并生成配置文件；获取待存储文件的格式，在配置文件中获取其所对应的待存储压缩类型；根据第一预设值将待存储文件分块得到待存储子文件块，通过待存储压缩类型压缩每一个待存储子文件块并分别进行存储；本发明通过预设测试文件匹配不同格式对应的最优压缩类型，读取待存储文件的格式，根据配置文件中格式与压缩类型的对应关系确定待存储文件的压缩类型能够根据不同场景确定压缩类型，提高存储空间的利用率。
Description
技术领域
本发明涉及文件存储领域，尤其涉及一种基于场景切换的文件压缩存储方法及终端。
背景技术
在智能互联网时代，数据量以几何级的速度爆炸式增长，如何存储并管理这些海量数据，是很多互联网服务提供商面临的一个难题。现有的很多计算机系统均利用数据压缩技术对存储数据进行压缩，从而有效地降低系统的存储成本，并能潜在减少对存储介质的写操作，提高存储介质的寿命和系统的访问性能。
但是传统的基于存储的数据压缩技术通常采用对输入数据流进行分段压缩再存储到存储设备上的方式。在这种存储方式下，需要重新建立压缩数据段的元数据索引结构，会对已有的存储系统增加一些额外的负担。另外，传统的基于存储的压缩技术通常在存储系统中固定地使用一种压缩类型，无法保证存储空间的利用率最大化。
发明内容
本发明所要解决的技术问题是：提供一种基于场景切换的文件压缩存储方法及终端，实现根据具体场景选择压缩方案，提高存储系统的空间利用率。
为了解决上述技术问题，本发明采用的一种技术方案为：
一种基于场景切换的文件压缩存储方法，包括步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种基于场景切换的文件压缩存储终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
本发明的有益效果在于：预先设置不同格式的测试文件，使用不同的压缩类型压缩不同格式的测试文件，根据测试结果生成配置文件，根据待存储文件的格式，在配置文件中确定其对应的压缩类型，根据最终确定的压缩类型将待存储文件进行分块压缩，预先测试各种格式所对应的最佳压缩类型并进行存储为配置文件，当接收到待存储文件时，能够根据待存储文件的格式确认其最适合的压缩类型，实现了根据不同的压缩场景选择不同的压缩方案，动态选择压缩类型提高了存储系统的空间利用率，并且为每种格式针对性配置压缩类型，提高了数据的压缩效率和存储效率。
附图说明
图1为本发明实施例的一种基于场景切换的文件压缩存储方法的步骤流程图；
图2为本发明实施例的一种基于场景切换的文件压缩存储终端的结构示意图；
图3为本发明实施例的待存储文件写入流程示意图；
图4为本发明实施例的数据块文件结构示意图；
图5为本发明实施例的文件读取流程示意图；
标号说明：
1、一种基于场景切换的文件压缩存储终端；2、处理器；3、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1、图3至图5，一种基于场景切换的文件压缩存储方法，包括步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
从上述描述可知，本发明的有益效果在于：预先设置不同格式的测试文件，使用不同的压缩类型压缩不同格式的测试文件，根据测试结果生成配置文件，根据待存储文件的格式，在配置文件中确定其对应的压缩类型，根据最终确定的压缩类型将待存储文件进行分块压缩，预先测试各种格式所对应的最佳压缩类型并进行存储为配置文件，当接收到待存储文件时，能够根据待存储文件的格式确认其最适合的压缩类型，实现了根据不同的压缩场景选择不同的压缩方案，动态选择压缩类型提高了存储系统的空间利用率，并且为每种格式针对性配置压缩类型，提高了数据的压缩效率和存储效率。
进一步的，所述压缩类型所对应的压缩算法运行于硬件加速卡或第三方软件上；
所述S3还包括：
预设默认压缩类型；
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则获取所述默认压缩类型；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，根据所述默认压缩类型压缩每一个所述待存储子文件块并分别进行存储。
由上述描述可知，将压缩算法在硬件加速卡或第三方软件上运行，而不是直接在文件存储系统中运行，不会占用文件存储系统的正常使用，设置默认压缩类型，当配置文件中没有待存储文件的格式所对应的压缩类型时，能够通过默认压缩类型对待存储文件进行压缩，保证能够正常对待存储文件进行压缩，并且将待存储文件分块之后，对待存储子文件块分别进行压缩并存储，便于边缘数据上云。
进一步的，所述S3还包括：
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则保存所述待存储文件的格式；
用不同的压缩类型压缩所述待存储文件，得到所述待存储文件所对应的测试结果；
根据所述测试结果，确定所述待存储文件的格式对应的所述压缩类型；
在所述配置文件中更新所述待存储文件的格式与所述压缩类型的对应关系。
由上述描述可知，当配置文件中未包含待存储文件的格式对应的压缩类型时，保存该待存储文件的格式，并应用不同的压缩类型压缩此待存储文件，获取测试结果，根据测试结果确定此格式所对应的压缩类型，并更新配置文件，当获取到配置文件中并未包含的格式时，除了采用默认的压缩类型对待存储文件进行压缩外，还会进行测试，确定此格式所对应的最佳压缩类型，并且实时更新配置文件，若后续遇到相应格式的待存储文件，能够根据更新后的配置文件确定最佳压缩类型，使对相应格式所对应的压缩类型一直都处于更新学习的状态，进一步提高了存储空间的利用率。
进一步的，还包括：
创建数据块文件，所述数据块文件包括数据块头及数据存储块；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，并通过所述待存储压缩类型压缩每一个所述待存储子文件块，得到每一个所述待存储子文件块的压缩块；
将每一个所述压缩块分别存入所对应的数据存储块内，并在所述数据存储块对应的所述数据块头中存入标识字段。
由上述描述可知，设置数据块文件，在数据块文件的数据存储块中存放压缩后的待存储子文件块，并在其数据块头中存入标识字段，标识压缩类型和相应参数，将待存储子文件块与其相应标识分开存储，易于对目标数据进行相应处理。
进一步的，所述标识字段包括level字段，所述level字段标识所述数据存储块的压缩类型，不同预设值的level字段所对应的压缩类型不同。
由上述描述可知，采用不同预设值的level字段标识不同的压缩类型，并且存储在数据块头中，在需要对压缩块进行解压时，只需从其所在的数据存储块所对应的数据块头中获取level字段值就可获知压缩类型，从而进行对应的解压操作，提高了对压缩数据进行读取的效率。
请参照图2，一种基于场景切换的文件压缩存储终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
本发明的有益效果在于：预先设置不同格式的测试文件，使用不同的压缩类型压缩不同格式的测试文件，根据测试结果生成配置文件，根据待存储文件的格式，在配置文件中确定其对应的压缩类型，根据最终确定的压缩类型将待存储文件进行分块压缩，预先测试各种格式所对应的最佳压缩类型并进行存储为配置文件，当接收到待存储文件时，能够根据待存储文件的格式确认其最适合的压缩类型，实现了根据不同的压缩场景选择不同的压缩方案，动态选择压缩类型提高了存储系统的空间利用率，并且为每种格式针对性配置压缩类型，提高了数据的压缩效率和存储效率。
进一步的，所述压缩类型所对应的压缩算法运行于硬件加速卡或第三方软件上；
所述S3还包括：
预设默认压缩类型；
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则获取所述默认压缩类型；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，根据所述默认压缩类型压缩每一个所述待存储子文件块并分别进行存储。
由上述描述可知，将压缩算法在硬件加速卡或第三方软件上运行，而不是直接在文件存储系统中运行，不会占用文件存储系统的正常使用，设置默认压缩类型，当配置文件中没有待存储文件的格式所对应的压缩类型时，能够通过默认压缩类型对待存储文件进行压缩，保证能够正常对待存储文件进行压缩，并且将待存储文件分块之后，对待存储子文件块分别进行压缩并存储，便于边缘数据上云。
进一步的，所述S3还包括：
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则保存所述待存储文件的格式；
用不同的压缩类型压缩所述待存储文件，得到所述待存储文件所对应的测试结果；
根据所述测试结果，确定所述待存储文件的格式对应的所述压缩类型；
在所述配置文件中更新所述待存储文件的格式与所述压缩类型的对应关系。
由上述描述可知，当配置文件中未包含待存储文件的格式对应的压缩类型时，保存该待存储文件的格式，并应用不同的压缩类型压缩此待存储文件，获取测试结果，根据测试结果确定此格式所对应的压缩类型，并更新配置文件，当获取到配置文件中并未包含的格式时，除了采用默认的压缩类型对待存储文件进行压缩外，还会进行测试，确定此格式所对应的最佳压缩类型，并且实时更新配置文件，若后续遇到相应格式的待存储文件，能够根据更新后的配置文件确定最佳压缩类型，使对相应格式所对应的压缩类型一直都处于更新学习的状态，进一步提高了存储空间的利用率。
进一步的，还包括：
创建数据块文件，所述数据块文件包括数据块头及数据存储块；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，并通过所述待存储压缩类型压缩每一个所述待存储子文件块，得到每一个所述待存储子文件块的压缩块；
将每一个所述压缩块分别存入所对应的数据存储块内，并在所述数据存储块对应的所述数据块头中存入标识字段。
由上述描述可知，设置数据块文件，在数据块文件的数据存储块中存放压缩后的待存储子文件块，并在其数据块头中存入标识字段，标识压缩类型和相应参数，将待存储子文件块与其相应标识分开存储，易于对目标数据进行相应处理，提升系统存储空间的使用率。
进一步的，所述标识字段包括level字段，所述level字段标识所述数据存储块的压缩类型，不同预设值的level字段所对应的压缩类型不同。
由上述描述可知，采用不同预设值的level字段标识不同的压缩类型，并且存储在数据块头中，在需要对压缩块进行解压时，只需从其所在的数据存储块所对应的数据块头中获取level字段值就可获知压缩类型，从而进行对应的解压操作，提高了对压缩数据进行读取的效率。
请参照图1，本发明的实施例一为：
一种基于场景切换的文件压缩存储方法，本实施例中所提方法可与专利《一种面向边缘云的文件存储方法及终端》中所提方案配合使用，在边缘端将数据去重、压缩后再上传到云端(上云)，可以减少上云的数据量及宽带流量，同时优化云空间的使用效率，降低用户综合运营成本，具体包括：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
其中，不同的压缩类型对应不同的压缩算法，压缩算法运行在硬件加速卡或第三方软件上；
在一种可选的实施方式中，使用系统压缩加速程序库，实现数据的压缩优化；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
还包括：
预设默认压缩类型；
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则获取所述默认压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，并通过所述待存储压缩类型/默认压缩类型压缩每一个所述待存储子文件块，得到每一个所述待存储子文件块的压缩块；
将每一个所述压缩块分别存入所对应的数据存储块内，并在所述数据存储块对应的所述数据块头中存入标识字段；
在一种可选的实施方式中，将待存储文件分为大小为4MB的待存储子文件块，并通过待存储压缩类型或默认压缩类型对每一个待存储子文件块进行压缩，得到每一个待存储子文件块的压缩块，将压缩块存入数据块文件的数据存储块内，并在该数据存储块的数据块头中存入对应的压缩类型及相关参数，可用标识字段的方式进行存储；
所述标识字段包括level字段，所述level字段标识所述数据存储块的压缩类型，不同预设值的level字段所对应的压缩类型不同；
请参照图4，数据块文件chunk file包括数据块头chunk_header及数据存储块block，数据块头chunk_header中存放标识字段，标识字段包括level字段，level字段不同的预设值标识不同的压缩类型，及某些压缩类型所对应的压缩算法；
具体的，若level字段为0，压缩类型为不压缩；若level字段为1，压缩类型为Zlib压缩算法；若level字段为2，压缩类型为Lz4压缩算法；若level字段为3，压缩类型为snappy压缩算法；可预设一压缩类型为默认压缩类型，此处预设Zlib压缩算法为默认压缩类型；
在一种可选的实施方式中，level字段的默认值为1。
本发明的实施例二为：
一种基于场景切换的文件压缩存储方法，其与实施例一的不同之处在于：
所述S3还包括：
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则保存所述待存储文件的格式；
用不同的压缩类型压缩所述待存储文件，得到所述待存储文件所对应的测试结果；
根据所述测试结果，确定所述待存储文件的格式对应的所述压缩类型，所述压缩类型为待存储文件的格式所对应的最合适的压缩类型；
在所述配置文件中更新所述待存储文件的格式与所述压缩类型的对应关系；
在一种可选的实施方式中，若有一新压缩类型，则为配置文件中的各个格式分别设置对应的测试文件，对比新压缩类型与配置文件中现有的格式所对应的压缩类型对格式所对应的测试文件的压缩效果，若新压缩类型的压缩效果更符合预期，则更新配置文件，设置相应格式对应的压缩类型为新压缩类型。
请参照图3及图5，本发明的实施例三为：
一种基于场景切换的文件压缩存储方法，其与实施例一或实施例二的不同之处在于，将压缩存储方法应用于具体的文件读写场景中：
设置文件索引文件，存储文件唯一标识fid及文件大小fsize；并创建文件索引文件对应的数据块索引文件，存储文件所存储的数据存储块的唯一标识blockid；根据数据存储块的唯一标识blockid能够计算出数据块文件chunck file的路径；
在一种可选的实施方式中，文件索引文件的文件名即为其对应文件的文件名；
请参照图3，当需要写入文件时，获取待写入文件的格式，在配置文件中搜索此格式所对应的压缩类型，若未搜索到，则获取默认压缩类型，并保存此格式；
若搜索到，则获取此格式在配置文件中所对应的压缩类型；
根据搜索到的压缩类型或默认压缩类型所对应的压缩算法，对分块后的待写入文件进行压缩；将分块并压缩完成的待写入文件压缩块分别放入数据块文件中的数据存储块中，并将压缩类型放入相应的数据块头中；
更新数据块索引文件信息；
在一种可选的实施方式中，压缩类型用相应标识字段进行表示；
请参照图5，当需要读取文件时，根据文件名确定其对应的文件索引文件，获取文件的fid及fsize；
根据文件中的开始读取位置，确定待读取文件的文件偏移量，即开始读取位置与文件头位置相对的偏移量，并根据此偏移量计算数据存储块的偏移量；
根据数据存储块的偏移量，获取数据存储块的标识blockid，并通过blockid计算数据块文件的存储路径，获取数据块文件中数据块头chunk_header中存储的level字段信息，根据level字段信息确定压缩类型所对应的压缩算法，并从数据存储块中读取压缩后的文件块，根据压缩算法对其进行解压缩，将解压缩后的数据缓存到内存中，并返回实际总共读取的字节数。
请参照图2，本发明的实施例四为：
一种基于场景切换的文件压缩存储终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一、实施例二或实施例三中的各个步骤。
综上所述，本发明提供了一种基于场景切换的文件压缩存储方法及终端，通过设置不同格式的测试文件，用不同的压缩类型压缩不同格式的测试文件，得到不同格式测试文件的测试结果，根据测试结果确定各个格式对应的最匹配的压缩类型，此时可以设置压缩率、压缩时间等量化指标，对不同压缩类型与同一格式的压缩匹配度进行评估，并将各个格式与压缩类型之间的对应关系保存为配置文件，获取待存储的文件的格式，在配置文件中匹配相应的待存储压缩类型，并将待存储文件按照预设大小分块为待存储子文件块，根据待存储压缩类型对待存储子文件块进行压缩，得到每一个待存储子文件块对应的压缩块，并将压缩块存储到数据文件中的数据存储块中；若在配置文件中未匹配到相应压缩类型，则采用默认压缩类型对待存储文件进行压缩，同时保存待存储文件的格式，并采用不同的压缩类型对此格式进行测试，确认最合适的压缩类型，并在配置文件中更新此格式与最合适的压缩类型的对应关系，在对大量文件进行压缩的过程中还能够自我学习和完善，使对不同格式文件的压缩策略更加完备，特别适用于在边缘端的应用，将数据去重、压缩后再上云，减少上云数据量和宽带流量，根据文件的不同格式选择不同的压缩类型，优化云空间使用效率，降低用户综合运营成本。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于场景切换的文件压缩存储方法，其特征在于，包括步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
2.根据权利要求1所述的一种基于场景切换的文件压缩存储方法，其特征在于，所述压缩类型所对应的压缩算法运行于硬件加速卡或第三方软件上；
所述S3还包括：
预设默认压缩类型；
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则获取所述默认压缩类型；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，根据所述默认压缩类型压缩每一个所述待存储子文件块并分别进行存储。
3.根据权利要求1所述的一种基于场景切换的文件压缩存储方法，其特征在于，所述S3还包括：
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则保存所述待存储文件的格式；
用不同的压缩类型压缩所述待存储文件，得到所述待存储文件所对应的测试结果；
根据所述测试结果，确定所述待存储文件的格式对应的所述压缩类型；
在所述配置文件中更新所述待存储文件的格式与所述压缩类型的对应关系。
4.根据权利要求1所述的一种基于场景切换的文件压缩存储方法，其特征在于，还包括：
创建数据块文件，所述数据块文件包括数据块头及数据存储块；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，并通过所述待存储压缩类型压缩每一个所述待存储子文件块，得到每一个所述待存储子文件块的压缩块；
将每一个所述压缩块分别存入所对应的数据存储块内，并在所述数据存储块对应的所述数据块头中存入标识字段。
5.根据权利要求4所述的一种基于场景切换的文件压缩存储方法，其特征在于，所述标识字段包括level字段，所述level字段标识所述数据存储块的压缩类型，不同预设值的level字段所对应的压缩类型不同。
6.一种基于场景切换的文件压缩存储终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取不同格式的测试文件，用不同的压缩类型压缩不同格式的所述测试文件，得到各个格式的所述测试文件所对应的测试结果；
S2、根据所述测试结果，确定各个格式对应的所述压缩类型，并根据各个所述格式与所述压缩类型的对应关系生成配置文件；
S3、获取待存储文件的格式，在所述配置文件中获取所述待存储文件的格式所对应的待存储压缩类型；
S4、根据第一预设值将所述待存储文件分块，得到待存储子文件块，通过所述待存储压缩类型压缩每一个所述待存储子文件块并分别进行存储。
7.根据权利要求6所述的一种基于场景切换的文件压缩存储终端，其特征在于，所述处理器执行所述计算机程序时，所述压缩类型所对应的压缩算法运行于硬件加速卡或第三方软件上；
所述S3还包括：
预设默认压缩类型；
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则获取所述默认压缩类型；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，根据所述默认压缩类型压缩每一个所述待存储子文件块并分别进行存储。
8.根据权利要求6所述的一种基于场景切换的文件压缩存储终端，其特征在于，所述S3还包括：
若在所述配置文件中，未获取到所述待存储文件的格式所对应的待存储压缩类型，则保存所述待存储文件的格式；
用不同的压缩类型压缩所述待存储文件，得到所述待存储文件所对应的测试结果；
根据所述测试结果，确定所述待存储文件的格式对应的所述压缩类型；
在所述配置文件中更新所述待存储文件的格式与所述压缩类型的对应关系。
9.根据权利要求6所述的一种基于场景切换的文件压缩存储终端，其特征在于，还包括：
创建数据块文件，所述数据块文件包括数据块头及数据存储块；
所述S4具体为：
根据第一预设值将所述待存储文件分块，得到待存储子文件块，并通过所述待存储压缩类型压缩每一个所述待存储子文件块，得到每一个所述待存储子文件块的压缩块；
将每一个所述压缩块分别存入所对应的数据存储块内，并在所述数据存储块对应的所述数据块头中存入标识字段。
10.根据权利要求9所述的一种基于场景切换的文件压缩存储终端，其特征在于，所述标识字段包括level字段，所述level字段标识所述数据存储块的压缩类型，不同预设值的level字段所对应的压缩类型不同。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020107099899 | 2020-07-22 | ||
| CN202010709989 | 2020-07-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949621A true CN111949621A (zh) | 2020-11-17 |
| CN111949621B CN111949621B (zh) | 2023-12-29 |
Family
ID=73338944
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010756371.8A Active CN111949621B (zh) | 2020-07-22 | 2020-07-31 | 一种基于场景切换的文件压缩存储方法及终端 |
| CN202010757403.6A Active CN111949629B (zh) | 2020-07-22 | 2020-07-31 | 一种面向边缘云的文件存储方法及终端 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010757403.6A Active CN111949629B (zh) | 2020-07-22 | 2020-07-31 | 一种面向边缘云的文件存储方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111949621B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114070471A (zh) * | 2021-11-29 | 2022-02-18 | 广州文远知行科技有限公司 | 一种测试数据包传输方法、装置、系统、设备和介质 |
| CN114666406A (zh) * | 2022-02-24 | 2022-06-24 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559257B (zh) * | 2021-02-19 | 2021-07-13 | 深圳市中科鼎创科技股份有限公司 | 基于数据筛选的数据存储方法 |
| CN112866299B (zh) * | 2021-04-12 | 2022-03-18 | 南京大学 | 移动边缘计算网络的加密数据去重与分享装置及方法 |
| CN113064556A (zh) * | 2021-04-29 | 2021-07-02 | 山东英信计算机技术有限公司 | 一种bios的数据存储方法、装置、设备及存储介质 |
| CN114564928B (zh) * | 2022-02-25 | 2024-02-27 | 北京圣博润高新技术股份有限公司 | 用于办公系统的文件管理方法、装置、设备及存储介质 |
| CN116821102B (zh) * | 2023-08-25 | 2023-11-17 | 腾讯科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102761540A (zh) * | 2012-05-30 | 2012-10-31 | 北京奇虎科技有限公司 | 数据压缩方法、装置、系统以及服务器 |
| US20140218220A1 (en) * | 1998-12-11 | 2014-08-07 | Realtime Data, Llc | Data compression systems and methods |
| CN109800182A (zh) * | 2019-01-18 | 2019-05-24 | 深圳忆联信息系统有限公司 | 一种降低写放大的数据存储处理方法及其系统 |
| CN110196836A (zh) * | 2019-03-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 一种数据存储方法及装置 |
| CN111290697A (zh) * | 2018-12-07 | 2020-06-16 | 上海寒武纪信息科技有限公司 | 数据压缩方法、编码电路和运算装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216791B (zh) * | 2008-01-04 | 2010-07-07 | 华中科技大学 | 基于指纹的文件备份方法 |
| CN101957836B (zh) * | 2010-09-03 | 2012-07-11 | 清华大学 | 一种文件系统中可配置的实时透明压缩方法 |
| CN102629247B (zh) * | 2011-12-31 | 2014-09-17 | 华为数字技术（成都）有限公司 | 一种数据处理方法、装置和系统 |
| CN103246730B (zh) * | 2013-05-08 | 2016-08-10 | 网易（杭州）网络有限公司 | 文件存储方法和设备、文件发送方法和设备 |
| US9880928B1 (en) * | 2014-09-26 | 2018-01-30 | EMC IP Holding Company LLC | Storing compressed and uncompressed data in blocks having different allocation unit sizes |
| CN105306570B (zh) * | 2015-10-27 | 2018-07-20 | 创新科软件技术（深圳）有限公司 | 一种集群数据的存储方法 |
-
2020
- 2020-07-31 CN CN202010756371.8A patent/CN111949621B/zh active Active
- 2020-07-31 CN CN202010757403.6A patent/CN111949629B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140218220A1 (en) * | 1998-12-11 | 2014-08-07 | Realtime Data, Llc | Data compression systems and methods |
| CN102761540A (zh) * | 2012-05-30 | 2012-10-31 | 北京奇虎科技有限公司 | 数据压缩方法、装置、系统以及服务器 |
| CN111290697A (zh) * | 2018-12-07 | 2020-06-16 | 上海寒武纪信息科技有限公司 | 数据压缩方法、编码电路和运算装置 |
| CN109800182A (zh) * | 2019-01-18 | 2019-05-24 | 深圳忆联信息系统有限公司 | 一种降低写放大的数据存储处理方法及其系统 |
| CN110196836A (zh) * | 2019-03-29 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 一种数据存储方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114070471A (zh) * | 2021-11-29 | 2022-02-18 | 广州文远知行科技有限公司 | 一种测试数据包传输方法、装置、系统、设备和介质 |
| CN114070471B (zh) * | 2021-11-29 | 2023-11-21 | 广州禹迹科技有限公司 | 一种测试数据包传输方法、装置、系统、设备和介质 |
| CN114666406A (zh) * | 2022-02-24 | 2022-06-24 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
| CN114666406B (zh) * | 2022-02-24 | 2023-11-21 | 国电南瑞科技股份有限公司 | 一种基于物模型的电力物联网数据压缩方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949629B (zh) | 2024-03-22 |
| CN111949621B (zh) | 2023-12-29 |
| CN111949629A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111949621A (zh) | 一种基于场景切换的文件压缩存储方法及终端 | |
| KR101468336B1 (ko) | 데이터 압축률 예측 기법에 기반한 데이터 분산 저장 방법, 이를 이용한 저장 장치 및 시스템 | |
| US11113245B2 (en) | Policy-based, multi-scheme data reduction for computer memory | |
| CN107229420B (zh) | 数据存储方法、读取方法、删除方法和数据操作系统 | |
| JP6033241B2 (ja) | データー重複排除のためのバックアップおよび復元方策 | |
| KR102319657B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
| KR102275431B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
| JP5719037B2 (ja) | ストレージ装置及び重複データ検出方法 | |
| US10027984B2 (en) | Methods and systems for efficiently reading a data block from a data seglet with compressed data blocks | |
| US8898351B2 (en) | Dynamic compression of an I/O data block | |
| KR102275240B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
| US20170177602A1 (en) | Compressed data layout with variable group size | |
| US10585604B2 (en) | Tool for selectively deploying inline compression | |
| US12086470B2 (en) | Storage device and data processing method | |
| CN111125033A (zh) | 一种基于全闪存阵列的空间回收方法及系统 | |
| CN110888851B (zh) | 压缩文件创建和解压的方法及装置、以及电子和存储设备 | |
| CN107766067B (zh) | 一种提升压缩镜像烧录速度的方法、存储介质及计算机 | |
| CN111796969B (zh) | 一种数据差量压缩检测方法、计算机设备和存储介质 | |
| US8799580B2 (en) | Storage apparatus and data processing method | |
| CN115878017A (zh) | 数据处理方法及存储系统 | |
| CN113326001B (zh) | 数据处理方法、装置、设备、系统、介质及程序 | |
| US20230153005A1 (en) | Block Storage Device and Method for Data Compression | |
| CN118444857A (zh) | 一种数据存储方法、装置、设备、计算机可读存储介质和计算机程序产品 | |
| CN116149737A (zh) | 一种led显示屏参数的保存方法及装置、加载方法及装置 | |
| CN116235140A (zh) | 用于在数据去重中精简数据的块存储方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |