CN113704206A - 一种元数据的处理方法、装置、电子设备及存储介质 - Google Patents
一种元数据的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113704206A CN113704206A CN202111267013.1A CN202111267013A CN113704206A CN 113704206 A CN113704206 A CN 113704206A CN 202111267013 A CN202111267013 A CN 202111267013A CN 113704206 A CN113704206 A CN 113704206A
- Authority
- CN
- China
- Prior art keywords
- target data
- data
- metadata
- length
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000007906 compression Methods 0.000 claims abstract description 58
- 230000006835 compression Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004806 packaging method and process Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006837 decompression Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据的处理方法、装置、电子设备及存储介质。该方法包括：接收输入操作请求，其中，所述输入操作请求中携带待压缩的元数据，以及所述元数据的对应的原始数据长度；根据所述原始数据长度创建具有目标数据长度的初始数据块；基于所述目标数据长度对所述元数据进行压缩，得到目标数据块；对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储所述压缩文件。本申请实施例提供的方法根据不同的元数据设置不同的压缩长度，对所述目标数据块、目标数据长度以及所述原始数据长度进行封装得到压缩文件。实现了压缩长度的动态变化，相比现有技术中采用定长压缩的方式，减少了压缩资源的损耗。
Description
技术领域
本申请涉及数据压缩技术领域，尤其涉及一种元数据的处理方法、装置、电子设备及存储介质。
背景技术
随着大数据技术的高速发展，存储设备需求剧增，同时对于存储应用千变万化，例如：对存储设备高负载、低时延、大容量的要求也越来越高，这就需要存储设备的具备足够高的IOPS、充足的磁盘空间，从而支撑日益膨胀的海量数据业务。为了应对不同大小的数据模型，现有技术中，定长压缩只能采用压缩多次的方式完成大块IO的压缩，这样的实现方式带来了压缩资源的损耗及IO路径的延长。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种元数据的处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种元数据的处理方法，应用于存储设备，包括：
接收输入操作请求，其中，所述输入操作请求中携带待压缩的元数据，以及所述元数据的对应的原始数据长度；
确定所述元数据对应的目标数据类型，并根据所述目标数据类型创建具有目标数据长度的初始数据块；
将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块；
对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储所述压缩文件。
进一步的，所述根据所述目标数据类型创建具有目标数据长度的初始数据块，包括：
获取数据类型与数据长度之间的对应关系；
基于所述对应关系确定所述目标数据类型对应的目标数据长度；
按照所述目标数据长度创建初始数据块。
进一步的，所述将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块，包括：
按照预设压缩规则，将所述元数据由所述原始数据长度压缩至所述目标数据长度；
在所述目标数据长度的元数据完全存储至所述初始数据块的情况下，生成所述目标数据块。
进一步的，所述对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，包括：
按照预设编码规则对所述原始数据长度进行编码，得到编码信息；
提取所述目标数据块对应的数据特征，其中，所述数据特征至少包括：目标数据长度、数据偏移量以及存储地址；
基于所述数据特征以及所述编码信息生成压缩头文件，其中，所述压缩头文件，用于在所述压缩文件中的目标数据块丢失的情况下，重新创建所述目标数据块；
根据所述目标数据块以及所述压缩头文件进行封装得到所述压缩文件。
进一步的，所述存储所述压缩文件，包括：
获取所述元数据对应的数据标识；
建立所述数据标识与所述压缩文件之间的对应关系；
将所述对应关系、所述数据标识以及所述压缩文件关联存储。
根据本申请实施例的另一方面，还提供了一种元数据的处理方法，应用于存储设备，所述方法包括：
接收读取操作请求，其中，所述读取操作请求携带待读取数据的数据标识；
基于数据标识与压缩文件之间的对应关系，确定所述待读取数据的数据标识对应的压缩文件，所述压缩文件中包括：压缩头文件以及目标数据块；
从所述压缩头文件中提取编码信息和数据特征，并对所述编码信息进行解码，得到原始数据长度，其中，所述数据特征包括：目标数据长度、数据偏移量以及存储地址；
按照预设解压规则，将所述目标数据块中的数据由所述目标数据长度恢复至所述原始数据长度。
根据本申请实施例的另一方面，还提供了一种元数据的处理装置，包括：
接收模块，用于接收输入操作请求，其中，所述输入操作请求中携带待压缩的元数据，以及所述元数据的对应的原始数据长度；
创建模块，用于确定所述元数据对应的目标数据类型，并根据所述目标数据类型创建具有目标数据长度的初始数据块；
压缩模块，用于将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块；
生成模块，用于对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储所述压缩文件。
根据本申请实施例的另一方面，还提供了一种元数据的处理装置，包括：
接收模块，用于接收读取操作请求，其中，所述读取操作请求携带待读取数据的数据标识；
确定模块，用于基于数据标识与压缩文件之间的对应关系，确定所述待读取数据的数据标识对应的压缩文件，所述压缩文件中包括：压缩头文件以及目标数据块；
解析模块，用于从所述压缩头文件中提取编码信息和数据特征，并对所述编码信息进行解码，得到原始数据长度，其中，所述数据特征包括：目标数据长度、数据偏移量以及存储地址；
处理模块，用于按照预设解压规则，将所述目标数据块中的数据由所述目标数据长度恢复至所述原始数据长度。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的方法根据不同的元数据设置不同的压缩长度，对所述目标数据块、目标数据长度以及所述原始数据长度进行封装得到压缩文件。实现了压缩长度的动态变化，相比现有技术中采用定长压缩的方式，减少了压缩资源的损耗。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种元数据的处理方法的流程图；
图2为本申请另一实施例提供的一种元数据的处理方法的流程图；
图3为本申请实施例提供的一种元数据的处理装置的框图；
图4为本申请另一实施例提供的一种元数据的处理装置的框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种元数据的处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种元数据的处理方法的方法实施例。图1为本申请实施例提供的一种元数据的处理方法的流程图，如图1所示，该方法包括：
步骤S11，接收输入操作请求，其中，输入操作请求中携带待压缩的元数据，以及元数据的对应的原始数据长度。
本申请实施例提供的方法适用于存储设备，当客户端存在存储数据的需求时，客户端会选择需要存储的元数据，以及该元数据对应的原始数据长度，根据元数据和原始数据长度生成输入操作请求，并将输入操作请求发送至存储设备。在存储设备接收到元数据后，会将元数据确定为待压缩的元数据。
需要说明的是，本申请实施例中的存储设备在接收到元数据后，不会立即对元数据进行存储，而是将元数据确定为待压缩的元数据，后续根据不同的数据类型对应的压缩方式对元数据进行压缩，从而有效降低了压缩资源的消耗，同时可以是不同数据类型的压缩数据混合存储。
步骤S12，确定元数据对应的目标数据类型，并根据目标数据类型创建具有目标数据长度的初始数据块。
在本申请实施例中，确定元数据对应的目标数据类型可以是，提取元数据的特征信息，根据特征信息确定元数据对应的目标数据类型。数据类型可以是文档类型、图片类型、视频类型等等，在此不做具体限定。
在本申请实施例中，步骤S12，根据目标数据类型创建具有目标数据长度的初始数据块，包括以下步骤A1-A3：
步骤A1，获取数据类型与数据长度之间的对应关系。
步骤A2，基于对应关系确定目标数据类型对应的目标数据长度。
步骤A3，按照目标数据长度创建初始数据块。
本申请实施例为了提高了存储设备的存储效率，预先设置了数据类型与数据长度之间的对应关系，该对应关系中包括多种数据类型，以及每种数据类型对应的数据长度。
在本申请实施例中，基于上述对应关系，可以确定目标数据类型对应的目标数据长度，然后按照目标数据长度创建初始数据块，该初始数据块用于存储元数据。
步骤S13，将元数据按照目标数据长度压缩至初始数据块，生成目标数据块。
在本申请实施例中，步骤S13，将元数据按照目标数据长度压缩至初始数据块，生成目标数据块，包括以下步骤B1-B2：
步骤B1，按照预设压缩规则，将元数据由原始数据长度压缩至目标数据长度。
步骤B2，在目标数据长度的元数据完全存储至初始数据块的情况下，生成目标数据块。
在本申请实施例中，预设压缩规则包括：对文字数据的压缩规则，对图像的压缩规则，以及对视频的压缩规则，作为一个示例，文字数据的压缩规则可以是：枚举型数据压缩为二进制数据、字符串数据压缩为整数或者浮点。同时还可以将短字段进行组合后再进行压缩，将近似字段压缩冗余信息后进行压缩等等。
在本申请实施例中，在生成目标数据长度的初始数据块之后，采用上述预设压缩规则将原始数据长度的元数据压缩至目标数据长度，并写入初始数据块，最终得到目标数据块。
需要说明的是，本申请实施例提供的压缩方法不再需要对元数据进行拆分存储，只需要确定预先确定元数据压缩后的目标数据长度，能够实现动态控制元数据的压缩长度，有利于减少对压缩资源的使用。
步骤S14，对目标数据块以及原始数据长度进行封装得到压缩文件，并存储压缩文件。
在本申请实施例中，步骤S14，对目标数据块以及原始数据长度进行封装得到压缩文件，包括以下步骤C1-C4：
步骤C1，按照预设编码规则对原始数据长度进行编码，得到编码信息。
在本申请实施例中，按照预设编码规则对原始数据长度进行编码的目的是提高压缩数据的安全性，另外，还能够防止元数据的原始数据长度泄漏，导致元数据被窃取的情况。其中，预设编码规则可以是开人员预先设置的加密算法，可以是客户端在发送元数据时指定的加密算法。
本申请实施例通过预先设置的字符映射表对原始数据长度进行编码，其中，字符映射表包括数值与映射字符之间对应关系。具体的，从字符映射表中，确定原始数据长度的数值对应的映射字符，然后根据映射字符组成编码信息。
在本申请实时例中，在对原始数据长度进行编码的过程中，还需要获取字符映射周期表当前所处的目标周期，并将目标周期写入编码信息中，得到最终的编码信息。需要说明的是，字符映射表中的数值与映射字符之间的对应关系是周期性变化的。目的是防止字符映射表泄漏，导致元数据被窃取的情况，同时变化后的字符映射表和存储设备的设备标识发送至服务器，以使服务器按照设备标识存储字符映射表。
步骤C2，提取目标数据块对应的数据特征，其中，数据特征至少包括：目标数据长度、数据偏移量以及存储地址。
步骤C3，基于数据特征以及编码信息生成压缩头文件，其中，压缩头文件，用于在压缩文件中的目标数据块丢失的情况下，重新创建目标数据块。
步骤C4，根据目标数据块以及压缩头文件进行封装得到压缩文件。
在本申请实施例中，通过在压缩头文件中写入目标数据长度、数据偏移量以及存储地址，后续其他客户端想要使用元数据的时，可以根据压缩头文件中的参数对目标数据块中的数据进行恢复，得到元数据。
在本申请实施例中，在得到压缩文件之后，还可以采用预设加密算法，对压缩文件进行加密处理，得到加密后的压缩文件。同时还可以根据预设加密算法，生成与预设加密算法对应的解密算法。然后将加密后的压缩文件存储在本地，将解密算法发送至服务器进行存储。
在本申请实施例中，存储压缩文件，包括以下步骤D1-D3：
步骤D1，获取元数据对应的数据标识。
步骤D2，建立数据标识与压缩文件之间的对应关系。
步骤D3，将对应关系、数据标识以及压缩文件关联存储。
本申请实施例提供的方法根据不同的元数据设置不同的压缩长度，对所述目标数据块、目标数据长度以及所述原始数据长度进行封装得到压缩文件。实现了压缩长度的动态变化，相比现有技术中采用定长压缩的方式，减少了压缩资源的损耗。
根据本申请实施例的另一个方面，还提供了一种元数据的处理方法，如图2所示，包括：
步骤S21，接收读取操作请求，其中，读取操作请求携带待读取数据的数据标识。
步骤S22，基于数据标识与压缩文件之间的对应关系，确定待读取数据的数据标识对应的压缩文件，压缩文件中包括：压缩头文件以及目标数据块。
步骤S23，从压缩头文件中提取编码信息和数据特征，并对编码信息进行解码，得到原始数据长度，其中，数据特征包括：目标数据长度、数据偏移量以及存储地址。
步骤S24，按照预设解压规则，将目标数据块中的数据由目标数据长度恢复至原始数据长度。
在本申请实施例中，存储设备接收客户端发送的读取操作请求，读取操作请求中携带待读取数据的数据标识，然后基于数据标识与压缩文件之间的对应关系，确定待读取数据的数据标识对应的目标压缩文件。
此时存储设备向客户端发送第一认证请求，客户端在接收到第一认证请求后，客户端将认证信息以及自身的设备标识发送至存储设备，存储设备将上述信息发送至服务器，在服务器认证通过后，会向存储设备反馈解密算法，存储设备使用解密算法对压缩文件进行解密，得到解密后压缩文件，解密后的压缩文件包括：压缩头文件以及目标数据块。压缩头文件中包括：编码信息和数据特征。存储设备向客户端发送第二认证请求，第二认证请求用于获取时间戳（该时间戳为编码信息生成的时间戳），客户端在收到第二认证请求后，会向目标数据块对应的原客户端发送请求，原客户端认证通过后，会将时间戳和签名信息发送给当前的客户端。此时当前的客户端将时间戳和签名信息转发给存储设备，存储设备确定时间戳与编码信息上的周期相匹配后，从服务器获取存储的字符映射表，然后对编码信息进行解密，得到原始数据长度。最后按照预设解压规则，将目标数据块中的数据由目标数据长度恢复至原始数据长度。
图3为本申请实施例提供的一种元数据的处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，该装置包括：
接收模块31，用于接收输入操作请求，其中，输入操作请求中携带待压缩的元数据，以及元数据的对应的原始数据长度；
创建模块32，用于确定元数据对应的目标数据类型，并根据目标数据类型创建具有目标数据长度的初始数据块；
压缩模块33，用于将元数据按照目标数据长度压缩至初始数据块，生成目标数据块；
生成模块34，用于对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储压缩文件。
在本申请实施例中，创建模块32，用于获取数据类型与数据长度之间的对应关系；基于对应关系确定目标数据类型对应的目标数据长度；按照目标数据长度创建初始数据块。
在本申请实施例中，压缩模块33，用于按照预设压缩规则，将元数据由原始数据长度压缩至目标数据长度；在目标数据长度的元数据完全存储至初始数据块的情况下，生成目标数据块。
在本申请实施例中，生成模块34，用于按照预设编码规则对原始数据长度进行编码，得到编码信息；提取目标数据块对应的数据特征，其中，数据特征至少包括：目标数据长度、数据偏移量以及存储地址；基于数据特征以及编码信息生成压缩头文件，其中，压缩头文件，用于在压缩文件中的目标数据块丢失的情况下，重新创建目标数据块；根据目标数据块以及压缩头文件进行封装得到压缩文件。
在本申请实施例中，生成模块34，用于获取元数据对应的数据标识；建立数据标识与压缩文件之间的对应关系；将对应关系、数据标识以及压缩文件关联存储。
图4为本申请实施例提供的一种元数据的处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，该装置包括：
接收模块41，用于接收读取操作请求，其中，读取操作请求携带待读取数据的数据标识；
确定模块42，用于基于数据标识与压缩文件之间的对应关系，确定待读取数据的数据标识对应的压缩文件，压缩文件中包括：压缩头文件以及目标数据块；
解析模块43，用于从压缩头文件中提取编码信息和数据特征，并对编码信息进行解码，得到原始数据长度，其中，数据特征包括：目标数据长度、数据偏移量以及存储地址；
处理模块44，用于按照预设解压规则，将目标数据块中的数据由目标数据长度恢复至原始数据长度。
本申请实施例还提供一种电子设备，如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的元数据的处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的元数据的处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘SolidState Disk）等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种元数据的处理方法，其特征在于，应用于存储设备，所述方法包括：
接收输入操作请求，其中，所述输入操作请求中携带待压缩的元数据，以及所述元数据的对应的原始数据长度；
确定所述元数据对应的目标数据类型，并根据所述目标数据类型创建具有目标数据长度的初始数据块；
将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块；
对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储所述压缩文件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据类型创建具有目标数据长度的初始数据块，包括：
获取数据类型与数据长度之间的对应关系；
基于所述对应关系确定所述目标数据类型对应的目标数据长度；
按照所述目标数据长度创建初始数据块。
3.根据权利要求1所述的方法，其特征在于，所述将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块，包括：
按照预设压缩规则，将所述元数据由所述原始数据长度压缩至所述目标数据长度；
在所述目标数据长度的元数据完全存储至所述初始数据块的情况下，生成所述目标数据块。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，包括：
按照预设编码规则对所述原始数据长度进行编码，得到编码信息；
提取所述目标数据块对应的数据特征，其中，所述数据特征至少包括：目标数据长度、数据偏移量以及存储地址；
基于所述数据特征以及所述编码信息生成压缩头文件，其中，所述压缩头文件，用于在所述压缩文件中的目标数据块丢失的情况下，重新创建所述目标数据块；
根据所述目标数据块以及所述压缩头文件进行封装得到所述压缩文件。
5.根据权利要求1所述的方法，其特征在于，所述存储所述压缩文件，包括：
获取所述元数据对应的数据标识；
建立所述数据标识与所述压缩文件之间的对应关系；
将所述对应关系、所述数据标识以及所述压缩文件关联存储。
6.一种元数据的处理方法，其特征在于，应用于存储设备，所述方法包括：
接收读取操作请求，其中，所述读取操作请求携带待读取数据的数据标识；
基于数据标识与压缩文件之间的对应关系，确定所述待读取数据的数据标识对应的压缩文件，所述压缩文件中包括：压缩头文件以及目标数据块；
从所述压缩头文件中提取编码信息和数据特征，并对所述编码信息进行解码，得到原始数据长度，其中，所述数据特征包括：目标数据长度、数据偏移量以及存储地址；
按照预设解压规则，将所述目标数据块中的数据由所述目标数据长度恢复至所述原始数据长度。
7.一种元数据的处理装置，其特征在于，包括：
接收模块，用于接收输入操作请求，其中，所述输入操作请求中携带待压缩的元数据，以及所述元数据的对应的原始数据长度；
创建模块，用于确定所述元数据对应的目标数据类型，并根据所述目标数据类型创建具有目标数据长度的初始数据块；
压缩模块，用于将所述元数据按照所述目标数据长度压缩至所述初始数据块，生成目标数据块；
生成模块，用于对所述目标数据块以及所述原始数据长度进行封装得到压缩文件，并存储所述压缩文件。
8.一种元数据的处理装置，其特征在于，包括：
接收模块，用于接收读取操作请求，其中，所述读取操作请求携带待读取数据的数据标识；
确定模块，用于基于数据标识与压缩文件之间的对应关系，确定所述待读取数据的数据标识对应的压缩文件，所述压缩文件中包括：压缩头文件以及目标数据块；
解析模块，用于从所述压缩头文件中提取编码信息和数据特征，并对所述编码信息进行解码，得到原始数据长度，其中，所述数据特征包括：目标数据长度、数据偏移量以及存储地址；
处理模块，用于按照预设解压规则，将所述目标数据块中的数据由所述目标数据长度恢复至所述原始数据长度。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6中任一项所述的方法步骤。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-6中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267013.1A CN113704206B (zh) | 2021-10-29 | 2021-10-29 | 一种元数据的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267013.1A CN113704206B (zh) | 2021-10-29 | 2021-10-29 | 一种元数据的处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113704206A true CN113704206A (zh) | 2021-11-26 |
| CN113704206B CN113704206B (zh) | 2022-02-22 |
Family
ID=78647456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111267013.1A Active CN113704206B (zh) | 2021-10-29 | 2021-10-29 | 一种元数据的处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113704206B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117077182A (zh) * | 2023-10-16 | 2023-11-17 | 南通百视智能科技有限公司 | 用于电子商务管理系统数据的安全存储方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1516475A (zh) * | 1996-12-18 | 2004-07-28 | 汤姆森消费电子有限公司 | 将数据压缩成固定长度数据块及解压的方法 |
| US20080059612A1 (en) * | 2001-02-13 | 2008-03-06 | Ariba, Inc. | Variable length file header apparatus and system |
| CN106156037A (zh) * | 2015-03-26 | 2016-11-23 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置及系统 |
| CN107852174A (zh) * | 2015-07-03 | 2018-03-27 | 基麦提松科技公司 | 固定长度数据的压缩方法 |
| CN109088636A (zh) * | 2018-07-25 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种数据处理方法、系统及电子设备和存储介质 |
| US20190050417A1 (en) * | 2017-08-08 | 2019-02-14 | Seagate Technology Llc | Fixed record media conversion with data compression and encryption |
| CN109634529A (zh) * | 2018-12-12 | 2019-04-16 | 浪潮(北京)电子信息产业有限公司 | 一种数据压缩方法和解压方法 |
| CN109787638A (zh) * | 2019-01-10 | 2019-05-21 | 杭州幻方科技有限公司 | 一种数据压缩存储处理装置及方法 |
| CN109783446A (zh) * | 2019-01-04 | 2019-05-21 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
| CN110147201A (zh) * | 2019-04-25 | 2019-08-20 | 平安科技（深圳）有限公司 | 在线压缩方法、装置、计算机设备及存储介质 |
| CN111625191A (zh) * | 2020-05-21 | 2020-09-04 | 苏州浪潮智能科技有限公司 | 一种数据读写方法、装置及电子设备和存储介质 |
| US20210152838A1 (en) * | 2016-11-18 | 2021-05-20 | Via Alliance Semiconductor Co., Ltd. | Methods for compressing and decompressing texture tiles and apparatuses using the same |
| CN113497627A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 一种数据压缩和解压缩方法、装置及系统 |
-
2021
- 2021-10-29 CN CN202111267013.1A patent/CN113704206B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1516475A (zh) * | 1996-12-18 | 2004-07-28 | 汤姆森消费电子有限公司 | 将数据压缩成固定长度数据块及解压的方法 |
| US20080059612A1 (en) * | 2001-02-13 | 2008-03-06 | Ariba, Inc. | Variable length file header apparatus and system |
| CN106156037A (zh) * | 2015-03-26 | 2016-11-23 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置及系统 |
| CN107852174A (zh) * | 2015-07-03 | 2018-03-27 | 基麦提松科技公司 | 固定长度数据的压缩方法 |
| US20210152838A1 (en) * | 2016-11-18 | 2021-05-20 | Via Alliance Semiconductor Co., Ltd. | Methods for compressing and decompressing texture tiles and apparatuses using the same |
| US20190050417A1 (en) * | 2017-08-08 | 2019-02-14 | Seagate Technology Llc | Fixed record media conversion with data compression and encryption |
| CN109088636A (zh) * | 2018-07-25 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种数据处理方法、系统及电子设备和存储介质 |
| CN109634529A (zh) * | 2018-12-12 | 2019-04-16 | 浪潮(北京)电子信息产业有限公司 | 一种数据压缩方法和解压方法 |
| CN109783446A (zh) * | 2019-01-04 | 2019-05-21 | 北京百度网讯科技有限公司 | 用于存储数据的方法和装置 |
| CN109787638A (zh) * | 2019-01-10 | 2019-05-21 | 杭州幻方科技有限公司 | 一种数据压缩存储处理装置及方法 |
| CN110147201A (zh) * | 2019-04-25 | 2019-08-20 | 平安科技（深圳）有限公司 | 在线压缩方法、装置、计算机设备及存储介质 |
| CN113497627A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 一种数据压缩和解压缩方法、装置及系统 |
| CN111625191A (zh) * | 2020-05-21 | 2020-09-04 | 苏州浪潮智能科技有限公司 | 一种数据读写方法、装置及电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 唐敏等: "基于固定特征长度的图像无损压缩研究", 《数字技术与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117077182A (zh) * | 2023-10-16 | 2023-11-17 | 南通百视智能科技有限公司 | 用于电子商务管理系统数据的安全存储方法 |
| CN117077182B (zh) * | 2023-10-16 | 2024-02-02 | 南通百视智能科技有限公司 | 用于电子商务管理系统数据的安全存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113704206B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11290252B2 (en) | Compression and homomorphic encryption in secure query and analytics | |
| CN107395209B (zh) | 数据压缩方法、数据解压缩方法及其设备 | |
| CN107302706B (zh) | 图像防盗链方法、装置及电子设备 | |
| CN112511514A (zh) | 一种http加密传输方法、装置、计算机设备及存储介质 | |
| WO2022100498A1 (zh) | 一种文件传输方法及装置 | |
| CN108737353B (zh) | 一种基于数据分析系统的数据加密方法及装置 | |
| US20040172543A1 (en) | Apparatus and method for generating data for detecting false alteration of encrypted data during processing | |
| US20150201020A1 (en) | Method and apparatus for storing network data | |
| CN113704206B (zh) | 一种元数据的处理方法、装置、电子设备及存储介质 | |
| CN114039973A (zh) | 文件的传输方法、设备以及存储介质 | |
| US8677123B1 (en) | Method for accelerating security and management operations on data segments | |
| CN111669650A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111416992A (zh) | 文件转码方法及装置 | |
| CN104123244A (zh) | Usb重定向系统及方法 | |
| US20070263876A1 (en) | In-memory compression and encryption | |
| CN112436943A (zh) | 基于大数据的请求去重方法、装置、设备及存储介质 | |
| CN101141442B (zh) | 一种实现存储卡功能服务的系统和方法 | |
| WO2020103060A1 (zh) | 数据处理方法、装置、系统、服务器以及电子设备 | |
| WO2020103059A1 (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
| CN103226673A (zh) | 批量处理swf打散加密方法及装置 | |
| CN110933017B (zh) | 访问请求的处理方法、终端、服务器及可读存储介质 | |
| CN112291350A (zh) | 一种文件传输方法、系统、设备以及介质 | |
| CN112202453A (zh) | 对密文进行压缩的信息处理方法、装置、设备及介质 | |
| US20190258728A1 (en) | Footers for compressed objects | |
| CN111698534B (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |