CN112269541A - 一种追加数据处理方法、装置、设备及可读存储介质 - Google Patents

一种追加数据处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112269541A
CN112269541A CN202011112727.0A CN202011112727A CN112269541A CN 112269541 A CN112269541 A CN 112269541A CN 202011112727 A CN202011112727 A CN 202011112727A CN 112269541 A CN112269541 A CN 112269541A
Authority
CN
China
Prior art keywords
data
additional
additional data
target
appendable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011112727.0A
Other languages
English (en)
Other versions
CN112269541B (zh
Inventor
李欢欢
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011112727.0A priority Critical patent/CN112269541B/zh
Publication of CN112269541A publication Critical patent/CN112269541A/zh
Application granted granted Critical
Publication of CN112269541B publication Critical patent/CN112269541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种追加数据处理方法、装置、设备及可读存储介质。本申请公开的方法包括：接收客户端发送的追加写请求；检测服务端的压缩配置是否开启；若是，则按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据；若否，则将追加写请求对应的待写入数据确定为追加数据；将追加数据追加至相应的可追加对象，以更新可追加对象，将追加数据的追加信息以manifest结构体写入可追加对象的头部；追加信息包括追加数据的数据信息和是否压缩信息。本申请可根据可追加对象的头部清楚地辨别一个可追加对象中的不同追加数据，实现了追加写功能与压缩技术的兼容。本申请提供的一种追加数据处理装置、设备及可读存储介质，同样具有上述技术效果。

Description

一种追加数据处理方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种追加数据处理方法、装置、设备及可读存储介质。
背景技术
追加写功能是将待存储数据以追加的方式存储到可追加对象的后面，使得待存储数据和可追加对象组成一个新的可追加对象，后续其他数据可再次追加在新的可追加对象的后面。下载可追加对象时，一次就可以将完整的可追加对象下载到本地。但是，追加写功能与压缩技术不能兼容。因为服务端的压缩配置会阶段性开启或关闭，这样可追加对象中有的数据被压缩过，有的没被压缩过，若下载整个可追加对象，其中的数据无法正确解压缩。
因此，如何使追加写功能与压缩技术兼容，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种追加数据处理方法、装置、设备及可读存储介质，以使追加写功能与压缩技术兼容。其具体方案如下：
第一方面，本申请提供了一种追加数据处理方法，包括：
接收客户端发送的追加写请求；
检测服务端的压缩配置是否开启；
若是，则按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据；
若否，则将所述追加写请求对应的待写入数据确定为所述追加数据；
将所述追加数据追加至相应的可追加对象，以更新所述可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；所述追加信息包括：所述追加数据的数据信息和是否压缩信息。
优选地，所述按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据，包括：
读取所述压缩配置中的压缩算法，利用所述压缩算法压缩所述待写入数据，得到所述追加数据。
优选地，若所述压缩配置开启，则所述数据信息为数据长度，所述是否压缩信息为压缩算法；若所述压缩配置关闭，则所述数据信息为数据长度，所述是否压缩信息为预设无意义字符。
优选地，追加至所述可追加对象的所有追加数据利用同一种压缩算法进行压缩。
优选地，所述可追加对象存储在分布式对象存储系统中。
优选地，还包括：
接收客户端发送的目标可追加对象的下载请求；
从分布式对象存储系统中获取所述目标可追加对象；
读取并解析所述目标可追加对象的头部，以得到所述目标可追加对象包括的各个追加数据的追加信息；
根据所述各个追加数据的追加信息分别对所述各个追加数据进行转换，以得到每个追加数据对应的目标数据，并将所述每个追加数据对应的目标数据返回至所述客户端。
优选地，所述根据所述各个追加数据的追加信息分别对所述各个追加数据进行转换，以得到每个追加数据对应的目标数据，包括：
针对所述各个追加数据中的任一个目标追加数据，根据所述目标追加数据的追加信息读取所述目标追加数据，并确定是否对所述目标追加数据解压缩；
若确定对所述目标追加数据解压缩，则根据所述目标追加数据的追加信息中记录的压缩算法对所述目标追加数据解压缩，以得到所述目标追加数据对应的目标数据；
若确定不对所述目标追加数据解压缩，则将所述目标追加数据作为所述目标追加数据对应的目标数据。
第二方面，本申请提供了一种追加数据处理装置，包括：
接收模块，用于接收客户端发送的追加写请求；
检测模块，用于检测服务端的压缩配置是否开启；
压缩模块，用于若所述压缩配置开启，则按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据；
确定模块，用于若所述压缩配置关闭，则将所述追加写请求对应的待写入数据确定为所述追加数据；
存储模块，用于将所述追加数据追加至相应的可追加对象，以更新所述可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；所述追加信息包括：所述追加数据的数据信息和是否压缩信息。
第三方面，本申请提供了一种追加数据处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的追加数据处理方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的追加数据处理方法。
通过以上方案可知，本申请提供了一种追加数据处理方法，包括：接收客户端发送的追加写请求；检测服务端的压缩配置是否开启；若是，则按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据；若否，则将所述追加写请求对应的待写入数据确定为所述追加数据；将所述追加数据追加至相应的可追加对象，以更新所述可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；所述追加信息包括：所述追加数据的数据信息和是否压缩信息。
可见，本申请在处理追加写请求时，先确定当前服务端是否开启压缩配置；若是，则按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据；若否，则直接将追加写请求对应的待写入数据确定为追加数据；而后将追加数据追加至相应的可追加对象，以更新可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；追加信息包括：追加数据的数据信息和是否压缩信息。可见，每个追加数据在追加存储时，其数据信息和是否压缩信息都以manifest结构体被记录在其追加的可追加对象的头部，如此一来，便可以根据头部记录的追加信息清楚地辨别一个可追加对象中的不同追加数据，使得追加写功能与压缩技术兼容，也丰富了服务端的存储功能。
相应地，本申请提供的一种追加数据处理装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种追加数据处理方法流程图；
图2为本申请公开的另一种追加数据处理方法流程图；
图3为本申请公开的一种追加数据处理方案示意图；
图4为本申请公开的一种追加数据处理装置示意图；
图5为本申请公开的一种追加数据处理设备示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，追加写功能与压缩技术不能兼容。为此，本申请提供了一种追加数据处理方案，能够使得追加写功能与压缩技术兼容，也丰富了服务端的存储功能。
参见图1所示，本申请实施例公开了一种追加数据处理方法，包括：
S101、接收客户端发送的追加写请求。
其中，追加写请求中携带着相应的待写入数据以及该待写入数据要追加的可追加对象。客户端发送追加写请求至服务端，实质上是要将待写入数据上传至服务端进行存储。
S102、检测服务端的压缩配置是否开启；若是，则执行S103；若否，则执行S104。
在一种具体实施方式中，按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据，包括：读取压缩配置中的压缩算法，利用压缩算法压缩待写入数据，得到追加数据。压缩配置中记录有当前服务端配置的压缩算法等信息。本实施例对压缩算法不做具体限定。
S103、按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据。
S104、将追加写请求对应的待写入数据确定为追加数据。
S105、将追加数据追加至相应的可追加对象，以更新可追加对象，并将追加数据的追加信息以manifest结构体写入可追加对象的头部。
其中，可追加对象的头部以manifest结构体记录该可追加对象包括的各个追加数据的追加信息；追加信息包括：追加数据的数据信息和是否压缩信息。据此，可以根据头部清楚地辨别一个可追加对象中的不同追加数据。manifest结构体的具体结构以及具体使用规则可以参照相关现有技术。
在一种具体实施方式中，若压缩配置开启，则数据信息为数据长度，是否压缩信息为压缩算法，以表示当前追加数据利用该压缩算法进行了压缩；若压缩配置关闭，则数据信息为数据长度，是否压缩信息为预设无意义字符(如none)，以表示当前追加数据没有被压缩。
在一种具体实施方式中，追加至可追加对象的所有追加数据利用同一种压缩算法进行压缩，以降低服务端的压缩复杂度。当然，同一可追加对象中的不同追加数据还可以利用不同压缩算法进行压缩，具体使用的压缩算法都会记录在manifest结构体中，以便后续下载可追加对象使用。
在一种具体实施方式中，可追加对象存储在分布式对象存储系统中。同一可追加对象中的追加数据的个数不做限定，即：一个可追加对象被追加的次数没有限制。
可见，本申请实施例在处理追加写请求时，先确定当前服务端是否开启压缩配置；若是，则按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据；若否，则直接将追加写请求对应的待写入数据确定为追加数据；而后将追加数据追加至相应的可追加对象，以更新可追加对象，并将追加数据的追加信息以manifest结构体写入可追加对象的头部；追加信息包括：追加数据的数据信息和是否压缩信息。可见，每个追加数据在追加存储时，其数据信息和是否压缩信息都以manifest结构体被记录在其追加的可追加对象的头部，如此一来，便可以根据头部记录的追加信息清楚地辨别一个可追加对象中的不同追加数据，使得追加写功能与压缩技术兼容，也丰富了服务端的存储功能。
参见图2所示，本申请实施例公开了另一种追加数据处理方法，包括：
S201、接收客户端发送的目标可追加对象的下载请求。
S202、从分布式对象存储系统中获取目标可追加对象。
S203、读取并解析目标可追加对象的头部，以得到目标可追加对象包括的各个追加数据的追加信息。
S204、根据各个追加数据的追加信息分别对各个追加数据进行转换，以得到每个追加数据对应的目标数据，并将每个追加数据对应的目标数据返回至客户端。
其中，可追加对象的头部以manifest结构体记录该可追加对象包括的各个追加数据的追加信息；追加信息包括：追加数据的数据信息和是否压缩信息。据此，可以根据头部清楚地辨别一个可追加对象中的不同追加数据。manifest结构体的具体结构以及具体使用规则可以参照相关现有技术。
在一种具体实施方式中，根据各个追加数据的追加信息分别对各个追加数据进行转换，以得到每个追加数据对应的目标数据，包括：针对各个追加数据中的任一个目标追加数据，根据目标追加数据的追加信息读取目标追加数据，并确定是否对目标追加数据解压缩；若确定对目标追加数据解压缩，则根据目标追加数据的追加信息中记录的压缩算法对目标追加数据解压缩，以得到目标追加数据对应的目标数据；若确定不对目标追加数据解压缩，则将目标追加数据作为目标追加数据对应的目标数据。也就是说，一个追加数据对应一个目标数据，有的目标数据是追加数据本身，有的目标数据是解压缩后的追加数据。
本实施例中的实现步骤可以与上述实施例相互参照，故本实施例在此不再赘述。
由上可见，本实施例中的目标可追加对象的头部记录有其中包括的每个追加数据的追加信息，如此一来，便可以根据头部记录的追加信息清楚地辨别可追加对象中的不同追加数据，从而正确下载可追加对象中的不同追加数据，实现追加写功能与压缩技术的兼容，也丰富了服务端的功能。
参见图3所示，本申请实施例公开了一种追加数据处理方案，应用于分布式对象存储系统，包括：追加写过程和下载过程。
其中，追加写过程具体包括：
服务器收到客户端发来的追加写请求后，首先读取服务器压缩配置，根据是否开启压缩功能，从而确定对追加写请求要存储的数据进行压缩与否；若开启压缩功能，则根据压缩配置中设置的压缩算法对数据进行压缩后，存储压缩数据至相应可追加对象；若未开启压缩功能，则不进行压缩，直接存储追加写请求上传的数据至相应可追加对象；之后，将本次追加数据的长度，以及压缩类型以manifest结构体写入可追加对象的头对象(即头部)中。其中，若未开启压缩功能，则压缩类型为none；若开启压缩功能，则压缩类型为压缩配置中设置的压缩算法的名称。目前对同一可追加对象中的不同追加数据使用同一种压缩算法。
其中，下载过程具体包括：
服务器收到客户端发出的下载可追加对象的请求后，先从可追加对象的头对象中读取manifest结构体；根据头对象中的manifest结构体，从存储系统中依次读取数据；读取数据后根据manifest结构体中记录的每次追加数据的长度，以及相应的压缩类型，分段地利用压缩算法解压缩数据；将解压缩后的数据返回给客户端。其中，若压缩类型为none，则不进行解压缩，直接将数据返回给客户端；否则，则调用相应的压缩算法，对数据解压缩后返回给客户端。
需要说明的是，本实施例中的实现步骤与上述实施例相同或类似，故本实施例在此不再赘述。
可见，本实施例中的分布式对象存储系统可以阶段性开启或关闭压缩功能，每次追加写的数据都能够按照服务器压缩配置正确存放数据，并与可追加对象拼接成一个完整的对象，并且下载该可追加对象时，也能按照存放在头对象中的manifest属性(即manifest结构体)正确解压缩数据，并返回给客户端，实现了追加写功能与压缩技术的兼容，提高了对象存储中针对可追加对象的存储效率，给用户带来了良好的用户体验，同时丰富了对象存储的功能，提高了分布式对象存储系统的存储性能。
下面对本申请实施例提供的一种追加数据处理装置进行介绍，下文描述的一种追加数据处理装置与上文描述的一种追加数据处理方法可以相互参照。
参见图4所示，本申请实施例公开了一种追加数据处理装置，包括：
接收模块401，用于接收客户端发送的追加写请求；
检测模块402，用于检测服务端的压缩配置是否开启；
压缩模块403，用于若压缩配置开启，则按照压缩配置压缩追加写请求对应的待写入数据，得到追加数据；
确定模块404，用于若压缩配置关闭，则将追加写请求对应的待写入数据确定为追加数据；
存储模块405，用于将追加数据追加至相应的可追加对象，以更新可追加对象，并将追加数据的追加信息以manifest结构体写入可追加对象的头部；追加信息包括：追加数据的数据信息和是否压缩信息。
在一种具体实施方式中，压缩模块具体用于：
读取压缩配置中的压缩算法，利用压缩算法压缩待写入数据，得到追加数据。
在一种具体实施方式中，若压缩配置开启，则数据信息为数据长度，是否压缩信息为压缩算法；若压缩配置关闭，则数据信息为数据长度，是否压缩信息为预设无意义字符。
在一种具体实施方式中，追加至可追加对象的所有追加数据利用同一种压缩算法进行压缩。
在一种具体实施方式中，可追加对象存储在分布式对象存储系统中。
在一种具体实施方式中，还包括下载模块，下载模块包括
接收单元，用于接收客户端发送的目标可追加对象的下载请求；
获取单元，用于从分布式对象存储系统中获取目标可追加对象；
解析单元，用于读取并解析目标可追加对象的头部，以得到目标可追加对象包括的各个追加数据的追加信息；
转换单元，用于根据各个追加数据的追加信息分别对各个追加数据进行转换，以得到每个追加数据对应的目标数据，并将每个追加数据对应的目标数据返回至客户端。
在一种具体实施方式中，转换单元包括：
读取子单元，用于针对各个追加数据中的任一个目标追加数据，根据目标追加数据的追加信息读取目标追加数据，并确定是否对目标追加数据解压缩；
解压缩子单元，用于若确定对目标追加数据解压缩，则根据目标追加数据的追加信息中记录的压缩算法对目标追加数据解压缩，以得到目标追加数据对应的目标数据；
确定子单元，用于若确定不对目标追加数据解压缩，则将目标追加数据作为目标追加数据对应的目标数据。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种追加数据处理装置，该装置针对每个追加数据在追加存储时，其数据信息和是否压缩信息都以manifest结构体被记录在其追加的可追加对象的头部，如此一来，便可以根据头部记录的追加信息清楚地辨别一个可追加对象中的不同追加数据，使得追加写功能与压缩技术兼容，也丰富了服务端的存储功能。
下面对本申请实施例提供的一种追加数据处理设备进行介绍，下文描述的一种追加数据处理设备与上文描述的一种追加数据处理方法及装置可以相互参照。
参见图5所示，本申请实施例公开了一种追加数据处理设备，包括：
存储器501，用于保存计算机程序；
处理器502，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种追加数据处理方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的追加数据处理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种追加数据处理方法，其特征在于，包括：
接收客户端发送的追加写请求；
检测服务端的压缩配置是否开启；
若是，则按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据；
若否，则将所述追加写请求对应的待写入数据确定为所述追加数据；
将所述追加数据追加至相应的可追加对象，以更新所述可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；所述追加信息包括：所述追加数据的数据信息和是否压缩信息。
2.根据权利要求1所述的追加数据处理方法，其特征在于，所述按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据，包括：
读取所述压缩配置中的压缩算法，利用所述压缩算法压缩所述待写入数据，得到所述追加数据。
3.根据权利要求1所述的追加数据处理方法，其特征在于，若所述压缩配置开启，则所述数据信息为数据长度，所述是否压缩信息为压缩算法；若所述压缩配置关闭，则所述数据信息为数据长度，所述是否压缩信息为预设无意义字符。
4.根据权利要求1所述的追加数据处理方法，其特征在于，追加至所述可追加对象的所有追加数据利用同一种压缩算法进行压缩。
5.根据权利要求1所述的追加数据处理方法，其特征在于，所述可追加对象存储在分布式对象存储系统中。
6.根据权利要求1至5任一项所述的追加数据处理方法，其特征在于，还包括：
接收客户端发送的目标可追加对象的下载请求；
从分布式对象存储系统中获取所述目标可追加对象；
读取并解析所述目标可追加对象的头部，以得到所述目标可追加对象包括的各个追加数据的追加信息；
根据所述各个追加数据的追加信息分别对所述各个追加数据进行转换，以得到每个追加数据对应的目标数据，并将所述每个追加数据对应的目标数据返回至所述客户端。
7.根据权利要求6所述的追加数据处理方法，其特征在于，所述根据所述各个追加数据的追加信息分别对所述各个追加数据进行转换，以得到每个追加数据对应的目标数据，包括：
针对所述各个追加数据中的任一个目标追加数据，根据所述目标追加数据的追加信息读取所述目标追加数据，并确定是否对所述目标追加数据解压缩；
若确定对所述目标追加数据解压缩，则根据所述目标追加数据的追加信息中记录的压缩算法对所述目标追加数据解压缩，以得到所述目标追加数据对应的目标数据；
若确定不对所述目标追加数据解压缩，则将所述目标追加数据作为所述目标追加数据对应的目标数据。
8.一种追加数据处理装置，其特征在于，包括：
接收模块，用于接收客户端发送的追加写请求；
检测模块，用于检测服务端的压缩配置是否开启；
压缩模块，用于若所述压缩配置开启，则按照所述压缩配置压缩所述追加写请求对应的待写入数据，得到追加数据；
确定模块，用于若所述压缩配置关闭，则将所述追加写请求对应的待写入数据确定为所述追加数据；
存储模块，用于将所述追加数据追加至相应的可追加对象，以更新所述可追加对象，并将所述追加数据的追加信息以manifest结构体写入所述可追加对象的头部；所述追加信息包括：所述追加数据的数据信息和是否压缩信息。
9.一种追加数据处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的追加数据处理方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的追加数据处理方法。
CN202011112727.0A 2020-10-16 2020-10-16 一种追加数据处理方法、装置、设备及可读存储介质 Active CN112269541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011112727.0A CN112269541B (zh) 2020-10-16 2020-10-16 一种追加数据处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011112727.0A CN112269541B (zh) 2020-10-16 2020-10-16 一种追加数据处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112269541A true CN112269541A (zh) 2021-01-26
CN112269541B CN112269541B (zh) 2022-07-29

Family

ID=74338297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011112727.0A Active CN112269541B (zh) 2020-10-16 2020-10-16 一种追加数据处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112269541B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988899A (zh) * 2021-04-02 2021-06-18 山东英信计算机技术有限公司 一种追加数据同步方法、系统、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261937A (ja) * 1994-03-24 1995-10-13 Ee I Sofuto Kk 圧縮データの読出・書込方法および装置
CN103136109A (zh) * 2013-02-07 2013-06-05 中国科学院苏州纳米技术与纳米仿生研究所 一种具有压缩功能的固态存储系统ftl写入及读取方法
CN111124280A (zh) * 2019-11-29 2020-05-08 浪潮电子信息产业股份有限公司 一种数据追加写入方法、装置及电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261937A (ja) * 1994-03-24 1995-10-13 Ee I Sofuto Kk 圧縮データの読出・書込方法および装置
CN103136109A (zh) * 2013-02-07 2013-06-05 中国科学院苏州纳米技术与纳米仿生研究所 一种具有压缩功能的固态存储系统ftl写入及读取方法
CN111124280A (zh) * 2019-11-29 2020-05-08 浪潮电子信息产业股份有限公司 一种数据追加写入方法、装置及电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988899A (zh) * 2021-04-02 2021-06-18 山东英信计算机技术有限公司 一种追加数据同步方法、系统、存储介质及设备

Also Published As

Publication number Publication date
CN112269541B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN106936441B (zh) 一种数据压缩方法和装置
JP5223037B2 (ja) 上位互換性を保証する圧縮及び復元方法並びに装置
WO2012106969A1 (zh) 一种日志管理装置及方法
CN105975311A (zh) 一种应用启动方法及装置
CN112269541B (zh) 一种追加数据处理方法、装置、设备及可读存储介质
CN113157655A (zh) 一种数据压缩、解压方法、装置、电子设备和存储介质
CN112559463A (zh) 压缩文件处理的方法及装置
CN113812959B (zh) 用于小型数据处理设备的心电数据处理方法、电子设备和存储介质
CN107169057B (zh) 一种重复图片的检测方法和装置
CN110781037B (zh) 恢复存储介质中视频文件的方法、系统及可读存储介质
CN110019347A (zh) 一种区块链的数据处理方法、装置及终端设备
CN109617708B (zh) 一种埋点日志的压缩方法、设备及系统
CN113781658B (zh) 一种流式处理3d模型数据的方法及装置
CN111611007B (zh) 基于脚本实现的应用程序安装包的打包方法及设备
CN110187385B (zh) 地震数据获取方法、地震数据处理方法及装置
CN108234552A (zh) 一种数据存储方法及装置
CN107609072B (zh) 一种数据处理方法及装置
CN112579546B (zh) 文件压缩方法、系统、存储介质及终端
CN102724547B (zh) 一种数据的远程获取系统及远程获取方法
CN111078753A (zh) 基于HBase数据库的时序数据的存储方法及装置
CN111970675A (zh) 一种预警方法及装置、存储介质
CN112036133A (zh) 一种文件保存方法、装置、电子设备及存储介质
US6928408B1 (en) Speech data compression/expansion apparatus and method
CN116775508B (zh) 一种安卓手机的垃圾清理方法和系统
CN111241041B (zh) 一种pptx文件中视频资源保存方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant