CN113031871A - 数据追加聚合方法、装置、电子设备及可读存储介质 - Google Patents

数据追加聚合方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113031871A
CN113031871A CN202110327444.6A CN202110327444A CN113031871A CN 113031871 A CN113031871 A CN 113031871A CN 202110327444 A CN202110327444 A CN 202110327444A CN 113031871 A CN113031871 A CN 113031871A
Authority
CN
China
Prior art keywords
data
target
aggregation
processed
aggregated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110327444.6A
Other languages
English (en)
Inventor
武模仁
李欢欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110327444.6A priority Critical patent/CN113031871A/zh
Publication of CN113031871A publication Critical patent/CN113031871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据追加聚合方法、装置、电子设备及计算机可读存储介质，该方法包括：获取数据追加指令；数据追加指令包括数据标识和新增数据；利用数据标识确定目标数据，并将目标数据从后端存储读取至内存；在内存中对目标数据和新增数据进行追加拼接，得到待处理数据；若待处理数据的数据量小于聚合阈值，则对待处理数据进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储；该方法在追加上传时将目标数据读出并在内存中进行追加上传，并当追加上传完毕后数据的数据量小于聚合阈值时进行数据聚合，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能。

Description

数据追加聚合方法、装置、电子设备及可读存储介质
技术领域
本申请涉及分布式存储技术领域，特别涉及一种数据追加聚合方法、数据追加聚合装置、电子设备及计算机可读存储介质。
背景技术
追加上传，是指在已上传并存储至后端存储的可追加类型的文件后，以追加的方式将新的数据写入到该文件后续的存储路径下，使得追加部分和已上传部分组成一个完整的应用对象。在下载时可将整个应用对象下载下来，提高数据读取效率。为了提高分布式系统的效率，相关技术通常采用了小对象聚合技术，即在写入数据时，将至少两个小对象组合为一个大对象，并将该大对象写入后端存储，以此提高集群性能。然而，由于小对象已经被聚合为大对象，即便小对象为可追加类型的文件，也无法对其进行追加上传。因此相关技术中无法使得文件聚合和追加上传相兼容。
因此，相关技术存在的文件聚合与追加上传不兼容的问题，是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种数据追加聚合方法、数据追加聚合装置、电子设备及计算机可读存储介质，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能。
为解决上述技术问题，本申请提供了一种数据追加聚合方法，包括：
获取数据追加指令；所述数据追加指令包括数据标识和新增数据；
利用所述数据标识确定目标数据，并将所述目标数据从后端存储读取至内存；
在所述内存中对所述目标数据和所述新增数据进行追加拼接，得到待处理数据；
若所述待处理数据的数据量小于聚合阈值，则对所述待处理数据进行数据聚合，得到目标聚合数据，并将所述目标聚合数据存入所述后端存储。
可选地，所述利用所述数据标识确定目标数据，包括：
利用所述数据标识获取目标元数据；所述数据标识为元数据地址；
利用所述目标元数据确定所述目标数据。
可选地，若所述待处理数据的数据量不小于聚合阈值，包括：
将所述待处理数据直接写入所述后端存储。
可选地，所述将所述目标聚合数据存入所述后端存储，包括：
更新位图信息；
将所述目标聚合数据写入所述后端存储的目标存储路径，并利用所述目标存储路径更新所述目标聚合数据对应的元数据。
可选地，还包括：
基于所述位图信息将所述目标数据从所述后端存储中删除。
可选地，在获取数据追加指令之前，还包括：
获取数据写入指令；所述数据写入指令包括所述目标数据；
判断所述目标数据的数据量是否小于所述聚合阈值；
若小于所述聚合阈值，则将所述目标数据与其他数据进行数据聚合，得到聚合数据，并将所述聚合数据存入所述后端存储。
可选地，所述对所述待处理数据进行数据聚合，得到目标聚合数据，包括：
判断所述待处理数据和所述其他数据的总数据量是否大于数据量阈值；
若所述总数据量大于所述数据量阈值，则利用所述待处理数据和所述其他数据生成所述目标聚合数据；
若所述总数据量不大于所述数据量阈值，则重新确定所述其他数据并重新获取所述总数据量。
本申请还提供了一种数据追加聚合装置，包括：
获取模块，用于获取数据追加指令；所述数据追加指令包括数据标识和新增数据；
读出模块，用于利用所述数据标识确定目标数据，并将所述目标数据从后端存储读取至内存；
追加模块，用于在所述内存中对所述目标数据和所述新增数据进行追加拼接，得到待处理数据；
写入模块，用于若所述待处理数据的数据量小于聚合阈值，则对所述待处理数据进行数据聚合，得到目标聚合数据，并将所述目标聚合数据存入所述后端存储。
本申请还提供了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的数据追加聚合方法。
本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的数据追加聚合方法。
本申请提供的数据追加聚合方法，获取数据追加指令；数据追加指令包括数据标识和新增数据；利用数据标识确定目标数据，并将目标数据从后端存储读取至内存；在内存中对目标数据和新增数据进行追加拼接，得到待处理数据；若待处理数据的数据量小于聚合阈值，则对待处理数据进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储。
可见，该方法在需要进行数据追加时，利用数据标识从后端存储中将目标数据读取到内存，目标数据可以单独存储在后端存储中，或者可以与其他数据聚合成大对象后存储在后端存储中。在内存中将目标数据和新增数据拼接后，即可完成追加上传操作，得到经过追加上传后的待处理数据。判断待处理数据的数据量是否小于聚合阈值，若小于聚合阈值，则说明待处理数据仍然属于小对象，需要被聚合，因此对其进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储。在追加上传时将目标数据读出并在内存中进行追加上传，并当追加上传完毕后数据的数据量小于聚合阈值时进行数据聚合，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能，解决了相关技术存在的文件聚合与追加上传不兼容的问题。
此外，本申请还提供了一种数据追加聚合装置、电子设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据追加聚合方法流程图；
图2为本申请实施例提供的一种数据追加操作示意图；
图3为本申请实施例提供的一种数据追加聚合装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例提供的一种数据追加聚合方法流程图。
该方法包括：
S101：获取数据追加指令。
数据追加指令，是用于指示对指定的目标数据进行数据追加的指令，在本实施例中，其中包括数据标识和新增数据。数据标识是用于指定目标数据的标识，新增数据是用于与目标数据相拼接的追加数据。数据追加指令可以具有独特的标记，该标记可以用于表明指令的类型。
本实施例并不限定数据追加指令的具体获取方式，在一种实施方式中，数据追加指令可以由其他电子设备生成并转发，即可以接收其他电子设备发送的数据追加指令。在另一种实施方式中，可以当检测到触发条件满足时自动生成数据追加指令，例如当获取到新增数据和数据标识时，确定触发条件满足，在本地生成数据追加指令。或者当检测到用户点击了开始追加按钮，并输入了合规的新增数据和数据标识后，确定触发条件满足，在本地生成数据追加指令。具体的，合规的数据可以为格式合规的数据，也可以为内容合规的数据，或者可以为同时满足格式规定和内容规定的数据。
可以理解的是，数据追加指令指定的目标数据，是已经存入分布式存储系统的数据。因此在获取数据追加指令之前，目标数据必然已经被存入后端存储。故此，在获取数据追加指令之前，还可以包括如下步骤：
步骤11：获取数据写入指令。
步骤12：判断目标数据的数据量是否小于聚合阈值；
步骤13：若小于聚合阈值，则将目标数据与其他数据进行数据聚合，得到聚合数据，并将聚合数据存入后端存储。
其中，数据写入指令包括目标数据，用于指示将其中的目标数据写入后端存储。为了提高分布式存储系统的性能，在写入目标数据时，可以根据情况决定是否对目标数据进行聚合。具体的，判断目标数据的数据量是否小于聚合阈值，本实施例并不限定聚合阈值的具体大小，例如可以为512KB。若目标数据的数据量小于聚合阈值，则说明目标数据的体积较小，为了保证存储系统性能，需要对其进行聚合，因此可以将其与其他数据进行数据聚合，得到聚合数据，并将聚合数据存入后端存储。若目标数据的数据量不小于聚合阈值，则直接将目标数据写入候选存储。
需要说明的是，本实施例并不关注目标数据的数据量不小于聚合阈值的情况，因为当目标数据在初次写入时就不需要聚合，那么在后续追加上传过后，其数据量必然不小于聚合阈值，同样不需要聚合，在这种情况下，采用普通的追加上传方法对目标数据进行追加上传即可。
S102：利用数据标识确定目标数据，并将目标数据从后端存储读取至内存。
关于数据标识的具体形式，在一种实施方式中，其可以为目标数据的数据编号，例如为数据oid(Object identifier，对象标识符)。在另一种实施方式中，其可以为目标数据的元数据，或者可以为用于确定元数据的信息，例如元数据地址。元数据，是可以用于描述数据属性的信息，其可以包括存储位置、数据身份标识、数据描述信息等数据项。通过确定元数据，可以根据元数据确定对应的目标数据，进而将其读出。在一种具体的实施方式中，为了保证目标数据的准确性，同时提高确定目标数据的便利程度，利用数据标识确定目标数据的过程可以包括如下步骤：
步骤21：利用数据标识获取目标元数据。
步骤22：利用目标元数据确定目标数据。
在本实施例中，数据标识为元数据地址，因此利用数据标识，可以获取对应的目标元数据，进而利用目标元数据确定目标数据，具体的，将存储于元数据地址的数据确定为目标数据。
在确定目标数据后，可以将目标数据从后端存储中读取至内存，以便在内存中完成数据追加上传。
S103：在内存中对目标数据和新增数据进行追加拼接，得到待处理数据。
在将目标数据读取到内存后，可以在内存中将目标数据和新增数据进行追加拼接，完成数据追加聚合的第一步。请参考图2，图2为本申请实施例提供的一种数据追加操作示意图。数据在第一次上传的内容可以被称为头对象，即head对象，在头对象之后，每次数据追加上传时需要进行尾对象拼接，即tail对象的拼接。每个尾对象的大小必须小于或等于4MB。在进行一次数据追加上传时，首先需要判断已上传的内容的最后一个尾对象是否等于4MB，若是，则直接进行拼接；若不是，则说明最后一个尾对象的大小小于4MB，在这种情况下，需要利用本次追加上传的内容对已上传的最后一个尾对象进行补全，在将其补全为4MB后，再将剩余的追加数据以4MB为单位划分为多个尾对象，并利用全部的头对象和尾对象进行拼接，得到待处理数据。与相关技术不同的是，本实施例在内存中完成数据的追加拼接，并不在后端存储中进行。目标数据被聚合到聚合对象中，在后端存储中目标数据的尾部已经与其他小对象相连，其后部的存储路径中已经写入了有价值的数据，无法在候选存储中进行数据追加。通过在内存中进行追加拼接，可以避免上述问题，实现数据追加上传和数据聚合的兼容。
S104：若待处理数据的数据量小于聚合阈值，则对待处理数据进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储。
在得到待处理对象后，可以将其作为一个新的对象进行聚合处理。具体的，可以判断待处理数据的数据量是否小于聚合阈值，若小于聚合阈值，则可以对其进行数据聚合，得到对应的目标聚合数据，并将目标聚合数据存储到后端存储中。在另一种可能的情况中，若待处理数据的数据量不小于聚合阈值，则可以将其直接写入后端存储。本实施例并不限定数据聚合的具体方式，可以根据需要选择。
具体的，在一种实施方式中，将目标数据与其他数据进行数据聚合，得到聚合数据的过程具体可以包括如下步骤：
步骤31：判断待处理数据和其他数据的总数据量是否大于数据量阈值。
步骤32：若总数据量大于数据量阈值，则利用待处理数据和其他数据生成目标聚合数据。
步骤33：若总数据量不大于数据量阈值，则重新确定其他数据并重新获取总数据量。
具体的，其他数据是指同样参与数据聚合的小对象数据，可以理解的是，其他数据的数据量也小于聚合阈值。对于其他数据的确定方式，在一种实施方式中，可以将内存中任何数据量小于聚合阈值的数据确定为其他数据。在另一种实施方式中，可以将内存中与待处理数据类型相同，且数据量小于聚合阈值的数据确定为其他数据。通过将待处理数据与其他数据的数据量相加，即可得到对应的总数据量。
数据量阈值是指判断是否能够进行数据聚合的判断标准，若总数据量大于数据量阈值，则说明可以进行数据聚合，则利用待处理数据和其他数据生成聚合数据。若数据量不大于数据量阈值，则说明生成聚合数据的小对象还不足，在这种情况下，由于统计总数据量和判断的过程中可能会出现新的其他数据，因此可以重新确定其他数据，并重新获取总数据量。
在一种具体的实施方式中，将目标聚合数据存入后端存储，包括：
步骤41：更新位图信息。
步骤42：将目标聚合数据写入后端存储的目标存储路径，并利用目标存储路径更新目标聚合数据对应的元数据。
其中，位图信息，是指用于对聚合大文件中各个小文件的空间进行管理的信息，其具体内容形式等可以参考相关技术，在此不做赘述。在将新的目标聚合数据存入后端存储时，需要先更新位图信息，以便后续利用位图信息对其进行管理。在位图信息更新完毕后，可以将目标聚合数据写入后端存储，具体为写入后端存储的目标存储路径。在写入完成后，例如目标存储路径更新目标聚合数据对应的元数据。具体的，目标聚合数据对应的元数据即为目标聚合数据中各个小对象(包括待处理数据)分别对应的元数据。
进一步的，为了避免存储空间的浪费，在一种实施方式中，还可以包括：
步骤51：基于位图信息将目标数据从后端存储中删除。
在对目标数据完成追加后，目标数据已经成为待处理数据的一部分，因此原本的目标数据已经不具有存在的价值。为了避免后端存储空间的浪费，可以基于位图信息，将目标数据从后端存储中删除。
应用本申请实施例提供的数据追加聚合方法，在需要进行数据追加时，利用数据标识从后端存储中将目标数据读取到内存，目标数据可以单独存储在后端存储中，或者可以与其他数据聚合成大对象后存储在后端存储中。在内存中将目标数据和新增数据拼接后，即可完成追加上传操作，得到经过追加上传后的待处理数据。判断待处理数据的数据量是否小于聚合阈值，若小于聚合阈值，则说明待处理数据仍然属于小对象，需要被聚合，因此对其进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储。在追加上传时将目标数据读出并在内存中进行追加上传，并当追加上传完毕后数据的数据量小于聚合阈值时进行数据聚合，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能，解决了相关技术存在的文件聚合与追加上传不兼容的问题。
下面对本申请实施例提供的数据追加聚合装置进行介绍，下文描述的数据追加聚合装置与上文描述的数据追加聚合方法可相互对应参照。
请参考图3，图3为本申请实施例提供的一种数据追加聚合装置的结构示意图，包括：
获取模块110，用于获取数据追加指令；数据追加指令包括数据标识和新增数据；
读出模块120，用于利用数据标识确定目标数据，并将目标数据从后端存储读取至内存；
追加模块130，用于在内存中对目标数据和新增数据进行追加拼接，得到待处理数据；
写入模块140，用于若待处理数据的数据量小于聚合阈值，则对待处理数据进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储。
可选地，读出模块120，包括：
元数据获取单元，用于利用数据标识获取目标元数据；数据标识为元数据地址；
目标数据确定单元，用于利用目标元数据确定目标数据。
可选地，包括：
直接写入模块，用于将待处理数据直接写入后端存储。
可选地，写入模块140，包括：
位图更新单元，用于更新位图信息；
写入和元数据更新单元，用于将目标聚合数据写入后端存储的目标存储路径，并利用目标存储路径更新目标聚合数据对应的元数据。
可选地，还包括：
删除模块，用于基于位图信息将目标数据从后端存储中删除。
可选地，还包括：
写入指令获取模块，用于获取数据写入指令；数据写入指令包括目标数据；
聚合阈值判断模块，用于判断目标数据的数据量是否小于聚合阈值；
聚合模块，用于若小于聚合阈值，则将目标数据与其他数据进行数据聚合，得到聚合数据，并将聚合数据存入后端存储。
可选地，写入模块140，包括：
数据量与之判断单元，用于判断待处理数据和其他数据的总数据量是否大于数据量阈值；
聚合生成单元，用于若总数据量大于数据量阈值，则利用待处理数据和其他数据生成目标聚合数据；
重新确定和获取单元，用于若总数据量不大于数据量阈值，则重新确定其他数据并重新获取总数据量。
下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的数据追加聚合方法可相互对应参照。
请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中，处理器101用于控制电子设备100的整体操作，以完成上述的数据追加聚合方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的数据追加聚合方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的数据追加聚合方法可相互对应参照。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的数据追加聚合方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据追加聚合方法，其特征在于，包括：
获取数据追加指令；所述数据追加指令包括数据标识和新增数据；
利用所述数据标识确定目标数据，并将所述目标数据从后端存储读取至内存；
在所述内存中对所述目标数据和所述新增数据进行追加拼接，得到待处理数据；
若所述待处理数据的数据量小于聚合阈值，则对所述待处理数据进行数据聚合，得到目标聚合数据，并将所述目标聚合数据存入所述后端存储。
2.根据权利要求1所述的数据追加聚合方法，其特征在于，所述利用所述数据标识确定目标数据，包括：
利用所述数据标识获取目标元数据；所述数据标识为元数据地址；
利用所述目标元数据确定所述目标数据。
3.根据权利要求1所述的数据追加聚合方法，其特征在于，若所述待处理数据的数据量不小于聚合阈值，包括：
将所述待处理数据直接写入所述后端存储。
4.根据权利要求1所述的数据追加聚合方法，其特征在于，所述将所述目标聚合数据存入所述后端存储，包括：
更新位图信息；
将所述目标聚合数据写入所述后端存储的目标存储路径，并利用所述目标存储路径更新所述目标聚合数据对应的元数据。
5.根据权利要求4所述的数据追加聚合方法，其特征在于，还包括：
基于所述位图信息将所述目标数据从所述后端存储中删除。
6.根据权利要求1所述的数据追加聚合方法，其特征在于，在获取数据追加指令之前，还包括：
获取数据写入指令；所述数据写入指令包括所述目标数据；
判断所述目标数据的数据量是否小于所述聚合阈值；
若小于所述聚合阈值，则将所述目标数据与其他数据进行数据聚合，得到聚合数据，并将所述聚合数据存入所述后端存储。
7.根据权利要求1所述的数据追加聚合方法，其特征在于，所述对所述待处理数据进行数据聚合，得到目标聚合数据，包括：
判断所述待处理数据和所述其他数据的总数据量是否大于数据量阈值；
若所述总数据量大于所述数据量阈值，则利用所述待处理数据和所述其他数据生成所述目标聚合数据；
若所述总数据量不大于所述数据量阈值，则重新确定所述其他数据并重新获取所述总数据量。
8.一种数据追加聚合装置，其特征在于，包括：
获取模块，用于获取数据追加指令；所述数据追加指令包括数据标识和新增数据；
读出模块，用于利用所述数据标识确定目标数据，并将所述目标数据从后端存储读取至内存；
追加模块，用于在所述内存中对所述目标数据和所述新增数据进行追加拼接，得到待处理数据；
写入模块，用于若所述待处理数据的数据量小于聚合阈值，则对所述待处理数据进行数据聚合，得到目标聚合数据，并将所述目标聚合数据存入所述后端存储。
9.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据追加聚合方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据追加聚合方法。
CN202110327444.6A 2021-03-26 2021-03-26 数据追加聚合方法、装置、电子设备及可读存储介质 Pending CN113031871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327444.6A CN113031871A (zh) 2021-03-26 2021-03-26 数据追加聚合方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327444.6A CN113031871A (zh) 2021-03-26 2021-03-26 数据追加聚合方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113031871A true CN113031871A (zh) 2021-06-25

Family

ID=76474262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327444.6A Pending CN113031871A (zh) 2021-03-26 2021-03-26 数据追加聚合方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113031871A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489491A (zh) * 2021-12-30 2022-05-13 北京云测信息技术有限公司 一种数据加载的方法、装置、电子设备及存储介质
CN115378882A (zh) * 2022-08-18 2022-11-22 中国联合网络通信集团有限公司 流数据处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112211A (en) * 1997-11-25 2000-08-29 International Business Machines Corporation Reconfiguration an aggregate file including delete-file space for optimal compression
US20140068182A1 (en) * 2012-09-04 2014-03-06 Drobo, Inc. Storage Virtualization In A Block-Level Storage System
CN105868286A (zh) * 2016-03-23 2016-08-17 中国科学院计算技术研究所 基于分布式文件系统小文件合并的并行追加方法及系统
CN107958079A (zh) * 2017-12-14 2018-04-24 郑州云海信息技术有限公司 聚合文件删除方法、系统、装置及可读存储介质
CN111309687A (zh) * 2020-01-21 2020-06-19 苏州浪潮智能科技有限公司 一种对象存储小文件处理方法、装置、设备及存储介质
CN112269764A (zh) * 2020-10-23 2021-01-26 北京浪潮数据技术有限公司 一种文件聚合方法、装置、设备及可读存储介质
CN112463741A (zh) * 2020-11-24 2021-03-09 苏州浪潮智能科技有限公司 一种聚合大文件的清理方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6112211A (en) * 1997-11-25 2000-08-29 International Business Machines Corporation Reconfiguration an aggregate file including delete-file space for optimal compression
US20140068182A1 (en) * 2012-09-04 2014-03-06 Drobo, Inc. Storage Virtualization In A Block-Level Storage System
CN105868286A (zh) * 2016-03-23 2016-08-17 中国科学院计算技术研究所 基于分布式文件系统小文件合并的并行追加方法及系统
CN107958079A (zh) * 2017-12-14 2018-04-24 郑州云海信息技术有限公司 聚合文件删除方法、系统、装置及可读存储介质
CN111309687A (zh) * 2020-01-21 2020-06-19 苏州浪潮智能科技有限公司 一种对象存储小文件处理方法、装置、设备及存储介质
CN112269764A (zh) * 2020-10-23 2021-01-26 北京浪潮数据技术有限公司 一种文件聚合方法、装置、设备及可读存储介质
CN112463741A (zh) * 2020-11-24 2021-03-09 苏州浪潮智能科技有限公司 一种聚合大文件的清理方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宇珺: "面向高端制造业的非结构化数据管理技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489491A (zh) * 2021-12-30 2022-05-13 北京云测信息技术有限公司 一种数据加载的方法、装置、电子设备及存储介质
CN115378882A (zh) * 2022-08-18 2022-11-22 中国联合网络通信集团有限公司 流数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
KR100844058B1 (ko) 파일 삭제 방법, 파일·오픈 방법, 파일 삭제 프로그램, 및파일·오픈·프로그램
CN111596863B (zh) 一种数据读取方法、装置、设备及可读存储介质
EP3252592A1 (en) Method and device for storing and reading data
CN109359091B (zh) 文件管理方法、装置、终端及计算机可读存储介质
CN108491333A (zh) 环形缓冲区的数据写入方法、装置、设备及介质
CN113031871A (zh) 数据追加聚合方法、装置、电子设备及可读存储介质
CN108536745B (zh) 基于Shell的数据表提取方法、终端、设备及存储介质
CN111796856A (zh) 差分升级方法及装置、存储介质、计算机设备
CN109885577B (zh) 数据处理方法、装置、终端及存储介质
CN102737205B (zh) 保护包括可编辑元数据的文件
CN109558382B (zh) 文件管理方法、电子装置及计算机可读存储介质
CN107835986B (zh) 一种电子设备的数据操作方法及电子设备
US8196093B2 (en) Apparatus and method for componentizing legacy system
CN112000630B (zh) 一种日志存储方法、装置、设备及可读存储介质
CN107577474B (zh) 升级文件的处理方法及装置、电子设备
JP2008129678A (ja) ファイル圧縮自動判定方式および方法、並びに、プログラム
WO2020113421A1 (zh) 一种挂载文件系统的方法、终端设备及存储介质
CN113297156A (zh) 一种数据同步方法、装置、设备及介质
CN111984600B (zh) 一种文件聚合方法、装置、设备及可读存储介质
CN112130765B (zh) Eeprom数据读写方法及装置
CN114675776A (zh) 资源存储方法和装置、存储介质和电子设备
CN111001157B (zh) 引用信息的生成方法和装置、存储介质及电子装置
CN113641643A (zh) 文件写入方法及装置
CN113849195A (zh) 应用程序加载方法、装置、存储介质以及终端
CN109460392B (zh) 日志文件采集方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication