CN115576947A - 一种数据管理方法、装置、组合库、电子设备及存储介质 - Google Patents

一种数据管理方法、装置、组合库、电子设备及存储介质 Download PDF

Info

Publication number
CN115576947A
CN115576947A CN202211279468.XA CN202211279468A CN115576947A CN 115576947 A CN115576947 A CN 115576947A CN 202211279468 A CN202211279468 A CN 202211279468A CN 115576947 A CN115576947 A CN 115576947A
Authority
CN
China
Prior art keywords
data
index
managed
library
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211279468.XA
Other languages
English (en)
Inventor
王炜灼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Likong Yuantong Technology Co ltd
Original Assignee
Beijing Likong Yuantong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Likong Yuantong Technology Co ltd filed Critical Beijing Likong Yuantong Technology Co ltd
Priority to CN202211279468.XA priority Critical patent/CN115576947A/zh
Publication of CN115576947A publication Critical patent/CN115576947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据管理方法、装置、组合库、电子设备及存储介质,该方法包括:获取待管理数据;将待管理数据的索引标识,写入索引库;其中,索引标识包括待管理数据的键值和文件序列号;按照文件序列号,将待管理数据写入存储库。上述方案提供的方法,通过对待管理数据和键值进行分库存储,且存储键值的同时记录其文件序列号,即便后续对键值顺序进行重排序,也不需要重新在系统文件中写入数据,保证了数据管理效率。

Description

一种数据管理方法、装置、组合库、电子设备及存储介质
技术领域
本申请涉及数据库技术领域,尤其涉及一种数据管理方法、装置、组合库、电子设备及存储介质。
背景技术
随着网络技术的发展,越来越多的企业实现了全面的数据化管理,导致每个企业都有大量的时序数据需要统一管理。其中,时序数据具有采集频率快、数据量大、结构化等特点。在物联网系统中采集的时序数据通常又具有多个属性,而时序数据存储系统需要能够根据用户的各种查询需求快速的完成数据的查找。
在现有技术中,通常用LSM树作为时序数据的数据存储结构,采用归并排序的方式进行数据写入。但由于在写数据过程中,键值需要采用归并排序的方式进行排序,为了使数据与键值之间的保持匹配,有些已经写入系统文件的某键值对应的数据需要经历重复写入,也就无法保证数据管理效率。
发明内容
本申请提供一种数据管理方法、装置、组合库、电子设备及存储介质,以解决现有技术无法保证数据管理效率等缺陷。
本申请第一个方面提供一种数据管理方法,应用于组合库,所述组合库包括索引库和存储库,所述方法包括:
获取待管理数据;
将所述待管理数据的索引标识,写入所述索引库;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
按照所述文件序列号,将所述待管理数据写入所述存储库。
可选的,所述待管理数据包括多种类型的子数据,所述组合库包括若干个存储库,所述按照所述文件序列号,将所述待管理数据写入所述存储库,包括:
根据所述待管理数据包括的各子数据的数据类型,在所述若干个存储库中,筛选各所述子数据对应的目标存储库;
按照所述文件序列号,将各所述子数据,写入对应的目标存储库。
可选的,所述索引库包括第一缓存区和第一存储区,所述将所述待管理数据的索引标识,写入所述索引库,包括:
将所述待管理数据的索引标识写入所述第一缓存区;
当所述第一缓存区中的索引标识累计量达到预设阈值时,采用归并排序算法,对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序,得到对应的排序结果;
按照所述排序结果,将所有所述索引标识,写入所述索引库的第一存储区。
可选的,所述存储库包括第二缓存区和第二存储区,所述方法还包括:
获取用户的数据读取需求;
根据所述数据读取需求,依次从所述存储库的第二存储区读取若干条目标数据;
将所述若干条目标数据写入所述存储库的第二缓存区;
当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时,统一输出所述若干条目标数据。
可选的,所述根据所述数据读取需求,依次从所述存储库的第二存储区读取若干条目标数据,包括:
根据所述数据读取需求,在所述索引库中选择目标索引标识;
根据所述目标索引标识,确定所述目标数据在所述存储库中的目标文件序列号;
根据所述目标文件序列号,在所述存储库的第二存储区读取所述目标数据。
可选的,所述存储库的第二存储区包括多个系统文件,各所述系统文件对应的键值范围不存在交集;
其中,各所述系统文件均设有文件号,所述文件序列号由多个所述文件号组成。
本申请第二个方面提供一种数据管理装置,应用于组合库,所述组合库包括索引库和存储库,所述装置包括:
获取模块,用于获取待管理数据;
第一管理模块,用于将所述待管理数据的索引标识,写入所述索引库;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
第二管理模块,用于按照所述文件序列号,将所述待管理数据写入所述存储库。
可选的,所述待管理数据包括多种类型的子数据,所述组合库包括若干个存储库,所述第二管理模块,具体用于:
根据所述待管理数据包括的各子数据的数据类型,在所述若干个存储库中,筛选各所述子数据对应的目标存储库;
按照所述文件序列号,将各所述子数据,写入对应的目标存储库。
可选的,所述索引库包括第一缓存区和第一存储区,所述第一管理模块,具体用于:
将所述待管理数据的索引标识写入所述第一缓存区;
当所述第一缓存区中的索引标识累计量达到预设阈值时,采用归并排序算法,对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序,得到对应的排序结果;
按照所述排序结果,将所有所述索引标识,写入所述索引库的第一存储区。
可选的,所述存储库包括第二缓存区和第二存储区,所述装置还包括:
数据读取模块,用于获取用户的数据读取需求;根据所述数据读取需求,依次从所述存储库的第二存储区读取若干条目标数据;将所述若干条目标数据写入所述存储库的第二缓存区;当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时,统一输出所述若干条目标数据。
可选的,所述数据读取模块,具体用于:
根据所述数据读取需求,在所述索引库中选择目标索引标识;
根据所述目标索引标识,确定所述目标数据在所述存储库中的目标文件序列号;
根据所述目标文件序列号,在所述存储库的第二存储区读取所述目标数据。
可选的,所述存储库的第二存储区包括多个系统文件,各所述系统文件对应的键值范围不存在交集;
其中,各所述系统文件均设有文件号,所述文件序列号由多个所述文件号组成。
本申请第三个方面提供一种组合库,包括:索引库和存储库;
所述索引库用于存储待管理数据的索引标识;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
所述存储库用于存储所述待管理数据,所述待管理数据按照所述文件序列号存储。
本申请第四个方面提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第五个方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案,具有如下优点:
本申请提供一种数据管理方法、装置、组合库、电子设备及存储介质,该方法包括:获取待管理数据;将待管理数据的索引标识,写入索引库;其中,索引标识包括待管理数据的键值和文件序列号;按照文件序列号,将待管理数据写入存储库。上述方案提供的方法,通过对待管理数据和键值进行分库存储,且存储键值的同时记录其文件序列号,即便后续对键值顺序进行重排序,也不需要重新在系统文件中写入数据,保证了数据管理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的数据管理系统的结构示意图;
图2为本申请实施例提供的数据管理方法的流程示意图;
图3为本申请实施例提供的数据管理装置的结构示意图;
图4为本申请实施例提供的组合库的结构示意图;
图5为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
在现有技术中,通常用LSM树作为时序数据的数据存储结构,采用归并排序的方式进行数据写入。但由于在写数据过程中,键值需要采用归并排序的方式进行排序,为了使数据与键值之间的保持匹配,有些已经写入系统文件的某键值对应的数据需要经历重复写入,也就无法保证数据管理效率,且可能触发硬件I/O瓶颈,较大制约了系统支撑的容量。
针对上述问题,本申请实施例提供的数据管理方法、装置、组合库、电子设备及存储介质,通过获取待管理数据;将待管理数据的索引标识,写入索引库;其中,索引标识包括待管理数据的键值和文件序列号;按照文件序列号,将待管理数据写入存储库。上述方案提供的方法,通过对待管理数据和键值进行分库存储,且存储键值的同时记录其文件序列号,即便后续对键值顺序进行重排序,也不需要重新在系统文件中写入数据,保证了数据管理效率。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明实施例进行描述。
首先,对本申请所基于的数据管理系统的结构进行说明:
本申请实施例提供的数据管理方法、装置、组合库、电子设备及存储介质,适用于对键值对数据进行管理。如图1所示,为本申请实施例基于的数据管理系统的结构示意图,主要包括数据采集装置、组合库和数据管理装置。具体地,可以基于数据采集装置采集待管理数据,并将采集到的待管理数据发送给数据管理装置,该装置基于组合库,对待管理数据进行数据管理。
本申请实施例提供了一种数据管理方法,应用于组合库,组合库包括索引库和存储库,用于对键值对数据进行管理。本申请实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于进行数据管理的电子设备。
如图2所示,为本申请实施例提供的数据管理方法的流程示意图,该方法包括:
步骤201,获取待管理数据。
其中,待管理数据为键值对数据,实质包括键值(key)和待管理数据(value)两部分。
步骤202,将待管理数据的索引标识,写入索引库。
其中,索引标识包括待管理数据的键值和文件序列号。
需要说明的是,本申请实施例提供的组合库为PairDB组合库。
具体地,在得到待管理数据后,先根据存储库当前的数据情况,确定该待管理数据写入存储库时将落入哪些系统文件,进而确定该待管理数据的文件序列号。通过对待管理数据的键值和文件序列号进行汇总,得到待管理数据的索引标识,将索引标识写入索引库,即将索引标识存入索引库。
其中,由于索引库仅存储索引标识,对存储容量需求较小。
步骤203,按照文件序列号,将待管理数据写入存储库。
具体地,可以按照索引标识中记载的文件序列号,将待管理数据拆分写入到各文件号对应的系统文件。
其中,存储库包括多个系统文件,各系统文件对应的键值范围不存在交集,所以不会存在同一键值对应的数据同时写入多个不同系统文件的情况,各系统文件均设有文件号,文件序列号由多个文件号组成。
在上述实施例的基础上,为了进一步提高数据管理效率,作为一种可实施的方式,在一实施例中,待管理数据包括多种类型的子数据,组合库包括若干个存储库,按照文件序列号,将待管理数据写入存储库,包括:
步骤2031,根据待管理数据包括的各子数据的数据类型,在若干个存储库中,筛选各子数据对应的目标存储库;
步骤2032,按照文件序列号,将各子数据,写入对应的目标存储库。
需要说明的是,当待管理数据拆分成若干个子数据存储到不同的目标存储库时,待管理数据对应的索引标识将为复合索引,即还包括不同子数据标识、不同子数据对应的目标存储库标识以及子数据在该目标存储库中的文件序列号。
具体地,由于待管理数据中不用类型的子数据大小不同,为了便于后续读取指定的子数据,可以将不同类型的子数据存入不同的存储库。
其中,当每个存储库仅存储一种类型的子数据时,可以根据不同类型子数据的存储空间需求,开发不同容量的存储库,以合理利用存储资源。
在上述实施例的基础上,作为一种可实施的方式,在一实施例中,索引库包括第一缓存区buffer和第一存储区,将待管理数据的索引标识,写入索引库,包括:
步骤2021,将待管理数据的索引标识写入第一缓存区;
步骤2022,当第一缓存区中的索引标识累计量达到预设阈值时,采用归并排序算法,对第一缓存区中的索引标识和索引库中的索引标识进行统一排序,得到对应的排序结果;
步骤2023,按照排序结果,将所有索引标识,写入索引库的第一存储区。
具体地,通过为索引库设置第一缓存区,可以让索引标识累计量达到预设阈值时,再统一对第一缓存区中的索引标识和索引库中的索引标识进行归并排序,从而减少了归并排序次数,也就减少了索引标识重写次数,即缓解了LSM结构的写放大问题。并且,由于索引标识对存储空间占用较小,降低了归并排序成本,提高了归并排序顺序。
在上述实施例的基础上,作为一种可实施的方式,在一实施例中,存储库包括第二缓存区cache和第二存储区,该方法还包括:
步骤301,获取用户的数据读取需求;
步骤302,根据数据读取需求,依次从存储库的第二存储区读取若干条目标数据;
步骤303,将若干条目标数据写入存储库的第二缓存区;
步骤304,当第二缓存区当前缓存的若干条目标数据满足数据读取需求时,统一输出若干条目标数据。
其中,存储库中存储的数据可以以{原键值Key,原数据值Value}的形式存储,为后续的查询优化和重排序等功能提供了良好支撑。
需要说明的是,由于一条数据读取需求可能是要读取多条数据,因此,可以先将读取到的目标数据写入第二缓存区,当数据读取需求指示读取的所有目标数据均已写入第二缓存区时,可以对这些目标数据进行汇总,并统一输出给用户,缓解了存储库的I/O压力。存储库的系统文件位于第二存储区,即第二存储区包括多个系统文件。
其中,不同类型子数据对应的存储库可以设定不同的大小的第二缓存区,以形成不同的数据汇总规模,而不同的汇总规模也可以支撑不同的查询性能需求。
具体地,还可以在系统文件内进行数据排序,以进一步提高数据查询效率。
具体地,在一实施例中,可以根据数据读取需求,在索引库中选择目标索引标识;根据目标索引标识,确定目标数据在存储库中的目标文件序列号;根据目标文件序列号,在存储库的第二存储区读取目标数据。
具体地,可以先根据数据读取需求表征的目标键值,遍历索引库,以确定该数据读取需求对应的目标索引标识,然后根据目标索引标识表征的目标文件序列号,遍历对应的存储库,以在该存储库中定位目标系统文件,进而在该目标系统文件中读取目标数据。
本申请实施例提供的数据管理方法,通过获取待管理数据;将待管理数据的索引标识,写入索引库;其中,索引标识包括待管理数据的键值和文件序列号;按照文件序列号,将待管理数据写入存储库。上述方案提供的方法,通过对待管理数据和键值进行分库存储,且存储键值的同时记录其文件序列号,即便后续对键值顺序进行重排序,也不需要重新在系统文件中写入数据,保证了数据管理效率。对于写入性能,写放大规模减少到原来的1/5左右,系统所支撑的稳定写入量提高2-5倍,同时可以提供更加稳定的查询性能。
本申请实施例提供了一种数据管理装置,应用于组合库,组合库包括索引库和存储库,用于执行上述实施例提供的数据管理方法。
如图3所示,为本申请实施例提供的数据管理装置的结构示意图。该数据管理装置30包括:获取模块301、第一管理模块302和第二管理模块303。
其中,获取模块,用于获取待管理数据;第一管理模块,用于将待管理数据的索引标识,写入索引库;其中,索引标识包括待管理数据的键值和文件序列号;第二管理模块,用于按照文件序列号,将待管理数据写入存储库。
具体地,在一实施例中,待管理数据包括多种类型的子数据,组合库包括若干个存储库,第二管理模块,具体用于:
根据待管理数据包括的各子数据的数据类型,在若干个存储库中,筛选各子数据对应的目标存储库;
按照文件序列号,将各子数据,写入对应的目标存储库。
具体地,在一实施例中,索引库包括第一缓存区和第一存储区,第一管理模块,具体用于:
将待管理数据的索引标识写入第一缓存区;
当第一缓存区中的索引标识累计量达到预设阈值时,采用归并排序算法,对第一缓存区中的索引标识和索引库中的索引标识进行统一排序,得到对应的排序结果;
按照排序结果,将所有索引标识,写入索引库的第一存储区。
具体地,在一实施例中,存储库包括第二缓存区和第二存储区,装置还包括:
数据读取模块,用于获取用户的数据读取需求;根据数据读取需求,依次从存储库的第二存储区读取若干条目标数据;将若干条目标数据写入存储库的第二缓存区;当第二缓存区当前缓存的若干条目标数据满足数据读取需求时,统一输出若干条目标数据。
具体地,在一实施例中,数据读取模块,具体用于:
根据数据读取需求,在索引库中选择目标索引标识;
根据目标索引标识,确定目标数据在存储库中的目标文件序列号;
根据目标文件序列号,在存储库的第二存储区读取目标数据。
具体地,在一实施例中,存储库的第二存储区包括多个系统文件,各系统文件对应的键值范围不存在交集;
其中,各系统文件均设有文件号,文件序列号由多个文件号组成。
关于本实施例中的数据管理装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的数据管理装置,用于执行上述实施例提供的数据管理方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种组合库,上述实施例提供的数据管理方法应用于组合库。
如图4所示,为本申请实施例提供的组合库的结构示意图。该组合库装置40包括索引库401和存储库402。
其中,索引库用于存储待管理数据的索引标识;其中,索引标识包括待管理数据的键值和文件序列号;存储库用于存储待管理数据,待管理数据按照文件序列号存储。
关于本实施例中的组合库的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的组合库,应用上述实施例提供的数据管理方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种电子设备,用于执行上述实施例提供的数据管理方法。
如图5所示,为本申请实施例提供的电子设备的结构示意图。该电子设备50包括:至少一个处理器51和存储器52。
存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上实施例提供的数据管理方法。
本申请实施例提供的一种电子设备,用于执行上述实施例提供的数据管理方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的数据管理方法。
本申请实施例的包含计算机可执行指令的存储介质,可用于存储前述实施例中提供的数据管理方法的计算机执行指令,其实现方式与原理相同,不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据管理方法,应用于组合库,所述组合库包括索引库和存储库,其特征在于,所述方法包括:
获取待管理数据;
将所述待管理数据的索引标识,写入所述索引库;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
按照所述文件序列号,将所述待管理数据写入所述存储库。
2.根据权利要求1所述的方法,其特征在于,所述待管理数据包括多种类型的子数据,所述组合库包括若干个存储库,所述按照所述文件序列号,将所述待管理数据写入所述存储库,包括:
根据所述待管理数据包括的各子数据的数据类型,在所述若干个存储库中,筛选各所述子数据对应的目标存储库;
按照所述文件序列号,将各所述子数据,写入对应的目标存储库。
3.根据权利要求1所述的方法,其特征在于,所述索引库包括第一缓存区和第一存储区,所述将所述待管理数据的索引标识,写入所述索引库,包括:
将所述待管理数据的索引标识写入所述第一缓存区;
当所述第一缓存区中的索引标识累计量达到预设阈值时,采用归并排序算法,对所述第一缓存区中的索引标识和所述索引库中的索引标识进行统一排序,得到对应的排序结果;
按照所述排序结果,将所有所述索引标识,写入所述索引库的第一存储区。
4.根据权利要求1所述的方法,其特征在于,所述存储库包括第二缓存区和第二存储区,所述方法还包括:
获取用户的数据读取需求;
根据所述数据读取需求,依次从所述存储库的第二存储区读取若干条目标数据;
将所述若干条目标数据写入所述存储库的第二缓存区;
当所述第二缓存区当前缓存的若干条目标数据满足所述数据读取需求时,统一输出所述若干条目标数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述数据读取需求,依次从所述存储库的第二存储区读取若干条目标数据,包括:
根据所述数据读取需求,在所述索引库中选择目标索引标识;
根据所述目标索引标识,确定所述目标数据在所述存储库中的目标文件序列号;
根据所述目标文件序列号,在所述存储库的第二存储区读取所述目标数据。
6.根据权利要求4所述的方法,其特征在于,所述存储库的第二存储区包括多个系统文件,各所述系统文件对应的键值范围不存在交集;
其中,各所述系统文件均设有文件号,所述文件序列号由多个所述文件号组成。
7.一种数据管理装置,应用于组合库,所述组合库包括索引库和存储库,其特征在于,所述装置包括:
获取模块,用于获取待管理数据;
第一管理模块,用于将所述待管理数据的索引标识,写入所述索引库;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
第二管理模块,用于按照所述文件序列号,将所述待管理数据写入所述存储库。
8.一种组合库,其特征在于,包括:索引库和存储库;
所述索引库用于存储待管理数据的索引标识;其中,所述索引标识包括所述待管理数据的键值和文件序列号;
所述存储库用于存储所述待管理数据,所述待管理数据按照所述文件序列号存储。
9.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至6任一项所述的方法。
CN202211279468.XA 2022-10-19 2022-10-19 一种数据管理方法、装置、组合库、电子设备及存储介质 Pending CN115576947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211279468.XA CN115576947A (zh) 2022-10-19 2022-10-19 一种数据管理方法、装置、组合库、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211279468.XA CN115576947A (zh) 2022-10-19 2022-10-19 一种数据管理方法、装置、组合库、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115576947A true CN115576947A (zh) 2023-01-06

Family

ID=84585160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211279468.XA Pending CN115576947A (zh) 2022-10-19 2022-10-19 一种数据管理方法、装置、组合库、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115576947A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117931098A (zh) * 2024-03-22 2024-04-26 江西云眼视界科技股份有限公司 边缘侧事件存储方法、系统、存储介质及计算机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021161A (zh) * 2014-05-27 2014-09-03 华为技术有限公司 一种聚簇存储方法及装置
CN111399762A (zh) * 2019-11-27 2020-07-10 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
CN112416925A (zh) * 2020-11-02 2021-02-26 浙商银行股份有限公司 基于有序分布式索引结构的查询方法和分布式数据库系统
CN114610708A (zh) * 2020-12-08 2022-06-10 中移(苏州)软件技术有限公司 一种向量数据处理方法及装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021161A (zh) * 2014-05-27 2014-09-03 华为技术有限公司 一种聚簇存储方法及装置
CN111399762A (zh) * 2019-11-27 2020-07-10 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
CN112416925A (zh) * 2020-11-02 2021-02-26 浙商银行股份有限公司 基于有序分布式索引结构的查询方法和分布式数据库系统
CN114610708A (zh) * 2020-12-08 2022-06-10 中移(苏州)软件技术有限公司 一种向量数据处理方法及装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117931098A (zh) * 2024-03-22 2024-04-26 江西云眼视界科技股份有限公司 边缘侧事件存储方法、系统、存储介质及计算机
CN117931098B (zh) * 2024-03-22 2024-06-07 江西云眼视界科技股份有限公司 边缘侧事件存储方法、系统、存储介质及计算机

Similar Documents

Publication Publication Date Title
CN109254733B (zh) 用于存储数据的方法、装置和系统
US9367574B2 (en) Efficient query processing in columnar databases using bloom filters
US9767174B2 (en) Efficient query processing using histograms in a columnar database
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
US20160350302A1 (en) Dynamically splitting a range of a node in a distributed hash table
CN108140040A (zh) 存储器中数据库的选择性数据压缩
US9280551B2 (en) De-duplication deployment planning
Hoque et al. Disk layout techniques for online social network data
CN114610708A (zh) 一种向量数据处理方法及装置、电子设备及存储介质
CN111831691B (zh) 一种数据读写方法及装置、电子设备、存储介质
CN113641681B (zh) 一种空间自适应的海量数据查询方法
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN111752941B (zh) 一种数据存储、访问方法、装置、服务器及存储介质
Kvet et al. Relational pre-indexing layer supervised by the DB_index_consolidator Background Process
CN114416741A (zh) 基于多级索引的kv数据写入读取方法、装置及存储介质
CN114297196A (zh) 元数据存储方法、装置、电子设备及存储介质
CN116701386A (zh) 键值对检索方法、装置及存储介质
CN117785889B (zh) 一种针对图数据库的索引管理方法及相关设备
CN118132520B (zh) 存储系统文件处理方法、电子设备、存储介质及程序产品
CN113806249B (zh) 一种对象存储有序列举方法、装置、终端及存储介质
CN117540056B (zh) 数据查询的方法、装置、计算机设备和存储介质
CN116955286B (zh) 一种文件搜索与分类管理方法、系统及装置
CN117762971A (zh) 面向区块链交易检索的高效查询方法、系统、设备及介质
CN114647630A (zh) 文件同步、信息生成方法、装置、计算机设备和存储介质
CN118260330A (zh) 业务数据存储方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination