CN108874930A - 文件属性信息统计方法、装置、系统、设备及存储介质 - Google Patents

文件属性信息统计方法、装置、系统、设备及存储介质 Download PDF

Info

Publication number
CN108874930A
CN108874930A CN201810550562.1A CN201810550562A CN108874930A CN 108874930 A CN108874930 A CN 108874930A CN 201810550562 A CN201810550562 A CN 201810550562A CN 108874930 A CN108874930 A CN 108874930A
Authority
CN
China
Prior art keywords
attribute information
file
index node
directory tree
file attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810550562.1A
Other languages
English (en)
Inventor
李�杰
魏盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810550562.1A priority Critical patent/CN108874930A/zh
Publication of CN108874930A publication Critical patent/CN108874930A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件属性信息统计方法,在本方法中,通过在内存中建立内存目录树,并实时更新内存目录树中的属性信息,可以在用户需要获取文件的属性信息时,直接从内存目录树中获取;并且在获取属性信息时,为了进一步提高数据获取速度,本方案通过多线程并行查询方式查询属性信息,通过归并后得到最终的统计结果。本发明还公开了一种文件属性信息统计装置、系统、设备及计算机可读存储介质,同样能实现上述技术效果。

Description

文件属性信息统计方法、装置、系统、设备及存储介质
技术领域
本发明涉及属性信息统计技术领域,更具体地说,涉及一种文件属性信息统计方法、装置、系统、设备及计算机可读存储介质。
背景技术
目前,在对文件的数量信息或者数据量等属性信息进行统计时,传统的统计方式为通过命令的形式进行统计,这种统计方式的统计速度较慢;例如:在分布式存储小文件应用场景中,当容量达到一定规模后会出现千亿规模级别的文件量,这时如果依靠传统的统计方式进行统计,则会花费较大的统计时间,如果应用在需要频繁统计文件数量或者数据量的场景中,会存在较大的时间隐患。
因此,如何快速的统计文件的属性信息,减少统计时间,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种文件属性信息统计方法、装置、系统、设备及计算机可读存储介质,以实现快速的统计文件的属性信息,减少统计时间。
为实现上述目的,本发明实施例提供了如下技术方案:
一种文件属性信息统计方法,包括:
接收属性信息统计指令;
利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
将每个线程的属性信息查询结果进行归并,得到统计结果。
其中,还包括:
接收属性信息更新指令;
利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
其中,所述接收属性信息更新指令之后,还包括:
将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
其中,还包括:
当所述内存目录树的内存占用量超过预定阈值时,按照LRU算法确定所述内存目录树中的待处理数据,并进行老化处理。
一种文件属性信息统计装置,包括:
第一接收模块,用于接收属性信息统计指令;
第一确定模块,用于利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
查询模块,用于通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
查询结果归并模块,用于将每个线程的属性信息查询结果进行归并,得到统计结果。
其中,还包括:
第二接收模块,用于接收属性信息更新指令;
第二确定模块,用于利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
修改模块,用于根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
其中,还包括:
修改内容写入模块,用于将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
一种文件属性信息统计系统,包括:属性查询接口、扩展属性管理模块、和内存目录树;
其中,所述扩展属性管理模块用于通过属性查询接口接收属性信息统计指令,利用所述属性信息统计指令,确定所述内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;通过多线程并行查询方式,查询所述待查询索引节点的属性信息;将每个线程的属性信息查询结果进行归并,得到统计结果。
一种文件属性信息统计设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一项所述文件属性信息统计方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述文件属性信息统计方法的步骤。
通过以上方案可知,本发明实施例提供的一种文件属性信息统计方法,包括:接收属性信息统计指令;利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;通过多线程并行查询方式,查询所述待查询索引节点的属性信息;将每个线程的属性信息查询结果进行归并,得到统计结果。
可见,在本方案中,通过在内存中建立内存目录树,并实时更新内存目录树中的属性信息,可以在用户需要获取文件的属性信息时,直接从内存目录树中获取,并且在获取属性信息时,为了进一步提高数据获取速度,本方案通过多线程并行查询方式查询属性信息,通过归并后得到最终的统计结果。本发明还公开了一种文件属性信息统计装置、系统、设备及计算机可读存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种文件属性信息统计方法流程示意图;
图2为本发明实施例公开的一种文件属性信息统计系统结构示意图;
图3为本发明实施例公开的一种文件属性信息统计装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种文件属性信息统计方法、装置、系统、设备及计算机可读存储介质,以实现快速的统计文件的属性信息,减少统计时间。
参见图1,本发明实施例提供的一种文件属性信息统计方法,包括:
S101、接收属性信息统计指令;
具体的,在本实施例中,需要在元数据服务服务端创建内存目录树,该内存目录树具体可以为二叉树结构。在该内存目录树结构中,除了叶子节点之外,每个索引节点均有其孩子节点。具体来说,每个索引节点均包含的直接孩子节点文件数据大小(Bytes),直接孩子节点普通文件个数,该索引节点所包含目录的inode数组,以及内容最后更新时间。
因此,在本方案中的属性信息统计指令,具体可以理解为统计文件数据量的指令、统计文件数量的指令、统计文件目录信息的指令中的任意一个指令或者多个指令,在此并不具体限定。
S102、利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
具体的,内存目录树中的每个索引节点包括的非目录文件属性信息,为索引节点中存储的直接孩子节点文件数据大小(Bytes)、直接孩子节点普通文件个数等信息,具体可以理解,本索引节点对应的数据节点所包含的文件的文件数据量、文件数量信息、文件类型信息等属性信息;内存目录树中的每个索引节点包括的目录文件属性信息,具体可以理解为索引节点所包含目录的inode数组,该inode数组记载了该索引节点下所有索引节点的目录信息。
需要说明的是,目前对一个目录进行数据量统计时,可以通过du命令进行查询,但是文件数量并没有对应的接口,包括后续基于该架构之上扩展的各种特殊统计,可能都需要设计私有的统计接口。并且,分布式存储大都采用统一的管理平台,所以采用私有的统计接口是一种针对特殊应用的趋势。因此在本方案中,设置了文件数量统计接口,文件大小统计接口,以及其他统计接口,例如在此结构上扩展的其他属性,比如文件类型统计接口。
S103、通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
S104、将每个线程的属性信息查询结果进行归并,得到统计结果。
具体的,本方案接收到该统计指令后,根据统计指令中携带的文件索引节点编号,确定待查询索引节点,该待查询索引节点可以为一个索引节点,也可以是多个索引节点,同样也可以是一个索引节点下的所有子节点。因此,为了提高查询速度,本方案采用多线程并行查询的方式,通过设计一个线程池,线程函数针对传入的待查询索引节点,分别查询每个待查询索引节点的属性信息,最后,将所有并行查询的线程进行归并,在内存中并行查询,查询时间不会超过100ms。
例如:属性信息统计指令需要统计索引节点A下的所有子节点的文件数量及文件大小,这时索引节点A下的所有子节点均为待查询索引节点;为每个待查询索引节点分配一个查询线程,每个查询线程查询一个待查询索引节点,这样每个线程查询完后,通过将所有的查询结果进行归并,便可以快速得到索引节点A下的所有子节点的文件数量及文件大小。
需要说明的是,由于小文件的数量规模很大,因此目前在统计小文件的属性信息时,相比较于统计大文件的属性信息会浪费更多的统计时间,因此,本方案所述的文件属性信息统计方法应用在小文件属性信息统计场景时,能起到更好的效果,即在对大规模分布式存储中小文件应用场景的统计,能够大大缩短前端用户的操作时延,极大的提高用户使用感受。并且,本方案在对属性信息进行查询时,采用延迟加载查询的方式,避免系统启动时大量加载造成延迟过高。
基于上述实施例,在本实施例中,还包括:
接收属性信息更新指令;
利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
其中,所述接收属性信息更新指令之后,还包括:
将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
具体的,为了保证内存目录树中各个索引节点保存信息的准确性,在文件进行更新时需要对文件的属性信息进行实时修改。具体的,该属性信息更新指令具体包括对文件的创建、删除、修改等指令。参见图2,为本实施例提供的一种文件属性信息统计系统结构示意图,可以看出,在元数据服务进程中存在扩展属性管理模块,该扩展属性管理模块用来对属性信息的快速查询,以及对属性信息的快速安全更新。在进行更新时,需要将更新的属性信息作为一个事务首先写入到kv数据库中,然后在维护到内存中。由于kv数据库的设计特点其写入速度较快,并且能够保证事务的完整性,即不是成功,就是失败,不会存在中间状态,从而防止属性信息的丢失,起到了对属性信息进行备份的作用。
并且,本方案每次对属性信息进行更新后,会在修改数据的索引节点中添加更新时间戳,以记载属性信息更新时间。进一步,由于内存维护的树形结构会占用一定的内存量,为了防止内存目录树占用较大的内存值,在本方案中,当内存目录树的内存占用量超过预定阈值时,则按照LRU算法确定所述内存目录树中的待处理数据,并进行老化处理。也就是说,超出部分会直接从内存老化,老化策略采用LRU的方式,从而将内存目录树中长时间未使用及未修改的数据删除,减少内存占用量。
下面对本发明实施例提供的文件属性信息统计装置进行介绍,下文描述的文件属性信息统计装置与上文描述的文件属性信息统计装置可以相互参照。
参见图3,本发明实施例提供的一种文件属性信息统计装置,包括:
第一接收模块100,用于接收属性信息统计指令;
第一确定模块200,用于利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
查询模块300,用于通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
查询结果归并模块400,用于将每个线程的属性信息查询结果进行归并,得到统计结果。
其中,本方案还包括:
第二接收模块,用于接收属性信息更新指令;
第二确定模块,用于利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
修改模块,用于根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
其中,本方案还包括:
修改内容写入模块,用于将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
其中,本方案还包括:
数据处理模块,用于当所述内存目录树的内存占用量超过预定阈值时,按照LRU算法确定所述内存目录树中的待处理数据,并进行老化处理。
本发明实施例还提供了一种文件属性信息统计系统,包括:属性查询接口、扩展属性管理模块、和内存目录树;
其中,所述扩展属性管理模块用于通过属性查询接口接收属性信息统计指令,利用所述属性信息统计指令,确定所述内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;通过多线程并行查询方式,查询所述待查询索引节点的属性信息;将每个线程的属性信息查询结果进行归并,得到统计结果。
其中,该文件属性信息统计系统还包括KV数据库,用于存储属性信息更新指令中的属性信息修改内容。
其中,所述扩展属性管理模块还用于:接收属性信息更新指令;利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
其中,所述扩展属性管理模块还用于:接收属性信息更新指令之后,将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
其中,所述扩展属性管理模块还用于:当所述内存目录树的内存占用量超过预定阈值时,按照LRU算法确定所述内存目录树中的待处理数据,并进行老化处理。
本发明实施例还提供了一种文件属性信息统计设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任意方法实施例所述的文件属性信息统计方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例所述的文件属性信息统计方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种文件属性信息统计方法,其特征在于,包括:
接收属性信息统计指令;
利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
将每个线程的属性信息查询结果进行归并,得到统计结果。
2.根据权利要求1所述的文件属性信息统计方法,其特征在于,还包括:
接收属性信息更新指令;
利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
3.根据权利要求2所述的文件属性信息统计方法,其特征在于,所述接收属性信息更新指令之后,还包括:
将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
4.根据权利要求3所述的文件属性信息统计方法,其特征在于,还包括:
当所述内存目录树的内存占用量超过预定阈值时,按照LRU算法确定所述内存目录树中的待处理数据,并进行老化处理。
5.一种文件属性信息统计装置,其特征在于,包括:
第一接收模块,用于接收属性信息统计指令;
第一确定模块,用于利用所述属性信息统计指令,确定内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;
查询模块,用于通过多线程并行查询方式,查询所述待查询索引节点的属性信息;
查询结果归并模块,用于将每个线程的属性信息查询结果进行归并,得到统计结果。
6.根据权利要求5所述的文件属性信息统计装置,其特征在于,还包括:
第二接收模块,用于接收属性信息更新指令;
第二确定模块,用于利用所述属性信息更新指令,确定内存目录树中的待修改索引节点;
修改模块,用于根据所述属性信息更新指令对所述待修改索引节点进行修改,并在所述待修改索引节点中添加更新时间戳。
7.根据权利要求6所述的文件属性信息统计装置,其特征在于,还包括:
修改内容写入模块,用于将所述属性信息更新指令中的属性信息修改内容写入KV数据库。
8.一种文件属性信息统计系统,其特征在于,包括:属性查询接口、扩展属性管理模块、和内存目录树;
其中,所述扩展属性管理模块用于通过属性查询接口接收属性信息统计指令,利用所述属性信息统计指令,确定所述内存目录树中的待查询索引节点;其中,所述内存目录树中的每个索引节点包括实时更新的非目录文件属性信息及目录文件属性信息;通过多线程并行查询方式,查询所述待查询索引节点的属性信息;将每个线程的属性信息查询结果进行归并,得到统计结果。
9.一种文件属性信息统计设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述文件属性信息统计方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述文件属性信息统计方法的步骤。
CN201810550562.1A 2018-05-31 2018-05-31 文件属性信息统计方法、装置、系统、设备及存储介质 Pending CN108874930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810550562.1A CN108874930A (zh) 2018-05-31 2018-05-31 文件属性信息统计方法、装置、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810550562.1A CN108874930A (zh) 2018-05-31 2018-05-31 文件属性信息统计方法、装置、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN108874930A true CN108874930A (zh) 2018-11-23

Family

ID=64336047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810550562.1A Pending CN108874930A (zh) 2018-05-31 2018-05-31 文件属性信息统计方法、装置、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108874930A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727727A (zh) * 2019-10-15 2020-01-24 深圳前海微众银行股份有限公司 一种数据库的统计方法及装置
CN111209159A (zh) * 2019-12-31 2020-05-29 中国建设银行股份有限公司 一种信息处理方法、装置、设备及存储介质
CN111400249A (zh) * 2020-03-06 2020-07-10 深圳市瑞驰信息技术有限公司 一种易于统计文件数量的文件存储系统及存储方法
CN114996224A (zh) * 2022-07-01 2022-09-02 浙江大华技术股份有限公司 一种文件信息统计的方法、装置及电子设备
CN115309702A (zh) * 2022-10-09 2022-11-08 中孚信息股份有限公司 基于usn日志的文件检索管理方法、装置、系统、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546674A (zh) * 2010-12-07 2012-07-04 盛乐信息技术(上海)有限公司 一种基于网络存储装置的目录树缓存系统及方法
CN102722487A (zh) * 2011-03-30 2012-10-10 腾讯科技(深圳)有限公司 文件管理方法和装置
US20130212136A1 (en) * 2012-02-15 2013-08-15 Hitachi Solutions, Ltd. File list generation method, system, and program, and file list generation device
CN104243552A (zh) * 2014-08-19 2014-12-24 天津南大通用数据技术股份有限公司 基于ldapv3协议的快速统计目录子树条目数的方法
CN104750849A (zh) * 2015-04-13 2015-07-01 北京京东尚科信息技术有限公司 用于维护基于树形结构的目录关系的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546674A (zh) * 2010-12-07 2012-07-04 盛乐信息技术(上海)有限公司 一种基于网络存储装置的目录树缓存系统及方法
CN102722487A (zh) * 2011-03-30 2012-10-10 腾讯科技(深圳)有限公司 文件管理方法和装置
US20130212136A1 (en) * 2012-02-15 2013-08-15 Hitachi Solutions, Ltd. File list generation method, system, and program, and file list generation device
CN104243552A (zh) * 2014-08-19 2014-12-24 天津南大通用数据技术股份有限公司 基于ldapv3协议的快速统计目录子树条目数的方法
CN104750849A (zh) * 2015-04-13 2015-07-01 北京京东尚科信息技术有限公司 用于维护基于树形结构的目录关系的方法和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727727A (zh) * 2019-10-15 2020-01-24 深圳前海微众银行股份有限公司 一种数据库的统计方法及装置
CN110727727B (zh) * 2019-10-15 2023-01-10 深圳前海微众银行股份有限公司 一种数据库的统计方法及装置
CN111209159A (zh) * 2019-12-31 2020-05-29 中国建设银行股份有限公司 一种信息处理方法、装置、设备及存储介质
CN111400249A (zh) * 2020-03-06 2020-07-10 深圳市瑞驰信息技术有限公司 一种易于统计文件数量的文件存储系统及存储方法
CN114996224A (zh) * 2022-07-01 2022-09-02 浙江大华技术股份有限公司 一种文件信息统计的方法、装置及电子设备
CN115309702A (zh) * 2022-10-09 2022-11-08 中孚信息股份有限公司 基于usn日志的文件检索管理方法、装置、系统、设备

Similar Documents

Publication Publication Date Title
CN108874930A (zh) 文件属性信息统计方法、装置、系统、设备及存储介质
KR102462781B1 (ko) Kvs 트리 데이터베이스
KR102564170B1 (ko) 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체
US9189506B2 (en) Database index management
US10769126B1 (en) Data entropy reduction across stream shard
EP2924594A1 (en) Data encoding and corresponding data structure in a column-store database
CN106294190B (zh) 一种存储空间管理方法及装置
CN111190904B (zh) 一种图-关系数据库混合存储的方法和装置
US9495398B2 (en) Index for hybrid database
EP3748515A1 (en) Policy driven data placement and information lifecycle management
US8572130B2 (en) Replacement policy for resource container
CN110555001B (zh) 数据处理方法、装置、终端及介质
CN103020204A (zh) 一种对分布式顺序表进行多维区间查询的方法及其系统
CN110445828B (zh) 一种基于Redis的数据分布式处理方法及其相关设备
TWI549009B (zh) 資料庫管理方法、資料庫管理系統,以及資料庫樹狀結構
CN105159845A (zh) 存储器读取方法
CN112527836B (zh) 一种基于t-box平台的大数据查询方法
CN116089414B (zh) 基于海量数据场景的时序数据库写入性能优化方法及装置
CN116185308B (zh) 一种数据集处理方法、装置、设备、介质及模型训练系统
US10747773B2 (en) Database management system, computer, and database management method
CN108038253B (zh) 一种日志查询的处理方法及装置
CN107609172B (zh) 一种跨系统多维度数据检索处理方法及装置
US10558636B2 (en) Index page with latch-free access
CN102724301B (zh) 云数据库系统以及云数据读写处理方法、设备
CN114116827A (zh) 一种用户画像数据的查询系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication