CN110659334A - 元数据路径信息存取方法、装置、设备及可读存储介质 - Google Patents
元数据路径信息存取方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110659334A CN110659334A CN201910893940.0A CN201910893940A CN110659334A CN 110659334 A CN110659334 A CN 110659334A CN 201910893940 A CN201910893940 A CN 201910893940A CN 110659334 A CN110659334 A CN 110659334A
- Authority
- CN
- China
- Prior art keywords
- metadata
- target
- path information
- aggregation
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002776 aggregation Effects 0.000 claims abstract description 98
- 238000004220 aggregation Methods 0.000 claims abstract description 98
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种元数据路径信息存取方法,包括:对接收到的元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号;从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号;各元数据号与各对象id号为多对一关系;分别查找各目标对象id号对应的目标对象数据库;将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。应用本发明实施例所提供的技术方案,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。本发明还公开了一种元数据路径信息存取装置、设备及存储介质,具有相应技术效果。
Description
技术领域
本发明涉及大数据存储技术领域,特别是涉及一种元数据路径信息存取方法、装置、设备及计算机可读存储介质。
背景技术
分布式集群存储在当前大数据多种场景下(如高性能、视频监控、广电媒资等)广泛应用。分布式文件系统中存在海量数据,大数据计算的前提是组织、存储读取海量的元数据路径信息(Inode_Backtrace)。
现有的对元数据路径信息的存储读取方式通常为对元数据路径信息进行单个存储读取的方式,每个对象数据库(OMAP,ObjectMap)中仅存储一条元数据路径信息,将元数据存储信息单个存储到指定的对应对象数据库,或从对应的对象数据库中单独读取相应的元数据路径信息,元数据路径信息存取效率低,影响元数据的操作性能。
综上所述,如何有效地解决元数据路径信息存取效率低,影响元数据的操作性能的问题,是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种元数据路径信息存取方法,该方法较大地提高了元数据路径信息存取效率,提升了元数据的操作性能;本发明的另一目的是提供一种元数据路径信息存取装置、设备及计算机可读存储介质。
为解决上述技术问题,本发明提供如下技术方案:
一种元数据路径信息存取方法,包括:
当接收到元数据路径信息存取请求时,对所述元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号;
从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各所述元数据号与各所述对象id号为多对一关系;
分别查找各所述目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;
将对应同一目标对象id号的各所述待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
在本发明的一种具体实施方式中,从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号,包括:
分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号;
从预创建的元数据号聚合表中查找各所述目标聚合元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各聚合元数据号与各所述对象id号之间的对应关系,各所述聚合元数据号与各所述所述对象id号为一对一关系。
在本发明的一种具体实施方式中,分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号,包括:
将各所述目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号;
分别对各所述目标二进制元数据号右移预设位数,得到各目标移动后元数据号;
将各所述目标移动后元数据号与预设二进制偏移量相加,得到各所述目标聚合元数据号。
在本发明的一种具体实施方式中,当将对应同一目标对象id号的各待存储元数据统一存储至相应的目标对象数据库之后,还包括:
将各所述目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
一种元数据路径信息存取装置,包括:
元数据号获得模块,用于当接收到元数据路径信息存取请求时,对所述元数据路径信息存取请求进行解析,得到各待存取元数据分别对应的目标元数据号;
对象id号查找模块,用于从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各所述元数据号与各所述对象id号为多对一关系;
数据库查找模块,用于分别查找各所述目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;
存取操作模块,用于将对应同一目标对象id号的各所述待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
在本发明的一种具体实施方式中,所述对象id号查找模块包括:
聚合变换子模块,用于分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号;
对象id号查找子模块,用于从预创建的元数据号聚合表中查找各所述目标聚合元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各聚合元数据号与各所述对象id号之间的对应关系,各所述聚合元数据号与各所述所述对象id号为一对一关系。
在本发明的一种具体实施方式中,所述聚合变换子模块包括:
元数据号转换单元,用于将各所述目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号;
元数据号移位单元,用于分别对各所述目标二进制元数据号右移预设位数,得到各目标移动后元数据号;
聚合变换单元,用于将各所述目标移动后元数据号与预设二进制偏移量相加,得到各所述目标聚合元数据号。
在本发明的一种具体实施方式中,还包括:
元数据落盘模块,用于当将对应同一目标对象id号的各待存储元数据统一存储至相应的目标对象数据库之后,将各所述目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
一种元数据路径信息存取设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如前所述元数据路径信息存取方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述元数据路径信息存取方法的步骤。
本发明提供了一种元数据存取方法:当接收到元数据路径信息存取请求时,对元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号;从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号;其中,元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各元数据号与各对象id号为多对一关系;分别查找各目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
通过上述技术方案可知,通过预先设置预存有各元数据号与各对象id号之间的对应关系的元数据号聚合表,配置各元数据号与各对象id号为多对一关系,能够对待存取的各元数据路径信息根据其目标元数据号定位到对应的目标对象id号,并预先存储各对象id号与各对象数据库之间的对应关系,能够根据目标id号查找到对应的目标对象数据库,通过元数据号聚合的方式,将对应于同一目标对象id号的各待存储元数据路径信息统一存储到对应的目标对象数据库,并统一从目标对象数据库读取对应于的同一目标对象id号各待读取元数据路径信息,从而实现了对元数据路径信息的批量存取操作,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
相应的,本发明实施例还提供了与上述元数据路径信息存取方法相对应的元数据路径信息存取装置、设备和计算机可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中元数据路径信息存取方法的一种实施流程图;
图2为本发明实施例中元数据路径信息存取方法的另一种实施流程图;
图3为本发明实施例中一种元数据路径信息存取装置的结构框图;
图4为本发明实施例中一种元数据路径信息存取设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
参见图1,图1为本发明实施例中元数据路径信息存取方法的一种实施流程图,该方法可以包括以下步骤:
S101:当接收到元数据路径信息存取请求时,对元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号。
当需要对元数据路径信息进行存储或读取操作时,可以向元数据路径信息管理中心发送元数据路径信息存取请求,元数据路径信息存取请求可以是针对多个元数据路径信息的请求。元数据路径信息管理中心接收元数据路径信息存取请求,并对元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号。
S102:从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号。
其中,元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各元数据号与各对象id号为多对一关系。
可以预先建立元数据号聚合表,并在元数据号聚合表中预先存储各元数据号与各对象id号(Oid)之间的对应关系,并且各元数据号与各对象id号为多对一关系。在解析得到各待存取元数据路径信息分别对应的目标元数据号之后,可以从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号。
S103:分别查找各目标对象id号对应的目标对象数据库。
其中,预存有各对象id号与各对象数据库之间的对应关系。
可以预先设置多个用于存储元数据路径信息的对象数据库,并预先配置存储各对象id号与各对象数据库之间的对应关系,各对象id号与各对象数据库也可以设置为多对一关系。在从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号之后,可以分别查找各目标对象id号对应的目标对象数据库。
S104:将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
在分别查得各目标对象id号对应的目标对象数据库之后,可以将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。即当元数据路径信息存取请求仅是包含对各元数据路径信息的存储请求时,将对应同一目标对象id号的各待存取元数据路径信息统一存储在相应的目标对象数据库中;当元数据路径信息存取请求仅是包含对各元数据路径信息的读取请求时,从相应的对象数据库中统一读取对应同一目标对象id号的各待存取元数据路径信息;当元数据路径信息存取请求既包含对各元数据路径信息的存储请求,又包含对各元数据路径信息的读取请求时,将对应同一目标对象id号的各待存取元数据路径信息统一存储在相应的目标对象数据库中,并从相应的对象数据库中统一读取对应同一目标对象id号的各待存取元数据路径信息。从而实现了对元数据路径信息的批量存取操作,相较于现有的将元数据存储信息单个存储到指定的对应对象数据库,或从对应的对象数据库中单独读取相应的元数据路径信息的元数据路径信息存取方式,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
通过上述技术方案可知,通过预先设置预存有各元数据号与各对象id号之间的对应关系的元数据号聚合表,配置各元数据号与各对象id号为多对一关系,能够对待存取的各元数据路径信息根据其目标元数据号定位到对应的目标对象id号,并预先存储各对象id号与各对象数据库之间的对应关系,能够根据目标id号查找到对应的目标对象数据库,通过元数据号聚合的方式,将对应于同一目标对象id号的各待存储元数据路径信息统一存储到对应的目标对象数据库,并统一从目标对象数据库读取对应于的同一目标对象id号各待读取元数据路径信息。从而实现了对元数据路径信息的批量存取操作,并且对于元数据路径信息对应的日志时间也可以通过批量落盘方式进行落盘,较大地减少了对象数据库的写盘次数,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
需要说明的是,基于上述实施例一,本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考,相应的有益效果也可相互参照,在下文的改进实施例中不再一一赘述。
实施例二:
参见图2,图2为本发明实施例中元数据路径信息存取方法的另一种实施流程图,该方法可以包括以下步骤:
S201:当接收到元数据路径信息存取请求时,对元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号。
S202:将各目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号。
可以预先设置对元数据号统一转换为二进制数据的转换协议,当解析得到各待存取元数据路径信息分别对应的目标元数据号之后,可以将各目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号。
S203:分别对各目标二进制元数据号右移预设位数,得到各目标移动后元数据号。
可以预先设置对各二进制元数据号进行聚合时右移的位数,在得到各目标二进制元数据号之后,可以分别对各目标二进制元数据号右移预设位数,得到各目标移动后元数据号。从而利用各目标二进制元数据号的头部信息对各目标二进制元数据号进行聚合操作。
需要说明的是,对各目标二进制元数据号的右移位数可以根据实际情况进行设定和调整,本发明实施例对此不做限定。
S204:将各目标移动后元数据号与预设二进制偏移量相加,得到各目标聚合元数据号。
可以预先设置二进制偏移量,在得到各目标移动后元数据号之后,可以将各目标移动后元数据号与预设二进制偏移量相加,得到各目标聚合元数据号。
需要说明的是,二进制偏移量可以根据实际情况进行设定和调整,只要能实现对各目标二进制元数据号的聚合功能即可,本发明实施例对此不做限定。
例如,可以通过如下公式对各二进制元数据号进行聚合:
对象id号=0xffffffff00000000+二进制元数据号>>16,
即,二进制元数据号先右移16位,在加上预设二进制偏移量0xffffffff00000000,如:二进制元数据号10000025e70转为对象id号为fffffff01000002,理论上每个对象id号对应65536条二进制元数据号。
S205:从预创建的元数据号聚合表中查找各目标聚合元数据号分别对应的目标对象id号。
其中,元数据号聚合表中预存有各聚合元数据号与各对象id号之间的对应关系,各聚合元数据号与各对象id号为一对一关系。
可以预先创建元数据号聚合表,元数据号聚合表中预存有各聚合元数据号与各对象id号之间的对应关系,各聚合元数据号与各对象id号设置为一对一关系。在得到各目标聚合元数据号之后,可以从预创建的元数据号聚合表中查找各目标聚合元数据号分别对应的目标对象id号。
S206:分别查找各目标对象id号对应的目标对象数据库。
其中,预存有各对象id号与各对象数据库之间的对应关系。
S207:将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
S208:将各目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
当元数据路径信息存取请求包含对各元数据路径信息的存储请求时,在将各待存储元数据路径信息存储到对应的目标对象数据库之后,可以将各目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。从而在MDS(Meta Data Server,元数据服务)故障切换时,能够从元数据池中批量读取相应的元数据路径信息,从而实现对元数据的快速恢复。
相应于上面的方法实施例,本发明实施例还提供了一种元数据路径信息存取装置,下文描述的元数据路径信息存取装置与上文描述的元数据路径信息存取方法可相互对应参照。
参见图3,图3为本发明实施例中一种元数据路径信息存取装置的结构框图,该装置可以包括:
元数据号获得模块31,用于当接收到元数据路径信息存取请求时,对元数据路径信息存取请求进行解析,得到各待存取元数据分别对应的目标元数据号;
对象id号查找模块32,用于从预创建的元数据号聚合表中查找各目标元数据号分别对应的目标对象id号;其中,元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各元数据号与各对象id号为多对一关系;
数据库查找模块33,用于分别查找各目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;
存取操作模块34,用于将对应同一目标对象id号的各待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
通过上述技术方案可知,通过预先设置预存有各元数据号与各对象id号之间的对应关系的元数据号聚合表,配置各元数据号与各对象id号为多对一关系,能够对待存取的各元数据路径信息根据其目标元数据号定位到对应的目标对象id号,并预先存储各对象id号与各对象数据库之间的对应关系,能够根据目标id号查找到对应的目标对象数据库,通过元数据号聚合的方式,将对应于同一目标对象id号的各待存储元数据路径信息统一存储到对应的目标对象数据库,并统一从目标对象数据库读取对应于的同一目标对象id号各待读取元数据路径信息,从而实现了对元数据路径信息的批量存取操作,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
在本发明的一种具体实施方式中,对象id号查找模块32包括:
聚合变换子模块,用于分别按照预设的聚合规则对各目标元数据号进行聚合变换,得到各目标聚合元数据号;
对象id号查找子模块,用于从预创建的元数据号聚合表中查找各目标聚合元数据号分别对应的目标对象id号;其中,元数据号聚合表中预存有各聚合元数据号与各对象id号之间的对应关系,各聚合元数据号与各对象id号为一对一关系。
在本发明的一种具体实施方式中,聚合变换子模块包括:
元数据号转换单元,用于将各目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号;
元数据号移位单元,用于分别对各目标二进制元数据号右移预设位数,得到各目标移动后元数据号;
聚合变换单元,用于将各目标移动后元数据号与预设二进制偏移量相加,得到各目标聚合元数据号。
在本发明的一种具体实施方式中,还包括:
元数据落盘模块,用于当将对应同一目标对象id号的各待存储元数据统一存储至相应的目标对象数据库之后,将各目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
相应于上面的方法实施例,参见图4,图4为本发明所提供的元数据路径信息存取设备的示意图,该设备可以包括:
存储器41,用于存储计算机程序;
处理器42,用于执行上述存储器41存储的计算机程序时可实现如下步骤:
通过预先设置预存有各元数据号与各对象id号之间的对应关系的元数据号聚合表,配置各元数据号与各对象id号为多对一关系,能够对待存取的各元数据路径信息根据其目标元数据号定位到对应的目标对象id号,并预先存储各对象id号与各对象数据库之间的对应关系,能够根据目标id号查找到对应的目标对象数据库,通过元数据号聚合的方式,将对应于同一目标对象id号的各待存储元数据路径信息统一存储到对应的目标对象数据库,并统一从目标对象数据库读取对应于的同一目标对象id号各待读取元数据路径信息,从而实现了对元数据的批量存取操作,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
对于本发明提供的设备的介绍请参照上述方法实施例,本发明在此不做赘述。
相应于上面的方法实施例,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如下步骤:
通过预先设置预存有各元数据号与各对象id号之间的对应关系的元数据号聚合表,配置各元数据号与各对象id号为多对一关系,能够对待存取的各元数据路径信息根据其目标元数据号定位到对应的目标对象id号,并预先存储各对象id号与各对象数据库之间的对应关系,能够根据目标id号查找到对应的目标对象数据库,通过元数据号聚合的方式,将对应于同一目标对象id号的各待存储元数据路径信息统一存储到对应的目标对象数据库,并统一从目标对象数据库读取对应于的同一目标对象id号各待读取元数据路径信息,从而实现了对元数据的批量存取操作,较大地提高了元数据路径信息存取效率,提升了元数据的操作性能。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种元数据路径信息存取方法,其特征在于,包括:
当接收到元数据路径信息存取请求时,对所述元数据路径信息存取请求进行解析,得到各待存取元数据路径信息分别对应的目标元数据号;
从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各所述元数据号与各所述对象id号为多对一关系;
分别查找各所述目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;
将对应同一目标对象id号的各所述待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
2.根据权利要求1所述的元数据路径信息存取方法,其特征在于,从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号,包括:
分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号;
从预创建的元数据号聚合表中查找各所述目标聚合元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各聚合元数据号与各所述对象id号之间的对应关系,各所述聚合元数据号与各所述所述对象id号为一对一关系。
3.根据权利要求2所述的元数据路径信息存取方法,其特征在于,分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号,包括:
将各所述目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号;
分别对各所述目标二进制元数据号右移预设位数,得到各目标移动后元数据号;
将各所述目标移动后元数据号与预设二进制偏移量相加,得到各所述目标聚合元数据号。
4.根据权利要求1至3任一项所述的元数据路径信息存取方法,其特征在于,当将对应同一目标对象id号的各待存储元数据统一存储至相应的目标对象数据库之后,还包括:
将各所述目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
5.一种元数据路径信息存取装置,其特征在于,包括:
元数据号获得模块,用于当接收到元数据路径信息存取请求时,对所述元数据路径信息存取请求进行解析,得到各待存取元数据分别对应的目标元数据号;
对象id号查找模块,用于从预创建的元数据号聚合表中查找各所述目标元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各元数据号与各对象id号之间的对应关系,各所述元数据号与各所述对象id号为多对一关系;
数据库查找模块,用于分别查找各所述目标对象id号对应的目标对象数据库;其中,预存有各对象id号与各对象数据库之间的对应关系;
存取操作模块,用于将对应同一目标对象id号的各所述待存取元数据路径信息与相应的目标对象数据库进行统一存储和/或读取交互操作。
6.根据权利要求5所述的元数据路径信息存取装置,其特征在于,所述对象id号查找模块包括:
聚合变换子模块,用于分别按照预设的聚合规则对各所述目标元数据号进行聚合变换,得到各目标聚合元数据号;
对象id号查找子模块,用于从预创建的元数据号聚合表中查找各所述目标聚合元数据号分别对应的目标对象id号;其中,所述元数据号聚合表中预存有各聚合元数据号与各所述对象id号之间的对应关系,各所述聚合元数据号与各所述所述对象id号为一对一关系。
7.根据权利要求6所述的元数据路径信息存取装置,其特征在于,所述聚合变换子模块包括:
元数据号转换单元,用于将各所述目标元数据号按照预设转换协议统一转换为二进制数据,得到各目标二进制元数据号;
元数据号移位单元,用于分别对各所述目标二进制元数据号右移预设位数,得到各目标移动后元数据号;
聚合变换单元,用于将各所述目标移动后元数据号与预设二进制偏移量相加,得到各所述目标聚合元数据号。
8.根据权利要求5至7任一项所述的元数据路径信息存取装置,其特征在于,还包括:
元数据落盘模块,用于当将对应同一目标对象id号的各待存储元数据统一存储至相应的目标对象数据库之后,将各所述目标对象数据库中的接收到的待存储元数据路径信息落盘至元数据池。
9.一种元数据路径信息存取设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述元数据路径信息存取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述元数据路径信息存取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910893940.0A CN110659334A (zh) | 2019-09-20 | 2019-09-20 | 元数据路径信息存取方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910893940.0A CN110659334A (zh) | 2019-09-20 | 2019-09-20 | 元数据路径信息存取方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110659334A true CN110659334A (zh) | 2020-01-07 |
Family
ID=69038306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910893940.0A Withdrawn CN110659334A (zh) | 2019-09-20 | 2019-09-20 | 元数据路径信息存取方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659334A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719141A (zh) * | 2009-12-24 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 基于目录对象的文件处理方法和系统 |
CN105354287A (zh) * | 2015-10-30 | 2016-02-24 | 北京奇艺世纪科技有限公司 | 数据库元数据的获取方法及装置 |
WO2017177752A1 (zh) * | 2016-04-14 | 2017-10-19 | 杭州海康威视数字技术股份有限公司 | 一种文件存储方法及装置 |
-
2019
- 2019-09-20 CN CN201910893940.0A patent/CN110659334A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719141A (zh) * | 2009-12-24 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 基于目录对象的文件处理方法和系统 |
CN105354287A (zh) * | 2015-10-30 | 2016-02-24 | 北京奇艺世纪科技有限公司 | 数据库元数据的获取方法及装置 |
WO2017177752A1 (zh) * | 2016-04-14 | 2017-10-19 | 杭州海康威视数字技术股份有限公司 | 一种文件存储方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI662426B (zh) | 分布式流式資料處理的方法和裝置 | |
EP3767483A1 (en) | Method, device, system, and server for image retrieval, and storage medium | |
CN108205577B (zh) | 一种数组构建、数组查询的方法、装置及电子设备 | |
CN111859033B (zh) | Ip库查询方法、装置及ip库压缩方法、装置 | |
CN111629081A (zh) | 互联网协议ip地址数据处理方法、装置及电子设备 | |
CN113626448B (zh) | 基于HBase分布式存储的空间矢量数据索引与查询方法 | |
CN112307058A (zh) | 短链接的处理方法、装置、存储介质及计算机设备 | |
CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
CN112182021B (zh) | 一种用户数据查询方法、装置和系统 | |
CN112131214A (zh) | 数据写入、数据查询的方法、系统、设备和存储介质 | |
CN111625600B (zh) | 数据存储的处理方法、系统、计算机设备及存储介质 | |
CN110659334A (zh) | 元数据路径信息存取方法、装置、设备及可读存储介质 | |
CN110798222B (zh) | 一种数据压缩方法及装置 | |
CN112162951A (zh) | 一种信息检索方法、服务器及存储介质 | |
CN107977381B (zh) | 数据配置方法、索引管理方法、相关装置以及计算设备 | |
CN113849550A (zh) | 数据处理方法及装置 | |
CN103796042B (zh) | 资源信息推送方法及装置 | |
CN112329393A (zh) | 一种短码id的生成方法、设备、存储介质 | |
CN110019971B (zh) | 一种索引创建方法、装置及数据库系统 | |
CN112100208A (zh) | 一种操作请求的转发方法和装置 | |
CN112015922B (zh) | 多媒体文件的检索方法、装置、设备及存储介质 | |
CN116955403B (zh) | 无模式数据运算加速方法、装置、计算机设备及介质 | |
CN117193674B (zh) | 一种提升物联网设备海量数据存取效能的方法及装置 | |
CN114996306B (zh) | 一种基于多维度的数据管理方法及系统 | |
CN111046012B (zh) | 巡检日志的抽取方法、装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200107 |
|
WW01 | Invention patent application withdrawn after publication |