CN104090897A - 访问元数据的方法、服务器及系统 - Google Patents

访问元数据的方法、服务器及系统 Download PDF

Info

Publication number
CN104090897A
CN104090897A CN201310706160.3A CN201310706160A CN104090897A CN 104090897 A CN104090897 A CN 104090897A CN 201310706160 A CN201310706160 A CN 201310706160A CN 104090897 A CN104090897 A CN 104090897A
Authority
CN
China
Prior art keywords
server
metadata
authentication information
database server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310706160.3A
Other languages
English (en)
Other versions
CN104090897B (zh
Inventor
肖品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201310706160.3A priority Critical patent/CN104090897B/zh
Publication of CN104090897A publication Critical patent/CN104090897A/zh
Priority to US15/101,777 priority patent/US9619503B2/en
Priority to PCT/CN2015/072979 priority patent/WO2015090244A2/zh
Application granted granted Critical
Publication of CN104090897B publication Critical patent/CN104090897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种访问元数据的方法、服务器及系统,属于数据库技术领域。包括:接收查询引擎发送的认证信息查询请求,将认证信息查询请求发送给全局数据库服务器;接收全局数据库服务器发送的对应的认证信息;将认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息。本发明通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储;通过访问元数据的服务器向全局数据库服务器获取查询引擎查询的认证信息,向段数据库服务器获取查询引擎查询的库表信息,降低了元数据访问时间,提高了分布式数据仓库中信息的共享和交换的速度。

Description

访问元数据的方法、服务器及系统
技术领域
本发明涉及数据库技术领域,特别涉及一种元数据访问的方法、服务器及系统。
背景技术
随着海量数据时代的到来,需要存储的数据越来越多,随之用于存储数据的数据仓库也从基于单一存储设备的数据仓库发展至基于多存储设备的分布式数据仓库。分布式数据仓库是一个大规模分布式系统,包括多个数据库,每个数据库又包括多个数据表,其运行基础是元数据。元数据是关于数据仓库的数据,是在数据仓库建设过程中产生的有关数据源定义,目标定义,转换规则等相关的关键数据,包括认证信息和库表信息。因此,数据仓库的元数据由各个数据库的元数据、各个数据表的元数据及其它元数据组成。例如,数据仓库中某一数据库的元数据包括该数据库的认证信息和该数据库的库表信息,其中,认证信息描述该数据库的权限信息等,库表信息描述该数据库中数据的结构和建立方法。因此,访问元数据的方法,关系分布式数据仓库中信息的共享和交换,进而影响分布式数据仓库的性能及可扩展性。
目前,访问元数据的方法为:JDO(Java Data Object,Java数据对象)接口访问层接收查询引擎发起的认证信息查询请求后,将认证信息查询请求发送给元数据存储层;元数据存储层根据该认证信息查询请求确定对应的元数据,将对应的元数据返回JDO接口访问层;JDO接口访问层将对应的元数据返回给查询引擎,完成元数据的访问。其中,元数据存储层采用传统的关系型数据库对元数据进行存储。
在实现本发明的过程中,发明人发现上述访问元数据的方法至少存在以下缺点:
由于元数据存储层采用传统的关系型数据库对元数据进行存储,而关系型数据库很难实现数据的分布式存储,同时,存储层之上的JDO接口访问层也不支持分布式的访问数据,使得整个分布式数据仓库的所有元数据都需存储在一个单节点的数据库中,无法实现扩展。当元数据规模不断增大时,元数据接口性能会不断下降,使得元数据的访问时间延长。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种访问元数据的方法、服务器及系统。所述技术方案如下:
一方面,提供了一种访问元数据的方法,所述方法包括:
接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
另一方面,提供了一种访问元数据的服务器,所述服务器包括:
第一接收模块,用于接收查询引擎发送的包含元数据标识的认证信息查询请求;
第一发送模块,用于将所述第一接收模块接收到的所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
第二接收模块,用于接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
第二发送模块,用于将所述第二接收模块接收到的所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
还提供了一种访问元数据的方法,所述方法包括:
接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
在存储的认证信息中查询所述元数据标识对应的认证信息,并向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
还提供了一种全局数据库服务器,所述全局数据库服务器包括:
接收模块,用于接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
查询模块,用于在存储的认证信息中查询所述元数据标识对应的认证信息;
发送模块,用于向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
还提供了一种访问元数据的方法,所述方法包括:
接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询所述元数据标识对应的库表信息,并将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
还提供了一种段数据库服务器,所述段数据库服务器包括:
接收模块,用于接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询模块,用于查询所述元数据标识对应的库表信息;
发送模块,用于将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
还提供了一种访问元数据的服务器,所述服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
还提供了一种全局数据库服务器,所述全局数据库服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
在存储的认证信息中查询所述元数据标识对应的认证信息,并向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
还提供了一种段数据库服务器,所述段数据库服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询所述元数据标识对应的库表信息,并将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
还提供了一种元数据访问系统,所述系统包括:访问元数据的服务器、全局数据库服务器和至少一个段数据库服务器,所述访问元数据的服务器与所述全局数据库服务器及每个段数据库服务器之间建立有网络连接;
其中,所述全局数据库服务器存储有各个元数据的认证信息,所述元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器;
所述访问元数据的服务器接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给所述全局数据库服务器;接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息。
本发明实施例提供的技术方案带来的有益效果是:
通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储;另外,通过访问元数据的服务器向全局数据库服务器获取查询引擎查询的认证信息,向段数据库服务器获取查询引擎查询的库表信息,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的访问元数据的实施环境示意图;
图2是本发明实施例一提供的一种元数据分布式存储的方法流程图;
图3是本发明实施例一提供的一种元数据分布式存储的区间与段数据库服务器对应的示意图;
图4是本发明实施例一提供的一种扩充段数据库服务器的方法流程图;
图5是本发明实施例一提供的一种扩充段数据库服务器的方法进行扩充后区间与段数据库服务器对应的示意图;
图6是本发明实施例二提供的一种访问元数据的方法流程图;
图7是本发明实施例三提供的一种访问元数据的方法流程图;
图8是本发明实施例三提供的访问元数据的方法与现有技术在进行元数据访问时读接口和写接口的平均访问时间对比图;
图9是本发明实施例四提供的第一种访问元数据的服务器结构示意图;
图10是本发明实施例四提供的第二种访问元数据的服务器结构示意图;
图11是本发明实施例四提供的一种第三发送模块的结构示意图;
图12是本发明实施例四提供的第三种访问元数据的服务器结构示意图;
图13是本发明实施例四提供的第四种访问元数据的服务器结构示意图;
图14是本发明实施例四提供的第五种访问元数据的服务器结构示意图;
图15是本发明实施例五提供的一种访问元数据的服务器结构示意图;
图16是本发明实施例六提供的一种全局数据库服务器结构示意图;
图17是本发明实施例六提供的另一种全局数据库服务器结构示意图;
图18是本发明实施例七提供的一种全局数据库服务器结构示意图;
图19是本发明实施例八提供的一种段数据库服务器结构示意图;
图20是本发明实施例八提供的另一种段数据库服务器结构示意图;
图21是本发明实施例九提供的一种段数据库服务器结构示意图;
图22是本发明实施例十提供的一种访问元数据的系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1,为本发明实施例提供的访问元数据的方法实施环境示意图。该实施环境包括数据查询层、元数据访问层和数据存储层。其中,数据存储层包括一个全局数据库服务器和至少一个段数据库服务器,全局数据库服务器用于存储各个元数据的认证信息,各个元数据的库表信息存储于一至多个段数据库服务器中。数据查询层包括至少一个查询引擎,元数据访问层包括至少一个访问元数据的服务器,该访问元数据的服务器可以应用本发明实施例提供的访问元数据的方法为查询引擎提供元数据的访问功能。
实施例一
结合图1所示的实施环境,本实施例提供了一种元数据分布式存储的方法,参见图2,本实施例提供的方法流程具体如下:
201:确定全局数据库服务器及预设数量的段数据库服务器,并确定各个段数据库服务器对应的数据库;
本实施例不对确定全局数据库服务器及预设数量的段数据库服务器的具体方法进行限定,包括但不限于:在现有的至少两台服务器中任选一台服务器作为全局数据库服务器,将其余服务器均作为段数据库服务器。
另外,本实施例也不对确定各个段数据库服务器对应的数据库的具体方法进行限定,包括但不限于通过如下三个步骤实现:
第一步:确定段数据库服务器的数量;
本实施例不对确定段数据库服务器的数量的具体方法进行限定。例如,段数据库服务器的确定方式为在现有的至少两台服务器中任选一台服务器作为全局数据库服务器,将其余服务器均作为段数据库服务器,则段数据库服务器的数量为现有的服务器数量-1。
第二步:将预设长度的整数区间划分为与段数据库服务器的数量相同的区间;
其中,将预设长度的整数区间划分为与段数据库服务器的数量相同的区间的大小可以相同也可以不同,本实施例不对划分的区间的大小进行限定。另外,本实施例不对将预设长度的整数区间划分为与段数据库服务器的数量相同的区间的具体方法进行限定,包括但不限于根据段数据库服务器的数量将预设长度的整数区间进行等分。
第三步:将每个区间对应一个段数据库服务器,并根据每个区间与对应的段数据库服务器的对应关系构建区间与段数据库服务器之间的映射表。
本实施例不对将每个区间对应一个段数据库服务器的具体方法进行限定。例如,根据各个段数据库服务器的支撑能力将每个区间对应一个段数据库服务器,得到的映射表可如下面表1所示:
表1
区间 段数据库服务器
(0,2] 段数据库服务器A
(2,4] 段数据库服务器B
(4,6] 段数据库服务器C
…… ……
在执行步骤201之后,每一个区间对应一个段数据库服务器。例如图3所示,区间(0,m1]对应段数据库服务器1,区间(m1,m2]对应段数据库服务器2,…,区间(m-1,m]对应段数据库服务器N。当然,区间还可以通过其它方式进行划分,本实施例不对区间的具体划分方式进行限定。区间与段数据库服务器的对应关系还可以为其它对应关系,本实施例不对区间与段数据库服务器的具体对应关系进行限定。
202:将元数据的认证信息存入全局数据库服务器中,并将元数据对应的库表信息存入与该库表信息所属数据库对应的段数据库服务器中。
本实施例不对将元数据对应的库表信息存入与该库表信息所属数据库对应的段数据库服务器中的具体方式进行限定,包括但不限于通过如下2个子步骤实现:
子步骤1:确定与元数据的库表信息所属数据库对应的段数据库服务器;
本实施例不对确定与元数据的库表信息所属数据库对应的段数据库服务器的具体方法进行限定,包括但不限于:将元数据的库表信息所属数据库的名称进行哈希计算得到哈希值,并确定计算得到的哈希值所属区间,在预设的区间与段数据库服务器之间的映射表中查找该哈希值所属区间对应的段数据库服务器,将查找到的段数据库服务器作为与元数据的库表信息所属数据库对应的段数据库服务器。
以映射表为表1所示,确定与任一数据库B的元数据的库表信息所属数据库对应的段数据库服务器为例,将数据库B的元数据的库表信息所属数据库的名称进行哈希计算,得到哈希值5,确定计算得到的哈希值5所属区间(4,6],在如表1所示的映射表中查找(4,6]对应的段数据库服务器C,将段数据库服务器C作为数据库B的元数据的库表信息所属数据库对应的段数据库服务器。当然,元数据的库表信息所属数据库的名称对应的哈希值还可以为其它数值,本实施例不对元数据的库表信息所属数据库的名称对应的具体哈希值进行限定。
子步骤2:将元数据的库表信息存入与该库表信息所属数据库对应的段数据库服务器中。
仍以子步骤1中的例子为例,将数据库B的库表信息存入子步骤1中确定的段数据库服务器C中。
需要说明的是,在执行步骤201和202将元数据进行分布式存储后,随着各个数据库中元数据量的增加,使得某一段数据库服务器的存储空间不能支撑存储在该段数据库服务器上的库表信息的需求,因此,在将元数据进行分布式存储后,本实施例提供的方法还包括根据实际情况增加新的段数据库服务器的过程,以实现段数据库服务器的扩充,提高元数据分布式存储方法的扩展性。具体实施时,本实施例不对增加新的段数据库服务器的具体方法进行限定,包括但不限于通过如下步骤扩充段数据库服务器,参见图4。
401:选择一个已有的段数据库服务器,并将选择的段数据库服务器对应的区间分裂成至少两个子区间;
本实施例不对一个已有的段数据库服务器的具体选择标准进行限定,例如,选择已有的段数据库服务器中负载最大的服务器。本实施例也不对将选择的段数据库服务器对应的区间分裂成至少两个子区间的具体分裂原则进行限定,例如,将选择的段数据库服务器对应的区间等分。本实施例也不对将选择的段数据库服务器对应的区间分裂成子区间的个数的确定方法进行具体限定,例如,可以根据新增的段数据库服务器的数量确定将选择的段数据库服务器对应的区间分裂成的子区间的个数。
402:将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器;
针对该步骤,本实施例不对将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器的具体对应方法进行限定。例如,根据选择的段数据库服务器及新增的段数据库服务器的支撑能力选择对应的子区间。
403:根据各个区间与段数据库服务器之间的对应关系更新预设的区间与段数据库服务器之间的映射表。
以选择的已有的段数据库服务器为段数据库服务器C,新增一个段数据库服务器为段数据库服务器E,段数据库服务器C对应的区间(12,15]分裂成两个子区间(12,14]和(14,15],且段数据库服务器C对应子区间(12,14],段数据库服务器E对应子区间(14,15]为例。将预设的区间与段数据库服务器之间的映射表中段数据库服务器C对应的区间(12,15]的映射关系更新为:段数据库服务器C对应子区间(12,14],段数据库服务器E对应子区间(14,15]。
具体的,如图5所示,在执行步骤401至步骤403之后,会将选择的已有的段数据库服务器2对应的区间(m1,m2]分裂成2个子区间(m1,m1’]和(m1’,m2],并将子区间(m1,m1’]对应已有的段数据库服务器2,将子区间(m1’,m2]对应新增的段数据库服务器2’,完成在现有的元数据进行分布式存储结构中增加新的段数据库服务器的功能。
本实施例提供的方法,通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储,并通过增加段数据服务器的方式实现了元数据存储的扩展,进而提高了分布式数据仓库的扩展性。
实施例二
结合上述图1所示的实施环境以及上述实施例一的元数据分布式存储方式,本实施例提供了一种访问元数据的方法,参见图6,本实施例提供的方法流程具体如下:
601:接收查询引擎发送的包含元数据标识的认证信息查询请求,并将认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
602:接收全局数据库服务器发送的元数据标识对应的认证信息;
603:将认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,段数据库服务器与全局数据库服务器为不同的数据库服务器。
本实施例提供的方法,通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储;同时,将库表信息存入一至多个段数据库服务器,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
为了更加清楚地阐述上述实施例提供的一种访问元数据的方法,结合上述实施例的内容,以如下实施例三为例,对一种访问元数据的方法进行详细说明,详见如下实施例三:
实施例三
本实施例提供了一种访问元数据的方法,为了便于说明,本实施例以图1所示的实时环境中,数据查询层的查询引擎A通过元数据访问层中的访问元数据的服务器来获取数据库A中的数据表A的元数据的库表信息为例,对本实施例提供的方法进行详细地举例说明。参见图7,本实施例提供的方法流程具体如下:
701:查询引擎向访问元数据的服务器发送包含元数据标识的认证信息查询请求;
本实施例不对查询引擎获取元数据标识的具体方法进行限定,包括但不限于通过查询接口获取待查询的元数据标识。
例如,查询引擎A通过查询接口获取待查询的元数据标识为数据表A,向元数据访问层发送包含数据表A的认证信息查询请求。
702:访问元数据的服务器接收查询引擎发送的包含元数据标识的认证信息查询请求,并将认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
由于在执行本实施例提供的访问元数据的方法之前,元数据已被预先分布式存储,即元数据的认证信息已被预先存放在全局数据库中,元数据的库表信息也已被预先存放在一至多个段数据库服务器中。因此,元数据访问层中的访问元数据的服务器在接收到查询引擎发送的认证信息查询请求后,会将该认证信息查询请求发送给全局数据库服务器,使全局数据库服务器获取与认证信息查询请求中包含的元数据标识相对应的认证信息。本实施例不对各个元数据已被预先分布式存储的具体存储方法进行限定,包括但不限于通过实施例一所示的方法进行分布式存储。
以步骤701中的例子为例,元数据访问层中的访问元数据的服务器接收查询引擎A发送的包含元数据标识的认证信息查询请求,并将该认证信息查询请求发送给全局数据库服务器。
703:全局数据库服务器接收访问元数据的服务器发送的认证信息查询请求,根据认证信息查询请求查询元数据标识对应的认证信息,并向访问元数据的服务器发送元数据标识对应的认证信息;
由于元数据的认证信息已经预先存放在全局数据库中,因此,全局数据库可以从认证信息查询请求中获取认证信息查询请求包含的元数据标识,并查找到该元数据标识对应的认证信息。本实施例不对从认证信息查询请求中获取认证信息查询请求包含的元数据标识的具体方法进行限定,包括但不限于将认证信息查询请求进行解析,获取认证信息查询请求中包含的元数据标识。
如果元数据的认证信息以<元数据标识,认证信息>对的形式预先存储在全局数据库服务器中,则全局数据库服务器接收访问元数据的服务器在步骤702中发送的包含元数据标识的认证信息查询请求,将获得的认证信息查询请求进行解析,获取认证信息查询请求中包含的元数据标识后,如果元数据标识为数据表A,则在预先存储的<元数据标识,认证信息>对中找到<数据表A,认证信息A>对,并将数据表A,认证信息A>对中的认证信息A作为查询到的认证信息,向访问元数据的服务器发送认证信息A。
当然,元数据的认证信息预先存储在全局数据库服务器中的具体形式还可以为二维表形式,或者其它形式,本实施例不对元数据的认证信息预先存储在全局数据库服务器中的具体形式进行限定。
704:访问元数据的服务器接收全局数据库服务器发送的元数据标识对应的认证信息,并将认证信息发送给查询引擎;
仍以上述步骤703中的例子为例,访问元数据的服务器接收全局数据库服务器在步骤703中发送的认证信息A后,将认证信息A发送给查询引擎A。
705:查询引擎接收访问元数据的服务器发送的认证信息,并根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息;
其中,权限认证结果包括但不限于权限认证通过和权限认证未通过两种结果。如果权限认证通过,则查询引擎可以继续访问元数据的库表信息,如果权限认证未通过,则查询引擎因没有访问权限而停止继续访问元数据的库表信息。本实施例不对根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息的具体确定方式进行限定,包括但不限于:如果查询引擎在获取元数据标识的同时,也获取到了对该元数据标识对应的元数据进行何种操作的指令,则查询引擎可以根据访问元数据的服务器发送的认证信息验证是否有对该元数据标识对应的元数据进行操作的访问权限。如果验证通过,即权限认证结果为权限认证通过,则说明有相应访问权限,继续执行步骤706至步骤710中访问元数据标识对应的库表信息。如果验证未通过,即权限认证结果为权限认证未通过,则说明没有相应访问权限,因而结束访问流程。为了更加全面地叙述本实施例提供的访问元数据的方法,本实施例以权限认证结果为权限认证通过为例,对本实施例提供的方法进行说明,具体详见后续步骤。
例如,查询引擎A接收访问元数据的服务器在步骤704中发送的认证信息A,根据认证信息A确定是否有对数据表A的元数据进行操作的相应访问权限,如果权限认证结果为权限认证通过,则继续执行访问数据表A的元数据的库表信息的流程,否则,结束对数据表A的元数据的访问流程。
706:查询引擎向访问元数据的服务器发送包含元数据标识的库表信息访问请求;
在根据认证信息的权限认证结果确定具有访问元数据的库表信息的访问权限之后,查询引擎向访问元数据的服务器发送包含元数据标识的库表信息访问请求。
例如,查询引擎A向访问元数据的服务器发送包含数据表A的库表信息访问请求。
707:访问元数据的服务器接收查询引擎发送的包含元数据标识的库表信息访问请求;
仍以查询引擎访问数据表A的元数据,该元数据的元数据标识为数据表A为例,访问元数据的服务器接收查询引擎A在步骤706中发送的包含数据表A的库表信息访问请求。
708:元数据访问层将库表信息访问请求发送给存储元数据标识对应的库表信息的段数据库服务器;
由于元数据的库表信息存储于一至多个段数据库服务器中,且一个数据表的元数据的库表信息存储于一台段数据库服务器中,为了减少访问元数据的时间,增加访问效率,访问元数据的服务器接收到库表信息访问请求后,查找存储元数据标识对应的库表信息的段数据库服务器,并将该库表信息访问请求发送给查找到的段数据库服务器。
本实施例不对访问元数据的服务器将库表信息访问请求发送给存储元数据标识对应的库表信息的段数据库服务器的具体实现方式进行限定,包括但不限于通过如下4个步骤实现:
步骤1:确定元数据标识对应的数据库的名称;
对于步骤1,本实施例不对确定元数据标识对应的数据库的名称的具体方法进行限定,包括但不限于:如果在访问元数据的服务器中预先存储有元数据与数据库的对应表,访问元数据的服务器则在预先存储的元数据与数据库的对应表中查找元数据标识对应的数据库的名称。
例如,元数据标识为数据表A,则访问元数据的服务器在预先存储的元数据与数据库的对应表中查找数据表A对应的数据库的名称为数据库A。
当然,元数据标识对应的数据库的名称还可以为数据库A或者其它名称,本实施例不对元数据标识对应的数据库的具体名称进行限定。
步骤2:根据元数据标识对应的数据库的名称计算哈希值;
对于步骤2,本实施例不对根据元数据标识对应的数据库的名称计算哈希值的具体算法进行限定。
例如,步骤1确定的数据库的名称为数据库A,则对数据库A进行哈希计算得到哈希值为2。当然,对元数据标识对应的数据库的名称进行哈希计算得到哈希值除2之外,还可以为其它数值,本实施例不对元数据标识对应的数据库的名称进行哈希计算得到哈希值的具体数值进行限定。
步骤3:确定计算得到的哈希值所属区间,并根据预设的区间与段数据库服务器之间的映射表查找与计算得到的哈希值所属区间相对应的段数据库服务器;
由于预设的区间与段数据库服务器之间的映射表中存储有区间与段数据库服务器之间的映射关系,因此,根据预设的区间与段数据库服务器之间的映射表可以查找到与哈希值所属区间相对应的段数据库服务器。
例如,步骤2中计算得到的哈希值2所属区间为(1,2],根据预设的区间与段数据库服务器之间的映射表查找与计算得到的哈希值所属区间相对应的段数据库服务器为段数据库服务器A。当然,哈希值所属区间相对应的段数据库服务器还可以为服务器1或者其它服务器,本实施例不对哈希值所属区间相对应的段数据库服务器的具体名称进行限定。
值得说明的,本实施例不对预设的区间与段数据库服务器之间的映射表的具体预设方法进行限定,包括但不限于采用实施例一中步骤101的第一步至第三步提供的方法预设区间与段数据库服务器之间的映射表。
步骤4:将查找到的段数据库服务器作为存储元数据标识对应的库表信息的段数据库服务器,并向查找到的段数据库服务器发送库表信息访问请求。
访问元数据的服务器将步骤3中查找到的段数据库服务器A作为存储元数据标识对应的库表信息的段数据库服务器,并向段数据库服务器A发送步骤707中接收到的库表信息访问请求。
709:存储元数据标识对应的库表信息的段数据库服务器接收访问元数据的服务器发送的库表信息访问请求,根据库表信息访问请求获得元数据标识对应的库表信息,并将元数据标识对应的库表信息发送给访问元数据的服务器;
针对该步骤,由于元数据的库表信息也已被预先存放在对应的段数据库服务器中,因此,存储元数据标识对应的库表信息的段数据库服务器接收到库表信息访问请求中,根据库表信息访问请求中包含的元数据标识确定该元数据标识对应的库表信息。本实施例不对根据库表信息访问请求获得库表信息的具体方法进行限定。
例如,元数据标识为数据表A,如果元数据的库表信息以<元数据标识,库表信息>对的形式预先存储在对应的段数据库服务器中,则段数据库服务器A接收访问元数据的服务器在步骤708中发送的包含元数据表A的库表信息访问请求后,将库表信息访问请求进行解析,获取库表信息访问请求中包含的数据表A,在预先存储的<元数据标识,库表信息>对中找到<数据表A,库表信息A>对,并将<数据表A,库表信息A>对中的库表信息A作为查询到的数据表A对应的库表信息,将库表信息A发送给访问元数据的服务器。
当然,元数据的库表信息预先存储在段数据库服务器中的具体形式还可以为二维表形式,或者其它形式,本实施例不对元数据的库表信息预先存储在段数据库服务器中的具体形式进行限定。另外,<元数据标识,库表信息>对中与数据表A对应的库表信息还可以为库表信息B或者其它信息,本实施例不对与元数据标识对应的库表信息的具体形式进行限定。
710:访问元数据的服务器接收存储元数据标识对应的库表信息的段数据库服务器发送的库表信息,并将库表信息发送给查询引擎。
例如,访问元数据的服务器接收段数据库服务器A发送的库表信息A,并将库表信息A发送给查询引擎A。
需要说明的是,本实施例及后续实施例对于数据查询层与元数据访问层之间以及元数据访问层与数据存储层之间发送认证信息查询请求、认证信息、库表信息访问请求或库表信息等信息的方式不进行具体限定。包括但不限于将认证信息查询请求、认证信息、库表信息访问请求或库表信息等信息封装在消息中,通过消息发送方式发送认证信息查询请求、认证信息、库表信息访问请求和库表信息等信息。另外,本实施例及后续实施例对于数据查询层与元数据访问层之间和元数据访问层与数据存储层之间接收认证信息查询请求、认证信息、库表信息访问请求或库表信息等信息的方式同样不进行具体限定。包括但不限于接收消息,并解析该消息得到认证信息查询请求、认证信息、库表信息访问请求或库表信息等信息。
另外,由于预先已将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,因此,通过本实施例提供的访问元数据的方法进行元数据访问时,仅对全局数据库服务器和存储元数据标识对应的库表信息的段数据库服务器进行访问,降低了读接口和写接口的平均访问时间。为了更加清楚地对比本发明实施例提供的方法带来的效果,图8给出了本发明实施例提供的访问元数据的方法与现有技术在进行元数据访问时读接口和写接口的平均访问时间对比图,具体参见图8。
本实施例提供的方法,通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储;此外,通过根据实际情况调整段数据服务器的数量,实现了元数据存储的扩展,进而提高了分布式数据仓库的扩展性;将库表信息存入一至多个段数据库服务器,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例四
本实施例提供了一种访问元数据的服务器,该访问元数据的服务器用于执行上述实施例一至施例三所提供的访问元数据的方法。参见图9,该访问元数据的包括:
第一接收模块901,用于接收查询引擎发送的包含元数据标识的认证信息查询请求;
第一发送模块902,用于将第一接收模块901接收到的认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
第二接收模块903,用于接收全局数据库服务器发送的元数据标识对应的认证信息;
第二发送模块904,用于将第二接收模块903接收到的认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,段数据库服务器与全局数据库服务器为不同的数据库服务器。
参见图10,该访问元数据的服务器还包括:
第三接收模块905,用于接收查询引擎发送的包含元数据标识的库表信息访问请求;
第三发送模块906,用于将第三接收模块905接收到的库表信息访问请求发送给存储元数据标识对应的库表信息的段数据库服务器;
第四接收模块907,用于接收存储元数据标识对应的库表信息的段数据库服务器发送的库表信息;
第四发送模块908,用于将第四接收模块907接收到的库表信息发送给查询引擎。
参见图11,第三发送模块906,包括:
第一确定单元9061,用于确定元数据标识对应的数据库的名称;
计算单元9062,用于根据第一确定单元9061确定的元数据标识对应的数据库的名称计算哈希值;
第二确定单元9063,用于确定计算得到的哈希值所属区间;
查找单元9064,用于根据预设的区间与段数据库服务器之间的映射表查找与计算单元9062计算得到的哈希值所属区间相对应的段数据库服务器;
第三确定单元9065,用于将查找单元9064查找到的段数据库服务器作为存储元数据标识对应的库表信息的段数据库服务器;
发送单元9066,用于向第三确定单元9065查找到的段数据库服务器发送库表信息访问请求。
参见图12,该访问元数据的服务器还包括:
第一确定模块909,用于确定段数据库服务器的数量;
第一划分模块910,用于将预设长度的整数区间划分为与第一确定模块909确定的段数据库服务器的数量相同的区间;
第一映射模块911,用于将每个区间对应一个段数据库服务器;
构建模块912,用于根据每个区间与对应的段数据库服务器的对应关系构建区间与段数据库服务器之间的映射表。
参见图13,该访问元数据的服务器还包括:
选择模块913,用于选择一个已有的段数据库服务器;
第二划分模块914,用于将选择模块913选择的段数据库服务器对应的区间分裂成至少两个子区间;
第二映射模块915,用于将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器;
更新模块916,用于根据各个区间与段数据库服务器之间的对应关系更新预设的区间与段数据库服务器之间的映射表。
参见图14,该访问元数据的服务器还包括:
第二确定模块917,用于确定全局数据库服务器及预设数量的段数据库服务器;
第三确定模块918,用于确定各个段数据库服务器对应的数据库;
第一存储模块919,用于将元数据的认证信息存入全局数据库服务器中;
第二存储模块920,用于将元数据的库表信息存入与库表信息所属数据库对应的段数据库服务器中。
本实施例提供的访问元数据的服务器,通过向存储元数据的认证信息的全局数据库服务器获取查询引擎查询的认证信息,向存储元数据的库表信息的段数据库服务器获取查询引擎查询的库表信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例五
本实施例提供了一种访问元数据的服务器,该访问元数据的服务器可以用于实施上述实施例中提供的访问元数据的方法。具体来讲:参见图15,该访问元数据的服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1522(例如,一个或一个以上处理器)和存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。
更进一步地,中央处理器1522可以设置为与存储介质1530通信,在访问元数据的服务器1500上执行存储介质1530中的一系列指令操作。
访问元数据的服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器1500中的一系列指令操作:
接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,还包含用于执行以下操作的指令:
接收所述查询引擎发送的包含所述元数据标识的库表信息访问请求;
将所述库表信息访问请求发送给存储所述元数据标识对应的库表信息的段数据库服务器;
接收存储所述元数据标识对应的库表信息的段数据库服务器发送的库表信息,并将所述库表信息发送给所述查询引擎。
在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,还包含用于执行以下操作的指令:
确定所述元数据标识对应的数据库的名称;
根据所述元数据标识对应的数据库的名称计算哈希值;
确定计算得到的哈希值所属区间,并根据预设的区间与段数据库服务器之间的映射表查找与计算得到的哈希值所属区间相对应的段数据库服务器;
将查找到的段数据库服务器作为存储所述元数据标识对应的库表信息的段数据库服务器,并向查找到的段数据库服务器发送所述库表信息访问请求。
在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中,还包含用于执行以下操作的指令:
确定段数据库服务器的数量;
将预设长度的整数区间划分为与所述段数据库服务器的数量相同的区间;
将每个区间对应一个段数据库服务器,并根据每个区间与对应的段数据库服务器的对应关系构建区间与段数据库服务器之间的映射表。
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,还包含用于执行以下操作的指令:
选择一个已有的段数据库服务器,并将选择的段数据库服务器对应的区间分裂成至少两个子区间;
将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器;
根据各个区间与段数据库服务器之间的对应关系更新预设的区间与段数据库服务器之间的映射表。
在第一至五种中任一种可能的实施方式作为基础而提供的第六种可能的实施方式中,还包含用于执行以下操作的指令:
确定全局数据库服务器及预设数量的段数据库服务器,并确定各个段数据库服务器对应的数据库;
将元数据的认证信息存入所述全局数据库服务器中,并将元数据对应的库表信息存入与所述库表信息所属数据库对应的段数据库服务器中。
综上所述,本实施例提供的访问元数据的服务器,通过向存储元数据的认证信息的全局数据库服务器获取查询引擎查询的认证信息,向存储元数据的库表信息的段数据库服务器获取查询引擎查询的库表信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例六
本实施例提供了一种全局数据库服务器,参见图16,该全局数据库服务器包括:
接收模块1601,用于接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,认证信息查询请求由查询引擎发送给访问元数据的服务器;
查询模块1602,用于在存储的认证信息中查询元数据标识对应的认证信息;
发送模块1603,用于向访问元数据的服务器发送元数据标识对应的认证信息,由访问元数据的服务器将认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
参见图17,该全局数据库服务器还包括:
存储模块1604,用于存储元数据的认证信息。
本实施例提供的全局数据库服务器,通过存储元数据的认证信息,从而在接收到访问元数据的服务器发送的认证信息查询请求后,向访问元数据的服务器返回认证信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例七
本实施例提供了一种全局数据库服务器,具体来讲:参见图18,该全局数据库服务器1800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1822(例如,一个或一个以上处理器)和存储器1832,一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中,存储器1832和存储介质1830可以是短暂存储或持久存储。
更进一步地,中央处理器1822可以设置为与存储介质1830通信,在全局数据库服务器1800上执行存储介质1830中的一系列指令操作。
全局数据库服务器1800还可以包括一个或一个以上电源1826,一个或一个以上有线或无线网络接口1850,一个或一个以上输入输出接口1858,和/或,一个或一个以上操作系统1841,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对全局数据库服务器1800中的一系列指令操作:
接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,认证信息查询请求由查询引擎发送给访问元数据的服务器;
在存储的认证信息中查询元数据标识对应的认证信息,并向访问元数据的服务器发送元数据标识对应的认证信息,由访问元数据的服务器将认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,还包含用于执行以下操作的指令:
存储元数据的认证信息。
本实施例提供的全局数据库服务器,通过存储元数据的认证信息,从而在接收到访问元数据的服务器发送的认证信息查询请求后,向访问元数据的服务器返回认证信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例八
本实施例提供了一种段数据库服务器,参见图19,该段数据库服务器包括:
接收模块1901,用于接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,库表信息访问请求由查询引擎发送给访问元数据的服务器;
查询模块1902,用于查询元数据标识对应的库表信息;
发送模块1903,用于将库表信息发送给访问元数据的服务器,由访问元数据的服务器将库表信息发送给查询引擎。
参见图20,该段数据库服务器还包括:
存储模块1904,用于存储对应的数据库中的元数据的库表信息。
本实施例提供的段数据库服务器,通过存储元数据的库表信息,从而在接收到访问元数据的服务器发送的库表信息查询请求后,向访问元数据的服务器返回库表信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例九
本实施例提供了一种段数据库服务器,具体来讲:参见图21,该段数据库服务器2100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)2122(例如,一个或一个以上处理器)和存储器2132,一个或一个以上存储应用程序2142或数据2144的存储介质2130(例如一个或一个以上海量存储设备)。其中,存储器2132和存储介质2130可以是短暂存储或持久存储。
更进一步地,中央处理器2122可以设置为与存储介质2130通信,在段数据库服务器2100上执行存储介质2130中的一系列指令操作。
段数据库服务器2100还可以包括一个或一个以上电源2126,一个或一个以上有线或无线网络接口2150,一个或一个以上输入输出接口2158,和/或,一个或一个以上操作系统2141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
存储在存储介质2130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对段数据库服务器2100中的一系列指令操作:
接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询所述元数据标识对应的库表信息,并将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,还包含用于执行以下操作的指令:
存储对应的数据库中的元数据的库表信息。
本实施例提供的段数据库服务器,通过存储元数据的库表信息,从而在接收到访问元数据的服务器发送的库表信息查询请求后,向访问元数据的服务器返回库表信息,进而在元数据的分布式存储情况下实现了元数据的访问,降低了元数据访问时间,进而提高了分布式数据仓库中信息的共享和交换的速度。
实施例十
本实施例提供了一种访问元数据的系统,参见图22,该系统包括:访问元数据的服务器2201,全局数据库服务器2202以及至少一个段数据库服务器2203;
访问元数据的服务器2201与全局数据库服务器2202及每个段数据库服务器2203之间建立有网络连接;
其中,全局数据库服务器2202存储有元数据的认证信息,元数据的库表信息存储于一至多个段数据库服务器2203中,段数据库服务器2203与全局数据库服务器2202为不同的数据库服务器;
访问元数据的服务器2201接收查询引擎发送的包含元数据标识的认证信息查询请求,并将认证信息查询请求发送给全局数据库服务器2202;接收全局数据库服务器2202发送的元数据标识对应的认证信息;将认证信息发送给查询引擎,使查询引擎根据认证信息的权限认证结果确定是否访问元数据标识对应的库表信息。
上述访问元数据的服务器2201可如上述实施例四或实施例五所述的访问元数据的服务器,具体详见上述实施例四或实施例五的内容,此处不再赘述。
上述全局数据库服务器2202可如上述实施例六或实施例七所述的全局数据库服务器,具体详见上述实施例六或实施例七的内容,此处不再赘述。
上述段数据库服务器2203可如上述实施例八或实施例九所述的段数据库服务器,具体详见上述实施例八或实施例九的内容,此处不再赘述。
本实施例提供的系统,通过将元数据的认证信息存入全局数据库服务器,将元数据的库表信息存储于一至多个段数据库服务器中,实现了元数据的分布式存储;通过访问元数据的服务器向全局数据库服务器获取查询引擎查询的认证信息,向段数据库服务器获取查询引擎查询的库表信息,降低了元数据访问时间,提高了分布式数据仓库中信息的共享和交换的速度。
需要说明的是:上述实施例提供的访问元数据的服务器、全局数据库服务器以及段数据库服务器在实现访问元数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的访问元数据的服务器、全局数据库服务器、段数据库服务器、访问元数据的系统与访问元数据的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (24)

1.一种访问元数据的方法,其特征在于,所述方法包括:
接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述查询引擎发送的包含所述元数据标识的库表信息访问请求;
将所述库表信息访问请求发送给存储所述元数据标识对应的库表信息的段数据库服务器;
接收存储所述元数据标识对应的库表信息的段数据库服务器发送的库表信息,并将所述库表信息发送给所述查询引擎。
3.根据权利要求2所述的方法,其特征在于,所述将所述库表信息访问请求发送给存储所述元数据标识对应的库表信息的段数据库服务器,包括:
确定所述元数据标识对应的数据库的名称;
根据所述元数据标识对应的数据库的名称计算哈希值;
确定计算得到的哈希值所属区间,并根据预设的区间与段数据库服务器之间的映射表查找与计算得到的哈希值所属区间相对应的段数据库服务器;
将查找到的段数据库服务器作为存储所述元数据标识对应的库表信息的段数据库服务器,并向查找到的段数据库服务器发送所述库表信息访问请求。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定段数据库服务器的数量;
将预设长度的整数区间划分为与所述段数据库服务器的数量相同的区间;
将每个区间对应一个段数据库服务器,并根据每个区间与对应的段数据库服务器的对应关系构建区间与段数据库服务器之间的映射表。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
选择一个已有的段数据库服务器,并将选择的段数据库服务器对应的区间分裂成至少两个子区间;
将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器;
根据各个区间与段数据库服务器之间的对应关系更新预设的区间与段数据库服务器之间的映射表。
6.根据权利要求1至5中任一权利要求所述的方法,其特征在于,所述方法还包括:
确定全局数据库服务器及预设数量的段数据库服务器,并确定各个段数据库服务器对应的数据库;
将元数据的认证信息存入所述全局数据库服务器中,并将元数据的库表信息存入与所述库表信息所属数据库对应的段数据库服务器中。
7.一种访问元数据的服务器,其特征在于,所述访问元数据的服务器包括:
第一接收模块,用于接收查询引擎发送的包含元数据标识的认证信息查询请求;
第一发送模块,用于将所述第一接收模块接收到的所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
第二接收模块,用于接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
第二发送模块,用于将所述第二接收模块接收到的所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
8.根据权利要求7所述的访问元数据的服务器,其特征在于,所述访问元数据的服务器还包括:
第三接收模块,用于接收所述查询引擎发送的包含所述元数据标识的库表信息访问请求;
第三发送模块,用于将所述第三接收模块接收到的所述库表信息访问请求发送给存储所述元数据标识对应的库表信息的段数据库服务器;
第四接收模块,用于接收存储所述元数据标识对应的库表信息的段数据库服务器发送的库表信息;
第四发送模块,用于将所述第四接收模块接收到的所述库表信息发送给所述查询引擎。
9.根据权利要求8所述的访问元数据的服务器,其特征在于,所述第三发送模块,包括:
第一确定单元,用于确定所述元数据标识对应的数据库的名称;
计算单元,用于根据所述第一确定单元确定的所述元数据标识对应的数据库的名称计算哈希值;
第二确定单元,用于确定计算得到的哈希值所属区间;
查找单元,用于根据预设的区间与段数据库服务器之间的映射表查找与所述计算单元计算得到的哈希值所属区间相对应的段数据库服务器;
第三确定单元,用于将所述查找单元查找到的段数据库服务器作为存储所述元数据标识对应的库表信息的段数据库服务器;
发送单元,用于向所述第三确定单元查找到的段数据库服务器发送所述库表信息访问请求。
10.根据权利要求9所述的访问元数据的服务器,其特征在于,所述访问元数据的服务器还包括:
第一确定模块,用于确定段数据库服务器的数量;
第一划分模块,用于将预设长度的整数区间划分为与所述第一确定模块确定的所述段数据库服务器的数量相同的区间;
第一映射模块,用于将每个区间对应一个段数据库服务器;
构建模块,用于根据每个区间与对应的段数据库服务器的对应关系构建区间与段数据库服务器之间的映射表。
11.根据权利要求10所述的访问元数据的服务器,其特征在于,所述访问元数据的服务器还包括:
选择模块,用于选择一个已有的段数据库服务器;
第二划分模块,用于将所述选择模块选择的段数据库服务器对应的区间分裂成至少两个子区间;
第二映射模块,用于将每个子区间分别对应选择的段数据库服务器与新增的段数据库服务器;
更新模块,用于根据各个区间与段数据库服务器之间的对应关系更新预设的区间与段数据库服务器之间的映射表。
12.根据权利要求7至11中任一权利要求所述的访问元数据的服务器,其特征在于,所述访问元数据的服务器还包括:
第二确定模块,用于确定全局数据库服务器及预设数量的段数据库服务器;
第三确定模块,用于确定各个段数据库服务器对应的数据仓库;
第一存储模块,用于将元数据的认证信息存入所述全局数据库服务器中;
第二存储模块,用于将元数据的库表信息存入与所述库表信息所属数据库对应的段数据库服务器中。
13.一种访问元数据的方法,其特征在于,所述方法包括:
接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
在存储的认证信息中查询所述元数据标识对应的认证信息,并向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
存储元数据的认证信息。
15.一种全局数据库服务器,其特征在于,所述全局数据库服务器包括:
接收模块,用于接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
查询模块,用于在存储的认证信息中查询所述元数据标识对应的认证信息;
发送模块,用于向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
16.根据权利要求15所述的全局数据库服务器,其特征在于,所述全局数据库服务器还包括:
存储模块,用于存储元数据的认证信息。
17.一种访问元数据的方法,其特征在于,所述方法包括:
接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询所述元数据标识对应的库表信息,并将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
存储对应的数据库中的元数据的库表信息。
19.一种段数据库服务器,其特征在于,所述段数据库服务器包括:
接收模块,用于接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询模块,用于查询所述元数据标识对应的库表信息;
发送模块,用于将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
20.根据权利要求19所述的段数据库服务器,其特征在于,所述段数据库服务器还包括:
存储模块,用于存储对应的数据库中的元数据的库表信息。
21.一种访问元数据的服务器,其特征在于,所述服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给存储元数据的认证信息的全局数据库服务器;
接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;
将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器。
22.一种全局数据库服务器,其特征在于,所述全局数据库服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收访问元数据的服务器发送的包含元数据标识的认证信息查询请求,所述认证信息查询请求由查询引擎发送给所述访问元数据的服务器;
在存储的认证信息中查询所述元数据标识对应的认证信息,并向所述访问元数据的服务器发送所述元数据标识对应的认证信息,由所述访问元数据的服务器将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息;
其中,元数据的库表信息存储于一至多个段数据库服务器中。
23.一种段数据库服务器,其特征在于,所述段数据库服务器包括:一个或一个以上的处理器和存储器,一个或者一个以上的程序存储于所述存储器中,且经配置以由一个或者一个以上的处理器执行,所述一个或者一个以上的程序包含用于进行以下操作的指令:
接收访问元数据的服务器发送的包含元数据标识的库表信息访问请求,所述库表信息访问请求由查询引擎发送给所述访问元数据的服务器;
查询所述元数据标识对应的库表信息,并将所述库表信息发送给所述访问元数据的服务器,由所述访问元数据的服务器将所述库表信息发送给查询引擎。
24.一种元数据访问系统,其特征在于,所述系统包括:访问元数据的服务器、全局数据库服务器和至少一个段数据库服务器,所述访问元数据的服务器与所述全局数据库服务器及每个段数据库服务器之间建立有网络连接;
其中,所述全局数据库服务器存储有元数据的认证信息,所述元数据的库表信息存储于一至多个段数据库服务器中,所述段数据库服务器与所述全局数据库服务器为不同的数据库服务器;
所述访问元数据的服务器接收查询引擎发送的包含元数据标识的认证信息查询请求,并将所述认证信息查询请求发送给所述全局数据库服务器;接收所述全局数据库服务器发送的所述元数据标识对应的认证信息;将所述认证信息发送给所述查询引擎,使所述查询引擎根据所述认证信息的权限认证结果确定是否访问所述元数据标识对应的库表信息。
CN201310706160.3A 2013-12-19 2013-12-19 访问元数据的方法、服务器及系统 Active CN104090897B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310706160.3A CN104090897B (zh) 2013-12-19 2013-12-19 访问元数据的方法、服务器及系统
US15/101,777 US9619503B2 (en) 2013-12-19 2015-02-13 Method, server, and system for accessing metadata
PCT/CN2015/072979 WO2015090244A2 (zh) 2013-12-19 2015-02-13 访问元数据的方法、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310706160.3A CN104090897B (zh) 2013-12-19 2013-12-19 访问元数据的方法、服务器及系统

Publications (2)

Publication Number Publication Date
CN104090897A true CN104090897A (zh) 2014-10-08
CN104090897B CN104090897B (zh) 2016-05-04

Family

ID=51638613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310706160.3A Active CN104090897B (zh) 2013-12-19 2013-12-19 访问元数据的方法、服务器及系统

Country Status (3)

Country Link
US (1) US9619503B2 (zh)
CN (1) CN104090897B (zh)
WO (1) WO2015090244A2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015090244A3 (zh) * 2013-12-19 2015-08-20 腾讯科技(深圳)有限公司 访问元数据的方法、服务器及系统
CN106202084A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 数据存储方法和数据存储装置
CN106612328A (zh) * 2016-12-20 2017-05-03 杭州联众医疗科技股份有限公司 一种移动阅片系统
CN106845075A (zh) * 2016-12-20 2017-06-13 杭州联众医疗科技股份有限公司 一种集中诊断报告系统
CN106878263A (zh) * 2016-12-20 2017-06-20 杭州联众医疗科技股份有限公司 一种云医学影像存储系统与通讯系统
CN107180017A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN107193827A (zh) * 2016-03-14 2017-09-22 阿里巴巴集团控股有限公司 分库分表的幂等控制方法和装置
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备
CN109669980A (zh) * 2018-12-21 2019-04-23 成都四方伟业软件股份有限公司 数据跨库访问方法及装置
CN110874353A (zh) * 2018-09-04 2020-03-10 阿里巴巴集团控股有限公司 一种数据模型的创建、数据表的访问方法和装置
CN111756752A (zh) * 2020-06-24 2020-10-09 北京金山云网络技术有限公司 对数据库的访问权限的控制方法、装置及电子设备
WO2020233325A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 一种基于区块链的溯源数据的获取方法及相关设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946744B2 (en) * 2016-01-06 2018-04-17 General Motors Llc Customer vehicle data security method
CN113515564A (zh) * 2021-05-18 2021-10-19 平安国际智慧城市科技股份有限公司 基于j2ee的数据访问方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700635A (zh) * 2004-03-23 2005-11-23 索尼株式会社 信息处理系统、设备与方法,记录介质和程序
CN101067822A (zh) * 2006-05-03 2007-11-07 国际商业机器公司 用于元数据的分级存储管理的方法和系统
CN101196929A (zh) * 2007-12-29 2008-06-11 中国科学院计算技术研究所 一种拆分名字空间的元数据管理方法
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009634B2 (ja) * 2004-03-04 2007-11-21 日本電気株式会社 アクセス制御方法、アクセス制御システム、メタデータ制御機、及び送信系装置
TWI307026B (en) * 2005-12-30 2009-03-01 Ind Tech Res Inst System and method for storage management
US20120047162A1 (en) * 2010-08-20 2012-02-23 Jenzabar, Inc. Method and System for Securing Academic ERP Database using Datasource Proxy
JP5617709B2 (ja) * 2011-03-16 2014-11-05 富士通株式会社 プログラム、制御装置および方法
US8914632B1 (en) * 2011-12-21 2014-12-16 Google Inc. Use of access control lists in the automated management of encryption keys
US20130218934A1 (en) * 2012-02-17 2013-08-22 Hitachi, Ltd. Method for directory entries split and merge in distributed file system
US8819855B2 (en) * 2012-09-10 2014-08-26 Mdi Security, Llc System and method for deploying handheld devices to secure an area
US9256633B2 (en) * 2013-03-15 2016-02-09 International Business Machines Corporation Partitioning data for parallel processing
CN103218433A (zh) * 2013-04-15 2013-07-24 北京邮电大学 一种应用于随机存取的元数据管理方法及模块
CN103198153A (zh) * 2013-04-25 2013-07-10 北京邮电大学 一种应用于分布式文件系统的元数据分簇管理方法和模块
CN104090897B (zh) * 2013-12-19 2016-05-04 深圳市腾讯计算机系统有限公司 访问元数据的方法、服务器及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700635A (zh) * 2004-03-23 2005-11-23 索尼株式会社 信息处理系统、设备与方法,记录介质和程序
CN101067822A (zh) * 2006-05-03 2007-11-07 国际商业机器公司 用于元数据的分级存储管理的方法和系统
CN101196929A (zh) * 2007-12-29 2008-06-11 中国科学院计算技术研究所 一种拆分名字空间的元数据管理方法
CN103095687A (zh) * 2012-12-19 2013-05-08 华为技术有限公司 元数据处理方法及装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015090244A3 (zh) * 2013-12-19 2015-08-20 腾讯科技(深圳)有限公司 访问元数据的方法、服务器及系统
US9619503B2 (en) 2013-12-19 2017-04-11 Tencent Technology (Shenzhen) Company Limited Method, server, and system for accessing metadata
CN106202084A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 数据存储方法和数据存储装置
TWI761331B (zh) * 2016-03-11 2022-04-21 香港商阿里巴巴集團服務有限公司 樣本序列化方法和裝置
CN107180017A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN107180017B (zh) * 2016-03-11 2021-05-28 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN107193827A (zh) * 2016-03-14 2017-09-22 阿里巴巴集团控股有限公司 分库分表的幂等控制方法和装置
CN106845075A (zh) * 2016-12-20 2017-06-13 杭州联众医疗科技股份有限公司 一种集中诊断报告系统
CN106878263A (zh) * 2016-12-20 2017-06-20 杭州联众医疗科技股份有限公司 一种云医学影像存储系统与通讯系统
CN106612328A (zh) * 2016-12-20 2017-05-03 杭州联众医疗科技股份有限公司 一种移动阅片系统
CN106612328B (zh) * 2016-12-20 2021-07-23 杭州联众医疗科技股份有限公司 一种移动阅片系统
CN106845075B (zh) * 2016-12-20 2021-07-20 杭州联众医疗科技股份有限公司 一种集中诊断报告系统
CN106878263B (zh) * 2016-12-20 2021-06-29 杭州联众医疗科技股份有限公司 一种云医学影像存储系统与通讯系统
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备
CN108388615B (zh) * 2018-02-09 2019-07-23 杭州数梦工场科技有限公司 一种数据交换方法、系统以及电子设备
CN110874353A (zh) * 2018-09-04 2020-03-10 阿里巴巴集团控股有限公司 一种数据模型的创建、数据表的访问方法和装置
CN109669980A (zh) * 2018-12-21 2019-04-23 成都四方伟业软件股份有限公司 数据跨库访问方法及装置
WO2020233325A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 一种基于区块链的溯源数据的获取方法及相关设备
CN111756752A (zh) * 2020-06-24 2020-10-09 北京金山云网络技术有限公司 对数据库的访问权限的控制方法、装置及电子设备

Also Published As

Publication number Publication date
WO2015090244A2 (zh) 2015-06-25
US9619503B2 (en) 2017-04-11
WO2015090244A3 (zh) 2015-08-20
CN104090897B (zh) 2016-05-04
US20160314157A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
CN104090897A (zh) 访问元数据的方法、服务器及系统
US9996552B2 (en) Method for generating a dataset structure for location-based services and method and system for providing location-based services to a mobile device
US9811554B2 (en) Assisting query and querying
CN107562757B (zh) 基于分布式文件系统的查询、访问方法、装置及系统
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
CN104794249A (zh) 一种数据库的实现方法和设备
US11263270B1 (en) Heat balancing in a distributed time-series database
CN103218404A (zh) 一种基于关联特性的多维元数据管理方法和系统
CN102739622A (zh) 一种可扩展的数据存储系统
EP3425530A1 (en) Target location search method and apparatus
CN109542861B (zh) 一种文件管理方法、装置和系统
CN104809129A (zh) 一种分布式数据存储方法、装置和系统
CN103942209A (zh) 数据处理方法
US8046345B2 (en) Method and system for managing file metadata transparent about address changes of data servers and movements of their disks
US11409771B1 (en) Splitting partitions across clusters in a time-series database
CN110597852A (zh) 数据处理方法、装置、终端及存储介质
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN103107944A (zh) 一种内容定位方法和路由设备
CN111400301B (zh) 一种数据查询方法、装置及设备
US11366598B1 (en) Dynamic lease assignments in a time-series database
CN107908713B (zh) 一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法
CN104424189A (zh) 基于云平台的定位解算方法和系统
US20120078973A1 (en) Distributed System
CN110837499B (zh) 数据访问处理方法、装置、电子设备和存储介质
KR20160100218A (ko) 오디오 지문인식 데이터베이스를 구축하고 오디오 지문인식을 검색하기 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant