CN104239572A - 基于分布式缓存实现元数据分析的系统及方法 - Google Patents

基于分布式缓存实现元数据分析的系统及方法 Download PDF

Info

Publication number
CN104239572A
CN104239572A CN201410521926.5A CN201410521926A CN104239572A CN 104239572 A CN104239572 A CN 104239572A CN 201410521926 A CN201410521926 A CN 201410521926A CN 104239572 A CN104239572 A CN 104239572A
Authority
CN
China
Prior art keywords
metadata
analysis
metadata analysis
task
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410521926.5A
Other languages
English (en)
Inventor
马捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PRIMETON INFORMATION TECHNOLOGY Co Ltd
Original Assignee
PRIMETON INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PRIMETON INFORMATION TECHNOLOGY Co Ltd filed Critical PRIMETON INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410521926.5A priority Critical patent/CN104239572A/zh
Publication of CN104239572A publication Critical patent/CN104239572A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于分布式缓存实现元数据分析的系统及方法，其中系统包括元数据分析客户端、元数据分析服务端、分布式缓存框架服务器和分布式缓存服务器，方法为：分布式缓存框架服务器将元数据库中的数据加载至分布式缓存服务器中并创建连接池；元数据分析客户端将对应的元数据分析消息发送至元数据分析服务端；元数据分析服务端根据解析后的元数据分析任务查询分布式缓存服务器，并将所对应的分析结果消息发送至元数据分析客户端；元数据分析客户端解析分析结果消息并显示元数据分析结果。采用发明的基于分布式缓存实现元数据分析的系统及发明，提高了数据访问的性能，加快了元数据分析的响应速度，提高了用户体验，具有更广泛的应用范围。

Description

基于分布式缓存实现元数据分析的系统及方法
技术领域
本发明涉及元数据分析领域，尤其涉及元数据分布式缓存及分析的领域，具体是指一种基于分布式缓存实现元数据分析的系统及方法。
背景技术
随着信息技术的发展，产生了海量的数据，如何有效地管理和组织这些海量数据已经成为一个突出的问题。元数据是解决这一问题的有效手段，能支持系统对数据的管理和维护。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能:
(1)描述哪些数据在数据仓库中；
(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据；
(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排；
(4)记录并检测系统数据一致性的要求和执行情况；
(5)衡量数据质量。
元数据管理系统中，对元数据的有效分析至关重要。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。
当前的元数据分析系统的数据关联关系的查找都是通过关系数据库来完成，最终形成数据的来源与去向关系图。在此过程中需要执行多条SQL(Structured Query Language，结构化查询语言)语句，往往后一条SQL语句的查询条件是前一条SQL语句得到的结果，因此这些SQL语句只能顺序执行，不能并发执行，而数据库的查询操作需要大量的磁盘I/O(输入/输出)操作，磁盘操作非常耗时，生成元数据的关联图通常都需要很长的响应时间。而且，元数据的分析往往要涉及到多个表的连接操作，对多表进行连接操作非常耗费计算机的资源如CPU、内存等，如果表中还存储了海量的数据，数据查询的响应时间会非常慢。
通常的数据库优化技术是将查询结果放在本地缓存中来提高性能，但是本地的缓存容量有限，不能存放大量的数据，另外，只有查询条件与存放在本地缓存中数据的查询条件完全一致时才能使用缓存的数据，否则就必须查询数据库。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种通过将元数据库中的数据通过分布式缓存技术加载到分布式缓存服务器中并提供了相应的查询方法，节约系统资源，提高数据访问的性能，加快元数据分析的响应速度，提高用户体验的基于分布式缓存实现元数据分析的系统及方法。
为了实现上述目的，本发明的基于分布式缓存实现元数据分析的系统及方法具有如下构成：
该基于分布式缓存实现元数据分析的系统，其主要特点是，所述的系统包括：
元数据分析客户端，用以响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，以及解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果；
元数据分析服务端，用以根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，并获得对应的元数据分析结果，以及将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端；
分布式缓存框架服务器，用以将元数据库中的数据加载至所述的分布式缓存服务器中，并为所述的分布式缓存服务器创建连接池；
分布式缓存服务器，用以缓存所述的元数据库。
进一步地，所述的元数据分析客户端包括图形化界面模块、任务解析模块、解析消息接收队列和解析消息发送队列，其中：
所述的图形化界面模块，用以响应用户提交的元数据分析指令并得到所对应的元数据分析任务，以及将所对应元数据分析任务的数据发送至所述的任务解析模块，和显示所述的任务解析模块发送的所述的元数据分析结果；
所述的任务解析模块，用以将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列，以及解析所述的解析消息接收队列接收到的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块；
所述的解析消息发送队列，用以将所述的元数据分析消息发送至所述的元数据分析服务端；
所述的解析消息接收队列，用以接收所述的元数据分析服务端发送的分析结果消息。
进一步地，所述的元数据分析服务端包括任务调度模块、分布式缓存接口、分析消息发送队列和分析消息接收队列，其中：
所述的任务调度模块，用以解析所述的分析消息接收队列接收到的元数据分析消息并得到所述的元数据分析任务，以及根据所述的元数据分析任务通过所述的分布式缓存接口调用所述的分布式缓存框架服务器，并通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果封装为所对应分析结果消息；
所述的分布式缓存接口，用以访问所述的分布式缓存框架服务器；
所述的分析消息发送队列，用以发送所对应的分析结果消息至所述的元数据分析客户端；
所述的分析消息接收队列，用以接收所述的元数据分析客户端发送的所述的元数据分析消息。
进一步地，所述的分布式缓存框架服务器包括数据加载模块、连接池管理模块和应用程序编程接口，其中：
所述的数据加载模块，用以将所述的元数据库中的数据加载至所述的分布式缓存服务器中；
所述的连接池管理模块，用以为所述的分布式缓存服务器创建连接池；
所述的应用程序编程接口，用以访问所述的分布式缓存框架服务器的应用程序。
更进一步地，所述的分布式缓存框架服务器还包括缓存配置模块，所述的缓存配置模块用以存储并管理所述的分布式缓存服务器的相关配置信息。
更进一步地，所述的分布式缓存框架服务器还包括缓存管理模块，所述的缓存配置模块用以对所述的分布式缓存服务器进行注册、加入、监控和故障检测的管理。
进一步地，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息。
进一步地，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。
更进一步地，所述的分布式缓存服务器由数个缓存子服务器组成，各个缓存子服务器的下标根据所述的元数据实例序列号对应的哈希值对所述的缓存子服务器的数量取模得到。
其中，所述的分布式缓存框架服务器根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法计算得到所述的元数据实例序列号对应的哈希值。
此外，本发明还提供一种实现基于分布式缓存的元数据分析方法，所述的方法包括以下步骤：
(1)所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中并为所述的分布式缓存服务器创建连接池；
(2)所述的元数据分析客户端响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端；
(3)所述的元数据分析服务端根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，并获得对应的元数据分析结果；
(4)所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端；
(5)所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果。
进一步地，所述的分布式缓存框架服务器包括数据加载模块，所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤：
(1.1)所述的数据加载模块连接所述的元数据库；
(1.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表；
(1.3)所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中。
更进一步地，所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表，包括以下步骤：
(1.2.1)所述的数据加载模块创建哈希值映射表；
(1.2.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并获取元数据实例序列号、元数据类型和元数据名称三个字段所对应的数据；
(1.2.3)所述的数据加载模块对元数据实例序列号进行哈希运算，并获得所述的元数据实例序列号对应的哈希值；
(1.2.4)所述的数据加载模块将所述的元数据实例序列号与所对应的哈希值保存至所述的哈希值映射表。
更进一步地，所述的数据加载模块对元数据实例序列号进行哈希运算，具体为：
所述的数据加载模块根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法对元数据实例序列号进行哈希运算。
更进一步地，所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤：
(1.3.1)所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中；
(1.3.2)所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中；
(1.3.3)所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中。
更进一步地，所述的分布式缓存服务器包括数个缓存子服务器，所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.1.1)所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模，并用取模后的值作为该元数据实例表中的数据对应缓存的缓存子服务器的下标。
(1.3.1.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和所述的元数据名称为变量将所述的元数据实例表的数据保存至所对应的缓存子服务器中。
更进一步地，所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.2.1)所述的数据加载模块查询所述的元数据库中的元数据组合关系表，并获取元数据实例序列号和组合关系元数据序列号两个字段的数据；
(1.3.2.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的组合关系元数据序列号为变量将所述的元数据组合关系表的数据保存至所对应的缓存子服务器中。
更进一步地，所述的步骤(1.3.2.1)和(1.3.2.2)之间，还包括以下步骤：
(1.3.2.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模；
(1.3.2.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据组合关系表的数据对应缓存的缓存子服务器。
更进一步地，所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.3.1)所述的数据加载模块查询所述的元数据库中的元数据依赖关系表，并获取元数据实例序列号和依赖关系元数据序列号两个字段的数据；
(1.3.3.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和元数据名称为变量将所述的元数据依赖关系表的数据保存至所对应的缓存子服务器中。
更进一步地，所述的步骤(1.3.3.1)和(1.3.3.2)之间，还包括以下步骤：
(1.3.3.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存服务器的数量取模；
(1.3.3.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据依赖关系表的数据对应缓存的缓存子服务器。
更进一步地，所述的分布式缓存框架服务器包括连接池管理模块和缓存配置模块，所述的为所述的分布式缓存服务器创建连接池，具体为：
所述的连接池管理模块根据所述的缓存配置模块中存储的所述的分布式缓存服务器的相关配置信息，为所述的分布式缓存服务器创建连接池。
更进一步地，所述的元数据分析服务端包括任务调度模块、分布式缓存接口和分析消息接收队列，所述的元数据分析服务端根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，包括以下步骤：
(3.1)所述的分析消息接收队列接收所述的元数据分析客户端发送的所述的元数据分析消息；
(3.2)所述的任务调度模块解析所述的元数据分析消息并得到所述的元数据分析任务；
(3.3)所述的任务调度模块根据所述的元数据分析任务通过所述的分布式缓存接口调用所述的分布式缓存框架服务器；
(3.4)所述的任务调度模块通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器。
更进一步地，所述的分布式缓存框架服务器包括应用程序编程接口，所述的获得对应的元数据分析结果，包括以下步骤：
(3.5)所述的任务调度模块获得所述的元数据库中的元数据实例序列，并将所述的分布式缓存服务器中以元数据实例序列号为键值的缓存数据为根节点，并将所述的根节点加入到分析结果对象树中；
(3.6)所述的任务调度模块将元数据实例序列号加入到任务集中作为进行元数据分析的初始对象；
(3.7)所述的任务调度模块以元数据实例序列号为参数，并通过调用所述的应用程序编程接口在所述的元数据组合关系模块和所述的元数据依赖关系模块中查找组合关系元数据序列号和依赖关系元数据序列号，形成组合关系元数据序列号集与依赖关系元数据序列号集；
(3.8)所述的任务调度模块为所述的组合关系元数据序列号集中的各个组合关系元数据序列号启动一个查询线程，以所述的各个组合关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中；
(3.9)所述的任务调度模块为所述的依赖关系元数据序列号集中的各个依赖关系元数据序列号启动一个查询线程，以所述的各个依赖关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中；
(3.10)所述的任务调度模块从所述的任务集中删除元数据实例序列号，将所述的组合关系元数据序列号集与依赖关系元数据序列号集加入到所述的任务集中；
(3.11)所述的任务调度模将所述的任务集中的各个关系元数据序列号作为元数据实例序列号，返回上述步骤(3.6)，直到所述的任务集为空。
进一步地，所述的元数据分析客户端包括图形化界面模块，所述的元数据分析客户端响应用户提交的元数据分析指令，包括以下步骤：
(2.1)所述的图形化界面模块显示图形化界面；
(2.2)所述的图形化界面模块响应用户提交的元数据分析指令并得到所对应的元数据分析任务；
更进一步地，所述的元数据分析客户端还包括任务解析模块和解析消息发送队列，所述的将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，包括以下步骤：
(2.3)所述的任务解析模块将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列；
(2.4)所述的解析消息发送队列将所述的元数据分析消息发送至所述的元数据分析服务端。
进一步地，所述的元数据分析服务端包括任务调度模块和分析消息发送队列，所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端，包括以下步骤：
(4.1)所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息；
(4.2)所述的分析消息发送队列发送所述的对应的分析结果消息至所述的元数据分析客户端。
更进一步地，所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息，具体为：
所述的任务调度模块将所对应的元数据分析结果以XML方式进行封装，并得到所对应分析结果消息
进一步地，所述的元数据分析客户端包括图形化界面模块、任务解析模块和解析消息接收队列，所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果，包括以下步骤：
(5.1)所述的解析消息接收队列接收所述的元数据分析服务端发送的分析结果消息；
(5.2)所述的任务解析模块解析所述的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块；
(5.3)所述的图形化界面模块显示所述的元数据分析结果。
进一步地，所述的图形化界面模块显示所述的元数据分析结果，具体为：
所述的图形化界面模块以图形的方式显示所述的元数据分析结果。
采用了该发明中的基于分布式缓存实现元数据分析的系统及方法，通过分布式缓存将元数据库中的元数据信息加载到分布式缓存服务器中，实现了在分布式缓存服务器中直接查询元数据间的关系，不需查询数据库，不产生磁盘I/O，查询效率极高，由于不使用元数据库中元数据表结构，因此不需要数据表连接运算，从而需要大量计算资源，大大降低了系统使用的计算资源。
同时，本系统通过创建连接池提高对分布式缓存服务器的访问性能，由于数据访问连接的创建和销毁都是非常消耗系统资源的，通过提供数据连接池，预先创建好多个数据连接，需要建立连接的时候直接从池中取一个连接使用，使用完成后还回池中，避免数据连接频繁地创建、释放连接的资源消耗。
通过上述优势可知，本发明的基于分布式缓存实现元数据分析的系统及方法架构简单，具有极高的可伸缩性，可以根据需要增加分布式缓存服务器；使用维护方便快捷，工作性能稳定可靠，为企业元数据分析应用的进一步发展奠定了坚实的基础，具有更广泛的应用范围。
附图说明
图1为本发明的基于分布式缓存实现元数据分析的系统的结构示意图。
图2为本发明的基于分布式缓存实现元数据分析的方法的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
如图1所示，在一种实施方式中，本发明的基于分布式缓存实现元数据分析的系统包括：
元数据分析客户端，用以响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，以及解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果；
元数据分析服务端，用以根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，并获得对应的元数据分析结果，以及将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端；
分布式缓存框架服务器，用以将元数据库中的数据加载至所述的分布式缓存服务器中，并为所述的分布式缓存服务器创建连接池；
分布式缓存服务器，用以缓存所述的元数据库。
在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块、任务解析模块、解析消息接收队列和解析消息发送队列，其中：
所述的图形化界面模块，用以响应用户提交的元数据分析指令并得到所对应的元数据分析任务，以及将所对应元数据分析任务的数据发送至所述的任务解析模块，和显示所述的任务解析模块发送的所述的元数据分析结果；
所述的任务解析模块，用以将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列，以及解析所述的解析消息接收队列接收到的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块；
所述的解析消息发送队列，用以将所述的元数据分析消息发送至所述的元数据分析服务端；
所述的解析消息接收队列，用以接收所述的元数据分析服务端发送的分析结果消息。
在一种优选的实施方式中，所述的元数据分析服务端包括任务调度模块、分布式缓存接口、分析消息发送队列和分析消息接收队列，其中：
所述的任务调度模块，用以解析所述的分析消息接收队列接收到的元数据分析消息并得到所述的元数据分析任务，以及根据所述的元数据分析任务通过所述的分布式缓存接口调用所述的分布式缓存框架服务器，并通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果封装为所对应分析结果消息；
所述的分布式缓存接口，用以访问所述的分布式缓存框架服务器；
所述的分析消息发送队列，用以发送所对应的分析结果消息至所述的元数据分析客户端；
所述的分析消息接收队列，用以接收所述的元数据分析客户端发送的所述的元数据分析消息。
在一种优选的实施方式中，所述的分布式缓存框架服务器包括数据加载模块、连接池管理模块和应用程序编程接口，其中：
所述的数据加载模块，用以将所述的元数据库中的数据加载至所述的分布式缓存服务器中；
所述的连接池管理模块，用以为所述的分布式缓存服务器创建连接池；
所述的应用程序编程接口，用以访问所述的分布式缓存框架服务器的应用程序。
在一种更优选的实施方式中，所述的分布式缓存框架服务器还包括缓存配置模块，所述的缓存配置模块用以存储并管理所述的分布式缓存服务器的相关配置信息。
在一种更优选的实施方式中，所述的分布式缓存框架服务器还包括缓存管理模块，所述的缓存配置模块用以对所述的分布式缓存服务器进行注册、加入、监控和故障检测的管理。
在一种优选的实施方式中，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息。
在一种优选的实施方式中，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。
在一种更优选的实施方式中，所述的分布式缓存服务器由数个缓存子服务器组成，各个缓存子服务器的下标根据所述的元数据实例序列号对应的哈希值对所述的缓存子服务器的数量取模得到。
其中，所述的分布式缓存框架服务器根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法计算得到所述的元数据实例序列号对应的哈希值。
此外，本发明还提供一种实现基于分布式缓存的元数据分析方法，如图2所示，所述的方法包括以下步骤：
(1)所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中并为所述的分布式缓存服务器创建连接池；
(2)所述的元数据分析客户端响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端；
(3)所述的元数据分析服务端根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，并获得对应的元数据分析结果；
(4)所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端；
(5)所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果。
在一种优选的实施方式中，所述的分布式缓存框架服务器包括数据加载模块，所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤：
(1.1)所述的数据加载模块连接所述的元数据库；
(1.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表；
(1.3)所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中。
在一种更优选的实施方式中，所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表，包括以下步骤：
(1.2.1)所述的数据加载模块创建哈希值映射表；
(1.2.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并获取元数据实例序列号、元数据类型和元数据名称三个字段所对应的数据；
(1.2.3)所述的数据加载模块对元数据实例序列号进行哈希运算，并获得所述的元数据实例序列号对应的哈希值；
(1.2.4)所述的数据加载模块将所述的元数据实例序列号与所对应的哈希值保存至所述的哈希值映射表。
其中，所述的数据加载模块对元数据实例序列号进行哈希运算，具体为：
所述的数据加载模块根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法对元数据实例序列号进行哈希运算。
在一种更优选的实施方式中，所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤：
(1.3.1)所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中；
(1.3.2)所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中；
(1.3.3)所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中。
在一种更优选的实施方式中，所述的分布式缓存服务器包括数个数个缓存子服务器，所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.1.1)
所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模，并用取模后的值作为该元数据实例表中的数据对应缓存的缓存子服务器的下标。
(1.3.1.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和所述的元数据名称为变量将所述的元数据实例表的数据保存至所对应的缓存子服务器中。
在一种更优选的实施方式中，所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.2.1)所述的数据加载模块查询所述的元数据库中的元数据组合关系表，并获取元数据实例序列号和组合关系元数据序列号两个字段的数据；
(1.3.2.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的组合关系元数据序列号为变量将所述的元数据组合关系表的数据保存至所对应的缓存子服务器中。
在一种更优选的实施方式中，所述的步骤(1.3.2.1)和(1.3.2.2)之间，还包括以下步骤：
(1.3.2.1.1)所述的数据加载模块通过查询所述的哈希值映射表得到所述的元数据实例序列号所对应的哈希值；
(1.3.2.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模；
(1.3.2.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据组合关系表的数据对应缓存的缓存子服务器。
在一种更优选的实施方式中，所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中，包括以下步骤：
(1.3.3.1)所述的数据加载模块查询所述的元数据库中的元数据依赖关系表，并获取元数据实例序列号和依赖关系元数据序列号两个字段的数据；
(1.3.3.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和元数据名称为变量将所述的元数据依赖关系表的数据保存至所对应的缓存子服务器中。
在一种更优选的实施方式中，所述的步骤(1.3.3.1)和(1.3.3.2)之间，还包括以下步骤：
(1.3.3.1.1)所述的数据加载模块通过查询所述的哈希值映射表得到所述的元数据实例序列号所对应的哈希值；
(1.3.3.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存服务器的数量取模；
(1.3.3.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据依赖关系表的数据对应缓存的缓存子服务器。
在一种更优选的实施方式中，所述的分布式缓存框架服务器包括连接池管理模块和缓存配置模块，所述的为所述的分布式缓存服务器创建连接池，具体为：
所述的连接池管理模块根据所述的缓存配置模块中存储的所述的分布式缓存服务器的相关配置信息，为所述的分布式缓存服务器创建连接池。
在一种更优选的实施方式中，所述的元数据分析服务端包括任务调度模块、分布式缓存接口和分析消息接收队列，所述的元数据分析服务端根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，包括以下步骤：
(3.1)所述的分析消息接收队列接收所述的元数据分析客户端发送的所述的元数据分析消息；
(3.2)所述的任务调度模块解析所述的元数据分析消息并得到所述的元数据分析任务；
(3.3)所述的任务调度模块根据所述的元数据分析任务通过所述的分布式缓存接口调用所述的分布式缓存框架服务器；
(3.4)所述的任务调度模块通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器。
在一种更优选的实施方式中，所述的分布式缓存框架服务器包括应用程序编程接口，所述的获得对应的元数据分析结果，包括以下步骤：
(3.5)所述的任务调度模块获得所述的元数据库中的元数据实例序列，并将所述的分布式缓存服务器中以元数据实例序列号为键值的缓存数据为根节点，并将所述的根节点加入到分析结果对象树中；
(3.6)所述的任务调度模块将元数据实例序列号加入到任务集中作为进行元数据分析的初始对象；
(3.7)所述的任务调度模块以元数据实例序列号为参数，并通过调用所述的应用程序编程接口在所述的元数据组合关系模块和所述的元数据依赖关系模块中查找组合关系元数据序列号和依赖关系元数据序列号，形成组合关系元数据序列号集与依赖关系元数据序列号集；
(3.8)所述的任务调度模块为所述的组合关系元数据序列号集中的各个组合关系元数据序列号启动一个查询线程，以所述的各个组合关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中；
(3.9)所述的任务调度模块为所述的依赖关系元数据序列号集中的各个依赖关系元数据序列号启动一个查询线程，以所述的各个依赖关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中；
(3.10)所述的任务调度模块从所述的任务集中删除元数据实例序列号，将所述的组合关系元数据序列号集与依赖关系元数据序列号集加入到所述的任务集中；
(3.11)所述的任务调度模将所述的任务集中的各个关系元数据序列号作为元数据实例序列号，返回上述步骤(3.6)，直到所述的任务集为空。
在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块，所述的元数据分析客户端响应用户提交的元数据分析指令，包括以下步骤：
(2.1)所述的图形化界面模块显示图形化界面；
(2.2)所述的图形化界面模块响应用户提交的元数据分析指令并得到所对应的元数据分析任务；
在一种更优选的实施方式中，所述的元数据分析客户端还包括任务解析模块和解析消息发送队列，所述的将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，包括以下步骤：
(2.3)所述的任务解析模块将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列；
(2.4)所述的解析消息发送队列将所述的元数据分析消息发送至所述的元数据分析服务端。
在一种优选的实施方式中，所述的元数据分析服务端包括任务调度模块和分析消息发送队列，所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端，包括以下步骤：
(4.1)所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息；
(4.2)所述的分析消息发送队列发送所述的对应的分析结果消息至所述的元数据分析客户端。
在一种更优选的实施方式中，所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息，具体为：
所述的任务调度模块将所对应的元数据分析结果以XML(Extensible Markup Language，可扩展标记语言)方式进行封装，并得到所对应分析结果消息
在一种优选的实施方式中，所述的元数据分析客户端包括图形化界面模块、任务解析模块和解析消息接收队列，所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果，包括以下步骤：
(5.1)所述的解析消息接收队列接收所述的元数据分析服务端发送的分析结果消息；
(5.2)所述的任务解析模块解析所述的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块；
(5.3)所述的图形化界面模块显示所述的元数据分析结果。
在一种优选的实施方式中，所述的图形化界面模块显示所述的元数据分析结果，具体为：
所述的图形化界面模块以图形的方式显示所述的元数据分析结果。
以下为上述方法在一种具体实施例中的处理流程：
1、元数据分析系统服务端进行初始化；
11、启动元数据分析系统服务端的消息接收队列和消息发送队列；
12、启动元数据分析任务调度线程；
2、分布式缓存框架服务器进行初始化；
21读取配置文件，获得元数据库的IP地址与端口；
22调用数据加载模块将数据库中的数据加载到分布式缓存框架服务器中；
2.3调用连接池管理模块为缓存服务器创建连接池；
其中，分布式缓存框架服务器中数据加载模块的执行步骤：
221、通过数据库客户端连接元数据库；
222、查询元数据实例表，根据元数据类型创建元数据类型映射表，保存元数据类型与元数据实例ID集合的映射关系；
223、将元数据实例表加载到分布式缓存框架服务器中；
224、将元数据组合关系表加载到分布式缓存框架服务器中；
225、将元数据依赖关系表加载到分布式缓存框架服务器中；
其中，分布式缓存服务器是由多台缓存子服务器组成的集群，每台子服务器上都运行有缓存软件，提供数据缓存服务，元数据库中的每条数据根据Hash算法保存到集群中的一台缓存子服务器上，集群中所有的缓存子服务器根据服务器名排列成一个缓存子服务器列表数组，数组下标指明是集群中第几台服务器，
根据上述内容，元数据实例表加载到分布式缓存框架服务器中的步骤具体如下：
(a)创建元数据Hash(哈希)值映射表，用于保存元数据实例ID(序列号)与Hash值的对应关系；
(b)查询元数据库中的元数据实例表，批量获取元数据实例ID、元数据类型、元数据名称三个字段的数据；
(c)对元数据实例ID进行Hash运算，获得Hash值，将元数据实例ID与Hash值的映射关系加入到映射表，再用Hash值与缓存子服务器数量取模，用取模后的值作为该元数据将要存放的缓存子服务器的下标；
(d)以元数据实例ID为key(键值)，以元数据类型、元数据名称为value(变量)将数据批量存储到元数据实例缓存服务器列表中下标为取模后值的缓存子服务器上；
其次，元数据组合关系表加载到分布式缓存框架服务器中的步骤如下：
(a)查询元数据组合关系表，批量获取元数据实例ID和组合关系元数据ID两个字段的数据；
(b)根据元数据实例ID在元数据Hash值映射表中查找相应Hash值，再使用Hash值与缓存子服务器的数量取模，用取模后的值作为该元数据将要存放的缓存子服务器的下标；
(c)以元数据实例ID为Key，组合关系元数据ID为value将数据批量存储到元数据组合关系缓存服务器列表中下标为取模后值的缓存子服务器上；
其中，元数据依赖关系表加载到分布式缓存框架服务器的步骤如下：
(a)查询元数据依赖关系表，批量获取元数据实例ID和依赖关系元数据ID两个字段的数据；
(b)根据元数据实例ID在元数据Hash值映射表中查找相应Hash值，再使用Hash值与缓存子服务器的数量取模，用取模后的值作为该元数据将要存放的缓存子服务器的下标；
(c)以元数据实例ID为key，以元数据类型、元数据名称为value将数据批量存储到缓存子服务器列表中下标为取模后值的缓存子服务器上；
4、用户提交要分析的数据给元数据分析客户端；
41、用户通过图形化界面选中元数据节点并决定要进行的元数据分析功能；
42、元数据分析功能类型包括：血缘分析、影响分析、关联分析、拓扑分析、指标分析等。
43、图形化界面接收用户的动作并提交相关数据给元数据分析客户端；
44、图形化界面提交的数据格式：元数据分析功能类型元数据类型元数据名称
5、元数据分析客户端将分析数据提交给服务端进行分析；
51、元数据分析客户端接收到图形化界面发送的数据；
52、元数据分析客户端将数据封装到元数据分析任务中；
53、元数据分析任务的格式：客户端IP地址客户端端口号任务ID任务名称任务类型任务信息
54、元数据分析客户端将任务通过发送消息发送到服务端的接收任务消息队列中；
6、元数据分析服务端执行元数据分析方法，得到分析结果；
61、元数据分析服务端的任务调度模块读取接收消息队列中的任务信息，启动新的分析线程执行元数据分析任务；
62、元数据分析服务端解析任务信息中的参数，得到要进行分析的元数据信息
其中，元数据信息的格式为：元数据分析功能类型元数据类型元数据名称
63、元数据分析服务端根据元数据分析功能的类型使用不同的查询策略，生成不同的查询任务；
其中，由于元数据分析功能的类型主要包括：血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等，因此对应的查询策略包括：血缘分析策略、影响分析策略、关联分析策略、拓扑分析策略、一致性分析策略等；
64、元数据分析服务端根据生成的查询任务，使用分布式缓存框架服务器提供的API(应用程序编程接口)访问元数据实例缓存数据，获得要进行分析的元数据实例ID；
65、元数据分析服务端获得元数据实例ID后，将分布式缓存服务器中以元数据实例ID为key的键－值对象作为根节点，加入到分析结果对象树中；
66、元数据分析服务端将元数据实例ID加入到任务集中，作为进行元数据分析的初始对象；
67、元数据分析服务端以元数据实例ID为参数，通过调用API在元数据组合关系缓存集群和元数据依赖关系缓存集群中查找组合关系元数据ID和依赖关系元数据ID，形成组合关系元数据ID集与依赖关系元数据ID集；
68、为组合关系元数据ID集中的每个组合关系元数据ID启动一个查询线程，以组合关系元数据ID为参数在元数据实例缓存集群中查找到元数据实例对象并加入到分析结果对象树中，以元数据实例ID为父节点；
69、为依赖关系元数据ID集中的每个依赖关系元数据ID启动一个查询线程，以依赖关系元数据ID为参数在元数据实例缓存集群中查找到元数据实例对象并加入到分析结果对象树中，以元数据实例ID为父节点；
610、从任务对象集中删除元数据实例ID，将组合关系元数据ID集与依赖关系元数据ID集加入到任务集中；
611、将任务集中的每个关系元数据ID作为元数据实例ID，执行上面的查询步骤，直到任务集为空
7、元数据分析服务端将分析结果返回至元数据分析客户端；
71、元数据分析服务端将分析结果对象树以XML形式进行封装，形成分析结果消息内容；
72、将分析结果消息发送到元数据分析客户端的解析接收消息队列；
8、元数据分析客户端进行展现；
81、元数据分析客户端从解析接收消息队列接收消息，解析后将分析结果对象树发送给图形化界面模块；
82、图形化界面模块将分析结果对象树以图形化形式进行展现。
采用了该发明中的基于分布式缓存实现元数据分析的系统及方法，通过分布式缓存将元数据库中的元数据信息加载到分布式缓存服务器中，实现了在分布式缓存服务器中直接查询元数据间的关系，不需查询数据库，不产生磁盘I/O，查询效率极高，由于不使用元数据库中元数据表结构，因此不需要数据表连接运算，从而需要大量计算资源，大大降低了系统使用的计算资源。
同时，本系统通过创建连接池提高对分布式缓存服务器的访问性能，由于数据访问连接的创建和销毁都是非常消耗系统资源的，通过提供数据连接池，预先创建好多个数据连接，需要建立连接的时候直接从池中取一个连接使用，使用完成后还回池中，避免数据连接频繁地创建、释放连接的资源消耗。
通过上述优势可知，本发明的基于分布式缓存实现元数据分析的系统及方法架构简单，具有极高的可伸缩性，可以根据需要增加分布式缓存服务器；使用维护方便快捷，工作性能稳定可靠，为企业元数据分析应用的进一步发展奠定了坚实的基础，具有更广泛的应用范围。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (29)

1.一种基于分布式缓存实现元数据分析的系统，其特征在于，所述的系统包括： 
元数据分析客户端，用以响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，以及解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果； 
元数据分析服务端，用以根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，并获得对应的元数据分析结果，以及将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端； 
分布式缓存框架服务器，用以将元数据库中的数据加载至所述的分布式缓存服务器中，并为所述的分布式缓存服务器创建连接池； 
分布式缓存服务器，用以缓存所述的元数据库。 
2.根据权利要求1所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的元数据分析客户端包括图形化界面模块、任务解析模块、解析消息接收队列和解析消息发送队列，其中： 
所述的图形化界面模块，用以响应用户提交的元数据分析指令并得到所对应的元数据分析任务，以及将所对应元数据分析任务的数据发送至所述的任务解析模块，和显示所述的任务解析模块发送的所述的元数据分析结果； 
所述的任务解析模块，用以将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列，以及解析所述的解析消息接收队列接收到的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块； 
所述的解析消息发送队列，用以将所述的元数据分析消息发送至所述的元数据分析服务端； 
所述的解析消息接收队列，用以接收所述的元数据分析服务端发送的分析结果消息。 
3.根据权利要求1所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的元数据分析服务端包括任务调度模块、分布式缓存接口、分析消息发送队列和分析消息接收队列，其中： 
所述的任务调度模块，用以解析所述的分析消息接收队列接收到的元数据分析消息并得到所述的元数据分析任务，以及根据所述的元数据分析任务通过所述的分布式缓存接口调用 所述的分布式缓存框架服务器，并通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器，并得到所述的元数据分析任务对应的元数据分析结果，以及将所对应的元数据分析结果封装为所对应分析结果消息； 
所述的分布式缓存接口，用以访问所述的分布式缓存框架服务器； 
所述的分析消息发送队列，用以发送所对应的分析结果消息至所述的元数据分析客户端； 
所述的分析消息接收队列，用以接收所述的元数据分析客户端发送的所述的元数据分析消息。 
4.根据权利要求1所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的分布式缓存框架服务器包括数据加载模块、连接池管理模块和应用程序编程接口，其中： 
所述的数据加载模块，用以将所述的元数据库中的数据加载至所述的分布式缓存服务器中； 
所述的连接池管理模块，用以为所述的分布式缓存服务器创建连接池； 
所述的应用程序编程接口，用以访问所述的分布式缓存框架服务器的应用程序。 
5.根据权利要求4所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的分布式缓存框架服务器还包括缓存配置模块，所述的缓存配置模块用以存储并管理所述的分布式缓存服务器的相关配置信息。 
6.根据权利要求4所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的分布式缓存框架服务器还包括缓存管理模块，所述的缓存配置模块用以对所述的分布式缓存服务器进行注册、加入、监控和故障检测的管理。 
7.根据权利要求1至6中任一项所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的元数据分析指令包括元数据分析功能类型、元数据类型和元数据名称的信息，所述的元数据分析任务为血缘分析任务、影响分析任务、关联分析任务、拓扑分析任务或指标分析任务，所述的元数据分析任务包括客户端互联网协议地址信息、客户端端口号信息、任务序列号信息、任务名称信息、任务类型信息和任务信息。 
8.根据权利要求1至6中任一项所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的元数据库包括元数据实例表、元数据组合关系表和元数据依赖关系表。 
9.根据权利要求8所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述的分布式缓存服务器由数个缓存子服务器组成，各个缓存子服务器的下标根据所述的元数据实例序列号对应的哈希值对所述的缓存子服务器的数量取模得到。 
10.根据权利要求9所述的基于分布式缓存实现元数据分析的系统，其特征在于，所述 的分布式缓存框架服务器根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法计算得到所述的元数据实例序列号对应的哈希值。 
11.一种利用权利要求1至6中任一项所述的系统实现基于分布式缓存的元数据分析方法，其特征在于，所述的方法包括以下步骤： 
(1)所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中并为所述的分布式缓存服务器创建连接池； 
(2)所述的元数据分析客户端响应用户提交的元数据分析指令，并将所述的元数据分析指令对应的元数据分析消息发送至所述的元数据分析服务端； 
(3)所述的元数据分析服务端根据所述的元数据分析任务通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器，并获得对应的元数据分析结果； 
(4)所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端； 
(5)所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果。 
12.根据权利要求11所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的分布式缓存框架服务器包括数据加载模块，所述的分布式缓存框架服务器将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤： 
(1.1)所述的数据加载模块连接所述的元数据库； 
(1.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表； 
(1.3)所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中。 
13.根据权利要求12所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的数据加载模块查询所述的元数据库中的元数据实例表，并根据所述的元数据实例表创建并保存哈希值映射表，包括以下步骤： 
(1.2.1)所述的数据加载模块创建哈希值映射表； 
(1.2.2)所述的数据加载模块查询所述的元数据库中的元数据实例表，并获取元数据实例序列号、元数据类型和元数据名称三个字段所对应的数据； 
(1.2.3)所述的数据加载模块对元数据实例序列号进行哈希运算，并获得所述的元数据实例序列号对应的哈希值； 
(1.2.4)所述的数据加载模块将所述的元数据实例序列号与所对应的哈希值保存至所述的哈希值映射表。 
14.根据权利要求13所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的数据加载模块对元数据实例序列号进行哈希运算，具体为： 
所述的数据加载模块根据Java对象的HashCode()函数方法、MD5算法或SHA-1算法对元数据实例序列号进行哈希运算。 
15.根据权利要求13所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的数据加载模块将所述的元数据库中的数据加载至所述的分布式缓存服务器中，包括以下步骤： 
(1.3.1)所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中； 
(1.3.2)所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中； 
(1.3.3)所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中。 
16.根据权利要求15所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的分布式缓存服务器包括数个缓存子服务器，所述的数据加载模块将所述的元数据库中的元数据实例表加载到所述的分布式缓存服务器中，包括以下步骤： 
(1.3.1.1)所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模，并用取模后的值作为该元数据实例表中的数据对应缓存的缓存子服务器的下标。 
(1.3.1.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和所述的元数据名称为变量将所述的元数据实例表的数据保存至所对应的缓存子服务器中。 
17.根据权利要求16所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的数据加载模块将所述的元数据库中的元数据组合关系表加载到所述的分布式缓存服务器中，包括以下步骤： 
(1.3.2.1)所述的数据加载模块查询所述的元数据库中的元数据组合关系表，并获取元数据实例序列号和组合关系元数据序列号两个字段的数据； 
(1.3.2.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的组合关系元数据序列号为变量将所述的元数据组合关系表的数据保存至所对应的缓存子服务器中。 
18.根据权利要求17所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的步骤(1.3.2.1)和(1.3.2.2)之间，还包括以下步骤： 
(1.3.2.1.1)所述的数据加载模块通过查询所述的哈希值映射表得到所述的元数据实例序列号所对应的哈希值； 
(1.3.2.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存子服务器的数量取模； 
(1.3.2.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据组合关系表的数据对应缓存的缓存子服务器。 
19.根据权利要求18所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的数据加载模块将所述的元数据库中的元数据依赖关系表加载到所述的分布式缓存服务器中，包括以下步骤： 
(1.3.3.1)所述的数据加载模块查询所述的元数据库中的元数据依赖关系表，并获取元数据实例序列号和依赖关系元数据序列号两个字段的数据； 
(1.3.3.2)所述的数据加载模块以所述的元数据实例序列号为键值，以所述的元数据类型和元数据名称为变量将所述的元数据依赖关系表的数据保存至所对应的缓存子服务器中。 
20.根据权利要求19所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的步骤(1.3.3.1)和(1.3.3.2)之间，还包括以下步骤： 
(1.3.3.1.1)所述的数据加载模块通过查询所述的哈希值映射表得到所述的元数据实例序列号所对应的哈希值； 
(1.3.3.1.2)所述的数据加载模块根据所述的哈希值对所述的缓存服务器的数量取模； 
(1.3.3.1.3)所述的数据加载模块根据取模后的值查询各个缓存子服务器的下标，并找到该元数据依赖关系表的数据对应缓存的缓存子服务器。 
21.根据权利要求20所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的分布式缓存框架服务器包括连接池管理模块和缓存配置模块，所述的为所述的分布式缓存服务器创建连接池，具体为： 
所述的连接池管理模块根据所述的缓存配置模块中存储的所述的分布式缓存服务器的相关配置信息，为所述的分布式缓存服务器创建连接池。 
22.根据权利要求20所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的元数据分析服务端包括任务调度模块、分布式缓存接口和分析消息接收队列，所述的元数据分析服务端根据所述的元数据分析任务通过分布式缓存框架服务器查询分布式缓存服务器，包括以下步骤： 
(3.1)所述的分析消息接收队列接收所述的元数据分析客户端发送的所述的元数据分析消息； 
(3.2)所述的任务调度模块解析所述的元数据分析消息并得到所述的元数据分析任务； 
(3.3)所述的任务调度模块根据所述的元数据分析任务通过所述的分布式缓存接口调用所述的分布式缓存框架服务器； 
(3.4)所述的任务调度模块通过所述的分布式缓存框架服务器查询所述的分布式缓存服务器。 
23.根据权利要求22所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的分布式缓存框架服务器包括应用程序编程接口，所述的获得对应的元数据分析结果，包括以下步骤： 
(3.5)所述的任务调度模块获得所述的元数据库中的元数据实例序列，并将所述的分布式缓存服务器中以元数据实例序列号为键值的缓存数据为根节点，并将所述的根节点加入到分析结果对象树中； 
(3.6)所述的任务调度模块将元数据实例序列号加入到任务集中作为进行元数据分析的初始对象； 
(3.7)所述的任务调度模块以元数据实例序列号为参数，并通过调用所述的应用程序编程接口在所述的元数据组合关系模块和所述的元数据依赖关系模块中查找组合关系元数据序列号和依赖关系元数据序列号，形成组合关系元数据序列号集与依赖关系元数据序列号集； 
(3.8)所述的任务调度模块为所述的组合关系元数据序列号集中的各个组合关系元数据序列号启动一个查询线程，以所述的各个组合关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中； 
(3.9)所述的任务调度模块为所述的依赖关系元数据序列号集中的各个依赖关系元数据序列号启动一个查询线程，以所述的各个依赖关系元数据序列号为参数在所述的元数据实例模块中查询得到对应的元数据实例并加入到以所述的元数据实例序列号为根节点的分析结果对象树中； 
(3.10)所述的任务调度模块从所述的任务集中删除元数据实例序列号，将所述的组合关系元数据序列号集与依赖关系元数据序列号集加入到所述的任务集中； 
(3.11)所述的任务调度模将所述的任务集中的各个关系元数据序列号作为元数据实例序列号，返回上述步骤(3.6)，直到所述的任务集为空。 
24.根据权利要求11所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的元数据分析客户端包括图形化界面模块，所述的元数据分析客户端响应用户提交的元数据分析指令，包括以下步骤： 
(2.1)所述的图形化界面模块显示图形化界面； 
(2.2)所述的图形化界面模块响应用户提交的元数据分析指令并得到所对应的元数据分析任务。 
25.根据权利要求24所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的元数据分析客户端还包括任务解析模块和解析消息发送队列，所述的将所述的元数据分析指令对应的元数据分析消息发送至元数据分析服务端，包括以下步骤： 
(2.3)所述的任务解析模块将所述元数据分析任务的数据封装为对应的元数据分析消息，并将所对应的元数据分析消息发送至所述的解析消息发送队列； 
(2.4)所述的解析消息发送队列将所述的元数据分析消息发送至所述的元数据分析服务端。 
26.根据权利要求11所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的元数据分析服务端包括任务调度模块和分析消息发送队列，所述的元数据分析服务端将所述的元数据分析结果对应的分析结果消息发送至所述的元数据分析客户端，包括以下步骤： 
(4.1)所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息； 
(4.2)所述的分析消息发送队列发送所述的对应的分析结果消息至所述的元数据分析客户端。 
27.根据权利要求26所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的任务调度模块将所对应的元数据分析结果封装为所对应分析结果消息，具体为： 
所述的任务调度模块将所对应的元数据分析结果以XML方式进行封装，并得到所对应分析结果消息。
28.根据权利要求11所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的元数据分析客户端包括图形化界面模块、任务解析模块和解析消息接收队列，所述的元数据分析客户端解析所述的元数据分析服务端发送的分析结果消息得到元数据分析结果，并显示所述的元数据分析结果，包括以下步骤： 
(5.1)所述的解析消息接收队列接收所述的元数据分析服务端发送的分析结果消息； 
(5.2)所述的任务解析模块解析所述的分析结果消息并得到所述的元数据分析结果，以及将所述的元数据分析结果发送至所述的图形化界面模块； 
(5.3)所述的图形化界面模块显示所述的元数据分析结果。 
29.根据权利要求28所述的实现基于分布式缓存的元数据分析方法，其特征在于，所述的图形化界面模块显示所述的元数据分析结果，具体为： 
所述的图形化界面模块以图形的方式显示所述的元数据分析结果。 
CN201410521926.5A 2014-09-30 2014-09-30 基于分布式缓存实现元数据分析的系统及方法 Pending CN104239572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410521926.5A CN104239572A (zh) 2014-09-30 2014-09-30 基于分布式缓存实现元数据分析的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410521926.5A CN104239572A (zh) 2014-09-30 2014-09-30 基于分布式缓存实现元数据分析的系统及方法

Publications (1)

Publication Number Publication Date
CN104239572A true CN104239572A (zh) 2014-12-24

Family

ID=52227631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410521926.5A Pending CN104239572A (zh) 2014-09-30 2014-09-30 基于分布式缓存实现元数据分析的系统及方法

Country Status (1)

Country Link
CN (1) CN104239572A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899314A (zh) * 2015-06-17 2015-09-09 北京京东尚科信息技术有限公司 一种数据仓库的血统分析方法和装置
CN105426467A (zh) * 2015-11-16 2016-03-23 北京京东尚科信息技术有限公司 一种用于Presto的SQL查询方法及系统
CN106066894A (zh) * 2016-06-23 2016-11-02 广州市百果园网络科技有限公司 数据全缓存方法和数据全缓存装置
CN106528725A (zh) * 2016-10-28 2017-03-22 湖北工业大学 一种基于上下文感知的智慧城市云计算分析方法
CN106599178A (zh) * 2016-12-12 2017-04-26 国云科技股份有限公司 一种可实现快速寻找并支持分布存储的大数据处理方法
CN107180017A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN107463512A (zh) * 2017-06-26 2017-12-12 上海高顿教育培训有限公司 分布式高速存储系统的数据更新方法
CN107710203A (zh) * 2015-06-29 2018-02-16 微软技术许可有限责任公司 分布式键/值存储库之上的事务数据库层
CN107920121A (zh) * 2017-11-22 2018-04-17 湖南城市学院 一种基于互联网的体育测试方法
CN108009250A (zh) * 2017-12-01 2018-05-08 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN108009209A (zh) * 2017-11-08 2018-05-08 山东中创软件商用中间件股份有限公司 一种查询服务血缘关系信息的方法及装置
CN109064317A (zh) * 2018-08-10 2018-12-21 玖富金科控股集团有限责任公司 一种数据接收与转发方法、电子设备和可读存储介质
CN109284097A (zh) * 2018-09-07 2019-01-29 武汉轻工大学 实现复杂数据分析的方法、设备、系统及存储介质
CN109439620A (zh) * 2018-11-02 2019-03-08 杜玲娟 一种用于活化干细胞的方法和装置
CN109857924A (zh) * 2019-02-28 2019-06-07 重庆科技学院 一种大数据分析监察信息处理系统及方法
CN110895487A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 分布式任务调度系统
CN111797158A (zh) * 2019-04-08 2020-10-20 北京沃东天骏信息技术有限公司 数据同步系统、方法和计算机可读存储介质
CN111984191A (zh) * 2020-08-05 2020-11-24 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种支持分布式存储的多客户端缓存方法及系统
CN112699100A (zh) * 2020-12-31 2021-04-23 天津浪淘科技股份有限公司 一种基于元数据管理分析系统
CN114648258A (zh) * 2022-05-23 2022-06-21 江苏金融租赁股份有限公司 基于融资租赁业务系统的任务调度方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195610B1 (en) * 2007-05-08 2012-06-05 IdeaBlade, Inc. Method and apparatus for cache management of distributed objects
CN102710790A (zh) * 2012-06-20 2012-10-03 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存实现方法及系统
CN102724314A (zh) * 2012-06-20 2012-10-10 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存客户端
CN103019960A (zh) * 2012-12-03 2013-04-03 华为技术有限公司 分布式缓存方法及系统
CN103646111A (zh) * 2013-12-25 2014-03-19 普元信息技术股份有限公司 大数据环境下实现实时数据关联的系统及方法
CN103853714A (zh) * 2012-11-28 2014-06-11 中国移动通信集团河南有限公司 一种数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195610B1 (en) * 2007-05-08 2012-06-05 IdeaBlade, Inc. Method and apparatus for cache management of distributed objects
CN102710790A (zh) * 2012-06-20 2012-10-03 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存实现方法及系统
CN102724314A (zh) * 2012-06-20 2012-10-10 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存客户端
CN103853714A (zh) * 2012-11-28 2014-06-11 中国移动通信集团河南有限公司 一种数据处理方法和装置
CN103019960A (zh) * 2012-12-03 2013-04-03 华为技术有限公司 分布式缓存方法及系统
CN103646111A (zh) * 2013-12-25 2014-03-19 普元信息技术股份有限公司 大数据环境下实现实时数据关联的系统及方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899314B (zh) * 2015-06-17 2018-10-19 北京京东尚科信息技术有限公司 一种数据仓库的血统分析方法和装置
CN104899314A (zh) * 2015-06-17 2015-09-09 北京京东尚科信息技术有限公司 一种数据仓库的血统分析方法和装置
CN107710203A (zh) * 2015-06-29 2018-02-16 微软技术许可有限责任公司 分布式键/值存储库之上的事务数据库层
US11301457B2 (en) 2015-06-29 2022-04-12 Microsoft Technology Licensing, Llc Transactional database layer above a distributed key/value store
CN105426467B (zh) * 2015-11-16 2018-11-20 北京京东尚科信息技术有限公司 一种用于Presto的SQL查询方法及系统
CN105426467A (zh) * 2015-11-16 2016-03-23 北京京东尚科信息技术有限公司 一种用于Presto的SQL查询方法及系统
CN107180017A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN107180017B (zh) * 2016-03-11 2021-05-28 阿里巴巴集团控股有限公司 一种样本序列化方法和装置
CN106066894A (zh) * 2016-06-23 2016-11-02 广州市百果园网络科技有限公司 数据全缓存方法和数据全缓存装置
CN106528725A (zh) * 2016-10-28 2017-03-22 湖北工业大学 一种基于上下文感知的智慧城市云计算分析方法
CN106599178A (zh) * 2016-12-12 2017-04-26 国云科技股份有限公司 一种可实现快速寻找并支持分布存储的大数据处理方法
CN106599178B (zh) * 2016-12-12 2019-08-30 国云科技股份有限公司 一种可实现快速寻找并支持分布存储的大数据处理方法
CN107463512A (zh) * 2017-06-26 2017-12-12 上海高顿教育培训有限公司 分布式高速存储系统的数据更新方法
CN107463512B (zh) * 2017-06-26 2020-11-13 上海高顿教育培训有限公司 分布式高速存储系统的数据更新方法
CN108009209A (zh) * 2017-11-08 2018-05-08 山东中创软件商用中间件股份有限公司 一种查询服务血缘关系信息的方法及装置
CN108009209B (zh) * 2017-11-08 2021-11-23 山东中创软件商用中间件股份有限公司 一种查询服务血缘关系信息的方法及装置
CN107920121A (zh) * 2017-11-22 2018-04-17 湖南城市学院 一种基于互联网的体育测试方法
CN108009250B (zh) * 2017-12-01 2021-09-07 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN108009250A (zh) * 2017-12-01 2018-05-08 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN109064317B (zh) * 2018-08-10 2021-04-02 玖富金科控股集团有限责任公司 一种数据接收与转发方法、电子设备和可读存储介质
CN109064317A (zh) * 2018-08-10 2018-12-21 玖富金科控股集团有限责任公司 一种数据接收与转发方法、电子设备和可读存储介质
CN109284097B (zh) * 2018-09-07 2022-02-15 武汉轻工大学 实现复杂数据分析的方法、设备、系统及存储介质
CN109284097A (zh) * 2018-09-07 2019-01-29 武汉轻工大学 实现复杂数据分析的方法、设备、系统及存储介质
CN110895487A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 分布式任务调度系统
CN110895487B (zh) * 2018-09-12 2023-03-10 北京奇虎科技有限公司 分布式任务调度系统
CN109439620A (zh) * 2018-11-02 2019-03-08 杜玲娟 一种用于活化干细胞的方法和装置
CN109857924A (zh) * 2019-02-28 2019-06-07 重庆科技学院 一种大数据分析监察信息处理系统及方法
CN111797158A (zh) * 2019-04-08 2020-10-20 北京沃东天骏信息技术有限公司 数据同步系统、方法和计算机可读存储介质
CN111797158B (zh) * 2019-04-08 2024-04-05 北京沃东天骏信息技术有限公司 数据同步系统、方法和计算机可读存储介质
CN111984191A (zh) * 2020-08-05 2020-11-24 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种支持分布式存储的多客户端缓存方法及系统
CN112699100A (zh) * 2020-12-31 2021-04-23 天津浪淘科技股份有限公司 一种基于元数据管理分析系统
CN114648258A (zh) * 2022-05-23 2022-06-21 江苏金融租赁股份有限公司 基于融资租赁业务系统的任务调度方法及系统

Similar Documents

Publication Publication Date Title
CN104239572A (zh) 基于分布式缓存实现元数据分析的系统及方法
US10698913B2 (en) System and methods for distributed database query engines
JP6617117B2 (ja) 半構造データのためのスケーラブルな分析プラットフォーム
US11704331B2 (en) Dynamic generation of data catalogs for accessing data
Li et al. A storage solution for massive IoT data based on NoSQL
JP6266630B2 (ja) アーカイブされたリレーションを有する連続クエリの管理
CN109656963B (zh) 元数据获取方法、装置、设备及计算机可读存储介质
CN103678665A (zh) 一种基于数据仓库的异构大数据整合方法和系统
Holzschuher et al. Querying a graph database–language selection and performance considerations
WO2010042238A1 (en) System and method for data warehousing and analytics on a distributed file system
Im et al. Pinot: Realtime olap for 530 million users
CN104462161A (zh) 基于分布式数据库的结构化数据查询方法
CN104199978A (zh) 基于NoSQL实现元数据缓存与分析的系统及方法
US10776368B1 (en) Deriving cardinality values from approximate quantile summaries
US11853301B1 (en) Sharing compiled code for executing queries across query engines
CN103034650A (zh) 一种数据处理系统和方法
Liu et al. Using provenance to efficiently improve metadata searching performance in storage systems
Näsholm Extracting data from nosql databases-a step towards interactive visual analysis of nosql data
US11620284B2 (en) Backend data aggregation system and method
CN110245184B (zh) 一种基于tagSQL的数据处理方法、系统及装置
CN114443599A (zh) 数据同步方法、装置、电子设备及存储介质
CN113312345A (zh) 结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法
US11609934B2 (en) Notification framework for document store
US8930426B2 (en) Distributed requests on remote data
Murthy et al. Peregrine: Low-latency queries on hive warehouse data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141224

WD01 Invention patent application deemed withdrawn after publication