CN103617175A - 一种用于大规模分布异构数据的虚拟化方法 - Google Patents

一种用于大规模分布异构数据的虚拟化方法 Download PDF

Info

Publication number
CN103617175A
CN103617175A CN201310539465.XA CN201310539465A CN103617175A CN 103617175 A CN103617175 A CN 103617175A CN 201310539465 A CN201310539465 A CN 201310539465A CN 103617175 A CN103617175 A CN 103617175A
Authority
CN
China
Prior art keywords
virtual
data
mapping
virtual view
varchar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310539465.XA
Other languages
English (en)
Inventor
刘祥涛
谢毅
岳强
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electronic Industry Institute Co Ltd
Original Assignee
Guangdong Electronic Industry Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Electronic Industry Institute Co Ltd filed Critical Guangdong Electronic Industry Institute Co Ltd
Priority to CN201310539465.XA priority Critical patent/CN103617175A/zh
Priority to US14/400,890 priority patent/US9715536B2/en
Priority to EP14805772.2A priority patent/EP2891993A4/en
Priority to PCT/CN2014/071942 priority patent/WO2015062182A1/zh
Publication of CN103617175A publication Critical patent/CN103617175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases

Abstract

本发明涉及计算机应用技术领域，尤其是一种大规模分布异构数据的虚拟化方法。本发明包括三层结构和两级映射；三层结构指的是根据数据抽象级别的不同，由低到高将数据模型分为三个层次：物理层、虚拟表层、虚拟视图层，每一层都有自己特有的数据模型；两级映射分别为PV映射和VV映射，指的是层与层之间数据模型的转换机制。本发明解决了分布异构数据的虚拟化；可以用于数据的互联互通处理上。

Description

一种用于大规模分布异构数据的虚拟化方法
技术领域
本发明涉及计算机应用技术领域，尤其是一种大规模分布异构数据的虚拟化方法。
背景技术
在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素的影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据；包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，构成了企业的异构数据源。这些分散的不同业务的数据管理系统虽然能够满足业务数据存储和管理要求，但在许多情况下，企业领导要做出一项决策，往往需要查询多个基于各种异构数据源的业务系统和外部系统，进行大量数据分析后才能做出决策。
因此，异构数据源的整合与集成是企业信息化建设过程经常遇到的一个现实问题。也是制约企业各种应用信息系统建设和数据共享程度，以及信息化建设投资重复或负担重的一个重要因素。
数据资源整合过程中的一项关键技术就是如何对异构数据进行虚拟化，抽象出一个统一的数据模型，以屏蔽底层数据资源访问的分布性和异构性，实现数据的互联互通以及全局统一的数据视图。
发明内容
本发明解决的技术问题在于提供一种用于大规模分布异构数据的虚拟化方法；可以有效的解决大规模分布异构数据的描述、组织、定位和访问，提供全局统一的数据结构以及访问接口。
本发明解决上述技术问题的技术方案是：
所述方法由三层结构、两级映射两个部分实现；
所述的三层结构包括物理层、虚拟表层、虚拟视图层；
所述的物理层由各种分布、异构的数据源组成，每一种数据源都有自己专有的数据结构、访问接口；这些数据源包括数据库系统、文件系统、Web Service；
所述的虚拟表层对物理层的数据资源进行封装和抽象，通过虚拟化机制，将物理层的数据源统一表示成简单的二维关系，即虚拟表；虚拟表和物理表一一对应，映射信息存储在元数据管理器中；
所述的虚拟视图层直接面向用户，虚拟视图为用户提供满足应用需求的数据规范或者业务模式；所述的虚拟视图是一个二维关系，由一个或者多个虚拟表通过关系算子运算而成，虚拟视图与虚拟表的关系为1：n的关系，一个虚拟视图对应一个或者多个虚拟表，映射信息存储在元数据管理器中；
所述的两级映射包括PV映射和VV映射；
所述的PV映射为第一级映射，负责物理层的物理表到虚拟表层的虚拟表之间的映射；PV映射主要包括三个方面：结构映射、类型映射、地址映射；所述的结构将异构的数据结构统一映射成标准的二维关系，也就是虚拟表；类型映射将多样的数据类型统一映射成单一的字符串型；地址映射将物理数据源的物理地址统一映射成虚拟地址，形成一个全局统一的地址空间，屏蔽数据源的物理分布性；
所述的VV映射为第二级映射，负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射；主要是实现数据内容映射，即：通过关系算子的运算，将虚拟表中的数据转换成虚拟视图中的数据，将基础的数据加工、映射成业务所需要的数据。
所述的虚拟表层的虚拟表由表名和字段列表两部分组成，虚拟表中的字段只有一种数据类型，为字符串型；在与物理层数据源交互时，会转化成数据源真实的数据类型；每一个虚拟表及其字段都有一个虚拟地址，虚拟地址是一个11位的十进制编码，中间一位是标志位，虚拟表的虚拟地址中该标志位为“9”；所有的虚拟地址构成一个全局的地址空间。
所述的虚拟视图由表名和字段列表组成；所述的关系算子包括选择、投影、连接、加、聚合等；所述的虚拟视图之间也可以进行关系运算，产生更复杂的虚拟视图；虚拟视图也设有虚拟地址，虚拟地址的中间标志位为“5”。
所述的PV映射实现的关键数据结构记录在一个元数据表metapv中；metapv的主要字段如下表所示：
metapv表结构
Figure BDA0000407908450000031
所述的VV映射实现的关键数据结构记录在一个元数据表metavv中；metavv的主要字段如下表所示：
metavv表结构
序号 字段名 字段类型 说明
1 vvId varchar(11) 虚拟视图的虚拟地址，共11位
2 name varchar(80) 虚拟视图的名字
3 creator varchar(40) 虚拟视图的创建者
4 joinor text 参与连接运算的字段列表
5 attributes mediumtext 虚拟视图到虚拟表的字段映射
6 groupby varchar(255) 参加聚合运算的字段列表
7 groupbyhaving text 聚合后的过滤条件
8 orderby varchar(80) 参与排序运算的字段列表
9 fetchnumber varchar(80) 每一页的记录数
10 description varchar(255) 虚拟视图的描述信息
11 createTime varchar(20) 虚拟视图的创建时间
本发明的方法可以对分布、异构的数据进行虚拟化，抽象出一个统一的数据模型，屏蔽底层数据资源访问的分布性和异构性，实现数据的互联互通以及全局统一的数据视图。本发明支持多种数据库系统(MySQL、Oracle、SQL Server、DB2)以及文件系统(Excel文件、KV文件)。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明的三层结构虚拟化模型图；
图2是本发明的虚拟化模型示例图。
具体实施方式
如图1所示，本发明核心内容有两个：
(1)三层结构：该方法根据数据抽象级别的不同，由低到高将数据模型分为三个层次：物理层(Physical Layer)、虚拟表层(Virtual Table Layer)、虚拟视图层(Virtual View Layer)，每一层都有自己特有的数据模型，数据模型包括两个部分：
a)数据结构：数据在系统中的逻辑表达形式；
b)行为操作：表现在数据的访问接口。
(2)两级映射：指的是层与层之间数据模型的转换机制，两级映射指的是：
a)第一级映射：物理层到虚拟表层的映射，简称“PV映射”；
b)第二级映射：虚拟表层到虚拟视图层的映射，简称“VV映射”。
1、物理层
物理层由各种分布、异构的数据源组成，每一种数据源都有自己专有的数据结构、访问接口。这些数据源包括：
(1)数据库系统：如Mysql、Oracle、DB2以及SQL Server，每种数据库虽然均使用二维关系表作为其逻辑数据结构，然而对二维关系表的访问接口不尽相同；
(2)文件系统：文件系统是一种非结构化的数据模型，且大部分的文件系统遵循的是POSIX标准的接口，这和数据库系统遵循的SQL访问接口标准完全不同；
(3)Web Service：这类数据源提供的数据模型就根据灵活，通常在业界没有标准可循，基本上是各个服务提供商自己定义，因此，其数据结构和访问接口具有很大的随意性。
2、虚拟表层
该层对物理层的数据资源进行封装和抽象，通过虚拟化机制，将物理层的数据源统一表示成简单的二维关系，即虚拟表。虚拟表和物理表一一对应，映射信息存储在元数据管理器中。虚拟表由两部分组成：表名和字段列表。虚拟表中的字段只有一种数据类型，为字符串型(String)。在与物理层数据源交互时，会转化成数据源真实的数据类型。每一个虚拟表及其字段都有一个虚拟地址，虚拟地址是一个11位的十进制编码，中间一位是标志位，虚拟表的虚拟地址中该标志位为“9”。所有的虚拟地址构成一个全局的地址空间。虚拟表层解决了底层数据源的异构性和分布性问题。
3、虚拟视图层
虚拟视图层直接面向用户，虚拟视图为用户提供满足应用需求的数据规范，或者业务模式。与虚拟表一样，虚拟视图也是一个二维关系，由表名和字段列表组成。虚拟视图也有虚拟地址，虚拟地址的中间标志位为“5”。虚拟视图是由一个或者多个虚拟表通过关系算子运算而成，这些关系算子包括选择、投影、连接、加、聚合等。因此，虚拟视图与虚拟表的关系为1：n的关系，一个虚拟视图对应一个或者多个虚拟表，映射信息存储在元数据管理器中。如图2所示，虚拟视图VV1、VV2分别是由虚拟表VT1和VT2、VT3和VT4通过Join算子执行运算的结果。此外，虚拟视图之间也可以进行关系运算，产生更复杂的虚拟视图，如虚拟表VV1和VV2通过Union运算产生VV3。虚拟视图层解决了用户的业务需求，用户可以根据个性化需求，构建满足要求的虚拟视图。
4、PV映射
PV映射为第一级映射，负责物理层的物理表到虚拟表层的虚拟表之间的映射。PV映射的内容主要包括三个方面：
(1)结构映射：物理数据源的数据结构多样，包括结构化、半结构化、以及非结构化，结构映射负责将这些异构的数据结构统一映射成标准的二维关系，也就是虚拟表。
(2)类型映射：物理数据源的数据类型也存在多样性，包括整型、字符串型、布尔型、日期型等，且这些数据类型的具体定义在各个数据库中也不尽相同，类型映射负责将这些多样的数据类型统一映射成单一的字符串型。
(3)地址映射：物理数据源分布在多个服务器上，形成多个地址空间，地址映射负责将物理数据源的物理地址统一映射成虚拟地址，形成一个全局统一的地址空间，屏蔽数据源的物理分布性。
5、VV映射
VV映射为第二级映射，负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射。VV映射的主要功能是实现数据内容映射，即：通过关系算子的运算，VV映射将虚拟表中的数据转换成虚拟视图中的数据，将基础的数据加工、映射成业务所需要的数据。
6、PV映射的实现
实现PV映射的关键数据结构记录在一个元数据表metapv中。metapv的主要字段如表1所示。
表1metapv表结构
Figure BDA0000407908450000071
7、VV映射的实现
实现VV映射的关键数据结构记录在一个元数据表metavv中。metavv的主要字段如表2所示。
表2metavv表结构
Figure BDA0000407908450000081

Claims (7)

1.一种用于大规模分布异构数据的虚拟化方法，其特征在于：所述方法由三层结构、两级映射两个部分实现；
所述的三层结构包括物理层、虚拟表层、虚拟视图层；
所述的物理层由各种分布、异构的数据源组成，每一种数据源都有自己专有的数据结构、访问接口；这些数据源包括数据库系统、文件系统、Web Service；
所述的虚拟表层对物理层的数据资源进行封装和抽象，通过虚拟化机制，将物理层的数据源统一表示成简单的二维关系，即虚拟表；虚拟表和物理表一一对应，映射信息存储在元数据管理器中；
所述的虚拟视图层直接面向用户，虚拟视图为用户提供满足应用需求的数据规范或者业务模式；所述的虚拟视图是一个二维关系，由一个或者多个虚拟表通过关系算子运算而成，虚拟视图与虚拟表的关系为1：n的关系，一个虚拟视图对应一个或者多个虚拟表，映射信息存储在元数据管理器中；
所述的两级映射包括PV映射和VV映射；
所述的PV映射为第一级映射，负责物理层的物理表到虚拟表层的虚拟表之间的映射；PV映射主要包括三个方面：结构映射、类型映射、地址映射；所述的结构将异构的数据结构统一映射成标准的二维关系，也就是虚拟表；类型映射将多样的数据类型统一映射成单一的字符串型；地址映射将物理数据源的物理地址统一映射成虚拟地址，形成一个全局统一的地址空间，屏蔽数据源的物理分布性；
所述的VV映射为第二级映射，负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射；主要是实现数据内容映射，即：通过关系算子的运算，将虚拟表中的数据转换成虚拟视图中的数据，将基础的数据加工、映射成业务所需要的数据。
2.根据权利要求1所述的虚拟化方法，其特征在于：所述的虚拟表层的虚拟表由表名和字段列表两部分组成，虚拟表中的字段只有一种数据类型，为字符串型；在与物理层数据源交互时，会转化成数据源真实的数据类型；每一个虚拟表及其字段都有一个虚拟地址，虚拟地址是一个11位的十进制编码，中间一位是标志位，虚拟表的虚拟地址中该标志位为“9”；所有的虚拟地址构成一个全局的地址空间。
3.根据权利要求1所述的虚拟化方法，其特征在于：所述的虚拟视图由表名和字段列表组成；所述的关系算子包括选择、投影、连接、加、聚合等；所述的虚拟视图之间也可以进行关系运算，产生更复杂的虚拟视图；虚拟视图也设有虚拟地址，虚拟地址的中间标志位为“5”。
4.根据权利要求2所述的虚拟化方法，其特征在于：所述的虚拟视图由表名和字段列表组成；所述的关系算子包括选择、投影、连接、加、聚合等；所述的虚拟视图之间也可以进行关系运算，产生更复杂的虚拟视图；虚拟视图也设有虚拟地址，虚拟地址的中间标志位为“5”。
5.根据权利要求1至4任一项所述的虚拟化方法，其特征在于：所述的PV映射实现的关键数据结构记录在一个元数据表metapv中；metapv的主要字段如下表所示：
metapv表结构
Figure FDA0000407908440000021
Figure FDA0000407908440000031
6.根据权利要求1至4任一项所述的虚拟化方法，其特征在于：所述的VV映射实现的关键数据结构记录在一个元数据表metavv中；metavv的主要字段如下表所示：
metavv表结构
序号 字段名 字段类型 说明 1 vvId varchar(11) 虚拟视图的虚拟地址，共11位 2 name varchar(80) 虚拟视图的名字 3 creator varchar(40) 虚拟视图的创建者 4 joinor text 参与连接运算的字段列表 5 attributes mediumtext 虚拟视图到虚拟表的字段映射 6 groupby varchar(255) 参加聚合运算的字段列表 7 groupbyhaving text 聚合后的过滤条件 8 orderby varchar(80) 参与排序运算的字段列表 9 fetchnumber varchar(80) 每一页的记录数 10 description varchar(255) 虚拟视图的描述信息 11 createTime varchar(20) 虚拟视图的创建时间
7.根据权利要求5所述的虚拟化方法，其特征在于：所述的VV映射实现的关键数据结构记录在一个元数据表metavv中；metavv的主要字段如下表所示：
metavv表结构
序号 字段名 字段类型 说明 1 vvId varchar(11) 虚拟视图的虚拟地址，共11位 2 name varchar(80) 虚拟视图的名字
3 creator varchar(40) 虚拟视图的创建者 4 joinor text 参与连接运算的字段列表 5 attributes mediumtext 虚拟视图到虚拟表的字段映射 6 groupby varchar(255) 参加聚合运算的字段列表 7 groupbyhaving text 聚合后的过滤条件 8 orderby varchar(80) 参与排序运算的字段列表 9 fetchnumber varchar(80) 每一页的记录数 10 description varchar(255) 虚拟视图的描述信息 11 createTime varchar(20) 虚拟视图的创建时间
CN201310539465.XA 2013-11-04 2013-11-04 一种用于大规模分布异构数据的虚拟化方法 Pending CN103617175A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310539465.XA CN103617175A (zh) 2013-11-04 2013-11-04 一种用于大规模分布异构数据的虚拟化方法
US14/400,890 US9715536B2 (en) 2013-11-04 2014-02-10 Virtualization method for large-scale distributed heterogeneous data
EP14805772.2A EP2891993A4 (en) 2013-11-04 2014-02-10 METHOD FOR VIRTUALIZING EXTENSIVE DISTRIBUTED HETEROGENIC DATA
PCT/CN2014/071942 WO2015062182A1 (zh) 2013-11-04 2014-02-10 大规模分布异构数据的虚拟化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310539465.XA CN103617175A (zh) 2013-11-04 2013-11-04 一种用于大规模分布异构数据的虚拟化方法

Publications (1)

Publication Number Publication Date
CN103617175A true CN103617175A (zh) 2014-03-05

Family

ID=50167878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310539465.XA Pending CN103617175A (zh) 2013-11-04 2013-11-04 一种用于大规模分布异构数据的虚拟化方法

Country Status (4)

Country Link
US (1) US9715536B2 (zh)
EP (1) EP2891993A4 (zh)
CN (1) CN103617175A (zh)
WO (1) WO2015062182A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133889A (zh) * 2014-07-30 2014-11-05 国云科技股份有限公司 一种数据库虚拟化微内核数据源注册与封装方法
CN104156419A (zh) * 2014-08-03 2014-11-19 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
WO2016101301A1 (zh) * 2014-12-25 2016-06-30 广东电子工业研究院有限公司 关系型数据库表模式对象化和虚拟化机制
CN106933842A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种数据库查询方法和装置
CN106980514A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 配置数据的更新方法和装置
CN107943945A (zh) * 2017-11-24 2018-04-20 清华大学 一种大数据分析开发平台中异构算子管理方法
CN108268524A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据库聚合处理方法及装置
US10152233B2 (en) 2014-08-12 2018-12-11 Huawei Technologies Co., Ltd. File management method, distributed storage system, and management node
CN109565654A (zh) * 2016-09-02 2019-04-02 英特尔公司 虚拟专用网络
CN111209229A (zh) * 2019-12-30 2020-05-29 苏州艾利特机器人有限公司 一种基于虚拟设备的现场总线方法
CN113076366A (zh) * 2021-04-09 2021-07-06 南京邮电大学 一种智慧灯杆虚拟化方法
CN113254953A (zh) * 2021-04-28 2021-08-13 深圳市鹰硕技术有限公司 权限分配管理方法、装置、在线教育系统及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069492A (zh) * 2017-12-04 2019-07-30 复旦大学 民机技术出版物与培训数据集成方法
CN112100261B (zh) * 2020-09-14 2024-04-09 南京国睿信维软件有限公司 基于异构数据源连接的物模型建模方法
CN114398366B (zh) * 2021-12-28 2022-12-27 重庆允成互联网科技有限公司 一种异构数据输入方法及数据工厂配置系统
US20240045884A1 (en) * 2022-08-05 2024-02-08 Open Text Sa Ulc System and method for cloud-based replication of data
CN116450609B (zh) * 2023-04-14 2024-01-30 北京友友天宇系统技术有限公司 基于统一语法在异构数据源上建模的方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000618A (zh) * 2006-12-25 2007-07-18 华为技术有限公司 建立无连接的数据编程模型的方法、装置及其应用
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN101201842A (zh) * 2007-10-30 2008-06-18 北京航空航天大学 数字博物馆网格及其构造方法
US20080281802A1 (en) * 2006-03-03 2008-11-13 International Business Machines Corporation Building A Unified Query That Spans Heterogeneous Environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185016B1 (en) * 2000-09-01 2007-02-27 Cognos Incorporated Methods and transformations for transforming metadata model
US7627552B2 (en) * 2003-03-27 2009-12-01 Microsoft Corporation System and method for filtering and organizing items based on common elements
US7251653B2 (en) * 2004-06-30 2007-07-31 Microsoft Corporation Method and system for mapping between logical data and physical data
US7853947B2 (en) * 2004-09-30 2010-12-14 Citrix Systems, Inc. System for virtualizing access to named system objects using rule action associated with request
US8315999B2 (en) * 2007-08-29 2012-11-20 Nirvanix, Inc. Policy-based file management for a storage delivery network
US8201029B2 (en) * 2008-01-31 2012-06-12 International Business Machines Corporation Method and apparatus for operating system event notification mechanism using file system interface
US8185509B2 (en) * 2008-10-15 2012-05-22 Sap France Association of semantic objects with linguistic entity categories
US7930447B2 (en) * 2008-10-17 2011-04-19 International Business Machines Corporation Listing windows of active applications of computing devices sharing a keyboard based upon requests for attention
US8132168B2 (en) * 2008-12-23 2012-03-06 Citrix Systems, Inc. Systems and methods for optimizing a process of determining a location of data identified by a virtual hard drive address
US8671105B2 (en) * 2010-09-03 2014-03-11 Tata Consultancy Services Limited Data integration using conceptual modeling framework
US8346788B1 (en) * 2011-03-29 2013-01-01 Emc Corporation Techniques for mapping data models using an intermediate processing layer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281802A1 (en) * 2006-03-03 2008-11-13 International Business Machines Corporation Building A Unified Query That Spans Heterogeneous Environments
CN101000618A (zh) * 2006-12-25 2007-07-18 华为技术有限公司 建立无连接的数据编程模型的方法、装置及其应用
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN101201842A (zh) * 2007-10-30 2008-06-18 北京航空航天大学 数字博物馆网格及其构造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI XIE ET AL: ""A Simple and Efficient Parallel Approach to Large-Scale Railway Freight Data Analysis"", 《2010 12TH IEEE INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATIONS》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015439A1 (zh) * 2014-07-30 2016-02-04 国云科技股份有限公司 数据库虚拟化微内核数据源的注册与封装方法
CN104133889B (zh) * 2014-07-30 2017-04-19 国云科技股份有限公司 一种数据库虚拟化微内核数据源注册与封装方法
CN104133889A (zh) * 2014-07-30 2014-11-05 国云科技股份有限公司 一种数据库虚拟化微内核数据源注册与封装方法
CN104156419A (zh) * 2014-08-03 2014-11-19 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
CN104156419B (zh) * 2014-08-03 2019-07-26 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
US11656763B2 (en) 2014-08-12 2023-05-23 Huawei Technologies Co., Ltd. File management method, distributed storage system, and management node
US11029848B2 (en) 2014-08-12 2021-06-08 Huawei Technologies Co., Ltd. File management method, distributed storage system, and management node
US10152233B2 (en) 2014-08-12 2018-12-11 Huawei Technologies Co., Ltd. File management method, distributed storage system, and management node
WO2016101301A1 (zh) * 2014-12-25 2016-06-30 广东电子工业研究院有限公司 关系型数据库表模式对象化和虚拟化机制
CN106933842B (zh) * 2015-12-29 2020-09-22 阿里巴巴集团控股有限公司 一种数据库查询方法和装置
CN106933842A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种数据库查询方法和装置
CN106980514A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 配置数据的更新方法和装置
CN109565654A (zh) * 2016-09-02 2019-04-02 英特尔公司 虚拟专用网络
CN109565654B (zh) * 2016-09-02 2022-02-25 英特尔公司 虚拟专用网络
CN108268524A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 数据库聚合处理方法及装置
CN107943945A (zh) * 2017-11-24 2018-04-20 清华大学 一种大数据分析开发平台中异构算子管理方法
CN111209229A (zh) * 2019-12-30 2020-05-29 苏州艾利特机器人有限公司 一种基于虚拟设备的现场总线方法
CN113076366A (zh) * 2021-04-09 2021-07-06 南京邮电大学 一种智慧灯杆虚拟化方法
CN113076366B (zh) * 2021-04-09 2023-01-24 南京邮电大学 一种智慧灯杆虚拟化方法
CN113254953A (zh) * 2021-04-28 2021-08-13 深圳市鹰硕技术有限公司 权限分配管理方法、装置、在线教育系统及存储介质

Also Published As

Publication number Publication date
EP2891993A1 (en) 2015-07-08
US20160267155A1 (en) 2016-09-15
WO2015062182A1 (zh) 2015-05-07
US9715536B2 (en) 2017-07-25
EP2891993A4 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN103617175A (zh) 一种用于大规模分布异构数据的虚拟化方法
EP3144826B1 (en) A method and apparatus for representing compound relationships in a graph database
US9619549B2 (en) Reporting and summarizing metrics in sparse relationships on an OLTP database
CN108027818B (zh) 基于图的查询
Padhy et al. RDBMS to NoSQL: reviewing some next-generation non-relational database’s
Song et al. HaoLap: A Hadoop based OLAP system for big data
CN103246749B (zh) 面向分布式计算的矩阵数据库系统及其查询方法
Álvarez-García et al. Compressed k2-triples for full-in-memory RDF engines
US20110004638A1 (en) Attributed key-value-store database system
CN103729447A (zh) 一种数据库快速检索的方法
Dipina Damodaran et al. Performance evaluation of MySQL and MongoDB databases
Chevalier et al. How can we implement a multidimensional data warehouse using NoSQL?
Banane et al. Storing RDF data into big data NoSQL databases
Wang et al. Distributed storage and index of vector spatial data based on HBase
Guo et al. A new ETL approach based on data virtualization
Bakli et al. Distributed moving object data management in MobilityDB
Patel et al. Online analytical processing for business intelligence in big data
CN109165262A (zh) 一种关系型大表的分片集群系统及其分片方法
Mitreva et al. NoSQL solutions to handle big data
Petricioli et al. The challenges of nosql data warehousing
Yao et al. LandQ v1: A GIS cluster-based management information system for arable land quality big data
Choudhary et al. Cloud computing and big data analytics
Kai et al. Research on Spatial Database Technology Based on Arcsde
CN104166699A (zh) 一种基于rest架构的数据访问方法
Neethidevan et al. Evaluate the Performance of MongoDB NoSQL Database using a Case Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140305