CN107491510A - 一种混合异构数据源统一查询系统及分布式查询方法 - Google Patents
一种混合异构数据源统一查询系统及分布式查询方法 Download PDFInfo
- Publication number
- CN107491510A CN107491510A CN201710655380.6A CN201710655380A CN107491510A CN 107491510 A CN107491510 A CN 107491510A CN 201710655380 A CN201710655380 A CN 201710655380A CN 107491510 A CN107491510 A CN 107491510A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- module
- query
- mapping module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种混合异构数据源统一查询系统及分布式查询方法，支持跨域、跨源、异构的数据系统，实现统一数据访问查询，实现高性能地访问各种数据源的分布式数据访问和处理平台；并且所设计方案不仅实现了后台各种数据库和海量数据存储的统一访问，隔离了应用和数据库/存储的直接连接，在一定程度上提高了底层数据的安全性；而且将多个物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库，为应用开发提供了统一的数据服务；本发明还提供了大数据分析服务的抽象，极大地减少了企业进行数据转移、复制和转换的工作，解决了企业进行应用开发时大量数据复制造成的资源浪费、效率低下、数据安全等问题。
Description
技术领域
本发明涉及一种混合异构数据源统一查询系统及分布式查询方法，属于信息采集技术及数据库技术领域。
背景技术
随着IT技术的飞速发展，社会的信息化进程也在逐渐加快。社会信息化一方面给人们带来了极大的方便和快捷，另一方面也带来了一些问题和挑战。其中“信息孤岛”和数据访问就是较为突出的两个问题。解决“信息孤岛”问题的难点在于如何使用户以透明的方式低代价、高效率地操作异构数据；解决数据访问问题的难点在于如何提高数据资源的访问效率及安全性能。针对这两个问题，已有的解决方法都存在着一定的不足之处，例如数据没有统一的标准进行表示，硬编码过多，模块可重用度不高等，这些不足都直接制约着企业级应用的开展。
发明内容
本发明所要解决的技术问题是提供一种能够针对跨域、跨源、异构数据，实现统一查询的混合异构数据源统一查询系统。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种混合异构数据源统一查询系统，包括请求接收模块、数据库映射模块和数据整合模块；数据库映射模块分别与请求接收模块、数据整合模块进行信息交互；其中，数据库映射模块分别与预设各个关系数据库相连接通信，数据库映射模块针对所有关系数据库中的物理表，按预设逻辑关系，构建所对应的各个逻辑虚拟表，组建逻辑虚拟数据库；并且数据库映射模块针对各个逻辑虚拟表分别与其所包含关系数据库中物理表数据的映射关系，构建元数据信息；
请求接收模块用于接收指定类型关系数据库的查询语句，并发送给数据库映射模块；以及请求接收模块用于接收来自数据库映射模块的查询结果；
数据整合模块用于根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句进行解析，获得分别对应于所指定各个关系数据库中物理表的各条查询语句，并针对相应各关系数据库中物理表进行查询，获得查询结果，然后交由数据库映射模块发送给请求接收模块。
作为本发明的一种优选技术方案：所述分别与数据库映射模块相连接通信的预设各个关系数据库，包括Oracl数据库、DB2数据库、Mysql数据库、SQL Server数据库中的一种关系数据库，或多种关系数据库。
作为本发明的一种优选技术方案：所述请求接收模块所接收指定类型关系数据库的查询语句为SQL查询语句。
本发明所述一种混合异构数据源统一查询系统采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种混合异构数据源统一查询系统，支持跨域、跨源、异构的数据系统，实现统一数据访问查询，实现高性能地访问各种数据源的分布式数据访问和处理平台，为处理多种平台上的关系和非关系型数据提供了统一的访问方式和数据处理服务；并且所设计方案不仅实现了后台各种数据库和海量数据存储的统一访问，隔离了应用和数据库/存储的直接连接，在一定程度上提高了底层数据的安全性；而且支持跨库查询、聚合查询、跨库事务等应用场景，通过将多个物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库，为应用开发提供了统一的数据服务；本发明还提供了大数据分析服务的抽象，极大地减少了企业进行数据转移、复制和转换的工作，解决了企业进行应用开发时大量数据复制造成的资源浪费、效率低下、数据安全等问题。
与上述相对应，本发明还要解决的技术问题是提供一种能够针对跨域、跨源、异构数据，实现统一查询的基于混合异构数据源统一查询系统的分布式查询方法。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于混合异构数据源统一查询系统的分布式查询方法，所述请求接收模块接收指定类型关系数据库的查询语句，并发送给所述数据库映射模块；由所述数据整合模块采用分布式架构，按如下步骤，根据数据库映射模块所接收到的查询语句进行查询操作，获得查询结果，然后交由数据库映射模块发送给请求接收模块；其中，数据整合模块所采用的分布式架构包括一个主节点和若干从节点；
步骤A. 数据整合模块针对数据库映射模块所接收到的查询语句进行分解，获得各个操作指令；
步骤B. 数据整合模块针对所获各个操作指令，将直接对应于关系数据库物理表的操作指令划分至从节点，然后将其余操作指令划分至主节点；
步骤C. 数据整合模块根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句，按各个节点分别所对应的操作指令，分别进行解析，获得各个从节点分别对应相应关系数据库中物理表的查询语句，以及主节点所对应的查询语句；
步骤D. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得各个一级查询结果，组建一级查询结果集合；
步骤E. 由主节点按其所对应的查询语句，针对一级查询结果集合执行查询操作，获得查询结果，交由数据库映射模块发送给请求接收模块。
作为本发明的一种优选技术方案，所述步骤D至步骤E包括如下步骤：
步骤DE1. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得分别对应相应各个关系数据库的一级查询结果，并初始化n为1，然后进入步骤DE2；
步骤DE2. 选取各个一级查询结果中的第n条数据，组建局部一级查询结果集合，并进入步骤DE3；
步骤DE3. 由主节点按其所对应的查询语句，针对局部一级查询结果集合执行查询操作，获得局部查询结果，并进入步骤DE4；
步骤DE4. 分别获得各个一级查询结果中的数据条数，并选择最大条数作为判断阈值，判断n是否等于该判断阈值，是则进入步骤DE5；否则用n所对应值加1的结果，针对n进行更新，并返回步骤DE2；
步骤DE5. 针对所有局部查询结果，组建查询结果，交由数据库映射模块发送给请求接收模块。
本发明所述一种基于混合异构数据源统一查询系统的分布式查询方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种基于混合异构数据源统一查询系统的分布式查询方法，支持跨域、跨源、异构的数据系统，实现统一数据访问查询，实现高性能地访问各种数据源的分布式数据访问和处理平台，为处理多种平台上的关系和非关系型数据提供了统一的访问方式和数据处理服务；并且所设计方案不仅实现了后台各种数据库和海量数据存储的统一访问，隔离了应用和数据库/存储的直接连接，在一定程度上提高了底层数据的安全性；而且支持跨库查询、聚合查询、跨库事务等应用场景，通过将多个物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库，为应用开发提供了统一的数据服务；本发明还提供了大数据分析服务的抽象，极大地减少了企业进行数据转移、复制和转换的工作，解决了企业进行应用开发时大量数据复制造成的资源浪费、效率低下、数据安全等问题。
附图说明
图1是本发明所设计一种混合异构数据源统一查询系统的结构示意图；
图2是本发明设计中数据库映射示意图；
图3是应用本发明设计实施例中查询计划示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种混合异构数据源统一查询系统，如图1所示，包括请求接收模块、数据库映射模块和数据整合模块；如图2所示，数据库映射模块分别与请求接收模块、数据整合模块进行信息交互；其中，数据库映射模块分别与预设各个关系数据库相连接通信，数据库映射模块针对所有关系数据库中的物理表，按预设逻辑关系，构建所对应的各个逻辑虚拟表，组建逻辑虚拟数据库；这里分别与数据库映射模块相连接通信的预设各个关系数据库，包括Oracl数据库、DB2数据库、Mysql数据库、SQL Server数据库中的一种关系数据库，或多种关系数据库；并且数据库映射模块针对各个逻辑虚拟表分别与其所包含关系数据库中物理表数据的映射关系，构建元数据信息。
请求接收模块主要提供JDBC和SDK接口，用于接收指定类型关系数据库的查询语句，并发送给数据库映射模块；以及请求接收模块用于接收来自数据库映射模块的查询结果。这里在实际应用中，所述请求接收模块所接收指定类型关系数据库的查询语句为SQL查询语句。
数据整合模块用于根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句进行解析，获得分别对应于所指定各个关系数据库中物理表的各条查询语句，并针对相应各关系数据库中物理表进行查询，获得查询结果，然后交由数据库映射模块发送给请求接收模块。
基于上述所设计混合异构数据源统一查询系统，本发明进一步设计了一种基于混合异构数据源统一查询系统的分布式查询方法，所述请求接收模块接收指定类型关系数据库的查询语句，并发送给所述数据库映射模块；由所述数据整合模块采用分布式架构，按如下步骤，根据数据库映射模块所接收到的查询语句进行查询操作，获得查询结果，然后交由数据库映射模块发送给请求接收模块；其中，数据整合模块所采用的分布式架构包括一个主节点和若干从节点；
步骤A. 数据整合模块针对数据库映射模块所接收到的查询语句进行分解，获得各个操作指令。例如当用户发起查询语句时，如select yy_id from YOYO group by namelimit 1000，则分解所获得各个操作指令，如下表1所示。
| 命令名 | 描述 |
| sort | 对数据进行分类。 |
| Limit 数字 | 限制查询结果集数量。 |
| Group by 字段名 | 数据按字段分组。 |
| union | 不同表数据查询联合。 |
表1
步骤B. 数据整合模块针对所获各个操作指令，将直接对应于关系数据库物理表的操作指令划分至从节点，然后将其余操作指令划分至主节点。如图3所示，对于上述查询语句实施例所对应的各个操作指令，其中，查询计划中的Sort、Limit、Group by这类需要数据汇总的命令在主节点执行，而Select、where这类精确的数据访问操作在从节点上执行。
步骤C. 数据整合模块根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句，按各个节点分别所对应的操作指令，分别进行解析，获得各个从节点分别对应相应关系数据库中物理表的查询语句，以及主节点所对应的查询语句。
步骤D. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得各个一级查询结果，组建一级查询结果集合。
步骤E. 由主节点按其所对应的查询语句，针对一级查询结果集合执行查询操作，获得查询结果，交由数据库映射模块发送给请求接收模块。
对于步骤D至步骤E，实际执行应用过程中，具体包括如下步骤：
步骤DE1. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得分别对应相应各个关系数据库的一级查询结果，并初始化n为1，然后进入步骤DE2。
步骤DE2. 选取各个一级查询结果中的第n条数据，组建局部一级查询结果集合，并进入步骤DE3。
步骤DE3. 由主节点按其所对应的查询语句，针对局部一级查询结果集合执行查询操作，获得局部查询结果，并进入步骤DE4。
步骤DE4. 分别获得各个一级查询结果中的数据条数，并选择最大条数作为判断阈值，判断n是否等于该判断阈值，是则进入步骤DE5；否则用n所对应值加1的结果，针对n进行更新，并返回步骤DE2。
步骤DE5. 针对所有局部查询结果，组建查询结果，交由数据库映射模块发送给请求接收模块。
本发明所设计混合异构数据源统一查询系统及分布式查询方法，支持跨域、跨源、异构的数据系统的统一数据访问查询，可帮助众多企业解决多的业务应用系统交互时对底层海量跨源异构数据的统一管控的问题，不仅填补了国内国际厂商在对异构数据统一访问方面的技术空白，而且极大地推动了我国网信事业核心技术的发展。
本发明可高性能地访问各种数据源的分布式数据访问和处理平台，为处理多种平台上的关系和非关系型数据提供了统一的访问方式和数据处理服务。
该技术不仅实现了后台各种数据库和海量数据存储的统一访问，隔离了应用和数据库/存储的直接连接，应用无需关心物理数据库和存储的信息，只需关心平台提供的数据服务和应用服务即可，在一定程度上提高了底层数据的安全性；而且支持跨库查询、聚合查询、跨库事务等应用场景，通过将多个物理数据库/存储的表按照业务的需要抽象为一个或多个逻辑数据库，使得管理人员或开发人员只需关心抽象的逻辑数据库即可，无需关心物理数据库/存储，为应用开发提供了统一的数据服务；本发明还提供了大数据分析服务的抽象，极大地减少了企业进行数据转移、复制和转换的工作，解决了企业进行应用开发时大量数据复制造成的资源浪费、效率低下、数据安全等问题。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (5)
1.一种混合异构数据源统一查询系统，其特征在于：包括请求接收模块、数据库映射模块和数据整合模块；数据库映射模块分别与请求接收模块、数据整合模块进行信息交互；其中，数据库映射模块分别与预设各个关系数据库相连接通信，数据库映射模块针对所有关系数据库中的物理表，按预设逻辑关系，构建所对应的各个逻辑虚拟表，组建逻辑虚拟数据库；并且数据库映射模块针对各个逻辑虚拟表分别与其所包含关系数据库中物理表数据的映射关系，构建元数据信息；
请求接收模块用于接收指定类型关系数据库的查询语句，并发送给数据库映射模块；以及请求接收模块用于接收来自数据库映射模块的查询结果；
数据整合模块用于根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句进行解析，获得分别对应于所指定各个关系数据库中物理表的各条查询语句，并针对相应各关系数据库中物理表进行查询，获得查询结果，然后交由数据库映射模块发送给请求接收模块。
2. 根据权利要求1所述一种混合异构数据源统一查询系统，其特征在于：所述分别与数据库映射模块相连接通信的预设各个关系数据库，包括Oracl数据库、DB2数据库、Mysql数据库、SQL Server数据库中的一种关系数据库，或多种关系数据库。
3.根据权利要求1所述一种混合异构数据源统一查询系统，其特征在于：所述请求接收模块所接收指定类型关系数据库的查询语句为SQL查询语句。
4.一种基于权利要求1至3中任意一项所述一种混合异构数据源统一查询系统的分布式查询方法，其特征在于：所述请求接收模块接收指定类型关系数据库的查询语句，并发送给所述数据库映射模块；由所述数据整合模块采用分布式架构，按如下步骤，根据数据库映射模块所接收到的查询语句进行查询操作，获得查询结果，然后交由数据库映射模块发送给请求接收模块；其中，数据整合模块所采用的分布式架构包括一个主节点和若干从节点；
步骤A. 数据整合模块针对数据库映射模块所接收到的查询语句进行分解，获得各个操作指令；
步骤B. 数据整合模块针对所获各个操作指令，将直接对应于关系数据库物理表的操作指令划分至从节点，然后将其余操作指令划分至主节点；
步骤C. 数据整合模块根据数据库映射模块所组建逻辑虚拟数据库中的各个逻辑虚拟表，以及元数据信息，针对数据库映射模块所接收到的查询语句，按各个节点分别所对应的操作指令，分别进行解析，获得各个从节点分别对应相应关系数据库中物理表的查询语句，以及主节点所对应的查询语句；
步骤D. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得各个一级查询结果，组建一级查询结果集合；
步骤E. 由主节点按其所对应的查询语句，针对一级查询结果集合执行查询操作，获得查询结果，交由数据库映射模块发送给请求接收模块。
5.根据权利要求4所述一种混合异构数据源统一查询系统的分布式查询方法，其特征在于，所述步骤D至步骤E包括如下步骤：
步骤DE1. 由各个从节点分别按其所对应的查询语句，针对相应关系数据库中的物理表进行查询，获得分别对应相应各个关系数据库的一级查询结果，并初始化n为1，然后进入步骤DE2；
步骤DE2. 选取各个一级查询结果中的第n条数据，组建局部一级查询结果集合，并进入步骤DE3；
步骤DE3. 由主节点按其所对应的查询语句，针对局部一级查询结果集合执行查询操作，获得局部查询结果，并进入步骤DE4；
步骤DE4. 分别获得各个一级查询结果中的数据条数，并选择最大条数作为判断阈值，判断n是否等于该判断阈值，是则进入步骤DE5；否则用n所对应值加1的结果，针对n进行更新，并返回步骤DE2；
步骤DE5. 针对所有局部查询结果，组建查询结果，交由数据库映射模块发送给请求接收模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710655380.6A CN107491510A (zh) | 2017-08-03 | 2017-08-03 | 一种混合异构数据源统一查询系统及分布式查询方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710655380.6A CN107491510A (zh) | 2017-08-03 | 2017-08-03 | 一种混合异构数据源统一查询系统及分布式查询方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107491510A true CN107491510A (zh) | 2017-12-19 |
Family
ID=60644221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710655380.6A Pending CN107491510A (zh) | 2017-08-03 | 2017-08-03 | 一种混合异构数据源统一查询系统及分布式查询方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107491510A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345651A (zh) * | 2018-01-22 | 2018-07-31 | 广州欧赛斯信息科技有限公司 | 一种实现互联互通的数据虚拟化的数据集成系统和方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN110096553A (zh) * | 2019-03-28 | 2019-08-06 | 北京华成智云软件股份有限公司 | 一种跨数据库的大数据分析系统和分析方法 |
| CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN110909386A (zh) * | 2019-11-21 | 2020-03-24 | 福建南威软件有限公司 | 一种针对多种数据源的统一授权访问方法及系统 |
| CN111061566A (zh) * | 2019-12-16 | 2020-04-24 | 武汉达梦数据技术有限公司 | 一种动态数据源查询方法及装置 |
| CN111078728A (zh) * | 2019-12-19 | 2020-04-28 | 山大地纬软件股份有限公司 | 一种数据库归档模式下跨库查询方法和装置 |
| CN111241054A (zh) * | 2019-12-12 | 2020-06-05 | 贵州电网有限责任公司 | 基于虚拟数据库的电力通信网络异地异构数据源整合方法 |
| CN111367954A (zh) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | 数据查询处理方法、装置及系统、计算机可读存储介质 |
| CN112182082A (zh) * | 2020-09-24 | 2021-01-05 | 广州巨杉软件开发有限公司 | 一种实现跨不同数据库引擎事务强一致性的系统及方法 |
| CN112765247A (zh) * | 2021-01-04 | 2021-05-07 | 光大兴陇信托有限责任公司 | 一种基于混合映射的接口元数据管理方法、装置、设备 |
| CN112965723A (zh) * | 2021-04-01 | 2021-06-15 | 北京数易云服科技有限公司 | 一种对象数据库实现方法和虚拟对象数据库 |
| CN112966004A (zh) * | 2021-03-04 | 2021-06-15 | 北京百度网讯科技有限公司 | 数据查询方法、装置、电子设备以及计算机可读介质 |
| CN113094385A (zh) * | 2021-03-10 | 2021-07-09 | 广州中国科学院软件应用技术研究所 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
| WO2021238771A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 一种边缘节点中的数据的访问方法、装置及系统 |
| CN114297219A (zh) * | 2021-09-15 | 2022-04-08 | 湖北中科网络科技股份有限公司 | 一种快速实现数据跨域的多业务查询处理方法 |
| CN114756577A (zh) * | 2022-03-25 | 2022-07-15 | 北京友友天宇系统技术有限公司 | 多源异构数据的处理方法、计算机设备及存储介质 |
| WO2022252791A1 (zh) * | 2021-05-31 | 2022-12-08 | 华为技术有限公司 | 数据传输方法、电子设备及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7984043B1 (en) * | 2007-07-24 | 2011-07-19 | Amazon Technologies, Inc. | System and method for distributed query processing using configuration-independent query plans |
| CN102163195A (zh) * | 2010-02-22 | 2011-08-24 | 北京东方通科技股份有限公司 | 一种基于分布式、异构数据库统一视图的查询优化方法 |
| US20140067792A1 (en) * | 2012-08-30 | 2014-03-06 | Citus Data Bilgi Islemleri Ticaret A.S. | Apparatus and Method for Operating a Distributed Database with Foreign Tables |
| CN104063486A (zh) * | 2014-07-03 | 2014-09-24 | 四川中亚联邦科技有限公司 | 一种大数据分布式存储方法和系统 |
| CN104111958A (zh) * | 2013-04-22 | 2014-10-22 | 中国移动通信集团山东有限公司 | 一种数据查询方法及装置 |
| CN104123374A (zh) * | 2014-07-28 | 2014-10-29 | 北京京东尚科信息技术有限公司 | 分布式数据库中聚合查询的方法及装置 |
| CN104484472A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种混合多种异构数据源的数据库集群及实现方法 |
| CN106844485A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技（北京）有限公司 | 一种企业异构数据库智能集成的系统及方法 |
-
2017
- 2017-08-03 CN CN201710655380.6A patent/CN107491510A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7984043B1 (en) * | 2007-07-24 | 2011-07-19 | Amazon Technologies, Inc. | System and method for distributed query processing using configuration-independent query plans |
| CN102163195A (zh) * | 2010-02-22 | 2011-08-24 | 北京东方通科技股份有限公司 | 一种基于分布式、异构数据库统一视图的查询优化方法 |
| US20140067792A1 (en) * | 2012-08-30 | 2014-03-06 | Citus Data Bilgi Islemleri Ticaret A.S. | Apparatus and Method for Operating a Distributed Database with Foreign Tables |
| CN104111958A (zh) * | 2013-04-22 | 2014-10-22 | 中国移动通信集团山东有限公司 | 一种数据查询方法及装置 |
| CN104063486A (zh) * | 2014-07-03 | 2014-09-24 | 四川中亚联邦科技有限公司 | 一种大数据分布式存储方法和系统 |
| CN104123374A (zh) * | 2014-07-28 | 2014-10-29 | 北京京东尚科信息技术有限公司 | 分布式数据库中聚合查询的方法及装置 |
| CN104484472A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种混合多种异构数据源的数据库集群及实现方法 |
| CN106844485A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技（北京）有限公司 | 一种企业异构数据库智能集成的系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李瑞轩: ""异构信息集成中的查询处理与优化研究"", 《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》 * |
| 马利成: ""基于 XML的异构数据集成系统的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345651A (zh) * | 2018-01-22 | 2018-07-31 | 广州欧赛斯信息科技有限公司 | 一种实现互联互通的数据虚拟化的数据集成系统和方法 |
| CN109144982A (zh) * | 2018-09-29 | 2019-01-04 | 北京友友天宇系统技术有限公司 | 多维全息数据库动态构建技术系统 |
| CN111367954A (zh) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | 数据查询处理方法、装置及系统、计算机可读存储介质 |
| CN110096553A (zh) * | 2019-03-28 | 2019-08-06 | 北京华成智云软件股份有限公司 | 一种跨数据库的大数据分析系统和分析方法 |
| CN110096553B (zh) * | 2019-03-28 | 2021-05-18 | 北京华成智云软件股份有限公司 | 一种跨数据库的大数据分析系统和分析方法 |
| CN110162544A (zh) * | 2019-05-30 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN110162544B (zh) * | 2019-05-30 | 2022-05-27 | 口碑(上海)信息技术有限公司 | 异构数据源数据获取方法及装置 |
| CN110909386A (zh) * | 2019-11-21 | 2020-03-24 | 福建南威软件有限公司 | 一种针对多种数据源的统一授权访问方法及系统 |
| CN111241054A (zh) * | 2019-12-12 | 2020-06-05 | 贵州电网有限责任公司 | 基于虚拟数据库的电力通信网络异地异构数据源整合方法 |
| CN111061566A (zh) * | 2019-12-16 | 2020-04-24 | 武汉达梦数据技术有限公司 | 一种动态数据源查询方法及装置 |
| CN111078728A (zh) * | 2019-12-19 | 2020-04-28 | 山大地纬软件股份有限公司 | 一种数据库归档模式下跨库查询方法和装置 |
| WO2021238771A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 一种边缘节点中的数据的访问方法、装置及系统 |
| WO2022062555A1 (zh) * | 2020-09-24 | 2022-03-31 | 广州巨杉软件开发有限公司 | 一种实现跨不同数据库引擎事务强一致性的系统及方法 |
| CN112182082B (zh) * | 2020-09-24 | 2021-07-06 | 广州巨杉软件开发有限公司 | 一种实现跨不同数据库引擎事务强一致性的系统及方法 |
| CN112182082A (zh) * | 2020-09-24 | 2021-01-05 | 广州巨杉软件开发有限公司 | 一种实现跨不同数据库引擎事务强一致性的系统及方法 |
| CN112765247B (zh) * | 2021-01-04 | 2023-02-21 | 光大兴陇信托有限责任公司 | 一种基于混合映射的接口元数据管理方法、装置、设备 |
| CN112765247A (zh) * | 2021-01-04 | 2021-05-07 | 光大兴陇信托有限责任公司 | 一种基于混合映射的接口元数据管理方法、装置、设备 |
| CN112966004B (zh) * | 2021-03-04 | 2023-07-28 | 北京百度网讯科技有限公司 | 数据查询方法、装置、电子设备以及计算机可读介质 |
| CN112966004A (zh) * | 2021-03-04 | 2021-06-15 | 北京百度网讯科技有限公司 | 数据查询方法、装置、电子设备以及计算机可读介质 |
| CN113094385A (zh) * | 2021-03-10 | 2021-07-09 | 广州中国科学院软件应用技术研究所 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
| CN113094385B (zh) * | 2021-03-10 | 2024-04-30 | 广州中国科学院软件应用技术研究所 | 一种基于软件定义开放工具集的数据共享融合平台及方法 |
| CN112965723A (zh) * | 2021-04-01 | 2021-06-15 | 北京数易云服科技有限公司 | 一种对象数据库实现方法和虚拟对象数据库 |
| CN112965723B (zh) * | 2021-04-01 | 2021-12-28 | 北京数易云服科技有限公司 | 一种对象数据库实现方法和虚拟对象数据库 |
| WO2022252791A1 (zh) * | 2021-05-31 | 2022-12-08 | 华为技术有限公司 | 数据传输方法、电子设备及计算机可读存储介质 |
| CN114297219B (zh) * | 2021-09-15 | 2024-04-26 | 湖北中科网络科技股份有限公司 | 一种快速实现数据跨域的多业务查询处理方法 |
| CN114297219A (zh) * | 2021-09-15 | 2022-04-08 | 湖北中科网络科技股份有限公司 | 一种快速实现数据跨域的多业务查询处理方法 |
| CN114756577A (zh) * | 2022-03-25 | 2022-07-15 | 北京友友天宇系统技术有限公司 | 多源异构数据的处理方法、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107491510A (zh) | 一种混合异构数据源统一查询系统及分布式查询方法 | |
| CN103455540B (zh) | 从数据仓库模型生成内存模型的系统和方法 | |
| CN103064875B (zh) | 一种服务化空间数据分布式查询方法 | |
| CN110837492B (zh) | 一种多源数据统一sql提供数据服务的方法 | |
| CN104484472B (zh) | 一种混合多种异构数据源的数据库集群及实现方法 | |
| CN104346377A (zh) | 一种基于唯一标识的数据集成和交换方法 | |
| CN104516967A (zh) | 一种电力系统海量数据管理系统及其使用方法 | |
| CN101360123B (zh) | 一种网络系统及其管理方法 | |
| CN101599146A (zh) | 一种模具制造信息的管理方法及系统 | |
| US20130018918A1 (en) | Repetitive Query Recognition and Processing | |
| CN101329686A (zh) | 一种实现网络查询缓存的系统和查询方法 | |
| CN104216962A (zh) | 一种基于HBase的海量网管数据索引设计方法 | |
| CN109815254B (zh) | 基于大数据的跨地域任务调度方法及系统 | |
| CN107977446A (zh) | 一种基于数据分区的内存网格数据加载方法 | |
| CN104756101A (zh) | 执行具有多个集合操作符的查询 | |
| CN109150964B (zh) | 一种可迁移的数据管理方法及服务迁移方法 | |
| Yuanyuan et al. | Distributed database system query optimization algorithm research | |
| US8832157B1 (en) | System, method, and computer-readable medium that facilitates efficient processing of distinct counts on several columns in a parallel processing system | |
| Xu et al. | Banian: a cross-platform interactive query system for structured big data | |
| KR20100058445A (ko) | 규칙기반 기술을 이용한 이종 메타데이터 자동 추출방법 및 시스템 | |
| Bellatreche et al. | Some issues in design of data warehousing systems | |
| Bao et al. | Heterogeneous data integration and fusion system based on metadata conflict algorithms in uspiot | |
| Xue | Query optimization strategies and implementation based on distributed database | |
| CN103748578A (zh) | 数据分布的方法、装置及系统 | |
| Li et al. | Online aggregation: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171219 |
|
| RJ01 | Rejection of invention patent application after publication |