CN108363746B - 一种支持多源异构数据的统一sql查询系统 - Google Patents

一种支持多源异构数据的统一sql查询系统 Download PDF

Info

Publication number
CN108363746B
CN108363746B CN201810077015.6A CN201810077015A CN108363746B CN 108363746 B CN108363746 B CN 108363746B CN 201810077015 A CN201810077015 A CN 201810077015A CN 108363746 B CN108363746 B CN 108363746B
Authority
CN
China
Prior art keywords
sql
data
module
execution
management unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810077015.6A
Other languages
English (en)
Other versions
CN108363746A (zh
Inventor
李昭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Sinoregal Software Co ltd
Original Assignee
Fujian Sinoregal Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Sinoregal Software Co ltd filed Critical Fujian Sinoregal Software Co ltd
Priority to CN201810077015.6A priority Critical patent/CN108363746B/zh
Publication of CN108363746A publication Critical patent/CN108363746A/zh
Application granted granted Critical
Publication of CN108363746B publication Critical patent/CN108363746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/319—Inverted lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种支持多源异构数据的统一SQL查询系统，包括元数据管理单元、任务管理单元、SQL执行单元和缓存单元；所述元数据管理单元提供接入配置的界面，对数据源进行重命名映射；所述任务管理单元提供sql语句的编辑页面，进行任务调度和进度监控和反馈，异步地将SQL语句和执行结果对传给所述缓存单元中；所述SQL执行单元读取数据源的软件包的数据并转化成特定数据结构存在该资源句柄所对应的资源空间中；然后各数据源数据依次执行SQL执行计划中的子任务并返回执行结果给所述任务管理单元；所述缓存单元将sql语句和执行结果对存成key‑value结构并进行查询和返回查询结果。从而可以在一个SQL语句中完成对多源异构数据的查询，编程和操作效率高。

Description

一种支持多源异构数据的统一SQL查询系统
技术领域
本发明涉及大数据的统一查询系统。
背景技术
大数据环境下，企业面临多样的数据结构：关系型的数据库、文件数据、No-SQL类型、流式数据、倒排索引；数据源也是丰富的：一个企业通常会存在Oracle，SQL server，MySQL等多个关系型数据库；不同部门的CSV，Parquet,Json类型的文件会存储在不同地方。不同业务需要采用各种类型的No-SQL数据库如HBase，MongDB。多源异构数据的存在，对统一数据分析造成如下困难：
1、使用学习成本高：非关系型数据库提供非SQL语法的查询原语，文件类型的数据需要编程实现查询，用户学习曲线较长；
2、不同数据库引擎不能互相访问，关系型的数据库之间不能互访(Oracle不能查询SQL server、Mysql的表数据)；No-SQL数据库之间不能互访；关系型的数据库和No-SQL数据库之间不能互访，用户需要频繁切换查询工作台，操作极为不便。
3、关联分析困难，如果一个SQL查询的数据来自关系型数据库、No-SQL数据库和文件，目前很多SQL查询引擎都无能为力，用户只能靠编程解决。
4、缺乏统一的查询任务管理界面，去进行调度任务、分配资源和访问管理。
申请号为201610783021.4，申请日为2016-08-30的发明提供了一种支持对嵌套文档进行统一SQL查询的方法，其上层接口仍沿用用户熟悉的SQL查询语言，而在功能上实现对非结构化的嵌套文档的查询。因此能针对大数据多源异构的特点，通过分布式数据库中间件对关系型数据以及NoSQL数据库MongDB中的嵌套文档进行统一SQL操作，获取底层数据库中的数据，操作具有正确性；同时，不管底层数据库中的数据以何种形式存在，前端均能以关系型的方式操作数据，并能以关系型的形式将结果展现给用户，提高了中间件的易用性。但其仍存在如下缺陷：可处理的数据仅限于关系型数据库和MongDB，不能处理文件倒排索引文件；数据结构为文档-关系表存储映射的Xml文档(磁盘上)；处理引擎为Mycat，Mycat是一种开源中间件，分布式处理局限性很大；且不具缓存系统和任务管理系统；元数据管理中，字段和行均要映射：document代替关系型数据库中的行row；键key映射为关系型数据库中的列columm。因此还具有改进的必要。
发明内容
本发明要解决的技术问题，在于提供一种支持多源异构数据的统一SQL查询系统，通过数据源重命名映射，避免命名冲突；再对SQL语句进行重命名逆映射和解析，并结合数据源读取模块将多源异构数据加载到一个资源空间(内存)中并用统一的数据结构存储；把SQL语句生成SQL执行计划再对内存中数据进行计算，从而可以在一个SQL语句中完成对多源异构数据的查询。
本发明是这样实现的：一种支持多源异构数据的统一SQL查询系统，包括元数据管理单元、任务管理单元、SQL执行单元和缓存单元；
所述元数据管理单元提供接入配置的界面，对数据源进行重命名映射，防止命名冲突，对元数据进行增删改查操作，并定时更新元数据信息；
所述任务管理单元提供sql语句的编辑页面；接收提交的SQL语句并进行任务调度和进度监控和反馈，异步地将SQL语句和执行结果对传给所述缓存单元中；
所述SQL执行单元根据所述任务管理单元提供的sql语句和数据源的重命名映射关系表，读取数据源的软件包的数据，并将读取的数据转化成特定数据结构存在该资源句柄所对应的资源空间中；然后对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务并返回执行结果给所述任务管理单元；
所述缓存单元将所述任务管理单元传过来的sql语句和执行结果对存成key-value结构，并根据SQL语句在key-value结构中查询并将查询结果返给所述任务管理单元。
进一步的，所述元数据管理单元进一步包括：
接入配置模块，用于提供接入配置的界面；该接入配置包括JDBC连接参数、数据源读取软件包的位置、http/rest服务IP端口、no-sql数据库主节点IP和端口、HDFS存储主节点IP和端口以及资源调度服务的IP和端口的配置；
命名管理模块，用于数据源重命名映射；提供用于编辑库名、表名和列名的界面；检查重命名是否冲突，并提供冲突更名建议；
元数据CRUD模块，用于导入各类数据源的元数据并物化保存；分类存储各种数据源的库、表、字段信息以及字段的数据分布信息；将字段名按字典顺序排列并建索引；
更新服务模块，用于定时更新元数据信息。
进一步的，所述任务管理单元进一步包括：
SQL编辑模块，提供sql语句的编辑页面，提交各种数据源的查询；
任务调度模块，接收提交的SQL语句查询缓存单元，如有结果则返回给前端页面；将查询无果的SQL语句放入待执行队列；估算SQL语句执行时间并生成提交策略；依据提交策略申请新的资源或重用已有的资源并返回资源句柄；提交SQL查询以及对应的资源句柄到所述SQL执行单元并得到JobID；
进度监控模块，依据JobID从所述SQL执行单元中获取计算结果，以及该JobID所对应的子任务完成情况，并折算百分比给前端展示界面显示进度条；
返回模块，不断将所述进度监控模块得到的执行结果封装成固定格式并反馈给前端页面展示；异步地将SQL语句和执行结果对存在所述缓存单元中。
其中，所述SQL编辑模块在用户编辑sql语句时，通过按输入的字母提示候选的匹配字段。
进一步的，所述SQL执行单元进一步包括：
数据准备模块，对所述任务调度模块提交过来的SQL语句产生JobID并返回给任务调度模块；解析SQL语句得到重命名后的数据源名称；将重命名后的数据源名称通过所述数据源重命名映射得到数据源原名称，根据数据源原名称得到相关的接入参数和数据源读取软件包；
数据源读取模块，调用数据源读取软件包提供的API和接入参数读取数据，利用所述任务调度模块提交过来的资源句柄，将读取的数据转化成特定数据结构并存在该资源句柄所对应的资源空间中；
计算模块，对SQL语句生成由子任务集合构成的执行计划；在所述资源空间中对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务；对SQL执行计划中已完成的子任务状态标记为完成；将子任务的执行结果依次返给所述进度监控模块。
进一步的，所述缓存单元进一步包括：
存储和查询模块，将所述返回模块传过来的SQL语句、执行结果对存储成key-value结构；将所述任务调度模块传过来的SQL语句在key-value结构中查询，并将查询结果返给所述任务调度模块；
空间管理模块，在缓存剩余空间低于一定阈值时，依据先进先出的规则，清除先存进来的SQL语句、执行结果对。
本发明具有如下优点：
1、通过数据源重命名映射，避免命名冲突，再对SQL语句进行重命名逆映射和解析，并结合数据源读取模块将多源异构数据加载到一个资源空间(内存)中并用统一的数据结构存储；把SQL语句生成SQL执行计划再对内存中数据进行计算，从而可以在一个SQL语句中完成对多源异构数据的查询；任务管理系统通过调度和监控模块实现多个并发SQL查询的资源分配、查询调度和访问管理，从而为用户提供统一的查询任务管理界面。
2、对非关系型结构数据提供SQL查询，免去编程负担；在一个工作界面中操作各种数据源数据和监控查询任务，不必来回切换，提高操作效率。
3、可处理的数据包括关系型数据库、No-SQL、文件以及倒排索引文件；数据结构为内存数据结构；处理引擎为分布式处理引擎；且具有缓存系统和任务管理系统；在元数据管理中，进行库表统一命名，可以不涉及字段；还具有数据统计分布服务、字段名联想服务、定时更新服务等。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明系统的架构简图。
图2为本发明系统各模块执行流程示意图。
具体实施方式
本发明的支持多源异构数据的统一SQL查询系统，是通过数据源重命名映射，避免命名冲突；再对SQL语句进行重命名逆映射和解析，并结合数据源读取模块将多源异构数据加载到一个资源空间(内存)中并用统一的数据结构存储；把SQL语句生成SQL执行计划再对内存中数据进行计算，从而可以在一个SQL语句中完成对多源异构数据的查询。任务管理系统通过调度和监控模块实现多个并发SQL查询的资源分配、查询调度和访问管理，从而为用户提供统一的查询任务管理界面。
请参阅图1所示，本发明系统包括元数据管理单元、任务管理单元、SQL执行单元和缓存单元；
所述元数据管理单元提供接入配置的界面，对数据源进行重命名映射，防止命名冲突，对元数据进行增删改查操作，并定时更新元数据信息；
所述任务管理单元提供sql语句的编辑页面；接收提交的SQL语句并进行任务调度和进度监控和反馈，异步地将SQL语句和执行结果对传给所述缓存单元中；
所述SQL执行单元根据所述任务管理单元提供的sql语句和数据源的重命名映射关系表，读取数据源的软件包的数据，并将读取的数据转化成特定数据结构存在该资源句柄所对应的资源空间中；然后对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务并返回执行结果给所述任务管理单元；
所述缓存单元将所述任务管理单元传过来的sql语句和执行结果对存成key-value结构，并根据SQL语句在key-value结构中查询并将查询结果返给所述任务管理单元。
请参阅图2所示，所述元数据管理单元进一步包括：
接入配置模块，用于提供接入配置的界面；该接入配置包括JDBC连接参数、数据源读取软件包的位置、http/rest服务IP端口、no-sql数据库主节点IP和端口、HDFS存储主节点IP和端口以及资源调度服务的IP和端口的配置；
命名管理模块，用于数据源重命名映射(即数据源原名称与本系统重命名之间的一一对应关系)；提供用于编辑库名、表名和列名的界面；检查重命名是否冲突(即保证库名+表名不能完全一样)，并提供冲突更名建议；
元数据CRUD模块，用于导入各类数据源的元数据并物化保存；分类存储各种数据源的库、表、字段信息以及字段的数据分布信息(包括平均值、最大小值、分位区间信息等)，从而具有统计分布服务功能；将字段名按字典顺序排列并建索引，从而可实现字段名联想服务；
更新服务模块，用于定时更新元数据信息(如更新数据分布、导入数据源变更的元数据等)。
所述任务管理单元进一步包括：
SQL编辑模块，提供sql语句的编辑页面，提交各种数据源的查询，其中，所述SQL编辑模块在用户编辑sql语句时，通过按输入的字母提示候选的匹配字段；
任务调度模块，接收提交的SQL语句查询缓存单元，如有结果则返回给前端页面；将查询无果的SQL语句放入待执行队列；估算SQL语句执行时间并生成提交策略；依据提交策略申请新的资源或重用已有的资源并返回资源句柄；提交SQL查询以及对应的资源句柄到所述SQL执行单元并得到JobID；
进度监控模块，依据JobID从所述SQL执行单元中获取计算结果，以及该JobID所对应的子任务完成情况，并折算百分比给前端展示界面显示进度条；
返回模块，不断将所述进度监控模块得到的执行结果封装成固定格式并反馈给前端页面展示；异步地将SQL语句和执行结果对存在所述缓存单元中。
所述SQL执行单元进一步包括：
数据准备模块，对所述任务调度模块提交过来的SQL语句产生JobID并返回给任务调度模块；解析SQL语句得到重命名后的数据源名称；将重命名后的数据源名称通过所述数据源重命名映射得到数据源原名称，根据数据源原名称得到相关的接入参数和数据源读取软件包；
数据源读取模块，调用数据源读取软件包提供的API和接入参数读取数据，利用所述任务调度模块提交过来的资源句柄，将读取的数据转化成特定数据结构并存在该资源句柄所对应的资源空间(如内存)中；从而使可处理的数据包括关系型数据库、No-SQL、文件以及倒排索引文件；数据结构为分布式内存数据结构；处理引擎为分布式处理引擎。
计算模块，对SQL语句生成由子任务集合构成的执行计划；在所述资源空间中对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务；对SQL执行计划中已完成的子任务状态标记为完成；将子任务的执行结果依次返给所述进度监控模块。
所述缓存单元进一步包括：
存储和查询模块，将所述返回模块传过来的SQL语句、执行结果对存储成key-value结构；将所述任务调度模块传过来的SQL语句在key-value结构中查询，并将查询结果返给所述任务调度模块；
空间管理模块，在缓存剩余空间低于一定阈值时，依据先进先出的规则，清除先存进来的SQL语句、执行结果对。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种支持多源异构数据的统一SQL查询系统，其特征在于：包括元数据管理单元、任务管理单元、SQL执行单元和缓存单元；
所述元数据管理单元提供接入配置的界面，对数据源进行重命名映射，防止命名冲突，对元数据进行增删改查操作，并定时更新元数据信息；
所述任务管理单元提供sql语句的编辑页面；接收提交的SQL语句并进行任务调度、进度监控和反馈，异步地将SQL语句和执行结果对传给所述缓存单元中；其中，所述任务调度是在接收提交的SQL语句先查询缓存单元，如有结果则返回给前端页面；并将查询无果的SQL语句放入待执行队列；估算SQL语句执行时间并生成提交策略；依据提交策略申请新的资源或重用已有的资源并返回资源句柄；提交SQL查询以及对应的资源句柄到所述SQL执行单元并得到JobID；
所述SQL执行单元根据所述任务管理单元提供的sql语句和数据源的重命名映射关系表，读取数据源的软件包的数据，并将读取的数据转化成特定数据结构存在该资源句柄所对应的资源空间中，所述资源空间为内存；然后对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务并返回执行结果给所述任务管理单元；
所述缓存单元将所述任务管理单元传过来的sql语句和执行结果对存成key-value结构，并根据SQL语句在key-value结构中查询并将查询结果返给所述任务管理单元。
2.根据权利要求1所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述元数据管理单元进一步包括：
接入配置模块，用于提供接入配置的界面；该接入配置包括JDBC连接参数、数据源读取软件包的位置、http/rest服务IP端口、no-sql数据库主节点IP和端口、HDFS存储主节点IP和端口以及资源调度服务的IP和端口的配置；
命名管理模块，用于数据源重命名映射；提供用于编辑库名、表名和列名的界面；检查重命名是否冲突，并提供冲突更名建议；
元数据CRUD模块，用于导入各类数据源的元数据并物化保存；分类存储各种数据源的库、表、字段信息以及字段的数据分布信息；将字段名按字典顺序排列并建索引；
更新服务模块，用于定时更新元数据信息。
3.根据权利要求1所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：
所述任务管理单元进一步包括：
SQL编辑模块，提供sql语句的编辑页面，提交各种数据源的查询；
任务调度模块，接收提交的SQL语句查询缓存单元，如有结果则返回给前端页面；将查询无果的SQL语句放入待执行队列；估算SQL语句执行时间并生成提交策略；依据提交策略申请新的资源或重用已有的资源并返回资源句柄；提交SQL查询以及对应的资源句柄到所述SQL执行单元并得到JobID；
进度监控模块，依据JobID从所述SQL执行单元中获取计算结果，以及该JobID所对应的子任务完成情况，并折算百分比给前端展示界面显示进度条；
返回模块，不断将所述进度监控模块得到的执行结果封装成固定格式并反馈给前端页面展示；异步地将SQL语句和执行结果对存在所述缓存单元中。
4.根据权利要求3所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述SQL编辑模块在用户编辑sql语句时，通过按输入的字母提示候选的匹配字段。
5.根据权利要求3所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述SQL执行单元进一步包括：
数据准备模块，对所述任务调度模块提交过来的SQL语句产生JobID并返回给任务调度模块；解析SQL语句得到重命名后的数据源名称；将重命名后的数据源名称通过所述数据源重命名映射得到数据源原名称，根据数据源原名称得到相关的接入参数和数据源读取软件包；
数据源读取模块，调用数据源读取软件包提供的API和接入参数读取数据，利用所述任务调度模块提交过来的资源句柄，将读取的数据转化成特定数据结构并存在该资源句柄所对应的资源空间中；
计算模块，对SQL语句生成由子任务集合构成的执行计划；在所述资源空间中对转化成特定数据结构的各数据源数据依次执行SQL执行计划中的子任务；对SQL执行计划中已完成的子任务状态标记为完成；将子任务的执行结果依次返给所述进度监控模块。
6.根据权利要求3所述的一种支持多源异构数据的统一SQL查询系统，其特征在于：所述缓存单元进一步包括：
存储和查询模块，将所述返回模块传过来的SQL语句、执行结果对存储成key-value结构；将所述任务调度模块传过来的SQL语句在key-value结构中查询，并将查询结果返给所述任务调度模块；
空间管理模块，在缓存剩余空间低于一定阈值时，依据先进先出的规则，清除先存进来的SQL语句、执行结果对。
CN201810077015.6A 2018-01-26 2018-01-26 一种支持多源异构数据的统一sql查询系统 Active CN108363746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810077015.6A CN108363746B (zh) 2018-01-26 2018-01-26 一种支持多源异构数据的统一sql查询系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810077015.6A CN108363746B (zh) 2018-01-26 2018-01-26 一种支持多源异构数据的统一sql查询系统

Publications (2)

Publication Number Publication Date
CN108363746A CN108363746A (zh) 2018-08-03
CN108363746B true CN108363746B (zh) 2022-07-26

Family

ID=63007207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810077015.6A Active CN108363746B (zh) 2018-01-26 2018-01-26 一种支持多源异构数据的统一sql查询系统

Country Status (1)

Country Link
CN (1) CN108363746B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542871A (zh) * 2018-10-23 2019-03-29 高新兴科技集团股份有限公司 多源数据管理方法、系统和数据管理设备
CN109684351B (zh) * 2018-12-18 2020-11-06 上海达梦数据库有限公司 一种执行计划查看方法、装置、服务器及存储介质
CN109960705B (zh) * 2019-01-14 2021-01-26 积成电子股份有限公司 电网自动化系统多源数据接入及展示方法
CN110399388A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 数据查询方法、系统和设备
CN110837492B (zh) * 2019-11-15 2021-06-08 中科院计算技术研究所大数据研究院 一种多源数据统一sql提供数据服务的方法
CN111127196A (zh) * 2019-12-31 2020-05-08 中信百信银行股份有限公司 信贷风控特征变量管理的方法及系统
CN111475534B (zh) * 2020-05-12 2023-04-14 北京爱笔科技有限公司 一种数据查询方法及相关设备
CN111723112B (zh) * 2020-06-11 2023-07-07 咪咕文化科技有限公司 数据任务执行方法、装置、电子设备及存储介质
CN112307068A (zh) * 2020-11-10 2021-02-02 天元大数据信用管理有限公司 一种动态sql查询方法
CN112433998B (zh) * 2020-11-20 2022-01-21 广东电网有限责任公司佛山供电局 一种基于电力系统的多源异构数据采集汇聚系统及方法
CN112347108A (zh) * 2020-11-26 2021-02-09 上海天旦网络科技发展有限公司 适用于混合后端的数据查询方法和系统
CN112799643B (zh) * 2021-01-26 2024-02-20 中国工商银行股份有限公司 基于数据库映射动态接口的前端页面应用开发方法及装置
CN113760681A (zh) * 2021-03-10 2021-12-07 中科天玑数据科技股份有限公司 一种基于统一sql的多源异构数据质量校验方法和系统
CN114625732B (zh) * 2022-02-09 2023-06-20 杭州未名信科科技有限公司 基于结构化查询语言sql的查询方法和系统
CN114756629B (zh) * 2022-06-16 2022-10-21 之江实验室 基于sql的多源异构数据交互分析引擎及方法
CN115129735A (zh) * 2022-07-03 2022-09-30 中科金审(北京)科技有限公司 一种支持多源异构数据的统一sql查询系统
CN115145992B (zh) * 2022-09-05 2022-12-27 深圳市明源云科技有限公司 多源数据处理方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
CN104050276A (zh) * 2014-06-26 2014-09-17 北京思特奇信息技术股份有限公司 一种分布式数据库的缓存处理方法及系统
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN107424079A (zh) * 2017-06-29 2017-12-01 广州智慧城市发展研究院 一种基于大数据平台的大型建筑能耗管理系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831772B2 (en) * 2006-12-12 2010-11-09 Sybase, Inc. System and methodology providing multiple heterogeneous buffer caches
CN102708203A (zh) * 2012-05-18 2012-10-03 成都科泰地理信息技术有限公司 一种基于xml元数据的数据库动态管理方法
US20150067019A1 (en) * 2013-08-28 2015-03-05 Soeren Balko Method and system for using arbitrary computing devices for distributed data processing
CN103870274A (zh) * 2014-03-14 2014-06-18 浪潮集团山东通用软件有限公司 一种基于webservice技术下实现异构系统间数据交互的可视化开发组件
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及系统
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN104050276A (zh) * 2014-06-26 2014-09-17 北京思特奇信息技术股份有限公司 一种分布式数据库的缓存处理方法及系统
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN107424079A (zh) * 2017-06-29 2017-12-01 广州智慧城市发展研究院 一种基于大数据平台的大型建筑能耗管理系统及方法

Also Published As

Publication number Publication date
CN108363746A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108363746B (zh) 一种支持多源异构数据的统一sql查询系统
US10831753B2 (en) Query plan generation and execution in a relational database management system with a temporal-relational database
US20220035815A1 (en) Processing database queries using format conversion
JP6617117B2 (ja) 半構造データのためのスケーラブルな分析プラットフォーム
US11663213B2 (en) Distinct value estimation for query planning
US8224807B2 (en) Enhanced utilization of query optimization
US8712972B2 (en) Query optimization with awareness of limited resource usage
EP3901781A1 (en) Background format optimization for enhanced sql-like queries in hadoop
EP3014488B1 (en) Incremental maintenance of range-partitioned statistics for query optimization
JP2016519810A (ja) 半構造データのためのスケーラブルな分析プラットフォーム
US9930113B2 (en) Data retrieval via a telecommunication network
US10437780B2 (en) Data pruning based on metadata
US20130066850A1 (en) Using a partially built index in a computer database system
US20230401209A1 (en) Columnar Cache Query Using Hybrid Query Execution Plan
JP2016091356A (ja) 仮想データベースシステム管理装置、管理方法及び管理プログラム
Sinthong et al. AFrame: Extending DataFrames for large-scale modern data analysis (Extended Version)
CN105518672B (zh) 跨多个模型的数据检索
US7185004B1 (en) System and method for reverse routing materialized query tables in a database
Arnold et al. HRDBMS: Combining the best of modern and traditional relational databases
CN115391346A (zh) 数据库聚合索引的生成方法、存储介质与计算机设备
Li et al. Research of distributed database system based on Hadoop
CN115391424A (zh) 数据库查询的处理方法、存储介质与计算机设备
JP6523823B2 (ja) 仮想データベースシステム管理装置、管理方法及び管理プログラム
Kassela et al. Towards a Multi-engine Query Optimizer for Complex SQL Queries on Big Data
US11995080B1 (en) Runtime join pruning to improve join performance for database tables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000

Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant