CN108241540A - 一种跨数据源查询的任务调度方法以及装置 - Google Patents

一种跨数据源查询的任务调度方法以及装置 Download PDF

Info

Publication number
CN108241540A
CN108241540A CN201810017065.5A CN201810017065A CN108241540A CN 108241540 A CN108241540 A CN 108241540A CN 201810017065 A CN201810017065 A CN 201810017065A CN 108241540 A CN108241540 A CN 108241540A
Authority
CN
China
Prior art keywords
data source
task
enforcement engine
library
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810017065.5A
Other languages
English (en)
Inventor
林传文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Software Co Ltd
Original Assignee
Fujian Star Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Software Co Ltd filed Critical Fujian Star Software Co Ltd
Priority to CN201810017065.5A priority Critical patent/CN108241540A/zh
Publication of CN108241540A publication Critical patent/CN108241540A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种跨数据源查询的任务调度方法，服务器配置各个数据源的访问信息；服务器配置各个数据源的执行引擎；服务器解析SQL语句，得到所需访问的库，若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；本发明还提供一种跨数据源查询的任务调度装置，便于用户使用。

Description

一种跨数据源查询的任务调度方法以及装置
技术领域
本发明涉及一种跨数据源查询的任务调度方法以及装置。
背景技术
目前市场上现有的一些大数据统一查询平台，可以对接不同的数据源，但是查询的时候，需要用户事先指定使用哪个执行引擎查询哪个数据源，导致提高了用户的使用成本，较为不便，而且需要用户对于查询平台有一定的了解，适配性差。
发明内容
本发明要解决的技术问题，在于提供一种跨数据源查询的任务调度方法以及装置，便于用户使用。
本发明之一是这样实现的：一种跨数据源查询的任务调度方法，包括如下步骤：
步骤1、服务器配置各个数据源的访问信息；
步骤2、服务器配置各个数据源的执行引擎；
步骤3、服务器解析SQL语句，得到所需访问的库，若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务。
进一步地，还包括步骤4、服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
进一步地，还包括步骤3进一步具体为：用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务。
进一步地，所述访问信息包括数据源的数据库名以及数据源连接信息。
本发明之二是这样实现的：一种跨数据源查询的任务调度装置，包括如下模块：
配置信息模块，服务器配置各个数据源的访问信息；
配置引擎模块，服务器配置各个数据源的执行引擎；
任务调度模块，服务器解析SQL语句，得到所需访问的库，若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务。
进一步地，还包括日志模块，服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
进一步地，还包括任务调度模块进一步具体为：用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务。
进一步地，所述访问信息包括数据源的数据库名以及数据源连接信息。
本发明具有如下优点：一种跨数据源查询的任务调度方法以及装置，根据相关的配置信息，结合执行日志，自动选择用户Sql语句执行的执行引擎，免去用户每次查询需要指定执行引擎的麻烦。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
本发明跨数据源查询的任务调度方法，包括如下步骤：
步骤1、服务器配置各个数据源的访问信息，所述访问信息包括数据源的数据库名以及数据源连接信息；
步骤2、服务器配置各个数据源的执行引擎；
步骤3、用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务。
步骤4、服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
本发明跨数据源查询的任务调度装置，包括如下模块：
配置信息模块，服务器配置各个数据源的访问信息，所述访问信息包括数据源的数据库名以及数据源连接信息；
配置引擎模块，服务器配置各个数据源的执行引擎；
任务调度模块，用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务；
日志模块，服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
本发明一种具体实施方式：
前端(页面/客户端)、服务器、执行引擎、数据源
执行引擎主要包括单数据源执行引擎，比如各个数据库的查询引擎、搜索引擎，他们只能查询单个数据源，单数据源执行引擎跟数据源是一对一关系；另外是大数据执行引擎，可以查询多个数据源的数据。大数据执行引擎跟数据源是一对多关系。
主要步骤：
1、服务器需要提前配置好各个数据源的访问信息，主要有如下信息：
数据库名：在服务器中的唯一数据库名称，一般跟要访问的目标数据库的名称相同，如果不同的数据库服务器中有重名的数据库，则修改成跟目标数据库名称不同。
连接信息：访问各种数据源的连接信息，比如如果数据源是传统数据库，则需要保存数据访问连接串信息，包括访问数据源的用户名密码。
2、服务器需要提前配置好对接的执行引擎，包括单数据源执行引擎，比如传统数据库执行引擎、搜索引擎；多数据源执行引擎，包括大数据平台执行引擎等。
配置信息里需要包括对应信息，比如单数据源执行引擎一可以访问A数据源，单数据源执行引擎二可以访问B数据源；大数据平台执行引擎可以访问A/B/C/D/E/F数据源。
3、服务器提供设置方法，用户可以设置默认优先使用的执行引擎，比如设置单数据源引擎优先还是大数据执行引擎优先。
4、服务器记录每次查询的数据源跟对应的执行引擎执行信息到日志信息里。
5、用户在前端查询前可以通过设置命令，设置优先使用的执行引擎。
6、用户在前端发起查询，系统做如下处理:
6.1、根据现有的Sql解析框架，解析出语句中访问哪些库(唯一名称)。
6.2、如果用户查询的库都来自同一个数据源，则去查询该用户设置优先的执行引擎，如果是优先使用大数据执行引擎，则调用大数据执行执行引擎执行任务，否则调用数据源对应的执行引擎执行任务。
6.3、如果用户查询的库来自不同的数据源，则无法使用单数据源的执行引擎查询，不论用户如何配置，都只能选择大数据执行引擎执行任务。
6.3.1、如果用户有配置多个大数据执行引擎，比如大数据执行引擎一能查询A/B/C/D数据源的数据，大数据执行引擎二能查询B/C/E/F，用户查询的语句需要访问是A/C数据源的数据，则只能选择大数据执行引擎一。
6.3.2、如果用户查询的语句需要访问B/C数据源的数据，大数据执行引擎一或者二都可以执行，此时需要从日志文件找出访问B/C数据源的时候，使用一还是二多，选择使用较多的执行引擎。如果使用数目相等获取日志无记录，则随机挑选一个。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种跨数据源查询的任务调度方法，其特征在于：包括如下步骤：
步骤1、服务器配置各个数据源的访问信息；
步骤2、服务器配置各个数据源的执行引擎；
步骤3、服务器解析SQL语句，得到所需访问的库，若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务。
2.根据权利要求1所述的一种跨数据源查询的任务调度方法，其特征在于：还包括步骤4、服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
3.根据权利要求1所述的一种跨数据源查询的任务调度方法，其特征在于：还包括步骤3进一步具体为：用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务。
4.根据权利要求1所述的一种跨数据源查询的任务调度方法，其特征在于：所述访问信息包括数据源的数据库名以及数据源连接信息。
5.一种跨数据源查询的任务调度装置，其特征在于：包括如下模块：
配置信息模块，服务器配置各个数据源的访问信息；
配置引擎模块，服务器配置各个数据源的执行引擎；
任务调度模块，服务器解析SQL语句，得到所需访问的库，若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务。
6.根据权利要求5所述的一种跨数据源查询的任务调度装置，其特征在于：还包括日志模块，服务器记录每次查询的数据源以及对应的执行引擎执行信息至日志信息。
7.根据权利要求5所述的一种跨数据源查询的任务调度装置，其特征在于：还包括任务调度模块进一步具体为：用户设置默认优先使用的执行引擎，服务器解析SQL语句，得到所需访问的库，
若用户查询的库来自同一个数据源，则调用该数据源对应的执行引擎执行任务；若用户查询的库来自不同的数据源，则调用对应的大数据执行引擎执行任务；
若用户查询的库都来自同一个数据源，则根据用户设置的执行引擎执行任务；
若用户查询的库来自不同的数据源，则选择对应的大数据执行引擎执行任务，若有至少两个大数据执行引擎均能执行任务，则根据日志信息，选择使用次数最多的大数据执行引擎执行任务，当使用次数相等或者日志无记录时，则随机挑选一个大数据执行引擎执行任务。
8.根据权利要求5所述的一种跨数据源查询的任务调度装置，其特征在于：所述访问信息包括数据源的数据库名以及数据源连接信息。
CN201810017065.5A 2018-01-09 2018-01-09 一种跨数据源查询的任务调度方法以及装置 Pending CN108241540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810017065.5A CN108241540A (zh) 2018-01-09 2018-01-09 一种跨数据源查询的任务调度方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810017065.5A CN108241540A (zh) 2018-01-09 2018-01-09 一种跨数据源查询的任务调度方法以及装置

Publications (1)

Publication Number Publication Date
CN108241540A true CN108241540A (zh) 2018-07-03

Family

ID=62698474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810017065.5A Pending CN108241540A (zh) 2018-01-09 2018-01-09 一种跨数据源查询的任务调度方法以及装置

Country Status (1)

Country Link
CN (1) CN108241540A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221888A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 大数据分析系统及方法
CN111221860A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 基于大数据的混合查询优化方法及装置
CN111221843A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 大数据处理方法及装置
CN111414369A (zh) * 2020-04-08 2020-07-14 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN111930862A (zh) * 2020-09-17 2020-11-13 国网浙江省电力有限公司 一种基于大数据平台的sql交互式分析方法及系统
CN112351099A (zh) * 2020-11-06 2021-02-09 北京金山云网络技术有限公司 数据访问方法、装置和服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120191687A1 (en) * 2009-08-04 2012-07-26 International Business Machines Corporation Using historical information to improve search across heterogeneous indices
CN102750384A (zh) * 2012-06-28 2012-10-24 用友软件股份有限公司 从多数据库引擎获取数据的装置和方法
CN102859524A (zh) * 2010-04-21 2013-01-02 雅虎公司 选择性地为网络搜索增加社会维度
CN103631816A (zh) * 2012-08-27 2014-03-12 阿里巴巴集团控股有限公司 一种跨数据源的业务模型的配置、应用方法和设备
CN105335477A (zh) * 2015-10-10 2016-02-17 北京京东尚科信息技术有限公司 一种数据库的操作方法及装置
CN106649630A (zh) * 2016-12-07 2017-05-10 乐视控股（北京）有限公司 数据查询方法及装置
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120191687A1 (en) * 2009-08-04 2012-07-26 International Business Machines Corporation Using historical information to improve search across heterogeneous indices
CN102859524A (zh) * 2010-04-21 2013-01-02 雅虎公司 选择性地为网络搜索增加社会维度
CN102750384A (zh) * 2012-06-28 2012-10-24 用友软件股份有限公司 从多数据库引擎获取数据的装置和方法
CN103631816A (zh) * 2012-08-27 2014-03-12 阿里巴巴集团控股有限公司 一种跨数据源的业务模型的配置、应用方法和设备
CN105335477A (zh) * 2015-10-10 2016-02-17 北京京东尚科信息技术有限公司 一种数据库的操作方法及装置
CN106649630A (zh) * 2016-12-07 2017-05-10 乐视控股（北京）有限公司 数据查询方法及装置
CN107066499A (zh) * 2016-12-30 2017-08-18 江苏瑞中数据股份有限公司 面向异构存储多源数据管理及可视化系统的数据查询方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221888A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 大数据分析系统及方法
CN111221860A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 基于大数据的混合查询优化方法及装置
CN111221843A (zh) * 2018-11-27 2020-06-02 北京奇虎科技有限公司 大数据处理方法及装置
CN111414369A (zh) * 2020-04-08 2020-07-14 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN111414369B (zh) * 2020-04-08 2024-03-01 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN111930862A (zh) * 2020-09-17 2020-11-13 国网浙江省电力有限公司 一种基于大数据平台的sql交互式分析方法及系统
CN111930862B (zh) * 2020-09-17 2020-12-15 国网浙江省电力有限公司 一种基于大数据平台的sql交互式分析方法及系统
CN112351099A (zh) * 2020-11-06 2021-02-09 北京金山云网络技术有限公司 数据访问方法、装置和服务器

Similar Documents

Publication Publication Date Title
CN108241540A (zh) 一种跨数据源查询的任务调度方法以及装置
US11922232B2 (en) Responding to incidents identified by an information technology and security operations application using a mobile application
US10999164B1 (en) Securely executing custom playbook code in a hybrid execution environment
US11880558B1 (en) Interface layout profiles including interface actions in an information technology and security operations application
US8938474B2 (en) Securing application information in system-wide search engines
US6321219B1 (en) Dynamic symbolic links for computer file systems
US9229940B2 (en) Method and apparatus for improving the integration between a search engine and one or more file servers
CA2588922C (en) Computer readable medium, method and apparatus for preserving filtering conditions to query multilingual data sources at various locales when regenerating a report
EP1241594A2 (en) System and method for locating pages on the world wide web and for locating documents from a network of computers
US20070192374A1 (en) Virtual repository management to provide functionality
US20070192289A1 (en) Enhanced search results
US20110282854A1 (en) Virtual repository management
CN106326429A (zh) 一种基于solr的Hbase秒级查询方案
CN109033280A (zh) 日志搜索方法、系统、计算机设备和存储介质
US11593477B1 (en) Expediting processing of selected events on a time-limited basis
US11886844B1 (en) Updating reusable custom functions across playbooks
JP5048956B2 (ja) データベースのクローリングによる情報検索
CN108197277B (zh) 一种统一的数据库管理查询方法以及装置
US9870422B2 (en) Natural language search
CN106844497A (zh) 一种数据库代码的检查装置和方法
WO2014113898A1 (en) Method for accessing and automatically correlating data from a plurality of external data sources
US9020995B2 (en) Hybrid relational, directory, and content query facility
US11895126B1 (en) Analyzing data across tenants of an information technology (IT) and security operations application
US20050160101A1 (en) Method and apparatus using dynamic SQL for item create, retrieve, update delete operations in a content management application
US7925642B2 (en) Apparatus and method for reducing size of intermediate results by analyzing having clause information during SQL processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination