CN110807145A - 查询引擎获取方法、设备和计算机可读存储介质 - Google Patents
查询引擎获取方法、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110807145A CN110807145A CN201810803574.0A CN201810803574A CN110807145A CN 110807145 A CN110807145 A CN 110807145A CN 201810803574 A CN201810803574 A CN 201810803574A CN 110807145 A CN110807145 A CN 110807145A
- Authority
- CN
- China
- Prior art keywords
- engine
- engines
- execute
- query statement
- sql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种查询引擎获取方法、设备和计算机可读存储介质，方法包括：获取SQL查询语句的特征；根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值；根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。根据本发明的技术方案，满足用户在进行SQL查询时，可以自动对SQL查询语句分析，分析出查询引擎对SQL语句的耗时，从而实现将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种查询引擎获取方法、设备和计算机可读存储介质。
背景技术
Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。当前Hadoop生态系统已经包含数十个开源工具，涵盖了包括资源调度、数据仓库、流计算及各种业务针对应用场景。其中提供数据仓库功能的有hive、spark SQL、impala、presto等工具。
诸多的SQL(Structured Query Language，结构化查询语言)查询引擎都是SQL-on-Hadoop(基于Hadoop的SQL查询解决方案)，但又各有特点。例如hive较适用于批量转换大量数据或整合数据格式，而不适用于实时查询；spark SQL在某些多筛选条件的SQL性能上会优于impala；而impala在多子查询条件时性能较高，在大数据量处理方面却有所不足。
因此，需要一种技术方案，能够利用查询引擎的优点，避开查询引擎的缺点，自动为SQL查询语句选择合适的引擎。
发明内容
本发明实施例的主要目的在于提出查询引擎获取方法、设备和计算机可读存储介质，旨在利用查询引擎的优点，避开查询引擎的缺点，自动为SQL查询语句选择合适的引擎。
为实现上述目的，本发明提供了一种查询引擎获取方法，包括：获取SQL查询语句的特征；根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值；根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
为实现上述目的，本发明提供了一种查询引擎获取设备，所述查询引擎获取设备包括处理器、存储器和通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的查询引擎获取程序，以实现以下步骤：获取SQL查询语句的特征；根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值；根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
为实现上述目的，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述的查询引擎获取方法的步骤。
根据以上技术方案，可知本发明查询引擎获取方法、设备和计算机可读存储介质至少具有以下优点：
根据本发明的技术方案，满足用户在进行SQL查询时，可以自动对SQL查询语句分析，分析出查询引擎对SQL语句的耗时，从而实现将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
附图说明
图1是根据本发明的一个实施例的查询引擎获取方法的流程图；
图2是根据本发明的一个实施例的查询引擎获取方法的示意图；
图3是根据本发明的一个实施例的查询引擎获取设备的框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
如图1所示，本发明的一个实施例中一种查询引擎获取方法，包括：
步骤S110，获取SQL查询语句的特征。
在本实施例中，将Hadoop平台支持的所有SQL语句进行分类，挑选出union、case、having、partition、子查询等关键特征。
步骤S120，根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，每一种特征对应一种相对优化的计算引擎选择和对应的表示耗时的权重值。
步骤S130，根据多个第一权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，满足用户在进行SQL查询时，可以自动对SQL查询语句分析，分析出查询引擎对SQL语句的耗时，从而实现将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
如图2所示，本发明的一个实施例中一种查询引擎获取方法，包括：
在本实施例中，通过每个引擎执行多个包含特征且数据量不同的测试查询语句得到耗时。首先获取平台上所有SQL引擎的连接方式，包括用户ID、密码、连接端口、元数据库等信息并存储；配置所有引擎使用相同元数据；在所有SQL引擎上运行基准测试，基准测试语句分别包括不同数据量下union、case、having、order by等特征。获取不同引擎在各个关键特征语句的执行时间并记录；选择一个引擎作为基准权重，根据基准测试耗时与基准引擎执行的时间比，完成权重表；通过HDFS和建表语句获取每张表的大小和列数并记录；定时连接到计算引擎通过jmx获取集群中引擎使用的资源，包括cpu、内存、任务队列数信息并刷新记录。
步骤S210，根据SQL查询语句的语法，从多个引擎中去除不支持语法的引擎。
在本实施例中，根据提交的SQL语句，首先根据语法筛选出不支持的计算引擎；再挑选出包含的关键特征，分别统计不同引擎在SQL语句方面的优化权重。
步骤S220，获取SQL查询语句的特征。
步骤S230，根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，记录每个计算引擎运行每条测试语句的消耗时间，选取一种引擎作为基线，将其所有特征权重赋值为1，其余引擎权重的赋值取其测试语句消耗时间与基线时间的比值。
步骤S240，获取SQL查询语句使用的表的大小和/或列数，根据表的大小和/或列数，获取用于表的大小和/或列数对应的数据量的第二权重值。
在本实施例中，计算SQL语句中使用到的表对应在hdfs上的文件大小，结合使用到其中的列数，估算是否属于实时计算和是否适合使用内存计算类引擎。分别统计不同引擎的优化权重。
步骤S250，根据多个引擎中每个引擎当前的负荷情况，获取反应负荷情况的第三权重值。
在本实施例中，获取当前系统各个引擎的负荷情况，优先选择有较多资源空余和排队数量较少的引擎，并以此计算权重。在本实施例中，各引擎当前已使用的资源和当前任务的队列长度，定时刷新获取最新值。
步骤S260，根据多个第一权重值的大小、多个第二权重值的大小、多个第三权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，通过本系统创建一张表，并导入数据文件。由于所有引擎使用同一个元数据库，本系统下发刷新操作后各引擎即可感知到新表；通过HDFS获取表的物理文件大小并记录，通过建表语句获取表的列数等信息并记录；定时获取各个计算引擎的系统资源使用和任务排队状态并记录；提交SQL语句，根据语句的语法和权重表，综合考量语句包含的关键特征、数据量和当前系统负荷程度，得出针对此任务的最优计算引擎，提交作业。作业结束后将元数据的更新通知至所有引擎。
在本实施例中，综合考量所有的权重值，选择出最优的SQL计算引擎，提交作业。为基于SQL-on-Hadoop的用户提供统一的平台，以满足用户在进行SQL查询时，可以将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
如图3所示，本发明的一个实施例中一种查询引擎获取设备，查询引擎获取设备包括处理器310、存储器320和通信总线330；
通信总线330用于实现处理器310和存储器320之间的连接通信；
处理器310用于执行存储器中存储的查询引擎获取程序，以实现以下步骤：
获取SQL查询语句的特征。
在本实施例中，将Hadoop平台支持的所有SQL语句进行分类，挑选出union、case、having、partition、子查询等关键特征。
根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，每一种特征对应一种相对优化的计算引擎选择和对应的表示耗时的权重值。
根据多个第一权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，满足用户在进行SQL查询时，可以自动对SQL查询语句分析，分析出查询引擎对SQL语句的耗时，从而实现将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
如图3所示，本发明的一个实施例中一种查询引擎获取设备，查询引擎获取设备包括处理器310、存储器320和通信总线330；
通信总线330用于实现处理器310和存储器320之间的连接通信；
处理器310用于执行存储器中存储的查询引擎获取程序，以实现以下步骤：
在本实施例中，通过每个引擎执行多个包含特征且数据量不同的测试查询语句得到耗时。首先获取平台上所有SQL引擎的连接方式，包括用户ID、密码、连接端口、元数据库等信息并存储；配置所有引擎使用相同元数据；在所有SQL引擎上运行基准测试，基准测试语句分别包括不同数据量下union、case、having、order by等特征。获取不同引擎在各个关键特征语句的执行时间并记录；选择一个引擎作为基准权重，根据基准测试耗时与基准引擎执行的时间比，完成权重表；通过HDFS和建表语句获取每张表的大小和列数并记录；定时连接到计算引擎通过jmx获取集群中引擎使用的资源，包括cpu、内存、任务队列数信息并刷新记录。
根据SQL查询语句的语法，从多个引擎中去除不支持语法的引擎。
在本实施例中，根据提交的SQL语句，首先根据语法筛选出不支持的计算引擎；再挑选出包含的关键特征，分别统计不同引擎在SQL语句方面的优化权重。
获取SQL查询语句的特征。
根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，记录每个计算引擎运行每条测试语句的消耗时间，选取一种引擎作为基线，将其所有特征权重赋值为1，其余引擎权重的赋值取其测试语句消耗时间与基线时间的比值。
获取SQL查询语句使用的表的大小和/或列数，根据表的大小和/或列数，获取用于表示表的大小和/或列数对应的数据量的第二权重值。
在本实施例中，计算SQL语句中使用到的表对应在hdfs上的文件大小，结合使用到其中的列数，估算是否属于实时计算和是否适合使用内存计算类引擎。分别统计不同引擎的优化权重。
根据多个引擎中每个引擎当前的负荷情况，获取反应负荷情况的第三权重值。
在本实施例中，获取当前系统各个引擎的负荷情况，优先选择有较多资源空余和排队数量较少的引擎，并以此计算权重。在本实施例中，各引擎当前已使用的资源和当前任务的队列长度，定时刷新获取最新值。
根据多个第一权重值的大小、多个第二权重值的大小、多个第三权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，通过本系统创建一张表，并导入数据文件。由于所有引擎使用同一个元数据库，本系统下发刷新操作后各引擎即可感知到新表；通过HDFS获取表的物理文件大小并记录，通过建表语句获取表的列数等信息并记录；定时获取各个计算引擎的系统资源使用和任务排队状态并记录；提交SQL语句，根据语句的语法和权重表，综合考量语句包含的关键特征、数据量和当前系统负荷程度，得出针对此任务的最优计算引擎，提交作业。作业结束后将元数据的更新通知至所有引擎。
在本实施例中，综合考量所有的权重值，选择出最优的SQL计算引擎，提交作业。为基于SQL-on-Hadoop的用户提供统一的平台，以满足用户在进行SQL查询时，可以将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
本发明的一个实施例中一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：
获取SQL查询语句的特征。
在本实施例中，将Hadoop平台支持的所有SQL语句进行分类，挑选出union、case、having、partition、子查询等关键特征。
根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，每一种特征对应一种相对优化的计算引擎选择和对应的表示耗时的权重值。
根据多个第一权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，满足用户在进行SQL查询时，可以自动对SQL查询语句分析，分析出查询引擎对SQL语句的耗时，从而实现将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
本发明的一个实施例中一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：
在本实施例中，首先获取平台上所有SQL引擎的连接方式，包括用户ID、密码、连接端口、元数据库等信息并存储；配置所有引擎使用相同元数据；在所有SQL引擎上运行基准测试，基准测试语句分别包括不同数据量下union、case、having、order by等特征。获取不同引擎在各个关键特征语句的执行时间并记录；选择一个引擎作为基准权重，根据基准测试耗时与基准引擎执行的时间比，完成权重表；通过HDFS和建表语句获取每张表的大小和列数并记录；定时连接到计算引擎通过jmx获取集群中引擎使用的资源，包括cpu、内存、任务队列数信息并刷新记录。
根据SQL查询语句的语法，从多个引擎中去除不支持语法的引擎。
在本实施例中，根据提交的SQL语句，首先根据语法筛选出不支持的计算引擎；再挑选出包含的关键特征，分别统计不同引擎在SQL语句方面的优化权重。
获取SQL查询语句的特征。
根据特征，获取用于表示多个引擎中每个引擎执行包含特征的测试查询语句的耗时的第一权重值。
在本实施例中，记录每个计算引擎运行每条测试语句的消耗时间，选取一种引擎作为基线，将其所有特征权重赋值为1，其余引擎权重的赋值取其测试语句消耗时间与基线时间的比值。
获取SQL查询语句使用的表的大小和/或列数，根据表的大小和/或列数，获取用于表示表的大小和/或列数对应的数据量的第二权重值。
在本实施例中，计算SQL语句中使用到的表对应在hdfs上的文件大小，结合使用到其中的列数，估算是否属于实时计算和是否适合使用内存计算类引擎。分别统计不同引擎的优化权重。
根据多个引擎中每个引擎当前的负荷情况，获取反应负荷情况的第三权重值。
在本实施例中，获取当前系统各个引擎的负荷情况，优先选择有较多资源空余和排队数量较少的引擎，并以此计算权重。在本实施例中，各引擎当前已使用的资源和当前任务的队列长度，定时刷新获取最新值。
根据多个第一权重值的大小、多个第二权重值的大小、多个第三权重值的大小，从多个引擎中选择一个引擎执行SQL查询语句。
根据本实施例的技术方案，通过本系统创建一张表，并导入数据文件。由于所有引擎使用同一个元数据库，本系统下发刷新操作后各引擎即可感知到新表；通过HDFS获取表的物理文件大小并记录，通过建表语句获取表的列数等信息并记录；定时获取各个计算引擎的系统资源使用和任务排队状态并记录；提交SQL语句，根据语句的语法和权重表，综合考量语句包含的关键特征、数据量和当前系统负荷程度，得出针对此任务的最优计算引擎，提交作业。作业结束后将元数据的更新通知至所有引擎。
在本实施例中，综合考量所有的权重值，选择出最优的SQL计算引擎，提交作业。为基于SQL-on-Hadoop的用户提供统一的平台，以满足用户在进行SQL查询时，可以将查询任务自动提交至该查询指令预计性能最优的引擎上执行。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种查询引擎获取方法，其特征在于，包括：
获取SQL查询语句的特征；
根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值；
根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
2.根据权利要求1所述的方法，其特征在于，在所述根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句之前，还包括：
获取所述SQL查询语句使用的表的大小和/或列数，根据所述表的大小和/或列数，获取用于表示所述表的大小和/或列数对应的数据量的第二权重值；
所述根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句，包括：
根据所述多个第一权重值的大小、多个第二权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
3.根据权利要求1所述的方法，其特征在于，在所述根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句之前，还包括：
根据所述多个引擎中每个引擎当前的负荷情况，获取反应所述负荷情况的第三权重值；
所述根据所述多个权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句，包括：
根据所述多个第一权重值的大小、多个第三权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值之前，还包括：
通过所述每个引擎执行多个包含所述特征且数据量不同的测试查询语句得到所述耗时。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值之前，还包括：
根据所述SQL查询语句的语法，从所述多个引擎中去除不支持所述语法的引擎。
6.一种查询引擎获取设备，其特征在于，所述查询引擎获取设备包括处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的查询引擎获取程序，以实现以下步骤：
获取SQL查询语句的特征；
根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值；
根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
7.根据权利要求6所述的设备，其特征在于，在所述根据多个权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句之前，所述处理器还执行所述查询引擎获取程序，以执行以下步骤：
获取所述SQL查询语句使用的表的大小和/或列数，根据所述表的大小和/或列数，获取用于表示所述表的大小和/或列数对应的数据量的第二权重值；
所述根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句中，所述处理器执行所述查询引擎获取程序，以执行以下步骤：
根据所述多个第一权重值的大小、多个第二权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
8.根据权利要求7所述的设备，其特征在于，在所述根据多个第一权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句之前，所述处理器还执行所述查询引擎获取程序，以执行以下步骤：
根据所述多个引擎中每个引擎当前的负荷情况，获取反应所述负荷情况的第三权重值；
所述根据所述多个权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句中，所述处理器执行所述查询引擎获取程序，以执行以下步骤：
根据所述多个第一权重值的大小、多个第三权重值的大小，从所述多个引擎中选择一个引擎执行所述SQL查询语句。
9.根据权利要求6所述的方法，其特征在于，在所述根据所述特征，获取用于表示多个引擎中每个引擎执行包含所述特征的测试查询语句的耗时的第一权重值之前，所述处理器还执行所述查询引擎获取程序，以执行以下步骤：
通过所述每个引擎执行多个包含所述特征且数据量不同的测试查询语句得到所述耗时。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至5中任一项所述的查询引擎获取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803574.0A CN110807145A (zh) | 2018-07-20 | 2018-07-20 | 查询引擎获取方法、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803574.0A CN110807145A (zh) | 2018-07-20 | 2018-07-20 | 查询引擎获取方法、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110807145A true CN110807145A (zh) | 2020-02-18 |
Family
ID=69486734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810803574.0A Withdrawn CN110807145A (zh) | 2018-07-20 | 2018-07-20 | 查询引擎获取方法、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807145A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694668A (zh) * | 2020-06-11 | 2020-09-22 | 广州市百果园信息技术有限公司 | 查询任务路由方法、装置、设备及存储介质 |
| CN112783927A (zh) * | 2021-01-27 | 2021-05-11 | 浪潮云信息技术股份公司 | 一种数据库查询方法及系统 |
| CN113568931A (zh) * | 2020-04-29 | 2021-10-29 | 盛趣信息技术（上海）有限公司 | 一种数据访问请求的路由解析系统及方法 |
| CN113641487A (zh) * | 2021-07-06 | 2021-11-12 | 多点生活(成都)科技有限公司 | 一种大数据平台sql任务执行引擎智能自动切换的方法 |
| CN113704286A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团重庆有限公司 | 引擎选择方法、装置及计算设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787119A (zh) * | 2016-03-25 | 2016-07-20 | 盛趣信息技术（上海）有限公司 | 基于混合引擎的大数据处理方法及系统 |
| CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及系统 |
| CN107609130A (zh) * | 2017-09-18 | 2018-01-19 | 链家网（北京）科技有限公司 | 一种选择数据查询引擎的方法及服务器 |
-
2018
- 2018-07-20 CN CN201810803574.0A patent/CN110807145A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787119A (zh) * | 2016-03-25 | 2016-07-20 | 盛趣信息技术（上海）有限公司 | 基于混合引擎的大数据处理方法及系统 |
| CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及系统 |
| CN107609130A (zh) * | 2017-09-18 | 2018-01-19 | 链家网（北京）科技有限公司 | 一种选择数据查询引擎的方法及服务器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113568931A (zh) * | 2020-04-29 | 2021-10-29 | 盛趣信息技术（上海）有限公司 | 一种数据访问请求的路由解析系统及方法 |
| CN113704286A (zh) * | 2020-05-20 | 2021-11-26 | 中国移动通信集团重庆有限公司 | 引擎选择方法、装置及计算设备 |
| CN111694668A (zh) * | 2020-06-11 | 2020-09-22 | 广州市百果园信息技术有限公司 | 查询任务路由方法、装置、设备及存储介质 |
| CN112783927A (zh) * | 2021-01-27 | 2021-05-11 | 浪潮云信息技术股份公司 | 一种数据库查询方法及系统 |
| CN113641487A (zh) * | 2021-07-06 | 2021-11-12 | 多点生活(成都)科技有限公司 | 一种大数据平台sql任务执行引擎智能自动切换的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807145A (zh) | 查询引擎获取方法、设备和计算机可读存储介质 | |
| US10762108B2 (en) | Query dispatching system and method | |
| EP3545435B1 (en) | Database system and method for compiling serial and parallel database query execution plans | |
| US10459915B2 (en) | Managing queries | |
| US11132383B2 (en) | Techniques for processing database tables using indexes | |
| JP5999574B2 (ja) | データベース管理システム及び計算機システム | |
| CN110147407B (zh) | 一种数据处理方法、装置及数据库管理服务器 | |
| CN109271435A (zh) | 一种支持断点续传的数据抽取方法及系统 | |
| CN104035938A (zh) | 一种性能持续集成数据处理的方法及装置 | |
| CN109885642B (zh) | 面向全文检索的分级存储方法及装置 | |
| US20060074875A1 (en) | Method and apparatus for predicting relative selectivity of database query conditions using respective cardinalities associated with different subsets of database records | |
| US20240061712A1 (en) | Method, apparatus, and system for creating training task on ai training platform, and medium | |
| CN113326285B (zh) | 数据库表的查询方法及装置 | |
| CN109344164B (zh) | 数据存储方法及装置 | |
| CN113568931A (zh) | 一种数据访问请求的路由解析系统及方法 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN108664322A (zh) | 数据处理方法及系统 | |
| US9305045B1 (en) | Data-temperature-based compression in a database system | |
| CN115858499A (zh) | 一种数据库分区处理方法、装置、计算机设备和存储介质 | |
| CN115237885A (zh) | 数据存储系统的参数调整方法及装置 | |
| CN109902067B (zh) | 文件处理方法、装置、存储介质及计算机设备 | |
| CN110209645A (zh) | 任务处理方法、装置、电子设备及存储介质 | |
| WO2023232127A1 (zh) | 任务调度方法、装置、系统及相关设备 | |
| US20230010652A1 (en) | Systems and methods for automatic index creation in database deployment | |
| US20240037100A1 (en) | Detecting chains of functions that violate a constraint |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200218 |
|
| WW01 | Invention patent application withdrawn after publication |