CN104731900A - 一种Hive调度方法及装置 - Google Patents
一种Hive调度方法及装置 Download PDFInfo
- Publication number
- CN104731900A CN104731900A CN201510121497.7A CN201510121497A CN104731900A CN 104731900 A CN104731900 A CN 104731900A CN 201510121497 A CN201510121497 A CN 201510121497A CN 104731900 A CN104731900 A CN 104731900A
- Authority
- CN
- China
- Prior art keywords
- hive
- program
- execution time
- quartz
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明提供了一种Hive调度方法及装置，该方法包括：预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类；创建至少一个Hive程序；确定每个所述Hive程序的执行时间；根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。通过本发明提供的一种Hive调度方法及装置，能够降低对Hive操作的复杂度。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种Hive调度方法及装置。
背景技术
随着信息数据量的增大，为了进一步挖掘数据资源、为了决策需要而产生了数据仓库。同时在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL存储或查询功能，可以将SQL语句转换为MapReduce任务进行运行。利用Hadoop集群优势，执行MapReduce任务，将大数据自动分拆成数据段到集群中的每个机器中，并行运行，可以几何倍数的增加工作效率。
现有技术中，用户在对Hive中的数据进行操作时，需要将操作编写成对应的SQL语句，将SQL语句输入到Hive中，当对当前的Hive执行下一个操作时，等待上一个操作执行完成后，将编写的SQL语句输入到Hive中。
通过上述描述可见，现有技术中，用户对Hive的操作需要将编写的SQL语句输入到Hive中，并在上一个SQL语句的操作执行完成后才能执行下一个SQL语句的操作，对Hive中的操作较复杂。
发明内容
有鉴于此，本发明提供了一种Hive调度方法及装置，能够降低对Hive操作的复杂度。
一方面，本发明提供了一种Hive调度方法，包括：预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类，还包括：
S1：创建至少一个Hive程序；
S2：确定每个所述Hive程序的执行时间；
S3：根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
S4：根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
进一步地，所述S3包括：
根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述S4，包括：
根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
进一步地，还包括：预先创建用于执行所述Hive程序的脚本；
所述S4，包括：
根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
进一步地，所述S1，包括：
通过SQL语句创建至少一个Hive程序；
和/或，在所述S4之后还包括：将所述Hive程序转换成MapReduce任务运行。
进一步地，在所述S1之前，还包括：
预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述S4中执行当前的执行时间对应的Hive程序，包括：
执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
另一方面，本发明提供了一种Hive调度装置，包括：
第一创建单元，用于创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类
第二创建单元，用于创建至少一个Hive程序；
确定单元，用于确定每个所述Hive程序的执行时间；
建立单元，用于根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
执行单元，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
进一步地，所述建立单元，用于根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述执行单元，用于根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
进一步地，第三创建单元，用于创建用于执行所述Hive程序的脚本；
所述执行单元，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
进一步地，所述第二创建单元，用于通过SQL语句创建至少一个Hive程序；
和/或，还包括：转换单元，用于将所述Hive程序转换成MapReduce任务运行。
进一步地，还包括：
第四创建单元，用于预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述执行单元，用于执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
本发明实施例提供了一种Hive调度方法及装置，为每个Hive程序设置对应的执行时间，通过Quartz中的org.quartz.Job接口安装执行时间调用对应的Hive程序，实现对Hive的操作，每个Hive程序能够在对应的执行时间自动执行，无需等到上一个Hive程序执行完成后，再输入下一个Hive程序，操作简单。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种Hive调度方法的流程图；
图2是本发明一实施例提供的另一种Hive调度方法的流程图；
图3是本发明一实施例提供的一种Hive调度装置的示意图；
图4是本发明一实施例提供的另一种Hive调度装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种Hive调度方法，该方法可以包括以下步骤：
S0：预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类；
S1：创建至少一个Hive程序；
S2：确定每个所述Hive程序的执行时间；
S3：根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
S4：根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
本发明实施例提供了一种Hive调度方法，为每个Hive程序设置对应的执行时间，通过Quartz中的org.quartz.Job接口安装执行时间调用对应的Hive程序，实现对Hive的操作，每个Hive程序能够在对应的执行时间自动执行，无需等到上一个Hive程序执行完成后，再输入下一个Hive程序，操作简单。
在一种可能的实现方式中，可以通过Quartz的调度时间表将Quartz与Hive结合起来。
所述S3包括：根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述S4，包括：根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
通过执行方法来调用对应的Hive程序。调度时间表中可以保存Hive的标识，该Hive的标识可以是Hive的名称，通过Hive的标识与执行时间关联起来。
为了使代码更加简便，并且有很好的交互性，Hive程序的执行可以通过调用脚本的方式完成。这种方式使得开发人员在Hive之上完成功能开发，而不需要对Hive有很深的专业知识。
该方法还包括：预先创建用于执行所述Hive程序的脚本；
所述S4，包括：根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，调用所述脚本运行当前执行时间对应的Hive程序。
在一种可能的实现方式中，为租户创建项目空间，项目空间类似Hive数据库，每个租户可以有多个项目空间，项目空间名称具有唯一性，各租户的项目空间名称不能重复，用于实现对多租户的任务的隔离。租户进入项目空间创建Hive表，Hive表的数据实际都存储到HDFS(Hadoop Distributed FileSystem，Hadoop分布式文件系统)中。在所述S1之前，还包括：预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述S4中执行当前的执行时间对应的Hive程序，包括：
执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
每个租户只是对其项目空间中的Hive表进行操作，不能对其他租户的Hive进行操作，通过项目空间的名称的唯一性能够实现不同租户的操作的隔离。
为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。
如图2所示，本发明实施例提供了一种Hive调度方法，该方法可以包括以下步骤：
步骤201：预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，预先创建用于执行所述Hive程序的脚本，预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类，其中，所述项目空间的名称在Hive中是唯一的。
在该步骤中，创建一个实现Quartz框架中org.quartz.Job接口的Java类HiveJob，HiveJob中包含唯一的执行方法execute()。
步骤202：创建至少一个Hive程序。
该步骤可以通过以下方式实现：通过SQL语句创建至少一个Hive程序。为了方便查找Hive程序，可以将Hive程序按文件夹进行分类。通过Hive程序可以对于存储到HDFS中的数据进行存储、查询和计算操作。程序管理将这些操作数据的Hive程序保存到数据库。
步骤203：确定每个所述Hive程序的执行时间。
步骤204：根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系。
在该步骤中，建立Hive程序与所述执行时间的关联关系，例如：每天的9点执行第一Hive程序，每条的10点执行第二Hive程序。其中，执行时间可以通过定时规则来实现，举例来说，0 39 23**？，表示在每天的23点39分执行。
每个Hive程序和其对应的执行时间可以当做是一个任务，定义任务时，实现类HiveJob的配置保存到调度时间表。当调度程序确定该是通知任务的时候，Quartz框架将调用HiveJob上的执行方法execute()。另外，还可以插入任务实例信息，实例日志信息及开始任务执行线程的业务逻辑，通过执行来记录Hive程序的执行过程，举例来说，记录Hive程序的执行成功的消息、执行失败的消息。
步骤205：根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法。
步骤206：通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
步骤207：通过所述Hive程序对所述项目空间中的Hive表进行操作。
在Hive中，将所述Hive程序转换成MapReduce任务运行。
通过本发明实施例，可以设置Hive程序执行的时间，用户可以根据需要来灵活设置，例如：可以在处理系统空闲的时候来执行Hive程序，有效解决了对于实时性要求相对不高的存储或计算工作，采用任务调度的方式按规定时间执行任务，减少了用户工作量及系统的资源消耗，并保证了系统的稳定性，达到更好的用户体验效果。
如图3、图4所示，本发明实施例提供了一种Hive调度装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种Hive调度装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种Hive调度装置，包括：
第一创建单元401，用于创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类
第二创建单元402，用于创建至少一个Hive程序；
确定单元403，用于确定每个所述Hive程序的执行时间；
建立单元404，用于根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
执行单元405，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
在一种可能的实现方式中，所述建立单元404，用于根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述执行单元405，用于根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
在一种可能的实现方式中，第三创建单元，用于创建用于执行所述Hive程序的脚本；
所述执行单元405，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
在一种可能的实现方式中，所述第二创建单元402，用于通过SQL语句创建至少一个Hive程序；
和/或，还包括：转换单元，用于将所述Hive程序转换成MapReduce任务运行。
在一种可能的实现方式中，还包括：
第四创建单元，用于预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述执行单元405，用于执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供的一种Hive调度方法及装置，具有如下有益效果：
1、本发明实施例提供了一种Hive调度方法及装置，为每个Hive程序设置对应的执行时间，通过Quartz中的org.quartz.Job接口安装执行时间调用对应的Hive程序，实现对Hive的操作，每个Hive程序能够在对应的执行时间自动执行，无需等到上一个Hive程序执行完成后，再输入下一个Hive程序，操作简单。
2、本发明实施例提供了一种Hive调度方法及装置，可以设置Hive程序执行的时间，用户可以根据需要来灵活设置，例如：可以在处理系统空闲的时候来执行Hive程序，有效解决了对于实时性要求相对不高的存储或计算工作，采用任务调度的方式按规定时间执行任务，减少了用户工作量及系统的资源消耗，并保证了系统的稳定性，达到更好的用户体验效果。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种Hive调度方法，其特征在于，包括：预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类，还包括：
S1：创建至少一个Hive程序；
S2：确定每个所述Hive程序的执行时间；
S3：根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
S4：根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
2.根据权利要求1所述的方法，其特征在于，所述S3包括：
根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述S4，包括：
根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
3.根据权利要求1所述的方法，其特征在于，还包括：预先创建用于执行所述Hive程序的脚本；
所述S4，包括：
根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
4.根据权利要求1所述的方法，其特征在于，所述S1，包括：
通过SQL语句创建至少一个Hive程序；
和/或，在所述S4之后还包括：将所述Hive程序转换成MapReduce任务运行。
5.根据权利要求1所述的方法，其特征在于，在所述S1之前，还包括：
预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述S4中执行当前的执行时间对应的Hive程序，包括：
执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
6.一种Hive调度装置，其特征在于，包括：
第一创建单元，用于创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类
第二创建单元，用于创建至少一个Hive程序；
确定单元，用于确定每个所述Hive程序的执行时间；
建立单元，用于根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；
执行单元，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
7.根据权利要求6所述的装置，其特征在于，所述建立单元，用于根据每个所述Hive程序的执行时间，在所述Quartz的调度时间表中，建立Hive程序与所述执行时间的关联关系；
所述执行单元，用于根据所述调度时间表，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。
8.根据权利要求6所述的装置，其特征在于，
第三创建单元，用于创建用于执行所述Hive程序的脚本；
所述执行单元，用于根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，通过所述执行方法调用所述脚本运行当前执行时间对应的Hive程序。
9.根据权利要求6所述的装置，其特征在于，所述第二创建单元，用于通过SQL语句创建至少一个Hive程序；
和/或，还包括：转换单元，用于将所述Hive程序转换成MapReduce任务运行。
10.根据权利要求6所述的装置，其特征在于，还包括：
第四创建单元，用于预先在所述Hive中创建当前租户的项目空间，在所述项目空间中创建Hive表，其中，所述项目空间的名称在Hive中是唯一的；
所述执行单元，用于执行当前的执行时间对应的Hive程序对所述项目空间中的Hive表进行操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510121497.7A CN104731900A (zh) | 2015-03-19 | 2015-03-19 | 一种Hive调度方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510121497.7A CN104731900A (zh) | 2015-03-19 | 2015-03-19 | 一种Hive调度方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104731900A true CN104731900A (zh) | 2015-06-24 |
Family
ID=53455787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510121497.7A Pending CN104731900A (zh) | 2015-03-19 | 2015-03-19 | 一种Hive调度方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104731900A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701624A (zh) * | 2016-02-26 | 2016-06-22 | 广州品唯软件有限公司 | 一种任务处理方法及装置 |
| CN106484897A (zh) * | 2016-10-21 | 2017-03-08 | 郑州云海信息技术有限公司 | 一种通过JDBC连接Hiveserver的快捷方法 |
| WO2019136797A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | Hive表扫描方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6003038A (en) * | 1997-03-31 | 1999-12-14 | Sun Microsystems, Inc. | Object-oriented processor architecture and operating method |
| CN103761148A (zh) * | 2014-01-26 | 2014-04-30 | 北京京东尚科信息技术有限公司 | 集群定时调度任务的控制方法 |
| CN103942099A (zh) * | 2014-04-30 | 2014-07-23 | 广州唯品会网络技术有限公司 | 基于Hive的并行执行任务方法及装置 |
| CN104360902A (zh) * | 2014-11-13 | 2015-02-18 | 武汉理工大学 | 一种基于滑动窗口的多优先级元数据任务调度方法 |
-
2015
- 2015-03-19 CN CN201510121497.7A patent/CN104731900A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6003038A (en) * | 1997-03-31 | 1999-12-14 | Sun Microsystems, Inc. | Object-oriented processor architecture and operating method |
| CN103761148A (zh) * | 2014-01-26 | 2014-04-30 | 北京京东尚科信息技术有限公司 | 集群定时调度任务的控制方法 |
| CN103942099A (zh) * | 2014-04-30 | 2014-07-23 | 广州唯品会网络技术有限公司 | 基于Hive的并行执行任务方法及装置 |
| CN104360902A (zh) * | 2014-11-13 | 2015-02-18 | 武汉理工大学 | 一种基于滑动窗口的多优先级元数据任务调度方法 |
Non-Patent Citations (2)
| Title |
|---|
| RENMINGGE1989: ""Quartz处理定时任务的核心概念"", 《WENKU.BAIDU.COM》 * |
| 郑耀东: ""基于Hadoop的百度游戏数据平台的设计与实现"", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701624A (zh) * | 2016-02-26 | 2016-06-22 | 广州品唯软件有限公司 | 一种任务处理方法及装置 |
| CN106484897A (zh) * | 2016-10-21 | 2017-03-08 | 郑州云海信息技术有限公司 | 一种通过JDBC连接Hiveserver的快捷方法 |
| WO2019136797A1 (zh) * | 2018-01-12 | 2019-07-18 | 平安科技（深圳）有限公司 | Hive表扫描方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10534773B2 (en) | Intelligent query parameterization of database workloads | |
| US9336288B2 (en) | Workflow controller compatibility | |
| CN108804630B (zh) | 一种面向行业应用的大数据智能分析服务系统 | |
| CN110908641B (zh) | 基于可视化的流计算平台、方法、设备和存储介质 | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| CN102375731A (zh) | 一种免编码集成应用软件平台系统 | |
| CN106354817B (zh) | 一种日志的处理方法及装置 | |
| US20140101092A1 (en) | Adjustment of map reduce execution | |
| CN109299074B (zh) | 一种基于模板化数据库视图的数据校验方法及系统 | |
| CN107145576B (zh) | 一种支持可视化和流程化的大数据etl调度系统 | |
| US10949218B2 (en) | Generating an execution script for configuration of a system | |
| US20140222766A1 (en) | System and method for database migration and validation | |
| CN110569090A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
| CN107479866B (zh) | 基于重构技术实现开放终端应用数据与功能的方法 | |
| Miller et al. | Open source big data analytics frameworks written in scala | |
| CN112637263A (zh) | 一种多数据中心资源优化提升方法、系统和存储介质 | |
| CN104731900A (zh) | 一种Hive调度方法及装置 | |
| CN105573763A (zh) | 一种支持rtos的嵌入式系统建模方法 | |
| CN112925767A (zh) | 基于互联网监管的多数据源动态数据同步治理方法及系统 | |
| US9052956B2 (en) | Selecting execution environments | |
| CN107704362A (zh) | 一种基于Ambari监控大数据组件的方法及装置 | |
| CN103810258A (zh) | 基于数据仓库的数据汇聚调度方法 | |
| CN102393820A (zh) | 一种楼宇监控系统控制逻辑的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150624 |