CN111078665B - 确定hive任务的优化信息的方法、装置、计算机设备和介质 - Google Patents

Abstract

本申请涉及大数据领域，具体涉及一种确定HIVE任务的优化信息的方法、装置、计算机设备和存储介质。所述方法包括：确定待优化任务；获取待优化任务关联的任务配置信息；确定当前需要执行的任务优化规则；根据任务配置信息确定任务优化规则对应的基础处理信息；根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。本发明实施例能够自动检测出可能存在异常情况的Hive任务，并确定与该任务相应的优化信息，从而降低Hive任务的监控难度、提高对Hive任务的优化效率。

Description

确定HIVE任务的优化信息的方法、装置、计算机设备和介质

技术领域

本申请涉及大数据领域，特别是涉及一种确定HIVE任务的优化信息的方法、装置、计算机设备和存储介质。

背景技术

Hive数据仓库作为离线数据仓库，对比关系型数据库其优势在于计算的可扩展性，数据的可容错性，海量数据存储可靠性等。Hive数据仓库通过数据采集，数据清洗，模型建设，数据应用等阶段，为使用者提供可靠的，海量数据分析能力。

Hive任务在数据仓库的各个环节被调用执行，将原始数据一步步进行清洗、转换、重组，根据不同业务进行聚合、拆分。可以将Hive任务看做整个数据仓库流程中的最小单元。在整个数据流中，如果有任务出现延迟、超时、运行失败等异常情况，那么整个数据仓库的功能和性能会受到极大的影响，因此，需要数据仓库管理人员对每个任务进行监控，以及时对出现异常情况的任务进行优化。

然而随着公司业务的爆发式增长，作为任务流最小单元的Hive任务的数量会爆发式地增加，因此不合理任务的数量也会随之增加，那么对数据仓库管理人员来说，监控Hive任务的难度会越来越大，而对Hive任务的优化效率也会相应地降低。

发明内容

本发明针对现有技术的缺点，提供了一种确定HIVE任务的优化信息的方法、装置、计算机设备和存储介质，本发明实施例能够自动检测出可能存在异常情况的Hive任务，并确定与该任务相应的优化信息，从而降低Hive任务的监控难度、提高对Hive任务的优化效率。

本发明根据第一方面提供了一种确定HIVE任务的优化信息的方法，在一个实施例中，该方法包括：

确定待优化任务；

获取待优化任务关联的任务配置信息；

确定当前需要执行的任务优化规则；

根据任务配置信息确定任务优化规则对应的基础处理信息；

根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在一个实施例中，根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，包括：

根据任务优化规则对基础处理信息进行匹配处理，得到基础处理信息的处理结果；

根据处理结果确定任务配置信息中的待优化代码，以及待优化代码对应的代码优化信息；

将待优化代码对应的代码优化信息作为待优化任务的优化信息。

在一个实施例中，本申请提供的任务处理信息确定方法，还包括：

以预设展示样式展示待优化任务的任务配置信息和优化信息。

在一个实施例中，本申请提供的任务处理信息确定方法，还包括：

响应于针对待优化任务的优化指令，对待优化任务进行优化，得到优化后的待优化任务；

执行优化后的待优化任务，得到优化后的待优化任务的优化后运行结果；

获取待优化任务的历史运行结果；

根据优化后运行结果和历史运行结果生成运行结果对比信息；

展示运行结果对比信息。

在一个实施例中，根据任务配置信息确定任务优化规则对应的基础处理信息，包括：

若任务优化规则为任务参数优化规则，将任务配置信息包括的参数配置信息确定为基础处理信息，参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；

若任务优化规则为任务代码优化规则或存储格式优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

在一个实施例中，根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，包括：

若任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据各个参数标识对应的参数值建议信息确定待优化任务的优化信息；

若任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据各个代码片段对应的代码匹配结果确定待优化任务的优化信息；

若任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据各个表格的存储格式匹配结果确定待优化任务的优化信息。

在一个实施例中，确定待优化任务，包括：

确定待选任务；

获取待选任务的运行日志信息；

提取运行日志信息的日志特征信息；

若日志特征信息满足预设筛选条件，确定待选任务为待优化任务。

本发明根据第二方面提供了一种确定HIVE任务的优化信息的装置，在一个实施例中，该装置包括：

任务确定模块，用于确定待优化任务；

关联信息获取模块，用于获取待优化任务关联的任务配置信息；

规则确定模块，用于确定当前需要执行的任务优化规则；

基础信息确定模块，用于根据任务配置信息确定任务优化规则对应的基础处理信息；

优化信息获得模块，用于根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

本发明根据第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的实施例的步骤。

本发明根据第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法的实施例的步骤。

本发明提供的上述实施例能够自动地确定出待优化任务，即运行情况可能存在异常的Hive任务，然后获取该待优化任务关联的任务配置信息，以及确定当前需要执行的任务优化规则，再根据获取的任务配置信息来确定出任务优化规则对应的基础处理信息，最后根据确定出的任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，数据仓库管理人员不需要花费大量时间精力来监控每个Hive任务的运行情况是否存在异常，基于系统提供的优化信息就能快速确定待优化任务对应的优化方案，从而降低Hive任务的监控难度、提高对Hive任务的优化效率。

附图说明

图1为一个实施例中一种确定HIVE任务的优化信息的方法的流程示意图；

图2为一个实施例中一种优化服务器确定待优化任务步骤的流程示意图；

图3为一个实施例中另一种确定HIVE任务的优化信息的方法的流程示意图；

图4为一个实施例中一种展示运行结果对比信息的示意图；

图5为一个实施例中一种确定HIVE任务的优化信息的装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

如图1所示，是本发明一个实施例提供的一种确定HIVE任务的优化信息的方法，下面以该方法应用于优化服务器为例进行说明，其中该优化服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

该方法包括以下步骤：

S110：确定待优化任务。

在本实施例中，用户可以直接向优化服务器下发指令，确定某个或某多个Hive任务为待优化任务，当优化服务器接收到用户下发的指令时，自动将该指令关联的任务标识确定为的待优化任务。比如，在一个场景中，用户在一个预置的用于接收外部指令的页面中，输入一个Hive任务的唯一的任务标识(比如，任务名称、任务编号等)JOB-001，当优化服务器接收到该任务标识JOB-001后，将JOB-001确定为待优化任务。

在一个实施方式中，优化服务器会自动确定待优化任务，即运行情况存在异常的Hive任务，不需要数据仓库管理人员(以下称为管理员)人工监控运行的Hive任务来确定出待优化任务。

如图2所示，优化服务器确定待优化任务的步骤，包括以下步骤：

S111：确定待选任务。

具体地，待选任务是指人工预先指定的需要优化服务器检测其运行情况是否存在异常的Hive任务。优化服务器会自动扫描待选任务对应的运行日志信息，并根据运行日志信息来判断待选任务是否可以作为待优化任务。

更具体地，管理员可以为优化服务器配置用于自动监控Hive任务运行情况以及为运行情况可能存在异常的Hive任务提供相应优化信息的监控任务，该监控任务对应一个Hive任务监控名单，优化服务器会自动对该Hive任务监控名单中的Hive任务即待选任务，执行监控任务的监控逻辑。管理员可以将所有的Hive任务都配置到该Hive任务监控名单中，当然也可以只配置部分Hive任务到该Hive任务监控名单中。

可能地，待选任务还可以是人工临时指定的需要优化服务器检测其运行情况是否存在异常的Hive任务。比如，在一个场景中，用户在一个预置的用于接收外部指令的页面中，输入一个Hive任务的唯一的任务标识JOB-001，当优化服务器接收到该任务标识JOB-001后，将JOB-001确定为待选任务，然后获取JOB-001的运行日志信息，根据运行日志信息来判断JOB-001是否可以作为待优化任务。进一步地，优化服务器如果确定JOB-001可以作为待优化任务，那么就自动执行后续的操作；如果确定不可以作为待优化任务，可以通过一个消息窗口来提示用户JOB-001运行情况良好，可以不进行优化。

S112：获取待选任务的运行日志信息。

在本实施方式中，优化服务器在确定待选任务之后，获取该待选任务的运行日志信息。具体地，Hive任务在运行过程中，会不断地打印运行日志，比如，每隔一秒就执行一次用于打印运行日志的日志打印指令，优化服务器可以将待选任务从开始运行时到当前时刻这期间打印出的运行日志作为运行日志信息。

S113：提取运行日志信息的日志特征信息。

在本实施方式中，优化服务器对运行日志信息进行分析，分析出该待选任务对应的总任务运行时长、日志打印过程中出现的卡顿次数和/或每次卡顿对应的卡顿时长，然后将分析出的任务运行总时长、卡顿次数和/或卡顿时长作为日志特征信息。其中，日志打印指令在执行过程中，从开始执行到完成日志打印之间花费的时间可以视为日志打印时间，如果在打印某个待选任务的日志时，日志打印时间超过预设打印阈值时，就确定该待选任务的日志在该次日志打印过程中出现卡顿。对于出现卡顿的日志，其执行日志打印指令到完成日志打印之间花费的时间可以视为该日志在该次卡顿中的卡顿时长。

S114：若日志特征信息满足预设筛选条件，确定待选任务为待优化任务。

在本实施方式中，优化服务器将待选任务的日志特征信息包括的各项信息与各项信息对应的预设阈值进行对比，如果各项信息都超过其对应的预设阈值，那么就确定该待选任务为待优化任务。

具体地，如果日志特征信息中包括任务运行总时长，那么将其与预设运行时长阈值进行对比；如果日志特征信息中包括卡顿次数，那么将其与预设卡顿次数阈值进行对比；如果日志特征信息中包括卡顿时长，那么将其与预设卡顿时长阈值进行对比。其中，预设运行时长阈值、预设卡顿次数阈值和预设卡顿时长阈值可以由管理员根据实际应用场景进行配置，本实施方式不进行具体限定。

S120：获取待优化任务关联的任务配置信息。

在本实施例中，任务配置信息包括参数配置信息、任务代码信息。

S130：确定当前需要执行的任务优化规则。

在本实施例中，管理员可以配置一个或多个任务优化规则，优化服务器会自动根据管理员配置的任务优化规则对基础处理信息进行处理。

具体地，管理员可以设置一个优化规则库，优化服务器在执行监控任务时自动从该优化规则库中获取要执行的任务优化规则进行使用。而随着项目的发展，开发人员为优化服务器配置的任务优化规则数量可能会越来越多，并且可能会存在越来越多非通用的，只适用于某些具体应用场景的任务优化规则，所以可以为优化服务器配置用于从优化规则库中选用任务优化规则的规则选择逻辑，由优化服务器自动基于当前所处的应用场景从优化规则库中选择相应的任务优化规则。

S140：根据任务配置信息确定任务优化规则对应的基础处理信息。

在本实施例中，优化服务器会自动根据管理员配置的任务优化规则对基础处理信息进行处理，但是不同的任务优化规则会使用到不同的信息，因此，需要根据不同的规则从任务配置信息中获取对应的信息作为基础处理信息。比如，如果任务优化规则是任务参数优化规则，那么会使用到任务配置信息包括的参数配置信息，因此就将该参数配置信息确定为基础处理信息。如果任务优化规则为任务代码优化规则或存储格式优化规则或关联关系优化规则，这三个规则都会使用到任务配置信息包括的任务代码信息，因此就将该任务代码信息确定为基础处理信息。

S150：根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在本实施例中，优化服务器在确定了相应的基础处理信息之后，就根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在一个实施方式中，优化服务器根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息的步骤，包括以下步骤：

根据任务优化规则对基础处理信息进行匹配处理，得到基础处理信息的处理结果。

根据处理结果确定任务配置信息中的待优化代码，以及待优化代码对应的代码优化信息。

将待优化代码对应的代码优化信息作为待优化任务的优化信息。

本实施例能够自动地确定出待优化任务，即运行情况可能存在异常的Hive任务，然后获取该待优化任务关联的任务配置信息，以及确定当前需要执行的任务优化规则，再根据获取的任务配置信息来确定出任务优化规则对应的基础处理信息，最后根据确定出的任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，数据仓库管理人员不需要花费大量时间精力来监控每个Hive任务的运行情况是否存在异常，基于系统提供的优化信息就能快速确定待优化任务对应的优化方案，从而显著地降低Hive任务的监控难度、提高对Hive任务的优化效率。

进一步地，优化服务器在确定了待优化任务对应的优化信息之后，还包括：以预设展示样式展示待优化任务的任务配置信息和优化信息。

在一个实施方式中，以第一展示样式展示任务配置信息中的待优化代码，以第二展示样式展示任务配置信息中的非待优化代码，第一展示样式和第二展示样式不完全相同。在预设显示区域以预设展示格式对优化信息进行展示，比如，弹出一个小窗口将所有的待优化代码对应的优化信息进行高亮显示。

比如，对任务配置信息中的待优化代码部分进行字体加粗和增加字体的背景颜色，或者对任务配置信息中的待优化代码部分采用其他突出显示方式进行突出显示，对任务配置信息中的不是待优化代码的非待优化代码部分进行展示时字体正常显示而不进行加粗，也不增加字体的背景颜色。

进一步地，还包括，以预设展示样式展示待优化任务的任务配置信息、优化信息以及待优化任务对应的血缘关系图谱，该血缘关系图谱包括表血缘关系图谱。

需要说明的是，一个业务由多个Hive任务组成，而一个Hive任务对应有多个表格。表血缘关系图谱用于展示一个Hive任务对应的所有表格之间的关联关系。该关联关系包括串行关系和并行关系。

在展示待优化任务对应的血缘关系图谱之前，需要确定该血缘关系图谱。具体地，优化服务器获取任务配置信息，并获取任务配置信息包括的任务代码信息，任务代码信息包括多个代码片段。在获取任务代码信息之后，优化服务器确定各个代码片段对应的表格信息，表格信息包括多个表格，以及各个表格之间的关联关系，关联关系包括串行关系和并行关系，根据各个代码片段对应的表格信息生成待优化任务对应的表血缘关系图谱。

更具体地，一个Hive任务可以看做是N段SQL(Structured Query Language，结构化查询语言)语句组合成的最终能够实现某种需求SQL语句总和，可以使用SQL解析工具，比如，Druid组件或者General SQL Parser软件来解析Hive任务的任务代码信息，就能够得到N段SQL语句，一段SQL语句即是一个代码片段。Hive任务的每个代码片段都有对应的执行顺序，每个代码片段在执行时会使用到多个表(可能是业务表，也可能是临时表)作为输入表，在代码片段执行过程中，根据该输入表会生成多个临时表，在执行完代码片段后能够得到一个输出表(可能是业务表，也可能是临时表)，当执行完最后的代码片段后能够得到最终的输出表(此时是业务表)。其中，业务表是指的有相关业务含义的表，里面包含了业务上用到的数据，而临时表是指在处理过程中的一些草稿表，这些表其实只是一些过程，在执行完代码片段后可以删除。

更进一步地，该血缘关系图谱还包括任务血缘关系图谱。任务血缘关系图谱用于展示待优化任务、待优化任务的上游任务以及待优化任务的下游任务之间的关联关系，该关联关系包括串行关系和并行关系。优化服务器通过获取待优化任务的上游任务和下游任务，就能生成待优化任务对应的任务血缘关系图谱。

如图3所示，在一个实施例中，本发明提供的任务处理信息确定方法，还包括以下步骤：

S210：响应于针对待优化任务的优化指令，对待优化任务进行优化，得到优化后的待优化任务。

S220：执行优化后的待优化任务，得到优化后的待优化任务的优化后运行结果。

S230：获取待优化任务的历史运行结果。

S240：根据优化后运行结果和历史运行结果生成运行结果对比信息。

S250：展示运行结果对比信息。

在本实施例中，优化服务器在确定了待优化任务的优化信息之后，可以将该待优化任务的优化信息发送给管理员，管理员基于该优化信息能够快速地确定该待优化任务对应的优化方案，并基于该优化方案给优化服务器下发优化指令，指示优化服务器对该待优化任务进行优化，从而得到优化后的待优化任务。

接着执行该优化后的待优化任务，在完整执行完该任务的任务逻辑后，获取该任务在本次执行过程中的完整运行结果即优化后运行结果，以及获取该任务在优化之前的完整运行结果，即历史运行结果。再根据该优化后运行结果和历史运行结果生成运行结果对比信息，并将该运行结果对比信息进行展示。

具体地，根据优化后运行结果和历史运行结果生成运行结果对比信息时，优化服务器从优化后运行结果和历史运行结果中提取预先配置好的需要展示的信息，并将这些提取的信息按照预先配置好的信息布局进行展示。具体要从优化后运行结果和历史运行结果中提取哪些信息，以及使用怎样的信息布局来展示运行结果对比信息，可以根据具体应用场景或者具体需求进行配置，本实施例对此不进行限定。比如，在一个应用场景中，可以按照如图4所示的信息布局来展示运行结果对比信息。

本实施例通过展示运行结果对比信息，能够使管理员能够很直观地看到Hive任务在优化前以及优化后的运行情况变化，假如任务在优化之后的运行情况变化不大，说明相关的任务优化规则的优化效果较差，管理员在知道对比结果后能及时地进行问题排查，有利于更好地优化相关的任务优化规则。

在一个实施例中，S140：根据任务配置信息确定任务优化规则对应的基础处理信息，包括：

若任务优化规则为任务参数优化规则，将任务配置信息包括的参数配置信息确定为基础处理信息，参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；

相应地，S150：根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，包括：

若任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据各个参数标识对应的参数值建议信息确定待优化任务的优化信息。

在本实施例中，优化服务器会维护一个由管理员配置的参数优化表，并根据该参数优化表来判断某些参数配置的实际参数值是否合理。具体地，参数优化表可以包括项目中使用到的所有参数的参数标识，当然，如果项目中使用的参数数量巨大，或者某些参数在Hive任务执行过程中对Hive任务造成的影响较小，那么可能只在参数优化表中配置部分需要监控的参数。参数优化表还包括各个参数标识对应的参数值建议信息，该参数值建议信息是指该参数标识对应的预先配置的推荐值或推荐值区间。

优化服务器在确定待优化任务的参数配置信息中，各个参数标识对应的参数值建议信息之后，将各个参数标识对应的实际参数值与其对应的参数值建议信息进行匹配，得到的匹配结果即是该基础处理信息的处理结果。如果参数标识对应的实际参数值与其推荐值相同，或者参数标识对应的实际参数值处于推荐值区间内，那么可以确定该参数标识的实际参数值不需要进行优化；反之，如果参数标识对应的实际参数值与其推荐值不相同，或者参数标识对应的实际参数值不处于其推荐值区间内，就将该参数标识在参数配置信息中对应的配置信息作为待优化代码，并将该参数标识对应的参数值建议信息作为该待优化代码对应的代码优化信息。

比如，某应用场景中，管理员配置的部分参数优化表内容如下表1-1：

表1-1：

从表中可以确定，参数“mapred.reduce.tasks”的参数值建议信息是一个推荐值区间“50-150”，如果参数“mapred.reduce.tasks”实际配置的参数值，即实际参数值为“30”，可以确定“30”并不处于“50-150”这个推荐值区间内，因此，可以确定该参数“mapred.reduce.tasks”在参数配置信息中对应的配置信息“set mapred.reduce.tasks＝30”作为待优化代码，并将其参数值建议信息“50-150”作为其代码优化信息。

在一个实施例中，S140：根据任务配置信息确定任务优化规则对应的基础处理信息，包括：

若任务优化规则为任务代码优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

相应地，S150：根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，包括：

若任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据各个代码片段对应的代码匹配结果确定待优化任务的优化信息。

在本实施例中，优化服务器会维护一个由管理员配置的限制代码清单，并根据该限制代码清单来判断某些代码片段是否有合理配置。具体地，限制代码清单包括管理员预先配置多个语句，比如，“select*”、“where stat_date is not null”等；还包括各个语句对应的代码优化建议信息，比如，对于“select*”语句来说，该语句对应的查询量太大，会对服务器造成很大的性能负担，因此在某种应用场景中，该语句对应的代码优化建议信息是“删除代码”；对于全局排序功能函数来说，全局排序在某种应用场景中有可能导致日志打印出现卡顿，因此该全局排序功能的函数对应的代码优化建议信息是“mapred.max.split.size＝10000000；mapred.min.split.size＝10000000；hive.input.format＝org.apache.hadoop.hive.ql.io.CombineHiveInputFormat；”，通过设置参数“mapred.max.split.size”、“mapred.min.split.size”以及“hive.input.format”，能够减小每个map读取的大小，防止内存溢出，避免出现卡顿的情况。

优化服务器会获取待优化任务的任务配置信息中包括的任务代码信息，并使用SQL解析工具，比如，Druid组件或者General SQL Parser软件，对Hive任务的任务代码信息进行解析，从而得到N段SQL语句，一段SQL语句即是一个代码片段，然后将每一个代码片段与限制代码清单中的字符串分别进行匹配，得到的匹配结果即是该基础处理信息的处理结果。如果代码片段中包括了限制代码清单中的某个字符串，那么就将该代码片段作为待优化代码，并将该代码片段对应的代码优化建议信息作为代码优化信息。

在一个实施例中，S140：根据任务配置信息确定任务优化规则对应的基础处理信息，包括：

若任务优化规则为存储格式优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

相应地，S150：根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息，包括：

若任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据各个表格的存储格式匹配结果确定待优化任务的优化信息。

在本实施例中，表格采用不同的存储格式对于文件大小，读取速度有不同的影响，因此优化服务器会维护一个由管理员配置的表格存储格式优化表，并根据该表格存储格式优化表来判断某些代码片段对应的表格的存储格式设置得是否合理。具体地，表格存储格式优化表可以包括项目中使用到的所有类型或部分类型的表格存储格式(即表1-2中的存储格式)，以及各个类型的表格存储格式对应的优化存储格式(即表1-2中的优化格式)。

比如，表1-2是管理员在某种应用场景中配置的表格存储格式优化表。

表1-2：

存储格式	textfile	sequencefile	rcfile	orc	parquet
						优化格式	orc	orc	orc	orc	orc

也就是说，在该应用场景中，优化服务器会建议将所有的表格(无论其是业务表还是临时表)的存储格式配置为“orc”存储格式。

优化服务器会获取待优化任务的任务配置信息中包括的任务代码信息，并使用SQL解析工具，比如，Druid组件或者General SQL Parser软件，对Hive任务的任务代码信息进行解析，从而得到N段SQL语句，一段SQL语句即是一个代码片段，再确定每一个代码片段对应的所有表格，以及各个表格对应的存储格式，然后将各个表格的存储格式与其该存储格式对应的优化存储格式进行对比，得到的对比结果即是该基础处理信息的处理结果。如果表格对应的存储格式与其对应的优化存储格式不相同，那么就将该表格对应的代码片段作为待优化代码，并将该表格对应的优化存储格式作为代码优化信息。

在一个实施例中，如图5所示，提供了一种确定HIVE任务的优化信息的装置，包括以下模块：

任务确定模块110，用于确定待优化任务；

关联信息获取模块120，用于获取待优化任务关联的任务配置信息；

规则确定模块130，用于确定当前需要执行的任务优化规则；

基础信息确定模块140，用于根据任务配置信息确定任务优化规则对应的基础处理信息；

优化信息获得模块150，用于根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在一个实施例中，优化信息获得模块150，包括：

处理结果获得子模块，用于根据任务优化规则对基础处理信息进行匹配处理，得到基础处理信息的处理结果；

信息获取子模块，用于根据处理结果确定任务配置信息中的待优化代码，以及待优化代码对应的代码优化信息；

优化信息获得子模块，用于将待优化代码对应的代码优化信息作为待优化任务的优化信息。

在一个实施例中，该任务处理信息确定装置，还包括以下模块：

展示模块，用于以预设展示样式展示待优化任务的任务配置信息和优化信息。

在一个实施例中，该任务处理信息确定装置，还包括以下模块：

任务优化模块，用于响应于待优化任务的优化指令，对待优化任务进行优化，得到优化后的待优化任务；

优化后结果获得模块，用于执行优化后的待优化任务，得到优化后的待优化任务的优化后运行结果；

历史结果获得模块，用于获取待优化任务的历史运行结果；

对比信息生成模块，用于根据优化后运行结果和历史运行结果生成运行结果对比信息；

对比信息展示模块，用于展示运行结果对比信息。

在一个实施例中，基础信息确定模块140，包括：

第一规则确定子模块，用于当任务优化规则为任务参数优化规则，将任务配置信息包括的参数配置信息确定为基础处理信息，参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；

第二规则确定子模块，用于当任务优化规则为任务代码优化规则或存储格式优化规则或关联关系优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

在一个实施例中，优化信息获得模块150，包括：

参数优化信息获得模块，用于当任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据各个参数标识对应的参数值建议信息确定待优化任务的优化信息；

代码优化信息获得模块，用于当任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据各个代码片段对应的代码匹配结果确定待优化任务的优化信息；

格式优化信息获得模块，用于当任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据各个表格的存储格式匹配结果确定待优化任务的优化信息。

在一个实施例中，任务确定模块110，包括：

待选任务确定模块，用于确定待选任务；

运行日志获取模块，用于获取待选任务的运行日志信息；

日志特征提取模块，用于提取运行日志信息的日志特征信息；

任务确定子模块，用于当日志特征信息满足预设筛选条件，确定待选任务为待优化任务。

关于确定HIVE任务的优化信息的装置的具体限定可以参见上文中对于确定HIVE任务的优化信息的方法的限定，在此不再赘述。上述确定HIVE任务的优化信息的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储任务优化规则、任务配置信息等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种确定HIVE任务的优化信息的方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

确定待优化任务；获取待优化任务关联的任务配置信息；确定当前需要执行的任务优化规则；根据任务配置信息确定任务优化规则对应的基础处理信息；根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在一个实施例中，处理器执行计算机程序，实现根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息时，还实现以下步骤：

根据任务优化规则对基础处理信息进行匹配处理，得到基础处理信息的处理结果；根据处理结果确定任务配置信息中的待优化代码，以及待优化代码对应的代码优化信息；将待优化代码对应的代码优化信息作为待优化任务的优化信息。

在一个实施例中，处理器执行计算机程序，还实现以下步骤：

以预设展示样式展示待优化任务的任务配置信息和优化信息。

在一个实施例中，处理器执行计算机程序，还实现以下步骤：

响应于待优化任务的优化指令，对待优化任务进行优化，得到优化后的待优化任务；执行优化后的待优化任务，得到优化后的待优化任务的优化后运行结果；获取待优化任务的历史运行结果；根据优化后运行结果和历史运行结果生成运行结果对比信息；展示运行结果对比信息。

在一个实施例中，处理器执行计算机程序，实现根据任务配置信息确定任务优化规则对应的基础处理信息时，还实现以下步骤：

若任务优化规则为任务参数优化规则，将任务配置信息包括的参数配置信息确定为基础处理信息，参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；若任务优化规则为任务代码优化规则或存储格式优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

在一个实施例中，处理器执行计算机程序，实现根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息时，还实现以下步骤：

若任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据各个参数标识对应的参数值建议信息确定待优化任务的优化信息；若任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据各个代码片段对应的代码匹配结果确定待优化任务的优化信息；若任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据各个表格的存储格式匹配结果确定待优化任务的优化信息。

在一个实施例中，处理器执行计算机程序时，实现确定待优化任务时，还实现以下步骤：

确定待选任务；获取待选任务的运行日志信息；提取运行日志信息的日志特征信息；若日志特征信息满足预设筛选条件，确定待选任务为待优化任务。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定待优化任务；获取待优化任务关联的任务配置信息；确定当前需要执行的任务优化规则；根据任务配置信息确定任务优化规则对应的基础处理信息；根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息。

在一个实施例中，计算机程序被处理器执行，根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息时，还实现以下步骤：

根据任务优化规则对基础处理信息进行匹配处理，得到基础处理信息的处理结果；根据处理结果确定任务配置信息中的待优化代码，以及待优化代码对应的代码优化信息；将待优化代码对应的代码优化信息作为待优化任务的优化信息。

在一个实施例中，计算机程序被处理器执行，还实现以下步骤：

以预设展示样式展示待优化任务的任务配置信息和优化信息。

在一个实施例中，计算机程序被处理器执行，还实现以下步骤：

响应于待优化任务的优化指令，对待优化任务进行优化，得到优化后的待优化任务；执行优化后的待优化任务，得到优化后的待优化任务的优化后运行结果；获取待优化任务的历史运行结果；根据优化后运行结果和历史运行结果生成运行结果对比信息；展示运行结果对比信息。

在一个实施例中，计算机程序被处理器执行，根据任务配置信息确定任务优化规则对应的基础处理信息时，还实现以下步骤：

若任务优化规则为任务参数优化规则，将任务配置信息包括的参数配置信息确定为基础处理信息，参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；若任务优化规则为任务代码优化规则或存储格式优化规则，将任务配置信息包括的任务代码信息确定为基础处理信息，任务代码信息包括多个代码片段。

在一个实施例中，计算机程序被处理器执行，根据任务优化规则对基础处理信息进行处理，得到待优化任务的优化信息时，还实现以下步骤：

若任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据各个参数标识对应的参数值建议信息确定待优化任务的优化信息；若任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据各个代码片段对应的代码匹配结果确定待优化任务的优化信息；若任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据各个表格的存储格式匹配结果确定待优化任务的优化信息。

在一个实施例中，计算机程序被处理器执行时，确定待优化任务时，还实现以下步骤：

确定待选任务；获取待选任务的运行日志信息；提取运行日志信息的日志特征信息；若日志特征信息满足预设筛选条件，确定待选任务为待优化任务。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种确定HIVE任务的优化信息的方法，其特征在于，包括：

确定待优化任务；

获取所述待优化任务关联的任务配置信息；

确定当前需要执行的任务优化规则；

根据所述任务配置信息确定所述任务优化规则对应的基础处理信息；

根据所述任务优化规则对所述基础处理信息进行处理，得到所述待优化任务的优化信息；

所述根据所述任务配置信息确定所述任务优化规则对应的基础处理信息，包括：

若所述任务优化规则为任务参数优化规则，将所述任务配置信息包括的参数配置信息确定为基础处理信息，所述参数配置信息包括多个参数标识，以及各个参数标识对应的实际参数值；

若所述任务优化规则为任务代码优化规则或存储格式优化规则，将所述任务配置信息包括的任务代码信息确定为基础处理信息；

所述根据所述任务优化规则对所述基础处理信息进行处理，得到所述待优化任务的优化信息，包括：

若所述任务优化规则为任务参数优化规则，确定各个参数标识对应的参数值建议信息，根据所述各个参数标识对应的参数值建议信息确定所述待优化任务的优化信息；

若所述任务优化规则为任务代码优化规则，将各个代码片段与预设限制代码进行匹配，得到各个代码片段对应的代码匹配结果，根据所述各个代码片段对应的代码匹配结果确定所述待优化任务的优化信息；

若所述任务优化规则为存储格式优化规则，确定各个代码片段对应的表格信息，所述表格信息包括多个表格、以及各个表格的存储格式，将各个表格的存储格式与预设建议存储格式进行匹配，得到各个表格的存储格式匹配结果，根据所述各个表格的存储格式匹配结果确定所述待优化任务的优化信息；

所述方法还包括：

获取所述任务配置信息包括的任务代码信息，其中，所述任务代码信息包括多个代码片段；确定各个所述代码片段对应的表格信息，其中，所述表格信息包括多个表格，以及各个表格之间的关联关系，所述关联关系包括串行关系和并行关系；根据各个所述代码片段对应的表格信息生成所述待优化任务对应的表血缘关系图谱；

获取所述待优化任务的上游任务和下游任务，以及所述上游任务和所述下游任务间的关联关系，其中，所述关联关系包括串行关系和并行关系；根据所述上游任务、所述下游任务以及所述关联关系生成所述待优化任务对应的任务血缘关系图谱；

展示所述表血缘关系图谱和所述任务血缘关系图谱。

2.如权利要求1所述的确定HIVE任务的优化信息的方法，其特征在于，所述根据所述任务优化规则对所述基础处理信息进行处理，得到所述待优化任务的优化信息，包括：

根据所述任务优化规则对所述基础处理信息进行匹配处理，得到所述基础处理信息的处理结果；

根据所述处理结果确定所述任务配置信息中的待优化代码，以及所述待优化代码对应的代码优化信息；

将所述待优化代码对应的代码优化信息作为所述待优化任务的优化信息。

3.如权利要求1所述的确定HIVE任务的优化信息的方法，其特征在于，还包括：

以预设展示样式展示所述待优化任务的任务配置信息和优化信息。

4.如权利要求1所述的确定HIVE任务的优化信息的方法，其特征在于，还包括：

响应于针对所述待优化任务的优化指令，对所述待优化任务进行优化，得到优化后的待优化任务；

执行优化后的待优化任务，得到所述优化后的待优化任务的优化后运行结果；

获取所述待优化任务的历史运行结果；

根据所述优化后运行结果和所述历史运行结果生成运行结果对比信息；

展示所述运行结果对比信息。

5.如权利要求1所述的确定HIVE任务的优化信息的方法，其特征在于，所述确定待优化任务，包括：

确定待选任务 ；

获取所述待选任务的运行日志信息；

提取所述运行日志信息的日志特征信息；

若所述日志特征信息满足预设筛选条件，确定所述待选任务为待优化任务。

6.一种实现如权利要求1-5中任一项所述方法的确定HIVE任务的优化信息的装置，其特征在于，包括：

任务确定模块，用于确定待优化任务；

关联信息获取模块，用于获取所述待优化任务关联的任务配置信息；

规则确定模块，用于确定当前需要执行的任务优化规则；

基础信息确定模块，用于根据所述任务配置信息确定所述任务优化规则对应的基础处理信息；

优化信息获得模块，用于根据所述任务优化规则对所述基础处理信息进行处理，得到所述待优化任务的优化信息；

所述装置还包括用于执行以下操作的模块：

获取所述任务配置信息包括的任务代码信息，其中，所述任务代码信息包括多个代码片段；确定各个所述代码片段对应的表格信息，其中，所述表格信息包括多个表格，以及各个表格之间的关联关系，所述关联关系包括串行关系和并行关系；根据各个所述代码片段对应的表格信息生成所述待优化任务对应的表血缘关系图谱；

获取所述待优化任务的上游任务和下游任务，以及所述上游任务和所述下游任务间的关联关系，其中，所述关联关系包括串行关系和并行关系；根据所述上游任务、所述下游任务以及所述关联关系生成所述待优化任务对应的任务血缘关系图谱；

展示所述表血缘关系图谱和所述任务血缘关系图谱。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images