CN110209893A - 任务生成方法、系统和存储介质 - Google Patents

Abstract

本发明提供了一种任务生成方法、系统和存储介质，该方法包括：数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务。本发明不再需要用户关注BI数据的同步任务及手动触发响应式查询任务的构建，节省了人力，并提高了任务生成的效率，降低了任务生成的成本。

Description

任务生成方法、系统和存储介质

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种任务生成方法、系统 和存储介质。

背景技术

视频统计功能中的自由维度数据是通过查询麒麟(kylin)任务得到的， 而麒麟任务的数据来源于hive表，其统计指标包括播放量、推荐量、评论量、 涨粉量等，而这些数据都是来源于BI(Business Intelligence，商业智能)团 队，首先需要同步BI数据到hive表，然后再根据这些hive表构建麒麟任务。

现有技术中，同步BI数据的操作和构建麒麟任务的操作是隔离的，当 同步完BI数据后，麒麟任务并不知道已经完成BI数据同步，这样就需要由 用户时刻关注同步BI数据的任务，并手动触发麒麟任务的构建，极其浪费 人力，而且由于由人工关注同步任务，有可能导致在同步任务完成后不能及 时关注到的问题，从而不能及时构建麒麟任务，降低了任务生成的效率。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至 少部分地解决上述问题的一种任务生成方法、系统和存储介质。

依据本发明的第一方面，提供了一种任务生成方法，包括：

数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预 设指标数据同步到数据仓库工具hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记 文件，并将所述标记文件保存到预设存储设备；

任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生 成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的 响应式查询任务。

可选的，所述数据同步设备获取BI数据库中的预设指标数据，并将所 述预设指标数据同步到数据仓库工具hive表中，包括：

所述数据同步设备在所述BI数据库中预设时间的预设指标数据计算完 成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标数据， 并将所述预设指标数据同步到所述hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记 文件，并将所述标记文件保存到预设存储设备，包括：

所述数据同步设备在每一时段的预设指标数据同步完成后，生成该时段 预设指标数据对应的标记文件，并将该标记文件保存到预设存储设备。

可选的，所述任务生成设备对所述预设存储设备进行监控，当监控到所 述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指 标数据对应的响应式查询任务，包括：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的 连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生 成与所述连续时段的预设指标数据对应的响应式查询任务。

可选的，所述任务生成设备调用任务生成接口，根据所述hive表生成与 所述连续时段的预设指标数据对应的响应式查询任务，包括：

所述任务生成设备调用任务生成接口，对所述hive表中所述连续时段的 预设指标数据进行统计，并根据统计结果更新或新建与所述连续时段对应的 数据段，并根据更新或新建后得到的数据段生成所述响应式查询任务。

可选的，所述任务生成设备对所述预设存储设备进行监控，包括：

所述任务生成设备按照指定间隔时间检测所述预设存储设备是否有所 述预设指标数据对应的标记文件。

可选的，所述响应式查询任务为麒麟任务。

依据本发明的第二方面，提供了一种任务生成系统，包括：

数据同步设备，用于获取商业智能BI数据库中的预设指标数据，并将 所述预设指标数据同步到数据仓库工具hive表中；在同步完成后，生成与所 述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；

任务生成设备，用于对所述预设存储设备进行监控，当监控到所述标记 文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据 对应的响应式查询任务；

预设存储设备，用于保存所述标记文件。

可选的，所述数据同步设备包括：

分时段同步模块，用于在所述BI数据库中预设时间的预设指标数据计 算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标 数据，并将所述预设指标数据同步到所述hive表中；

标记文件生成模块，用于在每一时段的预设指标数据同步完成后，生成 该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储设 备。

可选的，所述任务生成设备具体用于：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的 连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生 成与所述连续时段的预设指标数据对应的响应式查询任务。

可选的，所述任务生成设备包括：

分时段任务生成模块，用于调用任务生成接口，对所述hive表中所述连 续时段的预设指标数据进行统计，并根据统计结果更新或新建与所述连续时 段对应的数据段，并根据更新或新建后得到的数据段生成所述响应式查询任 务。

可选的，所述任务生成设备包括：

监控模块，用于按照指定间隔时间检测所述预设存储设备是否有所述预 设指标数据对应的标记文件。

可选的，所述响应式查询任务为麒麟任务。

依据本发明的第三方面，提供了一种计算机可读存储介质，所述计算机 可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如 第一方面中所述的任务生成方法。

针对在先技术，本发明具备如下优点：

本发明提供的任务生成方法、系统和存储介质，通过数据同步设备在 将BI数据库中的预设指标数据同步到hive表中后，生成与所述预设指标 数据对应的标记文件，并将所述标记文件保存到预设存储设备，任务生 成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时， 调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响 应式查询任务，从而通过任务生成设备对预设存储设备的监控，当标记 文件生成时，可以及时检测到，从而可以及时生成响应式查询任务，不 再需要用户关注BI数据的同步任务及手动触发响应式查询任务的构建，节 省了人力，并提高了任务生成的效率，降低了任务生成的成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明 的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上 述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实 施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本发明的限制。

图1是本发明实施例提供的一种构建任务生成方法的步骤流程图；

图2是本发明实施例提供的一种构任务生成方法的步骤流程图；

图3是本发明实施例提供的一种任务生成系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中 显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本 发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了 能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领 域的技术人员。

现有技术中，同步BI数据的操作和生成任务的操作是隔离的，即同步 BI数据的操作由数据同步设备完成，而生成任务的操作由任务生成设备完 成，两个设备之间隔离，必须由用户时刻关注同步BI数据的任务，并手动 触发任务生成设备来生成任务，极其浪费人力，而且由于由人工关注同步任 务，有可能导致在同步任务完成后不能及时关注到的问题，从而不能及时生 成任务，降低了任务生成的效率。本发明实施例为了解决该问题，提供了以 下技术方案。

图1是本发明实施例提供的一种任务生成方法的步骤流程图，该方法 可以应用于任务生成系统，如图1所示，该方法可以包括：

步骤101，数据同步设备获取BI数据库中的预设指标数据，并将所述 预设指标数据同步到数据仓库工具hive表中。

其中，数据同步设备用于将BI数据库中的预设指标数据同步到hive表 中。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映 射为一张数据库表，并提供简单的SQL(Structured Query Language，结构化 查询语言)查询功能，可以将SQL语句转换为MapReduce任务进行运行。

以视频对象为例，预设指标数据可以包括但不限于：播放量数据、推荐 量数据、评论量数据或涨粉量数据。

数据同步设备将预设指标数据同步到hive表中，便于后续任务生成设备 根据hive表生成预设指标数据对应的响应式查询任务。

步骤102，所述数据同步设备在同步完成后，生成与所述预设指标数据 对应的标记文件，并将所述标记文件保存到预设存储设备。

其中，预设存储设备是数据同步设备和任务生成设备均可以访问的存储 位置，例如可以是HDFS(Hadoop Distributed File System，Hadoop分布式文 件系统)中的存储位置。

数据同步设备在将BI数据库中的预设指标数据同步到hive表中后，将 生成的与预设指标数据对应的标记文件保存到预设存储设备，从而任务生成 设备通过对预设存储设备的监控，可以及时监控到标记文件并及时生成响应 式查询任务。

例如，标记文件为done文件，是一种以时间戳命名的空文件，时间戳 表明任务执行完成的时间。也就是说，如果存在done文件，就检测到预设 指标数据同步完成，如果不存在done文件，就检测到预设指标数据没有完 成同步。

数据同步设备可以包括多个模块，例如包括第一工作流控制模块、同步 模块和标记文件生成模块，第一工作流控制模块可以根据第一Oozie工作流 控制同步模块和标记文件生成模块执行相应的任务，即由第一工作流控制模 块控制Oozie工作流的执行，第一工作流控制模块在BI数据库中的预设指 标数据计算完成后，将同步任务执行指令发送给同步模块，同步模块执行同 步任务，获取BI数据库中的预设指标数据，并将所述预设指标数据同步到 hive表中，同步完成后将同步完成信号发送给第一工作流控制模块，第一工 作流控制模块根据所述第一Oozie工作流确定下一任务为生成标记文件，则 将该标记文件生成指令发送给标记文件生成模块，标记文件生成模块生成与 预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备。第 一Oozie工作流是控制数据同步和标记文件生成的工作流程。

其中，工作流指业务过程的部分或整体在计算机应用环境下的自动化， 是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决 的主要问题是：为了实现某个业务目标，利用计算机在多个参与者之间按某 种预定规则自动传递文档、信息或者任务。

Oozie是一个基于工作流引擎的开源框架，是由Cloudera公司贡献给 Apache的，它能够提供对Hadoop Mapreduce和Pig Jobs的任务调度与协调。 Oozie需要部署到JavaServlet容器中运行。Oozie工作流同Jboss jBPM提供 的jPDL一样，提供了类似的流程定义语言hPDL，通过XML文件格式来实 现流程的定义。对于工作流系统，一般会有很多不同功能的节点，比如分支、 并发及汇合等等。

步骤103，任务生成设备对所述预设存储设备进行监控，当监控到所述 标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标 数据对应的响应式查询任务。

其中，所述响应式查询任务是在查询过程中给出相应的响应，以表明正 在进行查询，例如可以为麒麟任务。麒麟(Kylin)是一个开源的分布式分析 引擎，提供Hadoop之上的SQL查询接口及多维分析能力以支持超大规模数 据，最初由eBay Inc.开发并贡献至开源社区，它能在亚秒内查询巨大的hive 表。任务生成接口用于实现响应式查询任务的生成。

任务生成设备和数据同步设备是两个独立的设备，两者之间没有交互， 预设存储设备相当于两者之间的桥梁，任务生成设备通过对预设存储设备的 监控来判断预设指标数据是否已同步到hive表中。当任务生成设备监控到预 设存储设备没有预设指标数据对应的标记文件时，确定预设指标数据未同步 完成，当任务生成设备监控到预设存储设备保存有预设指标数据对应的标记 文件时，确定预设指标数据同步完成。任务生成设备在监控到标记文件生成 时，及时调用任务生成接口，通过调用任务生成接口来生成与预设指标数据 对应的响应式查询任务，具体可以将hive表中的预设指标数据以固定SQL 格式进行计算并存储起来，数据计算并存储完成后，响应式查询任务生成完 成。

其中，任务生成设备可以包括多个模块，例如第二工作流控制模块、监 控模块和任务生成模块。第二工作流控制模块可以根据第二Oozie工作流控 制监控模块和任务生成模块执行相应的任务，即第二工作流控制模块控制第 二Oozie工作流的执行，第二工作流控制模块将监控任务执行指令发送给监 控模块，监控模块执行监控任务，对预设存储设备进行监控，当监控到标记 文件生成时，发送监控完成信号给第二工作流控制模块，第二工作流控制模 块接收到监控完成信号，根据第二Oozie工作流确定下一任务为生成响应式查询任务，则将任务生成指令发送给任务生成模块，任务生成模块调用任务 生成接口，由于任务生成接口是实现任务生成的函数，从而在任务生成接口 被调用时，可以自动根据hive表生成与预设指标数据对应的响应式查询任 务。

在一种具体的实施方案中，所述任务生成设备对所述预设存储设备进行 监控，包括：所述任务生成设备按照指定间隔时间检测所述预设存储设备是 否有所述预设指标数据对应的标记文件。

其中，指定间隔时间是用户指定的间隔时间或者预先设置的间隔时间， 例如可以是5秒。

任务生成设备每隔指定间隔时间对预设存储设备进行检测一次，从而实 现对预设存储设备的监控，在标记文件生成时，可以及时检测到，从而可以 及时生成响应式查询任务，进一步提高了任务的生成效率。

在一种具体的实施方案中，在所述任务生成设备按照指定间隔时间检测 所述预设存储设备是否有所述预设指标数据对应的标记文件之前，还可以进 一步包括：所述任务生成设备获取用户设置的指定间隔时间。

所述任务生成设备可以提供接口供用户设置指定间隔时间，从而用户可 以根据需要设置相应的指定间隔时间，服务器通过该接口获取到用户设置的 指定间隔时间后，后续根据该用户设置的指定间隔时间来对预设存储设备是 否有预设指标数据对应的标记文件进行检测。

本实施例提供的任务生成方法，通过数据同步设备在将BI数据库中 的预设指标数据同步到hive表中后，生成与所述预设指标数据对应的标 记文件，并将所述标记文件保存到预设存储设备，任务生成设备对所述 预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成 接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务， 从而通过任务生成设备对预设存储设备的监控，当标记文件生成时，可 以及时检测到，从而可以及时生成响应式查询任务，不再需要用户关注 BI数据的同步任务及手动触发响应式查询任务的构建，节省了人力，并提高 了任务生成的效率，降低了任务生成的成本。

在上述技术方案的基础上，在根据所述hive表生成与所述预设指标数据 对应的响应式查询任务之后，还可以进一步包括：

任务生成设备在接收到客户端对所述预设指标数据的查询请求时，根据 所述查询请求匹配对应的响应式查询任务；

任务生成设备根据匹配的响应式查询任务获取所述查询请求所请求的 数据，并将所述数据发送给所述客户端。

其中，查询请求的格式与响应式查询任务计算数据时使用的固定格式相 同。例如，在响应式查询任务为麒麟任务时，查询请求的格式与麒麟任务计 算数据时使用的固定格式相同。

任务生成设备在接收到客户端对预设指标数据的查询请求时，根据查询 请求中所请求的数据匹配对应的响应式查询任务，在匹配到响应式查询任务 后，根据该响应式查询任务对应的存储位置，获取查询请求所请求的数据， 并将该数据发送给客户端。例如，查询请求所请求的数据为2018年第三季 度的某指定视频的播放量数据时，则根据该查询请求中所请求的数据为某指 定视频的播放量数据，则匹配该指定视频的播放量数据对应的麒麟任务，并 根据该麒麟任务确定数据所存储的表，从该表中获取2018年第三季度的该指定视频的播放量数据，并将该播放量数据返回给客户端。

图2是本发明实施例提供的一种任务生成方法的步骤流程图，如图2 所示，该方法可以包括：

步骤201，所述数据同步设备在所述BI数据库中预设时间的预设指标 数据计算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预 设指标数据，并将所述预设指标数据同步到所述hive表中。

其中，预设时间例如可以是前一天、前一周、前一个月等。BI数据库 中的数据一般是按照天进行计算并存储的，因此，在当天只需计算前一 天的数据，比如指定视频的播放量，在当天计算前一天的该指定视频的 播放量。因此，预设时间优选是前一天，即前一天的指标数据计算完成后 便可以进行同步，这样生成的响应式查询任务在用于查询时给出的查询结果 更为准确。预设时间段长度为同步BI数据库中预设指标数据到hive表中时， 每次同步的数据所需的时长，例如可以是一个季度。

在BI数据库中预设时间前的预设指标数据计算完成后，生成预设时 间前的预设指标数据对应的标记文件，在检测到预设时间前的预设指标 数据对应的标记文件生成时，便可以进行BI数据的同步操作，这时，可 以分时间段对BI数据库中的数据进行同步，即按照预设时间段长度来将 BI数据库中预设指标数据同步到hive表中。例如，需同步的数据为2018 年的预设指标数据，可以首先将2018年第一季度的预设指标数据同步到 hive表中，后续将2018年第二季度的预设指标数据同步到hive表中，再 后续将2018年第三季度的预设指标数据同步到hive表中，最后将2018 年第四季度的预设指标数据同步到hive表中。

步骤202，所述数据同步设备在每一时段的预设指标数据同步完成后， 生成该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储 设备。

例如，需同步的数据为2018年的预设指标数据，预设时间段长度为 一个季度，在将2018年第一季度的预设指标数据同步到hive表中后，生 成与第一季度的预设指标数据对应的标记文件；在将2018年第二季度的 预设指标数据同步到hive表中后，生成与第二季度的预设指标数据对应 的标记文件；在将2018年第三季度的预设指标数据同步到hive表中后， 生成与第三季度的预设指标数据对应的标记文件；在将2018年第四季度 的预设指标数据同步到hive表中后，生成与第四季度的预设指标数据对 应的标记文件。

步骤203，所述任务生成设备对所述预设存储设备进行监控，当监控到 设定数量的连续时段对应的标记文件均生成时，调用任务生成接口，根据所 述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。

任务生成设备在监控到设定数量的连续时段对应的标记文件生成时，确 定所述连续时段的预设指标数据同步完成，可以调用任务生成接口，对该连 续时段的预设指标数据进行统计，从而生成对应的响应式查询任务。例如， 在设定数量为4时，监控到2018年的第一季度、第二季度、第三季度和第 四季度的预设指标数据对应的标记文件均生成时，可以调用任务生成接口生 成2018年的预设指标数据对应的响应式查询任务。

在一个具体的实施方案中，所述任务生成设备调用任务生成接口，根 据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务， 包括：

所述任务生成设备调用任务生成接口，对所述hive表中所述连续时段的 预设指标数据进行统计，并根据统计结果更新或新建与所述连续时段对应的 数据段，并根据更新或新建后得到的数据段生成所述响应式查询任务。

在设定数量连续时段的预设指标数据同步完成后，任务生成设备调 用任务生成接口对设定数量连续时段的的预设指标数据进行统计，设定 数量连续时段的的统计结果可以包括一个或多个数据段，在之前已经统 计过相应的数据段并存储到Hbase中时，利用本次对应数据段的统计结 果来更新之前的数据段，在之前没有统计过相应的数据段时，则在Hbase 中新建该数据段，从而生成连续时段的预设指标数据对应的响应式查询 任务。其中，HBase是一个分布式的、面向列的开源数据库。

例如，2015年对应一个数据段，2016年对应一个数据段，2017年对 应一个数据段，2018年对应一个数据段，之前已经计算过2015年、2016 年和2017年分别对应的数据段，本次统计后只需更新2015年、2016年 和2017年分别对应的数据段，而需要新建2018年对应的数据段。

本实施例提供的任务生成方法，通过数据同步设备在BI数据库中预 设时间前的预设指标数据计算完成后，按照预设时间段长度分时段获取 BI数据库中的预设指标数据，并同步到hive表中，并在每一时段的预设 指标数据同步完成后，生成该时段预设指标数据对应的标记文件，并将 标记文件保存到预设存储设备，任务生成设备对预设存储设备进行监控， 当监控到设定数量的连续时段对应的标记文件生成时，调用任务生成接 口，根据hive表生成与连续时段的预设指标数据对应的响应式查询任务， 从而可以及时生成各个连续时段对应的响应式查询任务，而不必等到所 有BI数据库中的预设指标数据同步完成后再生成响应式查询任务，进一 步提高了任务生成效率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系 列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述 的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或 者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例 均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图3是本发明实施例提供的一种任务生成系统的结构框图，如图3所示， 该任务生成系统300可以包括数据同步设备310和任务生成设备320。

其中，数据同步设备310，用于获取商业智能BI数据库中的预设指标数 据，并将所述预设指标数据同步到数据仓库工具hive表中；在同步完成后， 生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存 储设备330；

任务生成设备320，用于对预设存储设备330进行监控，当监控到所述 标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标 数据对应的响应式查询任务；

预设存储设备330，用于保存所述标记文件。

可选的，所述数据同步设备310包括：

分时段同步模块311，用于在所述BI数据库中预设时间的预设指标数据 计算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指 标数据，并将所述预设指标数据同步到所述hive表中；

标记文件生成模块312，用于在每一时段的预设指标数据同步完成后， 生成该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储 设备。

可选的，所述任务生成设备320具体用于：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的 连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生 成与所述连续时段的预设指标数据对应的响应式查询任务。

可选的，所述任务生成设备320包括：

分时段任务生成模块321，用于调用任务生成接口，对所述hive表中所 述连续时段的预设指标数据进行统计，并根据统计结果更新或新建与所述连 续时段对应的数据段，并根据更新或新建后得到的数据段生成所述响应式查 询任务。

可选的，所述任务生成设备包括：

监控模块322，用于按照指定间隔时间检测所述预设存储设备是否有所 述预设指标数据对应的标记文件。

可选的，所述响应式查询任务为麒麟任务。

本实施例提供的任务生成系统，通过数据同步设备在将BI数据库中 的预设指标数据同步到hive表中后，生成与所述预设指标数据对应的标 记文件，并将所述标记文件保存到预设存储设备，任务生成设备对所述 预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成 接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务， 从而通过任务生成设备对预设存储设备的监控，当标记文件生成时，可 以及时检测到，从而可以及时生成响应式查询任务，不再需要用户关注 BI数据的同步任务及手动触发响应式查询任务的构建，节省了人力，并提高 了任务生成的效率，降低了任务生成的成本。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。

根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计 算机可读存储介质上存储有计算机程序，存储介质可以是只读存储器 (Read-Only Memory，ROM)，或是可读写的，例如硬盘、闪存。所述计算 机程序被处理器执行时实现前述实施例的任务生成方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明 的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见 即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装 置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计 算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生 一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设 备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计 算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用 于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦 得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以， 所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所 有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得 包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或 者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终 端设备中还存在另外的相同要素。

以上对本发明所提供的一种任务生成方法、系统和存储介质，进行了详 细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以 上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于 本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上 均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种任务生成方法，其特征在于，包括：

数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；

任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务。

2.根据权利要求1所述的方法，其特征在于，所述数据同步设备获取BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中，包括：

所述数据同步设备在所述BI数据库中预设时间的预设指标数据计算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标数据，并将所述预设指标数据同步到所述hive表中；

所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备，包括：

所述数据同步设备在每一时段的预设指标数据同步完成后，生成该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储设备。

3.根据权利要求2所述的方法，其特征在于，所述任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务，包括：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。

4.根据权利要求3所述的方法，其特征在于，所述任务生成设备调用任务生成接口，根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务，包括：

所述任务生成设备调用任务生成接口，对所述hive表中所述连续时段的预设指标数据进行统计，并根据统计结果更新或新建与所述连续时段对应的数据段，并根据更新或新建后得到的数据段生成所述响应式查询任务。

5.根据权利要求1所述的方法，其特征在于，所述任务生成设备对所述预设存储设备进行监控，包括：

所述任务生成设备按照指定间隔时间检测所述预设存储设备是否有所述预设指标数据对应的标记文件。

6.根据权利要求1所述的方法，其特征在于，所述响应式查询任务为麒麟任务。

7.一种任务生成系统，其特征在于，包括：

数据同步设备，用于获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；

任务生成设备，用于对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务；

预设存储设备，用于保存所述标记文件。

8.根据权利要求7所述的系统，其特征在于，所述数据同步设备包括：

分时段同步模块，用于在所述BI数据库中预设时间的预设指标数据计算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标数据，并将所述预设指标数据同步到所述hive表中；

标记文件生成模块，用于在每一时段的预设指标数据同步完成后，生成该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储设备。

9.根据权利要求8所述的系统，其特征在于，所述任务生成设备具体用于：

所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。

10.根据权利要求9所述的系统，其特征在于，所述任务生成设备包括：

分时段任务生成模块，用于调用任务生成接口，对所述hive表中所述连续时段的预设指标数据进行统计，并根据统计结果更新或新建与所述连续时段对应的数据段，并根据更新或新建后得到的数据段生成所述响应式查询任务。

11.根据权利要求7所述的系统，其特征在于，所述任务生成设备包括：

监控模块，用于按照指定间隔时间检测所述预设存储设备是否有所述预设指标数据对应的标记文件。

12.根据权利要求7所述的系统，其特征在于，所述响应式查询任务为麒麟任务。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的任务生成方法。