CN111258813A - 一种报表数据自动恢复的方法和设备 - Google Patents

Abstract

本发明公开了一种对报表数据进行自动恢复的方法和设备，该方法包括：在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于报表数据的处理任务而生成的；响应于没有扫描到所述生成数据，执行以下至少一项动作：发送报警消息，以警示所述生成数据并未生成；或者根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。利用本发明的方法和设备，可以有效地减小报表任务执行的失败率，大幅度地缩减劳动力成本。

Description

一种报表数据自动恢复的方法和设备

技术领域

本发明总体上涉及数据处理领域。更具体地，本发明涉及一种报表数据自动恢复的方法、设备和计算机可读存储设备。

背景技术

当前一些公司每个小时需要计算小时报，每天需要计算日报，每个月需要月报，即以“小时”、“天”或“月”为单位进行数据统计。由此，每个小时都有很多的任务job在数据平台上，通过分布式调度系统(例如Azkaban)进行调度任务的运行。然而，经常遇到的问题是任务job运行失败,而小时报、日报或月报没有数据。造成该问题的因素较多，而其中最为显著的主要原因是服务器计算资源的问题、数据不完整和不正确的问题。

发明内容

为了至少解决上述背景技术部分所提到的问题，本发明提出一种对报表数据进行自动恢复的方案。利用本发明的方案，可以有效地解决由于job失败而造成无法获得报表数据的缺陷。

根据本发明的一个方面，提供一种对报表数据进行自动恢复的方法，包括：在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于报表数据的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

在一个实施例中，上述方法可以进一步包括：在Azkaban中确定与所述对应的脚本相关联的job，以便确定job的处理任务之间的依赖关系；以及触发所述job，以便重新执行处理任务。

在又一个实施例中，上述方法可以进一步包括在执行所述处理任务前，设置所述处理任务的相关运行参数，以便避免所述处理任务的失败。

在另一个实施例中，其中设置所述处理任务的相关运行参数包括以下的至少一项：分配中央处理器；分配内存；或者对所述处理任务的个数进行分割。

根据本发明的另一个方面，提供一种对报表数据进行自动恢复的设备，包括：

处理器，其配置用于执行程序指令；以及

存储器，其配置用于存储所述程序指令，当所述程序指令由所述处理器加载并执行时，使得所述设备执行：

在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于数据报表的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

在一个实施例中，当所述程序指令由所述处理器加载并执行时，使得所述设备进一步执行：

在Azkaban中确定与所述对应的脚本相关联的job，以便确定job的处理任务之间的依赖关系；以及

触发所述job，以便重新执行处理任务。

在又一个实施例中，当所述程序指令由所述处理器加载并执行时，使得所述设备进一步执行：在执行所述处理任务前设置所述处理任务的相关运行参数，以便避免所述处理任务的失败。

在另一个实施例中，其中设置所述处理任务的相关运行参数包括以下的至少一项：分配中央处理器；分配内存；或者对所述处理任务的个数进行分割。

根据本发明的又一方面，提供一种计算机可读存储设备，其中存储有程序指令，所述程序指令适于由处理器加载并执行：

在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于数据报表的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

根据本发明的上述方法、设备和计算机可读存储设备及其多个实施例，可以有效地减小报表任务执行的失败率，大幅度地缩减劳动力成本。

附图说明

通过结合附图，可以更好地理解本发明的上述特征，并且其众多目的，特征和优点对于本领域技术人员而言是显而易见的，其中相同的附图标记表示相同的元件，并且其中：

图1是示出根据本发明的实施例的用于对报表数据进行自动恢复的方法的流程图；

图2是示出根据本发明的实施例的用于对报表数据进行自动恢复的另一方法的流程图；以及

图3是示出根据本发明的实施例的用于对报表数据进行自动恢复的设备的框图。

具体实施方式

现在将参考附图描述实施例。应当理解，为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述公知的方法、过程和组件，以免模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的实施例的范围。

本发明的技术方案基于分布式调度系统来运行调度任务，并且针对于固定时间间隔的统计任务，例如小时报、日报和月报，监控对应的生成数据是否已经形成。当确定未形成相应的生成数据时，本发明的方案通过脚本及其在分式式调度系统中的依赖关系，确定相对应的job。在一个实施例中，本发明的方案使用Azkaban作为任务调度器，其是由Linkedin开发的开源批量工作流任务调度器。在具体操作中，Azkaban用于在一个工作流内以特定的顺序运行一组工作和流程。另外，Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面来维护和跟踪工作流。

下面将结合附图来具体描述本发明的实施例。

图1是示出根据本发明的实施例的用于对报表数据进行自动恢复的方法100的流程图，该方法100可以在包括例如计算机系统的服务器处执行。如图1中所示，在步骤S101处，方法100在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于报表数据的处理任务而生成的。在一个实施例中，所述生成数据例如可以是WinCC系统自动的统计出求和、平均值、最大值及最小值等数据信息。同时生成数据也可以涉及到关系的处理，比如job相关对应信息的统计分析等数据。

在一个实施例中，对于小时报，前述服务监控进程可以定时扫描小时报对应的生成数据。类似地，对于日报，前述服务监控进程可以定时扫描日报任务对应的生成数据。另外，对于月报，前述服务监控进程还可以定时扫描月报任务对应的生成数据。

在步骤S102处，方法100响应于没有扫描到所述生成数据，执行以下至少一项动作：即在步骤S103处，发送报警消息，以警示所述生成数据并未生成；或者在步骤S104处，根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。其中，在数据报表中直接编写脚本，可以很好的处理需要对数据集进行少量的调整计算又不适合在报表中完成的情况，比如不规则运算、需要多个步骤完成的计算等，相比外部的编程更简单和容易。附加地，在一个实施例中，在执行该对应的脚本时可以设置对应的时间，例如对应的时间可以设置为缺省的30秒，如果脚本需要跑很长时间，例如要大量发送电子邮件，或者分析统计大量数据，服务器会在所设置的时间后强行中止正在执行的程序。通过发送报警消息，本发明的技术方案可以及时地向网络管理人员或数据分析人员提示生成数据并没有按预期的产生，以便网络管理人员或数据分析人员采取必要措施以进行必要的补救或排除故障。进一步，当执行对应的脚本时，本发明可以重新启动未成功执行的任务，从而有利于生成数据的再次生成。

图2是示出根据本发明的实施例的用于对报表数据进行自动恢复的另一方法200的流程图，该方法200可以在包括例如计算机系统的服务器或云端处执行。如图2所示，在步骤S201处，方法200在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于报表数据的处理任务而生成的。在一个实施例中，对于小时报，前述服务监控进程可以定时扫描小时报对应的生成数据。类似地，对于日报，前述服务监控进程可以定时扫描日报任务对应的生成数据。另外，对于月报，前述服务监控进程还可以定时扫描月报任务对应的生成数据。

在步骤S202处，方法200响应于没有扫描到所述生成数据，根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。接着，在步骤S203处，方法200在Azkaban中确定与所述对应的脚本相关联的job，以便确定job的处理任务之间的依赖关系。最后，在步骤S204处，方法200根据数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。作为一个具体的实施方式，例如Azkabna内置的任务类型支持command、java，首先创建job描述文件，然后将job资源文件打包成zip文件。接着，通过azkaban的web管理平台创建project并上传job压缩包。最后，可以启动执行该job。具体地，根据步骤S202的操作，数据分析人员已经能够确定需要重新运行哪一个脚本，同时数据分析人员能够分析这个脚本的上层依赖关系。在一个实施例中，由于脚本和数据的依赖关系相对复杂，可以例如基于Azkaban的任务依赖关系来进行处理。例如，根据对应的脚本，数据分析人员可以确定对应的脚本所在的Azkaban中的job，从而找出job之间的依赖关系。接着，可以触发该job，以便开始重新处理任务。作为一个具体的实施方式，首先，在Azkaban中创建有依赖关系的多个job描述，第一个job：foo.job，#foo.job；type＝command；command＝echo foo。第二个job：bar.job(依赖foo.job)：#bar.job；type＝command；(其中#表示这个命令依赖foo这个任务)；dependencies＝foo；command＝echo bar。然后，将所有job资源文件压缩到一个zip压缩包中。接着，在azkaban的web管理界面创建工程并上传前述zip压缩包。最后，可以启动工作流flow。

由于有些脚本处理的数据量比较大，会存在任务做大尝试运行时，最终还是会得到运行失败的结果。为此，在一个实施例中，本发明的方法还提出在执行所述处理任务前，设置所述处理任务的相关运行参数，以便避免所述处理任务的失败。例如，设置所述处理任务的相关运行参数包括以下的至少一项：分配中央处理器(“CPU”)；分配内存；或者对所述处理任务的个数进行分割。

作为一个具体的实施方式，用户根据作业特点调整所述参数值使作业运行效率达到最优。例如，对于CPU的配置，可以划分成虚拟CPU(CPU virtual Core)。考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的。比如，某个物理CPU的计算能力可能是另外一个物理CPU的2倍，此时可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。对于内存配置，可以对所有可用的内存资源除去系统运行需要的以及其他hadoop的一些程序，总共保留的内存可以是系统内存和HBASE内存的和。通过这样的方式，本发明的方案可以实现参数自动化配置，并且通过增加任务的计算资源，从而避免因为资源不足引起的任务失败。

图3是示出根据本发明的实施例的用于对报表数据进行自动恢复的设备300的框图，该设备300依实现的不同，可以具体化为包括计算机系统的服务器或智能客户端。如图3中所示，该设备300可以包括处理器301、存储器302、用户接口303和通信接口304。在一个实施例中，该处理器301可以是通用处理器或专用处理器，并且可以配置成执行计算机程序指令，特别是执行存储于存储器302中的计算机程序指令，以便使得设备300执行根据图1和图2所示的本发明的方法100、200及其多个实施例。

存储器302可以是高速随机存取存储器，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或其他随机存储器。存储器302还可以是访问固态存储设备或非易失性存储器，例如一个或多个磁盘存储设备、光盘存储设备、闪存或其他非易失性固态存储设备。

用户接口303可以包括一个或多个输出设备，其例如可以包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口303还包括一个或多个输入设备，其包括例如键盘、鼠标、语音命令、输入单元或麦克风，触摸屏显示器、触敏平板电脑，姿势捕捉相机，或其他输入按钮或控件。根据本发明，该用户接口303可以接收数据分析人员的指令输入并且向数据分析人员展示运行结果，包括显示如前所述的报警消息。

通信接口304可以包括网络接口、调制解调器、各类通信端口、总线、通信链路、收发器或其他通信设备。根据本发明的方案，该通信接口可以接收来自于多个客户端的数据，并且向客户端传送各种类型的数据。

还应当理解，本文示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本文描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (9)

1.一种对报表数据进行自动恢复的方法，包括：

在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于报表数据的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

2.根据权利要求1所述的方法，进一步包括：

在Azkaban中确定与所述对应的脚本相关联的job，以便确定job的处理任务之间的依赖关系；以及

触发所述job，以便重新执行处理任务。

3.根据权利要求1或2所述的方法，进一步包括在执行所述处理任务前，设置所述处理任务的相关运行参数，以便避免所述处理任务的失败。

4.根据权利要求3所述的方法，其中设置所述处理任务的相关运行参数包括以下的至少一项：

分配中央处理器；

分配内存；或者

对所述处理任务的个数进行分割。

5.一种对报表数据进行自动恢复的设备，包括：

处理器，其配置用于执行程序指令；以及

存储器，其配置用于存储所述程序指令，当所述程序指令由所述处理器加载并执行时，使得所述设备执行：

在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于数据报表的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

6.根据权利要求5所述的设备，当所述程序指令由所述处理器加载并执行时，使得所述设备进一步执行：

在Azkaban中确定与所述对应的脚本相关联的job，以便确定job的处理任务之间的依赖关系；以及

触发所述job，以便重新执行处理任务。

7.根据权利要求5或6所述的设备，当所述程序指令由所述处理器加载并执行时，使得所述设备进一步执行：

在执行所述处理任务前，设置所述处理任务的相关运行参数，以便避免所述处理任务的失败。

8.根据权利要求7所述的方法，其中设置所述处理任务的相关运行参数包括以下的至少一项：

分配中央处理器；

分配内存；或者

对所述处理任务的个数进行分割。

9.一种计算机可读存储设备，其中存储有程序指令，所述程序指令适于由处理器加载并执行：

在后台启动一个或多个服务监控进程，该所述一个或多个服务监控进程配置用于扫描生成数据，其中所述生成数据是根据针对于数据报表的处理任务而生成的；

响应于没有扫描到所述生成数据，执行以下至少一项动作：

发送报警消息，以警示所述生成数据并未生成；或者

根据所述数据报表与脚本的对应关系，确定对应的脚本并且执行该对应的脚本。

Images