CN110007914A - 一种大数据计算方法及装置 - Google Patents

Abstract

本发明实施例提供了一种大数据计算方法及装置，其中，大数据计算方法，包括：获取大数据任务；从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；针对每个公共业务，获取对应的第一计算数据；将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

Description

一种大数据计算方法及装置

技术领域

本发明涉及大数据计算领域，特别是涉及一种大数据计算方法及装置。

背景技术

随着社会的进步和科技的发展，大数据big data作为科技时代的产物，也得到了广泛的应用。大数据big data是指无法在预设时间范围内用常规软件工具进行捕捉、管理和处理，需要更加复杂的新处理模式进行处理的数据集合。下面以大数据云服务平台作为大数据对应的产品为例。该大数据云服务平台包括：对象存储服务及关系型数据库。对象存储服务及关系型数据库分别会对云数据进行运算。将对象存储服务及关系型数据库的大数据的运算，看作为一个大数据任务。

目前利用大数据任务中各种业务数据对应的计算脚本，具体通过执行如下步骤实现对大数据的运算：

针对每个产品的大数据或者单个产品的多个大数据进行运算时，编码人员预先都对应于每个产品，编写各个业务数据所对应的计算脚本；在使用该产品时，利用该产品中各种业务数据对应的计算脚本完成对大数据的运算。示例性地，大数据任务中各个业务数据对应的计算脚本包括：对象存储服务对应的云数据处理计算脚本、对象存储服务对应的日志记录计算脚本、关系型数据库对应的云数据处理计算脚本及关系型数据库对应的日志记录计算脚本。对象存储服务会使用对象存储服务对应的云数据处理计算脚本，对云数据进行处理，产生日志；用对象存储服务对应的日志记录计算脚本，记录该日志；关系型数据库会使用关系型数据库对应的云数据处理计算脚本，对云数据进行处理，产生日志，用关系型数据库对应的日志记录计算脚本，记录该日志。

然而，发明人在实现本发明的过程中，发现现有技术至少存在如下问题：

现有技术针对一个产品一个产品编写对应的计算脚本。这些产品即使有相同业务，也是分开编写这些产品相同业务的计算脚本。比如对象存储服务及关系型数据库都有记录该日志的业务。针对记录该日志的相同业务，也是分开编写计算脚本。这样需要人工重复编写相同业务对应的计算脚本，浪费了人力，降低了业务处理的效率。

发明内容

本发明实施例的目的在于提供一种大数据计算方法及装置，以实现大数据任务对应的相同业务的计算脚本的重复使用，减少人工成本、提高业务处理的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种大数据计算方法，包括：

获取大数据任务；

从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

针对每个公共业务，获取对应的第一计算数据；

将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

可选的，所述获取大数据任务，包括：

获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识；

所述从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务，包括：

获取所述预设业务的各个业务标识；

比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

可选的，所述大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个；

所述大数据任务对应的业务的各个业务标识包括：所述大数据任务对应的业务的各个业务名称；

所述预设业务的业务标识包括：所述预设业务的业务名称；所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务。

可选的，所述获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识，包括：

获取对所述大数据任务进行处理的命令，解析出所述命令中的大数据任务为清理系统任务，并且对应于所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述获取所述预设业务的各个业务标识，包括：

获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务；

所述比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识，包括：

比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务，包括：

在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

可选的，所述针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本，包括：

针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本；

所述针对每个公共业务，获取对应的第一计算数据，包括：

针对所述预设日志处理业务的第一计算脚本，获取所述清理系统任务中的日志处理业务对应的第一计算数据；

针对所述预设数据计算业务的第一计算脚本，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上；

针对所述预设监控系统业务的第一计算脚本，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长；

所述将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算，包括：

将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至所述预设日志处理业务的第一计算脚本中；并且，

按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算；

将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。

第二方面，本发明实施例提供了一种大数据计算装置，包括：

第一获取模块，用于获取大数据任务；

处理模块，用于从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

第二获取模块，用于针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

第三获取模块，用于针对每个公共业务，获取对应的第一计算数据；

第一运算模块，用于将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

第二运算模块，用于获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

可选的，所述第一获取模块，包括：

第一获取子模块，用于获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识；

所述处理模块，包括：

第二获取子模块，用于获取所述预设业务的各个业务标识；

比较子模块，用于比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

确定子模块，用于将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

可选的，所述大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个；

所述大数据任务对应的业务的各个业务标识包括：所述大数据任务对应的业务的各个业务名称；

所述预设业务的业务标识包括：所述预设业务的业务名称；所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务。

可选的，所述第一获取子模块，用于：

获取对所述大数据任务进行处理的命令，解析出所述命令中的大数据任务为清理系统任务，并且对应于所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述第二获取子模块，用于：

获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务；

所述比较子模块，用于：

比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述确定子模块，用于：

在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

可选的，所述第二获取模块，用于：

针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本；

所述第三获取模块，用于：

针对所述预设日志处理业务的第一计算脚本，获取所述清理系统任务中的日志处理业务对应的第一计算数据；

针对所述预设数据计算业务的第一计算脚本，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上；

针对所述预设监控系统业务的第一计算脚本，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长；

所述第一运算模块，用于：

将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至所述预设日志处理业务的第一计算脚本中；并且，

按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算；

将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。

第五方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行所述第一方面所述的步骤。

第六方面，本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行所述第一方面所述的步骤。

本发明实施例提供的一种大数据计算方法及装置，获取大数据任务；从大数据任务中分离出独有业务和与预设业务相同的公共业务；针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；针对每个公共业务，获取对应的第一计算数据；将公共业务对应的第一计算数据添加至第一计算脚本进行运算中，并按照第一计算脚本进行运算；获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

本发明实施例中，获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的大数据计算方法的流程示意图。

图2为本发明实施例的大数据计算方法的框架结构示意图。

图3为本发明实施例的大数据计算方法的具体流程示意图。

图4为本发明实施例的大数据计算装置的具体结构示意图。

图5为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术中的需要人工重复编写相同业务对应的计算脚本，浪费了人力，降低了业务处理的效率的问题，本发明实施例提供一种大数据计算方法及装置，可以通过找到大数据任务中与预设业务相同的业务，作为公共业务，然后从各个预设业务对应的预先编写的所有预设业务的计算脚本中，获取与公共业务对应的，所有预设业务的计算脚本中的预设业务的计算脚本，最后完成公共业务的运算。这样获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率。

下面首先对本发明实施例所提供的大数据计算方法进行介绍。

本发明实施例所提供的一种大数据计算方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端或服务器。在此不作限定，任何可以实现本发明的电子设备，均属于本发明实施例的保护范围。

参见图1，图1为本发明实施例的大数据计算方法的流程示意图。本发明实施例所提供的大数据计算方法可以包括如下步骤：

步骤101，获取大数据任务。

在一种可选实现方式中，步骤101通过执行如下步骤获取大数据任务：获取对应于每个产品的大数据任务。该产品可以包括：清理大师clean master、安全大师CM security、安卓系统桌面启动器CMlauncher。获取到的该对应于每个产品的大数据任务是针对某一产品，系统所下发的任务。

上述大数据任务可以包括：清理大师clean master的计算清理大师的结算任务；安全大师CM security的计算安全大师的结算任务；以及安卓系统桌面启动器CMlauncher的计算安卓系统桌面启动器的结算任务中的至少一个。其他大数据任务均属于本发明实施例的保护范围，在此不一一举例。

为了每个大数据任务准确地下发对应所需执行的业务，在一种可选实现方式中，本步骤101可以通过执行如下步骤获取大数据任务：首先，获取对所述大数据任务进行处理的命令；其次，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识。这样可以利用解析出的业务标识来准确地下发对应的业务。需要说明的是，上述业务标识用来表示所需执行的业务。上述业务标识可以是业务名称，也可以是业务代号，还可以是业务唯一标识号。这个业务唯一标识号作为是字母或者数字，或者是两者的结合，在此不一一举例。

步骤102，从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务。

上述大数据任务对应的业务包括：大数据任务中的公有业务和大数据任务中的独有业务。独有业务是指每个产品各个大数据任务中所独有的功能对应的业务。上述预设业务是针对不同多个产品所执行的业务，预先分离出来的不同产品中相同的业务。上述预设业务各自具有业务标识。这里的业务标识用来表示预设业务。该业务标识可以是业务名称，也可以是业务代号，还可以是业务唯一标识号。这个业务唯一标识号作为是字母或者数字，或者是两者的结合，在此不一一举例。在一种可选实现方式中，上述预设业务的业务标识包括：所述预设业务的业务名称；所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务，在此不一一举例。

为了快速从大数据任务中分离出公共业务和独有业务，在一种可选实现方式中，本步骤102可以通过执行如下三个步骤从所述大数据任务中分离出独有业务和与预设业务相同的公共业务：

第一步骤，获取所述预设业务的各个业务标识；

第二步骤，比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

第三步骤，将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

步骤103，针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本。

本步骤103中，一个预设业务对应设置有一个预设业务的计算脚本，这样可以区分针对不同业务，执行不同的计算脚本。

本步骤103中的预先编写的所有预设业务的计算脚本，可以存放在服务器的第一预设文件夹处，并记录该第一预设文件夹的文件夹存放标识，比如，存放目录路径。这样后期在使用所有预设业务的计算脚本时，可以从该第一预设文件夹获取预设业务的计算脚本。

步骤104，针对每个公共业务，获取对应的第一计算数据。

为了方便获取到各个公共业务的计算数据，在一种可选实现方式中，本步骤104可以通过执行如下步骤针对每个公共业务，获取对应的第一计算数据：

针对每个公共业务，从预设存储位置处获取对应的第一计算数据。这样在预设存储位置处，可以方便获取到各个公共业务的计算数据。上述预设存储位置可以是本地或云端的数据库，该数据库可以为My SQL。该My SQL为关系型数据库Relational DatabaseManagement System。该关系型数据库由一个或数个表格组成。这样通过预设存储位置存放各个公共业务的计算数据，方便统一管理所存放的各个公共业务的计算数据。

步骤105，将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算。

通过执行本步骤105分别按照各个第一计算脚本进行运算的步骤，可以得到公共业务的运算结果；在本步骤105之后，所述方法还包括：

将所述公共业务的运算结果存储至服务器的第二预设文件夹中，并记录该第二预设文件夹的文件夹存放标识，比如，存放目录路径；这样后期在使用该预先编写的公共业务的运算结果时，可以从该第二预设文件夹获取公共业务的运算结果。

步骤106，获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

在本发明实施例中，获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率成本，提高了业务处理的效率。

在图1的实施例的基础上结合图2，图2为本发明实施例的大数据计算方法的框架结构示意图。本发明实施例提供的大数据计算方法包括如下步骤：

需要说明的是：本发明实施例的大数据计算方法可以应用在计算hadoop环境中，也可以应用在结算Hive环境中。按照计算hadoop环境，预先编写好与结算Hive环境相匹配的预设业务的计算脚本；按照结算Hive环境，预先编写好与结算Hive环境相匹配的预先编写好的预设业务的计算脚本；在使用不同的应用环境时，对应使用各自预先匹配好的预设业务的计算脚本。其他能够实现本发明大数据计算方法的应用环境，均属于本发明实施例的保护范围，在此不一一举例。

为了大数据计算方法中的每个步骤处理逻辑清晰，按照分层的思路执行本发明实施例的大数据计算方法。如图2所示，本发明实施例将大数据计算划分为四层：任务层、业务层、数据层和数据库层。其中，最底层是数据库层，是指存储大数据的数据库。

在进行大数据计算时，首先在任务层执行上述步骤101中获取大数据任务的步骤。

该任务层可以是Job任务层。Job任务层可以接收不同产品大数据任务。也就是说，不同的产品或不同的大数据任务均将该Job任务层作为计算的入口。上述步骤101中获取的大数据任务可以包括：clean master的计算清理大师的结算任务；CM security的计算安全大师的结算任务；以及CMlauncher的计算安卓系统桌面启动器的结算任务中的至少一个。另外，为了减小数据层的计算脚本的运算量，实现日志的记录或日志的切割。本发明实施例可以将公共业务中的日志处理业务划分至任务层，由任务层进行处理。在一种可选实现方式中，在上述步骤101的获取大数据任务之后，所述方法还包括：

任务层解析出大数据任务中的日志处理业务，通过获取的调用预设日志处理业务对应的第一计算脚本的命令，调用数据层中的计算脚本，处理预设日志处理业务，得到日志处理结果，该预设日志处理业务包括：日志的记录或日志的切割。这样可以实现日志的记录或日志的切割。

再有，为了减小数据层的计算脚本的运算量，完成监控系统业务中的数据的监控和报警。本发明实施例还可以将公共业务中的监控系统业务划分至任务层，由任务层进行处理。在另一种可选实现方式中，在上述步骤101的获取大数据任务之后，所述方法还包括：

任务层解析出大数据任务中的监控系统业务；通过获取的调用监控系统业务对应的第一计算脚本的命令，调用数据层中的计算脚本，对大数据任务中的数据业务进行监控和报警。这样可以完成监控系统业务中的数据的监控和报警。

上述两种可选实现方式，将日志处理业务、监控系统业务抽象出来，使用任务层能规范统一管理日志处理业务及监控系统业务，并且也能够高效地完成日志处理和监控系统业务；不仅减小数据层的计算脚本的运算量，而且业务开发者在业务层不需要考虑日志处理业务及监控系统业务，关注业务层的业务，业务开发者减小所花费的精力。

然后，在业务层执行上述步骤102中将所述大数据任务中分离出独有业务和与预设业务相同的公共业务；并对独有业务和公共业务进行业务组装，对应生成非定制业务和定制业务；利用组装后的调用脚本的命令从数据层获取预先存储的各个计算脚本。

在图2中的业务层包括：非定制业务组装模块及定制业务组装模块。

非定制业务组装模块，首先将大数据任务中分离出独有业务和与预设业务相同的公共业务，进行业务组装，对应生成非定制业务。然后，非定制业务组装模块具体的组装过程，利用组装的调用脚本的命令，从数据层中调用预先存储的各个计算脚本。组装的调用脚本的命令包括：公共业务对应的调用脚本的命令以及独有业务对应的调用脚本的命令。该组装公共业务对应的调用脚本的命令包括：调用安装数据计算对应的计算脚本的命令、调用分国家安装数据计算对应的计算脚本的命令、调用留存数据计算对应的计算脚本的命令及调用活跃数据计算对应的计算脚本的命令。

定制业务组装模块，首先将大数据任务中分离出具有第一预设定制条件的独有业务和，具有第二预设定制条件且与预设业务相同的公共业务，进行业务组装，对应生成定制业务。示例性的，公共业务为安装数据业务。该安装数据业务用于将获取的每天的活跃数据进行排除重复数据，然后找出每天最新安装用户。该第一预设定制条件可以为统计预设天数的总数量。比如，统计3天内的最新安装用户的总数量。示例性的，独有业务为清理大师clean master的所独有的业务。该第二预设定制条件可以为统计预设天数的清理次数。比如，统计一周内的清理的总次数。然后，定制业务组装模块具体的组装过程，就是组装的包含定制条件的调用脚本命令，从数据层中调用预先存储的各个计算脚本。组装的包含定制条件的调用脚本命令包括：包含定制条件的公共业务对应的调用脚本的命令以及包含定制条件的独有业务对应的调用脚本的命令。

再然后，在数据层运行所有预设业务的计算脚本时，从数据库中获取的预先存储的所需的计算数据。

在一种可选实现方式中，上述步骤102中可以通过执行如下步骤实现解析大数据任务中的业务之后，所述方法还包括：所述业务层，针对公共业务及独有业务，利用组装的调用脚本的命令，分别调用数据层的计算脚本，得到由所述数据层的计算脚本反馈的计算结果；再将所有计算结果反馈给任务层，并由所述任务层处理所述计算结果，该所述计算结果包括所述公共业务的运算结果及所述独有业务的运算结果。

上述数据层的各个计算脚本用于产品的数据计算。该数据层的计算脚本包括：活跃数据计算脚本、安装数据计算脚本、分国家安装数据计算脚本、留存数据计算脚本、公共函数计算脚本、结算模型计算脚本。任何能够实现本发明实施例的保护范围的数据层的计算脚本，均属于本发明实施例的保护范围，在此不一一举例。在不同业务计算时，通过数据层的计算脚本加载预先编写的预设业务的计算脚本，大大提高开发效率。

在本发明实施例中，将一个大数据任务的处理分为三层完成，该三层的任务层、业务层及数据层；每一层完成自己的功能，预设业务的计算脚本清晰以及可扩展；并且，若业务变动，则方便调整预设业务的计算脚本。这里获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率。

本发明实施例所提供的大数据计算方法，通过步骤101可以获取大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个。在图1实施例的基础上，结合图2，在此以步骤101获取大数据任务为清理系统任务进行说明。参见图3，图3为本发明实施例的大数据计算方法的具体流程示意图。

上述步骤101，具体包括：步骤1011，获取对所述大数据任务进行处理的命令。

在一种可选实现方式中，本步骤101可以通过执行如下步骤获取对大数据任务进行处理的命令：任务层，获取对大数据任务进行处理的命令。该任务层还可以通过获取的调用预设日志处理业务的命令，调用数据层中的计算脚本的计算脚本，处理预设日志处理业务，得到日志处理结果，以实现日志的记录或日志的切割。上述对大数据任务进行处理的命令，具体的可以通过调用预设日志处理业务的命令实现。在该调用预设日志处理业务的命令中配置，所需调用日志处理业务计算脚本的调用标识，所需调用日志数据的调用标识。本发明实施例中所使用的调用标识均为调用标识或预定义调用字符。

具体调用预设日志处理业务的命令参见如下：

Source/home/cpbi/.bash_profile

Source/date/cpbi/.bin/unify/cm_imei.cfg

t＝1

if[$0＝＝1]；then

t＝$1

fi

date＝‘date’％y-％m-％d

/“/date/cpbi/bin/unify/bz/cm_imei/process_cmimei.sh$t>>

/dat/dat/logs/cm_imei/cmimei_${dade}.log2>&1

本发明实施例中所使用的cm_imei.cfg是指CleanMaster中任务的任务配置数据。具体的，CMlauncher使用该计算脚本时，CMlauncher中任务的任务配置数据，只需替换这cm_imei.cfg的内容。

上述步骤102，包括如下步骤1021至步骤1024，具体如下：步骤1021，解析出所述命令中的大数据任务为清理系统任务，并且所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务。

步骤1022，获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务，所述日志处理业务包括：日志添加业务、日志切割业务。所述数据计算业务包括：安装数据计算，分国家安装数据计算，留存数据计算，活跃数据计算。

步骤1023，比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

步骤1024，在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

在一种可选实现方式中，本步骤1024可以通过执行如下步骤区分出公共业务和独有业务：通过业务层，在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及将与所述预设业务的不相同的数据存储业务，作为独有业务。这样实现对清理系统任务的命令中的公共业务和独有业务的区分。

上述步骤103，具体包括：步骤1031，针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本。其中，与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本为所述预设业务中的日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本为所述预设业务中的数据计算业务的第一计算脚本；与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本为所述预设业务中监控系统业务的第一计算脚本。

在一种可选实现方式中，本步骤1031包括：所述业务层，针对公共业务及独有业务，利用组装的调用脚本的命令，分别调用数据层的计算脚本；通过数据层的计算脚本，调用与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本。

通过如下调用数据计算业务对应的命令，可以实现调用与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本。具体调用数据计算业务对应的命令包括：调用安装数据计算对应的计算脚本的命令、调用分国家安装数据计算对应的计算脚本的命令、调用留存数据计算对应的计算脚本的命及调用活跃数据计算对应的计算脚本的命令。具体请参见如下：

调用安装数据计算对应的计算脚本的命令参见如下：

$Work_home/unify_channel_install.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用安装数据计算对应的计算脚本的命令，用于至少调用数据层的安装数据计算脚本。该安装数据计算脚本用于将获取的每天的活跃数据进行排除重复数据，然后找出每天最新安装用户。在该调用安装数据计算对应的计算脚本的命令中配置，所需调用安装数据计算脚本的调用标识，所需调用安装数据的调用标识、所需调用安装数据的日期对应的调用标识。本发明实施例中所使用的调用标识均为调用标识或预定义调用字符。

调用分国家安装数据计算对应的计算脚本的命令参见如下：

$Work_home/unify_channel_region_install.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用分国家安装数据计算对应的计算脚本的命令，用于至少调用数据层的分国家安装数据计算脚本。该分国家安装数据计算脚本用于将获取的每天的活跃数据进行排除重复数据，然后找出每天安装用户的国家；统计每个国家每天安装用户的总数量。在该调用分国家安装数据计算对应的计算脚本的命令中配置，所需调用安装数据计算脚本的调用标识、所需调用安装数据的调用标识、所需调用安装数据的日期对应的调用标识、所需调用安装数据的地区的调用标识。

调用留存数据计算对应的计算脚本的命令，用于至少调用数据层的留存数据计算脚本。该留存数据计算脚本用于统计前一天安装预设应用的用户数量，在前一天之后的每一天保留安装着该预设应用的用户数量。在调用留存数据计算对应的计算脚本的命令中配置，所需调用具体的留存数据计算脚本的调用标识、所需调用留存数据的日期所对应的留存数据的调用标识。

具体的调用留存数据计算对应的计算脚本的命令参见如下两种方式：

第一种方式：$Work_home/unify_channel_active_rom_cn.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

这个调用留存数据计算对应的计算脚本的命令，用于调用数据层的留存数据计算脚本。该留存数据计算脚本用于计算的留存数据，对比每天的留存数据，得到留存数据的处理结果。比如，第一天安装预设应用的用户数量为100个；第二天，安装预设应用的用户数量为60个，卸载该预设应用的用户数量为40个；第三天，安装预设应用的用户数量为40个，卸载该预设应用的用户数量为60个。通过统计出第一天留存数据为100个用户对应的数据，第二天留存数据为60个用户对应的数据，第三天留存数据为40个用户对应的数据，这样可以掌握该预设应用的用户粘度。

第二种方式：$Work_home/unify_channel_active_rom_cn.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

这个调用留存数据计算对应的计算脚本的命令，用于调用数据层的留存数据计算脚本。该留存数据计算脚本用于整合留存数据的处理结果。

调用活跃数据计算对应的计算脚本的命令参见如下：

$Work_home/unify_channel_active.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用活跃数据计算对应的计算脚本的命令，用于至少调用数据层的活跃数据计算脚本。该活跃数据计算脚本用于统计当天使用预设应用的用户数量及数据的来源。在该调用安装数据计算对应的计算脚本的命令中配置的调用标识，所需调用活跃数据计算脚本的调用标识、所需调用活跃数据的调用标识、所需调用活跃数据的日期的调用标识。

在一种可选实现方式中，本步骤1031通过执行如下步骤获取与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本：任务层，通过获取的调用预设数据业务的命令，调用数据层中的计算脚本，对所述清理系统任务中数据业务进行监控和报警，以完成所述清理系统任务中监控系统业务。上述对大数据任务进行处理的命令，具体的可以通过调用监控系统业务对应的第一计算脚本的命令实现。在该调用监控系统业务对应的第一计算脚本的命令中配置，所需调用预设监控系统业务的第一计算脚本的调用标识，所需调用监控数据的调用标识及所需调用报警对象的调用标识。监控系统业务可以完成数据的监控和报警，具体的调用监控系统业务对应的第一计算脚本的命令参见如下。

以下两个调用监控系统业务对应的第一计算脚本的命令，均可以完成数据的监控和报警：

第一个调用监控系统业务对应的第一计算脚本的命令参见如下：

$Work_home/unify_monitor_pay_install.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

第二个调用监控系统业务对应的第一计算脚本的命令参见如下：

$Work_home/unify_monitor_pay_install_active.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

通过上述的调用预设业务的计算脚本对应的命令中编写的一行脚本或者两行脚本，就可以调用所需的脚本，完成业务数据的计算。相比于现有技术中，通过从头到尾编写所有脚本，缩短了编写脚本的时间，能够快速且高效的完成开发任务。

步骤104，包括如下步骤1041至步骤1043，具体如下：步骤1041，针对所述预设日志处理业务的第一计算脚本，从数据库中，获取所述清理系统任务中的日志处理业务对应的第一计算数据。

步骤1042，针对所述预设数据计算业务的第一计算脚本，从数据库中，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上。

步骤1043，针对所述预设监控系统业务的第一计算脚本，从数据库中，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长。

步骤105，包括：步骤1051，将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至预设日志处理业务的第一计算脚本中；并且，按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算。

步骤1052，将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

步骤1053，将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。

步骤106，获取所述独有业务为所述数据存储业务的计算数据；针对所述数据存储业务，获取所述数据存储业务的计算脚本进行运算。

上述数据存储业务包括存储达到预设条件的数据。所述预设条件包括，预设天数内的留存数据。预设天数为1天、5天、6天、7天或者30天。在一种可选实现方式中，该预设天数为6天。

在一种可选实现方式中，本步骤106可以通过执行步骤获取所述独有业务为所述数据存储业务的计算数据：业务层，针对公共业务及独有业务，利用组装的调用脚本的命令，分别调用数据层的计算脚本，由数据层的计算脚本，获取所述独有业务为所述数据存储业务的计算数据；针对所述数据存储业务，获取所述数据存储业务的计算脚本进行运算。本步骤中的组装的调用脚本的命令具体可以通过执行如下调用数据存储业务对应的第一计算脚本的命令实现。调用数据存储业务对应的第一计算脚本的命令，用于调用数据存储业务脚本及存储数据。该数据存储业务脚本至少用于存储预设天数的留存数据。在调用数据存储业务对应的第一计算脚本的命令配置，所需调用具体的预设天数的留存数据及所需调用具体的数据存储业务脚本。具体的调用数据存储业务对应的第一计算脚本的命令参见如下：

$BZ_HOME/cmimei_channel_remain_6days_avg_total.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用数据存储业务对应的第一计算脚本的命令，用于统计6天内的留存数据。

$BZ_HOME/cmimei_channel_remain_6days.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用数据存储业务对应的第一计算脚本的命令，用于分析每个不同渠道得到的6天内的留存数据。

$BZ_HOME/cmimei_channel_remain_6days_rate.sh

“/date/cpbi/bin/unify/cfg/cm_imei.cfg”$t

上述调用数据存储业务对应的第一计算脚本的命令，用于统计6天内每天安装预设应用的数量及每天安装预设应用对应的留存数据，计算每天预设应用的留存数据的与每天安装预设应用的总数量的比率。该每天安装预设应用对应的留存数据为每天安装预设应用的数量与每天卸载该预设应用的数量的差。比如，每天第一应用的安装数量为100个，在每天时间为23:59分时，统计当天该第一应用的留存数据为60个，说明40个用户当天已经卸载第一应用，比率为60％。

相较于现有技术开发人员针对一个产品编写一个数据的计算。在本发明实施例中，通过预先一次编写好所有预设业务的计算脚本中的每个预设业务的计算脚本。在使用时，获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率。

其次，下面对本发明实施例所提供的大数据计算装置进行介绍。

参见图4，图4为本发明实施例的大数据计算装置的具体结构示意图。本发明实施例的大数据计算装置，包括：

第一获取模块21，用于获取大数据任务；

处理模块22，用于从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

第二获取模块23，用于针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

第三获取模块24，用于针对每个公共业务，获取对应的第一计算数据；

第一运算模块25，用于将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

第二运算模块26，用于获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

在本发明实施例中，获取与公共业务对应的第一计算脚本，该第一计算脚本为预先编写好的所有预设业务的计算脚本；然后按照第一计算脚本进行运算；这样通过从预先一次编写好所有预设业务的计算脚本中，可以找到所有公共业务对应的第一计算脚本，不用多次编写相同业务所对应的计算脚本，节约了人工成本，提高了业务处理的效率。

在一种可选实现方式中，所述第一获取模块，包括：

第一获取子模块，用于获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识；

所述处理模块，包括：

第二获取子模块，用于获取所述预设业务的各个业务标识；

比较子模块，用于比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

确定子模块，用于将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

在一种可选实现方式中，所述大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个；

所述大数据任务对应的业务的各个业务标识包括：所述大数据任务对应的业务的各个业务名称；

所述预设业务的业务标识包括：所述预设业务的业务名称；所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务。

在一种可选实现方式中，所述第一获取子模块，用于：

获取对所述大数据任务进行处理的命令，解析出所述命令中的大数据任务为清理系统任务，并且对应于所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述第二获取子模块，用于：

获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务；

所述比较子模块，用于：

比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述确定子模块，用于：

在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

在一种可选实现方式中，所述第二获取模块，用于：

针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本；

所述第三获取模块，用于：

针对所述预设日志处理业务的第一计算脚本，获取所述清理系统任务中的日志处理业务对应的第一计算数据；

针对所述预设数据计算业务的第一计算脚本，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上；

针对所述预设监控系统业务的第一计算脚本，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长；

所述第一运算模块，用于：

将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至所述预设日志处理业务的第一计算脚本中；并且，

按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算；

将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。

相应于所述图1所示的方法实施例，本发明实施例还提供了一种电子设备，如图5所示，包括处理器31、通信接口32、存储器33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信，

存储器33，用于存放计算机程序；

处理器31，用于执行存储器33上所存放的程序时，实现如下步骤：

获取大数据任务；

从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

针对每个公共业务，获取对应的第一计算数据；

将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

所述电子设备提到的通信总线可以是外设部件互连标准(PerIP地址heralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于所述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

所述的处理器可以是重复使用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明实施例的保护范围。

本发明实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述大数据计算方法的步骤。

本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行所述大数据计算方法的步骤。

本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行所述大数据计算方法的步骤。

对于装置/电子设备/计算机可读存储介质/包含指令的计算机程序产品/计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/计算机可读存储介质/包含指令的计算机程序产品/计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种大数据计算方法，其特征在于，包括：

获取大数据任务；

从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

针对每个公共业务，获取对应的第一计算数据；

将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

2.如权利要求1所述的大数据计算方法，其特征在于，

所述获取大数据任务，包括：

获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识；

所述从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务，包括：

获取所述预设业务的各个业务标识；

比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

3.如权利要求2所述的大数据计算方法，其特征在于，所述大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个；

所述大数据任务对应的业务的各个业务标识包括：所述大数据任务对应的业务的各个业务名称；

所述预设业务的业务标识包括：所述预设业务的业务名称；

所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务。

4.如权利要求3所述的大数据计算方法，其特征在于，

所述获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识，包括：

获取对所述大数据任务进行处理的命令，解析出所述命令中的大数据任务为清理系统任务，并且对应于所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述获取所述预设业务的各个业务标识，包括：

获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务；

所述比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识，包括：

比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务，包括：

在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

5.如权利要求4所述的大数据计算方法，其特征在于，

所述针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本，包括：

针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本；

所述针对每个公共业务，获取对应的第一计算数据，包括：

针对所述预设日志处理业务的第一计算脚本，获取所述清理系统任务中的日志处理业务对应的第一计算数据；

针对所述预设数据计算业务的第一计算脚本，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上；

针对所述预设监控系统业务的第一计算脚本，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长；

所述将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算，包括：

将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至所述预设日志处理业务的第一计算脚本中；并且，

按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算；

将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。

6.一种大数据计算装置，其特征在于，包括：

第一获取模块，用于获取大数据任务；

处理模块，用于从所述大数据任务中分离出独有业务和与预设业务相同的公共业务；其中，所述预设业务为：预设的多种大数据计算中包含的相同的业务，所述独有业务为除所述预设业务以外的任务；

第二获取模块，用于针对每个公共业务，从预先编写的所有预设业务的计算脚本中，获取与所述公共业务相同的预设业务的第一计算脚本；

第三获取模块，用于针对每个公共业务，获取对应的第一计算数据；

第一运算模块，用于将各个公共业务对应的第一计算数据添加至对应的各个第一计算脚本中，并分别按照各个第一计算脚本进行运算；

第二运算模块，用于获取对应于各个独有业务的第二计算数据；针对每个独有业务，获取与每个独有业务对应的第二计算脚本进行运算。

7.如权利要求6所述的大数据计算装置，其特征在于，

所述第一获取模块，包括：

第一获取子模块，用于获取对所述大数据任务进行处理的命令，解析出所述命令中的所述大数据任务及所述大数据任务对应的业务的各个业务标识；

所述处理模块，包括：

第二获取子模块，用于获取所述预设业务的各个业务标识；

比较子模块，用于比较所述预设业务的所有业务标识与所述大数据任务的所有业务标识；

确定子模块，用于将所述大数据任务中与所述预设业务相同的业务作为公共业务；将所述大数据任务中与所述预设业务不相同的业务作为独有的业务。

8.如权利要求7所述的大数据计算装置，其特征在于，所述大数据任务包括：清理系统任务、安全处理任务和启动系统任务中的至少一个；

所述大数据任务对应的业务的各个业务标识包括：所述大数据任务对应的业务的各个业务名称；

所述预设业务的业务标识包括：所述预设业务的业务名称；所述预设业务的各个业务名称分别为日志处理业务、数据计算业务和/或监控系统业务。

9.如权利要求8所述的大数据计算装置，其特征在于，

所述第一获取子模块，用于：

获取对所述大数据任务进行处理的命令，解析出所述命令中的大数据任务为清理系统任务，并且对应于所述清理系统任务中的业务对应的业务名称分别为：日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述第二获取子模块，用于：

获取所述预设业务的业务名称分别为：日志处理业务、数据计算业务及监控系统业务；

所述比较子模块，用于：

比较所述预设业务的日志处理业务、数据计算业务及监控系统业务，与所述清理系统任务中的业务的日志处理业务、数据存储业务、数据计算业务及监控系统业务；

所述确定子模块，用于：

在所述清理系统任务中的所有业务中，将与所述预设业务的相同的日志处理业务、数据计算业务及监控系统业务，作为公共业务；以及

将与所述预设业务的不相同的数据存储业务，作为独有业务。

10.如权利要求9所述的大数据计算装置，其特征在于，

所述第二获取模块，用于：

针对在所述清理系统任务中的公共业务包括日志处理业务、数据计算业务和监控系统业务时，从预先编写的所有预设业务的计算脚本中，获取与所述清理系统任务中的日志处理业务相同的预设日志处理业务的第一计算脚本；与所述清理系统任务中的数据计算业务相同的预设数据计算业务的第一计算脚本；以及与所述清理系统任务中的监控系统业务相同的预设监控系统业务的第一计算脚本；

所述第三获取模块，用于：

针对所述预设日志处理业务的第一计算脚本，获取所述清理系统任务中的日志处理业务对应的第一计算数据；

针对所述预设数据计算业务的第一计算脚本，获取所述清理系统任务中的数据计算业务对应的第一计算数据；其中，所述数据计算业务对应的第一计算数据包括：安装数据计算对应的第一计算数据、分国家安装数据计算对应的第一计算数据、留存数据计算对应的第一计算数据及活跃数据计算对应的第一计算数据中的一种或两种以上；

针对所述预设监控系统业务的第一计算脚本，获取所述清理系统任务中的监控系统业务对应的第一计算数据，其中，所述监控系统业务对应的第一计算数据包括：监控系统业务的报警对象及报警时长；

所述第一运算模块，用于：

将所述清理系统任务中的日志处理业务对应的第一计算数据，添加至所述预设日志处理业务的第一计算脚本中；并且，

按照所述预设日志处理业务的第一计算脚本中的日志添加方式及切割方式，对所述清理系统任务中日志处理业务对应的第一计算数据进行计算；

将所述清理系统任务中的数据计算业务对应的第一计算数据，分别添加至所述预设数据计算业务的第一计算脚本中；并且，

按照所述预设数据计算业务的第一计算脚本中的计算处理方式，对所述清理系统任务中数据计算业务对应的第一计算数据进行计算；以及

将所述清理系统任务中的监控系统业务的报警对象及报警时长，分别添加至所述预设监控系统业务的第一计算脚本中；并且，

按照所述预设监控系统业务的第一计算脚本中的报警方式，对所述清理系统任务中监控系统业务的报警对象，计算所述清理系统任务中监控系统业务的报警时长。