CN106156147B

CN106156147B - 一种基于大数据分析的报告发送方法、装置及系统

Info

Publication number: CN106156147B
Application number: CN201510175494.1A
Authority: CN
Inventors: 黄妍
Original assignee: Alibaba Group Holding Ltd
Current assignee: Zhejiang Tmall Technology Co Ltd
Priority date: 2015-04-14
Filing date: 2015-04-14
Publication date: 2019-08-02
Anticipated expiration: 2035-04-14
Also published as: CN106156147A

Abstract

本发明实施例公开了基于大数据分析的报告发送方法、装置及系统，其中，方法包括：记录报告的配置信息；向大数据离线分析平台发送配置信息中的检查任务，获取所述平台运行检查任务的检查结果；判断检查结果是否符合配置信息中的检查标准；如果符合，向所述平台发送配置信息中的运算任务，监控每个运算任务的运行情况，将运行成功的运算结果保存在数据库中，将运行失败的运算任务重新发送给所述平台；在确定所有运算任务都运行成功时，从所述数据库中提取运算结果，按照所述报告模板生成报告；向接收方发送所述报告。本发明在整个报告生成及发送处理中，不需要人工参与，节省了人力资源，提升了报告生成及发送速率以及可靠性。

Description

一种基于大数据分析的报告发送方法、装置及系统

技术领域

本发明涉及大数据处理领域，特别是涉及一种基于大数据分析的报告发送方法、装置及系统。

背景技术

大数据或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化处理能力的海量、高增长率和多样化的信息资产，由于大数据具有大量、高速、多样和价值四个特点，因此大数据已经成为网络时代发展的重心。

大数据分析就是指对规模巨大的数据进行分析，以挖掘出信息价值。由于大数据规模巨大，单机运算能力已经无法满足对大数据的信息挖掘，大数据离线分析平台就应运而生。

基于大数据分析结果来刻画业务已经成为一种常用运营方式，现有方式是由运营人员先向大数据离线分析平台提交运算任务，大数据离线分析平台在接收到运算任务后启动运算，运营人员根据运算结果手动生成运营报告通过邮件方式发送给相关收件人。由于大数据分析运算过程复杂耗时，尤其在运算任务量较多的情况下，人工提交运算任务、人工监控运算情况以及人工生成报告发送的方式，耗时耗力，另外，人工手动处理也容易出错。

发明内容

为了解决上述技术问题，本发明提供了一种基于大数据分析的报告发送方法、装置及系统，通过记录报告的配置信息的方式，自动触发大数据离线分析平台进行数据分析处理，根据该平台的运算结果按照配置信息自动生成报告，以实现向接收方自动发送报告，本发明中所有运算过程的监控、报告的生成以及发送均不再需要人工参与，提升了报告生成及发送速率以及可靠性。

本发明实施例公开了如下技术方案：

一方面，本发明提供了一种基于大数据分析的报告发送方法，所述方法包括：

记录报告的配置信息，所述配置信息包括：报告模板、数据指标与对应的运算任务、检查任务与对应的检查标准；

向大数据离线分析平台发送所述检查任务，获取所述平台运行检查任务的检查结果；

判断所述检查结果是否符合所述检查标准；如果符合，向所述平台发送所述运算任务，监控每个运算任务的运行情况，将运行成功的运算结果保存在数据库中，将运行失败的运算任务重新发送给所述平台；

在确定所有运算任务都运行成功时，从所述数据库中提取运算结果，按照所述报告模板生成报告；

向接收方发送所述报告。

优选的，所述检查标准包括以下一种或多种：

数据长度范围、数据类型或数据归属系统类型。

优选的，判断所述检查结果是否符合所述检查标准，包括：

判断所述检查结果中的数据长度是否符合所述检查标准中预设的数据长度范围；和/或，

判断所述检查结果中的数据类型是否符合所述检查标准中预设的数据类型；和/或，

判断所述检查结果中的数据归属系统类型是否符合所述检查标准中预设的系统类型。

优选的，所述报告模板为以下任意类型：

邮件模板、文档模板、表格模板、网页模板或短信模板。

优选的，所述报告模板为邮件模板，所述配置信息还包括发送周期、报告名称以及收件方；

则向接收方发送所述报告，具体为：

按照所述发送周期、以报告名称为邮件主题的方式，向所述收件方发送携带所述报告的邮件。

优选的，从所述数据库中提取运算结果，按照所述报告模板生成报告，包括：

从所述数据库中提取每个运算任务对应的运算结果，将运算结果代入报告模板中对应的数据指标位置，以生成报告。

优选的，所述方法还包括：

监控所述报告的发送情况，当发送失败时，重新向接收方发送所述报告。

又一方面，本发明提供了一种基于大数据分析的报告发送装置，所述装置包括：

记录单元，用于记录报告的配置信息，所述配置信息包括：报告模板、数据指标与对应的运算任务、检查任务与对应的检查标准；

检查任务监控单元，用于向大数据离线分析平台发送所述检查任务，获取所述平台运行检查任务的检查结果；

检查结果判断单元，用于判断所述检查结果是否符合所述检查标准；如果符合，触发运算任务监控单元；

运算任务监控单元，用于向所述平台发送所述运算任务，监控每个运算任务的运行情况，将运行成功的运算结果保存在数据库中，将运行失败的运算任务重新发送给所述平台；在确定所有运算任务都运行成功时，触发报告生成单元；

报告生成单元，用于从所述数据库中提取运算结果，按照所述报告模板生成报告；

报告发送单元，用于向接收方发送所述报告。

优选的，所述检查标准包括以下一种或多种：

数据长度范围、数据类型或数据归属系统类型。

优选的，所述检查任务判断单元，包括：

第一判断子单元，用于判断所述检查结果中的数据长度是否符合所述检查标准中预设的数据长度范围；和/或，

第二判断子单元，用于判断所述检查结果中的数据类型是否符合所述检查标准中预设的数据类型；和/或，

第三判断子单元，用于判断所述检查结果中的数据归属系统类型是否符合所述检查标准中预设的系统类型。

优选的，所述报告模板为以下任意类型：

邮件模板、文档模板、表格模板、网页模板或短信模板。

则所述发送单元，具体用于按照所述发送周期、以报告名称为邮件主题的方式，向所述收件方发送携带所述报告的邮件。

优选的，所述报告生成单元，具体用于从所述数据库中提取每个运算任务对应的运算结果，将运算结果代入报告模板中对应的数据指标位置，以生成报告。

优选的，所述装置还包括：

发送情况监控单元，用于监控所述报告的发送情况，当发送失败时，重新向接收方发送所述报告。

又一方面，本发明还提供了一种基于大数据分析的报告发送系统，所述系统包括：

大数据离线分析平台和服务器，所述服务器内装载上述基于大数据分配的报告发送装置。

由上述技术方案可以看出，与现有技术相比，本发明具有如下有益效果：

本发明通过记录报告的配置信息的方式，自动触发大数据离线分析平台执行相关检查任务和运算任务，通过监控检查任务运行结果是否符合检查标准的方式，使得大数据离线分析平台在执行运算任务时，具备完整的数据，为执行运算任务打好数据基础，在大数据离线分析平台在执行运算任务时，监控运行结果，保证所有运算任务均运行成功时，根据运算结果生成报告，以实现向接收方自动发送报告的目的。本发明在利用大数据离线分析平台执行相关任务的过程中，所有的检查任务、运算任务、报告生成以及发送操作均不需要人工参与，既保证了报告内容的可靠性又提升了报告生成及发送速率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于大数据分析的报告发送方法实施例1的流程图；

图2为本发明提供的基于大数据分析的报告发送方法实施例2的流程图；

图3为本发明提供的基于大数据分析的报告发送装置实施例1的结构图；

图4为本发明提供的基于大数据分析的报告发送装置实施例2的结构图；

图5为本发明提供的基于大数据分析的报告发送系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1为本发明提供的基于大数据分析的报告发送方法的流程图，该方法应用于报告发送装置侧，该方法可以包括：

S101，记录报告的配置信息，所述配置信息包括：报告模板、数据指标与对应的运算任务、检查任务与对应的检查标准。

在具体实现时，用户可以在报告发送装置上直接输入报告的配置信息，输入的方式可以是手动收入、语音输入、数据传输等多种方式。报告发送装置接收到配置信息时，记录这些配置信息，将其保存在数据库，以便后续使用。

这里的配置信息至少应包括：报告模板、数据指标与对应的运算任务、检查任务与对应的检查标准。这里的报告模板包括模板类型、模板固定内容以及数据指标内容；这里的模板类型是指模板的属性类型，如模板是文档属性，还是网页属性，还是短信属性，还是图片属性，还是表格属性等等；模板固定内容是指模板中已经明确的内容，该内容可以以文字、数字、字母、图片等任意形式存在于模板中；这里的数据指标内容是指需要利用大数据离线平台通过运算任务运算得到的数据内容；也就是说，数据指标内容是不确定的，需要通过运算才能得到的。这里的检查任务是指用于描述针对运算任务所涉及的数据完整性检查的任务；这里的检查标准是指用于衡量数据完整性的标准。

在具体实现时，报告模板的类型可以为以下类型：

邮件模板、文档模板、表格模板、网页模板或短信模板等。

当报告模板是邮件模板时，考虑到用户常规的邮件发送方式，上述配置信息中还可以包括：发送周期、报告名称以及收件方；这里的收件方可以是具体的个人邮箱地址，或者群组邮箱地址。

在具体实现时，检查标准可以设置为以下任一或者组合的内容：

数据长度范围、数据类型或数据归属系统类型。

这里的数据类型可以为数据所归属的业务类型；例如：交易金额数据类、用户基础信息类或订单信息类等。

这里的数据归属系统类型是指生成数据的系统所归属的类型。例如：交易系统类型、登录系统类型或订单系统类型等。

例如，检查标准可以设置为数据长度范围是1Mbit－－－2Mbit；数据类型包括：交易金额数据类和用户基础信息类；数据归属系统类型包括：交易系统类型和登录系统类型。

S102，向大数据离线分析平台发送所述检查任务，获取所述平台运行检查任务的检查结果。

由于大数据离线分析平台是依靠其他系统离线导入的基础数据，来完成运算任务的，而其他系统通常采用离线定时任务的方式，向大数据离线分析平台导入数据，因此这些基础数据的导入时间是无法确定的，以至于数据的完整性就无法实时确定，因此，为了保证大数据离线分析平台运算结果的可靠性，在执行运算任务之前，本发明先检查数据的完整性。

在报告发送装置记录了配置信息时，先将配置信息中的检查任务发送给大数据离线分析平台，此时，该平台就运行该检查任务得到检查结果，该报告发送装置还需要进一步获取该平台的检查结果，作为后续判断操作的基础。

S103，判断所述检查结果是否符合所述检查标准；如果符合，执行S104。

S104，向所述平台发送所述运算任务，监控每个运算任务的运行情况，将运行成功的运算结果保存在数据库中，将运行失败的运算任务重新发送给所述平台。

在报告发送装置获取到检查结果时，按照配置信息中的检查标准对检查结果作判断，以确定出大数据离线分析平台是否已导入了满足此次运算任务的所有数据。如果检查结果符合检查标准，表明大数据离线分析平台已经导入了此次运算任务所需的数据，此时，向该平台发送运算任务。

由于大数据离线分析平台的离线运算方式，可能由于各种各样的因素导致运算任务计算失败，而大数据离线分析平台不会判断任务的完成情况，计算失败和成功都会有一个计算结果，因此，本发明通过监控该平台的运行情况，以保证所有的运算任务都计算成功，以保证计算结果的可靠性。

S105，在确定所有运算任务都运行成功时，从所述数据库中提取运算结果，按照所述报告模板生成报告。

在具体实现时，通过以下方式生成报告：

由于报告模板配置了模板固定内容以及数据指标内容，因此，在得到运算结果时，仅需要将运算结果代入对应的数据指标内容的位置，最终根据模板固定内容和代入的运算结果的内容组合生成报告。

举例说明，报告模板为EXCEL表格，报告模板的配置信息包括：模板固定内容为EXCEL表格横向和纵向的各个标题，模板数据指标内容为EXCEL表格中各标题下的未知内容，则在获得运算结果时，只需要将运算结果代入对应的未知内容位置，就可以组合成一个EXCEL表格。

S106，向接收方发送所述报告。

在具体实现时，可以有多种发送报告的方式，包括：

按照邮件发送方式，向接收方发送携带所述报告的邮件。或，

按照短信发送方式，向接收方发送携带所述报告的短信。或，

按照网页发送方式，向接收方发送携带所述报告的网页的网址信息。或，

按照文档发送方式，向接收方发送携带所述报告的文档。或，

按照表格发送方式，向接收方发送携带所述报告的表格。

另外，考虑到在实际发送报告过程中，可能由于网络或者硬件设备原因导致报告发送失败的情况，为了保证报告发送的可靠性，本发明提供另一实施例，参见图2，图2为本发明提供的基于大数据分析的报告发送方法实施例2的流程图；图2所示的方法可以理解为在图1所示方法的基础上，增加如下步骤：

S107，监控所述报告的发送情况，当发送失败时，重新向接收方发送所述报告。

可以看出，本发明通过记录报告的配置信息的方式，自动触发大数据离线分析平台执行相关检查任务和运算任务，通过监控检查任务运行结果是否符合检查标准的方式，使得大数据离线分析平台在执行运算任务时，具备完整的数据，为执行运算任务打好数据基础，在大数据离线分析平台在执行运算任务时，监控运行结果，保证所有运算任务均运行成功时，根据运算结果生成报告，以实现向接收方自动发送报告的目的。本发明在利用大数据离线分析平台执行相关任务的过程中，所有的检查任务、运算任务、报告生成以及发送操作均不需要人工参与，既保证了报告内容的可靠性又提升了报告生成及发送速率。

参见图3，图3本发明提供的基于大数据分析的报告发送装置实施例1的结构图，该装置可以包括：

记录单元301，用于记录报告的配置信息，所述配置信息包括：报告模板、数据指标与对应的运算任务、检查任务与对应的检查标准。

在具体实现时，该装置可以为用户提供手动收入、语音输入或数据传输等输入报告的配置信息的输入渠道，这样，该记录单元可以记录用户输入的相关配置信息；该记录单元在具体实现时，也可以是先获取预设地址所储存的报告的配置信息，再将该信息记录在本实施例装置的数据库中。

检查任务监控单元302，用于向大数据离线分析平台发送所述检查任务，获取所述平台运行检查任务的检查结果。

检查结果判断单元303，用于判断所述检查结果是否符合所述检查标准；如果符合，触发运算任务监控单元。

运算任务监控单元304，用于向所述平台发送所述运算任务，监控每个运算任务的运行情况，将运行成功的运算结果保存在数据库中，将运行失败的运算任务重新发送给所述平台；在确定所有运算任务都运行成功时，触发报告生成单元。

报告生成单元305，用于从所述数据库中提取运算结果，按照所述报告模板生成报告。

报告发送单元306，用于向接收方发送所述报告。

在具体实现时，所述检查标准可以包括以下一种或多种：

数据长度范围、数据类型或数据归属系统类型。

在具体实现时，所述检查任务判断单元，可以包括：

在具体实现时，所述报告模板为以下任意类型：

邮件模板、文档模板、表格模板、网页模板或短信模板。

在具体实现时，所述报告模板为邮件模板，所述配置信息还包括发送周期、报告名称以及收件方；

在具体实现时，所述报告生成单元，可以具体用于从所述数据库中提取每个运算任务对应的运算结果，将运算结果代入报告模板中对应的数据指标位置，以生成报告。

另外，考虑到在实际发送报告过程中，可能由于网络或者硬件设备原因导致报告发送失败的情况，为了保证报告发送的可靠性，本发明提供另一实施例，参见图4，图4为本发明提供的基于大数据分析的报告发送装置实施例2的结构图；图4所示的装置可以理解为在图3所示装置的基础上，增加如下单元：

发送情况监控单元307，用于监控所述报告的发送情况，当发送失败时，重新向接收方发送所述报告。

可以看出，利用本发明的装置，用户仅预先设置好报告的配置信息，无需人工监控平台的处理过程，也无需手动生成以及发送报告，大大节省了用户操作时间，便于用户使用大数据离线分析平台实现数据挖掘；本发明具体是通过记录报告的配置信息的方式，自动触发大数据离线分析平台执行相关检查任务和运算任务，通过监控检查任务运行结果是否符合检查标准的方式，使得大数据离线分析平台在执行运算任务时，具备完整的数据，为执行运算任务打好数据基础，在大数据离线分析平台在执行运算任务时，监控运行结果，保证所有运算任务均运行成功时，根据运算结果生成报告，以实现向接收方自动发送报告的目的。本发明在利用大数据离线分析平台执行相关任务的过程中，所有的检查任务、运算任务、报告生成以及发送操作均不需要人工参与，既保证了报告内容的可靠性又提升了报告生成及发送速率。

另外，本发明还提供了报告发送系统。

参见图5，图5为本发明提供的基于大数据分析的报告发送系统的结构图，该系统可以包括：

大数据离线分析平台501和服务器502；

该服务器502内装载了上述基于大数据分析的报告发送装置。

图5中所示的服务器502内装载了如图3所述的基于大数据分析的报告发送装置，当然该服务器内也可以装置如图4所示的基于大数据分析的报告发送装置。

该大数据离线分析平台501与服务器502之间，可以通过无线方式通信，也可以通过有线方式通信，对此本实施例不作任何限定。

本发明提供了的报告发送系统，利用了大数据离线分析平台的数据分析功能，通过服务器内的报告发送装置主动触发大数据离线分析平台执行相关的检查任务、运算任务，利用服务器内的报告发送装置控制整个报告的生成及发送过程，这个过程不再需要人工参与，既保证了报告内容的可靠性又提升了报告生成及发送速率。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备)执行本发明各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的优选实施方式，并非用于限定本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于大数据分析的报告发送方法，其特征在于，所述方法包括：

向接收方发送所述报告；

其中，所述检查标准包括以下一种或多种：

数据长度范围、数据类型或数据归属系统类型。

2.根据权利要求1所述的方法，其特征在于，判断所述检查结果是否符合所述检查标准，包括：

3.根据权利要求1所述的方法，其特征在于，所述报告模板为以下任意类型：

邮件模板、文档模板、表格模板、网页模板或短信模板。

4.根据权利要求1所述的方法，其特征在于，所述报告模板为邮件模板，所述配置信息还包括发送周期、报告名称以及收件方；

则向接收方发送所述报告，具体为：

5.根据权利要求1所述的方法，其特征在于，从所述数据库中提取运算结果，按照所述报告模板生成报告，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种基于大数据分析的报告发送装置，其特征在于，所述装置包括：

报告发送单元，用于向接收方发送所述报告；

其中，所述检查标准包括以下一种或多种：

数据长度范围、数据类型或数据归属系统类型。

8.根据权利要求7所述的装置，其特征在于，所述检查任务判断单元，包括：

9.根据权利要求7所述的装置，其特征在于，所述报告模板为以下任意类型：

邮件模板、文档模板、表格模板、网页模板或短信模板。

10.根据权利要求7所述的装置，其特征在于，所述报告模板为邮件模板，所述配置信息还包括发送周期、报告名称以及收件方；

11.根据权利要求7所述的装置，其特征在于，所述报告生成单元，具体用于从所述数据库中提取每个运算任务对应的运算结果，将运算结果代入报告模板中对应的数据指标位置，以生成报告。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

13.一种基于大数据分析的报告发送系统，其特征在于，所述系统包括：

大数据离线分析平台和服务器，所述服务器内装载上述权利要求7-12中任一项所述的装置。