CN105205144B - 用于数据诊断优化的方法和系统 - Google Patents

Abstract

本申请公开了用于数据诊断优化的方法和系统。所述方法的一具体实施方式包括：构建规则数据库，将规则信息存储，所述规则信息包含诊断规则信息与优化规则信息；根据所述规则信息分析任务运行时所得实际日志，并生成实际日志信息；根据所述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；结合所述诊断规则信息获得所述诊断分析结果或优化分析结果。该实施方式实现了降低任务执行成本，提高了易用性和有效性。

Description

用于数据诊断优化的方法和系统

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及数据诊断优化的方法和系统。

背景技术

伴随着当前互联网快速发展，数据规模越来越大，在资源利用率要求越来越高的情况下，如何高效利用已有资源进行大数据处理，在最短时间和最省资源的前提下得到目标结果已经成为各大企业面临的难题。在上述背景中，首先需要做到对运行作业失败原因的快速定位即诊断，让开发人员能够以最快的速度开发出处理数据的程序作业，节省开发人员进行大数据开发的时间成本、提高机器进行有效计算的时间比例。其次在程序运行过程中需要对机器资源进行最大化的利用即优化，这不仅是对数据进行快速处理的要求，也是对计算成本的有效控制。现有的大数据作业诊断优化的方法都不能完整的给予用户有效的反馈，让用户可以针对已有的作业情况进行合理的修改。

发明内容

本申请的目的在于提出一种用于数据诊断优化的方法和系统，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种用于数据诊断优化的方法，上述方法包括：构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；根据上述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；结合上述诊断规则信息获得所述诊断分析结果；结合上述优化规则信息获得上述优化分析结果。

在一些实施例中，上述将规则信息存储包括：生成规则文件，上述规则文件包括诊断文件和优化文件。

在一些实施例中，上述诊断文件包括若干个诊断规则，上述诊断规则包括以下几项信息：规则名称、匹配文本、任务类型、诊断原因和建议信息。

在一些实施例中，上述优化文件包括若干个优化规则，上述优化规则包括以下几项信息：规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。

在一些实施例中，上述实际日志信息包括任务成功信息或者任务失败信息。

在一些实施例中，上述优化分析包括：提取环境变量，分析日志信息和统计信息，根据上述环境变量和上述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过。

在一些实施例中，上述诊断分析包括：分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息。

第二方面，本申请提供了一种用于数据诊断优化的系统，上述系统包括：数据库单元，配置用于构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；日志生成单元，配置用于根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；判断单元，配置用于根据上述实际日志信息进行判断；分析单元，配置用于判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；反馈单元，配置用于结合上述诊断规则信息获得上述诊断分析结果，结合上述优化规则信息获得上述优化分析结果。

在一些实施例中，上述将规则信息存储包括：生成规则文件，上述规则文件包括诊断文件和优化文件。

在一些实施例中，上述诊断文件包括若干个诊断规则，上述诊断规则包括以下几项信息：规则名称、匹配文本、任务类型、诊断原因和建议信息。

在一些实施例中，上述优化文件包括若干个优化规则，上述优化规则包括以下几项信息：规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。

在一些实施例中，上述实际日志信息包括任务成功信息或者任务失败信息。

在一些实施例中，上述优化分析包括：提取环境变量，分析日志信息和统计信息，根据上述环境变量和上述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过。

在一些实施例中，上述诊断分析包括：分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息。

本申请提供的用于数据诊断优化的方法和系统，首先构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；再根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；然后根据上述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；最后结合上述诊断规则信息获得上述诊断分析结果或者上述优化分析结果。从而有效降低了任务执行成本，提高了易用性和有效性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于数据诊断优化的方法的一个实施例的流程图；

图3是根据本申请的用于数据诊断优化的方法的另一个实施例的流程图；

图4是根据本申请的用于数据诊断优化的方法的又一个实施例的流程图；

图5是根据本申请的用于数据诊断优化系统的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的数据诊断优化的方法和数据诊断优化的系统的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上数据分析处理提供支持的处理服务器。处理服务器可以对接收到的数据进行分析等处理，并将处理结果(例如反馈信息)发送给终端设备。

需要说明的是，本申请实施例所提供的数据诊断优化的方法一般由服务器105执行，相应地，数据诊断优化装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的数据诊断优化的方法的一个实施例的流程200。所述的数据诊断优化方法，包括以下步骤：

步骤201，构建规则数据库，将规则信息存储，规则信息包含诊断规则信息与优化规则信息。

在本实施例中，数据诊断优化方法运行于其上的电子设备(例如图1所示的服务器)。

通常，用户利用终端上安装的网页浏览器来浏览网页，这时，用户可以通过直接输入网址或者点击网页浏览器中呈现的网页中的链接来向网页服务器发起网页浏览请求。在本实施例中，上述网页可以包括html格式、xhtml格式、asp格式、php格式、jsp格式、shtml格式、nsp格式、xml格式的网页或者其它未来将开发的格式的网页(只要这种格式的网页文件可以用浏览器打开并浏览其包含的图片、动画、文字等内容)。

步骤202，根据规则信息分析任务运行时所得实际日志，并生成实际日志信息。

在本实施例中，上述两种规则在诊断优化系统启动时被加载到内存中，用树的方式组织起来，方便对规则的跟踪和查找。作业运行结束后，诊断优化系统开始收集作业的各种日志，以及环境变量。在作业的日志中可以得到作业的成功与否信息，对于失败的作业执行诊断分析，而对于成功的作业执行优化分析。

需要说明的是，上述实际日志分析方式的各种方法是目前广泛研究和应用的公知技术，在此不再赘述。

步骤203，根据实际日志信息进行判断。

在本实施例中，诊断和优化的建议都是基于作业运行时的各方面情况，分析用户产生的日志信息，对于失败的作业在日志中检索诊断规则中的文本，扫描异常栈，直接定位到用户的代码后根据诊断规则和作业日志构造反馈信息。

步骤204，判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析。

在本实施例中，诊断能够有效合理地反馈出作业运行时的异常和错误，定位到用户代码中的错误点，用户可以根据诊断反馈直接修改程序代码，再次提交正确的程序；优化则是针对成功的作业，反馈信息从系统参数到作业参数给予用户合理化的建议，使用户作业再下次运行的时候能够更加合理的利用机器资源。

步骤205，结合诊断规则信息获得诊断分析结果，结合优化规则信息获得优化分析结果。

在实施例中，所有的反馈信息汇总后交给用户，给予用户诊断或者优化的建议。

继续参考图3，示出了根据本申请的数据诊断优化的方法的另一个实施例的流程300。所述的数据诊断优化方法，包括以下步骤：

步骤301，判断作业类型。

在本实施例中，作业的类型分为了hadoop作业和spark作业。对作业进行诊断的目的是为了获取作业失败的原因，诊断方式可以直接定位到用户的代码层面，直接反馈给用户。

步骤302，分析Hadoop的作业历史日志jhist文件。

步骤303，判断作业出错原因是由于异常还是错误。

步骤304，判断结果是异常则直接从jhist文件中得到作业的异常栈。

步骤305，判断结果是错误则从其他日志信息中获取。

在本实施例中，对于判断结果是错误的情况，在jhist文件中并没有显示非常详细的错误信息，需要从其他的日志信息中获取。例如：扫描stderr、syslog和stdout文件，逐行匹配规则和其中的句子，获取作业的错误栈。在得到错误栈之后进行过滤，过滤掉框架和语言本身的调用，保留用户代码信息，这样就能直接定位到用户的代码错误处。Spark的诊断基本上与hadoop的诊断相同，但是它没有产生jhist文件，所以直接从stderr、syslog和stdout文件入手，进行扫描分析。

步骤306，对错误异常栈过滤。

在本实施例中，在得到错误异常栈之后进行过滤，过滤掉框架和语言本身的调用，保留用户代码信息，这样就能直接定位到用户的代码错误处。

需要说明的是，Spark的诊断基本上与hadoop的诊断相同，但是它没有产生jhist文件，所以我们直接从stderr、syslog和stdout文件入手，进行扫描分析。

进一步参考图4，其示出了用于数据诊断优化的方法的又一个实施例的流程图400。该数据诊断优化方法的流程400，包括以下步骤：

步骤401，基于经验准则设计规则，评价作业的配置和参数的合理性。

在本实施例中，对于优化分析，hadoop作业和spark作业的流程是一样的，它是基于经验准则设计规则，评价作业的配置和参数的合理性，目的是为了给予用户优化的建议。

步骤402，自变量分析。

在本实施例中，结合预定义的规则通过分析hadoop或spark作业日志来对运行结束的作业给予诊断和优化建议。Hadoop和spark的作业日志内容通常都包括作业执行时的各类信息，反应作业的执行细节，结合作业的运行时环境可以得到作业在系统内的运行情况和各类度量数据。根据预定义的规则就可以分析给出作业程序需要修改的地方或者hadoop或spark系统参数的配置优化方向。

步骤403，获取系统的自变量。

在本实施例中，遍历优化规则，根据自变量计算规则中的公式，确定获取系统的自变量。

步骤404，获取日志文件信息。

在本实施例中，在日志中尽可能的打印出能够反映作业运行情况的各类数据，包括Java虚拟机的内存回收的频率、内存回收耗费的时间等。

步骤405，获取环境变量。

在本实施例中，在优化过程中，首先需要获取系统的环境变量，例如CPU个数、内存大小等，以及程序的各类数据统计量。

步骤406，分析各类的日志信息和其他统计量，将在规则计算公式中出现的自变量全部提取出来。

在本实施例中，在作业运行过程中，需要最大化地利用机器的性能。而如何调高作业运行时的机器利用率通常的做法是根据先验知识粗粒度地调整作业参数，这样的可靠性并不高。

步骤407，根据上一步得到的自变量计算规则中的公式，将得到的值与预先设定的阈值进行对比，判断该规则是否通过。

在本实施例中，可以根据作业自身在特定机器上运行的情况，合理的计算各项优化准则的合理性，给予用户及时的优化反馈。

步骤408，对未能通过的规则，程序返回未能通过的原因以及之后的建议。

从图3和图4中可以看出，诊断优化技术主要包括两部分内容：构建规则库，将诊断和优化的规则保存在文件中，在分析时加载到系统内存；分析作业运行产生的实际日志得到实际日志信息。之后通过比较和计算日志信息和规则信息得到作业的诊断或优化结果。

需要说明的是，图3和图4分别说明了基于规则的hadoop、spark作业诊断优化的方法，从作业执行的环境以及日志中分析作业运行的情况，进而给予用户优化或诊断的建议。诊断和优化的建议都是基于作业运行时各方面的情况得出的，诊断能够有效合理地反馈出作业运行时的异常和错误，定位到用户代码中的错误点，用户可以根据诊断反馈直接修改程序代码，再次提交正确的程序；优化则是针对成功的作业，反馈信息从系统参数到作业参数给予用户合理化的建议，使用户作业再下次运行的时候能够更加合理的利用机器资源。

进一步说明，首先需要制定作业诊断和优化的规则，诊断的规则是基于文本匹配的，在规则中定义错误原因和建议，并且区分不同的作业类型；优化的规则是基于阈值比较，定义计算公式和阈值，以及优化的建议。在诊断优化过程中，收集作业执行过程中的环境变量和hadoop、spark产生的日志信息，并做一定的过滤，排除已经分析过的作业和其他无效作业信息(如成功的oozie launcher作业)。分析用户产生的日志信息，对于失败的作业在日志中检索诊断规则中的文本，扫描异常栈，直接定位到用户的代码后根据诊断规则和作业日志构造反馈信息；对于成功的作业，解析环境变量和日志中的数据统计量，根据优化规则中的计算公式，计算出该规则的得分，与其阈值比较，返回反馈信息。所有的反馈信息汇总后交给用户，给予用户诊断或者优化的建议。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了用于数据诊断优化系统的一个实施例的结构示意图；该系统实施例与图2所示的方法实施例相对应，该系统具体可以应用于各种电子设备中。

如图5所示，本实施例所述的数据诊断优化系统500包括：日志爬取器501、日志分析器502、作业诊断器503、作业优化器504、规则解析器505和反馈器506。首先是日志爬取器501爬取目标作业集群的作业相关的日志以及环境变量，这些日志和变量由日志爬取器501爬取后存入诊断优化系统中。接着再由日志分析器502来分析集群作业的日志和变量，同时进行用户作业程序的各类数据统计量的统计。在这些日志和统计量被载入核心系统之前，系统会载入诊断和优化的规则，经过规则解析器505解析后形成树结构的规则，目的是为了加快规则分析和匹配的速度。在日志分析器502中判断作业是成功还是失败，失败作业进入作业诊断器503进行处理，输入为诊断规则以及各种日志变量；成功作业进入作业优化器504处理，输入为优化规则和各种日志变量。经过前面叙述的诊断和优化流程之后，由反馈器506综合作业诊断和优化的结果，反馈给用户。

本领域技术人员可以理解，上述诊断优化系统还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、解析单元、信息选取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“接收用户的网页浏览请求的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：构建规则数据库，将规则信息存储，所述规则信息包含诊断规则信息与优化规则信息；根据所述规则信息分析任务运行时所得实际日志，并生成实际日志信息；根据所述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；结合所述诊断规则信息获得所述诊断分析结果或者所述优化分析结果。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种用于数据诊断优化的方法，其特征在于，包括：

构建规则数据库，将规则信息存储，所述规则信息包含诊断规则信息与优化规则信息，其中，所述将规则信息存储包括：生成规则文件，所述规则文件包括诊断文件和优化文件；

根据所述规则信息分析任务运行时所得实际日志，并生成实际日志信息；

根据所述实际日志信息进行判断；

判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；其中，所述优化分析包括：提取环境变量，分析日志信息和统计信息，根据所述环境变量和所述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过；所述诊断分析包括：分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息；

结合所述诊断规则信息获得所述诊断分析结果；

结合所述优化规则信息获得所述优化分析结果。

2.根据权利要求1所述的方法，其特征在于，所述诊断文件包括若干个诊断规则，所述诊断规则包括以下几项信息：规则名称、匹配文本、任务类型、诊断原因和建议信息。

3.根据权利要求1所述的方法，其特征在于，所述优化文件包括若干个优化规则，所述优化规则包括以下几项信息：规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。

4.根据权利要求1-3之一所述的方法，其特征在于，所述实际日志信息包括任务成功信息或者任务失败信息。

5.一种用于数据诊断优化的系统，其特征在于，包括：

数据库单元，配置用于构建规则数据库，将规则信息存储，所述规则信息包含诊断规则信息与优化规则信息，其中，所述将规则信息存储包括：生成规则文件，所述规则文件包括诊断文件和优化文件；

日志生成单元，配置用于根据所述规则信息分析任务运行时所得实际日志，并生成实际日志信息；

判断单元，配置用于根据所述实际日志信息进行判断；

分析单元，配置用于判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；其中，所述优化分析包括：提取环境变量，分析日志信息和统计信息，根据所述环境变量和所述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过；所述诊断分析包括：分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息；

反馈单元，配置用于结合所述诊断规则信息获得所述诊断分析结果，结合所述优化规则信息获得所述优化分析结果。

6.根据权利要求5所述的系统，其特征在于，所述诊断文件包括若干个诊断规则，所述诊断规则包括以下几项信息：规则名称、匹配文本、任务类型、诊断原因和建议信息。

7.根据权利要求5所述的系统，其特征在于，所述优化文件包括若干个优化规则，所述优化规则包括以下几项信息：规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。

8.根据权利要求5-7之一所述的系统，其特征在于，所述实际日志信息包括任务成功信息或者任务失败信息。