CN110780983A - 任务异常处理方法、装置、计算机设备以及存储介质 - Google Patents
任务异常处理方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN110780983A CN110780983A CN201910854352.6A CN201910854352A CN110780983A CN 110780983 A CN110780983 A CN 110780983A CN 201910854352 A CN201910854352 A CN 201910854352A CN 110780983 A CN110780983 A CN 110780983A
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling platform
- preset scheduling
- preset
- task execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Abstract
本发明实施例公开了一种任务异常处理方法、装置、计算机设备以及存储介质，所述方法包括：接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问预设调度平台并获取预设调度平台的任务执行状态和任务运行日志；通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。本发明基于异常监控提供一种任务异常处理方法，针对不同的任务异常设置对应的处理策略进行处理，能够提高任务执行的效率，并缩短任务的执行时间。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种任务异常处理方法、装置、计算机设备以及存储介质。
背景技术
现有技术中，由于大数据任务数量的增多直接导致任务调度平台上所运行的任务与任务之间的数据依赖增多，而任务之间增多的数据依赖会直接导致任务异常的出现，目前，对于任务异常并没有一个完整、合理的响应机制。一方面，当任务异常出现时，如果通过人工针对每个任务异常都对应地编写程序代码进行异常处理，通常会导致任务异常处理的效率低下，并且需要花费大量的人力和物力，造成人力和物力的浪费；另一方面，针对各种异常无法做到及时响应、及时处理；随着技术的不断革新，业务量的不断增长，现有的异常响应机制已经不能满足当下的业务需求与发展。
发明内容
有鉴于此，本发明实施例提供一种任务异常处理方法、装置、计算机设备以及存储介质，针对不同的任务异常设置对应的异常处理策略进行处理，能够提高任务执行的效率，并且缩短任务的执行时间。
一方面，本发明实施例提供了一种任务异常处理方法，该方法包括：
接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
另一方面，本发明实施例提供了一种任务异常处理装置，所述装置包括：
获取单元，用于接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
分析判断单元，用于通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
调用处理单元，用于若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
又一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的任务异常处理方法。
再一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的任务异常处理方法。
本发明实施例提供一种任务异常处理方法、装置、计算机设备以及存储介质，其中方法包括：接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问预设调度平台并获取预设调度平台的任务执行状态和任务运行日志；通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。本发明基于异常监控提供一种任务异常处理方法，针对不同的任务异常设置对应的处理策略进行处理，能够提高任务执行的效率，并缩短任务的执行时间。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种任务异常处理方法的应用场景示意图；
图2是本发明实施例提供的一种任务异常处理方法的示意流程图；
图3是本发明实施例提供的一种任务异常处理方法的另一示意流程图；
图4是本发明实施例提供的一种任务异常处理方法的另一示意流程图；
图5是本发明实施例提供的一种任务异常处理方法的另一示意流程图；
图6是本发明实施例提供的一种任务异常处理装置的示意性框图；
图7是本发明实施例提供的一种任务异常处理装置的另一示意性框图；
图8是本发明实施例提供的一种任务异常处理装置的另一示意性框图；
图9是本发明实施例提供的一种任务异常处理装置的另一示意性框图；
图10是本发明实施例提供的一种计算机设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种任务异常处理方法的应用场景示意图，所述应用场景包括：
(1)服务器，服务器用于提供数据传输的后端服务。服务器为一种计算机设备，可以为单台服务器或者服务器集群，也可以为云服务器，或者为专门的网页服务器，接收外部终端的访问，通过有线网络或者无线网络与终端连接。
(2)终端，图1所示终端包括终端1、终端2和终端3，本发明提供的任务异常处理方法应用于所述任意终端上，可通过配置于所述终端上的软件程序来实现，具体地，所述终端通过访问服务器，从服务器上获取任务执行状态和任务运行日志，在终端上分析所获取的任务执行状态和任务运行日志，并根据分析结果中出现的任务异常调用对应的解决策略进行异常处理。所述终端可以为智能手机、智能手表、笔记本电脑、平板电脑或者台式电脑等电子设备，终端通过有线网络或者无线网络访问服务器。
请参阅图2，图2为本发明实施例提供的一种任务异常处理方法的示意流程图。如图2所示，该方法包括以下步骤S101～S103。
S101，接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志。
在本发明实施例中，要实现对任务异常的处理，首先需要从预设调度平台中获取任务执行状态和任务运行日志，其中，所述预设调度平台指的是一种工作流任务调度工具，主要用于在一个工作流内以一个特定的顺序运行一组任务和流程，具体地，在本实施例中，所述预设调度平台为Linkdo调度工具，所述网页访问请求为摸拟网页访问请求，由于Linkdo调度工具能够通过java来模拟网页访问请求，并利用模拟的网页访问请求访问linkdo调度工具，从而通过linkdo调度工具的解析即能获取工具的任务运行状态；因此，本实施例选择Linkdo调度工具作为预设调度平台，在一些实施例中，还可以选择azkaban调度工具，或者oozie调度工具；所述任务执行状态包括任务运行中、任务未运行、任务运行失败以及任务运行成功等；所述任务运行日志包括任务运行耗时、任务运行时产生的map任务数量以及reduce任务数量、任务运行时map任务和reduce任务完成的进度条。
进一步地，在某些实施例，例如本实施例中，如图3所示，所述接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志，包括以下步骤S201～S203：
S201，接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台。
在本实施例中，模拟网页访问请求的过程包括：通过调用httpunit.jar中的getpage方法传入所述预设调度平台的地址，如此，就能通过模拟网页访问请求的方式以访问所述预设调度平台。其中，httpunit.jar指的是集成测试工具包，该httpunit.jar主要关注Web应用的测试，提供的帮助类(例如getpage类)让测试者可以通过Java类和服务器进行交互，并且将服务器端的响应当作文本或者DOM对象进行处理，具体的，httpunit.jar是SourceForge下面的一个开源项目，它是基于JUnit的一个测试框架，主要关注于测试Web应用，解决使用JUnit框架无法对远程Web内容进行测试的弊端。在本实施例中，通过httpunit.jar提供的getpage方法对预设调度平台进行访问，具体是通过模拟网页访问请求的行为对预设调度平台进行访问，将返回的网页内容作为链接，然后对返回的链接进行处理即可获取所述预设调度平台中的相关信息。
S202，根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页。
S203，调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
在本实施例中，根据所述模拟网页访问请求从预设调度平台中获取HTML网页，再通过调用jsoup.jar里面的jsoup.parse方法就能将页面转换成jsoup里面的document对象实例，以完成对所述html网页的解析，根据document对象实例获取所述任务执行状态和任务运行日志。
需要说明的是，jsoup.jar指的是一种Java的HTML解析包，jsoup.jar提供多种解析方法，可以是解析URL地址，或者可以是解析HTML网页，本实施例使用jsoup.jar提供的jsoup.parse方法解析HTML网页，解析的过程主要由以下三部分组成：利用jsoup.parse方法就能将页面转换成jsoup里面的document对象实例，在生成document对象实例后，根据dom和css或类似jquery的selector语法获取Element，然后再从Elements中获取节点属性、文本、html对Element的进行操作，包括HTML的值、节点内容的值和设置节点属性的值。
该实施例通过利用模拟网页访问请求的方式访问预设调度平台，并从平台中获取HTML网页，再通过jsoup.jar里面的jsoup.parse方法完成对所述html网页的解析，就能获取任务运行状态(例如任务运行中、任务未运行、任务失败、任务成功)、任务运行日志以及任务运行过程中所产生的map任务数量reduce任务数量，或者还可以获得任务运行过程中map任务和reduce任务的根据时间的变化完成的百分比。
S102，通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常。
在本发明实施例中，grep(Globally search a Regular Expression and Print，全局搜索正则表达式和打印)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来；awk(沃克)是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一，其目的是用于文本处理，并且这种语言的基础是，只要在输入数据中有模式匹配，就执行一系列指令。该实用工具扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行；正则表达式，在各种编程语言中，从最早的Perl(PracticalExtraction and Report Language，实用报表提取语言)到后来的Java、.NET，都提供了这种文本分析的高级工具；正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。通过上述文本分析算法完成对所述任务执行状态和任务运行日志进行文本分析以及得到任务异常信息。具体的，通过Hadoop HDFS API(ApplicationProgramming Interface，应用程序编程接口)来读取所述任务执行状态和任务运行日志对应的文本信息，再通过grep、awk和/或正则表达式对应的文本分析算法对所读取的文本信息进行异常的抓取和分析。
具体的，所述任务异常包括任务倾斜、map任务数据和reduce任务数量不合理、存在相似任务以及任务链路过长等等；其中，任务倾斜指的是任务执行缓慢，map任务数量和reduce任务数量不合理指的是任务根据处理结果所分配的map任务数量和reduce任务数量不合，存在相似任务指的是任务中的部分或者全部字段由一张数据表关联生成的即为相似任务，任务链路过长指的是之间有依赖，可以计算每个任务依赖了多少层，可以根据任务依赖数量的分布来看。例如：假如95％依赖任务在8层之内，5％的任务依赖大于8层，则这5％的任务链路是过长的。
更具体的，可以通过以下几种方式在grep、awk和/或正则表达式对应的文本分析算法设置匹配条件以判断所述预设调度平台中的任务执行过程是否出现任务异常，包括：a、若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；b、若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；c、若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；d、若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
S103，若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
在本发明实施例中，针对不同的任务异常采取不同的异常策略以对所述任务异常进行处理，例如：(1)任务倾斜：说明哪一段有倾斜，需要处理一下关联条件；(2)map任务数量和reduce任务数量不合理：数量过大，提示这段逻辑需要限制map任务数量或者reduce任务数量；(3)存在相似任务：提示有几个作业逻辑相似，推荐合并计算；(4)任务链路过长：提示某几个任务链路太长，推荐修改关联的表。
具体的，在某些实施例，例如本实施例中，如图4所示，在根据不同的任务异常调用对应的解决策略实现任务异常处理之前，所述方法还包括以下步骤S301～S302：
S301，预先配置所述任务异常的策略配置文件。
在本发明实施例中，在调用不同的解决策略实现任务异常处理之前，需要预先配置任务异常的策略配置文件，在预先配置的策略配置文件中针对各种任务异常编码对应地设置相关的解决策略，该解决策略为针对任务异常需要采取的处理方法的文字信息。
S302，在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
在本实施例中，预设的策略配置文件为预设的策略配置列表，针对不同的任务异常编码和任务异常简介信息，在预设的策略配置列表中记录不同的解决策略以供用户调用并显示目标解决策略实现任务异常处理，其中，任务异常编码指的是任务发生异常时发出的数字编码，如401、402或者403等类似数字编码，任务异常简介信息指的是任务发生异常时，针对该异常所显示的简要介绍信息，如若任务异常为任务倾斜，该异常简介信息为“任务倾斜”，若任务异常为map任务数量和reduce任务数量不合理，该异常简介信息为“map任务数量和reduce任务数量不合理”等等。本实施例可以针对不同的任务异常编码设置不同的解决策略，或者针对不同的任务异常简要介绍信息设置不同的解决策略，例如表3、表4所示：
表3
表4
其中，在表3中，针对不同的异常编码设置不同的解决策略，也就是说，若任务异常发出异常编码，可以根据具体的异常编码调用并显示对应的解决策略以供用户实现任务异常处理；在表4中，针对不同的异常简介信息设置不同的解决策略，也就是说，若任务异常发出异常简要介绍信息，可以根据具体的异常简介信息调用并显示对应的解决策略以供用户实现任务异常处理。
该实施例通过预先配置任务异常的策略配置文件，当任务出现异常时，通过获取任务异常时所发出的异常编码或者异常简要介绍信息编码自动进行策略配对，并将配置完成后显示对应的解决策略以提示用户处理对应的任务异常。
进一步地，在某些实施例，例如本实施例中，如图5所示，所述根据不同的任务异常调用对应的解决策略实现任务异常处理，包括以下步骤S401～S402：
S401，从预先配置的策略配置文件中获取与所述任务异常相对应的解决策略。
具体的，由于在预先配置的策略配置文件中包括针对不同的异常编码和针对不同的异常简介信息设置了不同的解决策略，因此，可以根据当前任务异常所发出的信息，判断该信息是异常编码还是异常简介信息，若任务异常发出异常编码，可以根据具体的异常编码调用并显示对应的解决策略以供用户实现任务异常处理，若任务异常发出异常简要介绍信息，可以根据具体的异常简介信息调用并显示对应的解决策略以供用户实现任务异常处理。
S402，根据所获取的解决策略，调用对应的处理程序对所述任务异常进行处理。
具体的，例如，(1)任务倾斜：说明哪一段有倾斜，需要处理一下关联条件；(2)map任务数量和reduce任务数量不合理：数量过大，提示这段逻辑需要限制map任务数量或者reduce任务数量；(3)存在相似任务：提示有几个作业逻辑相似，推荐合并计算；(4)任务链路过长：提示某几个任务链路太长，推荐修改关联的表。
由以上可见，本发明实施例通过接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问预设调度平台并获取预设调度平台的任务执行状态和任务运行日志；通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。本发明基于异常监控提供一种任务异常处理方法，针对不同的任务异常设置对应的处理策略进行处理，能够提高任务执行的效率，并缩短任务的执行时间。
请参阅图6，对应上述一种任务异常处理方法，本发明实施例还提出一种任务异常处理装置，该装置100包括：获取单元101、分析判断单元102、调用处理单元103。
其中，获取单元101，用于接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
分析判断单元102，用于通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
调用处理单元103，用于若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
由以上可见，本发明实施例通过接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问预设调度平台并获取预设调度平台的任务执行状态和任务运行日志；通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。本发明基于异常监控提供一种任务异常处理方法，针对不同的任务异常设置对应的处理策略进行处理，能够提高任务执行的效率，并缩短任务的执行时间。
请参阅图7，所述获取单元101，包括：
访问单元101a，用于接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
第一获取子单元101b，用于根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
第二获取子单元101c，用于调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
请参阅图8，所述分析判断单元102，包括：
第一判断单元102a，用于若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
第二判断单元102b，用于若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
第三判断单元102c，用于若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
第四判断单元102d，用于若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
请参阅图6，所述装置100还包括：
预先配置单元104，用于预先配置所述任务异常的策略配置文件；
设置单元105，用于在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
请参阅图9，所述调用处理单元103，包括：
第一获取单元103a，用于从预先配置的策略配置文件中获取与所述任务异常相对应的解决策略；
调用处理子单元103b，用于根据所获取的解决策略，调用对应的处理程序对所述任务异常进行处理。
上述任务异常处理装置与上述任务异常处理方法一一对应，其具体的原理和过程与上述实施例所述方法相同，不再赘述。
上述任务异常处理装置可以实现为一种计算机程序的形式，计算机程序可以在如图10所示的计算机设备上运行。
图10为本发明一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能和语音输入功能的电子装置。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图10，该计算机设备500包括通过系统总线501连接的处理器502、非易失性存储介质503、内存储器504和网络接口505。其中，该计算机设备500的非易失性存储介质503可存储操作系统5031和计算机程序5032，该计算机程序5032被执行时，可使得处理器502执行一种任务异常处理方法。该计算机设备500的处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序被处理器执行时，可使得处理器502执行一种任务异常处理方法。计算机设备500的网络接口505用于进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502执行所述计算机程序时实现如下操作：
接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
3.在一个实施例中，所述网页访问请求为摸拟网页访问请求，所述接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志，包括：
接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
在一个实施例中，所述通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常，包括：
若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
在一个实施例中，所述处理器502执行所述计算机程序时，还实现如下操作：
预先配置所述任务异常的策略配置文件；
在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
在一个实施例中，所述根据不同的任务异常调用对应的解决策略实现任务异常处理，包括：
从预先配置的策略配置文件中获取与所述任务异常相对应的解决策略；
根据所获取的解决策略，调用对应的处理程序对所述任务异常进行处理。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现以下步骤：
接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
在一个实施例中，所述网页访问请求为摸拟网页访问请求，所述接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志，包括：
接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
在一个实施例中，所述通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常，包括：
若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
在一个实施例中，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，还实现以下步骤：
预先配置所述任务异常的策略配置文件；
在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
在一个实施例中，所述根据不同的任务异常调用对应的解决策略实现任务异常处理，包括：
从预先配置的策略配置文件中获取与所述任务异常相对应的解决策略；
根据所获取的解决策略，调用对应的处理程序对所述任务异常进行处理。
本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等各种可以存储程序代码的介质。
本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。
本发明实施例任务异常处理方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例任务异常处理装置中的单元可以根据实际需要进行合并、划分和删减。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种任务异常处理方法，其特征在于，所述方法包括：
接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
2.如权利要求1所述的方法，其特征在于，所述网页访问请求为摸拟网页访问请求，所述接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志，包括：
接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
3.如权利要求1所述的方法，其特征在于，所述通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常，包括：
若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
4.如权利要求1所述的方法，其特征在于，在根据不同的任务异常调用对应的解决策略实现任务异常处理之前，所述方法还包括：
预先配置所述任务异常的策略配置文件；
在所述策略配置文件中针对各种任务异常对应地设置相关的解决策略。
5.如权利要求4所述的方法，其特征在于，所述根据不同的任务异常调用对应的解决策略实现任务异常处理，包括：
从预先配置的策略配置文件中获取与所述任务异常相对应的解决策略；
根据所获取的解决策略，调用对应的处理程序对所述任务异常进行处理。
6.一种任务异常处理装置，其特征在于，所述装置包括：
获取单元，用于接收互联网应用向预设调度平台发起的网页访问请求，根据所述网页访问请求访问所述预设调度平台并获取所述预设调度平台的任务执行状态和任务运行日志；
分析判断单元，用于通过grep、awk和/或正则表达式对应的文本分析算法分析所述任务执行状态和任务运行日志，并判断所述预设调度平台中的任务执行过程是否出现任务异常；
调用处理单元，用于若所述预设调度平台中的任务执行过程出现任务异常，根据不同的任务异常调用对应的解决策略实现任务异常处理。
7.如权利要求6所述的装置，其特征在于，所述获取单元，包括：
访问单元，用于接收互联网应用向预设调度平台发起的摸拟网页访问请求，通过所述模拟网页访问请求访问所述预设调度平台；
第一获取子单元，用于根据所述模拟网页访问请求从所述预设调度平台中获取HTML网页；
第二获取子单元，用于调用jsoup.jar中的jsoup.parse方法解析所述HTML网页，根据解析结果获取所述任务执行状态和任务运行日志。
8.如权利要求6所述的装置，其特征在于，所述分析判断单元，包括：
第一判断单元，用于若所述任务运行日志中在预设时长内出现reduce任务等于99％，则判断所述预设调度平台中任务执行过程出现任务异常；
第二判断单元，用于若所述任务运行日志中map任务数量以及reduce任务数量与预设阈值不对应，则判断所述预设调度平台中任务执行过程出现任务异常；
第三判断单元，用于若所述任务运行日志中任务的部分或者全部字段均由同一张数据表关联生成，则判断所述预设调度平台中任务执行过程出现任务异常；
第四判断单元，用于若所述任务执行状态中存在任务依赖数量大于预设阈值，则判断所述预设调度平台中任务执行过程出现任务异常。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的任务异常处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如权利要求1-5任一项所述的任务异常处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854352.6A CN110780983A (zh) | 2019-09-10 | 2019-09-10 | 任务异常处理方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910854352.6A CN110780983A (zh) | 2019-09-10 | 2019-09-10 | 任务异常处理方法、装置、计算机设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110780983A true CN110780983A (zh) | 2020-02-11 |
Family
ID=69384140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910854352.6A Pending CN110780983A (zh) | 2019-09-10 | 2019-09-10 | 任务异常处理方法、装置、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110780983A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463441A (zh) * | 2020-11-13 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种异常任务处理方法、系统、设备以及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201754A (zh) * | 2016-07-06 | 2016-12-07 | 乐视控股（北京）有限公司 | 任务信息分析方法及装置 |
| CN107292618A (zh) * | 2016-04-11 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 数据库中密文数据换密失败的处理方法和装置 |
| CN109285046A (zh) * | 2018-08-10 | 2019-01-29 | 浙江工业大学 | 一种基于业务插件化的电商大数据采集系统 |
| CN109688097A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 网站防护方法、网站防护装置、网站防护设备及存储介质 |
-
2019
- 2019-09-10 CN CN201910854352.6A patent/CN110780983A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292618A (zh) * | 2016-04-11 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 数据库中密文数据换密失败的处理方法和装置 |
| CN106201754A (zh) * | 2016-07-06 | 2016-12-07 | 乐视控股（北京）有限公司 | 任务信息分析方法及装置 |
| CN109285046A (zh) * | 2018-08-10 | 2019-01-29 | 浙江工业大学 | 一种基于业务插件化的电商大数据采集系统 |
| CN109688097A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技（深圳）有限公司 | 网站防护方法、网站防护装置、网站防护设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李天琦: "基于业务插件化的电商大数据采集系统", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 7, pages 1 - 64 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463441A (zh) * | 2020-11-13 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种异常任务处理方法、系统、设备以及介质 |
| CN112463441B (zh) * | 2020-11-13 | 2022-08-12 | 苏州浪潮智能科技有限公司 | 一种异常任务处理方法、系统、设备以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108459964B (zh) | 测试用例选择方法、装置、设备以及计算机可读存储介质 | |
| CN108388515B (zh) | 测试数据生成方法、装置、设备以及计算机可读存储介质 | |
| CN107688538B (zh) | 一种脚本执行方法、装置及计算设备 | |
| CN110825619A (zh) | 接口测试用例自动生成方法、装置及存储介质 | |
| CN108536745B (zh) | 基于Shell的数据表提取方法、终端、设备及存储介质 | |
| CN111475161B (zh) | 一种访问组件的方法、装置及设备 | |
| CN110955409B (zh) | 在云平台上创建资源的方法和装置 | |
| CN110286917A (zh) | 文件打包方法、装置、设备及存储介质 | |
| CN110716848A (zh) | 数据收集方法、装置、电子设备及存储介质 | |
| CN110580189A (zh) | 生成前端页面的方法、装置、计算机设备以及存储介质 | |
| CN108415998B (zh) | 应用依赖关系更新方法、终端、设备及存储介质 | |
| CN108197024B (zh) | 嵌入式浏览器调试方法、调试终端及计算机可读存储介质 | |
| JP2006048645A (ja) | ドキュメントにコンテキスト情報を埋め込むための方法およびシステム | |
| CN113360300B (zh) | 接口调用链路生成方法、装置、设备及可读存储介质 | |
| CN110955438A (zh) | 一种小程序的性能监控方法、装置、设备及存储介质 | |
| CN110780983A (zh) | 任务异常处理方法、装置、计算机设备以及存储介质 | |
| CN106502707B (zh) | 代码生成方法及装置 | |
| CN111126965B (zh) | 审核规则优化方法、装置、计算机设备以及存储介质 | |
| JP2016018233A (ja) | スクリプトのキャッシュ方法及びそれを適用した情報処理装置 | |
| US10284628B2 (en) | Distribution method and resource acquisition method | |
| CN111488731A (zh) | 文件生成方法、装置、计算机设备以及存储介质 | |
| US11550990B2 (en) | Machine first approach for identifying accessibility, non-compliances, remediation techniques and fixing at run-time | |
| CN114637499A (zh) | 可视化组件处理方法、装置、设备及介质 | |
| CN111151008B (zh) | 游戏运营数据的校验方法、装置、配置后台及介质 | |
| US11228611B1 (en) | Scanning unexposed web applications for vulnerabilities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |