CN110515792B - 基于web版任务管理平台的监控方法、装置以及计算机设备 - Google Patents

基于web版任务管理平台的监控方法、装置以及计算机设备 Download PDF

Info

Publication number
CN110515792B
CN110515792B CN201910664990.1A CN201910664990A CN110515792B CN 110515792 B CN110515792 B CN 110515792B CN 201910664990 A CN201910664990 A CN 201910664990A CN 110515792 B CN110515792 B CN 110515792B
Authority
CN
China
Prior art keywords
task
web
execution record
name
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910664990.1A
Other languages
English (en)
Other versions
CN110515792A (zh
Inventor
周南光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910664990.1A priority Critical patent/CN110515792B/zh
Publication of CN110515792A publication Critical patent/CN110515792A/zh
Application granted granted Critical
Publication of CN110515792B publication Critical patent/CN110515792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于web版任务管理平台的监控方法，该方法包括：能够抓取任务进程日志的web页面信息，转换成文本信息；根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；根据预设的任务‑时间‑运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，从而判断出所述任务进程日志中的任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。本发明还提供一种装置、计算机设备及计算机可读存储介质。本发明能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。

Description

基于web版任务管理平台的监控方法、装置以及计算机设备
技术领域
本发明涉及流程监控领域，尤其涉及一种基于web版任务管理平台的监控方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前，很多可用于对生产任务进行流程化控制或者管理的任务管理平台被应用到企业的日常生产中，其中，web版的任务管理平台尤受欢迎，比如Linkdo管理平台，由于网页页面的运行方式对硬件设备要求较低，因此越来越被大中小企业广泛使用。然而，大部分的web版任务管理平台的运行内核比较小，功能设计也没有那么精细。比如，在对生产任务进行节点监控的过程中，并不能对上下游任务依赖关系很复杂的多层级任务的生产任务的所有任务异常数据进行记录和分析。而人工排查的方式，非常耗费时间，增加了恢复生成所耗费的成本，降低了生产效率。
发明内容
有鉴于此，本发明提出一种基于web版任务管理平台的监控方法、装置、计算机设备及计算机可读存储介质，能够抓取任务进程日志的web页面信息，转换成文本信息；然后对所述文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；接着根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，判断出任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。通过这种方式，能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。
首先，为实现上述目的，本发明提供一种基于web版任务管理平台的监控方法，所述方法包括：
抓取任务进程日志的web页面信息，并转换成文本信息；根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录；根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，从而判断出所述任务进程日志中的任务执行记录是否出现异常；当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告。
可选地，所述“抓取任务进程日志的web页面信息，并转换成文本信息”的步骤包括：通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息；将所述源信息进行清洗并转换为文本信息。
可选地，所述“根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录”的步骤包括：从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；将所述任务关键字与所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
可选地，所述“根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析”步骤之前还包括步骤：根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数；其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数。
此外，为实现上述目的，本发明还提供一种基于web版任务管理平台的监控装置，所述装置包括：
转换模块，用于抓取任务进程日志的web页面信息，并转换成文本信息；识别模块，用于根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录；判断模块，用于根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，从而判断出所述任务进程日志中的任务执行记录是否出现异常；生成模块，用于当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告。
可选地，所述转换模块还用于：通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息；将所述源信息进行清洗并转换为文本信息。
可选地，所述识别模块还用于：从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；将所述任务关键字与所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
可选地，所述装置还包括切分模块，用于：根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数；其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数。
进一步地，本发明还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的基于web版任务管理平台的监控程序，所述基于web版任务管理平台的监控程序被所述处理器执行时实现如上述的基于web版任务管理平台的监控方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于web版任务管理平台的监控程序，所述基于web版任务管理平台的监控程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于web版任务管理平台的监控方法的步骤。
相较于现有技术，本发明所提出的基于web版任务管理平台的监控方法、装置、计算机设备及计算机可读存储介质，能够抓取任务进程日志的web页面信息，转换成文本信息；然后对所述文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；接着根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，判断出任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。通过这种方式，能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。
附图说明
图1是本发明计算机设备一可选的硬件架构的示意图；
图2是本发明基于web版任务管理平台的监控程序一实施例的程序模块示意图；
图3是本发明基于web版任务管理平台的监控方法一实施例的流程示意图。
附图标记：
Figure BDA0002139811070000041
Figure BDA0002139811070000051
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明测试计算机设备1一可选的硬件架构的示意图。
本实施例中，所述测试计算机设备1可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。
所述测试计算机设备1通过网络接口13连接网络(图1未标出)，通过网络连接到其他计算机设备或者终端如任务管理服务器、移动设备或PC端等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
需要指出的是，图1仅示出了具有组件11-13的测试计算机设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述测试计算机设备1的内部存储单元，例如该测试计算机设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述测试计算机设备1的外部存储设备，例如该测试计算机设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述测试计算机设备1的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述测试计算机设备1的操作系统和各类应用软件，例如基于web版任务管理平台的监控程序的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述测试计算机设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的基于web版任务管理平台的监控程序等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述测试计算机设备1与其他计算机设备或者终端如任务管理服务器、移动设备或PC端等之间建立通信连接。
本实施例中，当所述测试计算机设备1内安装并运行有基于web版任务管理平台的监控程序时，当所述基于web版任务管理平台的监控程序运行时，所述测试计算机设备1能够抓取任务进程日志的web页面信息，转换成文本信息；然后对所述文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；接着根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，判断出任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。通过这种方式，能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。
至此，己经详细介绍了本发明各个实施例的应用环境和相关设备的硬件结构和功能。下面，将基于上述应用环境和相关设备，提出本发明的各个实施例。
首先，本发明提出一种基于web版任务管理平台的监控程序。
参阅图2所示，是本发明基于web版任务管理平台的监控程序一实施例的程序模块图。
本实施例中，所述基于web版任务管理平台的监控程序包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的基于web版任务管理平台的监控操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，基于web版任务管理平台的监控程序可以被划分为一个或多个模块。例如，在图2中，所述基于web版任务管理平台的监控程序可以被分割成转换模块201、识别模块202、切分模块203、判断模块204和生成模块205。其中：
所述转换模块201，用于抓取任务进程日志的web页面信息，并转换成文本信息。
具体地，所述转换模块201通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息，然后将所述源信息进行清洗并转换为文本信息。在本实施例中，所述转换模块201通过爬虫单元对web版任务管理平台的输出页面，即所述linkdo管理任务平台所输出的任务进程日志的web页面进行抓取，从而获得所述输出页面的任务进程日志的文本信息。所述爬虫单元为所述计算机设备1的部分功能单元，主要包括现有的网络爬虫工具的程序代码，现有的网络爬虫比如通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫，这些爬虫工具能够对网页页面的信息进行抓取并输出。其中，对于关键的文本类信息的爬取效果最为有效，能够完全清洗并还原出网页页面上的文本信息，包括文本，和文本格式；所述清洗，即将非文本信息进行过滤。当然，所述爬虫单元也可以是加载到所述web页面上的功能控件，能够实现web页面的源信息抓取，然后再转换成文本信息。
所述识别模块202，用于根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录。
具体地，所述识别模块202首先从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；然后将所述任务关键字与所述转换模块201转换得到的所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
在本实施例中，当所述转换模块201爬取到所述web版管理平台记录的所有的任务进程日志的文本信息后，因此，所述识别模块202进一步对所述任务进程日志的文本信息进行识别，从而识别出每一条任务执行记录。所述识别模块202首先将所述文本信息进行语句切分，例如，根据标点符合对所述文本信息进行切分，从而得到每一条任务进程日志语句；然后从web浏览器的缓存中调用预设的任务列表，所述任务列表中包括每个任务的任务名称和对应的任务名称关键字。所述识别模块202将所述任务关键字与所述每一条任务进程日志语句进行比对，当所述任务进程日志语句包括所述任务关键字时，则将该任务进程语句判断为对应该任务名称的任务执行记录。在本实施例中，所述目标任务的任务名称关键字直接是所述目标任务的任务名称，也可以是所述目标任务的任务名称特有的字、词或者短语。也就是说，可以根据预设的任务名称关键字，从而识别出所述任务进程日志的文本信息中的所述任务名称对应的语句。
所述切分模块203，用于根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数；其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数。
具体地，当所述识别模块202识别出每一条任务执行记录后，所述切分模块203进一步根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数。在本实施例中，web版管理平台预先设置输出的每一条任务执行记录的内容和任务执行记录格式，其中，所述内容包括必要参数，所述必要参数包括：任务名称，时间，依赖文件，路径，和运行参数。因此，所述切分模块203可以将根据任务执行记录格式将每一条任务执行记录中对应的必要参数，如时间、依赖文件、路径和运行参数切分并识别出来。例如：根据时间格式，比如“年-月-日-时-分-秒”切分并识别出任务执行记录中的时间；根据依赖文件的描述格式，比如“依赖于(xx，yy，zz)”的格式切分并识别出任务执行记录中所述任务名称所依赖的上游任务；根据路径格式比如“mm/nn/qq”切分并识别出任务执行记录中所述任务进程日志语句中的所述任务名称对应的源程序存储路径；根据运行参数格式例如“运行状态：ffff”切分并识别出任务执行记录中所述任务进程日志语句中的所述任务名称对应的执行状态。通过这种方式，就可以将每一条任务执行记录中的必要信息切分并识别出来。
所述判断模块204，用于根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，从而判断出所述任务进程日志中的任务执行记录是否出现异常。
具体地，所述计算机设备1预先设置包括每个任务在不同的时间点所对应的正常状态的运行参数的任务-时间-运行参数表，其中，所述任务-时间-运行参数表将任务名称、任务时间和运行参数作为一条任务状态信息进行保存。因此，在所述切分模块203对任务执行记录识别出必要参数之后，所述判断模块204则可以进一步根据所述任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析。在本实施例中，所述判断模块204逐一将任务执行记录设定为目标任务执行记录，然后根据目标任务执行记录中的任务名称在所述任务-时间-运行参数表中进行查找，当查找出与所述目标任务执行记录中的任务名称相同的所有任务状态信息。接着，将所述目标任务执行记录中的时间和运行参数继续在查找出来的所有任务状态信息中进一步比对，也就是说，将目标任务执行记录的任务时间和运行参数与从所述任务-时间-运行参数表查找出的包括所述任务名称的每一条任务状态信息中的任务时间和运行参数进行比对，如果查找出来的任务状态信息中其中一条任务状态信息的任务时间和运行参数与所述目标任务执行记录中对应任务时间和运行参数相同时，那么，则判断所述任务执行记录为正常记录；否则，则判断为异常。
所述生成模块205，用于当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告。
在本实施例中，当所述判断模块204判断出所述任务进程日志中的任务执行记录异常时，则记录异常信息作为异常报告并发送给预设的开发人员。例如，通过邮件或者短信发送给预设的开发人员。接着，所述开发人员则可以根据异常的任务执行记录中的依赖文件和路径对所述任务执行记录对应的任务进行异常排查。在本实施例中，所述依赖文件表示所述任务所依赖的上游任务；所述路径表示所述任务对应的源程序位置。因此，开发人员可以根据所述依赖文件找出所述任务出现异常的可能因素，接着根据所述路径找出所述任务的源程序，并进行错误排查。
从上文可知，所述测试计算机设备1能够抓取任务进程日志的web页面信息，转换成文本信息；然后对所述文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；接着根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，判断出任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。通过这种方式，能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。
此外，本发明还提出一种基于web版任务管理平台的监控方法，所述方法应用于计算机设备。
参阅图3所示，是本发明基于web版任务管理平台的监控方法一实施例的流程示意图。在本实施例中，根据不同的需求，图3所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S500，抓取任务进程日志的web页面信息，并转换成文本信息。
具体地，所述计算机设备通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息，然后将所述源信息进行清洗并转换为文本信息。在本实施例中，所述计算机设备通过爬虫单元对web版任务管理平台的输出页面，即所述linkdo管理任务平台所输出的任务进程日志的web页面进行抓取，从而获得所述输出页面的任务进程日志的文本信息。所述爬虫单元为所述计算机设备1的部分功能单元，主要包括现有的网络爬虫工具的程序代码，现有的网络爬虫比如通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫，这些爬虫工具能够对网页页面的信息进行抓取并输出。其中，对于关键的文本类信息的爬取效果最为有效，能够完全清洗并还原出网页页面上的文本信息，包括文本，和文本格式；所述清洗，即将非文本信息进行过滤。当然，所述爬虫单元也可以是加载到所述web页面上的功能控件，能够实现web页面的源信息抓取，然后再转换成文本信息。
步骤S502，根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录。
具体地，所述计算机设备首先从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；然后将所述任务关键字与所述计算机设备转换得到的所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
在本实施例中，当所述计算机设备爬取到所述web版管理平台记录的所有的任务进程日志的文本信息后，因此，所述计算机设备进一步对所述任务进程日志的文本信息进行识别，从而识别出每一条任务执行记录。所述计算机设备首先将所述文本信息进行语句切分，例如，根据标点符合对所述文本信息进行切分，从而得到每一条任务进程日志语句；然后从web浏览器的缓存中调用预设的任务列表，所述任务列表中包括每个任务的任务名称和对应的任务名称关键字。所述计算机设备将所述任务关键字与所述每一条任务进程日志语句进行比对，当所述任务进程日志语句包括所述任务关键字时，则将该任务进程语句判断为对应该任务名称的任务执行记录。在本实施例中，所述目标任务的任务名称关键字直接是所述目标任务的任务名称，也可以是所述目标任务的任务名称特有的字、词或者短语。也就是说，可以根据预设的任务名称关键字，从而识别出所述任务进程日志的文本信息中的所述任务名称对应的语句。
步骤S504，根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数。其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数。
具体地，当所述计算机设备识别出每一条任务执行记录后，则进一步根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数。在本实施例中，web版管理平台预先设置输出的每一条任务执行记录的内容和任务执行记录格式，其中，所述内容包括必要参数，所述必要参数包括：任务名称，时间，依赖文件，路径，和运行参数。因此，所述计算机设备可以将根据任务执行记录格式将每一条任务执行记录中对应的必要参数，如时间、依赖文件、路径和运行参数切分并识别出来。例如：根据时间格式，比如“年-月-日-时-分-秒”切分并识别出任务执行记录中的时间；根据依赖文件的描述格式，比如“依赖于(xx，yy，zz)”的格式切分并识别出任务执行记录中所述任务名称所依赖的上游任务；根据路径格式比如“mm/nn/qq”切分并识别出任务执行记录中所述任务进程日志语句中的所述任务名称对应的源程序存储路径；根据运行参数格式例如“运行状态：ffff”切分并识别出任务执行记录中所述任务进程日志语句中的所述任务名称对应的执行状态。通过这种方式，就可以将每一条任务执行记录中的必要信息切分并识别出来。
步骤S506，根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，从而判断出所述任务进程日志中的任务执行记录是否出现异常。
具体地，所述计算机设备预先设置包括每个任务在不同的时间点所对应的正常状态的运行参数的任务-时间-运行参数表，其中，所述任务-时间-运行参数表将任务名称、任务时间和运行参数作为一条任务状态信息进行保存。因此，在所述计算机设备对任务执行记录识别出必要参数之后，则可以进一步根据所述任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析。在本实施例中，所述计算机设备逐一将任务执行记录设定为目标任务执行记录，然后根据目标任务执行记录中的任务名称在所述任务-时间-运行参数表中进行查找，当查找出与所述目标任务执行记录中的任务名称相同的所有任务状态信息。接着，将所述目标任务执行记录中的时间和运行参数继续在查找出来的所有任务状态信息中进一步比对，也就是说，将目标任务执行记录的任务时间和运行参数与从所述任务-时间-运行参数表查找出的包括所述任务名称的每一条任务状态信息中的任务时间和运行参数进行比对，如果查找出来的任务状态信息中其中一条任务状态信息的任务时间和运行参数与所述目标任务执行记录中对应任务时间和运行参数相同时，那么，则判断所述任务执行记录为正常记录；否则，则判断为异常。
步骤S508，当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告。
在本实施例中，当所述计算机设备判断出所述任务进程日志中的任务执行记录异常时，则记录异常信息作为异常报告并发送给预设的开发人员。例如，通过邮件或者短信发送给预设的开发人员。接着，所述开发人员则可以根据异常的任务执行记录中的依赖文件和路径对所述任务执行记录对应的任务进行异常排查。在本实施例中，所述依赖文件表示所述任务所依赖的上游任务；所述路径表示所述任务对应的源程序位置。因此，开发人员可以根据所述依赖文件找出所述任务出现异常的可能因素，接着根据所述路径找出所述任务的源程序，并进行错误排查。
本实施例所提出的基于web版任务管理平台的监控方法，能够抓取任务进程日志的web页面信息，转换成文本信息；然后对所述文本信息进行识别，识别出所述任务进程日志中每一条任务执行记录；接着根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析，判断出任务执行记录是否出现异常；当任务执行记录出现异常时生成异常报告。通过这种方式，能够实现对任务数据的跟踪，并在任务数据出现异常时锁定异常任务数据，从而缩短任务数据异常排查的时间，提高效率。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于web版任务管理平台的监控方法，其特征在于，所述方法包括步骤：
抓取任务进程日志的web页面信息，并转换成文本信息；
根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录；
根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析：根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数；其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数；从而判断出所述任务进程日志中的任务执行记录是否出现异常；
当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告；
其中，所述抓取任务进程日志的web页面信息，并转换成文本信息的步骤包括：
通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息，所述web版任务管理平台为linkdo管理任务平台；
将所述源信息进行清洗并转换为文本信息。
2.如权利要求1所述的基于web版任务管理平台的监控方法，其特征在于，所述根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录的步骤包括：
从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；
将所述任务名称关键字与所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
3.一种基于web版任务管理平台的监控装置，其特征在于，所述装置包括：
转换模块，用于抓取任务进程日志的web页面信息，并转换成文本信息；
识别模块，用于根据预设的任务名称关键字对所述任务进程日志的文本信息进行识别，从而识别出所述任务进程日志中每一条任务执行记录；
判断模块，用于根据预设的任务-时间-运行参数表对所述任务进程日志包括的每一条任务执行记录进行任务名称、时间和运行参数的比对分析：根据预设的任务执行记录格式对每一条任务执行记录的文本语句进行切分，识别出任务执行记录中的必要参数；其中，所述必要参数包括任务名称、时间、依赖文件、路径和运行参数；从而判断出所述任务进程日志中的任务执行记录是否出现异常；
生成模块，用于当所述任务进程日志中的任务执行记录出现异常时，则根据异常的任务执行记录生成异常报告；
其中，所述转换模块还用于：
通过网络爬虫单元抓取所述web版任务管理平台的任务进程日志页面的源信息，所述web版任务管理平台为linkdo管理任务平台；
将所述源信息进行清洗并转换为文本信息。
4.如权利要求3所述的基于web版任务管理平台的监控装置，其特征在于，所述识别模块还用于：
从web浏览器的缓存中调用预设的任务列表，获取每个任务的任务名称和对应的任务名称关键字；
将所述任务名称关键字与所述文本信息进行比对，识别出所述文本信息中包括任务名称的文本语句作为所述任务名称对应的一条任务执行记录。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-2任一项所述的基于web版任务管理平台的监控方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-2中任一项所述的基于web版任务管理平台的监控方法的步骤。
CN201910664990.1A 2019-07-23 2019-07-23 基于web版任务管理平台的监控方法、装置以及计算机设备 Active CN110515792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910664990.1A CN110515792B (zh) 2019-07-23 2019-07-23 基于web版任务管理平台的监控方法、装置以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910664990.1A CN110515792B (zh) 2019-07-23 2019-07-23 基于web版任务管理平台的监控方法、装置以及计算机设备

Publications (2)

Publication Number Publication Date
CN110515792A CN110515792A (zh) 2019-11-29
CN110515792B true CN110515792B (zh) 2022-11-25

Family

ID=68623351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910664990.1A Active CN110515792B (zh) 2019-07-23 2019-07-23 基于web版任务管理平台的监控方法、装置以及计算机设备

Country Status (1)

Country Link
CN (1) CN110515792B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143325B (zh) * 2019-12-23 2023-11-03 北京明略软件系统有限公司 一种数据采集的监测方法、监测装置及可读存储介质
CN111290911A (zh) * 2020-01-21 2020-06-16 上海悦易网络信息技术有限公司 一种用于检测移动终端任务的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559083A (zh) * 2013-10-11 2014-02-05 北京奇虎科技有限公司 网页爬取任务调度方法与任务调度器
CN107818150A (zh) * 2017-10-23 2018-03-20 中国移动通信集团广东有限公司 一种日志审计方法及装置
CN107870986A (zh) * 2017-10-13 2018-04-03 平安科技（深圳）有限公司 基于爬虫数据的用户行为分析方法、应用服务器及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4906672B2 (ja) * 2007-10-22 2012-03-28 株式会社日立製作所 ウェブアプリケーションの処理記録方法および処理記録装置
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559083A (zh) * 2013-10-11 2014-02-05 北京奇虎科技有限公司 网页爬取任务调度方法与任务调度器
CN107870986A (zh) * 2017-10-13 2018-04-03 平安科技（深圳）有限公司 基于爬虫数据的用户行为分析方法、应用服务器及计算机可读存储介质
CN107818150A (zh) * 2017-10-23 2018-03-20 中国移动通信集团广东有限公司 一种日志审计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于kettle8的web端调度监控平台;beststone1;《https://blog.csdn.net/qq_36688928/article/details/91412996》;20190611;第1-7页 *

Also Published As

Publication number Publication date
CN110515792A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN107844634B (zh) 多元通用模型平台建模方法、电子设备及计算机可读存储介质
CN111866016B (zh) 日志的分析方法及系统
CN108985057B (zh) 一种webshell检测方法及相关设备
US9400733B2 (en) Pattern matching framework for log analysis
CN110866258B (zh) 快速定位漏洞方法、电子装置及存储介质
CN109902073B (zh) 日志处理方法、装置、计算机设备和计算机可读存储介质
CN110647451A (zh) 应用程序异常分析方法及生成方法
CN110515792B (zh) 基于web版任务管理平台的监控方法、装置以及计算机设备
CN111581057B (zh) 一种通用日志解析方法、终端设备及存储介质
CN112328259A (zh) 一种编译时长的处理方法和装置
CN110716866A (zh) 代码质量扫描方法、装置、计算机设备及存储介质
CN111090593A (zh) 确定崩溃归属的方法、装置、电子设备及存储介质
US20190370476A1 (en) Determination apparatus, determination method, and determination program
CN111966339B (zh) 埋点参数的录入方法、装置、计算机设备和存储介质
CN110866834A (zh) 批处理程序的执行方法及系统
CN110990179A (zh) 一种任务处理方法、装置及设备
CN112363904B (zh) log数据分析定位方法、装置及计算机可读存储介质
WO2019041529A1 (zh) 新闻主体企业识别方法、电子设备及计算机可读存储介质
CN111752600B (zh) 代码异常检测方法、装置、计算机设备及存储介质
CN115659354A (zh) 电力系统物联网固件多粒度漏洞相似性检测方法和装置
CN114461762A (zh) 档案变更识别方法、装置、设备及存储介质
CN108415814B (zh) 自动记录字段变化方法、应用服务器及计算机可读存储介质
CN112948654A (zh) 网页爬取方法、装置以及计算机设备
CN114637739B (zh) 数据库管控方法、系统、计算机设备及计算机存储介质
CN116483735B (zh) 一种代码变更的影响分析方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant