CN115617768A - 日志管理方法、系统、电子设备及存储介质 - Google Patents

日志管理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115617768A
CN115617768A CN202211160645.2A CN202211160645A CN115617768A CN 115617768 A CN115617768 A CN 115617768A CN 202211160645 A CN202211160645 A CN 202211160645A CN 115617768 A CN115617768 A CN 115617768A
Authority
CN
China
Prior art keywords
scheduling
task
log
scheduler
executor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211160645.2A
Other languages
English (en)
Inventor
周道
李强
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Technology Co Ltd
Original Assignee
Inspur Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Technology Co Ltd filed Critical Inspur Communication Technology Co Ltd
Priority to CN202211160645.2A priority Critical patent/CN115617768A/zh
Publication of CN115617768A publication Critical patent/CN115617768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志管理方法、系统、电子设备及存储介质，该方法包括：基于调度配置内容，控制调度器向执行器发出任务调度请求；控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据；将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl‑job任务调度平台根据任务执行结果进行调度管理。本发明提供的日志管理方法、系统、电子设备及存储介质，能够根据xxl‑job架构将调度逻辑和执行任务解耦，从而动态增加分片数量，到达更快处理任务的同时，对开发用户友好，无需技术储备即可随时配置随时启用。

Description

日志管理方法、系统、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种日志管理方法、系统、电子设备及存储介质。
背景技术
随着我国互联网行业的飞速发展，计算机网络安全的法律法规也日趋完善。对于二级以上信息系统，在网络安全、主机安全和应用安全等基本要求中明确要求进行安全审计。这就要求所有的软硬件设备必须要有日志输出且在整个集成系统中必须要有日志审计设备对设备运行过程中的日志的分析、输入，并通过日志审计程序分析后输出系统日志是否发生异常。
现今网络通信逐渐往多任务、高并发场景靠拢，单个任务的复杂度和并发任务的数量日益增加。为了减轻执行机器的压力，可以通过分布式部署的多个执行机器执行日志文件的审计任务。目前的较为简单的实现方式是开发者自己通过代码实现定时执行的日志采集和审计的任务。例如可以采用开源的作业调度框架Quartz，允许开发人员根据时间间隔来调度采集日志文件，它实现了作业和触发器的多对多关系，还能把多个作业与不同的触发器关联。但是，Quartz框架中的调度逻辑和执行任务高度耦合，使得在日志管理进程中智能按照预设模式进行调度，导致在日志管理中缺乏灵活性。
发明内容
本发明提供一种日志管理方法、系统、电子设备及存储介质，用以解决现有技术中定时任务单一，无法随时配置随时启用日志管理的缺陷。
本发明提供一种日志管理方法，包括：
基于调度配置内容，控制调度器向执行器发出任务调度请求；
控制所述执行器对所述任务调度请求进行响应，从日志数据中抽取出与所述调度配置内容所对应的目标日志数据；
将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果，以供xxl-job任务调度平台根据所述任务执行结果进行调度管理；
其中，所述xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；所述调度配置内容是在所述xxl-job任务调度平台的界面中为配置项目所设置的内容；所述配置项目至少包括作业任务的执行时间和/或执行周期。
根据本发明提供的一种日志管理方法，在所述将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果之后，还包括：
通过文件传输协议将所述日志文件推送到远程服务器，以供所述远程服务器对所述日志文件进行存储和管理。
根据本发明提供的一种日志管理方法，所述日志文件的文件格式为excel。
根据本发明提供的一种日志管理方法，在所述将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果之后，还包括：
在确定所述任务执行结果为执行失败的情况下，在所述xxl-job任务调度平台中进行主动告警。
根据本发明提供的一种日志管理方法，在所述基于调度配置内容，控制调度器向执行器发出任务调度请求之前，还包括：
根据所述调度器的标识信息，在与所述调度器对应的执行器结构体中设置注解。
根据本发明提供的一种日志管理方法，所述调度器为集群部署；
若确定所述调度器已配置负载，则通过配置负载地址进行集群部署；
若确定所述调度器未配置负载，则通过配置各执行器的地址进行集群部署。
本发明还提供一种日志管理系统，包括：
请求接收模块，用于基于调度配置内容，控制调度器向执行器发出任务调度请求；
请求响应模块，用于控制所述执行器对所述任务调度请求进行响应，从日志数据中抽取出与所述调度配置内容所对应的目标日志数据；
日志保存模块，用于将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果，以供xxl-job任务调度平台根据所述任务执行结果进行调度管理；
其中，所述xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；所述调度配置内容是在所述xxl-job任务调度平台的界面中为配置项目所设置的内容；所述配置项目至少包括作业任务的执行时间和/或执行周期。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述日志管理方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述日志管理方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述日志管理方法。
本发明提供的日志管理方法、系统、电子设备及存储介质，通过在xxl-job任务调度平台随时配置任务的执行时间和周期，使得执行器响应于调度器所发出的任务调度请求，从海量日志数据中抽取目标日志数据，以在本地以日志文件的形式进行存储，并向调度器反馈任务执行结果，进而在调度日志处查看任务的执行结果，以及查看任务失败的具体报错信息。能够根据xxl-job架构将调度逻辑和执行任务解耦，从而动态增加分片数量，到达更快处理任务的同时，对开发用户友好，无需技术储备即可随时配置随时启用。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的日志管理方法的流程示意图之一；
图2是本发明提供的日志管理方法的流程示意图之二；
图3是本发明提供的日志管理系统的结构示意图之一；
图4是本发明提供的日志管理系统的结构示意图之二；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的日志管理方法的流程示意图之一。如图1所示，本发明实施例提供的日志管理方法，包括：步骤101、基于调度配置内容，控制调度器向执行器发出任务调度请求。
其中，xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的。调度配置内容是在xxl-job任务调度平台的界面中为配置项目所设置的内容。配置项目至少包括作业任务的执行时间和/或执行周期。
需要说明的是，本发明实施例提供的日志管理方法的执行主体为日志管理系统。
本发明实施例提供的日志管理方法的应用场景为，在xxl-job任务调度平台的web页面对定时执行任务进行配置，周期性的自动生成日志文件进行相关审计。
本申请实施例提供的日志管理方法适用于通过日志管理系统依托运行的电子设备对用户所搭建的应用程序框架进行定时调度配置。
上述电子设备可以以各种形式来实施。例如，本申请实施例中描述的电子设备可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、智能手环、智能手表等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设电子设备是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请实施例的构造也能够应用于固定类型的终端。
需要说明的是，通过一个中心式的调度器，调度多个执行器执行任务构成xxl-job任务调度平台。
在应用过程中，通过引入xxl-job的相关依赖，可在xxl-job任务调度平台的可视化界面进行任务的启动、执行、中止以及包含了日志记录与查询和任务状态监控。
其中，xxl-job任务调度平台的可视化界面可以从基础配置、调度配置、任务配置以及高级配置等方面设置配置项目，以全方位刻画任务调度规则。
可选地，基础配置所涉及的配置项目可以包括根据任务需求而待进行调度的任务器的名称，以及相关描述等内容。
可选地，调度配置所涉及的配置项目可以调度方式和调度规则。
其中，调度规则是根据作业任务的执行时间和/或执行周期，按照相应的调度方式所编辑的规则表达式。
可选地，任务配置所涉及的配置项目可以包括任务运行模式，以及与执行器对应的JobHandler类。
可选地，高级配置所涉及的配置项目包括但不限于路由策略、调度过期策略、阻塞处理策略、任务超时时间、失败重试次数等。例如，xxl-job任务调度平台的路由策略支持轮询等策略，相比与其他调度任务，可以减轻执行服务器的压力。
本发明实施例对xxl-job任务调度平台的调度配置过程不作具体限定。
示例性地，以调度方式设置为“CRON”为示例，若要求每天凌晨推送上一天日志文件，则用户可以根据实际的日志文件需求，将执行时间和执行周期的设置过程以CRON表达式进行表征，即按照“秒分钟小时日期月份星期”的时间字段，可将调度规则为“0 0 0**？”。
可以理解的是，调度器通过数据库(DateBase，DB)锁保证集群分布式调度的一致性，即一次任务调度只会触发一次执行。
具体地，在步骤101中，日志管理系统根据用户根据实际定时任务需求在xxl-job任务调度平台的web界面中设置的调度配置内容，在调度器中生成关于定时采集日志文件的任务调度请求，并向在web界面预先配置好的执行器发送任务调度请求。
任务调度请求，用于决定对应的执行器，在什么时间以什么样的时间规律执行日志文件采集任务。
步骤102、控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据。
具体地，在步骤102中，日志管理系统控制执行器接收并响应于任务调度请求，根据该请求所对应的定时任务，在执行周期内，通过调用该执行器关于日志管理所预先设定好的实体类，利用调度配置内容形成配置查询条件，从海量的日志数据中获取与配置查询条件匹配的目标日志数据。
本发明是实施例对执行器关于日志管理所预先设定好的实体类不作具体限定，其具体代码如下：
Date date＝new Date()；
Calendar calendar＝Calendar.getInstance()；
calendar.setTime(date)；
calendar.set(Calendar.SECOND,0)；
calendar.set(Calendar.MINUTE,0)；
calendar.set(Calendar.HOUR_OF_DAY,0)；
calendar.set(Calendar.MILLISECOND,0)；
Date endDate＝calendar.getTime()；//配置查询日志数据的终止时间
calendar.add(Calendar.DATE,-1)；
Date beginDate＝calendar.getTime()；//配置查询日志数据的起始时间
List<SysLog>sysLogs＝logService.list(new LambdaQueryWrapper<SysLog>().ge(SysLog::getCreateTime,beginDate).le(SysLog::getCreateTime,endDate))；//根据查询的起止时间，把该时间段的日志数据抽取出来
List<SysLogExport>sysLogExports＝CopyUtil.convertList2List(sysLogs,SysLogExport.class)；//把实体类转换成对应文件格式的实体类。
步骤103、将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl-job任务调度平台根据任务执行结果进行调度管理。
具体地，在步骤103中，日志管理系统在确定目标日志数据无误后，将目标日志数据封装成相应的日志文件，并控制执行器将其响应于任务调度请求所执行的任务情况作为任务执行结果反馈给调度器。
调度器在接收到任务执行结果后进行本地存储，以供用户通过xxl-job任务调度平台的可视化界面中，利用某一调度任务所对应的日志文件查看执行结果和报错信息，可以更便捷的定位问题。
同样，也可以选取并查看相关的任务执行结果，进而直接对其进行增、删、改、查等操作实现调度管理。
可以理解的是，xxl-job任务调度平台的可视化界面上还可以查看运行报表、任务管理、调度日志、执行器管理、用户管理等等，还有详细的使用教程说明。
本发明实施例通过在xxl-job任务调度平台随时配置任务的执行时间和周期，使得执行器响应于调度器所发出的任务调度请求，从海量日志数据中抽取目标日志数据，以在本地以日志文件的形式进行存储，并向调度器反馈任务执行结果，进而在调度日志处查看任务的执行结果，以及查看任务失败的具体报错信息。能够根据xxl-job架构将调度逻辑和执行任务解耦，从而动态增加分片数量，到达更快处理任务的同时，对开发用户友好，无需技术储备即可随时配置随时启用。
在上述任一实施例的基础上，将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果之后，还包括：通过文件传输协议将日志文件推送到远程服务器，以供远程服务器对日志文件进行存储和管理。
具体地，在步骤103之后，日志管理系统在将目标日志数据写入到本地服务器的日志文件中后，通过安全外壳协议族(Secure SHell protocol，SSH)中的文件传输协议将日志文件推送到远程服务器中。
本发明实施例对通过SSH在远程和本地系统之间传输文件的方式不做具体限定。
示例性地，用户可以基于一种通用语法编译出scp命令，下达scp命令通过SSH将文件从远程系统上用户的主目录复制到本地登录系统的当前目录。
示例性地，用户可以利用安全文件传送协议(SSH File Transfer Protocol，SFTP)对远端档案更广泛的操作，这更像远端档案系统的协定。一个SFTP客户端与传统的SCP的能力比较增加了额外的回复中断传输，目录列表和远端档案移动等功能。
SFTP推送文件代码如下：
Figure BDA0003859739600000101
本发明实施例在本地化日志存储基础上，结合SSH文件传输协议上传日志文件，进而在远程服务器中保存相应的日志文件。实现了通过使日志文件存储在远程位置，可供随时检索和访问保存，并且可以防范本地服务器任何类型的硬件故，使得日志保存更加安全。
在上述任一实施例的基础上，日志文件的文件格式为excel。
具体地，日志管理系统数据无误后，可以利用EasyExcel工具将目标日志数据转换成excel表格，以形成文件格式为excel的日志文件存储在本地。
示例性地，其代码如下所示：
Figure BDA0003859739600000111
示例性地，图2是本发明提供的日志管理方法的流程示意图之二。如图2所示，给出一种日志管理方法的具体实施方式：
步骤201、调度器根据xxl-job任务调度平台的界面收集到的调度配置内容，向执行器发出任务调度请求。
步骤202、执行器响应于任务调度请求，从日志数据中抽取目标日志数据。
步骤203、将目标日志数据写入至excel日志文件中，并保存到本地服务器。
步骤204、通过SSH文件传输协议将excel日志文件推送到远程服务器中。
步骤205、远程服务器完成存储后向执行器进行反馈。
步骤206、执行器向调度器反馈与任务调度请求对应的任务执行结果。
本发明实施例利用EasyExcel工具将目标日志数据封装成文件格式为excel的日志文件，相比于传统的IO流，代码量更少，使用更方便，且数据写入的时间更短，提高了数据流的运转效率。
在上述任一实施例的基础上，在将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果之后，还包括：在确定任务执行结果为执行失败的情况下，在xxl-job任务调度平台中进行主动告警。
具体地，在步骤103之后，用户可以在xxl-job任务调度平台的可视化界面中，在基础配置中的配置项目中设置一个或者多个报警邮箱，以使得日志管理系统在确定任务执行结果为任务执行失败的时候，向所设置的邮箱发送邮件进行告警。
可以理解的是，由于传统的任务调度具有高度耦合的调度逻辑和执行任务，所以查看执行逻辑的日志信息，只能通过服务中的log日志文件，而本申请在任务调度失败的时候可以直接通过xxl-job任务调度平台查看日志。
本发明实施例在任务执行失败的时候可以通过向预留邮箱发送邮件进行告警，相较于传统的任务调度在执行失败的时候无法获取任务的返回结果信息，需要人为查看系统执行的日志信息，能够实现及时发现，主动告警以尽早处理。
在上述任一实施例的基础上，在基于调度配置内容，控制调度器向执行器发出任务调度请求之前，还包括：根据调度器的标识信息，在与调度器对应的执行器结构体中设置注解。
具体地，在步骤101之前，日志管理系统为每个执行器任务方法所对应的结构体中添加“@XxlJob(value＝“调度器的标识信息”)”的注解，即可开启相应调度器的xxl-job任务调度。
本发明实施例使用@XxlJob()注解建立调度器和执行器之间的映射关系，相较于传统的任务调度，可配置的任务更加方便启停的操作，能简化调度配置的操作。
在上述任一实施例的基础上，调度器为集群部署。
若确定调度器已配置负载，则通过配置负载地址进行集群部署。
若确定调度器未配置负载，则通过配置各执行器的地址进行集群部署。
具体地，日志管理系统可以将调度器设置为集群部署，如果调度器没有做负载均衡的话，则需要为每一个建立映射关系的执行器配置相应的地址。如果调度器配置负载均衡的话，则仅配置负载地址即可，通过负载地址与执行器建立映射关系进行调度。
本发明实施例根据调度器是否配置负载，决策集群部署的地址配置，实现了调度器的高可用性，能简化调度配置的操作。
图3是本发明提供的日志管理系统的结构示意图之一。在上述任一实施例的基础上，如图3所示，该系统包括：请求接收模块310、请求响应模块320和日志保存模块330，其中：
请求接收模块310，用于基于调度配置内容，控制调度器向执行器发出任务调度请求。
请求响应模块320，用于控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据。
日志保存模块330，用于将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl-job任务调度平台根据任务执行结果进行调度管理。
其中，xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的。调度配置内容是在xxl-job任务调度平台的界面中为配置项目所设置的内容。配置项目至少包括作业任务的执行时间和/或执行周期。
具体地，请求接收模块310、请求响应模块320和日志保存模块330顺次电连接。
请求接收模块310根据用户根据实际定时任务需求在xxl-job任务调度平台的web界面中设置的调度配置内容，在调度器中生成关于定时采集日志文件的任务调度请求，并向在web界面预先配置好的执行器发送任务调度请求。
请求响应模块320控制执行器接收并响应于任务调度请求，根据该请求所对应的定时任务，在执行周期内，通过调用该执行器关于日志管理所预先设定好的实体类，利用调度配置内容形成配置查询条件，从海量的日志数据中获取与配置查询条件匹配的目标日志数据。
日志保存模块330在确定目标日志数据无误后，将目标日志数据封装成相应的日志文件，并控制执行器将其响应于任务调度请求所执行的任务情况作为任务执行结果反馈给调度器。
可选地，该系统还包括日志推送模块，其中：
日志推送模块，用于通过文件传输协议将日志文件推送到远程服务器，以供远程服务器对日志文件进行存储和管理。
可选地，日志文件的文件格式为excel。
可选地，该系统还包括主动告警模块，其中：
主动告警模块，用于在确定任务执行结果为执行失败的情况下，在xxl-job任务调度平台中进行主动告警。
可选地，该系统还包括配置模块，其中：
配置模块，用于根据调度器的标识信息，在与调度器对应的执行器结构体中设置注解。
可选地，调度器为集群部署。
若确定调度器已配置负载，则通过配置负载地址进行集群部署。
若确定调度器未配置负载，则通过配置各执行器的地址进行集群部署。
优选地，日志管理系统采用分布式的架构，使用helm对Kubernetes应用进行统一打包、分发、安装、升级以及回退等，其中xxl-job服务、日志服务、数据库等部署在Kubernetes的pod中。
图4是本发明提供的日志管理系统的结构示意图之二。如图4所示，所有业务模块采用SpringBoot技术栈实现：
日志服务，用于收集系统间的日志信息以及提供外部系统调用的服务的日志信息。
xxl-job服务，用于配置任务的调度。
执行器服务，用于执行具体的任务逻辑。
本发明实施例提供的日志管理系统，用于执行本发明上述日志管理方法，其实施方式与本发明提供的日志管理方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例通过在xxl-job任务调度平台随时配置任务的执行时间和周期，使得执行器响应于调度器所发出的任务调度请求，从海量日志数据中抽取目标日志数据，以在本地以日志文件的形式进行存储，并向调度器反馈任务执行结果，进而在调度日志处查看任务的执行结果，以及查看任务失败的具体报错信息。能够根据xxl-job架构将调度逻辑和执行任务解耦，从而动态增加分片数量，到达更快处理任务的同时，对开发用户友好，无需技术储备即可随时配置随时启用。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行日志管理方法，该方法包括：基于调度配置内容，控制调度器向执行器发出任务调度请求；控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据；将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl-job任务调度平台根据任务执行结果进行调度管理；其中，xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；调度配置内容是在xxl-job任务调度平台的界面中为配置项目所设置的内容；配置项目至少包括作业任务的执行时间和/或执行周期。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的日志管理方法，该方法包括：基于调度配置内容，控制调度器向执行器发出任务调度请求；控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据；将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl-job任务调度平台根据任务执行结果进行调度管理；其中，xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；调度配置内容是在xxl-job任务调度平台的界面中为配置项目所设置的内容；配置项目至少包括作业任务的执行时间和/或执行周期。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的日志管理方法，该方法包括：基于调度配置内容，控制调度器向执行器发出任务调度请求；控制执行器对任务调度请求进行响应，从日志数据中抽取出与调度配置内容所对应的目标日志数据；将目标日志数据写入至日志文件中进行本地保存后，控制执行器向调度器反馈任务执行结果，以供xxl-job任务调度平台根据任务执行结果进行调度管理；其中，xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；调度配置内容是在xxl-job任务调度平台的界面中为配置项目所设置的内容；配置项目至少包括作业任务的执行时间和/或执行周期。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种日志管理方法，其特征在于，包括：
基于调度配置内容，控制调度器向执行器发出任务调度请求；
控制所述执行器对所述任务调度请求进行响应，从日志数据中抽取出与所述调度配置内容所对应的目标日志数据；
将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果，以供xxl-job任务调度平台根据所述任务执行结果进行调度管理；
其中，所述xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；所述调度配置内容是在所述xxl-job任务调度平台的界面中为配置项目所设置的内容；所述配置项目至少包括作业任务的执行时间和/或执行周期。
2.根据权利要求1所述的日志管理方法，其特征在于，在所述将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果之后，还包括：
通过文件传输协议将所述日志文件推送到远程服务器，以供所述远程服务器对所述日志文件进行存储和管理。
3.根据权利要求1-2任一所述的日志管理方法，其特征在于，所述日志文件的文件格式为excel。
4.根据权利要求3所述的日志管理方法，其特征在于，在所述将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果之后，还包括：
在确定所述任务执行结果为执行失败的情况下，在所述xxl-job任务调度平台中进行主动告警。
5.根据权利要求3所述的日志管理方法，其特征在于，在所述基于调度配置内容，控制调度器向执行器发出任务调度请求之前，还包括：
根据所述调度器的标识信息，在与所述调度器对应的执行器结构体中设置注解。
6.根据权利要求3所述的日志管理方法，其特征在于，所述调度器为集群部署；
若确定所述调度器已配置负载，则通过配置负载地址进行集群部署；
若确定所述调度器未配置负载，则通过配置各执行器的地址进行集群部署。
7.一种日志管理系统，其特征在于，包括：
请求接收模块，用于基于调度配置内容，控制调度器向执行器发出任务调度请求；
请求响应模块，用于控制所述执行器对所述任务调度请求进行响应，从日志数据中抽取出与所述调度配置内容所对应的目标日志数据；
日志保存模块，用于将所述目标日志数据写入至日志文件中进行本地保存后，控制所述执行器向所述调度器反馈任务执行结果，以供xxl-job任务调度平台根据所述任务执行结果进行调度管理；
其中，所述xxl-job任务调度平台是通过一个调度器调度多个执行器执行任务构成的；所述调度配置内容是在所述xxl-job任务调度平台的界面中为配置项目所设置的内容；所述配置项目至少包括作业任务的执行时间和/或执行周期。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述日志管理方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述日志管理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述日志管理方法。
CN202211160645.2A 2022-09-22 2022-09-22 日志管理方法、系统、电子设备及存储介质 Pending CN115617768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211160645.2A CN115617768A (zh) 2022-09-22 2022-09-22 日志管理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211160645.2A CN115617768A (zh) 2022-09-22 2022-09-22 日志管理方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115617768A true CN115617768A (zh) 2023-01-17

Family

ID=84858053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211160645.2A Pending CN115617768A (zh) 2022-09-22 2022-09-22 日志管理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115617768A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382835A (zh) * 2023-06-06 2023-07-04 天津市天河计算机技术有限公司 基于集群的应用可视化方法、系统、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382835A (zh) * 2023-06-06 2023-07-04 天津市天河计算机技术有限公司 基于集群的应用可视化方法、系统、设备和介质
CN116382835B (zh) * 2023-06-06 2023-08-01 天津市天河计算机技术有限公司 基于集群的应用可视化方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
US6230156B1 (en) Electronic mail interface for a network server
CN107220142B (zh) 执行数据恢复操作的方法及装置
CN109840144B (zh) 一种针对跨机构批量服务请求的信息服务调度方法及系统
CN103036956A (zh) 一种分布式组态化海量数据归档系统及实现方法
CN111784329B (zh) 业务数据的处理方法和装置、存储介质、电子装置
JPWO2004063928A1 (ja) データベース負荷軽減システムおよび負荷軽減プログラム
CN112905323B (zh) 数据处理方法、装置、电子设备及存储介质
CN110895488B (zh) 任务调度方法及装置
CN108984290B (zh) 任务调度方法和系统
CN111381940B (zh) 分布式数据处理方法及装置
US10831744B1 (en) System for processing modifications to data records
CN115617768A (zh) 日志管理方法、系统、电子设备及存储介质
CN115510163A (zh) 镜像文件的同步方法、装置、存储介质及电子设备
CN112199353A (zh) 一种数据处理方法及电力客户服务平台
CN111048164A (zh) 一种医学大数据长期保存系统
CN113515369B (zh) 一种数据处理方法、系统、终端和存储介质
CN112445519B (zh) 文件变更控制方法、装置、设备及存储介质
CN112559525B (zh) 数据检查系统、方法、装置和服务器
EP3805960B1 (en) Methods and systems for identifying software product installation instances
CN109614271A (zh) 多个集群数据一致性的控制方法、装置、设备及存储介质
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
CN115098157A (zh) 一种公共业务数据的处理方法及装置
US9659041B2 (en) Model for capturing audit trail data with reduced probability of loss of critical data
CN114020368A (zh) 基于状态机的信息处理方法、装置和存储介质
US7433875B2 (en) Web store events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination