CN115174557B - 一种日志下载的调度方法、装置以及介质 - Google Patents

一种日志下载的调度方法、装置以及介质 Download PDF

Info

Publication number
CN115174557B
CN115174557B CN202210761703.0A CN202210761703A CN115174557B CN 115174557 B CN115174557 B CN 115174557B CN 202210761703 A CN202210761703 A CN 202210761703A CN 115174557 B CN115174557 B CN 115174557B
Authority
CN
China
Prior art keywords
log
time
downloading
downloaded
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210761703.0A
Other languages
English (en)
Other versions
CN115174557A (zh
Inventor
郑永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202210761703.0A priority Critical patent/CN115174557B/zh
Publication of CN115174557A publication Critical patent/CN115174557A/zh
Application granted granted Critical
Publication of CN115174557B publication Critical patent/CN115174557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及数据处理技术领域，公开了一种日志下载的调度方法、装置以及介质，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。

Description

一种日志下载的调度方法、装置以及介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种日志下载的调度方法、装置以及介质。
背景技术
随着数据中心的大规模应用，与数据中心配套的运维软件也逐渐增多，运维软件所产生的日志数量也飞速增长。而日志的实时性则取决于日志下载的时延。考虑到设备的数量规模，即使使用多线程的方式批量下载设备日志，也无可避免的会产生下载任务的延误问题，如果一个日志所占用的下载时间过长，则会延误其他日志的下载。而在当前技术中，通常是根据“先触发先执行”或者按照固定下载顺序的方式下载日志，难以避免的发生一个日志长时间占用下载调度器而导致其他日志无法下载。
由此可见，如何实现对日志的下载进行合理排序，以避免一个日志长时间占用下载位置而导致其他日志无法下载是本领及技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种日志下载的调度方法、装置以及介质，以用于对日志的下载进行合理排序，以避免一个日志长时间占用下载位置而导致其他日志无法下载。
为解决上述技术问题，本申请提供一种日志下载的调度方法，包括：
根据历史日志的大小和下载时间建立预测模型；
获取待下载日志的日志大小，并调用所述预测模型预测所述待下载日志所需的预测下载时间；
通过所述预测下载时间确认所述待下载日志的优先级；
根据各所述待下载日志的优先级的排序下载各所述待下载日志。
优选的，所述根据历史日志的大小和下载时间建立预测模型包括：
获取所述历史日志的日志大小，下载任务激活时间以及下载执行完成时间；
所述预测模型为：
f(x)＝wx+b；
其中，f(x)为所述待下载日志所需的所述预测下载时间，x为所述待下载日志的日志大小，w、b为模型参数；
其中，
其中，xi为所述历史日志的日志大小，yi为所述历史日志的下载时间，为所述历史日志的日志大小的平均值，所述历史日志的下载时间为所述历史日志的下载任务激活时间与下载执行完成时间的差值。
优选的，所述获取所述历史日志的日志大小，下载任务激活时间以及下载执行完成时间包括：
在所述历史日志的下载执行过程中记录所述历史日志的统计数据并将其存入观测模型；
所述观测模型为：
其中，id为日志对应的资源id，所述资源id与远程设备一一对应，为在t时间节点所述远程设备获取的统计数据集合，tstart为下载任务激活时间，tend为下载执行完成时间，lsize为所述历史日志的日志大小。
优选的，所述获取待下载日志的日志大小为：通过预测模型获取所述待下载日志的日志大小；
所述预测模型为：
其中，xn为第n次日志的日志大小，xn-1为第n-1次日志的日志大小，Δt(n-1,n)为第n次日志的下载任务激活时间和第n-1次日志的下载任务激活时间之间的时间间隔。
优选的，所述通过所述预测下载时间确认所述待下载日志的优先级为：调用优先级模型确认所述待下载日志的优先级，所述优先级模型为：
tv＝λtpre；
其中，tv为优先级时间，tpre为所述预测下载时间，λ为比例系数，twait为下载任务等待时间，所述下载任务等待时间为下载任务创建时间与所述下载任务激活时间的差值。
优选的，还包括：
获取所述待下载日志的所述下载任务创建时间；
若存在优先级相同的所述待下载日志，则根据所述下载任务创建时间的先后顺序下载所述待下载日志。
优选的，还包括：
判断所述预测下载时间与实际下载时间的误差是否达到误差阈值，若达到所述误差阈值，则根据最新的历史日志更新所述预测模型。
为解决上述技术问题，本申请还提供一种日志下载的调度装置，包括：
建立模块，用于根据历史日志的大小和下载时间建立预测模型；
预测模块，用于获取待下载日志的日志大小，并调用所述预测模型预测所述待下载日志所需的预测下载时间；
确认模块，用于通过所述预测下载时间确认所述待下载日志的优先级；
下载模块，用于根据各所述待下载日志的优先级的排序下载各所述待下载日志。
为解决上述技术问题，本申请还提供另一种日志下载的调度装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的日志下载的调度方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的日志下载的调度方法的步骤。
本申请所提供的日志下载的调度方法，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。相对于当前技术中，先触发先执行或固定下载顺序的日志下载方式，采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。
此外，本申请所提供的日志下载的调度装置以及介质与上述的日志下载的调度方法相对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种日志下载的调度方法的流程图；
图2为本申请实施例提供的一种日志下载的调度装置的结构图；
图3为本申请实施例提供的另一种日志下载的调度装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
在数据中心大规模应用的今天，与数据中心配套的运维软件也逐步增多，随着运维软件的迭代发展，数据中心的运维手段也逐步从人工巡检发展为依赖运维软件例如ISPIM平台进行远程监控。运维人员可以通过ISPIM等远程运维平台进行数据中心中设备的部件信息的监控、性能的监控以及告警监控等，当设备出现故障后平台会第一时间将故障通知给运维人员。这种远程运维的方式极大的降低了数据中心运维人员的工作难度，提高的运维效率。
然而当数据中心的规模逐渐增大时，通过运维平台汇总的运维信息，例如实时告警数据也随之增多，在海量的监控数据中甄别出关键的某条或某几条数据也是一种挑战。常见的解决方案是增加故障信息的内容，例如通过远程下载的方式，周期或者实时的下载设备自身的监控日志例如BMC日志、带内系统日志等，与设备的告警信息一起发送给运维人员进行故障原因定位。在这种场景下告警的准确性可以通过远程日志中详细的日志信息来保证，告警的实时性则取决于日志下载的时延。考虑到设备的数量规模，即使使用多线程的方式批量下载设备日志，也无可避免的会产生下载任务的调度问题，如果一个日志所占用的下载时间过长，则会延误其他日志的下载。由于日志的下载时间受到多种因素影响，“先触发先执行”或者按照固定顺序执行的方式并不能很好的适应大规模的下载场景。
由此可见，如何实现对日志的下载进行合理排序，以避免一个日志长时间占用下载位置而导致其他日志无法下载是本领及技术人员亟待解决的问题。
本申请的核心是提供一种日志下载的调度方法、装置以及介质，以用于对日志的下载进行合理排序，以避免一个日志长时间占用下载位置而导致其他日志无法下载。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本申请实施例提供的一种日志下载的调度方法的流程图，如图1所示，该方法包括：
S10：根据历史日志的大小和下载时间建立预测模型。
首先需要介绍的是，本实施例中的执行主体需要具备数据处理和逻辑分析能力，其可以是日志下载的调度装置，其通常部署于作为数据中心的服务器中，与各远程设备通信，下载各远程设备的日志，因此本实施例中的执行主体可以是服务器。
通过上述介绍可以看出，在现有的技术当中，日志的下载是通过固定的顺序或者先触发先执行的顺序下载的，因此会存在个别日志下载时间过长的问题，本申请的目的是对日志下载进行调度，以避免一个日志长时间占用下载位置。因此，就需要知晓日志下载所需要的时间。可以理解的是，在网络稳定条件下，日志的下载时间与日志的大小线性相关，通常日志越大则下载时间越长。为了实现对日志下载的调度，就需要对待下载的日志所需要的下载时间进行预测，以进行排序调度。具体的，可以通过历史日志的大小和下载时间预测待下载日志所需的下载时间。因此在步骤S10中，根据历史日志的大小和下载时间建立预测模型。
本实施例提供一种具体的预测模型，该预测模型为：
f(x)＝wx+b；
其中，f(x)为待下载日志所需的预测下载时间，x为待下载日志的日志大小，w、b为模型参数；
其中，
其中，xi为历史日志的日志大小，yi为历史日志的下载时间，为历史日志的日志大小的平均值，历史日志的下载时间为历史日志的下载任务激活时间与下载执行完成时间的差值。
在具体实施中，日志下载任务根据执行过程可以分为几个阶段：1)触发下载任务。2)进入等待队列。3)调度器激活下载任务。4)下载执行完成。因此，可以通过对数据库的调用获取到历史日志的日志大小，下载任务激活时间以及下载执行完成时间。具体的，在历史日志的下载执行过程中记录历史日志的统计数据并将其存入观测模型；
观测模型为：
其中，id为日志对应的资源id，资源id与远程设备一一对应，为在t时间节点远程设备获取的统计数据集合，tstart为下载任务激活时间，tend为下载执行完成时间，lsize为历史日志的日志大小。
预测模型的使用可以分为三个阶段：模型参数的确定、模型预测和模型参数更新。其中，模型参数的确定即为历史日志的确定，在日志下载任务刚开始执行时，就采集历史日志的数据，等待历史日志的数量达到预设数量时即可通过公式确定模型参数，进而建立预测模型。模型预测是通过待下载日志的日志大小预测待下载日志所需的预测下载时间。模型参数更新是在设备不断使用中，通过最新的历史日志对模型参数进行修正、更新，以减小实际操作中可能产生的偏差。
S11：获取待下载日志的日志大小，并调用预测模型预测待下载日志所需的预测下载时间。
可以理解的是，日志的下载所需时间与日志大小线性相关，通过获取待下载日志的日志大小，就能够通过预测模型来预测待下载日志所需的预测下载时间。
在获取待下载日志的日志大小时，其可以通过观测模型从远程设备中获取到日志大小，此时可以直接调用预测模型进行预测。本实施例还提供一种无法从远程设备中获取到待下载日志的日志大小时的处理方法，在本申请中，可以通过预测模型获取待下载日志的日志大小；
预测模型为：
其中，xn为第n次日志的日志大小，xn-1为第n-1次日志的日志大小，Δt(n-1,n)为第n次日志的下载任务激活时间和第n-1次日志的下载任务激活时间之间的时间间隔。
本实施例中，模型的输入参数xt，由历史数据计算日志的平均增量以及时间间隔来计算，通过上次下载日志的大小，以及上次下载距本次下载的时间间隔计算出本次的日志大小。
S12：通过预测下载时间确认待下载日志的优先级。
S13：根据各待下载日志的优先级的排序下载各待下载日志。
本申请实施例提供的日志下载的调度方法，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。相对于当前技术中，先触发先执行或固定下载顺序的日志下载方式，采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。
在具体实施中，可以直接将待下载日志的预测下载时间作为待下载日志的优先级，预测下载时间的大小决定了优先级的高低。而在具体实施中，任务调度的使用场景主要在设备规模较大时，通过周期性或者实时去远程下载日志时不可避免的会出现一些任务需要等待其他任务执行完成后，再执行。因此调度任务需要满足尽可能的优先执行耗费时间较小的任务，否则会造成任务整体等待时间较长。在确认优先级时，也需要考虑下载任务从创建到激活所需的时间。
在上述实施例的基础上，在本实施例中，通过预测下载时间确认待下载日志的优先级为：调用优先级模型确认待下载日志的优先级，优先级模型为：
tv＝λtpre；
其中，tv为优先级时间，tpre为预测下载时间，λ为比例系数，twait为下载任务等待时间，下载任务等待时间为下载任务创建时间与下载任务激活时间的差值。
可以理解的是，本实施例中的优先级表示的是时间，其通过预测下载时间和下载任务等待时间计算。实际进行调度时，比较各日志下载任务的优先级时间，优先级时间越小，则此日志下载任务的优先级别越高。根据优先级运行时间的计算方式，当任务同时开始执行时twait＝0，此时tv＝tpre，因此待下载日志的预测下载时间越短，则优先级越高；当部分预测时间较大的任务开始等待时，twait开始计时，tv随着等待时间的增加而减少，因此可以避免任务处于一直等待的状况。
本实施例提供的日志下载的调度方法，利用优先级模型确认待下载日志的优先级，通过预测下载时间、下载任务等待时间实现了对待下载日志的排序，避免任务处于一直等待。
在具体实施中，由于远程设备的数量较大，难以避免的会产生多个待下载日志的优先级相同的情况，因此，在本实施例中，还包括：
获取待下载日志的下载任务创建时间；
若存在优先级相同的待下载日志，则根据下载任务创建时间的先后顺序下载待下载日志。
本实施例提供的日志下载的调度方法，当无法使用优先级模型或者多个待下载日志的优先级相同时，可以根据下载任务创建时间的先后顺序下载待下载日志，作为保底方法，实行先触发先执行的下载方式。
在具体实施中，随着预测模型的使用以及各远程设备处理数据的不同，通过预测模型预测出的待下载日志的预测下载时间与实际下载时间之间可能存在偏差，因此，在本实施例中，还包括：
判断预测下载时间与实际下载时间的误差是否达到误差阈值，若达到误差阈值，则根据最新的历史日志更新预测模型。
可以理解的是，对于预测模型的更新即为模型参数的更新。在具体实施中，对于不同规模的数据中心，预测模型的更新速度也可以适应调整。比如对于规模较小的数据中心，更新预测模型时所需要的计算需求可以忽略不计时，可以提高预测模型的更新速率，降低模型的误差阈值，例如每次日志下载任务完成时均进行误差计算，当误差大于误差阈值时进行模型的参数更新。当数据中心规模较大时，可以降低预测模型的更新频率，提高模型的误差阈值，例如每次下载任务完成后进行误差计算，每完成10次下载任务时计算平均误差，当平均误差大于误差阈值时进行模型的参数更新。
本实施例通过对预测下载时间与实际下载时间的误差的判断，在误差达到误差阈值时更新预测模型，保障预测下载时间的准确性。
在上述实施例中，对于日志下载的调度方法进行了详细描述，本申请还提供日志下载的调度装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图2为本申请实施例提供的一种日志下载的调度装置的结构图，如图2所示，该装置包括：
建立模块10，用于根据历史日志的大小和下载时间建立预测模型；
预测模块11，用于获取待下载日志的日志大小，并调用预测模型预测待下载日志所需的预测下载时间；
确认模块12，用于通过预测下载时间确认待下载日志的优先级；
下载模块13，用于根据各待下载日志的优先级的排序下载各待下载日志。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请实施例提供的日志下载的调度装置，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。相对于当前技术中，先触发先执行或固定下载顺序的日志下载方式，采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。
图3为本申请实施例提供的另一种日志下载的调度装置的结构图，如图3所示，该装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例日志下载的调度方法的步骤。
本实施例提供的日志下载的调度装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的日志下载的调度方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于预测下载时间等。
在一些实施例中，日志下载的调度装置还可以包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图3中示出的结构并不构成对日志下载的调度装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的日志下载的调度装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：根据历史日志的大小和下载时间建立预测模型；获取待下载日志的日志大小，并调用预测模型预测待下载日志所需的预测下载时间；通过预测下载时间确认待下载日志的优先级；根据各待下载日志的优先级的排序下载各待下载日志。
本申请实施例提供的日志下载的调度装置，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。相对于当前技术中，先触发先执行或固定下载顺序的日志下载方式，采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的计算机可读存储介质，根据历史日志的大小和下载时间建立预测模型，然后根据待下载日志的日志大小，调用预测模型预测待下载日志所需的预测下载时间，通过预测下载时间确认待下载日志的优先级，再根据各待下载日志的优先级的排序下载各待下载日志。相对于当前技术中，先触发先执行或固定下载顺序的日志下载方式，采用本技术方案，通过待下载日志的日志大小预测待下载日志所需的预测下载时间，根据该时间确认出待下载日志的优先级，在通过全部的待下载日志的优先级排序进行日志的下载，可以将预测下载时间长的日志排在后面，优先进行预测下载时间短的日志的下载，能够有效避免一个日志长时间占用下载位置而导致其他日志无法下载。
以上对本申请所提供的日志下载的调度方法、装置以及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种日志下载的调度方法，其特征在于，包括：
根据历史日志的大小和下载时间建立预测模型；
获取待下载日志的日志大小，并调用所述预测模型预测所述待下载日志所需的预测下载时间；
通过所述预测下载时间确认所述待下载日志的优先级；
根据各所述待下载日志的优先级的排序下载各所述待下载日志；
对应地，所述获取待下载日志的日志大小为：通过预测模型获取所述待下载日志的日志大小；
所述预测模型为：
其中，xt为本次的日志的日志大小，xt-1为本次的上次日志的日志大小，Δt(t-1，t)为本次的下载任务激活时间与上次日志的下载任务激活时间之间的时间间隔，xi为第i次日志的日志大小，xi-1为第i-1次日志的日志大小，Δt(i-1，i)为第i次日志的下载任务激活时间与第i-1次日志的下载任务激活时间之间的时间间隔。
2.根据权利要求1所述的日志下载的调度方法，其特征在于，所述根据历史日志的大小和下载时间建立预测模型包括：
获取所述历史日志的日志大小，下载任务激活时间以及下载执行完成时间；
所述预测模型为：
f(x)＝wx+b；
其中，f(x)为所述待下载日志所需的所述预测下载时间，x为所述待下载日志的日志大小，w、b为模型参数；
其中，
其中，xi为所述历史日志的日志大小，yi为所述历史日志的下载时间，为所述历史日志的日志大小的平均值，所述历史日志的下载时间为所述历史日志的下载任务激活时间与下载执行完成时间的差值。
3.根据权利要求2所述的日志下载的调度方法，其特征在于，所述获取所述历史日志的日志大小，下载任务激活时间以及下载执行完成时间包括：
在所述历史日志的下载执行过程中记录所述历史日志的统计数据并将其存入观测模型；
所述观测模型为：
其中，id为日志对应的资源id，所述资源id与远程设备一一对应，为在t时间节点所述远程设备获取的统计数据集合，tstart为下载任务激活时间，tend为下载执行完成时间，lsize为所述历史日志的日志大小。
4.根据权利要求2或3所述的日志下载的调度方法，其特征在于，所述通过所述预测下载时间确认所述待下载日志的优先级为：调用优先级模型确认所述待下载日志的优先级，所述优先级模型为：
tv＝λtpre；
其中，tv为优先级时间，tpre为所述预测下载时间，λ为比例系数，twait为下载任务等待时间，所述下载任务等待时间为下载任务创建时间与所述下载任务激活时间的差值。
5.根据权利要求4所述的日志下载的调度方法，其特征在于，还包括：
获取所述待下载日志的所述下载任务创建时间；
若存在优先级相同的所述待下载日志，则根据所述下载任务创建时间的先后顺序下载所述待下载日志。
6.根据权利要求1所述的日志下载的调度方法，其特征在于，还包括：
判断所述预测下载时间与实际下载时间的误差是否达到误差阈值，若达到所述误差阈值，则根据最新的历史日志更新所述预测模型。
7.一种日志下载的调度装置，其特征在于，包括：
建立模块，用于根据历史日志的大小和下载时间建立预测模型；
预测模块，用于获取待下载日志的日志大小，并调用所述预测模型预测所述待下载日志所需的预测下载时间；
确认模块，用于通过所述预测下载时间确认所述待下载日志的优先级；
下载模块，用于根据各所述待下载日志的优先级的排序下载各所述待下载日志；
对应地，所述获取待下载日志的日志大小为：通过预测模型获取所述待下载日志的日志大小；
所述预测模型为：
其中，xt为本次的日志的日志大小，xt-1为本次的上次日志的日志大小，Δt(t-1，t)为本次的下载任务激活时间与上次日志的下载任务激活时间之间的时间间隔，xi为第i次日志的日志大小，xi-1为第i-1次日志的日志大小，Δt(i-1，t)为第i次日志的下载任务激活时间与第i-1次日志的下载任务激活时间之间的时间间隔。
8.一种日志下载的调度装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任意一项所述的日志下载的调度方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的日志下载的调度方法的步骤。
CN202210761703.0A 2022-07-01 2022-07-01 一种日志下载的调度方法、装置以及介质 Active CN115174557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210761703.0A CN115174557B (zh) 2022-07-01 2022-07-01 一种日志下载的调度方法、装置以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210761703.0A CN115174557B (zh) 2022-07-01 2022-07-01 一种日志下载的调度方法、装置以及介质

Publications (2)

Publication Number Publication Date
CN115174557A CN115174557A (zh) 2022-10-11
CN115174557B true CN115174557B (zh) 2024-03-01

Family

ID=83488296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210761703.0A Active CN115174557B (zh) 2022-07-01 2022-07-01 一种日志下载的调度方法、装置以及介质

Country Status (1)

Country Link
CN (1) CN115174557B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610935A (zh) * 2015-12-25 2016-05-25 北京奇虎科技有限公司 数据下载系统和数据下载方法
US9800455B1 (en) * 2012-02-08 2017-10-24 Amazon Technologies, Inc. Log monitoring system
CN109656722A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 内存优化方法、装置、移动终端及存储介质
WO2019120037A1 (zh) * 2017-12-18 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、网络资源预加载方法、装置、介质及终端
CN111178623A (zh) * 2019-12-26 2020-05-19 杭州电子科技大学 一种基于多层机器学习的业务流程剩余时间预测方法
CN111741112A (zh) * 2020-06-22 2020-10-02 中国平安财产保险股份有限公司 基于人工智能的文件下载方法、装置、设备和存储介质
CN112445756A (zh) * 2019-08-28 2021-03-05 富士施乐株式会社 信息处理装置、系统、方法和计算机可读介质
CN112637631A (zh) * 2020-12-17 2021-04-09 清华大学 码率确定方法、装置、电子设备和存储介质
CN112905399A (zh) * 2021-01-29 2021-06-04 北京紫光展锐通信技术有限公司 数据处理方法、异常情况预测方法及相关产品
CN113495779A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种任务调度方法和装置、任务执行系统
CN113672456A (zh) * 2021-08-06 2021-11-19 济南浪潮数据技术有限公司 应用平台的模块化自监听方法、系统、终端及存储介质
US11296963B1 (en) * 2020-11-09 2022-04-05 Beijing University Of Posts And Telecommunications System and method of traffic prediction for IoT nodes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185899B2 (en) * 2007-03-07 2012-05-22 International Business Machines Corporation Prediction based priority scheduling
CN106797557B (zh) * 2015-04-10 2020-06-26 华为技术有限公司 数据传输的方法和终端
CN106487534B (zh) * 2015-08-24 2019-08-13 华为技术有限公司 网络控制策略的生成方法、装置及网络控制器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9800455B1 (en) * 2012-02-08 2017-10-24 Amazon Technologies, Inc. Log monitoring system
CN105610935A (zh) * 2015-12-25 2016-05-25 北京奇虎科技有限公司 数据下载系统和数据下载方法
WO2019120037A1 (zh) * 2017-12-18 2019-06-27 Oppo广东移动通信有限公司 模型构建方法、网络资源预加载方法、装置、介质及终端
CN109656722A (zh) * 2019-01-04 2019-04-19 Oppo广东移动通信有限公司 内存优化方法、装置、移动终端及存储介质
CN112445756A (zh) * 2019-08-28 2021-03-05 富士施乐株式会社 信息处理装置、系统、方法和计算机可读介质
CN111178623A (zh) * 2019-12-26 2020-05-19 杭州电子科技大学 一种基于多层机器学习的业务流程剩余时间预测方法
CN113495779A (zh) * 2020-03-20 2021-10-12 北京沃东天骏信息技术有限公司 一种任务调度方法和装置、任务执行系统
CN111741112A (zh) * 2020-06-22 2020-10-02 中国平安财产保险股份有限公司 基于人工智能的文件下载方法、装置、设备和存储介质
US11296963B1 (en) * 2020-11-09 2022-04-05 Beijing University Of Posts And Telecommunications System and method of traffic prediction for IoT nodes
CN112637631A (zh) * 2020-12-17 2021-04-09 清华大学 码率确定方法、装置、电子设备和存储介质
CN112905399A (zh) * 2021-01-29 2021-06-04 北京紫光展锐通信技术有限公司 数据处理方法、异常情况预测方法及相关产品
CN113672456A (zh) * 2021-08-06 2021-11-19 济南浪潮数据技术有限公司 应用平台的模块化自监听方法、系统、终端及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hongyi Ding ; Ji Wu.Predicting Retweet Scale Using Log-Normal Distribution.2015 IEEE International Conference on Multimedia Big Data.2015,56-63. *
Yuanjian Xing ; Zhi Yang ; Chi Chen ; Jilong Xue ; Yafei Dai.On the QoS of Offline Download in Retrieving Peer-Side File Resource.2011 International Conference on Parallel Processing.2011,783-792. *
基于云计算的资源负载预测;陈艺双;;通讯世界(02);16-17 *
离线下载缓存替换算法;张明明;硕士电子期刊(第10期);第一-三章 *
罗海艳.移动用户网络行为分析与预测方法研究.博士电子期刊.2016,第三-五章. *
陈华,王树国.概率论与数理统计.2018,220-222. *

Also Published As

Publication number Publication date
CN115174557A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
US9477521B2 (en) Method and system for scheduling repetitive tasks in O(1)
US20170193110A1 (en) Distributed system for large volume deep web data extraction
EP3816797A1 (en) Man-machine interaction system and multi-task processing method in man-machine interaction system
CN111104222A (zh) 任务处理方法、装置、计算机设备和存储介质
CN110704173A (zh) 任务调度方法、调度系统、电子设备及计算机存储介质
CN113168347A (zh) 容器化应用程序的编排
CN114461355A (zh) 异构计算集群统一管理方法、装置、电子设备及存储介质
CN115174557B (zh) 一种日志下载的调度方法、装置以及介质
CN113254153A (zh) 流程任务处理方法、装置、计算机设备和存储介质
CN113485833A (zh) 资源预测方法和装置
CN117033146A (zh) 指定共识合约执行进程的识别方法、装置、设备及介质
CN109947015B (zh) 任务的执行方法及主控制器
CN111930602A (zh) 性能指标预测方法及装置
CN113312156A (zh) 用于确定任务的执行进度的方法、设备和计算机程序产品
CN114741186A (zh) 基于深度学习的线程池自适应容量调整方法和装置
CN103577299A (zh) 监控方法和装置、数据处理方法和装置及分布式计算系统
CN112860419A (zh) 多实例任务的执行方法、装置、终端设备及计算机存储介质
CN111258724B (zh) 一种分布式系统的数据处理方法、装置、设备和存储介质
CN113094155B (zh) Hadoop平台下的任务调度方法及装置
CN114706622A (zh) 启动模型服务的方法、装置、设备、介质及产品
CN113064660A (zh) 设备控制方法、装置、电子设备及存储介质
CN114860403B (zh) 一种任务调度方法、装置、设备和存储介质
CN117130873B (zh) 一种任务监控的方法和装置
CN108984344B (zh) 一种动态产生快照的方法、装置、设备及存储介质
CN115081218A (zh) 批量流程完成时间的预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant