CN116489230B - 任务调度方法、装置、计算机设备及存储介质 - Google Patents

任务调度方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116489230B
CN116489230B CN202310768111.6A CN202310768111A CN116489230B CN 116489230 B CN116489230 B CN 116489230B CN 202310768111 A CN202310768111 A CN 202310768111A CN 116489230 B CN116489230 B CN 116489230B
Authority
CN
China
Prior art keywords
task
load
data
request
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310768111.6A
Other languages
English (en)
Other versions
CN116489230A (zh
Inventor
麦楚扬
卓坤鉴
王伟
冼东亮
郝德生
申志彬
蒙雄发
李如先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN202310768111.6A priority Critical patent/CN116489230B/zh
Publication of CN116489230A publication Critical patent/CN116489230A/zh
Application granted granted Critical
Publication of CN116489230B publication Critical patent/CN116489230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种任务调度方法、装置、计算机设备及存储介质，包括：获取待处理的任务请求；将所述任务请求缓存在设置的任务数据库中；将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例。对各执行实例的任务载量进行评估，能够确定执行实例现有的任务吞吐能力，进而对执行实例量身进行任务配置，保证了各执行实例任务完成的及时性，提升了整个系统任务处理的时效性。

Description

任务调度方法、装置、计算机设备及存储介质
技术领域
本发明涉及云计算领域，尤其涉及一种任务调度方法、装置、电子设备及存储介质。
背景技术
伴随着云计算技术的发展，当前软件的架构已经开始向分布式架构转变，将单体结构的任务处理模式拆分为若干服务，服务之间通过网络交互来完成业务处理。在分布式架构下，一个服务往往会部署多个实例来运行对应的业务。
在现有技术中，在进行分布式系统管理时，任务在进入系统后，直接根据各实例的任务请求，对各实例进行任务分配，然后，等待各实例返回任务结果。本发明创造的发明人在研究中发现，实际执行过程中，由于各实例本身的运行状况不一致，因此，对任务执行的及时性没有办法得到保证。在一些场景中，由于，任务的执行实例本身的负载较大，导致任务处理时间超时。
发明内容
本发明的目的在于提供一种任务调度方法及计算机设备、计算机存储介质，以提高任务调度的合理性，保证任务处理的时效性。
第一方面，本发明实施例提供一种任务调度方法，包括：
获取待处理的任务请求；
将所述任务请求缓存在设置的任务数据库中；
将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例。
可选地，所述将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列包括：
获取设置的补偿任务所需的时间信息；
根据所述时间信息在所述任务数据库中拉取预设数量的任务请求；
将所述预设数量的任务请求推送至所述队列数据库中，生成所述任务队列。
可选地，所述接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量之前，还包括：
读取所述任务请求；
将所述任务请求输入至设置的哈希计算式中，生成所述任务请求对应的哈希值；
根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列。
可选地，所述根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列包括：
以所述哈希值为检索关键字，在所述任务队列中进行检索；
当检索到与所述哈希值对应的数值时，将所述任务请求进行删除；
当未检索到与所述哈希值对应的数值时，则将所述任务请求加入到所述任务队列中。
可选地，所述接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量包括：
读取所述处理请求中的负载信息；
将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量。
可选地，所述负载信息包括：负载数据和链路数据；所述将所述负载信息输入至设置的任务调度模型中包括：
分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；其中，所述任务调度模型被构造成：双通道模型，分别为第一通道和第二通道，将所述负载信息中的负载数据输入至所述第一通道内，将所述链路数据输入至所述第二通道内；
对所述负载特征和链路特征进行特征融合处理生成融合特征；其中，所述融合特征为：根据所述任务载量中所述任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值，将权重值作为负载特征和链路特征的权重参与点积运算生成所述融合特征；
根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
可选地，所述根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例包括：
根据所述任务载量在所述任务队列中提取对应数量的任务，配置生成所述任务数据；
根据所述链路数据确定所述任务数据的数据压缩类型，并根据所述数据压缩类型对所述任务数据进行压缩，生成数据包；
将所述数据包发送至所述执行实例。
第二方面，本发明实施例提供一种任务调度装置，包括：
获取模块，用于获取待处理的任务请求；
存储模块，用于将所述任务请求缓存在设置的任务数据库中；
队列模块，用于将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
处理模块，用于接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
执行模块，用于根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例。
可选地，所述队列模块还用于：
获取设置的补偿任务所需的时间信息；
根据所述时间信息在所述任务数据库中拉取预设数量的任务请求；
将所述预设数量的任务请求推送至所述队列数据库中，生成所述任务队列。
可选地，所述队列模块还用于：
读取所述任务请求；
将所述任务请求输入至设置的哈希计算式中，生成所述任务请求对应的哈希值；
根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列。
可选地，所述队列模块还用于：
以所述哈希值为检索关键字，在所述任务队列中进行检索；
当检索到与所述哈希值对应的数值时，将所述任务请求进行删除；
当未检索到与所述哈希值对应的数值时，则将所述任务请求加入到所述任务队列中。
可选地，所述处理模块还用于：
读取所述处理请求中的负载信息；
将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量。
可选地，所述负载信息包括：负载数据和链路数据；所述处理模块还用于：
分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；其中，所述任务调度模型被构造成：双通道模型，分别为第一通道和第二通道，将所述负载信息中的负载数据输入至所述第一通道内，将所述链路数据输入至所述第二通道内；
对所述负载特征和链路特征进行特征融合处理生成融合特征；其中，所述融合特征为：根据所述任务载量中所述任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值，将权重值作为负载特征和链路特征的权重参与点积运算生成所述融合特征；
根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
可选地，所述执行模块还用于：
根据所述任务载量在所述任务队列中提取对应数量的任务，配置生成所述任务数据；
根据所述链路数据确定所述任务数据的数据压缩类型，并根据所述数据压缩类型对所述任务数据进行压缩，生成数据包；
将所述数据包发送至所述执行实例。
第三方面，本发明实施例提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的任务调度方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现上述所述的任务调度方法。
本申请实施例的有益效果是：在接收到任务请求后，将任务请求发送至任务数据库中进行缓存，然后，将任务请求加入到队列数据库中。在进行任务分配时，根据执行实例发送的处理请求，对执行实例处理任务的任务载量进行计算，再根据计算得到的任务载量对执行实例进行任务分配。通过在进行任务调度时，对各执行实例的任务载量进行评估，能够确定执行实例现有的任务吞吐能力，进而对执行实例量身进行任务配置，保证了各执行实例任务完成的及时性，提升了整个系统任务处理的时效性。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个具体实施例的任务调度方法的基本流程示意图；
图2为本申请一个具体实施例的任务调度装置基本结构示意图；
图3为本申请一个具体实施例的计算机设备的基本结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS（Personal Communications Service，个人通信系统），其可以组合语音、数据处理、传真和/或数据通信能力；PDA（Personal Digital Assistant，个人数字助理），其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS（Global Positioning System，全球定位系统）接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具（航空、海运和/或陆地）中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID（Mobile Internet Device，移动互联网设备）和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器（包括运算器和控制器）、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
请参阅图1，图1为本实施例任务调度方法的基本流程示意图。
如图1所示，一种任务调度方法，包括：
S1100、获取待处理的任务请求；
云计算系统接收用户终端的发送的任务请求，该任务请求能够为：访问请求、下载请求、运算请求或者上载请求。根据云计算系统实现的业务不同，用户终端对应的任务请求也有所不同。
本实施方式中的任务请求是指云计算系统对应的所有的用户终端，向其发送的任务请求。因此，任务请求能够为多个请求数据，在一些实施方式中，当有且仅有一个用户终端发送任务请求时，任务请求仅有一个。
S1200、将所述任务请求缓存在设置的任务数据库中；
当通过终端的API接口获取得到任务请求后，需要对获取得到的任务请求进行缓存，任务请求被缓存在设置的任务数据库中。
任务请求被接收后，无法直接将其分配给执行实例进行处理，需要将任务请求暂时进行缓存，然后，将任务请求导入到对应的任务队列中，由任务队列将任务请求分配给各个执行实例进行执行。
S1300、将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
将任务数据库中的任务请求通过推送的方式，推送至队列数据库中。队列数据库是用于对待处理的任务请求进行队列排序和任务分配的数据库。在队列数据库中，任务请求按照被推送的先后顺序进行堆栈排序，生成任务队列。
在一些实施方式中，任务数据库需要定时的将获取得到的任务请求推送至队列数据库中。具体地，定义任务数据库向队列数据库推送任务请求为补偿任务。补偿任务的执行时间是预先设置的，例如，设定补偿任务之间的时间间隔，当上一轮次的补偿任务推送完成后，经过设定的时间间隔再次执行补偿任务。在一些实施方式中，补偿任务所需的时间信息通过时间列表进行设定，在时间列表中对每次补偿任务的时间进行设定，按时间列表确定的任务执行时刻执行补偿任务。在一些实施方式中，补偿任务的执行时间能够根据任务请求的数量进行动态设置，补偿任务的执行频次与单位时间内接到任务请求的数量成正比，即单位时间内接收到的任务请求越多，则执行补偿任务的频次越高，补偿任务之间的时间间隔越短；反之，则单位时间内接收到的任务请求越少，执行补偿任务的频次越低，补偿任务之间的时间间隔越长。补偿任务下一个执行的时间节点，由当前补偿任务执行完成后，一个单位时间内接收到的任务请求数量和对应的时间运算式计算得到。
根据补偿任务对应的时间信息，间隔的执行补偿任务。执行补偿任务时，在任务数据库中拉取设定数量的任务请求。为了保证云计算系统整体运行的效率，补偿任务每次拉取的任务请求数量是固定的，即每次补偿任务执行时，均拉取固定数量的任务请求，例如50条、100条、200条或者自定义的任意条数。在一些实施方式中，当任务数据库中任务请求的数量低于设定的预设数量时，则补偿任务每次拉取的任务请求数量低于预设数量。
将任务数据库中补偿任务拉取的任务请求通过推送的方式，推送至队列数据库中。任务请求按照被推送的先后顺序进行堆栈排序，生成任务队列。
在一些实施方式中，由于，补偿任务会从任务数据库批量的将任务请求加入到任务队列中，可能会导致部分任务请求已经在任务队列中，又被后续的补偿任务再次加入到任务队列中，导致任务队列中出现重复的任务请求。为了防止任务队列中出现重复任务请求的问题，需要对任务队列中的任务请求进行去重。
具体地，当任务数据库中的任务请求被推送到队列数据库中时，队列数据库需要对任务请求进行去重。将接收到的任务请求输入到预设的哈希计算式中，由于，哈希计算式对相同文件提取摘要的位置和方式是固定的，因此，对于相同的任务请求，其经过哈希计算式计算得到的哈希值是相同的。基于此，就能够通过哈希计算式计算得到任务请求对应的哈希值。
队列数据库对接收到的每一个任务请求都通过哈希计算式计算得到对应的哈希值。由于，每个任务请求对应的哈希值具有唯一性。因此，当补偿任务接收到任务请求被接收后，队列数据库就能够计算得到每个任务请求的哈希值，并将计算得到的哈希值为检索关键字，在任务队列中进行关键字匹配检索，当检索得到现有任务队列中已经存在相同的哈希值时，就说明已经有相同的任务请求加入到任务队列中，如果将该任务请求加入到任务队列中，就会出现任务请求重复，此时，将任务请求加入到任务队列中就会导致任务请求重复，因此，需要将该重复的任务请求进行删除，使其不加入任务队列。当未检索到与任务请求对应的哈希值时，则证明该任务请求未被加入到任务队列中，此时，将该任务请求加入到任务队列中。
通过在将任务请求加入任务队列时，通过哈希计算式对任务请求进行哈希值运算，使队列数据库能够快速的确定任务请求是否重复，保证被派发的任务具有唯一性，避免重复执行相同任务导致的算力浪费。
在一些实施方式中，为了避免数据量过大时，导致不同任务请求的哈希值相同。需要针对不同任务请求的种类，配置对应的哈希计算式。同时，为进一步的避免可能的重复发生，针对不同的种类的任务请求，配置不同的摘要提取位置，该提取位置的设定，重点对不同任务请求具有唯一性的身份信息的位置进行提取，使每一类的任务请求的摘要具有个性化。具有个性化的摘要信息能够在后续哈希值计算中，能够进一步的避免不同任务请求出现相同哈希值现象的发生。
本实施方式中队列数据库为Redis数据库。但是，队列数据库能够为SQL数据库或者其他常规数据库。
S1400、接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
队列数据库生成任务队列后，需要将任务队列中的任务请求分配给各执行实例。每个执行实例在请求接收任务时，需要向队列数据库发送处理请求。队列数据库根据处理请求中的负载信息，对每个执行实例的任务载量进行计算，生成每个执行实例的对应的任务载量。其中，任务载量是指每个执行实例能够处理的任务请求的数量。
在一些实施方式中，每个处理请求中记载对应执行实例的负载信息，负载信息中记载执行实例：CPU使用率、内存占用率、磁盘io等性能指标当中的一种或者多种负载数据。经过数据统计能够得到每个任务请求对应的负载数量，然后，确定每个执行实例最高的负载使用率，根据最高负载使用率和当前负载信息中的负载使用率，计算得到可用负载使用率，最后，通过可用负载使用率计算得到可处理任务请求的数量，即得到了任务载量。
在一些实施方式中，任务载量的计算是通过神经网络型处理得到的。具体地，通过若干具有负载信息和任务载量之间具有映射关系的训练样本，对神经网络模型进行监督或者非监督训练，使神经网络模型处于收敛状态，具有根据负载信息分类得到对应任务载量能力的神经网络型。本实施方式中的任务调度模型能够由：卷积神经网络模型、循环神经网络模型、深度卷积神经网络模型当中的一种或者两种以上联合模型训练而成。在一些实施方式中，任务调度模型能够为卷积神经网络模型、循环神经网络模型、深度卷积神经网络模型任意一种的变种模型或者两种以上的联合模型训练而成。在一些实施方式中，任务调度模型能够为chat-GPT模型训练而成。
训练至收敛状态的任务调度模型，提取负载信息中的特征向量，基于特征向量计算特征向量与任务调度模型既有分类类型之间的置信度，最后选择置信度数值最大分类类型作为处理请求对应的分类结果，然后，根据分类结果表征的任务请求的数量生成任务载量。
在一些实施方式中，影响执行实例处理任务速度因素，除了执行实例本身的负载信息外，执行实例和队列数据库之间的网络链路也会成为一个重要的影响因素。因此，本实施例中的处理请求包括：执行实例的负载数据外，还包括执行实例的链路数据。在一些实施方式中，链路数据是指执行实例和队列数据库之间的网络信息，由执行实例进行采集。在一些实施方式中，为了更好的反映当前时刻的链路状态，链路数据的采集是由队列数据库所在的服务器端进行链路数据采集，其采集目标就是处理请求在执行实例向队列数据库之间传递时，经过的链路节点的链路数据。
由于，将计算任务载量的参数值由负载信息扩展为：负载数据和链路数据。因此，本实施方式中任务调度模型被构造成：双通道模型。其中，双通道模型是指任务调度模型具有两个卷积通道，分别为第一通道和第二通道。进行数据处理时，将负载信息中的负载数据输入至第一通道内，将链路数据输入至第二通道内。
第一通道和第二通道分别对输入的负载数据和链路数据进行卷积处理，提取得到负载数据对应的负载特征和链路数据对应的链路特征。
为了更好的对负载特征和链路特征进行融合，需要对对负载特征和链路特征进行点积运算，点积运算得到的结果为融合特征。在一些实施方式中，当进行负载特征和链路特征融合时，需要根据任务载量中对链路的需求占比和负载需求占比，合理的配置融合时两个特征的权重。具体地，根据任务载量中任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值。进行点积运算时，将权重值作为负载特征和链路特征的权重参与点积运算，就能够实现根据任务载量的实际需要，进行权重调整，使计算结果更加精准、合理的目的。
训练至收敛状态的任务调度模型，提取负载信息中的负载特征和链路特征，并生成融合特征，基于融合特征计算特征向量与任务调度模型既有分类类型之间的置信度，最后选择置信度数值最大分类类型作为处理请求对应的分类结果，然后，根据分类结果表征的任务请求的数量生成任务载量。
S1500、根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例。
计算生成任务载量后，根据任务载量中表征的任务请求的数量，在任务队列中提取相应的任务请求，将其配置为对应执行实例的任务数据。然后，将该任务数据发送至对应的执行实例中。
在一些实施方式中，配置生成任务数据后，需要对任务数据进行压缩生成数据包。在进行数据包生成过程中，需要选取相应的压缩格式对任务数据进行数据压缩。为了保证任务数据能够被准确的发送至执行终端，需要对队列数据库和执行实例之间的链路数据进行统计，统计的方式为：在该链路中不同压缩类型的数据包的丢包率，统计数据能够确定该链路中何种压缩类型的数据包丢包率最小，即该链路最适合的数据压缩类型。因此，能够通过链路数据确定任务数据的数据压缩类型，根据该最优的压缩类型对任务数据进行压缩，生成数据包。
将任务数据打包生成数据包后，将数据包发送至处理请求对应的执行实例。本实施方式中的执行实例能够为：服务器、虚拟机或者容器。
上述实施方式，在接收到任务请求后，将任务请求发送至任务数据库中进行缓存，然后，将任务请求加入到队列数据库中。在进行任务分配时，根据执行实例发送的处理请求，对执行实例处理任务的任务载量进行计算，再根据计算得到的任务载量对执行实例进行任务分配。通过在进行任务调度时，对各执行实例的任务载量进行评估，能够确定执行实例现有的任务吞吐能力，进而对执行实例量身进行任务配置，保证了各执行实例任务完成的及时性，提升了整个系统任务处理的时效性。
在一些实施方式中，需要定时的向队列数据库补充请求任务。S1300包括：
S1311、获取设置的补偿任务所需的时间信息；
任务数据库需要定时的将获取得到的任务请求推送至队列数据库中。具体地，定义任务数据库向队列数据库推送任务请求为补偿任务。补偿任务的执行时间是预先设置的，例如，设定补偿任务之间的时间间隔，当上一轮次的补偿任务推送完成后，经过设定的时间间隔再次执行补偿任务。在一些实施方式中，补偿任务所需的时间信息通过时间列表进行设定，在时间列表中对每次补偿任务的时间进行设定，按时间列表确定的任务执行时刻执行补偿任务。在一些实施方式中，补偿任务的执行时间能够根据任务请求的数量进行动态设置，补偿任务的执行频次与单位时间内接到任务请求的数量成正比，即单位时间内接收到的任务请求越多，则执行补偿任务的频次越高，补偿任务之间的时间间隔越短；反之，则单位时间内接收到的任务请求越少，执行补偿任务的频次越低，补偿任务之间的时间间隔越长。补偿任务下一个执行的时间节点，由当前补偿任务执行完成后，一个单位时间内接收到的任务请求数量和对应的时间运算式计算得到。
S1312、根据所述时间信息在所述任务数据库中拉取预设数量的任务请求；
根据补偿任务对应的时间信息，间隔的执行补偿任务。执行补偿任务时，在任务数据库中拉取设定数量的任务请求。为了保证云计算系统整体运行的效率，补偿任务每次拉取的任务请求数量是固定的，即每次补偿任务执行时，均拉取固定数量的任务请求，例如50条、100条、200条或者自定义的任意条数。在一些实施方式中，当任务数据库中任务请求的数量低于设定的预设数量时，则补偿任务每次拉取的任务请求数量低于预设数量。
S1314、将所述预设数量的任务请求推送至所述队列数据库中，生成所述任务队列。
将任务数据库中补偿任务拉取的任务请求通过推送的方式，推送至队列数据库中。任务请求按照被推送的先后顺序进行堆栈排序，生成任务队列。
在一些实施方式中，为了保证任务队列中的任务请求具有唯一性，不造成任务重复，导致算力损失，需要对加入任务队列的任务请求进行去重。S1400之前包括：
S1321、读取所述任务请求；
补偿任务会从任务数据库批量的将任务请求加入到任务队列中，可能会导致部分任务请求已经在任务队列中，又被后续的补偿任务再次加入到任务队列中，导致任务队列中出现重复的任务请求。为了防止任务队列中出现重复任务请求的问题，需要对任务队列中的任务请求进行去重。
S1322、将所述任务请求输入至设置的哈希计算式中，生成所述任务请求对应的哈希值；
当任务数据库中的任务请求被推送到队列数据库中时，队列数据库需要对任务请求进行去重。将接收到的任务请求输入到预设的哈希计算式中，由于，哈希计算式对相同文件提取摘要的位置和方式是固定的，因此，对于相同的任务请求，其经过哈希计算式计算得到的哈希值是相同的。基于此，就能够通过哈希计算式计算得到任务请求对应的哈希值。
S1323、根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列。
根据哈希值在任务队列进行去重检索，并根据检索结果对任务队列进行处理，更新任务队列。具体地，S1323包括：
S1331、以所述哈希值为检索关键字，在所述任务队列中进行检索；
当任务数据库中的任务请求被推送到队列数据库中时，队列数据库需要对任务请求进行去重。将接收到的任务请求输入到预设的哈希计算式中，由于，哈希计算式对相同文件提取摘要的位置和方式是固定的，因此，对于相同的任务请求，其经过哈希计算式计算得到的哈希值是相同的。基于此，就能够通过哈希计算式计算得到任务请求对应的哈希值。
S1332、当检索到与所述哈希值对应的数值时，将所述任务请求进行删除；
队列数据库对接收到的每一个任务请求都通过哈希计算式计算得到对应的哈希值。由于，每个任务请求对应的哈希值具有唯一性。因此，当补偿任务接收到任务请求被接收后，队列数据库就能够计算得到每个任务请求的哈希值，并将计算得到的哈希值为检索关键字，在任务队列中进行关键字匹配检索，当检索得到现有任务队列中已经存在相同的哈希值时，就说明已经有相同的任务请求加入到任务队列中，如果将该任务请求加入到任务队列中，就会出现任务请求重复，此时，将任务请求加入到任务队列中就会导致任务请求重复，因此，需要将该重复的任务请求进行删除，使其不加入任务队列。
S1333、当未检索到与所述哈希值对应的数值时，则将所述任务请求加入到所述任务队列中。
当未检索到与任务请求对应的哈希值时，则证明该任务请求未被加入到任务队列中，此时，将该任务请求加入到任务队列中。
通过在将任务请求加入任务队列时，通过哈希计算式对任务请求进行哈希值运算，使队列数据库能够快速的确定任务请求是否重复，保证被派发的任务具有唯一性，避免重复执行相同任务导致的算力浪费。
在一些实施方式中，任务载量由神经网络模型计算得到。S1400包括：
S1411、读取所述处理请求中的负载信息；
每个处理请求中记载对应执行实例的负载信息，负载信息中记载执行实例：CPU使用率、内存占用率、磁盘io等性能指标当中的一种或者多种负载数据。
S1412、将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
任务载量的计算是通过神经网络型处理得到的。具体地，通过若干具有负载信息和任务载量之间具有映射关系的训练样本，对神经网络模型进行监督或者非监督训练，使神经网络模型处于收敛状态，具有根据负载信息分类得到对应任务载量能力的神经网络型。本实施方式中的任务调度模型能够由：卷积神经网络模型、循环神经网络模型、深度卷积神经网络模型当中的一种或者两种以上联合模型训练而成。在一些实施方式中，任务调度模型能够为卷积神经网络模型、循环神经网络模型、深度卷积神经网络模型任意一种的变种模型或者两种以上的联合模型训练而成。在一些实施方式中，任务调度模型能够为chat-GPT模型训练而成。
S1413、读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量。
训练至收敛状态的任务调度模型，提取负载信息中的特征向量，基于特征向量计算特征向量与任务调度模型既有分类类型之间的置信度，最后选择置信度数值最大分类类型作为处理请求对应的分类结果，然后，根据分类结果表征的任务请求的数量生成任务载量。
在一些实施方式中，负载信息包括负载数据和链路数据。负载数据和链路数据结合后能够生成更加准确的任务载量。具体地，S1412包括：
S1421、分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；
将计算任务载量的参数值由负载信息扩展为：负载数据和链路数据。因此，本实施方式中任务调度模型被构造成：双通道模型。其中，双通道模型是指任务调度模型具有两个卷积通道，分别为第一通道和第二通道。进行数据处理时，将负载信息中的负载数据输入至第一通道内，将链路数据输入至第二通道内。
第一通道和第二通道分别对输入的负载数据和链路数据进行卷积处理，提取得到负载数据对应的负载特征和链路数据对应的链路特征。
S1422、对所述负载特征和链路特征进行特征融合处理生成融合特征；
为了更好的对负载特征和链路特征进行融合，需要对对负载特征和链路特征进行点积运算，点积运算得到的结果为融合特征。在一些实施方式中，当进行负载特征和链路特征融合时，需要根据任务载量中对链路的需求占比和负载需求占比，合理的配置融合时两个特征的权重。具体地，根据任务载量中任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值。进行点积运算时，将权重值作为负载特征和链路特征的权重参与点积运算，就能够实现根据任务载量的实际需要，进行权重调整，使计算结果更加精准、合理的目的。
S1423、根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
训练至收敛状态的任务调度模型，提取负载信息中的负载特征和链路特征，并生成融合特征，基于融合特征计算特征向量与任务调度模型既有分类类型之间的置信度，最后选择置信度数值最大分类类型作为处理请求对应的分类结果，然后，根据分类结果表征的任务请求的数量生成任务载量。
在一些实施方式中，进行任务载量传输时，需要根据链路状态选择更加适宜的数据压缩方式。S1500包括：
S1511、根据所述任务载量在所述任务队列中提取对应数量的任务，配置生成所述任务数据；
计算生成任务载量后，根据任务载量中表征的任务请求的数量，在任务队列中提取相应的任务请求，将其配置为对应执行实例的任务数据。然后，将该任务数据发送至对应的执行实例中。
S1512、根据所述链路数据确定所述任务数据的数据压缩类型，并根据所述数据压缩类型对所述任务数据进行压缩，生成数据包；
配置生成任务数据后，需要对任务数据进行压缩生成数据包。在进行数据包生成过程中，需要选取相应的压缩格式对任务数据进行数据压缩。为了保证任务数据能够被准确的发送至执行终端，需要对队列数据库和执行实例之间的链路数据进行统计，统计的方式为：在该链路中不同压缩类型的数据包的丢包率，统计数据能够确定该链路中何种压缩类型的数据包丢包率最小，即该链路最适合的数据压缩类型。因此，能够通过链路数据确定任务数据的数据压缩类型，根据该最优的压缩类型对任务数据进行压缩，生成数据包。
S1513、将所述数据包发送至所述执行实例。
将任务数据打包生成数据包后，将数据包发送至处理请求对应的执行实例。本实施方式中的执行实例能够为：服务器、虚拟机或者容器。
具体请参阅图2，图2为本实施例任务调度装置基本结构示意图。
如图2所示，一种任务调度装置，包括：
获取模块1100，用于获取待处理的任务请求；
存储模块1200，用于将所述任务请求缓存在设置的任务数据库中；
队列模块1300，用于将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
处理模块1400，用于接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
执行模块1500，用于根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例。
任务调度装置在接收到任务请求后，将任务请求发送至任务数据库中进行缓存，然后，将任务请求加入到队列数据库中。在进行任务分配时，根据执行实例发送的处理请求，对执行实例处理任务的任务载量进行计算，再根据计算得到的任务载量对执行实例进行任务分配。通过在进行任务调度时，对各执行实例的任务载量进行评估，能够确定执行实例现有的任务吞吐能力，进而对执行实例量身进行任务配置，保证了各执行实例任务完成的及时性，提升了整个系统任务处理的时效性。
可选地，所述队列模块还用于：
获取设置的补偿任务所需的时间信息；
根据所述时间信息在所述任务数据库中拉取预设数量的任务请求；
将所述预设数量的任务请求推送至所述队列数据库中，生成所述任务队列。
可选地，所述队列模块还用于：
读取所述任务请求；
将所述任务请求输入至设置的哈希计算式中，生成所述任务请求对应的哈希值；
根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列。
可选地，所述队列模块还用于：
以所述哈希值为检索关键字，在所述任务队列中进行检索；
当检索到与所述哈希值对应的数值时，将所述任务请求进行删除；
当未检索到与所述哈希值对应的数值时，则将所述任务请求加入到所述任务队列中。
可选地，所述处理模块还用于：
读取所述处理请求中的负载信息；
将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量。
可选地，所述负载信息包括：负载数据和链路数据；所述处理模块还用于：
分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；
对所述负载特征和链路特征进行特征融合处理生成融合特征；
根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
可选地，所述执行模块还用于：
根据所述任务载量在所述任务队列中提取对应数量的任务，配置生成所述任务数据；
根据所述链路数据确定所述任务数据的数据压缩类型，并根据所述数据压缩类型对所述任务数据进行压缩，生成数据包；
将所述数据包发送至所述执行实例。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
如图3所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种任务调度法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种任务调度法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图2中获取模块1100、存储模块1200、队列模块1300、处理模块1400和执行模块1500的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有任务调度装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备在接收到任务请求后，将任务请求发送至任务数据库中进行缓存，然后，将任务请求加入到队列数据库中。在进行任务分配时，根据执行实例发送的处理请求，对执行实例处理任务的任务载量进行计算，再根据计算得到的任务载量对执行实例进行任务分配。通过在进行任务调度时，对各执行实例的任务载量进行评估，能够确定执行实例现有的任务吞吐能力，进而对执行实例量身进行任务配置，保证了各执行实例任务完成的及时性，提升了整个系统任务处理的时效性。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例任务调度方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种任务调度方法，其特征在于，包括：
获取待处理的任务请求；
将所述任务请求缓存在设置的任务数据库中；
将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例；
所述接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量包括：
读取所述处理请求中的负载信息；
将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量；
所述负载信息包括：负载数据和链路数据；所述将所述负载信息输入至设置的任务调度模型中包括：
分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；其中，所述任务调度模型被构造成：双通道模型，分别为第一通道和第二通道，将所述负载信息中的负载数据输入至所述第一通道内，将所述链路数据输入至所述第二通道内；
对所述负载特征和链路特征进行特征融合处理生成融合特征；其中，所述融合特征为：根据所述任务载量中所述任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值，将权重值作为负载特征和链路特征的权重参与点积运算生成所述融合特征；
根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
2.根据权利要求1所述的任务调度方法，其特征在于，所述将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列包括：
获取设置的补偿任务所需的时间信息；
根据所述时间信息在所述任务数据库中拉取预设数量的任务请求；
将所述预设数量的任务请求推送至所述队列数据库中，生成所述任务队列。
3.根据权利要求1或2所述的任务调度方法，其特征在于，所述接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量之前，还包括：
读取所述任务请求；
将所述任务请求输入至设置的哈希计算式中，生成所述任务请求对应的哈希值；
根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列。
4.根据权利要求3所述的任务调度方法，其特征在于，所述根据所述哈希值在所述任务队列进行去重检索，并根据检索结果对所述任务队列进行处理，更新所述任务队列包括：
以所述哈希值为检索关键字，在所述任务队列中进行检索；
当检索到与所述哈希值对应的数值时，将所述任务请求进行删除；
当未检索到与所述哈希值对应的数值时，则将所述任务请求加入到所述任务队列中。
5.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例包括：
根据所述任务载量在所述任务队列中提取对应数量的任务，配置生成所述任务数据；
根据所述链路数据确定所述任务数据的数据压缩类型，并根据所述数据压缩类型对所述任务数据进行压缩，生成数据包；
将所述数据包发送至所述执行实例。
6.一种任务调度装置，其特征在于，包括：
获取模块，用于获取待处理的任务请求；
存储模块，用于将所述任务请求缓存在设置的任务数据库中；
队列模块，用于将所述任务数据库中的任务请求推送至设置的队列数据库中，生成任务队列；
处理模块，用于接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量；
执行模块，用于根据所述任务载量在所述任务队列中配置任务数据，并将所述任务数据发送至所述处理请求对应的执行实例；
所述接收请求获取任务的处理请求，并根据所述处理请求中的负载信息，生成所述处理请求对应的任务载量包括：
读取所述处理请求中的负载信息；
将所述负载信息输入至设置的任务调度模型中，其中，所述任务调度模型为预先训练至收敛状态，用于根据所述负载信息对任务数量进行分类的神经网络模型；
读取所述任务调度模型输出的分类结果，并根据所述分类结果生成所述任务载量；
所述负载信息包括：负载数据和链路数据；所述将所述负载信息输入至设置的任务调度模型中包括：
分别将所述负载数据和链路数据输入至所述任务调度模型的卷积通道内，生成负载特征和链路特征；其中，所述任务调度模型被构造成：双通道模型，分别为第一通道和第二通道，将所述负载信息中的负载数据输入至所述第一通道内，将所述链路数据输入至所述第二通道内；
对所述负载特征和链路特征进行特征融合处理生成融合特征；其中，所述融合特征为：根据所述任务载量中所述任务请求对任务处理过程中负载的需求数据和链路的需求数据进行加权统计，得到任务载量对负载的权重值和链路的权重值，将权重值作为负载特征和链路特征的权重参与点积运算生成所述融合特征；
根据所述任务调度模型的分类类型，对所述融合特征进行置信度计算，并根据所述置信度计算结果生成对应的分类结果。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1-5中任一项权利要求所述任务调度方法的步骤。
8.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-5中任一项权利要求所述任务调度方法的步骤。
CN202310768111.6A 2023-06-28 2023-06-28 任务调度方法、装置、计算机设备及存储介质 Active CN116489230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310768111.6A CN116489230B (zh) 2023-06-28 2023-06-28 任务调度方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310768111.6A CN116489230B (zh) 2023-06-28 2023-06-28 任务调度方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116489230A CN116489230A (zh) 2023-07-25
CN116489230B true CN116489230B (zh) 2023-09-22

Family

ID=87223643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310768111.6A Active CN116489230B (zh) 2023-06-28 2023-06-28 任务调度方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116489230B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113724A1 (zh) * 2016-12-21 2018-06-28 广州优视网络科技有限公司 基于读写分离模式的下载提速方法、装置、终端设备及存储介质
US10235625B1 (en) * 2018-02-09 2019-03-19 Capital One Services, Llc Automatically scaling neural networks based on load
CN111274013A (zh) * 2020-01-16 2020-06-12 北京思特奇信息技术股份有限公司 容器内基于内存数据库的定时任务调度的优化方法及系统
CN111679895A (zh) * 2020-04-27 2020-09-18 中国平安财产保险股份有限公司 分布式定时任务的执行方法、装置、设备及可读存储介质
CN112667620A (zh) * 2020-12-31 2021-04-16 广州方硅信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN113254178A (zh) * 2021-06-01 2021-08-13 苏州浪潮智能科技有限公司 一种任务调度方法、装置、电子设备及可读存储介质
CN113742057A (zh) * 2021-01-21 2021-12-03 北京沃东天骏信息技术有限公司 一种任务执行方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113724A1 (zh) * 2016-12-21 2018-06-28 广州优视网络科技有限公司 基于读写分离模式的下载提速方法、装置、终端设备及存储介质
US10235625B1 (en) * 2018-02-09 2019-03-19 Capital One Services, Llc Automatically scaling neural networks based on load
CN111274013A (zh) * 2020-01-16 2020-06-12 北京思特奇信息技术股份有限公司 容器内基于内存数据库的定时任务调度的优化方法及系统
CN111679895A (zh) * 2020-04-27 2020-09-18 中国平安财产保险股份有限公司 分布式定时任务的执行方法、装置、设备及可读存储介质
CN112667620A (zh) * 2020-12-31 2021-04-16 广州方硅信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN113742057A (zh) * 2021-01-21 2021-12-03 北京沃东天骏信息技术有限公司 一种任务执行方法和装置
CN113254178A (zh) * 2021-06-01 2021-08-13 苏州浪潮智能科技有限公司 一种任务调度方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN116489230A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US20220391771A1 (en) Method, apparatus, and computer device and storage medium for distributed training of machine learning model
Xia et al. Federated-learning-based client scheduling for low-latency wireless communications
EP3739811B1 (en) Data analysis device, and multi-model co-decision system and method
CN109740755B (zh) 一种基于梯度下降法的数据处理方法及相关装置
US9411829B2 (en) Image-based faceted system and method
CN105631707A (zh) 基于决策树的广告点击率预估方法与应用推荐方法及装置
CN110247856B (zh) 服务器资源释放方法和装置
CN111104954B (zh) 一种对象分类的方法与装置
CN111723933A (zh) 神经网络模型的训练方法和相关产品
CN111898698B (zh) 对象的处理方法及装置、存储介质和电子设备
CN111193668B (zh) 流量分配方法、装置、计算机设备及存储介质
Huang et al. DeepAdapter: A collaborative deep learning framework for the mobile web using context-aware network pruning
CN116227623A (zh) 联邦学习方法、装置、计算机设备及存储介质
EP3767549A1 (en) Delivery of compressed neural networks
CN115049076A (zh) 基于原型网络的迭代聚类式联邦学习方法
CN111639902A (zh) 基于kafka的数据审核方法、控制装置及计算机设备、存储介质
CN116489230B (zh) 任务调度方法、装置、计算机设备及存储介质
CN110928901A (zh) 基于MapServer服务协议的图层联合查询方法、设备及存储设备
CN110555120A (zh) 图片压缩控制方法、装置、计算机设备及存储介质
CN112732717A (zh) 数据处理方法、装置、计算机设备及存储介质
CN111444249A (zh) 基于热数据的用户画像生成方法、装置、设备及存储介质
Chen et al. A user dependent web service QoS collaborative prediction approach using neighborhood regularized matrix factorization
Zhao et al. MapReduce enabling content analysis architecture for information-centric networks using CNN
US8484182B1 (en) Wireless device content searching
CN116991337B (zh) 一种远程教育系统的教育资源的云存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant