CN116170501B - 网络任务的处理方法、装置、服务器和存储介质 - Google Patents

网络任务的处理方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN116170501B
CN116170501B CN202310432641.3A CN202310432641A CN116170501B CN 116170501 B CN116170501 B CN 116170501B CN 202310432641 A CN202310432641 A CN 202310432641A CN 116170501 B CN116170501 B CN 116170501B
Authority
CN
China
Prior art keywords
task
node
information
target
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310432641.3A
Other languages
English (en)
Other versions
CN116170501A (zh
Inventor
徐徵
徐子然
杨亮山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhongsituo Big Data Research Institute Co ltd
Original Assignee
Guangdong Zhongsituo Big Data Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhongsituo Big Data Research Institute Co ltd filed Critical Guangdong Zhongsituo Big Data Research Institute Co ltd
Priority to CN202310432641.3A priority Critical patent/CN116170501B/zh
Publication of CN116170501A publication Critical patent/CN116170501A/zh
Application granted granted Critical
Publication of CN116170501B publication Critical patent/CN116170501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及一种网络任务的处理方法、装置、服务器和存储介质。所述方法包括:获取待处理任务的任务信息;待处理任务为应用于网络业务系统中的网络任务,任务信息包括待处理任务的任务参数、任务类型和对应的应用对象;基于任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于差异信息的目标代理节点,且差异信息与目标代理节点的数量相关;利用对应于目标处理模式的目标代理节点执行待处理任务。采用本方法能够增强对代理节点进行分配调度的合理性以及提升执行网络任务的执行效率。

Description

网络任务的处理方法、装置、服务器和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种网络任务的处理方法、网络任务的处理装置、服务器、存储介质和计算机程序产品。
背景技术
当前被开发的许多的网络业务系统需要执行多种多样的网络任务,当网络业务系统待执行的网络任务逐渐复杂且繁重的时候就需要分布式调度,以通过多节点代理执行的方式来减少单节点代理执行带来的如耗时久、负载大、以及错误率等问题。
在当前通过多节点代理执行网络任务的方式中,由于仅仅是根据各代理节点的闲置状态或者繁忙信息,来选择对应任务数量最少的代理节点执行网络任务。因此,在各种代理节点的性能存在差异的情况下,对于各种网络任务无法给出合理的分布式调度,导致网络任务的执行效率不高以及执行质量不优。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升调度网络任务的合理性和执行效率的网络任务的处理方法、装置、服务器和存储介质。
根据本公开实施例的第一方面,提供一种网络任务的处理,包括:
获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;
基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;
利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
在一示例性实施例中,在所述基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式之前,还包括:
从所述任务参数中确定所述待处理任务的数据大小,并确定所述数据大小与预设的参考大小之间的第一比对结果;以及,
确定所述任务类型与预设的参考类型之间的第二比对结果;以及,
确定所述应用对象与预设的参考对象之间的第三比对结果;
基于所述第一比对结果、所述第二比对结果和所述第三比对结果,确定所述差异信息。
在一示例性实施例中,所述第一比对结果、所述第二比对结果和所述第三比对结果均为各自对应的正常结果或者异常结果;所述在预设的至少两种处理模式中,确定出目标处理模式,包括:
在所述第一比对结果、所述第二比对结果和所述第三比对结果均为正常结果的情况下,确定所述目标处理模式为随机节点模式;所述随机节点模式用于指示在所述预设数量的候选代理节点中,随机确定一代理节点作为所述目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的至少一个为异常结果的情况下,确定所述目标处理模式为指定节点模式;所述指定节点模式用于指示在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点。
在一示例性实施例中,在所述预设数量的候选代理节点中包括第一类代理节点、第二类代理节点和第三类代理节点;所述第一类代理节点为匹配于所述第一比对结果为异常结果的代理节点,所述第二类代理节点为匹配于所述第二比对结果为异常结果的代理节点,所述第三类代理节点为匹配于所述第三比对结果为异常结果的代理节点;
所述在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点,包括以下三项中的一项:
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的一个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应一类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的两个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应两类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中均为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应三类代理节作为目标代理节点。
在一示例性实施例中,所述利用对应于所述目标处理模式的目标代理节点执行所述待处理任务,包括:
将所述待处理任务的任务信息和所述目标代理节点的节点信息存入预设的消息队列中;
在所述目标代理节点处于未饱和状态的情况下,基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务;
其中,所述未饱和状态表征所述目标代理节点当前正在执行的网络任务的数量不大于预设的饱和数量。
在一示例性实施例中,所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务,包括:
将预先携带在所述目标代理节点中的本地节点信息与所述消息队列中的节点信息进行节点匹配;
在所述节点匹配相同的情况下,基于所述目标代理节点和所述消息队列中的任务信息,从预设数据库中提取并执行所述待处理任务;或者
在所述节点匹配不相同的情况下,每隔预设时长重新将所述本地节点信息与所述消息队列中的节点信息进行节点匹配。
在一示例性实施例中,所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务,包括:
将预先存储在所述目标代理节点的节点数据库中的历史任务信息和所述消息队列中的任务信息进行信息匹配;所述节点数据库中存储有已执行完成的历史网络任务,及所述历史网络任务的历史任务信息;
在所述信息匹配相同的情况下,从所述节点数据库中提取出对应于所述历史任务信息的历史网络任务作为待处理任务,并重新执行所述待处理任务;或者
在所述信息匹配不相同的情况下,从预设的任务数据库中提取出对应于所述任务信息的网络任务作为待处理任务,并执行所述待处理任务。
根据本公开实施例的第二方面,提供一种网络任务的处理装置,包括:
信息获取单元,被配置为执行获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;
模式确定单元,被配置为执行基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;
任务处理单元,被配置为执行利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
根据本公开实施例的第三方面,提供一种服务器,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令,以实现如上述任一项所述的网络任务的处理方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中包括计算机程序,当所述计算机程序由服务器的处理器执行时,使得所述服务器能够执行如上述任一项所述的网络任务的处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品中包括程序指令,所述程序指令被服务器的处理器执行时,使得所述服务器能够执行如上述任一项所述的网络任务的处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
该方法先通过获取待处理任务的任务信息;其中,待处理任务为应用于网络业务系统中的网络任务,任务信息包括待处理任务的任务参数、任务类型和对应的应用对象;然后,再基于任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;其中,目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于差异信息的目标代理节点,且差异信息与目标代理节点的数量相关;最后,利用对应于目标处理模式的目标代理节点执行待处理任务。这样,一方面,区别于现有技术,先利用待处理任务的任务信息来确定其对应的目标处理模型,再通过目标处理模式对应的代理节点来执行待处理任务,优化了对网络任务的处理流程,加快了执行网络任务的处理效率;另一方面,利用待处理任务的任务参数、任务类型和应用对象与对应参考信息之间的差异信息来确定出目标处理模式,以通过目标处理模式对应的代理节点来执行待处理任务,增强了对代理节点进行分配调度的合理性和有效性,从而提升了执行网络任务的执行效率和执行质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种网络任务的处理方法的应用环境图。
图2是根据一示例性实施例示出的一种网络任务的处理方法的流程图。
图3是根据一示例性实施例示出的一种确定任务信息与参考信息之间的差异信息步骤的流程图。
图4是根据一示例性实施例示出的一种利用目标代理节点执行待处理任务步骤的流程图。
图5是根据一示例性实施例示出的第一种执行待处理任务步骤的流程图。
图6是根据一示例性实施例示出的第二种执行待处理任务步骤的流程图。
图7是根据另一示例性实施例示出的一种网络任务的处理方法的流程图。
图8是根据一示例性实施例示出的一种用于网络任务的处理装置框图。
图9是根据一示例性实施例示出的一种用于网络任务的处理的服务器的框图。
图10是根据一示例性实施例示出的一种用于网络任务的处理的计算机可读存储介质的框图。
图11是根据一示例性实施例示出的一种用于网络任务的处理的计算机程序产品的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,本申请中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等,不过这些操作(或元件或应用或指令或数据)不应受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如,第一调度处理模式可以被称为第二调度处理模式,第二调度处理模式也可以被称为第一调度处理模式,仅仅是其两者所包括的范围不同,而不脱离本申请的范围,第一调度处理模式和第二调度处理模式都是针对于业务系统的目标网络任务进行调度的模式集合,只是二者并不是相同类别的针对于业务系统的目标网络任务进行调度的模式集合而已。
本申请实施例提供的网络任务的处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过通信网络与服务器20进行通信。数据存储系统可以存储服务器20需要处理的数据。数据存储系统可以集成在服务器20上,也可以放在云上或其他网络服务器上。
在一些实施例中,参考图1,服务器20首先获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;然后,服务器20再基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;最后,服务器20利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
在一些实施例中,终端102(如移动终端、固定终端)可以以各种形式来实施。其中,终端102可为包括诸如移动电话、智能电话、笔记本电脑、便携式手持式设备、个人数字助理(PDA,Personal Digital Assistant)、平板电脑(PAD)等等的可以基于网络任务的任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式的移动终端,终端102也可以是自动柜员机(AutomatedTellerMachine,ATM)、自动一体机、数字TV、台式计算机、固式计算机等等的可以基于网络任务的任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式的固定终端。
下面,假设终端102是固定终端。然而,本领域技术人员将理解的是,若有特别用于移动目的的操作或者元件,根据本申请公开的实施方式的构造也能够应用于移动类型的终端102。
在一些实施例中,服务器20运行的数据处理组件可以加载正在被执行的可以包括各种附加服务器应用和/或中间层应用中的任何一种,如包括HTTP(超文本传输协议)、FTP(文件传输协议)、CGI(通用网关界面)、RDBMS(关系型数据库管理系统)等。
在一些实施例中,服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器20可以适于运行提供前述公开中描述的终端102的一个或多个应用服务或软件组件。
在一些实施例中,用户可以通过预设的输入装置或者自动控制程序向APP或者客户端输入相应的代码数据或者控制参数,以执行服务器20中的计算机程序的应用服务,以及显示用户界面中的应用服务。
在一些实施例中,APP或者客户端运行的操作系统可以包括各种版本的MicrosoftWindows®、Apple Macintosh®和/或Linux操作系统、各种商用或类UNIX®操作系统(包括但不限于各种GNU/Linux操作系统、Google Chrome®OS等)和/或移动操作系统,诸如iOS®、Windows®Phone、Android®OS、BlackBerry®OS、Palm®OS操作系统,以及其它在线操作系统或者离线操作系统,在这里不做具体的限制。
在一些实施例中,如图2所示,提供了一种网络任务的处理方法,以该方法应用于图1中的服务器20为例进行说明,该方法包括以下步骤:
步骤S11,获取待处理任务的任务信息。
在一实施例中,待处理任务为应用于网络业务系统中的网络任务。
其中,网络任务可应用于各种的任务调度场景,如,可应用于分布式任务的并发调度场景,包括各种网络爬虫场景、程序测试场景等。
在一个示例中,所述分布式任务可以为联邦学习任务,该联邦学习任务可以由多个任务组成,不同任务可以在不同的节点服务器上执行。其中,在分布式任务的并发调度场景中,由于资源具有分布、异构、动态、自治等特点,并发调度更加复杂,因此不同任务之间需要进行调度,以协同完成联邦学习任务。
在一些实施例中,网络任务可由网络工程师通过可视化界面或API的形式首先配置定时关于网络任务的任务信息,并将任务信息存储在数据库中;然后,服务器对请求传输来的网络任务的任务信息进行参数持久化,并通过后台调取网络任务的任务信息中的配置内容,最后,利用配置内容调用任务注册中心的API,以注册得到配置完成的网络任务。
在一些实施例中,任务信息包括待处理任务的任务参数、任务类型和对应的应用对象。
在其他实施例中,任务信息还可以包括如与调度任务相关的任务程序编号、待调度节点编号、任务运行模式、调度任务编号(scheduleId)。
在一些实施例中,待处理任务的任务参数为对应网络任务的配置参数,包括如网络任务的格式、大小、任务触发时间、存储地址等。
在一些实施例中,待处理任务的任务类型为对应网络任务的处理类型,包括如网络爬虫类型、程序测试类型等类型的处理人物。
在一些实施例中,待处理任务的应用对象为对应网络任务的应用方,例如,网络工程师预先配置有对象A的用户账户、对象B的用户账户、对象C的用户账户,则该三个用户账户所对应的网络任务的应用对象不相同。
步骤S12:基于任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式。
在一些实施例中,服务器首先确定任务参数与其对应的参考信息之间的第一差异信息、任务类型与其对应的参考信息之间的第二差异信息和应用对象与其对应的参考信息之间的第三差异信息;然后,服务器再根据第一差异信息、第二差异信息和第三差异信息,在预设的至少两种处理模式中,确定出目标处理模式。
其中,第一差异信息、第二差异信息和第三差异信息均包括对应信息的差异程度,即服务器根据任务参数、任务类型和应用对象与各自对应的参考信息之间的差异程度,在预设的至少两种处理模式中,确定出目标处理模式。
在一些实施例中,目标处理模式包括随机节点模式和指定节点模式。其中,目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于差异信息的目标代理节点,且差异信息与目标代理节点的数量相关。
在一些实施例中,若目标处理模式为随机节点模式,则服务器在预设数量的候选代理节点中,随机确定出一个候选代理节点作为目标代理节点。
在一些实施例中,若目标处理模式为指定节点模式,则服务器在预设数量的候选代理节点中,筛选出对应于第一差异信息、第二差异信息和第三差异信息中至少一种的候选代理节点作为目标代理节点。
其中,在指定节点模式的情况下,其对应的目标代理节点的数量为至少一个,且目标代理节点的数量与第一差异信息、第二差异信息和第三差异信息中的至少一种所对应的差异程度正相关。
作为示例,若待处理任务对应的第一差异信息的差异程度为0级、第二差异信息的差异程度为1级和第三差异信息的差异程度为3级(其中,差异程度的级别越低,则表征任务信息与对应的参考信息之间的差异越小,当差异程度为0级时,表征任务信息与对应的参考信息之间不存在差异),则服务器根据各差异信息确定目标代理节点为指定节点模式A。其中,指定节点模式A用于指示在预设数量的候选代理节点中,筛选出匹配于第二差异信息的代理节点A1,匹配于第三差异信息的代理节点A2、代理节点A3和代理节点A4,即服务器将代理节点A1、代理节点A2、代理节点A3和代理节点A4作为目标代理节点。
步骤S13:利用对应于目标处理模式的目标代理节点执行待处理任务。
在一实施例中,服务器控制对应于目标处理模式的目标代理节点获取待处理任务,并将该待处理任务存入自身的任务处理序列中,以执行待处理任务。
上述的网络任务的处理过程中,服务器首先获取待处理任务的任务信息;其中,待处理任务为应用于网络业务系统中的网络任务,任务信息包括待处理任务的任务参数、任务类型和对应的应用对象;然后,再基于任务参数、任务类型和应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;其中,目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于差异信息的目标代理节点,且差异信息与目标代理节点的数量相关;最后,利用对应于目标处理模式的目标代理节点执行待处理任务。这样,一方面,区别于现有技术,先利用待处理任务的任务信息来确定其对应的目标处理模型,再通过目标处理模式对应的代理节点来执行待处理任务,优化了对网络任务的处理流程,加快了执行网络任务的处理效率;另一方面,利用待处理任务的任务参数、任务类型和应用对象与对应参考信息之间的差异信息来确定出目标处理模式,以通过目标处理模式对应的代理节点来执行待处理任务,增强了对代理节点进行分配调度的合理性和有效性,从而提升了执行网络任务的执行效率和执行质量。
本领域技术人员可以理解地,在具体实施方式的上述方法中,所揭露的方法可以通过更为具体的方式以实现。例如,以上所描述的服务器基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式的实施方式仅仅是示意性的。
示例性地,任务信息中的所述待处理任务的任务参数、任务类型和对应的应用对象之间可以结合或者可以集合到另一个系统中,或一些特征可以忽略,或不执行。
在一些实施例中,任务参数是可以快速修改系统中应用程序内部配置的一种方式,任务参数其功能包括确认待处理任务的数据大小、地址等等,这里不做具体限定。具体地,(1)系统中的应用程序根据任务参数来获取系统的当前环境信息,从而工程师可以基于系统的当前环境信息进行相应的操作。(2)系统中的应用程序根据任务参数来调整系统中日志数据的等级,并且输出日志数据的详细信息。(3)系统中的应用程序根据任务参数来完成对其他系统中的其他功能配置的修改。
在一示例性实施例中,参阅图3,图3为本申请中确定任务信息与参考信息之间的差异信息一实施例的流程示意图。在步骤S12中,服务器在所述基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式之前,可以通过以下方式实现:
步骤a1,从任务参数中确定待处理任务的数据大小,并确定数据大小与预设的参考大小之间的第一比对结果。
其中,该第一比对结果包括对应的正常结果或者异常结果。
在一些实施例中,待处理任务的数据大小是指待处理任务的数据包大小。
在一些实施例中,服务器将待处理任务的数据包大小与对应的参考大小进行比对,得到第一比对结果。其中,若待处理任务的数据包大小大于对应的参考大小,则第一比对结果为异常结果;若待处理任务的数据包大小小于或等于对应的参考大小,则第一比对结果为正常结果。
步骤a2,确定任务类型与预设的参考类型之间的第二比对结果。
其中,该第二比对结果包括对应的正常结果或者异常结果。
在一些实施例中,服务器将待处理任务的任务类型与对应预设的参考类型进行比对,得到第二比对结果。其中,若待处理任务的任务类型不属于预设的参考类型,则第二比对结果为异常结果;若待处理任务的任务类型属于预设的参考类型,则第二比对结果为正常结果。
步骤a3,确定应用对象与预设的参考对象之间的第三比对结果。
其中,该第三比对结果包括对应的正常结果或者异常结果。
在一些实施例中,服务器将待处理任务的应用对象与对应预设的参考对象进行比对,得到第三比对结果。其中,若待处理任务的应用对象不属于预设的参考对象,则第三比对结果为异常结果;若待处理任务的应用对象属于预设的参考对象,则第三比对结果为正常结果。
步骤a4,基于第一比对结果、第二比对结果和第三比对结果,确定差异信息。
作为示例,若待处理任务对应的第一差异结果为正常结果、第二差异结果为异常结果和第三差异结果为异常结果,则服务器综合三种差异结果得到差异信息。
在一示例性实施例中,在步骤S12中,服务器在预设的至少两种处理模式中,确定出目标处理模式的过程,可以通过以下方式实现:
场景一,在第一比对结果、第二比对结果和第三比对结果均为正常结果的情况下,确定目标处理模式为随机节点模式。
在一实施例中,随机节点模式用于指示在预设数量的候选代理节点中,随机确定一代理节点作为目标代理节点。
场景二,在第一比对结果、第二比对结果和第三比对结果中的至少一个为异常结果的情况下,确定目标处理模式为指定节点模式。
在一实施例中,指定节点模式用于指示在预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为目标代理节点。
在其他实施例中,服务器每隔预设时间向各个代理节点发送心跳包;若收到代理节点返回的心跳信号,则表征代理节点工作正常;若未收到代理节点返回的心跳信号,则确定对应的代理节点处于离线/异常状态,则在待处理任务对应的目标处理模式为随机节点模式的情况下,服务器不会向该代理节点调度任务(即不会代理节点作为目标代理节点);在待处理任务对应的目标处理模式为指定节点模式的情况下,则服务器生成对应的异常信号给工程师,直到该代理节点变为正常再为其分配任务。
在一实施例中,在预设数量的候选代理节点中包括第一类代理节点、第二类代理节点和第三类代理节点。
在一实施例中,第一类代理节点为匹配于第一比对结果为异常结果的代理节点,第二类代理节点为匹配于第二比对结果为异常结果的代理节点,第三类代理节点为匹配于第三比对结果为异常结果的代理节点。
其中,第一类代理节点为可用于执行数据包大小大于对应的参考大小类型的待处理任务的代理节点;第二类代理节点为可用于执行任务类型不属于预设的参考类型的待处理任务的代理节点;第三类代理节点为可用于执行应用对象不属于预设的参考对象类型的待处理任务的代理节点。
在一些实施例中,服务器在预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为目标代理节点,包括以下三种方式中的一种:
在第一种方式中,在第一比对结果、第二比对结果和第三比对结果中的一个为异常结果的情况下,在预设数量的候选代理节点中,指定与异常结果相匹配的对应一类代理节点作为目标代理节点。
作为示例,若第一比对结果为异常结果,则服务器在预设数量的候选代理节点中,指定第一类代理节点作为目标代理节点。若第二比对结果为异常结果,则服务器在预设数量的候选代理节点中,指定第二类代理节点作为目标代理节点。若第三比对结果为异常结果,则服务器在预设数量的候选代理节点中,指定第三类代理节点作为目标代理节点。
在第二种方式中,在第一比对结果、第二比对结果和第三比对结果中的两个为异常结果的情况下,在预设数量的候选代理节点中,指定与异常结果相匹配的对应两类代理节点作为目标代理节点。
作为示例,若第一比对结果和第二比对结果均为异常结果,则服务器在预设数量的候选代理节点中,指定第一类代理节点和第二类代理节点作为目标代理节点。若第一比对结果和第三比对结果均为异常结果,则服务器在预设数量的候选代理节点中,指定第一类代理节点和第三类代理节点作为目标代理节点。若第三比对结果和第二比对结果均为异常结果,则服务器在预设数量的候选代理节点中,指定第三类代理节点和第二类代理节点作为目标代理节点。
在第三种方式中,在第一比对结果、第二比对结果和第三比对结果中均为异常结果的情况下,在预设数量的候选代理节点中,指定与异常结果相匹配的对应三类代理节作为目标代理节点。
作为示例,若第一比对结果、第二比对结果和第三比对结果均为异常结果,则服务器在预设数量的候选代理节点中,指定第一类代理节点、第二类代理节点和第三类代理节点作为目标代理节点。
在一示例性实施例中,参阅图4,图4为本申请中利用目标代理节点执行待处理任务一实施例的流程示意图。在步骤S13中,服务器利用对应于所述目标处理模式的目标代理节点执行所述待处理任务的过程,具体可以通过以下方式实现:
步骤S131,将待处理任务的任务信息和目标代理节点的节点信息存入预设的消息队列中。
在一些实施例中,服务器将待处理任务的任务信息和待处理任务对应的目标代理节点的节点信息存入预设的消息队列中。
其中,消息队列可以为Redis消息队列,其用于存储待处理任务的任务信息和目标代理节点的节点信息。
步骤S132,在目标代理节点处于未饱和状态的情况下,基于目标代理节点和消息队列中的任务信息和节点信息,执行待处理任务。
其中,未饱和状态表征目标代理节点当前正在执行的网络任务的数量不大于预设的饱和数量。即,若目标代理节点处于饱和状态,则此时目标代理节点处于繁忙状态,其不能再开始执行新的网络任务;若目标代理节点处于未饱和状态,则此时目标代理节点处于空间状态,其可以开始执行新的网络任务。
在一些实施例中,若目标代理节点处于未饱和状态,则每隔预设时间对消息队列中的任务信息和节点信息进行轮询,以确定在消息队列中是否有属于自己待处理的网络任务,若有,则目标代理节点基于消息队列中的任务信息和节点信息,执行待处理任务。
在一示例性实施例中,目标代理节点确定在消息队列中是否有属于自己待处理的网络任务的过程,请参阅图5,图5为本申请中执行待处理任务第一实施例的流程示意图。在步骤S132中,服务器基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务的过程,具体可以通过以下方式实现:
步骤b1,将预先携带在目标代理节点中的本地节点信息与消息队列中的节点信息进行节点匹配。
其中,在目标代理节点的本地存储库中存储有本地节点信息(包括节点编号)。
在一些实施例中,目标代理节点将消息队列中的节点信息与本地存储的本地节点信息进行节点匹配,以确定待处理任务对应处理模式所指定的代理节点是否为本身。
步骤b2,在节点匹配相同的情况下,基于目标代理节点和消息队列中的任务信息,从预设数据库中提取并执行待处理任务。
在一些实施例中,在节点匹配相同的情况下,目标代理节点基于消息队列中的任务信息,从预设数据库(包括本地存储库和第三方数据库)中提取出待处理任务并执行待处理任务。
步骤b3,在节点匹配不相同的情况下,每隔预设时长重新将本地节点信息与消息队列中的节点信息进行节点匹配。
在一些实施例中,在节点匹配不相同的情况下,目标代理节点继续每隔预设时间对消息队列中的任务信息和节点信息进行轮询,以确定在消息队列中是否有属于自己待处理的网络任务,若有,则目标代理节点基于消息队列中的任务信息和节点信息,执行待处理任务。
在一示例性实施例中,目标代理节点从预设数据库中提取并执行待处理任务的过程,请参阅图6,图6为本申请中执行待处理任务第二实施例的流程示意图。在步骤S132中,服务器基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务的过程,具体可以通过以下方式实现:
步骤c1,将预先存储在目标代理节点的节点数据库中的历史任务信息和消息队列中的任务信息进行信息匹配。
在一实施例中,节点数据库中存储有已执行完成的历史网络任务,及历史网络任务的历史任务信息。
在一实施例中,当网络任务被系统创建时,会被其对应的代理节点下载到预设任务数据库中存储。
其中,所有的代理节点可以共用一个任务数据库(可以包代理节点的本地磁盘、节点数据库等等),也可以分别单独使用一个适配于自身的独立数据库,这里根据实际情况确定,不做具体限定。
步骤c2,在信息匹配相同的情况下,从节点数据库中提取出对应于历史任务信息的历史网络任务作为待处理任务,并重新执行待处理任务。
在一实施例中,服务器预先将待处理任务存储在目标代理节点对应的本地磁盘中,在信息匹配相同的情况下,目标代理节点从本地磁盘中之间提取出对应于任务信息的待处理任务,并重新执行该待处理任务。
步骤c3,在信息匹配不相同的情况下,从预设的任务数据库中提取出对应于任务信息的网络任务作为待处理任务,并执行待处理任务。
在一实施例中,服务器预先将待处理任务存储在MongoDB中的gird文件中,在信息匹配不相同的情况下,目标代理节点从MongoDB中的gird文件中提取出对应于任务信息的待处理任务,并该执行待处理任务。
在另一示例性实施例中,参阅图7,图7为服务器和代理节点共同执行网络任务的处理方法的过程,具体可以通过以下方式实现:
步骤S21:服务器将所有的网络任务(包括数据包、程序)存储在MongoDB的GridFS文件系统中。
步骤S22:服务器每秒钟对MongoDB中的存储的网络任务进行查询(发送指令),以确定当前待调度的网络任务。
步骤S23:服务器将当前待调度的网络任务的任务信息按照顺序发送至redis消息队列中暂存。
其中,网络任务的任务信息包括网络任务相关的程序编号、目标代理节点编号、任务参数、应用对象编号(UserId)、任务处理模式和调度任务编号(scheduleId)和任务类型。
步骤S24:redis消息队列根据暂存的各个网络任务的任务信息,按照对应的任务处理模式,向对应于任务处理模式的目标代理节点发送携带有任务信息的任务指令;或者
步骤S25:代理节点每隔预设时间向消息队列发送轮询消息,以确定在消息队列中是否有属于自己待处理的网络任务。
步骤S26:目标代理节点根据网络任务的任务信息,确定自身是否已执行过该待处理的网络任务。
步骤S27a:若目标代理节点未执行过将该网络任务,则目标代理节点根据网络任务的任务信息从MongoDB的GridFS文件系统中提取出该网络任务,并将该网络任务保存在目标代理节点的本地数据库中,以及运行将该网络任务;
步骤S27b:若目标代理节点已执行过该网络任务,则目标代理节点直接从本地数据库中提取出将该网络任务,并重新运行将该网络任务。
这样,一方面,区别于现有技术,先利用待处理任务的任务信息来确定其对应的目标处理模型,再通过目标处理模式对应的代理节点来执行待处理任务,优化了对网络任务的处理流程,加快了执行网络任务的处理效率;另一方面,利用待处理任务的任务参数、任务类型和应用对象与对应参考信息之间的差异信息来确定出目标处理模式,以通过目标处理模式对应的代理节点来执行待处理任务,增强了对代理节点进行分配调度的合理性和有效性,从而提升了执行网络任务的执行效率和执行质量。
应该理解的是,虽然图2-图7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
图8是本申请实施例提供的一种网络任务的处理装置框图。参照图8,该网络任务的处理装置10包括:信息获取单元11、模式确定单元12、任务处理单元13。
其中,信息获取单元11,被配置为执行获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;
其中,模式确定单元12,被配置为执行基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;
其中,任务处理单元13,被配置为执行利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
在一些实施例中,在所述基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式之前,该模式确定单元12具体还用于:
从所述任务参数中确定所述待处理任务的数据大小,并确定所述数据大小与预设的参考大小之间的第一比对结果;以及,
确定所述任务类型与预设的参考类型之间的第二比对结果;以及,
确定所述应用对象与预设的参考对象之间的第三比对结果;
基于所述第一比对结果、所述第二比对结果和所述第三比对结果,确定所述差异信息。
在一些实施例中,所述第一比对结果、所述第二比对结果和所述第三比对结果均为各自对应的正常结果或者异常结果;所述在预设的至少两种处理模式中,确定出目标处理模式的方面,该模式确定单元12具体还用于:
在所述第一比对结果、所述第二比对结果和所述第三比对结果均为正常结果的情况下,确定所述目标处理模式为随机节点模式;所述随机节点模式用于指示在所述预设数量的候选代理节点中,随机确定一代理节点作为所述目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的至少一个为异常结果的情况下,确定所述目标处理模式为指定节点模式;所述指定节点模式用于指示在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点。
在一些实施例中,在所述预设数量的候选代理节点中包括第一类代理节点、第二类代理节点和第三类代理节点;所述第一类代理节点为匹配于所述第一比对结果为异常结果的代理节点,所述第二类代理节点为匹配于所述第二比对结果为异常结果的代理节点,所述第三类代理节点为匹配于所述第三比对结果为异常结果的代理节点;
所述在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点的方面,该模式确定单元12具体还用于:
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的一个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应一类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的两个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应两类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中均为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应三类代理节作为目标代理节点。
在一些实施例中,所述利用对应于所述目标处理模式的目标代理节点执行所述待处理任务,该任务处理单元13具体包括:
将所述待处理任务的任务信息和所述目标代理节点的节点信息存入预设的消息队列中;
在所述目标代理节点处于未饱和状态的情况下,基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务;
其中,所述未饱和状态表征所述目标代理节点当前正在执行的网络任务的数量不大于预设的饱和数量。
在一些实施例中,在所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务的方面,该任务处理单元13具体还用于:
将预先携带在所述目标代理节点中的本地节点信息与所述消息队列中的节点信息进行节点匹配;
在所述节点匹配相同的情况下,基于所述目标代理节点和所述消息队列中的任务信息,从预设数据库中提取并执行所述待处理任务;或者
在所述节点匹配不相同的情况下,每隔预设时长重新将所述本地节点信息与所述消息队列中的节点信息进行节点匹配。
在一些实施例中,在所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务的方面,该任务处理单元13具体还用于:
将预先存储在所述目标代理节点的节点数据库中的历史任务信息和所述消息队列中的任务信息进行信息匹配;所述节点数据库中存储有已执行完成的历史网络任务,及所述历史网络任务的历史任务信息;
在所述信息匹配相同的情况下,从所述节点数据库中提取出对应于所述历史任务信息的历史网络任务作为待处理任务,并重新执行所述待处理任务;或者
在所述信息匹配不相同的情况下,从预设的任务数据库中提取出对应于所述任务信息的网络任务作为待处理任务,并执行所述待处理任务。
图9是本申请实施例提供的一种服务器20的框图。例如,服务器20可以为一种电子设备、电子组件或者服务器阵列等等。参照图9,服务器20包括处理器21,其进一步处理器21可以为处理器集合,其可以包括一个或多个处理器,以及服务器20包括由存储器22所代表的存储器资源,其中,存储器22上存储有计算机程序,例如应用程序。在存储器22中存储的计算机程序可以包括一个或一个以上的每一个对应于一组可执行指令的模块。此外,处理器21被配置为执行计算机程序时实现如上述的网络任务的处理方法。
在一些实施例中,服务器20为电子设备,该电子设备中的计算系统可以运行一个或多个操作系统,包括以上讨论的任何操作系统以及任何商用的服务器操作系统。该服务器20还可以运行各种附加服务器应用和/或中间层应用中的任何一种,包括HTTP(超文本传输协议)服务器、FTP(文件传输协议)服务器、CGI(通用网关界面)服务器、超级服务器、数据库服务器等。示例性数据库服务器包括但不限于可从(国际商业机器)等商购获得的数据库服务器。
在一些实施例中,处理器21通常控制服务器20的整体操作,诸如与显示、数据处理、数据通信和记录操作相关联的操作。处理器21可以包括一个或多个处理器组件来执行计算机程序,以完成上述的方法的全部或部分步骤。此外,处理器组件可以包括一个或多个模块,便于处理器组件和其他组件之间的交互。例如,处理器组件可以包括多媒体模块,以方便利用多媒体组件控制用户服务器20和处理器21之间的交互。
在一些实施例中,处理器21中的处理器组件还可以称为CPU(Central ProcessingUnit,中央处理单元)。处理器组件可能是一种电子芯片,具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific Integrated Circuit, ASIC)、专用集成电路(ApplicationSpecificIntegrated Circuit, ASIC)、现场可编程门阵列(Field-Programmable GateArray, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器组件等。另外,处理器组件可以由集成电路芯片共同实现。
在一些实施例中,存储器22被配置为存储各种类型的数据以支持在服务器20的操作。这些数据的示例包括用于在服务器20上操作的任何应用程序或方法的指令、采集数据、消息、图片、视频等。存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
在一些实施例中,存储器22可以为内存条、TF卡等,可以存储服务器20中的全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器22中。在一些实施例中,它根据处理器21指定的位置存入和取出信息。在一些实施例中,有了存储器22,服务器20才有记忆功能,才能保证正常工作。在一些实施例中,服务器20的存储器22按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
在一些实施例中,服务器20还可以包括:电源组件23被配置为执行服务器20的电源管理,有线或无线网络接口24被配置为将服务器20连接到网络,和输入输出(I/O)接口25。服务器20可以操作基于存储在存储器22的操作系统,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在一些实施例中,电源组件23为服务器20的各种组件提供电力。电源组件23可以包括电源管理系统,一个或多个电源,及其他与为服务器20生成、管理和分配电力相关联的组件。
在一些实施例中,有线或无线网络接口24被配置为便于服务器20和其他设备之间有线或无线方式的通信。服务器20可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。
在一些实施例中,有线或无线网络接口24经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,有线或无线网络接口24还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在一些实施例中,输入输出(I/O)接口25为处理器21和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
图10是本申请实施例提供的一种计算机可读存储介质30的框图。该计算机可读存储介质30上存储有计算机程序31,其中,计算机程序31被处理器执行时实现如上述的网络任务的处理方法。
在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读存储介质30中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机可读存储介质30在一个计算机程序31中,包括若干指令用以使得一台计算机设备(可以是个人计算机,系统服务器,或者网络设备等)、电子设备(例如MP3、MP4等,也可以是手机、平板电脑、可穿戴设备等智能终端,也可以是台式电脑等)或者处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。
图11是本申请实施例提供的一种计算机程序产品40的框图。该计算机程序产品40中包括程序指令41,该程序指令41可由服务器20的处理器执行以实现如上述的网络任务的处理方法。
本领域内的技术人员应明白,本申请的实施例可提供有网络任务的处理方法、网络任务的处理装置10、服务器20、计算机可读存储介质30或计算机程序产品40。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机程序指令41(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品40的形式。
本申请是参照根据本申请实施例中网络任务的处理方法、网络任务的处理装置10、服务器20、计算机可读存储介质30或计算机程序产品40的流程图和/或方框图来描述的。应理解可由计算机程序产品40实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序产品40到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令41产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序产品40也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机程序产品40中的程序指令41产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些程序指令41也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的程序指令41提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的,上述的各种方法、装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种网络任务的处理方法,其特征在于,所述方法包括:
获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;
基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;
利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
2.根据权利要求1所述的方法,其特征在于,在所述基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式之前,还包括:
从所述任务参数中确定所述待处理任务的数据大小,并确定所述数据大小与预设的参考大小之间的第一比对结果;以及,
确定所述任务类型与预设的参考类型之间的第二比对结果;以及,
确定所述应用对象与预设的参考对象之间的第三比对结果;
基于所述第一比对结果、所述第二比对结果和所述第三比对结果,确定所述差异信息。
3.根据权利要求2所述的方法,其特征在于,所述第一比对结果、所述第二比对结果和所述第三比对结果均为各自对应的正常结果或者异常结果;所述在预设的至少两种处理模式中,确定出目标处理模式,包括:
在所述第一比对结果、所述第二比对结果和所述第三比对结果均为正常结果的情况下,确定所述目标处理模式为随机节点模式;所述随机节点模式用于指示在所述预设数量的候选代理节点中,随机确定一代理节点作为所述目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的至少一个为异常结果的情况下,确定所述目标处理模式为指定节点模式;所述指定节点模式用于指示在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点。
4.根据权利要求3所述的方法,其特征在于,在所述预设数量的候选代理节点中包括第一类代理节点、第二类代理节点和第三类代理节点;所述第一类代理节点为匹配于所述第一比对结果为异常结果的代理节点,所述第二类代理节点为匹配于所述第二比对结果为异常结果的代理节点,所述第三类代理节点为匹配于所述第三比对结果为异常结果的代理节点;
所述在所述预设数量的候选代理节点中,指定与对应为异常结果的比对结果相匹配的至少一个代理节点作为所述目标代理节点,包括以下三项中的一项:
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的一个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应一类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中的两个为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应两类代理节点作为目标代理节点;
在所述第一比对结果、所述第二比对结果和所述第三比对结果中均为异常结果的情况下,在所述预设数量的候选代理节点中,指定与所述异常结果相匹配的对应三类代理节作为目标代理节点。
5.根据权利要求1所述的方法,其特征在于,所述利用对应于所述目标处理模式的目标代理节点执行所述待处理任务,包括:
将所述待处理任务的任务信息和所述目标代理节点的节点信息存入预设的消息队列中;
在所述目标代理节点处于未饱和状态的情况下,基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务;
其中,所述未饱和状态表征所述目标代理节点当前正在执行的网络任务的数量不大于预设的饱和数量。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务,包括:
将预先携带在所述目标代理节点中的本地节点信息与所述消息队列中的节点信息进行节点匹配;
在所述节点匹配相同的情况下,基于所述目标代理节点和所述消息队列中的任务信息,从预设数据库中提取并执行所述待处理任务;或者
在所述节点匹配不相同的情况下,每隔预设时长重新将所述本地节点信息与所述消息队列中的节点信息进行节点匹配。
7.根据权利要求5所述的方法,其特征在于,所述基于所述目标代理节点和所述消息队列中的任务信息和节点信息,执行所述待处理任务,包括:
将预先存储在所述目标代理节点的节点数据库中的历史任务信息和所述消息队列中的任务信息进行信息匹配;所述节点数据库中存储有已执行完成的历史网络任务,及所述历史网络任务的历史任务信息;
在所述信息匹配相同的情况下,从所述节点数据库中提取出对应于所述历史任务信息的历史网络任务作为待处理任务,并重新执行所述待处理任务;或者
在所述信息匹配不相同的情况下,从预设的任务数据库中提取出对应于所述任务信息的网络任务作为待处理任务,并执行所述待处理任务。
8.一种网络任务的处理装置,其特征在于,所述装置包括:
信息获取单元,被配置为执行获取待处理任务的任务信息;所述待处理任务为应用于网络业务系统中的网络任务,所述任务信息包括所述待处理任务的任务参数、任务类型和对应的应用对象;
模式确定单元,被配置为执行基于所述任务参数、所述任务类型和所述应用对象与各自对应的参考信息之间的差异信息,在预设的至少两种处理模式中,确定出目标处理模式;所述目标处理模式用于指示在预设数量的候选代理节点中,确定出匹配于所述差异信息的目标代理节点,且所述差异信息与所述目标代理节点的数量相关;
任务处理单元,被配置为执行利用对应于所述目标处理模式的目标代理节点执行所述待处理任务。
9.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令,以实现如权利要求1至7中任一项所述的网络任务的处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中包括计算机程序,其特征在于,当所述计算机程序由服务器的处理器执行时,使得所述服务器能够执行如权利要求1至7中任一项所述的网络任务的处理方法。
CN202310432641.3A 2023-04-21 2023-04-21 网络任务的处理方法、装置、服务器和存储介质 Active CN116170501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310432641.3A CN116170501B (zh) 2023-04-21 2023-04-21 网络任务的处理方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310432641.3A CN116170501B (zh) 2023-04-21 2023-04-21 网络任务的处理方法、装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN116170501A CN116170501A (zh) 2023-05-26
CN116170501B true CN116170501B (zh) 2023-07-11

Family

ID=86416664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310432641.3A Active CN116170501B (zh) 2023-04-21 2023-04-21 网络任务的处理方法、装置、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN116170501B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782360A (zh) * 2020-06-28 2020-10-16 中国工商银行股份有限公司 分布式任务调度方法及装置
CN114528104A (zh) * 2022-02-14 2022-05-24 维沃移动通信有限公司 任务处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782360A (zh) * 2020-06-28 2020-10-16 中国工商银行股份有限公司 分布式任务调度方法及装置
CN114528104A (zh) * 2022-02-14 2022-05-24 维沃移动通信有限公司 任务处理方法及装置

Also Published As

Publication number Publication date
CN116170501A (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US20120117189A1 (en) Method and apparatus for obtaining feedback from a device
CN108259533B (zh) 一种数据传输方法和装置
WO2017167121A1 (zh) 确定及运用应用程序之间的关系关联的方法及装置
CN109716736B (zh) 应用数据共享和决策服务平台
CN108287708B (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN106598678A (zh) 向终端设备提供应用程序安装包的方法及装置
CN109716735B (zh) 用于在于一个或多个应用平台上执行的隔离的应用之间共享应用数据的系统和方法
CN111209310B (zh) 基于流计算的业务数据处理方法、装置和计算机设备
CN111737270A (zh) 数据处理方法及其系统、计算机系统和计算机可读介质
US11283698B2 (en) Optimizing timeout settings for nodes in a workflow
CN106445936A (zh) 一种数据处理方法及设备
CN114036031A (zh) 一种企业数字中台中资源服务应用的调度系统和方法
CN114003510A (zh) 基于Mock服务的脚本测试方法、装置、设备及介质
US11157690B2 (en) Techniques for asynchronous execution of computationally expensive local spreadsheet tasks
CN116170501B (zh) 网络任务的处理方法、装置、服务器和存储介质
CN111324470A (zh) 用于生成信息的方法及装置
CN111008032A (zh) 一种页面数据更新方法及装置
CN110827037A (zh) 基于区块链的数据交互方法和装置
CN116028696A (zh) 资源信息获取方法、装置、电子设备及存储介质
CN115082038A (zh) 系统集成方法、装置及电子设备
JP2011198250A (ja) リクエストを処理する情報処理装置、方法及びコンピュータプログラム
US20240152504A1 (en) Data interaction method, apparatus, and electronic device
CN112433891A (zh) 数据处理方法、装置和服务器
CN111124907A (zh) 一种手机游戏测试方法、装置和服务器
CN111784376A (zh) 用于处理信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant