CN116074322B - 基于智能消息分割的高吞吐任务调度方法、系统及介质 - Google Patents

基于智能消息分割的高吞吐任务调度方法、系统及介质 Download PDF

Info

Publication number
CN116074322B
CN116074322B CN202310355076.5A CN202310355076A CN116074322B CN 116074322 B CN116074322 B CN 116074322B CN 202310355076 A CN202310355076 A CN 202310355076A CN 116074322 B CN116074322 B CN 116074322B
Authority
CN
China
Prior art keywords
message
task
distribution
segmentation
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310355076.5A
Other languages
English (en)
Other versions
CN116074322A (zh
Inventor
施凡
马慧敏
许成喜
李阳
薛鹏飞
钟瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310355076.5A priority Critical patent/CN116074322B/zh
Publication of CN116074322A publication Critical patent/CN116074322A/zh
Application granted granted Critical
Publication of CN116074322B publication Critical patent/CN116074322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • H04L67/108Resource delivery mechanisms characterised by resources being split in blocks or fragments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)

Abstract

本发明提出一种基于智能消息分割的高吞吐任务调度方法、系统及介质,涉及网络探测技术领域。所述方法具体包括:构建消息链路:设置匿名中转跳板,用于隔离本地服务器与工作节点;确定消息分割策略:根据任务类型分别采用数量分割或大小分割的策略将任务消息分割;匹配相应的工作节点。所述系统具体包括:隐蔽式通信链路,所述链路包括两层匿名中转跳板,所述两层匿名中转跳板之间设置消息分发处理服务器,所述消息分发处理服务器用于隔离所述本地服务器与所述工作节点之间的交互流程。利用所述系统可以实现对测绘任务消息的高效传输,同时使得消息传输具有隐蔽性和安全性。

Description

基于智能消息分割的高吞吐任务调度方法、系统及介质
技术领域
本发明属于网络探测技术领域,尤其涉及一种基于智能消息分割的高吞吐任务调度方法、系统及介质。
背景技术
网络空间测绘以网络空间为对象,通过网络探测、采集、分析和处理,发现和识别全球网络空间设施、服务和资源,获得全球网络空间的节点分布情况、网络关系索引、实体资源(物理的)和虚拟资源(逻辑的)在网络空间的位置、属性和拓扑结构。
全球网络空间的测绘过程涉及到海量互联网设备的多个端口、多种服务的探测,需要处理不同类型的测绘任务。从测绘目标主机的IP地址和端口数量来看,测绘任务可被分为区域性测绘任务和全端口测绘任务,这两种测绘任务产生的任务消息都以IP地址为单位。区域性测绘任务探测指定区域内所有IP地址的特定端口是否开放,产生的消息数量多,但每个消息只包含数个或数十个常用端口的扫描任务。全端口测绘任务是对特定的少量IP地址的所有端口进行探测,产生的消息数量少,但每个消息包含全部65535个端口的扫描任务。消息大小的巨大差异严重影响调度消息队列处理的稳定性和吞吐量。同时,实际的网络探测过程中,为了降低网络延时和避免由于网络不稳定造成的大量丢包,往往需要在全球不同地区部署多个探测节点,采用分布式探测技术,调度工作节点执行探测任务。因此,测绘任务不能高效分配和有效地调度管理,节点资源利用率低,系统的吞吐量不足,不利于提高测绘的效率和准确性。
此外,目前公开的批量任务调度方法使用分配服务器建立分配列表,动态管理各服务器上的闲置任务数,将待处理的任务分配给空闲的服务器,这类分配方式可以灵活适应任务处理变动,在充分利用处理服务器资源的基础上,及时、快速处理批量任务。但是这种分配方式以任务数目为单位划分,没有考虑到不同类型任务消耗的资源数目和类型的差异,无法达到最优的任务分配。同时,网络空间测绘任务对于隐蔽性需求较高,对任务消息的分割方式也有一定要求,目前的任务调度方法普遍不涉及此类需求。
发明内容
为解决现有测绘任务调度方法的不足,本发明提供的基于智能消息分割的高吞吐任务调度方法及系统,旨在解决当前网络空间测绘系统中针对多种不同类型测绘任务消息队列处理的不稳定性和吞吐量较低的问题。
本发明第一方面公开了一种基于智能消息分割的高吞吐任务调度方法;所述方法包括:
一种基于智能消息分割的高吞吐任务调度方法,其特征在于,所述方法包括:
步骤S1、构建消息链路:建立一组消息分发链路和一组消息回传链路;每条链路部署至少两层匿名异步中转跳板,分别位于本地服务器与消息服务器之间、消息服务器与工作节点之间,所述消息分发链路包括的消息服务器为消息分发处理服务器,消息回传链路包括的消息服务器为消息回传处理服务器,所述消息的分发回传不通过重复的链路;
步骤S2、确定消息分割策略:消息分发处理服务器接收本地服务器发送的任务,根据任务类型选择任务消息分割策略对任务消息进行分割,并基于分割后的任务消息所消耗的资源及实时空闲工作节点的数量动态确定最终的子任务的数量,并使分割后子任务消息大小与当前消息分发处理服务器消息队列中的消息大小差距在设定范围内;
步骤S3、对任务消息负载进行均衡处理:消息分发处理服务器根据步骤S2中获得的子任务所消耗资源,及各个工作节点持有资源进行任务分配,同时更新消息分发处理服务器内部存储的分配列表,所述分配列表记录工作节点与其对应的当前持有的闲置资源数,正在执行任务数及执行任务的相关信息。
根据本发明第一方面的方法,在所述步骤S1中,在所述本地服务器与工作节点间部署至少两层所述中转跳板和一层消息服务器,所述消息服务器前端与后端分别布设至少一层所述中转跳板。
根据本发明第一方面的方法,在所述步骤S2中,根据任务类型选择消息分割策略,对发送的任务进行子任务划分具体为:对于区域性测绘任务产生的任务消息按照消息数量进行分割;对全端口测绘任务产生的任务消息按照消息大小进行分割。
根据本发明第一方面的方法,所述步骤S3包括:将任务消息优先分配给剩余资源数高于门限阈值的工作节点;当工作节点的剩余资源数低于门限阈值时不再接收分发的任务消息。
根据本发明第一方面的方法,步骤S2还包括:将子任务设置为不同的优先级,所述消息分发处理服务器依据所述优先级为不同的子任务选择剩余资源数与门限阈值的差值大小不同的工作节点。
根据本发明第一方面的方法,步骤S3还包括:在工作节点中选择与测绘区域地理位置相近的工作节点W1,W2,...Wm,每个工作节点包含n类资源,其包含的各类资源总数为R11,R12,...,Rmn,负载资源分别为L11,L12,...,Lmn,可用资源A等于整体资源R与负载资源L之差,即A=R-L,则每一类可用资源总和为:
Figure SMS_1
,j=1...n,
其中,Aij表示第i个节点所包括的第j类可用资源;
消息分发处理服务器计算各个节点的分配概率,并将当前子任务以概率Pk分配给节点Wk
Figure SMS_2
根据本发明第一方面的方法,步骤S2中,对于区域性测绘任务,计算区域内IP地址的数量,并按照所述IP地址的数量对所述区域性测绘任务的任务消息分割;对于全端口或多端口测绘任务,按照计算的端口数量确定任务消息的大小,并根据所述任务消息的大小对全端口或多端口测绘任务的任务消息分割。
本发明第二方面公开了一种基于智能消息分割的高吞吐任务调度系统;其包括:
内网,被配置包括本地服务器和交换机;
消息分发链路,被配置为包括所述交换机下游的至少两层中转跳板和位于所述中转跳板之间的消息分发处理服务器;
工作节点,被配置为包括多台计算机设备,用于接收所述消息分发链路传递的子任务并对其进行处理,再将处理后的信息传递至消息接收链路;
消息接收链路,被配置为包括所述工作节点下游的至少两层中转跳板和位于所述中转跳板之间的消息回传处理服务器;
该系统用于实现第一方面的基于智能消息分割的高吞吐任务调度方法。
本发明第三方面公开了一种基于智能消息分割的高吞吐任务调度系统,包括消息分发链路和消息接收链路,所述消息分发链路和所述消息接收链路执行程序时,实现第一方面所述的基于智能消息分割的高吞吐任务调度方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质,存储有计算机可读存储指令,所述指令用于实现第一方面的基于智能消息分割的高吞吐任务调度方法中的步骤。
网络空间测绘中高吞吐任务调度系统的目标包括:测绘任务需要具有一定的隐蔽性,避免单个节点对同一目标主机进行频繁发包而被目标主机拦截、标记为恶意扫描或者录入黑名单;本发明所述技术方案对批量任务进行分发处理,通过负载均衡灵活适应任务处理变动,充分利用节点资源;对于不同类型测绘任务产生的消息,能自动选择最优的消息分割策略。
综上,本发明提出的方案具备如下技术效果:
(1)利用所述系统可以实现对测绘任务消息的高效传输,同时具有一定的隐蔽性和安全性;
(2)利用所述方法可以动态选择测绘任务的工作节点,实现任务分发中的负载均衡;
(3)利用所述方法可以对两类测绘任务自动拟定适合的消息分割策略,使得每个测绘任务产生的消息大小基本一致,具有高度的灵活性,并可以提高平台调度的吞吐量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种基于智能消息分割的高吞吐任务调度系统的总体部署结构图;
图2为根据本发明实施例的一种基于智能消息分割的高吞吐任务调度方法的任务消息分割及任务负载均衡的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明第一方面提供一种基于智能消息分割的高吞吐任务调度方法。如图2所示为根据本发明实施例的一种用于基于智能消息分割的高吞吐任务调度方法的流程图,所述方法包括:
步骤S1、构建消息链路:建立一组消息分发链路和一组消息回传链路;每条链路部署两层匿名异步中转跳板,分别位于本地服务器与消息服务器之间、消息服务器与工作节点之间,消息分发链路包括消息分发处理服务器,消息回传链路包括消息回传处理服务器,使得消息分发回传不通过重复的链路。
具体设置为构建隐蔽式通信链路,及包含所述隐蔽式通信链路的分布式探测系统,在包含本地服务器和交换机的内网与处理任务消息的计算机工作节点之间构建多条隐蔽式通信链路,所述隐蔽式通信链路包括消息分发链路和消息回传链路;所述消息分发链路包括两层匿名中转跳板,匿名中转跳板用于实现消息的匿名传输,可以通过计算机,路由器等实现,所述两层匿名中转跳板之间设置消息分发处理服务器,所述消息分发处理服务器用于隔离所述本地服务器与所述工作节点之间的交互流程。
所述消息回传链路包括两层匿名中转跳板匿名中转跳板用于实现消息的匿名传输,可以通过计算机,路由器等实现,所述两层匿名中转跳板之间设置消息回传处理服务器,所述消息回传处理服务器用于隔离所述工作节点与所述本地服务器之间的交互流程;
两层匿名中转跳板分别位于内网与消息服务器之间、消息服务器与计算机工作节点之间。
所述消息分发链路和所述消息回传链路部署在所述分布式探测系统的多个执行环节中,保障相应的隐蔽性和安全性。
按照任务流量的流向,构建的隐蔽链路为:内网的本地服务器或管理控制器通过网关交换机设备将任务消息分发出去,任务消息经过消息回传链路的匿名中转跳板,到达消息分发处理服务器,再经过匿名中转跳板,到达多个工作节点。多个工作节点的任务执行结束后,回传消息流量经过消息回传链路的匿名中转跳板,到达消息回传处理服务器,再经过匿名中转跳板,回到内网交换机。
即消息的分发回传经过多层跳板,且不通过重复的链路。
步骤S2、确定消息分割策略:消息分发处理服务器接收本地服务器发送的任务,根据任务类型选择任务消息分割策略对任务消息进行分割,并基于分割后的任务消息所消耗的资源及实时空闲工作节点的数量动态确定最终的子任务的数量,并使子任务消息大小与当前消息队列中的消息大小差距在设定范围内。
所述内网分发的任务消息到达消息分发服务器后,消息分发服务器根据测绘任务类型选择消息分割策略。
对于区域性测绘任务,根据IANA保留地址规则去除区域内无效IP地址后,计算区域内IP地址的数量(即消息的数量),按照数量将所述任务消息分割成。
单独的子任务的数量由消息分发服务器根据任务消息需要消耗的资源数和实时空闲工作节点的数量动态确定。确定单个子任务数量后,消息分发服务器生成相应数目的随机种子,以随机种子为参数,根据指定随机算法将任务消息划分为IP地址不连续的子任务,并将所述IP地址不连续的子任务分发至不同的空闲度的工作节点。
对于全端口(或多端口)测绘任务,计算端口的数量(即消息的大小),按照端口数量对所述任务消息分割。本实施例中,子任务的数量由消息分发处理服务器根据任务消耗的资源数和实时空闲工作节点的数量动态确定。相对于区域性测绘任务,全端口(或多端口)测绘任务对单个工作节点的测绘目标数量不设限制,全端口测绘任务为避免单个工作节点对同一目标主机频繁发包而被拦截,为单个工作节点的探测端口数量设定阈值,使得任务分割后每个子任务探测的端口数低于阈值。因此,当实时空闲工作节点的数量无法使单个节点分配到的端口数低于阈值时,根据每个端口的权值顺序进行子任务划分,权值由历史任务中该端口存活的概率确定,累计权值更高的子任务优先分配给空闲节点执行,另一部分子任务进入消息队列等待新的空闲节点。
特别地,子任务划分时可先计算划分后的消息大小,与当前消息队列中消息的大小进行比较,如果二者的差距大于预定的阈值,则应重新调整划分基准值。
步骤S3、对任务消息负载进行均衡处理:消息分发处理服务器根据步骤S2中获得的子任务所消耗资源,及各个工作节点持有资源进行任务分配,同时更新消息分发处理服务器内部存储的分配列表,所述分配列表记录工作节点与其对应的当前持有的闲置资源数,正在执行任务数及执行任务的相关信息。
任务消息分配的准备步骤包括节点服务器任务阈值的设定和分配服务器中分配列表的建立。
步骤3.1对于每台工作节点,根据其处理需要和机器性能,设定能够并发处理的最大原子任务数。所述原子任务,是指可以划分的任务消息的最小单元,也可称作基本任务,其属于不可分割的最小的任务单元。
所述工作节点的机器性能,即工作节点所持有的资源,包括计算资源、存储资源、网络资源、线程资源、会话资源等,不同类型测绘任务侧重使用的资源类型不同。不同类型的测绘任务,需要根据工作节点的不同资源类型的相应匹配。
步骤3.2 消息分发处理服务器在任务消息分配之前,预先与工作节点进行通信,并根据测绘任务的类型和工作节点的机器性能建立分配列表,分配列表中记录相应工作节点当前持有的闲置资源数。
所述分布式探测系统运行过程中,分配列表记录各工作节点正在执行的任务消息的数量及执行任务的相关信息。
准备工作完成后,开始任务调度分配。
步骤3.3消息分发处理服务器在进行任务调度分配时,通过为节点设置概率完成概率随机调度。
首先依据探测插件计算处理任务消息需消耗的资源,从所有工作节点中过滤掉不满足需求的节点,并优先在剩余节点中选择与测绘区域地理位置相近的工作节点W1,W2,...Wm,每个工作节点包含n类资源,其包含的各类资源总数为R11,R12,...,Rmn,负载资源分别为L11,L12,...,Lmn,可用资源A等于整体资源R与负载资源L之差,即A=R-L,则每一类可用资源总和为:
Figure SMS_3
,j=1...n,/>
其中,Aij表示第i个节点所包括的第j类可用资源;
消息分发处理服务器计算各个节点的分配概率,并将当前子任务以概率Pk分配给节点Wk
Figure SMS_4
工作节点各类型可用资源越多,则任务调度到本节点的概率越大。消息分发处理服务器将任务分配给空闲的工作节点后,更新分配列表和可用资源列表。
更新分配列表时,当所述工作节点的可用资源数过少时,即工作节点的原子任务数超过设定阈值时,将该工作节点的状态设置为不可分配,后续不再计算其分配概率。所述工作节点的任务执行结束后,主动向消息分发处理服务器请求更新分配列表,释放资源,当工作节点的负载低于所设定的阈值时,所述工作节点的状态更新为可分配,消息分发处理服务器继续向该工作节点分配新的原子任务。
同时,待处理的原始任务消息可以设置为三个优先级,消息分发处理服务器为不同等级的原始任务消息设置不同的分发速率阈值,将优先级高的原始任务消息对应的原子任务优先分发至工作负载最低的工作节点,即强制选择分配概率最高的节点作为任务的分配节点,以便更快执行。
本发明第二方面公开了一种基于智能消息分割的高吞吐任务调度系统。图1为根据本发明实施例的一种基于智能消息分割的高吞吐任务调度系统的结构图;所述系统包括:
内网,被配置为本地服务器和交换机;
消息分发链路,被配置为两层中转跳板和位于所述中转跳板之间的消息分发处理服务器;
工作节点,被配置为10台计算机设备,用于接收所述消息分发链路传递的任务消息并进行处理,再将处理后的信息传递至消息接收链路;
消息接收链路,被配置为所述工作节点下游的两层中转跳板和位于所述中转跳板之间的消息回传处理服务器。
所述内网分发的任务消息到达消息分发服务器后,消息分发服务器根据测绘任务类型选择消息分割策略。
对于区域性测绘任务和全端口(或多端口)测绘任务,分别根据任务消息数量和端口的数量(即消息的大小),按照任务消息数量或/和端口数量将不同类型的所述任务消息分割成子任务。
本实施例中,子任务的数量由消息分发处理服务器根据任务消耗的资源数和实时空闲工作节点的数量动态确定。
相对于区域性测绘任务,全端口(或多端口)测绘任务对单个工作节点的测绘目标数量不设限制,全端口测绘任务为避免单个工作节点对同一目标主机频繁发包而被拦截,为单个工作节点的探测端口数量设定阈值,使得任务分割后每个子任务探测的端口数低于阈值。因此,当实时空闲工作节点的数量无法使单个节点分配到的端口数低于阈值时,根据每个端口的权值顺序进行子任务划分,权值由历史任务中该端口存活的概率确定,累计权值更高的子任务优先分配给空闲节点执行,另一部分子任务进入消息队列等待新的空闲节点。
特别地,子任务划分时可先计算划分后的消息大小,与当前消息队列中消息的大小进行比较,如果二者的差距大于预定的阈值,则重新调整划分基准值。
任务消息分配的准备步骤包括节点服务器任务阈值的设定和分配服务器中分配列表的建立。
对于每台工作节点,根据其处理需要和机器性能,设定能够并发处理的最大原子任务数。不同类型测绘任务侧重使用的资源类型不同。不同类型的测绘任务,需要根据工作节点的不同资源类型相应匹配。
消息分发处理服务器在任务消息分配之前,预先与工作节点进行通信,并根据测绘任务的类型和工作节点的机器性能建立分配列表,分配列表中记录相应工作节点当前持有的闲置资源数。
所述分布式探测系统运行过程中,分配列表记录各工作节点正在执行的任务消息的数量及执行任务的相关信息。
准备工作完成后,开始任务调度分配;分配时,首先依据探测插件计算处理任务消息需消耗的资源,然后将任务消息分配给持有不少于需消耗的资源的空闲的工作节点,同时更新分配列表。
更新分配列表时,消息分发处理服务器根据工作节点持有的资源和任务消息需消耗的资源计算工作节点剩余空闲资源,当所述工作节点的空闲资源数过少时,即工作节点的原子任务数超过设定阈值时,将该工作节点的状态设置为不可分配。所述工作节点的任务执行结束后,主动向消息分发处理服务器请求更新分配列表,释放资源,当工作节点的负载低于所设定的阈值时,所述工作节点的状态更新为可分配,消息分发处理服务器继续向该工作节点分配新的原子任务。
优选地,待处理的原始任务消息可以设置为三个优先级,消息分发处理服务器为不同等级的原始任务消息设置不同的分发速率阈值,将优先级高的原始任务消息对应的原子任务优先分发至工作负载最低的工作节点,以便更快执行。
综上,本发明提出的技术方案具备如下技术效果:本发明所述网络空间测绘中基于智能消息分割的高吞吐任务调度系统的测绘任务需要具有一定的隐蔽性,避免单个节点对同一目标主机进行频繁发包而被目标主机拦截、标记为恶意扫描或者录入黑名单;对批量任务进行分发处理,通过负载均衡灵活适应任务处理变动,可以充分利用节点资源;对于不同类型测绘任务产生的消息,所述任务调度系统能自动选择最优的消息分割策略。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于智能消息分割的高吞吐任务调度方法,其特征在于,所述方法包括:
步骤S1、构建消息链路:建立一组消息分发链路和一组消息回传链路;每条链路部署至少两层匿名异步中转跳板,分别位于本地服务器与消息服务器之间、消息服务器与工作节点之间,所述消息分发链路包括的消息服务器为消息分发处理服务器,消息回传链路包括的消息服务器为消息回传处理服务器,所述消息的分发回传不通过重复的链路;
步骤S2、确定消息分割策略:消息分发处理服务器接收本地服务器发送的任务,根据任务类型选择任务消息分割策略对任务消息进行分割,并基于分割后的任务消息所消耗的资源及实时空闲工作节点的数量动态确定最终的子任务的数量,并使分割后子任务消息大小与当前消息分发处理服务器消息队列中的消息大小差距在设定范围内;
步骤S3、对任务消息负载进行均衡处理:消息分发处理服务器根据步骤S2中获得的子任务所消耗资源,及各个工作节点持有资源进行任务分配,同时更新消息分发处理服务器内部存储的分配列表,所述分配列表记录工作节点与其对应的当前持有的闲置资源数,正在执行任务数及执行任务的相关信息;
在所述步骤S2中,根据任务类型选择消息分割策略,对发送的任务进行子任务划分具体为:对于区域性测绘任务产生的任务消息按照消息数量进行分割;对全端口测绘任务产生的任务消息按照消息大小进行分割
步骤S3还包括:在工作节点中选择与测绘区域地理位置相近的工作节点W1,W2,...Wm,每个工作节点包含n类资源,其包含的各类资源总数为R11,R12,...,Rmn,负载资源分别为L11,L12,...,Lmn,可用资源A等于整体资源R与负载资源L之差,即A=R-L,则每一类可用资源总和为:
Figure QLYQS_1
其中,Aij表示第i个节点所包括的第j类可用资源;
消息分发处理服务器计算各个节点的分配概率,并将当前子任务以概率Pk分配给节点Wk
Figure QLYQS_2
2.根据权利要求1所述的基于智能消息分割的高吞吐任务调度方法,其特征在于,在所述步骤S1中,在所述本地服务器与工作节点间部署至少两层所述中转跳板和一层消息服务器,所述消息服务器前端与后端分别布设至少一层所述中转跳板。
3.根据权利要求2所述的基于智能消息分割的高吞吐任务调度方法,其特征在于,所述步骤S3包括:将子任务优先分配给剩余资源数高于门限阈值的工作节点;当工作节点的剩余资源数低于门限阈值时不再接收分发的子任务。
4.根据权利要求3所述的基于智能消息分割的高吞吐任务调度方法,其特征在于,步骤S2还包括:将子任务设置为不同的优先级,所述消息分发处理服务器依据所述优先级为不同的子任务选择剩余资源数与门限阈值之间的差值大小不同的工作节点。
5.根据权利要求1所述的基于智能消息分割的高吞吐任务调度方法,其特征在于,步骤S2中,对于区域性测绘任务,计算区域内IP地址的数量,并按照所述IP地址的数量对所述区域性测绘任务的任务消息分割;对于全端口或多端口测绘任务,按照计算的端口数量确定任务消息的大小,并根据所述任务消息的大小对全端口或多端口测绘任务进行任务消息分割。
6.一种基于智能消息分割的高吞吐任务调度系统,其特征在于,所述系统包括:
内网,被配置包括本地服务器和交换机;
消息分发链路,被配置为包括所述交换机下游的至少两层中转跳板和位于所述至少两层中转跳板之间的消息分发处理服务器;
工作节点,被配置为包括多台计算机设备,用于接收所述消息分发链路传递的子任务并对其进行处理,再将处理后的信息传递至消息回传链路;
消息回传链路,被配置为包括所述工作节点下游的至少两层中转跳板和位于所述中转跳板之间的消息回传处理服务器;
该系统用于实现权利要求1-5中任一项所述的基于智能消息分割的高吞吐任务调度方法。
7.一种基于智能消息分割的高吞吐任务调度系统,其特征在于,包括消息分发链路和消息接收链路,所述消息分发链路和所述消息接收链路执行程序时,实现权利要求1至5中任一项所述的基于智能消息分割的高吞吐任务调度方法中的步骤。
8.一种计算机可读存储介质,存储有计算机可读存储指令,其特征在于,所述指令用于实现权利要求1至5中任一项所述的基于智能消息分割的高吞吐任务调度方法中的步骤。
CN202310355076.5A 2023-04-06 2023-04-06 基于智能消息分割的高吞吐任务调度方法、系统及介质 Active CN116074322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310355076.5A CN116074322B (zh) 2023-04-06 2023-04-06 基于智能消息分割的高吞吐任务调度方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310355076.5A CN116074322B (zh) 2023-04-06 2023-04-06 基于智能消息分割的高吞吐任务调度方法、系统及介质

Publications (2)

Publication Number Publication Date
CN116074322A CN116074322A (zh) 2023-05-05
CN116074322B true CN116074322B (zh) 2023-06-02

Family

ID=86173509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310355076.5A Active CN116074322B (zh) 2023-04-06 2023-04-06 基于智能消息分割的高吞吐任务调度方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116074322B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984140A (zh) * 2012-11-21 2013-03-20 中国人民解放军国防科学技术大学 基于行为片段共享的恶意软件特征融合分析方法及系统
CN110659123A (zh) * 2019-11-29 2020-01-07 中国人民解放军国防科技大学 一种基于消息的分布式任务分发调度方法及装置
CN112468449A (zh) * 2020-11-06 2021-03-09 中国电子科技集团公司电子科学研究院 一种反溯源安全受控入网通道资源优化配置算法
CN113032655A (zh) * 2021-04-14 2021-06-25 中国刑事警察学院 一种暗网电子数据提取固定方法
CN115442139A (zh) * 2022-09-02 2022-12-06 中国人民解放军国防科技大学 一种面向局域网的多层网络拓扑关系构建方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4311204A3 (en) * 2017-08-28 2024-04-10 Bright Data Ltd. Method for improving content fetching by selecting tunnel devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984140A (zh) * 2012-11-21 2013-03-20 中国人民解放军国防科学技术大学 基于行为片段共享的恶意软件特征融合分析方法及系统
CN110659123A (zh) * 2019-11-29 2020-01-07 中国人民解放军国防科技大学 一种基于消息的分布式任务分发调度方法及装置
CN112468449A (zh) * 2020-11-06 2021-03-09 中国电子科技集团公司电子科学研究院 一种反溯源安全受控入网通道资源优化配置算法
CN113032655A (zh) * 2021-04-14 2021-06-25 中国刑事警察学院 一种暗网电子数据提取固定方法
CN115442139A (zh) * 2022-09-02 2022-12-06 中国人民解放军国防科技大学 一种面向局域网的多层网络拓扑关系构建方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Internet服务可访问性技术综述;谭庆丰;时金桥;王学宾;顾钊全;崔翔;;信息技术与网络安全(06);第22-31页 *
Research on task scheduling and concurrent processing technology for energy internet operation platform;Zhixiang Ji et al;;Global Energy Interconnection;第05卷(第06期);第579-589页 *
匿名通信系统方案及二次调整路由算法;徐小龙;万富强;;南京邮电大学学报(自然科学版)(04);第71-80页 *

Also Published As

Publication number Publication date
CN116074322A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Mesbahi et al. Load balancing in cloud computing: a state of the art survey
CN107995123B (zh) 一种基于交换机的负载均衡系统及方法
US11706088B2 (en) Analyzing and configuring workload distribution in slice-based networks to optimize network performance
CN102624922B (zh) 一种网络gis异构集群服务器负载均衡方法
CN106131106B (zh) 一种基于组件的微云、微云的组网方法及装置
CN111901236B (zh) 一种利用动态路由优化openstack云网络的方法及系统
CN112350952B (zh) 控制器分配方法、网络业务系统
CN112351083B (zh) 业务处理方法、网络业务系统
CN112187864B (zh) 负载均衡方法、装置、存储介质及电子设备
US20220318071A1 (en) Load balancing method and related device
JP2005310120A (ja) 計算機システム及びタスク割当方法
Hsu et al. Virtual network mapping algorithm in the cloud infrastructure
Fu et al. An efficient VNF deployment scheme for cloud networks
CN111800348A (zh) 一种负载均衡方法和装置
CN104954477B (zh) 一种基于并发改进的大规模图数据流式划分方法及系统
CN112243036B (zh) PaaS服务的数据处理方法及装置、设备、存储介质
CN116074322B (zh) 基于智能消息分割的高吞吐任务调度方法、系统及介质
Chintapalli et al. RESTRAIN: A dynamic and cost-efficient resource management scheme for addressing performance interference in NFV-based systems
CN107682265B (zh) 支付系统的报文路由方法及装置
Lin et al. Online traffic-aware linked VM placement in cloud data centers
CN114866544B (zh) 云边环境中面向cpu异构集群的容器化微服务负载均衡方法
CN115208654A (zh) 一种基于负载均衡的内生安全交换机防御执行体构建方法
CN111901153B (zh) 一种面向战术边缘的分散计算架构
Hoang et al. New distributed constraint satisfaction algorithms for load balancing in edge computing: A feasibility study
Dimolitsas et al. A Delay-Aware Approach for Distributed Embedding Towards Cross-Slice Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant