CN116708451B - 一种边云协同调度方法及系统 - Google Patents
一种边云协同调度方法及系统 Download PDFInfo
- Publication number
- CN116708451B CN116708451B CN202310986681.2A CN202310986681A CN116708451B CN 116708451 B CN116708451 B CN 116708451B CN 202310986681 A CN202310986681 A CN 202310986681A CN 116708451 B CN116708451 B CN 116708451B
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- scheduled
- processing
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1014—Server selection for load balancing based on the content of a request
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Multi Processors (AREA)
Abstract
本发明涉及电数字数据处理技术领域,具体涉及一种边云协同调度方法及系统。该方法包括:基于云端服务器获取待调度请求,获得待调度数据、计划处理时间和紧急程度;确定待调度数据的特征参数;根据特征参数将待调度数据划分为云端处理数据和边缘处理数据;根据边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定边缘处理数据的优先级系数;进而结合每个边缘服务器的算力和最大进程数确定调度指标;根据调度指标对边缘处理数据进行调度,得到每个边缘服务器的分配数据。本发明更能够有效对待调度数据进行合理均衡调度,提升数据调度效率。
Description
技术领域
本发明涉及电数字数据处理技术领域,具体涉及一种边云协同调度方法及系统。
背景技术
边云协同是指边缘计算和云计算之间的协同工作方式和架构,在边云协同中,边缘设备和云端资源相互合作,共同完成任务和提供服务。边缘计算是指在靠近物或数据源头的一侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘计算服务,满足应用的实时性和数据保护等方面的需求。以物联网场景举例,物联网中的设备产生大量的数据,数据都上传到云端进行处理,会对云端造成巨大的压力,为分担中心云节点的压力,可以将云端将数据任务调度至边缘节点进行处理,边缘计算节点可以负责自己范围内的数据计算,然后再将处理后的数据汇总到云端进行数据分析、挖掘。
相关技术中,使用轮询算法分别对每个边缘服务器进行数据调度,这种方式下,虽然能够保证每个边缘服务器获得到的数据的数量相同,但由于不同数据所对应数据量、处理方式的差异和不同边缘服务器的数据处理能力的差异,在短时访问数据量较大时,会导致部分边缘服务器接收到大量数据,而另外部分边缘服务器由于分配到更小的数据而处理完成处于空闲状态,也即无法对数据进行合理均衡的调度,导致服务器的处理效率较低,进而导致数据拥堵问题,降低服务器的响应速度。
发明内容
为了解决相关技术中无法对数据进行合理均衡调度,导致服务器的处理效率较低,进而导致数据拥堵问题,降低服务器的响应速度的技术问题,本发明提供一种边云协同调度方法及系统,所采用的技术方案具体如下:
本发明提出了一种边云协同调度方法,方法包括:
基于云端服务器获取待调度请求,根据所述待调度请求获得待调度数据、待调度数据的计划处理时间和紧急程度;
根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得所述待调度数据的特征参数;根据所述云端服务器在同时刻的处理待调度请求的最大数量和所述特征参数,将所述待调度数据划分为云端处理数据和边缘处理数据,其中,所述云端处理数据为云端服务器所处理的数据,所述边缘处理数据为所述云端服务器发送至边缘服务器进行处理的数据;
根据所述边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定所述边缘处理数据的优先级系数;获取每个边缘服务器的算力和最大进程数,根据所述边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标;
根据所述调度指标对所述边缘处理数据进行调度,得到每个边缘服务器的分配数据。
进一步地,所述根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得所述待调度数据的特征参数,包括:
将所述待调度数据的数据量和计划处理时间的乘积的归一化值作为数据量系数,计算所有所述待调度数据的数据量系数的均值作为数据量均值,将所述数据量系数和所述数据量均值的比值作为所述待调度数据的第一影响因子;
将所述待调度数据的紧急程度的归一化值作为第二影响因子;
根据所述第一影响因子和所述第二影响因子获得所述待调度数据的特征参数,其中,所述第一影响因子与所述特征参数呈正相关关系,所述第二影响因子与所述特征参数呈正相关关系。
进一步地,所述根据所述云端服务器在同时刻的处理待调度请求的最大数量和所述特征参数,将所述待调度数据划分为云端处理数据和边缘处理数据,包括:
将所述云端服务器在同时刻的处理待调度请求的最大数量作为目标数量;
对所述特征参数由大到小进行排序,选择所述特征参数最大的目标数量个待调度数据作为云端处理数据,其他的待调度数据作为边缘处理数据。
进一步地,所述根据所述边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定所述边缘处理数据的优先级系数,包括:
计算所有边缘处理数据的计划处理时间的均值得到处理时间均值,计算每一边缘处理数据的计划处理时间与所述处理时间均值的差值归一化值得到时间系数;
将所述边缘处理数据的特征参数和时间系数的乘积作为优先级系数。
进一步地,所述根据所述边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标,包括:
将所有边缘服务器的算力的累加值作为算力总量,计算每个边缘服务器的算力与算力总量的比值作为算力占比;
将分配至每一边缘服务器的所有边缘处理数据的优先级系数和特征参数的乘积的累加值作为对应边缘服务器的分配优先级值,计算每一边缘服务器的分配优先级值与所有边缘服务器的分配优先级值的和值的比值作为分配优先级占比;
计算所述分配优先级占比与所述算力占比的比值作为分配处理系数;
将分配至每一边缘服务器的所有边缘处理数据的数量和对应边缘服务器的最大进程数的比值作为分配进程系数;
计算所述分配处理系数和分配进程系数的乘积作为调度指标。
进一步地,所述根据所述调度指标对所述边缘处理数据进行调度,得到每个边缘服务器的分配数据,包括:
计算所有边缘服务器对应调度指标的方差,在所述方差最小时,将每个边缘服务器分配的边缘处理数据作为对应边缘服务器的分配数据。
本发明还提出了一种边云协同调度系统,所述系统包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如前述所述的一种边云协同调度方法。
本发明具有如下有益效果:
综上所述,本发明通过获取待调度请求,进而根据待调度请求获得待调度数据、待调度数据的计划处理时间和紧急程度,根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得待调度数据的特征参数,其中,特征参数的获取能够对每一待调度数据进行数据量、处理时间和紧急程度的综合分析,进而能够对待调度数据进行全方位、多角度的调度分析,从而保证数据调度的可靠性。根据云端服务器在同时刻的处理待调度请求的最大数量和特征参数,将待调度数据划分为云端服务器处理的云端处理数据和边缘服务器处理的边缘处理数据,对待调度数据进行划分,从而先筛选出需要云端服务器进行处理的数据,使得能够先对云端服务器进行分配,保证云端服务器所分配的云端处理数据能够快速及时的处理完成,不延误下一节点待调度请求的处理,提升整个数据处理流程的流程效率;根据边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定边缘处理数据的优先级系数;获取每个边缘服务器的算力和最大进程数,根据边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标,通过调度指标对每一个边缘服务器所分配的边缘处理数据进行数据调度分析,得到每个边缘服务器的分配数据,保证所有边缘服务器的合理均衡的分配,从而提升边缘处理数据的处理效率。本发明能够根据待调度数据的数据特征和各服务器的数据处理能力,对待调度数据进行合理均衡的调度,有效提升云端服务器和边缘服务器的处理效率,有效降低数据拥堵问题,提升服务器的响应速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种边云协同调度方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种边云协同调度方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种边云协同调度方法及系统的具体方案。
本发明的实施场景包括一个云端服务器和多个边缘服务器,其中,云端服务器和边缘服务器均为物联网场景下的服务器,可以实现数据的处理,但每个服务器的处理速度和算力均有所差异,因此,需要对数据进行合理均衡的调度,以提升数据处理速度。
请参阅图1,其示出了本发明一个实施例提供的一种边云协同调度方法流程图,该方法包括:
S101:基于云端服务器获取待调度请求,根据待调度请求获得待调度数据、待调度数据的计划处理时间和紧急程度。
本发明实施例中,可以由云端服务器接收外界发送的待调度请求,其中,待调度请求为对数据进行调度处理的请求信息,本发明在接收到待调度请求之后,根据待调度请求从对应设备中获取待调度数据、待调度数据的计划处理时间和紧急程度。
其中,待调度数据,可以具体例如为待进行调度和数据处理分析等操作的数据,可以理解的是,不同的待调度数据可以具有不同的数据量,不同的待调度数据在处理过程中所需的时间也不同,因此,可以分别对每一个待调度数据预先配置其对应的计划处理时间,该计划处理时间也即预测的对该待调度数据进行数据处理所需的时间。
可以理解的是,每个待调度数据均有处理的紧急程度,本发明可以使用具体的数值表征每个待调度数据的紧急程度,该紧急程度也为每个待调度数据所具有的预设的数值,紧急程度的数值越大,表征对应的待调度数据越需要尽快处理,举例而言,待调度数据A的紧急程度为80,待调度数据B的紧急程度为70,则待调度数据A比待调度数据B更需要尽快处理。
本发明实施例中,通过获取待调度数据、待调度数据的计划处理时间和紧急程度,能够对待调度数据进行全方位、多角度的调度分析,从而保证数据调度的可靠性。
S102:根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得待调度数据的特征参数;根据云端服务器在同时刻的处理待调度请求的最大数量和特征参数,将待调度数据划分为云端处理数据和边缘处理数据。
进一步地,本发明的一些实施例中,根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得待调度数据的特征参数,包括:将待调度数据的数据量和计划处理时间的乘积的归一化值作为数据量系数,计算所有待调度数据的数据量系数的均值作为数据量均值,将数据量系数和数据量均值的比值作为待调度数据的第一影响因子;将待调度数据的紧急程度的归一化值作为第二影响因子;根据第一影响因子和第二影响因子获得待调度数据的特征参数,其中,第一影响因子与特征参数呈正相关关系,第二影响因子与特征参数呈正相关关系。
在本发明的一个实施例中,归一化处理可以具体例如为最大最小值归一化处理,并且,后续步骤中的归一化均可以采用最大最小值归一化处理,在本发明的其他实施例中可以根据数值具体范围选择其他归一化方法,对此不再赘述。
其中,正相关关系表示因变量会随着自变量的增大而增大,因变量会随着自变量的减小而减小,具体关系可以为相乘关系、相加关系、指数函数的幂等,对此不做限制。
可选地,在本发明的一些实施例中,特征参数对应的计算公式可以具体例如为:
式中,表示第i个待调度数据的特征参数,i表示待调度数据的索引,/>表示第i个待调度数据的数据量,/>表示第i个待调度数据的计划处理时间,/>表示第i个待调度数据的紧急程度,G()表示归一化处理,N表示待调度数据的总数量,/>表示第二影响因子。
则式中,表示数据量系数,/>表示数据量均值,/>表示第一影响因子,可以理解的是,数据量系数越大,越可以表征对应待调度数据的数据量和计划处理时间较大,也即该待调度数据在处理过程中更为复杂且处理耗时更久,而第二影响因子可表征对应待调度数据处理的紧急性,因此,通过第一影响因子和第二影响因子获得待调度数据的特征参数,特征参数越大,越可以表征对应待调度数据需要被紧急快速处理。
进一步地,本发明的一些实施例中,根据云端服务器在同时刻的处理待调度请求的最大数量和特征参数,将待调度数据划分为云端处理数据和边缘处理数据,包括:将云端服务器在同时刻的处理待调度请求的最大数量作为目标数量;对特征参数由大到小进行排序,选择特征参数最大的目标数量个待调度数据作为云端处理数据,其他的待调度数据作为边缘处理数据。
其中,云端处理数据为云端服务器所处理的数据,边缘处理数据为云端服务器发送至边缘服务器进行处理的数据,也即是说,本发明预先将待调度数据划分为云端服务器处理的数据和边缘服务器处理的数据。可以理解的是,由于云端服务器能够快速执行数据处理工作,而边缘服务器则需要等待云端服务器的调度,因此,本发明将更为紧急且数据量更大的数据交由云端服务器进行执行,本发明将云端服务器在同时刻的处理待调度请求的最大数量作为目标数量,该目标数量,即为云端服务器所能处理的最大进程数,则本发明实施例可以选择特征参数最大的目标数量个待调度数据作为云端处理数据,其他的待调度数据作为边缘处理数据,从而能够保证紧急且数据量较大的数据能够被优先、快速处理,且不妨碍下一节点的待调度请求的分析和调度。
S103:根据边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定边缘处理数据的优先级系数;获取每个边缘服务器的算力和最大进程数,根据边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标。
进一步地,本发明的一些实施例中,根据边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定边缘处理数据的优先级系数,包括:计算所有边缘处理数据的计划处理时间的均值得到处理时间均值,计算每一边缘处理数据的计划处理时间与处理时间均值的差值归一化值得到时间系数;将边缘处理数据的特征参数和时间系数的乘积作为优先级系数。在本发明的一些实施例中,优先级系数对应的计算公式可以具体例如为:
式中,表示第b个边缘处理数据的优先级系数,/>表示第b个边缘处理数据的特征参数,/>表示第b个边缘处理数据的计划处理时间,r表示边缘处理数据的总数量,表示处理时间均值,/>表示时间系数,G()表示归一化处理。
可以理解的是,计划处理时间与处理时间均值的差值越小,越可以表征对应边缘处理数据的计划处理时间小于均值时间,也即所对应边缘处理数据所需的处理时间越少,因为在进行数据处理时,为了能够均衡的对边缘处理数据进行合理有效的分配处理,所需要处理时间较长的边缘处理数据需要进行提前处理,因此其优先级较大,而对于所需时间较短的边缘处理数据,可以等待一下再进行处理,也能够及时的进行反馈,则本发明使用时间系数作为特征参数的权值,这样既避免了所需时间较长的边缘处理数据等待的时间过长,又避免了因提高了其他边缘处理数据的优先级导致所需时间较短的边缘处理数据的等待时间增加的情况,增强优先级系数的客观性与可靠性。
在确定每个边缘处理数据的优先级系数之后,根据每个边缘服务器的处理能力对边缘处理数据进行调度。
其中,每个边缘服务器的算力和最大进程数均为对应边缘服务器所具有的特征,本发明可以根据每个边缘服务器的状态实时更新不同时间点的算力和最大进程数,以便于实现边缘处理数据的有效调配。
进一步地,本发明的一些实施例中,根据边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标,包括:将所有边缘服务器的算力的累加值作为算力总量,计算每个边缘服务器的算力与算力总量的比值作为算力占比;将分配至每一边缘服务器的所有边缘处理数据的优先级系数和特征参数的乘积的累加值作为对应边缘服务器的分配优先级值,计算每一边缘服务器的分配优先级值与所有边缘服务器的分配优先级值的和值的比值作为分配优先级占比;计算分配优先级占比与算力占比的比值作为分配处理系数;将分配至每一边缘服务器的所有边缘处理数据的数量和对应边缘服务器的最大进程数的比值作为分配进程系数;计算分配处理系数和分配进程系数的乘积作为调度指标。
本发明实施例中,通过获得算力占比和分配优先级占比,并计算分配优先级占比与算力占比的比值作为分配处理系数。
可以理解的是,对于多线程的边缘服务器,可以同时处理多个数据请求,而在进行边缘处理数据分配时,为了能够使得运算效率达到最大,每一个边缘服务器都需要满载,按照现有分布式系统轮询算法,其会依次向边缘服务器进行数据分配,那么就可能会导致某一边缘服务器被分配到多个运算量较大的边缘处理数据,而其他服务器就会被分配到多个较小的边缘处理数据,而数据量较大的边缘处理数据其计算量较大,所需要消耗的时间较长;数据量较小的边缘处理数据计算量较小,则消耗的时间较短,这样就会导致部分边缘服务器出现线程空缺,也就是没有占用所有的线程进行数据处理,而分配到数据量较大的边缘服务器则会一直满载运行,势必会导致数据处理速度下降。
因此,本发明实施例中不使用边缘处理数据进行轮询,而是根据数据量、每个边缘服务器的算力和最大进程数进行均衡的分配。在对边缘服务器进行边缘处理数据分配调度时,边缘服务器的算力越大,数据处理能力越强,对应的越能够承载更多的边缘处理数据的处理工作,因此,其分配的分配优先级值越高,为了使得所有边缘服务器均能够根据其算力情况,对分配优先级值进行合理分配,则将分配优先级占比与算力占比的比值作为分配处理系数,由此得到每个边缘服务器所分别对应的分配处理系数,在每个边缘服务器的分配处理系数均相同时,可以表征对每个边缘服务器所分配的边缘处理数据能够按照较均衡的分配规则进行分配,也即考虑每个边缘服务器的算力,分配一个或多个相应优先级的边缘处理数据,从而使得所有边缘服务器能够均衡地使用最大算力进行数据处理。
同时,考虑到不同服务器的最大进程数的不同,将调度至每一边缘服务器的所有边缘处理数据的数量和对应边缘服务器的最大进程数的比值作为分配进程系数,使得每个边缘服务器能够根据最大进程进行边缘处理数据的调度,保证每个边缘服务器的满负荷运行。
由此,计算分配处理系数和分配进程系数的乘积作为调度指标,根据调度指标表征每个边缘服务器的数据调度情况,便于后续根据调度指标进行数据调度。
S104:根据调度指标对边缘处理数据进行调度,得到每个边缘服务器的分配数据。
进一步地,本发明的一些实施例中,根据调度指标对边缘处理数据进行调度,得到每个边缘服务器的分配数据,包括:计算所有边缘服务器对应调度指标的方差,在方差最小时,将每个边缘服务器分配的边缘处理数据作为对应边缘服务器的分配数据。
其中,通过模拟更改各边缘处理数据所对应的边缘服务器,得到所有边缘处理数据的调度方案,而后计算每种调度方案中调度指标的方差,在方差最小时,则可以表征每个边缘服务器所分别对应的调度指标越相近,也即每个边缘服务器均能根据其自身的数据处理能力分配到合适的边缘处理数据,保证每个边缘服务器的运行效率的同时,提升了整体数据处理的效率。
综上所述,本发明通过获取待调度请求,进而根据待调度请求获得待调度数据、待调度数据的计划处理时间和紧急程度,根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得待调度数据的特征参数,其中,特征参数的获取能够对每一待调度数据进行数据量、处理时间和紧急程度的综合分析,进而能够对待调度数据进行全方位、多角度的调度分析,从而保证数据调度的可靠性。根据云端服务器在同时刻的处理待调度请求的最大数量和特征参数,将待调度数据划分为云端服务器处理的云端处理数据和边缘服务器处理的边缘处理数据,对待调度数据进行划分,从而先筛选出需要云端服务器进行处理的数据,使得能够先对云端服务器进行分配,保证云端服务器所分配的云端处理数据能够快速及时的处理完成,不延误下一节点待调度请求的处理,提升整个数据处理流程的流程效率;根据边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定边缘处理数据的优先级系数;获取每个边缘服务器的算力和最大进程数,根据边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标,通过调度指标对每一个边缘服务器所分配的边缘处理数据进行数据调度分析,得到每个边缘服务器的分配数据,保证所有边缘服务器的合理均衡的分配,从而提升边缘处理数据的处理效率。本发明能够根据待调度数据的数据特征和各服务器的数据处理能力,对待调度数据进行合理均衡的调度,有效提升云端服务器和边缘服务器的处理效率,有效降低数据拥堵问题,提升服务器的响应速度。
本发明还提出了一种边云协同调度系统,系统包括存储器和处理器,处理器执行存储器存储的计算机程序,以实现如前述的一种边云协同调度方法。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (4)
1.一种边云协同调度方法,其特征在于,应用于云端服务器和至少两个边缘服务器,所述方法包括:
基于云端服务器获取待调度请求,根据所述待调度请求获得待调度数据、待调度数据的计划处理时间和紧急程度;
根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得所述待调度数据的特征参数;根据所述云端服务器在同时刻的处理待调度请求的最大数量和所述特征参数,将所述待调度数据划分为云端处理数据和边缘处理数据,其中,所述云端处理数据为云端服务器所处理的数据,所述边缘处理数据为所述云端服务器发送至边缘服务器进行处理的数据;
根据所述边缘处理数据的特征参数和所有边缘处理数据的计划处理时间,确定所述边缘处理数据的优先级系数;获取每个边缘服务器的算力和最大进程数,根据所述边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标;
根据所述调度指标对所述边缘处理数据进行调度,得到每个边缘服务器的分配数据;
所述根据所述边缘处理数据的特征参数、优先级系数、每个边缘服务器的算力和最大进程数,得到调度指标,包括:
根据所有边缘服务器的算力得到每个边缘服务器的算力占比;
根据所述优先级系数和特征参数确定分配优先级占比;
计算所述分配优先级占比与所述算力占比的比值作为分配处理系数;
将分配至每一边缘服务器的所有边缘处理数据的数量和对应边缘服务器的最大进程数的比值作为分配进程系数;
计算所述分配处理系数和分配进程系数的乘积作为调度指标;
所述根据所述优先级系数和特征参数确定分配优先级占比,包括:
将分配至每一边缘服务器的所有边缘处理数据的优先级系数和特征参数的乘积的累加值作为对应边缘服务器的分配优先级值;
计算每一边缘服务器的分配优先级值与所有边缘服务器的分配优先级值的和值的比值作为分配优先级占比;
所述根据所有边缘服务器的算力得到每个边缘服务器的算力占比,包括:
将所有边缘服务器的算力的累加值作为算力总量,计算每个边缘服务器的算力与算力总量的比值作为算力占比;
所述根据所述调度指标对所述边缘处理数据进行调度,得到每个边缘服务器的分配数据,包括:
计算所有边缘服务器对应调度指标的方差,在所述方差最小时,将每个边缘服务器分配的边缘处理数据作为对应边缘服务器的分配数据;
其中,特征参数的计算公式为:
式中,表示第i个待调度数据的特征参数,i表示待调度数据的索引,/>表示第i个待调度数据的数据量,/>表示第i个待调度数据的计划处理时间,/>表示第i个待调度数据的紧急程度,G()表示归一化处理,N表示待调度数据的总数量,/>表示第二影响因子,则式中,/>表示数据量系数,/>表示数据量均值,表示第一影响因子;
优先级系数的计算公式为:
式中,表示第b个边缘处理数据的优先级系数,/>表示第b个边缘处理数据的特征参数,/>表示第b个边缘处理数据的计划处理时间,r表示边缘处理数据的总数量,表示处理时间均值,/>表示时间系数。
2.如权利要求1所述的一种边云协同调度方法,其特征在于,所述根据不同待调度请求所分别对应待调度数据的数据量、计划处理时间和紧急程度,获得所述待调度数据的特征参数,包括:
其中,所述第一影响因子与所述特征参数呈正相关关系,所述第二影响因子与所述特征参数呈正相关关系。
3.如权利要求1所述的一种边云协同调度方法,其特征在于,所述根据所述云端服务器在同时刻的处理待调度请求的最大数量和所述特征参数,将所述待调度数据划分为云端处理数据和边缘处理数据,包括:
将所述云端服务器在同时刻的处理待调度请求的最大数量作为目标数量;
对所述特征参数由大到小进行排序,选择所述特征参数最大的目标数量个待调度数据作为云端处理数据,其他的待调度数据作为边缘处理数据。
4.一种边云协同调度系统,所述系统包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-3任一项所述的一种边云协同调度方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310986681.2A CN116708451B (zh) | 2023-08-08 | 2023-08-08 | 一种边云协同调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310986681.2A CN116708451B (zh) | 2023-08-08 | 2023-08-08 | 一种边云协同调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116708451A CN116708451A (zh) | 2023-09-05 |
CN116708451B true CN116708451B (zh) | 2023-10-20 |
Family
ID=87843687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310986681.2A Active CN116708451B (zh) | 2023-08-08 | 2023-08-08 | 一种边云协同调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116708451B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117294727B (zh) * | 2023-09-19 | 2024-06-18 | 卓源信息科技股份有限公司 | 一种基于云原生和容器技术的云边端协同管理方法 |
CN117714475B (zh) * | 2023-12-08 | 2024-05-14 | 江苏云工场信息技术有限公司 | 用于边缘云存储的智能管理方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109669768A (zh) * | 2018-12-11 | 2019-04-23 | 北京工业大学 | 一种面向边云结合架构的资源分配和任务调度方法 |
CN109684083A (zh) * | 2018-12-11 | 2019-04-26 | 北京工业大学 | 一种面向边缘-云异构下的多级事务调度分配策略 |
CN109788046A (zh) * | 2018-12-29 | 2019-05-21 | 河海大学 | 一种基于改进蜂群算法的多策略边缘计算资源调度方法 |
CN112256413A (zh) * | 2020-10-16 | 2021-01-22 | 国网电子商务有限公司 | 基于物联网的边缘计算任务的调度方法和装置 |
CN113326126A (zh) * | 2021-05-28 | 2021-08-31 | 湘潭大学 | 任务处理方法、任务调度方法、装置及计算机设备 |
CN116028203A (zh) * | 2021-10-27 | 2023-04-28 | 中移动信息技术有限公司 | 边缘计算的资源调度方法及装置 |
CN116074351A (zh) * | 2023-01-14 | 2023-05-05 | 河钢数字技术股份有限公司 | 一种基于边缘计算的边云协同管理系统 |
CN116366649A (zh) * | 2023-06-01 | 2023-06-30 | 中电云脑(天津)科技有限公司 | 一种边云协同的脑电数据任务调度方法和系统 |
-
2023
- 2023-08-08 CN CN202310986681.2A patent/CN116708451B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109669768A (zh) * | 2018-12-11 | 2019-04-23 | 北京工业大学 | 一种面向边云结合架构的资源分配和任务调度方法 |
CN109684083A (zh) * | 2018-12-11 | 2019-04-26 | 北京工业大学 | 一种面向边缘-云异构下的多级事务调度分配策略 |
CN109788046A (zh) * | 2018-12-29 | 2019-05-21 | 河海大学 | 一种基于改进蜂群算法的多策略边缘计算资源调度方法 |
CN112256413A (zh) * | 2020-10-16 | 2021-01-22 | 国网电子商务有限公司 | 基于物联网的边缘计算任务的调度方法和装置 |
CN113326126A (zh) * | 2021-05-28 | 2021-08-31 | 湘潭大学 | 任务处理方法、任务调度方法、装置及计算机设备 |
CN116028203A (zh) * | 2021-10-27 | 2023-04-28 | 中移动信息技术有限公司 | 边缘计算的资源调度方法及装置 |
CN116074351A (zh) * | 2023-01-14 | 2023-05-05 | 河钢数字技术股份有限公司 | 一种基于边缘计算的边云协同管理系统 |
CN116366649A (zh) * | 2023-06-01 | 2023-06-30 | 中电云脑(天津)科技有限公司 | 一种边云协同的脑电数据任务调度方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116708451A (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116708451B (zh) | 一种边云协同调度方法及系统 | |
CN111427679B (zh) | 面向边缘计算的计算任务调度方法、系统、装置 | |
US9201690B2 (en) | Resource aware scheduling in a distributed computing environment | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
CN109861850B (zh) | 一种基于sla的无状态云工作流负载均衡调度的方法 | |
Nguyen et al. | A hybrid scheduling algorithm for data intensive workloads in a mapreduce environment | |
Alaei et al. | RePro-Active: a reactive–proactive scheduling method based on simulation in cloud computing | |
CN109408215A (zh) | 一种计算节点的任务调度方法和装置 | |
CN112540841B (zh) | 任务调度的方法、装置、处理器与电子设备 | |
KR20140117905A (ko) | 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법 | |
CN115134371A (zh) | 包含边缘网络算力资源的调度方法、系统、设备及介质 | |
CN112306642B (zh) | 一种基于稳定匹配博弈理论的工作流调度方法 | |
CN115408152A (zh) | 一种自适应资源匹配获取方法及系统 | |
Stavrinides et al. | Cost-effective utilization of complementary cloud resources for the scheduling of real-time workflow applications in a fog environment | |
CN117407160A (zh) | 一种边缘计算场景下在线任务和离线任务的混合部署方法 | |
CN114675953A (zh) | 资源动态调度方法、装置、设备及计算机可读存储介质 | |
CN114579284A (zh) | 任务调度方法及装置 | |
CN114546646A (zh) | 处理方法和处理装置 | |
CN116610422A (zh) | 一种任务调度方法、装置和系统 | |
CN115640113A (zh) | 多平面弹性调度方法 | |
CN110928649A (zh) | 资源调度的方法和装置 | |
CN117311973A (zh) | 计算设备调度方法、装置、非易失性存储介质及电子设备 | |
CN113703945B (zh) | 微服务集群的调度方法、装置、设备及存储介质 | |
CN113419863A (zh) | 一种基于节点能力的数据分配处理方法及装置 | |
KR101718206B1 (ko) | 로드 분산을 위한 동적 스펙트럼 할당 방식 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |