CN114942850A - 云计算任务跟踪处理方法、装置及云计算系统 - Google Patents
云计算任务跟踪处理方法、装置及云计算系统 Download PDFInfo
- Publication number
- CN114942850A CN114942850A CN202210748493.1A CN202210748493A CN114942850A CN 114942850 A CN114942850 A CN 114942850A CN 202210748493 A CN202210748493 A CN 202210748493A CN 114942850 A CN114942850 A CN 114942850A
- Authority
- CN
- China
- Prior art keywords
- node
- cloud computing
- task
- computing task
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 304
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000004907 flux Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及云计算技术领域,尤其涉及一种云计算任务跟踪处理方法、装置、及云计算系统,所述方法包括:步骤S1,从已完成的云计算任务中获取与节点对应的云计算任务历史数据;步骤S2,根据单个节点在前次计算数据中的理论处理时间与实际处理时间分析该节点的预设参数设置是否符合任务需求;步骤S3,根据单个节点的实际处理数据量与预设的理论处理任务量对单个节点的单位理论处理参数和节点虚拟参数进行调整;步骤S4,将单个节点的单位理论处理参数和节点虚拟参数的调整数据与该节点的工作参数范围进行符合性比对。本发明通过对节点的参数的精确化设置,有效的保证了本发明能够根据节点的实际处理能力为系统匹配合适的节点用以处理云计算任务。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种云计算任务跟踪处理方法、装置、及云计算系统。
背景技术
云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内完成对数以万计的数据的处理,从而达到强大的网络服务。
现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。现在越来越多的用户选择将服务部署在云计算中,但是,云计算由于其具有服务的多样性和部署的环境的动态性,在为更多人提供便利的同时也不可避免的存在着云计算节点容易出现异常的情况,由于云计算中各节点具有很强的关联性,单个节点的异常可能会对整个系统带来巨大的损失。
中国专利公开号: CN202010114269.8公开了一种云计算任务跟踪处理方法、装置、云计算系统及服务器,通过确定目标云计算任务中多个任务进程节点的满足任务进程关联关系的任务进程节点序列,并根据任务进程节点序列中多个存在目标任务进程关联关系的任务进程节点分别对应的任务状态监测信息计算任务进程节点序列中每个关联节点组合的任务达标置信度,并将任务达标置信度小于设定置信度的关联节点组合确定目标关联节点组合。由此可见,所述云计算任务跟踪处理方法存在若节点置信度低选择重新进行调度时,重新调度的节点的置信度能否达到置信度标准没有参考数据并且重复进行调度使用多个节点,占用了大量的节点工作量,易导致节点冗余处理过程过多,造成浪费节点计算能力的问题。
发明内容
为此,本发明提供一种云计算任务跟踪处理方法、装置及云计算系统,用以克服现有技术中云计算任务节点的节点参数无法根据具体的计算任务进行调节导致云计算系统对节点的任务分配中理论的节点处理情况与实际处理情况存在偏差的问题。
为实现上述目的,一方面,本发明提供一种云计算任务跟踪处理方法,包括以下步骤:
步骤S1,从已完成的云计算任务中获取与节点对应的云计算任务历史数据;
步骤S2,根据单个所述节点在前次计算数据中的理论处理时间与实际处理时间分析该节点的预设参数设置是否符合任务需求;
步骤S3,根据单个节点的实际处理数据量与预设的理论处理任务量对单个节点的单位理论处理参数和节点虚拟参数进行调整;
步骤S4,依次将单个节点的单位理论处理参数和针对该节点虚拟参数的调整数据与该节点的工作参数范围进行符合性比对以确定该节点是否处于正常的工作状态并根据工作参数范围符合性重新设定该节点的单位理论处理参数和节点虚拟参数的数值以使该节点的实际计算能力与预设计算能力相匹配。
进一步地,在所述步骤S1中,云计算任务跟踪处理装置获取的云计算任务历史数据包括单个已完成的云计算任务订单的任务类型、单个已完成的云计算任务中各节点任务类型、单个已完成的云计算任务中各节点任务处理数据信息以及各节点的任务处理时间,所述云计算任务订单的任务类型包括数据计算型和数据传输型,所述云计算任务中各节点任务类型包括数据平稳型、数据波动型和数据峰值型。
进一步地,在所述步骤S2中,云计算任务跟踪处理装置根据单个已完成的云计算任务订单中单个节点实际处理时间以及云计算理论处理时间对单个节点的处理效率进行初步参数评估,当所述云计算任务跟踪处理装置识别到单个云计算任务订单完成时,所述云计算任务跟踪处理装置调取已完成的云计算任务订单采用的节点及单个节点A对应的节点任务处理时间t,所述云计算任务跟踪处理装置将单个节点A的理论节点任务处理时间t0与t进行比对并根据t0与t的差值百分比a确定节点A是否符合节点效率指标,所述云计算任务跟踪处理装置设置有第一节点效率匹配百分比标准A1、第二节点效率匹配百分比标准A2,其中,A1<2%<A2<10%,设定a=(t0-t)/t0,t0=β×G,β为节点A的单位理论处理参数,G为分配给节点A的理论计算任务数据量,
若a<A1,则所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标且节点A效率高于预设标准;
若A1≤a≤A2,则所述云计算任务跟踪处理装置判定节点A符合理论节点效率指标并且无需节点A的单位理论处理参数进行调节;
若a>A2,则所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标并且节点A效率低于预设标准。
进一步地,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A不符合理论节点效率指标时,所述云计算任务跟踪处理装置根据节点A的实际计算任务数据量是否超出预设计算负荷确定是否需要调节节点A的单位理论处理参数,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的实际任务数据通量g并将g与G进行比对用以确定节点A是否为超负荷计算,所述云计算任务跟踪处理装置设置有第一任务通量匹配标准ΔB1、第二任务通量匹配标准ΔB2,其中,0<ΔB1<10%<ΔB2<30%,设定Δb=∣g-G∣/g,
当Δb<ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A未超负荷计算;
当ΔB1≤Δb<ΔB2时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A存在有限超负荷计算;
当Δb≥ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量不符合标准且节点A存在超限超负荷计算。
进一步地,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A存在超限超负荷计算时,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的任务通量数据并根据单位时间内的最高数据通量dx与平均数据通量dp的比值c确定节点A的任务类型,所述所述云计算任务跟踪处理装置设置有第一峰值通量判定百分比标准C1、第二峰值通量判定百分比标准C2、第一任务类型调节参数k1、第二任务类型调整参数k2,其中,C0>30%,k1<k2,设定c=dx/dp,
当c<C1时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据平稳型并且不对该云计算任务类型的节点虚拟参数进行调节;
当C1≤c<C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据波动型并且采用第一任务类型调节参数k1调节该云计算任务类型的节点虚拟参数;
当c≥C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据峰值型并且采用第二任务类型调节参数k2调节该云计算任务类型的节点虚拟参数;
当所述云计算任务跟踪处理装置判定采用第i任务类型调节参数ki调节该云计算任务类型的节点虚拟参数时,所述云计算任务跟踪处理装置将调节后的节点A的节点虚拟参数记为θi,设定θi=ki×θA,其中,θA为调节前的节点A的节点虚拟参数,i=1,2。
进一步地,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A存在有限超负荷计算时,所述云计算任务跟踪处理装置根据对节点A的节点效率指标判定情况确定对节点A的单位理论处理参数的调整方式,所述云计算任务跟踪处理装置设置有第一节点理论参数调节系数μ1和第二节点理论参数调节系数μ2,其中,0.6<μ1<1<μ2,
当a<A1时,所述云计算任务跟踪处理装置判定采用第二节点理论参数调节系数μ2对节点A的单位理论处理参数进行调节;
当a>A2时,所述云计算任务跟踪处理装置判定采用第一节点理论参数调节系数μ1对节点A的单位理论处理参数进行调节;
当所述云计算任务跟踪处理装置判定采用第j节点理论参数调节系数μj对节点A的单位理论处理参数进行调节时,所述云计算任务跟踪处理装置将调节后的节点A的单位理论处理参数记为βj’,设定j=1,2,其中,设定β1’=μ1×β×(A1+1)×(1+Δb/ΔB1),β2’=μ2×β×(1-A2)×(1-Δb/ΔB1)。
进一步地,在所述步骤S4中,当所述云计算任务跟踪处理装置完成单个已完成的云计算任务订单中对所述节点A的单位理论处理参数以及节点虚拟参数的数值调节的判定后,所述云计算任务跟踪处理装置根据节点A调整后的单位理论处理参数以及节点虚拟参数的数值是否处于节点A的参数调节范围确定节点A是否处于正常工作状态,若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围内,所述云计算任务跟踪处理装置设定调节后的参数值作为节点A的工作参数;若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围外,所述云计算任务跟踪处理装置判定节点A工作异常并重新对节点A的工作特征进行判定以重新确定节点A的工作参数范围;
所述云计算任务跟踪处理装置根据节点A的物理配置信息中的物理指标数据对节点A设置有初始单位理论处理参数和初始虚拟参数,并设置有节点A的工作参数范围,所述物理指标数据包括CPU参数、存储参数和系统参数。
另一方面,本发明还提供一种云计算任务跟踪处理装置,所述云计算任务跟踪处理装置与云计算服务器相连,包括:
节点数据通量检测单元,其与云计算系统中各节点相连,用以检测各单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量。
分析单元,其与所述节点数据通量检测单元相连,用以通过识别单个节点单元的物理指标数据生成单个节点的工作参数范围、单个节点的初始单位理论处理参数和初始虚拟参数,并能够根据所述节点数据通量检测单元传递的单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量对单个节点的单位理论处理参数和虚拟参数进行调节以提高云计算系统对单个节点的工作任务处理时间的预测准确程度。
另一方面,本发明还提供一种云计算系统,包括云计算服务器和节点,其中,所述云计算服务器包括:
云计算任务订单识别模块,其与云计算服务平台的客户端相连,用以识别用户提交的云计算订单的订单类型和云计算任务订单处理时间;
云计算任务分配模块,其与所述云计算任务订单识别模块以及各节点相连,用以根据所述云计算任务订单识别模块对用户云计算订单的订单类型判定并根据判定的云计算订单的订单类型从系统中匹配符合的节点。
历史云计算任务订单存储模块,其分别与所述云计算任务订单识别模块、所述云计算任务分配模块以及各节点相连,用以存储用户云计算任务订单的工作数据、各个节点的单位理论处理参数和虚拟参数,以为所述云计算任务分配模块选择节点提供数据支持。
进一步地,所述云计算任务分配模块置有云计算任务节点分配逻辑,所述云计算任务分配模块在接收到用户的云计算任务订单需求后,根据用户云计算订单计算用户需求的节点参数,并根据所述云计算任务跟踪处理装置计算得到的各节点的单位理论处理参数和虚拟参数判断将用户云计算任务与节点进行符合度匹配以为该用户的云计算订单匹配对应的节点。
与现有技术相比,本发明的有益效果在于,本发明通过对已经处理完成的历史云计算任务进行数据分析,并根据单个节点的云计算任务处理情况对节点的工作效率做出判断,通过考核单个节点的任务完成情况,能够有效的判断节点的预设任务完成情况与实际任务完成情况是否匹配,一方面,能够对节点的参数理论完成情况的计算参数的预设值是否准确做出初步判断,另一方面,能够对用户云计算订单的中单个节点的理论工作量与实际工作量进行判断,并根据用户云计算任务的任务类型为节点设定与其处理能力匹配的虚拟参数,有效的实现了对节点的参数的精确化设置,有效的保证了本发明云计算系统能够根据不断更新的节点参数精确计算节点云计算任务处理能力,保证了本发明云计算系统能够根据节点的实际处理能力为系统匹配合适的节点用以处理云计算任务。
进一步地,本发明采用云计算任务跟踪处理装置根据单个已完成的云计算任务订单中单个节点实际处理时间以及云计算理论处理时间对单个节点的处理效率进行初步参数评估,当理论处理时间与实际处理时间的百分比不符合设定的效率范围时,判定节点的效率指标不合格,有效的保证了能够从节点的实际处理时间筛选出与理论处理时间偏差较大的节点进行进一步分析,保证了本发明云计算跟踪处理装置能够对节点的实际处理能力与参数计算的理论处理能力进行比较以对其中偏差大的节点的理论处理能力计算时使用的参数进行重新判定。
进一步地,本发明采用云计算任务跟踪处理装置在判定节点不符合理论节点效率指标时根据节点的实际计算任务数据量是否超出预设计算负荷确定是否需要调节节点的单位理论处理参数,通过对实际云计算任务量与理论任务量进行比对确定节点的任务处理是否存在超负荷情况,进一步通过任务量的多少能够对节点的处理效率进行考核,并且,通过实际任务量与理论任务量的比对,能够得知用户云计算任务订单中由于任务类型不同造成的单位时间的计算负载不同,并且能够根据对节点任务类型的判断,为节点设置对应不同任务类型的虚拟参数,通过虚拟参数的不同,使得云计算系统在对节点进行任务分配时,更加偏向于为单个节点匹配理论处理能力更高的任务类型,进一步有效的提高了云计算系统的处理效率。
进一步地,本发明云计算任务跟踪处理装置在判定节点存在有限超负荷计算时,所述云计算任务跟踪处理装置根据对节点的节点效率指标判定情况确定对节点的单位理论处理参数的调整方式,在有限超负荷时判断虚拟参数的设定值无需进行调整而对节点的单位理论处理参数进行调整,通过对反应节点处理能力的单位理论处理参数的调节,从而有效地保证了本发明能够使节点的理论任务处理能力计算值精确反应节点的实际处理能力。
进一步地,本发明采用一种设置有云计算任务跟踪处理装置的云计算系统,所述云计算系统中设置有云计算服务器所述云计算服务器包括云计算任务订单识别模块、云计算任务分配模块和历史云计算任务订单存储模块,通过设置历史云计算任务订单存储模块存储已完成的云计算任务订单的数据处理情况用以为分析节点的处理能力提供数据支持,通过设置云计算任务订单识别模块对用户的云计算订单进行云计算任务类型的划分以及对其中节点任务的任务类型进行识别,从而有效支持云计算任务分配模块为用户的云计算任务匹配合适的节点进行任务处理,通过设置云计算任务分配模块根据对用户的云计算订单匹配合适的节点进行任务处理,进一步保证了,本发明云计算任务跟踪处理方法能够精确计算节点的任务处理能力从而为云计算任务匹配对应的节点进行任务处理。
附图说明
图1为本发明实施例云计算任务跟踪处理方法的步骤流程图;
图2为本发明实施例云计算任务跟踪处理装置的结构框图;
图3为本发明实施例云计算系统的结构框图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,其为本发明实施例云计算任务跟踪处理方法的步骤流程图,本发明提供一种云计算任务跟踪处理方法,包括以下步骤:
步骤S1,从已完成的云计算任务中获取与节点对应的云计算任务历史数据;
步骤S2,根据单个所述节点在前次计算数据中中的理论处理时间与实际处理时间分析该节点的预设参数设置是否符合任务需求;
步骤S3,根据单个节点的实际处理数据量与预设的理论处理任务量对单个节点的单位理论处理参数和节点虚拟参数进行调整;
步骤S4,依次将单个节点的单位理论处理参数和针对该节点虚拟参数的调整数据与该节点的工作参数范围进行符合性比对以确定该节点是否处于正常的工作状态并根据工作参数范围符合性重新设定该节点的单位理论处理参数和节点虚拟参数的数值以使该节点的实际计算能力与预设计算能力相匹配。
本发明通过对已经处理完成的历史云计算任务进行数据分析,并根据单个节点的云计算任务处理情况对节点的工作效率做出判断,通过考核单个节点的任务完成情况,能够有效的判断节点的预设任务完成情况与实际任务完成情况是否匹配,一方面,能够对节点的参数理论完成情况的计算参数的预设值是否准确做出初步判断,另一方面,能够对用户云计算订单的中单个节点的理论工作量与实际工作量进行判断,并根据用户云计算任务的任务类型为节点设定与其处理能力匹配的虚拟参数,有效的实现了对节点的参数的精确化设置,有效的保证了本发明云计算系统能够根据不断更新的节点参数精确计算节点云计算任务处理能力,保证了本发明云计算系统能够根据节点的实际处理能力为系统匹配合适的节点用以处理云计算任务。
请继续参阅图1所示,在所述步骤S1中,云计算任务跟踪处理装置获取的云计算任务历史数据包括单个已完成的云计算任务订单的任务类型、单个已完成的云计算任务中各节点任务类型、单个已完成的云计算任务中各节点的任务处理数据信息以及各节点任务处理时间,所述云计算任务订单的任务类型包括数据计算型和数据传输型,所述云计算任务中各节点任务类型包括数据平稳型、数据波动型和数据峰值型。
具体而言,在所述步骤S2中,云计算任务跟踪处理装置根据单个已完成的云计算任务订单中单个节点实际处理时间以及云计算理论处理时间对单个节点的处理效率进行初步参数评估,当所述云计算任务跟踪处理装置识别到单个云计算任务订单完成时,所述云计算任务跟踪处理装置调取已完成的云计算任务订单采用的节点及单个节点A对应的节点任务处理时间t,所述云计算任务跟踪处理装置将单个节点A的理论节点任务处理时间t0与t进行比对并根据t0与t的差值百分比a确定节点A是否符合节点效率指标,所述云计算任务跟踪处理装置设置有第一节点效率匹配百分比标准A1、第二节点效率匹配百分比标准A2,其中,A1<2%<A2<10%,设定a=(t0-t)/t0,t0=β×G,β为节点A的单位理论处理参数,G为分配给节点A的理论计算任务数据量,
若a<A1,则所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标且节点A效率高于预设标准;
若A1≤a≤A2,则所述云计算任务跟踪处理装置判定节点A符合理论节点效率指标并且无需节点A的单位理论处理参数进行调节;
若a>A2,则所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标并且节点A效率低于预设标准。
本发明采用云计算任务跟踪处理装置根据单个已完成的云计算任务订单中单个节点实际处理时间以及云计算理论处理时间对单个节点的处理效率进行初步参数评估,当理论处理时间与实际处理时间的百分比不符合设定的效率范围时,判定节点的效率指标不合格,有效的保证了能够从节点的实际处理时间筛选出与理论处理时间偏差较大的节点进行进一步分析,保证了本发明云计算跟踪处理装置能够对节点的实际处理能力与参数计算的理论处理能力进行比较以对其中偏差大的节点的理论处理能力计算时使用的参数进行重新判定。
具体而言,在所述步骤S3中,当所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标时,所述云计算任务跟踪处理装置根据节点A的实际计算任务数据量是否超出预设计算负荷确定是否需要调节节点A的单位理论处理参数,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的实际任务数据通量g并将g与G进行比对用以确定节点A是否为超负荷计算,所述云计算任务跟踪处理装置设置有第一任务通量匹配标准ΔB1、第二任务通量匹配标准ΔB2,其中,0<ΔB1<10%<ΔB2<30%,设定Δb=∣g-G∣/g,
当Δb<ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A未超负荷计算;
当ΔB1≤Δb<ΔB2时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A存在有限超负荷计算;
当Δb≥ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量不符合标准且节点A存在超限超负荷计算。
具体而言,在所述步骤S3中,当所述云计算任务跟踪处理装置判定节点A存在超限超负荷计算时,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的任务通量数据并根据单位时间内的最高数据通量dx与平均数据通量dp的比值c确定节点A的任务类型,所述所述云计算任务跟踪处理装置设置有第一峰值通量判定百分比标准C1、第二峰值通量判定百分比标准C2、第一任务类型调节参数k1、第二任务类型调整参数k2,其中,C0>30%,k1<k2,设定c=dx/dp,
当c<C1时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据平稳型并且不对该云计算任务类型的节点虚拟参数进行调节;
当C1≤c<C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据波动型并且采用第一任务类型调节参数k1调节该云计算任务类型的节点虚拟参数;
当c≥C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据峰值型并且采用第二任务类型调节参数k2调节该云计算任务类型的节点虚拟参数;
当所述云计算任务跟踪处理装置判定采用第i任务类型调节参数ki调节该云计算任务类型的节点虚拟参数时,所述云计算任务跟踪处理装置将调节后的节点A的节点虚拟参数记为θi,设定θi=ki×θA,其中,θA为调节前的节点A的节点虚拟参数,i=1,2。
本发明采用云计算任务跟踪处理装置在判定节点不符合理论节点效率指标时根据节点的实际计算任务数据量是否超出预设计算负荷确定是否需要调节节点的单位理论处理参数,通过对实际云计算任务量与理论任务量进行比对确定节点的任务处理是否存在超负荷情况,进一步通过任务量的多少能够对节点的处理效率进行考核,并且,通过实际任务量与理论任务量的比对,能够得知用户云计算任务订单中由于任务类型不同造成的单位时间的计算负载不同,并且能够根据对节点任务类型的判断,为节点设置对应不同任务类型的虚拟参数,通过虚拟参数的不同,使得云计算系统在对节点进行任务分配时,更加偏向于为单个节点匹配理论处理能力更高的任务类型,进一步有效的提高了云计算系统的处理效率。
具体而言,在所述步骤S3中,当所述云计算任务跟踪处理装置判定节点A存在有限超负荷计算时,所述云计算任务跟踪处理装置根据对节点A的节点效率指标判定情况确定对节点A的单位理论处理参数的调整方式,所述云计算任务跟踪处理装置设置有第一节点理论参数调节系数μ1和第二节点理论参数调节系数μ2,其中,0.6<μ1<1<μ2,
当a<A1时,所述云计算任务跟踪处理装置判定采用第二节点理论参数调节系数μ2对节点A的单位理论处理参数进行调节;
当a>A2时,所述云计算任务跟踪处理装置判定采用第一节点理论参数调节系数μ1对节点A的单位理论处理参数进行调节;
当所述云计算任务跟踪处理装置判定采用第j节点理论参数调节系数μj对节点A的单位理论处理参数进行调节时,所述云计算任务跟踪处理装置将调节后的节点A的单位理论处理参数记为βj’,设定j=1,2,其中,设定β1’=μ1×β×(A1+1)×(1+Δb/ΔB1),β2’=μ2×β×(1-A2)×(1-Δb/ΔB1)。
本发明云计算任务跟踪处理装置在判定节点存在有限超负荷计算时,所述云计算任务跟踪处理装置根据对节点的节点效率指标判定情况确定对节点的单位理论处理参数的调整方式,在有限超负荷时判断虚拟参数的设定值无需进行调整而对节点的单位理论处理参数进行调整,通过对反应节点处理能力的单位理论处理参数的调节,从而有效地保证了本发明能够使节点的理论任务处理能力计算值精确反应节点的实际处理能力。
具体而言,在所述步骤S4中,当所述云计算任务跟踪处理装置完成单个已完成的云计算任务订单中对节点A的单位理论处理参数以及节点虚拟参数的数值调节的判定后,所述云计算任务跟踪处理装置根据节点A调整后的单位理论处理参数以及节点虚拟参数的数值是否处于节点A的参数调节范围确定节点A是否处于正常工作状态,若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围内,所述云计算任务跟踪处理装置设定调节后的参数值作为节点A的工作参数;若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围外,所述云计算任务跟踪处理装置判定节点A工作异常并重新对节点A的工作特征进行判定以重新确定节点A的工作参数范围。
请参阅图2所示,其为本发明实施例云计算任务跟踪处理装置的结构框图,本发明提供一种云计算任务跟踪处理装置,所述云计算任务跟踪处理装置与云计算服务器相连,包括:
节点数据通量检测单元,其与云计算系统中各节点相连,用以检测各单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量。
分析单元,其与所述节点数据通量检测单元相连,用以通过识别单个节点单元的物理指标数据生成单个节点的工作参数范围、单个节点的初始单位理论处理参数和初始虚拟参数,并能够根据所述节点数据通量检测单元传递的单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量对单个节点的单位理论处理参数和虚拟参数进行调节以提高云计算系统对单个节点的工作任务处理时间的预测准确程度。
请参阅图3所示,其为本发明实施例云计算系统的结构框图,本发明提供一种云计算系统,包括云计算服务器和节点,其中,所述云计算服务器包括:
云计算任务订单识别模块,其与云计算服务平台的客户端相连,用以识别用户提交的云计算订单的订单类型和云计算任务订单处理时间;
云计算任务分配模块,其与所述云计算任务订单识别模块以及各节点相连,用以根据所述云计算任务订单识别模块对用户云计算订单的订单类型判定并根据判定的云计算订单的订单类型从系统中匹配符合的节点。
历史云计算任务订单存储模块,其分别与所述云计算任务订单识别模块、所述云计算任务分配模块以及各节点相连,用以存储用户云计算任务订单的工作数据、各个节点的单位理论处理参数和虚拟参数,以为所述云计算任务分配模块选择节点提供数据支持。
具体而言,所述云计算任务分配模块置有云计算任务节点分配逻辑,所述云计算任务分配模块在接收到用户的云计算任务订单需求后,根据用户云计算订单计算用户需求的节点参数,并根据所述云计算任务跟踪处理装置计算得到的各节点的单位理论处理参数和虚拟参数判断将用户云计算任务与节点进行符合度匹配为该用户的云计算订单匹配对应的节点。
本发明采用一种设置有云计算任务跟踪处理装置的云计算系统,所述云计算系统中设置有云计算服务器所述云计算服务器包括云计算任务订单识别模块、云计算任务分配模块和历史云计算任务订单存储模块,通过设置历史云计算任务订单存储模块存储已完成的云计算任务订单的数据处理情况用以为分析节点的处理能力提供数据支持,通过设置云计算任务订单识别模块对用户的云计算订单进行云计算任务类型的划分以及对其中节点任务的任务类型进行识别,从而有效支持云计算任务分配模块为用户的云计算任务匹配合适的节点进行任务处理,通过设置云计算任务分配模块根据对用户的云计算订单匹配合适的节点进行任务处理,进一步保证了,本发明云计算任务跟踪处理方法能够精确计算节点的任务处理能力从而为云计算任务匹配对应的节点进行任务处理。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种云计算任务跟踪处理方法,其特征在于,包括以下步骤:
步骤S1,从已完成的云计算任务中获取与节点对应的云计算任务历史数据;
步骤S2,根据单个所述节点在前次计算数据中的理论处理时间与实际处理时间分析该节点的预设参数设置是否符合任务需求;
步骤S3,根据单个节点的实际处理数据量与预设的理论处理任务量对单个节点的单位理论处理参数和节点虚拟参数进行调整;
步骤S4,依次将单个节点的单位理论处理参数和针对该节点虚拟参数的调整数据与该节点的工作参数范围进行符合性比对以确定该节点是否处于正常的工作状态并根据工作参数范围符合性重新设定该节点的单位理论处理参数和节点虚拟参数的数值以使该节点的实际计算能力与预设计算能力相匹配。
2.根据权利要求1所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S1中,云计算任务跟踪处理装置获取的云计算任务历史数据包括单个已完成的云计算任务订单的任务类型、单个已完成的云计算任务中各节点任务类型、单个已完成的云计算任务中各节点任务处理数据信息以及各节点的任务处理时间,所述云计算任务订单的任务类型包括数据计算型和数据传输型,所述云计算任务中各节点的任务类型包括数据平稳型、数据波动型和数据峰值型。
3.根据权利要求2所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S2中,所述云计算任务跟踪处理装置根据单个已完成的云计算任务订单中单个节点实际处理时间以及云计算理论处理时间对单个节点的处理效率进行初步参数评估,当所述云计算任务跟踪处理装置识别到单个云计算任务订单完成时,所述云计算任务跟踪处理装置调取已完成的云计算任务订单采用的节点及单个节点A对应的节点任务处理时间t,所述云计算任务跟踪处理装置将节点A的理论节点任务处理时间t0与t进行比对并根据t0与t的差值百分比a确定节点A是否符合节点效率指标,所述云计算任务跟踪处理装置设置有第一节点效率匹配百分比标准A1和第二节点效率匹配百分比标准A2,其中,A1<2%<A2<10%,设定a=(t0-t)/t0,t0=β×G,β为节点A的单位理论处理参数,G为分配给节点A的理论计算任务数据量,
若a<A1,所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标且节点A效率高于预设标准;
若A1≤a≤A2,所述云计算任务跟踪处理装置判定节点A符合理论节点效率指标并且无需节点A的单位理论处理参数进行调节;
若a>A2,所述云计算任务跟踪处理装置判定节点A不符合理论节点效率指标并且节点A效率低于预设标准。
4.根据权利要求3所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A不符合理论节点效率指标时,所述云计算任务跟踪处理装置根据节点A的实际计算任务数据量是否超出预设计算负荷确定是否需要调节节点A的单位理论处理参数,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的实际任务数据通量g并将g与G进行比对以确定节点A是否为超负荷计算,所述云计算任务跟踪处理装置设置有第一任务通量匹配标准ΔB1和第二任务通量匹配标准ΔB2,其中,0<ΔB1<10%<ΔB2<30%,设定Δb=∣g-G∣/g,
当Δb<ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A未超负荷计算;
当ΔB1≤Δb<ΔB2时,所述云计算任务跟踪处理装置判定节点A实际任务通量符合标准且节点A存在有限超负荷计算;
当Δb≥ΔB1时,所述云计算任务跟踪处理装置判定节点A实际任务通量不符合标准且节点A存在超限超负荷计算。
5.根据权利要求4所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A存在超限超负荷计算时,所述云计算任务跟踪处理装置调取单个已完成的云计算任务订单中节点A的任务通量数据并根据单位时间内的最高数据通量dx与平均数据通量dp的比值c确定节点A的任务类型,所述所述云计算任务跟踪处理装置设置有第一峰值通量判定百分比标准C1、第二峰值通量判定百分比标准C2、第一任务类型调节参数k1、第二任务类型调整参数k2,其中,C0>30%,k1<k2,设定c=dx/dp,
当c<C1时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据平稳型并且不对该云计算任务类型的节点虚拟参数进行调节;
当C1≤c<C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据波动型并且采用第一任务类型调节参数k1调节该云计算任务类型的节点虚拟参数;
当c≥C2时,所述云计算任务跟踪处理装置判定单个已完成的云计算任务订单中节点A的任务类型为数据峰值型并且采用第二任务类型调节参数k2调节该云计算任务类型的节点虚拟参数;
当所述云计算任务跟踪处理装置判定采用第i任务类型调节参数ki调节该云计算任务类型的节点虚拟参数时,所述云计算任务跟踪处理装置将调节后的节点A的节点虚拟参数记为θi,设定θi=ki×θA,其中,θA为调节前的节点A的节点虚拟参数,i=1,2。
6.根据权利要求5所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S3中,当所述云计算任务跟踪处理装置判定所述节点A存在有限超负荷计算时,所述云计算任务跟踪处理装置根据对节点A的节点效率指标判定情况确定对节点A的单位理论处理参数的调整方式,所述云计算任务跟踪处理装置设置有第一节点理论参数调节系数μ1和第二节点理论参数调节系数μ2,其中,0.6<μ1<1<μ2,
当a<A1时,所述云计算任务跟踪处理装置判定采用第二节点理论参数调节系数μ2对节点A的单位理论处理参数进行调节;
当a>A2时,所述云计算任务跟踪处理装置判定采用第一节点理论参数调节系数μ1对节点A的单位理论处理参数进行调节;
当所述云计算任务跟踪处理装置判定采用第j节点理论参数调节系数μj对节点A的单位理论处理参数进行调节时,所述云计算任务跟踪处理装置将调节后的节点A的单位理论处理参数记为βj’,设定j=1,2,其中,设定β1’=μ1×β×(A1+1)×(1+Δb/ΔB1),β2’=μ2×β×(1-A2)×(1-Δb/ΔB1)。
7.根据权利要求6所述的云计算任务跟踪处理方法,其特征在于,在所述步骤S4中,当所述云计算任务跟踪处理装置完成单个已完成的云计算任务订单中对所述节点A的单位理论处理参数以及节点虚拟参数的数值调节的判定后,所述云计算任务跟踪处理装置根据节点A调整后的单位理论处理参数以及节点虚拟参数的数值是否处于节点A的参数调节范围确定节点A是否处于正常工作状态,若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围内,所述云计算任务跟踪处理装置设定调节后的参数值作为节点A的工作参数;若调整后的单位理论处理参数以及节点虚拟参数的数值处于节点A的参数调节范围外,所述云计算任务跟踪处理装置判定节点A工作异常并重新对节点A的工作特征进行判定以重新确定节点A的工作参数范围。
8.一种使用权利要求1-7任一权利要求所述方法的云计算任务跟踪处理装置,其特征在于,包括:
节点数据通量检测单元,其与云计算系统中各节点相连,用以检测各单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量;
分析单元,其与所述节点数据通量检测单元相连,用以通过识别单个节点单元的物理指标数据生成单个节点的工作参数范围、单个节点的初始单位理论处理参数和初始虚拟参数,并能够根据所述节点数据通量检测单元传递的单个节点的单位时间数据通量、单个节点任务的处理时间、单个节点任务的数据总通量对单个节点的单位理论处理参数和虚拟参数进行调节以提高云计算系统对单个节点的工作任务处理时间的预测准确程度。
9.一种设置有权利要求8所述的云计算任务跟踪处理装置的云计算系统,其特征在于,包括云计算服务器和节点,其中,所述云计算服务器包括:
云计算任务订单识别模块,其与云计算服务平台的客户端相连,用以识别用户提交的云计算订单的订单类型和云计算任务订单处理时间;
云计算任务分配模块,其与所述云计算任务订单识别模块以及各节点相连,用以根据所述云计算任务订单识别模块对用户云计算订单的订单类型判定并根据判定的云计算订单的订单类型从系统中匹配符合的节点;
历史云计算任务订单存储模块,其分别与所述云计算任务订单识别模块、所述云计算任务分配模块以及各节点相连,用以存储用户云计算任务订单的工作数据、各个节点的单位理论处理参数和虚拟参数,以为所述云计算任务分配模块选择节点提供数据支持。
10.根据权利要求9所述的云计算系统,其特征在于,所述云计算任务分配模块置有云计算任务节点分配逻辑,所述云计算任务分配模块在接收到用户的云计算任务订单需求后,根据用户云计算订单计算用户需求的节点参数,并根据所述云计算任务跟踪处理装置计算得到的各节点的单位理论处理参数和虚拟参数判断将用户云计算任务与节点进行符合度匹配为该用户的云计算订单匹配对应的节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210748493.1A CN114942850A (zh) | 2022-06-29 | 2022-06-29 | 云计算任务跟踪处理方法、装置及云计算系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210748493.1A CN114942850A (zh) | 2022-06-29 | 2022-06-29 | 云计算任务跟踪处理方法、装置及云计算系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114942850A true CN114942850A (zh) | 2022-08-26 |
Family
ID=82910936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210748493.1A Withdrawn CN114942850A (zh) | 2022-06-29 | 2022-06-29 | 云计算任务跟踪处理方法、装置及云计算系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114942850A (zh) |
-
2022
- 2022-06-29 CN CN202210748493.1A patent/CN114942850A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10318366B2 (en) | System and method for relationship based root cause recommendation | |
CN110830289B (zh) | 一种容器异常监测方法及监测系统 | |
CN110417591B (zh) | 投票节点配置方法及系统 | |
US7962914B2 (en) | Method and apparatus for load balancing of distributed processing units based on performance metrics | |
US8959401B2 (en) | System operations management apparatus, system operations management method and program storage medium | |
CN109981333B (zh) | 一种应用于数据中心的运维方法和运维设备 | |
US10909018B2 (en) | System and method for end-to-end application root cause recommendation | |
CN110022221B (zh) | 一种系统接口数据的监控方法、装置及系统 | |
CN116911471B (zh) | 一种供电系统的传输性能优化方法及系统 | |
CN112416888B (zh) | 用于分布式文件系统的动态负载均衡方法及系统 | |
US20050096877A1 (en) | System and method for determination of load monitoring condition and load monitoring program | |
CN114461389A (zh) | 服务器集群的负载均衡方法、装置及电子设备 | |
CN101199162B (zh) | 一种控制通信网络的方法、系统和设备 | |
CN116560811A (zh) | 一种应用于调度系统的仿真系统和方法 | |
CN113342284B (zh) | 时序数据存储方法、装置、计算机设备及存储介质 | |
CN113342589B (zh) | 对服务器进行压力测试的方法和装置 | |
CN114942850A (zh) | 云计算任务跟踪处理方法、装置及云计算系统 | |
CN112181443B (zh) | 服务的自动化部署方法、装置及电子设备 | |
CN111614504A (zh) | 基于时间序列和故障树分析的电网调控数据中心业务特性故障定位方法及系统 | |
US20170230271A1 (en) | Data management apparatus and monitoring method of same | |
CN116244131A (zh) | 服务器接口测试方法、装置、电子设备和介质 | |
US20050198640A1 (en) | Methods, systems and computer program products for selecting among alert conditions for resource management systems | |
CN111752786A (zh) | 压力测试过程中的数据存储方法、汇总方法、设备及介质 | |
CN117009115A (zh) | 故障定位方法、装置、电子设备及计算机存储介质 | |
CN113467892A (zh) | 分布式集群资源配置方法及其相应的装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220826 |
|
WW01 | Invention patent application withdrawn after publication |