CN116680062A - 一种基于大数据集群的应用调度部署方法及存储介质 - Google Patents

一种基于大数据集群的应用调度部署方法及存储介质 Download PDF

Info

Publication number
CN116680062A
CN116680062A CN202310967733.1A CN202310967733A CN116680062A CN 116680062 A CN116680062 A CN 116680062A CN 202310967733 A CN202310967733 A CN 202310967733A CN 116680062 A CN116680062 A CN 116680062A
Authority
CN
China
Prior art keywords
task
task scheduling
track
scheduling
scheduling strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310967733.1A
Other languages
English (en)
Other versions
CN116680062B (zh
Inventor
向帅
鲁靖
杨蜜
周前峰
刘剑喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Boxin Chuangyuan Information Technology Co ltd
Original Assignee
Hunan Boxin Chuangyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Boxin Chuangyuan Information Technology Co ltd filed Critical Hunan Boxin Chuangyuan Information Technology Co ltd
Priority to CN202310967733.1A priority Critical patent/CN116680062B/zh
Publication of CN116680062A publication Critical patent/CN116680062A/zh
Application granted granted Critical
Publication of CN116680062B publication Critical patent/CN116680062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据集群的应用调度部署方法及存储介质；采用双轨制并列同步实施，结合排队论、元胞自动机和DS理论，旨在优化任务调度和资源分配，提高系统性能和资源利用率。通过综合考虑多个指标，并利用信息融合技术，该方法能够在动态环境下做出可靠、高效的任务调度决策；一、从整体上优化任务调度策略，而不仅仅局限于某个特定性能指标。此外，元胞自动机模型用于模拟任务调度的动态变化，能够综合考虑任务的实际执行情况，以及集群资源的动态变化。二、提供多视角分析：通过将两个视角的信息进行融合，得到综合的任务调度策略，从而提供了多视角分析的能力，使得决策更加全面和准确。

Description

一种基于大数据集群的应用调度部署方法及存储介质
技术领域
本发明涉及分布式计算技术领域，特别涉及一种基于大数据集群的应用调度部署方法及存储介质。
背景技术
在现代计算环境中，大数据处理已经成为许多组织和企业面临的主要挑战之一。这些组织通常需要处理海量的数据，例如用户行为数据、日志文件、传感器数据等，这些数据通常比传统的数据处理技术能够处理的数据规模大得多。因此，需要利用分布式计算和大数据技术来高效地处理这些数据，并从中获取有价值的信息。
这时候，大数据高可用集群的应用调度部署控制管理方法就发挥了重要作用。它可以确保大数据集群的高可用性，让应用程序在面对故障或错误时保持运行。此外，这项技术还能优化资源调度和管理，实现自动化部署和伸缩，提高系统的效率和可靠性。同时，它还涉及到调度算法、数据一致性、性能优化等方面的内容，从而让大数据处理在分布式环境中更加高效和可靠。
大数据高可用集群的应用调度部署控制管理方法在互联网企业、金融领域、医疗健康等众多领域都得到了广泛应用。这些领域通常需要处理大量的数据，并依赖于高效的大数据处理和分析来做出战略性决策、优化业务流程、提供个性化的服务等。因此，对于这些领域的组织来说，大数据高可用集群的应用调度部署控制管理方法是至关重要的技术。
但是经发明人长期工作与研究发现，在传统基于大数据高可用集群的应用调度部署控制管理方法中，仅采用优化算法来最大化系统的吞吐量、资源利用率或者最小化任务的执行时间存在一些缺陷：
（1）局部优化问题：传统优化算法通常只考虑局部性能指标，如系统吞吐量、资源利用率或任务的执行时间，而忽略了整体系统的综合性能。这可能导致在优化一个性能指标的同时，牺牲了其他性能指标，最终导致系统整体性能并不理想。
（2）单一视角限制：传统优化算法可能只关注特定任务调度和资源分配问题，而无法从整体上考虑大数据高可用集群中的复杂交互和动态变化。这种单一视角可能导致在特定场景下效果不佳，且不具备适应性。
（3）缺乏决策支持：传统优化算法通常只提供一个优化的结果，而没有提供决策支持的解释和合理性评估。这使得在复杂的大数据集群环境中，难以理解和解释算法的决策，也无法为决策提供更多可靠的依据。
（4）对不确定性缺乏处理：大数据集群中的任务调度和资源分配问题常常伴随着不确定性，如任务到达率的波动、资源故障等。传统优化算法往往缺乏对不确定性的处理能力，无法灵活适应动态环境。
为此，提出一种基于大数据集群的应用调度部署方法及存储介质。
发明内容
有鉴于此，本发明实施例希望提供一种基于大数据集群的应用调度部署方法及存储介质，以解决或缓解现有技术中存在的技术问题，即局部优化、单一视角限制、缺乏决策支持和对不确定性缺乏处理，并对此至少提供一种有益的选择；
本发明实施例的技术方案是这样实现的：
第一方面
一种基于大数据集群的应用调度部署方法：
（一）概论：
采用双轨制并列同步实施，结合排队论、元胞自动机和DS理论，旨在优化任务调度和资源分配，提高系统性能和资源利用率。通过综合考虑多个指标，并利用信息融合技术，该方法能够在动态环境下做出可靠、高效的任务调度决策。
（二）原理和逻辑：
（2.1）Track-1：排队论轨道：
排队论模型用于建模大数据集群中的任务排队和等待过程，通过排队论公式计算任务的平均等待时间和系统平均响应时间：
S1、输入：将任务调度策略参数作为输入，包含任务的优先级、任务执行顺序等信息。
S2、建模：利用排队论公式和参数，计算系统的性能指标，如平均等待时间W_q和系统平均响应时间W。
S3、输出：将任务调度策略参数转换为任务调度结果，表示为函数G，得到任务调度结果的信任度δ1。
（2.2）Track-2：元胞自动机轨道：
元胞自动机模型用于模拟大数据集群中的任务执行和资源分配过程，通过状态转移函数S^T来更新下一个时间步T的状态空间：
S1、输入：将上一个时间步T-1的状态空间作为输入，表示为当前时间步T的状态。
S2、模拟：使用状态转移函数来模拟任务调度过程，更新任务的状态和资源分配情况。
S3、输出：得到当前时间步T下的状态空间S^T，表示任务调度的状态信息，通过信任度δ2来表示元胞自动机模型的可信程度。
（2.3）Track-3：DS理论：
用于融合排队论轨道和元胞自动机轨道的信息，综合考虑两者的信任度，得到最终的任务调度结果的信任度。
S1、输入：将排队论轨道的信任度δ1和元胞自动机轨道的信任度δ2作为输入，通过融合函数H(δ1, δ2)来得到任务调度结果的信任度δDS。
S2、融合：融合函数H可以定义为加权平均，即，其中α和β是用于平衡两者权重的参数。
判定：判断δDS是否满足信息一致性阈值θ，若满足，则直接输出任务调度结果R；若不满足，则进入优化阶段。
（2.4）任务调度与策略优化：
在信息不一致的情况下，需要优化任务调度策略，通过排队论和元胞自动机的信息结合，进一步优化任务调度决策。
融合函数H定义为加权平均，其中权重参数为α和β，表示对两个轨道的信任度进行平衡；最终的任务调度结果的信任度δDS为加权平均后的值；融合函数H通过加权平均将两个轨道的信任度合并，得到最终的任务调度结果的信任度δDS，表示该任务调度策略的可信程度。
（2.5）任务调度输出：
将最优的任务调度策略作为当前时间步T下所需的任务调度策略输出，传递给任务调度系统，实现动态任务调度和资源分配。
（三）总结：
双轨制基于大数据高可用集群的应用调度部署控制管理方法，通过排队论、元胞自动机和DS理论的融合，实现了多指标综合优化、多视角分析、决策支持和处理不确定性等功能。该方法能够适应大数据环境下的复杂和动态特点，提高系统性能和资源利用率，是一种高效可靠的任务调度管理方法。
第二方面
一种存储介质：所述存储介质内存储有用于执行如上述所述部署方法的程序指令。为了执行基于大数据高可用集群的应用调度部署控制管理方法，需要将该方法实现为一组程序指令，并存储在特定的存储介质中，以便在计算设备上运行。该存储介质可以是计算机硬盘、固态硬盘、闪存驱动器等。
在存储介质中，存储有用于执行如上述所述部署方法的程序指令。这些程序指令包括排队论模型、元胞自动机模型和DS理论融合函数等相关算法和逻辑。以下是存储介质内存储的内容：
（1）排队论模型程序指令： 这部分程序指令实现了排队论模型，包括任务到达过程、任务等待过程和任务执行过程的建模。其中，包含排队论的数学公式、计算任务的平均等待时间和系统平均响应时间的算法逻辑等。
（2）元胞自动机模型程序指令： 这部分程序指令实现了元胞自动机模型，用于模拟任务调度过程和资源分配的动态变化。其中，包含状态转移函数的算法实现和元胞自动机模型的状态更新逻辑。
（3）DS理论融合函数程序指令： 这部分程序指令实现了DS理论的融合函数H(δ1,δ2)，用于将排队论轨道和元胞自动机轨道的信任度进行融合。其中，包含融合函数的数学表达式、信任度的加权平均算法等。
（4）任务调度策略优化程序指令：这部分程序指令实现了任务调度策略的优化算法，用于在信息不一致的情况下进一步优化任务调度决策。
（5）任务调度策略输出程序指令：这部分程序指令实现了任务调度策略的输出，将最优的任务调度策略传递给任务调度系统。其中，包含任务调度结果的数据格式、传递协议等。
通过将上述程序指令存储在特定的存储介质中，计算设备可以通过读取和执行这些指令，实现基于大数据高可用集群的应用调度部署控制管理方法。存储介质中的程序指令为整个方法的实际执行提供了基础，使得该方法可以在实际环境中应用和部署，并为大数据集群提供高效可靠的任务调度和资源分配策略。
与现有技术相比，本发明所提出的一种基于大数据集群的应用调度部署方法及存储介质的有益效果是：
一、解决局部优化问题：在双轨制方法中，使用排队论模型来建模任务调度过程，该模型能够全面考虑任务的等待时间、排队长度等性能指标，从整体上优化任务调度策略，而不仅仅局限于某个特定性能指标。此外，元胞自动机模型用于模拟任务调度的动态变化，能够综合考虑任务的实际执行情况，以及集群资源的动态变化。通过DS理论的融合函数，将排队论模型和元胞自动机模型的信任度结合起来，得到综合考虑多指标的任务调度策略，从而避免了传统局部优化问题。
二、提供多视角分析：双轨制方法采用两个轨道，分别使用排队论和元胞自动机模型，可以从不同视角全面分析任务调度和资源分配问题。排队论模型着重考虑任务的排队和等待过程，而元胞自动机模型关注任务的状态变化和动态演化。通过将两个视角的信息进行融合，得到综合的任务调度策略，从而提供了多视角分析的能力，使得决策更加全面和准确。
三、提供决策支持：DS理论作为决策支持框架，提供了一种形式化的方法来对多个来源的信息进行融合，并输出一个统一的任务调度策略。通过融合函数H(δ1, δ2)，可以综合考虑两个轨道的信任度，从而得到一个可信的任务调度策略。这种决策支持使得整个决策过程更加透明、可解释，并且为决策提供了理论依据。
四、处理不确定性问题：大数据集群中常常伴随着不确定性，例如任务到达率的波动、资源故障等。双轨制方法通过元胞自动机模型，能够模拟任务调度过程中的动态变化和不确定性。通过DS理论的融合函数，能够灵活处理两个轨道的信任度，从而适应动态环境下的不确定性情况。这使得双轨制方法相比传统方法更具有适应性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的逻辑示意图；
图2为本发明的实施例六的程序示意图；
图3为本发明的实施例六的程序示意图；
图4为本发明的实施例六的程序示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制；
在现有技术中，大数据调度部署方法负责优化资源调度和管理，实现自动化部署和伸缩，提高系统的效率和可靠性；为此，请参阅图1，本具体实施方式将提供相关技术方案进一步提高传统技术中的局部优化、单一视角限制、缺乏决策支持和对不确定性缺乏处理的技术问题：一种基于大数据集群的应用调度部署方法，包括大数据集群分发的数据流，以及并列同步实施的Track-1和Track-2：
Track-1：接收数据流，通过排队论模型解算系统的响应时间、队列长度、资源利用率输出任务调度策略a至Track-3；该轨道应用排队论模型，分析数据流的任务到达和处理过程，计算系统的响应时间、队列长度和资源利用率等性能指标。Track-1 接收数据流，并使用排队论模型进行建模和计算，得到系统的性能指标。这些指标用于生成任务调度策略a，并传递至 Track-3 进行进一步分析。
Track-2：接收数据流，通过元胞自动机模拟下一个时间步的任务调度策略；同时将上一个时间步中存储并预测任务调度策略b输出至Track-3；该轨道利用元胞自动机模拟下一个时间步的任务调度策略，并同时将上一个时间步中存储的并预测的任务调度策略b输出。Track-2 接收数据流，并使用元胞自动机模型模拟任务调度过程和资源分配。该模拟得到下一个时间步的任务调度策略，并将上一个时间步的任务调度策略b输出，准备传递至Track-3。
还包括Track-3：将Track-1和Track-2任务调度策略a、b导入到DS理论中进行分析和比对；如果当前时间步下所需的任务调度策略与元胞自动机预测的策略相匹配，直接输出元胞自动机的任务调度策略；如果不匹配，则通过DS理论优化任务调度策略a，输出当前所需的任务调度系统。该轨道将 Track-1 和 Track-2 的任务调度策略a、b导入到DS理论中进行分析和比对，得到最终的任务调度策略。Track-3 接收 Track-1 和 Track-2 的任务调度策略a、b，将其导入DS理论。在DS理论中，对两者的信任度进行融合分析。如果当前时间步下所需的任务调度策略与元胞自动机预测的策略相匹配，直接输出元胞自动机的任务调度策略。如果不匹配，则通过DS理论优化任务调度策略a，输出当前所需的任务调度策略，供任务调度系统执行。
以上所述具体实施方式的各技术特征可以进行任意的组合，为使描述简洁，未对上述具体实施方式中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
实施例一
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
在Track-1中，包括：
使用M/M/n/c排队论模型，有n个服务器和任务到达率λ的系统，任务处理率为μ，并且最大任务队列长度为c；任务到达遵循泊松分布，任务处理时间遵循指数分布：
平均排队长度Lq：
该公式用于计算在n个服务器、任务到达率λ和任务处理率μ的系统中，任务在队列中平均等待的长度。当任务到达率小于任务处理率（λ<μ）时，系统处于稳态；而当任务到达率大于任务处理率（λ>μ）时，系统处于非稳态。
平均等待时间Wq：
该公式用于计算在n个服务器、任务到达率λ和任务处理率μ的系统中，任务在队列中平均等待的时间。
系统平均响应时间W：
该公式用于计算在n个服务器、任务到达率λ和任务处理率μ的系统中，任务从到达系统到完成执行的平均时间，即系统的平均响应时间。
λ: 任务到达率（任务数/时间单位）；
μ: 任务处理率（任务数/时间单位）；
n: 系统中的服务器数量；
c: 系统中的最大任务队列长度，为无限大。
本实施例的任务调度策略的目标是最小化任务的平均等待时间Wq和系统平均响应时间W，并同时考虑任务平均排队长度Lq。为了实现这一目标，本实施例引入了一个综合性能指标函数F，其中α、β和γ是权重系数，用于调节不同性能指标在任务调度中的重要程度：
α、β和γ是权重系数；用于调节任务调度策略中不同性能指标的重要程度。
将任务调度策略输出至任务调度系统，任务调度参数为：
P是一个包含n个元素的集合，其中每个元素pi表示第i个任务的调度参数。这些调度参数可以包括任务的优先级、资源需求、任务大小、处理时间等与任务调度相关的信息。任务调度参数P的值会根据具体的任务和应用场景而变化。
其中pi表示第i个任务的调度参数，任务调度策略表示为函数G，将任务参数P映射为最终的调度结果：
R是一个包含n个元素的集合，其中每个元素ri表示第i个任务的执行顺序和分配节点的调度信息。在任务调度策略函数G的作用下，任务调度参数P被映射为最终的调度结果R。这个结果指定了每个任务在集群中的执行顺序和分配的服务器节点，为任务的实际执行提供了具体的指导。
其中ri表示第i个任务的执行顺序、分配节点的调度信息；
将任务调度策略输出至DS理论的过程即为对函数G(P)的调用，将任务参数P作为输入，得到最终的任务调度结果R作为输出的任务调度策略a。
最后，本实施例将任务调度策略a应用于DS理论中，结合Track-2中的元胞自动机模型的预测结果和信任度融合技术，综合分析并比对任务调度策略a，判断是否与元胞自动机预测的策略匹配。如果匹配，直接输出元胞自动机的任务调度策略；如果不匹配，则通过DS理论优化任务调度策略a，并输出当前所需的任务调度策略，供任务调度系统执行。这样，本实施例可以实现更加智能、可靠和高效的任务调度和资源分配，适应大数据集群的动态和复杂场景需求。
具体的，α、β和γ在实际中可选择如下四种方式确定具体参数：
（1）经验调整：基于经验和专业知识，任务调度的设计者可以根据对任务调度性能的理解和需求来手动设定权重系数。这是一种简单直观的方法，需要经过多次实验和反复调整来找到最优的权重分配。
（2）试验法：可以采用试验法来测试不同的权重组合，比较实验结果和性能指标的差异。通过多次试验，选取表现最优的权重组合作为最终的权重系数。
（3）优化算法：采用优化算法如遗传算法、粒子群算法等来寻找最优的权重组合。这些算法可以在一定范围内搜索最优解，以实现性能最优的任务调度策略。
（4）问题约束：任务调度的目标受到特定的约束条件限制。可以根据这些约束条件来定义权重系数，使得任务调度策略满足特定的要求。
通过任务调度参数P和任务调度策略函数G的运算，本实施例可以得到最终的任务调度结果R，从而确定了每个任务在大数据集群中的执行顺序和资源分配情况。这样的调度结果将用于实际的任务调度系统中，让任务按照指定的顺序和分配方式在集群中高效地执行。同时，通过合理地定义任务调度策略函数G，本实施例可以根据任务的特性和系统需求，实现任务调度的优化和性能提升，以更好地适应大数据集群的应用场景。
优选的，设在大数据集群的应用调度部署场景中，本实施例希望任务调度策略能够兼顾任务平均等待时间Wq、系统平均响应时间W以及任务平均排队长度Lq。设本实施例希望任务平均等待时间Wq在任务调度中占据较大的重要性，可以将α设置为较大的值，例如0.6。而对于系统平均响应时间W，本实施例认为它的重要性适中，可以将β设置为一个适中的值，例如0.3。对于任务平均排队长度Lq，本实施例认为它在任务调度中的重要性较低，可以将γ设置为一个较小的值，例如0.1。
具体地说，任务调度策略的综合性能指标函数F可以定义为：
其中，α、β和γ是权重参数，满足α + β + γ = 1，在[0, 1]的范围内取值。
示例性的，设通过实验评估得到任务平均等待时间Wq为10，系统平均响应时间W为20，任务平均排队长度Lq为5。如果本实施例希望在任务调度中更加关注任务平均等待时间Wq，可以将α设置为0.6，β设置为0.3，γ设置为0.1。这样最终的综合性能指标函数为：
这个结果表示，在考虑任务调度策略时，系统更加关注任务平均等待时间Wq，因为它在综合性能指标中的权重最大。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
实施例二
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
本实施例递进至实施例一：在Track-1中：
泊松分布包括：设X为单位时间内事件发生的次数或任务到达次数，λ为单位时间内事件的平均发生率或任务到达率，X服从泊松分布的概率质量函数为：
排队论模型为任务到达率和任务处理率满足：
最大队列长度c为有限值。
在本实施例中，泊松分布是一种用于描述单位时间内事件发生次数的概率分布模型。在大数据集群的任务调度场景中，本实施例可以将任务的到达视为一个事件，在单位时间内任务到达的次数就是事件发生的次数。λ表示单位时间内任务的平均到达率，即任务到达的平均速率。泊松分布的概率质量函数P表示单位时间内任务到达次数为k的概率。
本实施例用于分析和优化任务调度和资源分配问题。在大数据集群中，任务到达率和任务处理率是排队论模型中的两个关键参数。
λ表示任务到达率，即单位时间内平均到达系统的任务数。它决定了任务的产生速率。
μ表示任务处理率，即单位时间内系统能够处理的平均任务数。它决定了任务的处理速率。
在任务调度过程中，本实施例需要保证 λ<nμ，其中n是系统中的服务器数量。这个条件保证了任务到达的速率不会超过系统的处理能力，从而避免任务积压和系统资源过载的情况。
本实施例的排队论模型中，本实施例引入最大队列长度c来限制任务队列的长度。这是因为在实际应用中，队列长度无限制可能导致资源的浪费和性能的下降。设定最大队列长度c为有限值，可以控制任务等待队列的长度，从而更好地管理任务调度和资源利用。
综合使用泊松分布和排队论模型，本实施例可以预测任务到达的速率、系统的处理速率，以及任务等待队列的长度等信息，从而优化任务调度策略。通过合理设定任务到达率λ和任务处理率μ，并控制最大队列长度c，本实施例可以更好地管理大数据集群的任务调度和资源分配，提高系统的性能和可靠性。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
实施例三
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
本实施例递进至实施例二：在Track-2中：
在每个时间步T，元胞自动机通过状态转移函数F来更新状态空间S中的元胞状态：
1）元胞自动机状态转移函数：元胞自动机是一种基于局部规则的离散动力学系统，它由一组元胞组成，每个元胞有其状态，并与周围的元胞进行交互。在大数据集群的任务调度场景中，本实施例用元胞自动机来模拟任务调度策略的演化过程。在每个时间步T，通过状态转移函数F来更新状态空间S中的元胞状态：
2）邻居定义：采用Moore邻居定义，每个元胞周围的八个相邻元胞；
3）矩阵定义：元胞自动机的状态空间S采用个二维矩阵，其中S(i,j)表示第i行第j列元胞的状态，状态为任务优先级或任务状态使用状态转移函数更新下一个时间步的状态/>，下一个时间步的状态/>等于任务调度策略b。元胞自动机的状态更新过程模拟了任务调度策略的演化和变化。
4）将元胞自动机的状态转移函数输出至Track-3，转换为DS证据或DS信任度：
设DS证据为δ2，表示元胞自动机的状态转移函数的可信度；根据元胞自动机的状态转移函数和系统的历史状态，计算出当前状态的证据信度δ2，表示当前任务调度策略的可信程度；根据元胞自动机的状态转移函数和系统的历史状态，本实施例可以计算出当前状态的证据信度δ2，表示当前任务调度策略的可信程度。
将Track-1的排队论模型的信任度δ1与元胞自动机的证据信度δ2融合，得到最终的任务调度策略的DS信任度分布；这个融合过程通过一个融合函数H(δ1, δ2)来实现，其中δ1是Track-1中排队论模型的信任度，δ2是元胞自动机的证据信度。融合后得到最终的任务调度策略的DS信任度δDS。
设融合函数为：
最终的任务调度策略的DS信任度δDS为：
最终的任务调度策略的DS不确定性uDS通过计算1 - δDS得到。DS不确定性表示对任务调度策略的信任程度的不确定程度，它反映了融合结果的可靠性和置信度。通过这样的Track-2和Track-3的协作，本实施例可以将排队论模型和元胞自动机的信息融合，并得到最终的任务调度策略的DS信任度和不确定性。这样的综合方法在大数据集群的应用调度部署中，能够更加全面地考虑任务调度策略的演化和系统状态的变化，从而优化任务的调度和资源分配，提高系统的性能和可靠性。
在本实施例中，状态转移函数F的定义是元胞自动机中最核心的部分，它决定了元胞自动机在每个时间步如何更新其状态。在大数据集群的任务调度场景中，本实施例需要根据任务调度策略的特点来定义状态转移函数F。状态转移函数F通常基于元胞自动机的局部规则，即每个元胞的状态更新仅取决于其自身状态和周围相邻元胞的状态。在这里，本实施例采用Moore邻居定义，即每个元胞周围有八个相邻元胞，来决定任务调度策略的演化。在大数据集群的任务调度场景中，本实施例可以将状态定义为任务的优先级或任务状态。状态转移函数F优选为：
（1）任务优先级：如果任务具有不同的优先级，那么状态转移函数可以根据任务的优先级来决定任务的调度顺序。高优先级的任务可能会被优先调度和分配资源。
设任务的状态空间为{0, 1, 2, ..., k}，其中0表示任务未开始，k表示任务已完成。任务具有不同的优先级，优先级用整数表示，优先级越高，其对应的整数值越小。状态转移函数F定义如下：
这个状态转移函数表示，对于每个元胞(i, j)，如果任务的状态小于k，则状态加1，即任务进入下一个状态。如果任务状态已经是k，表示任务已完成，那么任务状态不再变化。
在大数据集群中，任务通常具有不同的优先级，而这些优先级可能与任务的紧急程度、重要性或资源需求有关。通过使用基于优先级的状态转移函数，可以确保高优先级的任务被优先调度和分配资源，从而提高对关键任务的处理效率和响应速度。这对于那些对系统性能和数据处理速度有较高要求的任务非常重要。
（2）任务状态：任务可能具有不同的状态，比如等待状态、运行状态、完成状态等。状态转移函数可以根据任务的状态来更新任务的调度策略，例如将等待的任务优先调度，或者根据任务的运行状态来调整资源分配。
设任务的状态空间为{0, 1, 2, ..., k}，其中0表示任务未开始，k表示任务已完成。任务具有不同的等待时间，等待时间用整数表示，等待时间越长，其对应的整数值越大。状态转移函数F定义如下：
这个状态转移函数表示，对于每个元胞(i, j)，如果任务的等待时间小于k，则状态增加任务的等待时间W(i, j)，即任务等待时间越长，其状态增加的幅度越大。如果任务等待时间已经达到或超过k，表示任务已完成，那么任务状态不再变化。
在大数据集群中，任务可能会因为资源繁忙或其他任务的优先调度而产生等待时间。通过使用基于任务等待时间的状态转移函数，可以优先处理等待时间较长的任务，从而缩短任务的等待时间，提高整体任务的执行效率。这对于减少任务调度的延迟和提高任务处理的并发性非常有益。
（3）系统历史状态：元胞自动机可以通过记忆功能，考虑系统的历史状态对当前状态的影响。例如，可以考虑前几个时间步的任务调度情况来影响当前的任务调度策略。
设任务的状态空间为{0, 1}，其中0表示任务未开始，1表示任务已完成。系统可以记忆前一个时间步的状态。状态转移函数F定义如下：
在大数据集群的任务调度场景中，系统的状态可能会因为任务的变化和不断的调度而不断演化。通过使用基于系统历史状态的状态转移函数，可以考虑系统的动态变化和历史状态对当前状态的影响，从而更好地适应不同时间步的任务调度需求。这样的状态转移函数可以提高任务调度的灵活性和适应性，使得系统更具弹性和鲁棒性。
综合考虑上述因素，本实施例可以定义状态转移函数F来更新元胞自动机的状态空间S中的元胞状态。状态转移函数F的具体形式取决于任务调度策略的特点和系统的需求，它涉及到一系列的判断条件、逻辑操作和数学运算。通过不断更新状态空间S，元胞自动机可以模拟任务调度策略的演化过程，并将最终的状态输出至Track-3进行DS理论的证据融合。
可以理解的是，这三种状态转移函数在大数据集群的应用调度部署和任务调度场景中都发挥着重要的作用。它们能够根据任务特性、系统状态和调度需求来调整任务的执行顺序和资源分配，从而优化整体的任务调度策略和系统性能。通过元胞自动机模拟这些状态转移函数，可以更好地理解任务调度的演化过程，并将其输出至Track-3进行DS理论的证据融合，进一步提高任务调度的智能化和效率。
需要指出的是，这三种状态转移函数可以配合同步使用：
（1）综合任务优先级和等待时间：通过同时使用基于优先级的状态转移函数和基于任务等待时间的状态转移函数，系统可以综合考虑任务的优先级和等待时间，从而确定最优的任务执行顺序和资源分配。优先级高的任务将被优先调度，同时优先处理等待时间较长的任务，以最大化系统的吞吐量和任务执行效率。
（2）动态适应性调度：基于系统历史状态的状态转移函数使得系统具备动态适应性调度的能力。它可以根据系统的演化过程和历史状态调整任务调度策略，适应不同时间步的任务需求和资源状况。这样的动态适应性调度可以提高系统的弹性和鲁棒性，在面对不同的任务负载和变化的系统状态时表现出更好的性能。
（3）智能任务调度决策：结合这三种状态转移函数，并利用DS理论的证据融合，系统可以实现智能任务调度决策。通过对Track-1和Track-2的任务调度策略进行综合分析和比对，得到最终的任务调度策略的DS信任度和不确定性。这样的智能任务调度决策可以更好地平衡不同性能指标的重要程度，确保任务调度的合理性和优化系统整体性能。
综合起来，这三者状态转移函数的配合实施能够使得大数据集群的应用调度部署和任务调度更加智能化、高效化和灵活化。它们的综合性有益效果在提升任务调度策略的决策质量、优化系统资源利用率、降低任务调度延迟等方面都具有显著的优势。同时，通过元胞自动机的模拟和DS理论的证据融合，能够实现对任务调度的智能优化和性能提升，进一步推动大数据集群的应用调度和任务处理水平。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
实施例四
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
本实施例递进至实施例三：在Track-3中：
当系统中的两个来源的证据（Track-1和Track-2的调度策略）是确定性的，即表示它们之间存在一致性，可以使用如下公式计算综合的信任度DS的证据合成或确定性情况：
当系统中的两个来源的证据（Track-1和Track-2的调度策略）是不确定性的，即表示它们之间存在不一致性，那么DS证据合成或不确定性情况：
DS不确定性uDS用于表示Track-1和Track-2的调度策略不一致的程度。它可以通过综合的信任度DS进行不确定性计算：
DS: 两个轨道的调度策略信任度分布；
δ: DS理论中的确定性符号，表示Track-1和Track-2的调度策略一致；
u: DS理论中的随机符号，表示Track-1和Track-2的调度策略不一致；
1）判断信息一致性：如果δDS ≥ 阈值，判定两个轨道的调度策略一致，直接输出元胞自动机的任务调度策略；具体来说在DS理论中，本实施例可以设定一个阈值（threshold），表示两个来源的调度策略是否一致的界限。如果综合的信任度δDS大于等于阈值，即δDS≥ 阈值，那么本实施例判定两个来源的调度策略是一致的。在这种情况下，本实施例直接输出元胞自动机的任务调度策略，因为两个来源的调度策略已经达成一致。
2）信息不一致情况下的决策：将任务调度策略a进行优化，使用排队论建模系统性能，并结合元胞自动机的状态转移函数进行调度决策，然后输出当前所需的任务调度策略。具体来说，在两个来源的调度策略存在不一致的情况下，本实施例需要进行决策来选择最终的任务调度策略。具体做法是将Track-1的任务调度策略a进行优化，使用排队论建模系统性能，并结合元胞自动机的状态转移函数进行调度决策，然后输出当前所需的任务调度策略。这样可以确保在信息不一致的情况下，选择更优的任务调度策略来优化系统性能。
通过以上方法，在大数据集群的应用调度部署和任务调度场景中，本实施例可以利用DS理论的证据融合，综合考虑不同来源的调度策略，并根据情况进行合理的决策，以达到最优的任务调度和系统性能优化效果。阈值的设置也允许本实施例灵活地调整判断一致性的标准，适应不同的任务需求和系统环境。
具体的，在本实施例中判断信息一致性的阈值是一个重要的参数，用于决定在DS理论中两个轨道的调度策略是否被认为是一致的。这个阈值可以根据具体的应用场景和需求来定义，它决定了在DS理论中将两个轨道的调度策略视为一致的程度。在DS理论中，信息一致性判断的阈值通常被表示为一个介于0和1之间的数值。设阈值为θ，如果融合后的DS信任度δDS≥ θ，就认为两个轨道的调度策略是一致的；反之，如果融合后的DS信任度δDS<θ，则认为两个轨道的调度策略不一致。
定义阈值包括如下因素：
（1）应用场景要求：不同的应用场景对调度策略的一致性要求可能不同。一些场景可能对任务调度的一致性要求较高，需要较高的阈值；而另一些场景可能对任务调度的一致性要求较低，可以使用较低的阈值。
（2）数据的可靠性： 融合的两个轨道的调度策略可能来自不同的数据源，数据的可靠性和准确性可能不同。如果数据比较可靠，可以适用较高的阈值，否则应考虑较低的阈值，以降低错误决策的风险。
（3）系统性能需求： 一致性判断的阈值也可以根据系统性能需求来定义。如果系统要求高可靠性和高准确性的任务调度，可以选择较高的阈值；如果系统对一致性要求较低，可以选择较低的阈值。
（4）历史数据分析：可以通过历史数据分析来确定合适的阈值。分析历史数据中两个轨道的调度策略一致性程度，然后根据分析结果来定义阈值。
需要强调的是，阈值的定义并没有一个固定的标准，它应该根据具体情况进行灵活选择。在实际应用中，可以通过如实施例一的试验和调优来选择合适的阈值，以满足系统的性能要求和应用场景的需要。
示例性的，设系统对任务调度的准确性和可靠性要求较高，希望在判断信息一致性时有较高的信心，可以将阈值θ设置为一个较高的值，例如0.8或0.9。这意味着只有当DS信任度δDS大于等于0.8或0.9时，系统才会判定两个轨道的调度策略一致，直接输出元胞自动机的任务调度策略。
具体的，可以将判断信息一致性的条件表示为：
具体的，在本实施例中：
（1）确定性情况下的DS证据合成： 当系统中的两个来源的证据（Track-1和Track-2的调度策略）是确定性的，即δ1和δ2都是确定性的，它们表示两个来源的调度策略一致性的程度。此时，DS证据合成公式用于综合两个来源的证据信度，得到最终的任务调度策略的DS信任度（δDS）。作为负责执行的一部分，Track-3会对δDS进行计算，并根据设定的阈值来判断两个来源的调度策略是否一致。如果δDS大于等于阈值，说明两者在一致性上达成共识，Track-3会直接输出元胞自动机的任务调度策略作为最终的任务调度结果。这样，系统能够快速得到确定且一致的任务调度策略，加快任务执行效率。
（2）不确定性情况下的DS证据合成： 当系统中的两个来源的证据（Track-1和Track-2的调度策略）存在不确定性，即δ1和δ2中存在随机成分，它们表示两个来源的调度策略不一致性的程度。在这种情况下，DS证据合成公式仍然用于综合两个来源的证据信度，得到最终的任务调度策略的DS信任度（δDS）。作为负责执行的一部分，Track-3会计算δDS和相应的不确定性uDS，根据uDS的大小来判断两个来源的调度策略的一致性程度。如果uDS较小，说明两者在一致性上较接近，Track-3会直接选择元胞自动机的任务调度策略作为最终的任务调度结果。如果uDS较大，说明两者在一致性上存在较大差异，Track-3会将Track-1的任务调度策略进行优化，结合排队论和元胞自动机的状态转移函数，以选择更优的任务调度策略来满足系统需求。这样，系统能够在不确定性情况下，灵活地根据实际情况选择最优的任务调度策略，提高系统性能。
（3）DS不确定性计算： DS不确定性uDS用于表示Track-1和Track-2的调度策略不一致的程度。在负责执行的过程中，Track-3会根据综合的信任度δDS计算不确定性uDS，然后根据uDS的大小来判断两个来源的调度策略的一致性程度。uDS的值介于0和1之间，值越小表示两个来源的调度策略越一致，值越大表示两个来源的调度策略越不一致。通过计算uDS，系统能够了解到两个来源的调度策略的一致性程度，以便作出更明智的任务调度决策。
在以上情况下，Track-3根据DS证据合成的结果和DS不确定性的计算，采取不同的决策来选择最终的任务调度策略。这样的设计能够适应不同的任务调度场景，保证了在确定性和不确定性情况下都能得到合理的任务调度决策，从而优化大数据集群的应用调度部署和任务调度效率。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
实施例五
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
本实施例递进至实施例四：在Track-3中：
当面临信息不一致的情况下，使用融合函数H来处理两个轨道的信任度，以平衡它们的影响并得到最终的任务调度结果的信任度δDS。融合函数H定义为加权平均，其中α和β是用于平衡两个轨道信任度的权重参数。
融合函数H通过加权平均将两个轨道的信任度合并，表达如下：
α和β：融合函数中用于平衡两个轨道信任度的权重参数；
融合函数H通过加权平均将两个轨道的信任度合并，得到最终的任务调度结果的信任度δDS，表示该任务调度策略的可信程度。
具体的，融合函数H的作用是将两个轨道的信任度综合考虑，使得最终的任务调度结果的信任度δDS能够反映出两个轨道在任务调度决策中的贡献。通过调整α和β的取值，可以实现对不同轨道信任度的加权，从而平衡两者在决策中的影响力。这样的设计能够使得系统在信息不一致的情况下，更加灵活地结合两个轨道的信息，得出更可靠的任务调度决策，提高大数据集群的应用调度部署和任务调度精准度。
融合函数H的引入能够在信息不一致的情况下，通过合理的权重平衡机制，对两个轨道的信任度进行综合，从而得到最终任务调度结果的信任度δDS。这一过程有助于在大数据集群应用调度部署和任务调度场景中，更好地处理不确定性，从而优化整个系统的性能和可靠性。
具体的，在大数据集群的应用调度部署场景中，Track-1采用排队论模型，而Track-2采用元胞自动机模拟。这两个轨道的信任度来自不同的模型和算法，代表了不同角度的任务调度决策。由于这两个模型在描述系统性能和调度策略上可能存在差异，因此需要将它们进行合理的加权，以平衡它们在决策中的影响力。同时权重参数α和β的设置可以根据实际需求和偏好来调整。通过合理地设置这些权重参数，可以体现系统在任务调度决策中对不同轨道的信任程度。如果某个轨道的模型较为可靠且具有较高准确性，可以适当增大其对任务调度结果的影响力。反之，如果某个轨道的模型较为不稳定或存在较大的不确定性，可以降低其权重以减弱其影响。
这种加权模式的有益效果在于综合考虑多角度信息：大数据集群的应用调度部署和任务调度涉及众多因素，例如系统负载、任务到达率、服务器资源等。两个轨道的模型可能从不同的角度对这些因素进行建模和评估。通过对不同轨道信任度的加权，可以综合考虑多个角度的信息，提供更全面、更可靠的任务调度决策。对不同轨道信任度进行加权可以实现平衡两者在决策中的影响力，使得系统在面对不一致的信息时，能够更加灵活地综合各个角度的信息，得出更可靠的任务调度结果。这样的设计能够提高大数据集群的应用调度部署和任务调度的效率和性能，同时增强了系统对不确定性的适应能力。
进一步的，融合函数H：在大数据集群的应用调度部署和任务调度中，通常会有多个来源的信息，例如Track-1中的排队论模型和Track-2中的元胞自动机模拟。这些不同来源的信息可能会存在不一致性和不确定性，因为它们采用不同的模型、算法或数据，面对不同的系统状态和场景。融合函数H通过加权平均的方式，将这些不同来源的信息综合考虑，使得系统能够更全面地理解整个系统的状态和性能，从而更好地处理不确定性。不同来源的信息在系统决策中可能具有不同的影响力。一些信息可能更加可靠和准确，而另一些信息可能存在较大的不确定性。通过设置融合函数H中的权重参数α和β，可以平衡不同来源信息的影响力，使得可靠性较高的信息在决策中占据较大的比重，从而降低不确定性对系统性能和可靠性的影响。融合函数H能够将不同来源的信息综合起来，得到最终的任务调度结果的信任度δDS。这一信任度表示了系统对任务调度策略的可信程度。在面对不确定性和不一致性的情况下，通过综合多来源信息并设置合适的权重，系统可以得到更加可信的任务调度结果，从而提高整个系统的性能和可靠性。
进一步的，定义α和β决定了在融合函数中两个轨道信任度的相对重要程度。这些权重参数的设置需要根据具体的系统需求、任务调度场景和性能目标来进行调整。一种常见的方法是通过专家经验或实验评估来确定这些参数，或者可以通过试错法进行优化，以找到最佳的参数组合。
示例性的，两个轨道的信任度分别为δ1和δ2，并且本实施例希望在决策中给予Track-1的信任度更大的权重，可以将α设置为一个较大的值，例如0.7，同时将β设置为一个较小的值，例如0.3。这样就会使得融合函数H中Track-1的信任度在决策中占据较大的比重，而Track-2的信任度占据较小的比重。
具体地说，融合函数H可以定义为：
其中，α和β是权重参数，满足α + β = 1，在[0, 1]的范围内取值。
示例性的，设系统经过实验评估得到Track-1的信任度δ1为0.8，Track-2的信任度δ2为0.6。如果本实施例希望在决策中更加依赖Track-1的信任度，可以将α设置为0.8，β设置为0.2，这样最终的融合结果为：
这个结果表明，最终的任务调度结果的信任度为0.74，表示系统对该任务调度策略的可信程度。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
实施例六
为使本发明的上述具体实施方式更加明显易懂，接下来将采用实施例的形式对本发明做详细的应用性的说明。本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的实施例的限制。
请参阅图2~4，本实施例提供一种存储介质，存储有用于执行如上述实施例一至五所述的部署方法的程序指令。这些程序指令包括排队论模型、元胞自动机模型和DS理论融合函数等相关算法和逻辑：
track1QueueModel: 这个函数模拟了Track-1中的排队论模型，根据输入的任务到达率λ、任务处理率μ、系统中的服务器数量n和最大任务队列长度c，计算出平均排队长度Lq、平均等待时间Wq和系统平均响应时间W。这些指标用于评估系统的性能，并作为任务调度策略的一部分。
track2CellularAutomaton: 这个函数模拟了Track-2中的元胞自动机状态转移函数。输入为表示状态空间的二维矩阵stateMatrix和时间步数timeSteps，函数通过更新状态矩阵stateMatrix来模拟元胞自动机的状态转移过程。
track3FusionFunction: 这个函数模拟了Track-3中的融合函数H。输入为两个轨道的信任度delta1和delta2，以及融合函数的权重参数alpha和beta。函数通过加权平均的方式将两个轨道的信任度进行融合，得到最终的任务调度结果的信任度deltaDS。融合函数的目的是平衡两个轨道信任度的影响，确保在信息不一致情况下能够更好地处理不确定性，并优化整个系统的性能和可靠性。
总体上，该段程序的原理是通过模拟大数据集群应用调度部署和任务调度的场景，使用排队论、元胞自动机和DS理论等技术来评估系统的性能和信任度，从而优化任务调度策略，并最终实现对大数据集群的高效调度和部署。
以上所述实施例仅表达了本发明的相关实际应用的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于大数据集群的应用调度部署方法，包括大数据集群分发的数据流，其特征在于，包括：并列同步实施的Track-1和Track-2：
Track-1：接收所述数据流，通过排队论模型解算系统的响应时间、队列长度、资源利用率输出任务调度策略a至Track-3；
Track-2：接收所述数据流，通过元胞自动机模拟下一个时间步的任务调度策略；同时将上一个时间步中存储并预测任务调度策略b输出至Track-3；
还包括Track-3：将Track-1和Track-2任务调度策略a、b导入到DS理论中进行分析和比对；如果当前时间步下所需的任务调度策略与元胞自动机预测的策略相匹配，直接输出元胞自动机的任务调度策略；如果不匹配，则通过DS理论优化任务调度策略a，输出当前所需的任务调度系统。
2.根据权利要求1所述的部署方法，其特征在于：在Track-1中，包括：
使用M/M/n/c排队论模型，有n个服务器和任务到达率λ的系统，任务处理率为μ，并且最大任务队列长度为c；任务到达遵循泊松分布，任务处理时间遵循指数分布：
平均排队长度Lq：
平均等待时间Wq：
系统平均响应时间W：
λ: 任务到达率（任务数/时间单位）；
μ: 任务处理率（任务数/时间单位）；
n: 系统中的服务器数量；
c: 系统中的最大任务队列长度，为无限大。
3.根据权利要求2所述的部署方法，其特征在于：任务调度策略为最小化任务平均等待时间Wq和系统平均响应时间W，并同时适配任务平均排队长度Lq，设定综合性能指标函数F：
α、β和γ是权重系数；
将任务调度策略输出至任务调度系统，任务调度参数为：
其中pi表示第i个任务的调度参数，任务调度策略表示为函数G，将任务参数P映射为最终的调度结果；
其中ri表示第i个任务的执行顺序、分配节点的调度信息；
将任务调度策略输出至DS理论的过程表示为对函数G(P)的调用，将任务参数P作为输入，得到最终的任务调度结果R作为输出的任务调度策略a，然后将任务调度策略a应用于DS理论中。
4.根据权利要求2所述的部署方法，其特征在于：所述泊松分布包括：设X为单位时间内事件发生的次数或任务到达次数，λ为单位时间内事件的平均发生率或任务到达率，X服从泊松分布的概率质量函数为：
排队论模型为任务到达率和任务处理率满足：
最大队列长度c为有限值。
5.根据权利要求4所述的部署方法，其特征在于：在Track-2中：
在每个时间步T，元胞自动机通过状态转移函数F来更新状态空间S中的元胞状态：
1）元胞自动机状态转移函数：
5）邻居定义：采用Moore邻居定义，每个元胞周围的八个相邻元胞；
6）矩阵定义：元胞自动机的状态空间S采用个二维矩阵，其中S(i,j)表示第i行第j列元胞的状态，状态为任务优先级或任务状态使用状态转移函数更新下一个时间步的状态，下一个时间步的状态/>等于任务调度策略b。
6.根据权利要求5所述的部署方法，其特征在于：在Track-2中：
将元胞自动机的状态转移函数输出至Track-3，转换为DS证据或DS信任度：设DS证据为δ2，表示元胞自动机的状态转移函数的可信度；将Track-1的排队论模型的信任度δ1与元胞自动机的证据信度δ2融合，得到最终的任务调度策略的DS信任度分布；设融合函数为：
最终的任务调度策略的DS信任度δDS为：
最终的任务调度策略的DS不确定性uDS通过计算1 - δDS得到。
7.根据权利要求2、3、5或6所述的部署方法，其特征在于：在Track-3中：DS证据合成或确定性情况：
DS证据合成或不确定性情况：
DS不确定性计算：
DS: 两个轨道的调度策略信任度分布；
δ: DS理论中的确定性符号，表示Track-1和Track-2的调度策略一致；
u: DS理论中的随机符号，表示Track-1和Track-2的调度策略不一致；
1）判断信息一致性：如果δDS ≥ 阈值，判定两个轨道的调度策略一致，直接输出元胞自动机的任务调度策略；
2）信息不一致情况下的决策：将任务调度策略a进行优化，使用排队论建模系统性能，并结合元胞自动机的状态转移函数进行调度决策，然后输出当前所需的任务调度策略。
8.根据权利要求7所述的部署方法，其特征在于：DS理论融合和决策：所述阈值表示为一个介于0和1之间的数值。
9.根据权利要求7所述的部署方法，其特征在于：在信息不一致情况下的决策中：融合函数H定义为加权平均，其中权重参数为α和β，表示对两个轨道的信任度进行平衡；最终的任务调度结果的信任度δDS为加权平均后的值：
α和β：融合函数中用于平衡两个轨道信任度的权重参数；融合函数H通过加权平均将两个轨道的信任度合并，得到最终的任务调度结果的信任度δDS，表示该任务调度策略的可信程度。
10.一种存储介质，其特征在于：所述存储介质内存储有用于执行如权利要求1~9任意一所述部署方法的程序指令。
CN202310967733.1A 2023-08-03 2023-08-03 一种基于大数据集群的应用调度部署方法及存储介质 Active CN116680062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310967733.1A CN116680062B (zh) 2023-08-03 2023-08-03 一种基于大数据集群的应用调度部署方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310967733.1A CN116680062B (zh) 2023-08-03 2023-08-03 一种基于大数据集群的应用调度部署方法及存储介质

Publications (2)

Publication Number Publication Date
CN116680062A true CN116680062A (zh) 2023-09-01
CN116680062B CN116680062B (zh) 2023-12-01

Family

ID=87785921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310967733.1A Active CN116680062B (zh) 2023-08-03 2023-08-03 一种基于大数据集群的应用调度部署方法及存储介质

Country Status (1)

Country Link
CN (1) CN116680062B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117077987A (zh) * 2023-10-16 2023-11-17 湖南省通晓信息科技有限公司 一种基于元胞自动机的环卫管理方法及存储介质
CN117171258A (zh) * 2023-09-07 2023-12-05 中国铁建港航局集团有限公司 基于gis定位ar管网信息展示方法、系统及存储介质
CN117376973A (zh) * 2023-10-23 2024-01-09 黑龙江智网科技有限公司 一种区域5g基站容量信息分析处理方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006177A1 (en) * 2005-05-10 2007-01-04 International Business Machines Corporation Automatic generation of hybrid performance models
JP2009169780A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd リソース状態予測装置、リソース状態予測方法、およびプログラム
CN102608916A (zh) * 2012-02-15 2012-07-25 浙江工业大学 一种基于元胞机的大型零件柔性作业车间的动态调度方法
US20130007259A1 (en) * 2011-07-01 2013-01-03 Sap Ag Characterizing Web Workloads For Quality of Service Prediction
WO2020220436A1 (zh) * 2019-04-29 2020-11-05 东北大学 面向不同老化场景的虚拟机工作队列和冗余队列更新方法
CN111930436A (zh) * 2020-07-13 2020-11-13 兰州理工大学 一种基于边缘计算的随机型任务排队卸载优化方法
US20200387785A1 (en) * 2019-06-05 2020-12-10 Wuhan University Power equipment fault detecting and positioning method of artificial intelligence inference fusion
CN113895439A (zh) * 2021-11-02 2022-01-07 东南大学 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
WO2022006830A1 (zh) * 2020-07-10 2022-01-13 广东石油化工学院 一种多队列多集群的任务调度方法及系统
CN114143317A (zh) * 2021-12-06 2022-03-04 云南大学 面向跨云层移动边缘计算的多优先级计算卸载策略优化方法
CN116302507A (zh) * 2023-02-27 2023-06-23 南京航空航天大学 基于休假排队的应用服务动态部署与更新方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006177A1 (en) * 2005-05-10 2007-01-04 International Business Machines Corporation Automatic generation of hybrid performance models
JP2009169780A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd リソース状態予測装置、リソース状態予測方法、およびプログラム
US20130007259A1 (en) * 2011-07-01 2013-01-03 Sap Ag Characterizing Web Workloads For Quality of Service Prediction
CN102608916A (zh) * 2012-02-15 2012-07-25 浙江工业大学 一种基于元胞机的大型零件柔性作业车间的动态调度方法
WO2020220436A1 (zh) * 2019-04-29 2020-11-05 东北大学 面向不同老化场景的虚拟机工作队列和冗余队列更新方法
US20200387785A1 (en) * 2019-06-05 2020-12-10 Wuhan University Power equipment fault detecting and positioning method of artificial intelligence inference fusion
WO2022006830A1 (zh) * 2020-07-10 2022-01-13 广东石油化工学院 一种多队列多集群的任务调度方法及系统
CN111930436A (zh) * 2020-07-13 2020-11-13 兰州理工大学 一种基于边缘计算的随机型任务排队卸载优化方法
CN113895439A (zh) * 2021-11-02 2022-01-07 东南大学 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
CN114143317A (zh) * 2021-12-06 2022-03-04 云南大学 面向跨云层移动边缘计算的多优先级计算卸载策略优化方法
CN116302507A (zh) * 2023-02-27 2023-06-23 南京航空航天大学 基于休假排队的应用服务动态部署与更新方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐鸿翔;吴晶华;张向华;: "基于元胞自动机理论的协同设计任务调度模型", 江苏技术师范学院学报, no. 10, pages 1 - 6 *
郭力争: "云计算环境下资源部署与任务调度研究", 《中国博士学位论文全文数据库 信息科技辑》, pages 139 - 1 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171258A (zh) * 2023-09-07 2023-12-05 中国铁建港航局集团有限公司 基于gis定位ar管网信息展示方法、系统及存储介质
CN117171258B (zh) * 2023-09-07 2024-04-12 中国铁建港航局集团有限公司 基于gis定位ar管网信息展示方法、系统及存储介质
CN117077987A (zh) * 2023-10-16 2023-11-17 湖南省通晓信息科技有限公司 一种基于元胞自动机的环卫管理方法及存储介质
CN117077987B (zh) * 2023-10-16 2024-01-02 湖南省通晓信息科技有限公司 一种基于元胞自动机的环卫管理方法及存储介质
CN117376973A (zh) * 2023-10-23 2024-01-09 黑龙江智网科技有限公司 一种区域5g基站容量信息分析处理方法和系统
CN117376973B (zh) * 2023-10-23 2024-05-10 黑龙江智网科技有限公司 一种区域5g基站容量信息分析处理方法和系统

Also Published As

Publication number Publication date
CN116680062B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN116680062B (zh) 一种基于大数据集群的应用调度部署方法及存储介质
US11784931B2 (en) Network burst load evacuation method for edge servers
US20140343711A1 (en) Decision support system for order prioritization
Chen et al. Resource allocation with workload-time windows for cloud-based software services: a deep reinforcement learning approach
CN108650131B (zh) 用于sdn网络中多控制器部署的处理系统
Chen et al. ALBRL: Automatic Load‐Balancing Architecture Based on Reinforcement Learning in Software‐Defined Networking
CN115714820A (zh) 一种分布式的微服务调度优化方法
Ji et al. Adaptive workflow scheduling for diverse objectives in cloud environments
Song et al. Adaptive and collaborative edge inference in task stream with latency constraint
Manavi et al. Resource allocation in cloud computing using genetic algorithm and neural network
Liu et al. An Approach to Modeling and Analyzing Reliability for Microservice‐Oriented Cloud Applications
CN116996941A (zh) 基于配网云边端协同的算力卸载方法、装置及系统
Lin et al. Impact of MapReduce policies on job completion reliability and job energy consumption
Li et al. Joint optimization of auto-scaling and adaptive service placement in edge computing
CN112579293B (zh) 一种分布计算系统的综合验证方法
Yadav E-MOGWO Algorithm for Computation Offloading in Fog Computing.
Kumari et al. Multiple criteria decision making-based task offloading and scheduling in fog environment
Fang et al. A Scheduling Strategy for Reduced Power Consumption in Mobile Edge Computing
CN113297152A (zh) 一种电力物联网边缘服务器缓存更新的方法及装置
Yu et al. An evolution-based dynamic scheduling algorithm in grid computing environment
CN117997906B (zh) 节点计算资源分配方法、网络交换子系统及智能计算平台
Zhang et al. Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks
Sidhanta et al. Infra: SLO Aware Elastic Auto-scaling in the Cloud for Cost Reduction
Fakhartousi et al. Autonomic Dominant Resource Fairness (A-DRF) in Cloud Computing
Milani et al. Intelligent service selection in a multi-dimensional environment of cloud providers for iot stream data through cloudlets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 605, Building 2, Huatie Jiayuan, No. 170, Youyi Road, Tianxin District, Changsha, 410000, Hunan Province

Applicant after: Hunan Bochuang High tech Industrial Co.,Ltd.

Address before: Room 605, Building 2, Huatie Jiayuan, No. 170, Youyi Road, Tianxin District, Changsha, 410000, Hunan Province

Applicant before: Hunan Boxin Chuangyuan Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant