CN118819781A - 一种气象卫星数据全流程优化调度的方法及系统 - Google Patents

Abstract

本发明提供了一种气象卫星数据全流程优化调度的方法及系统，包括：首先连接气象数据处理模块获取N个全流程任务处理节点，然后收集这些节点的历史处理数据，识别出关键节点，制定协同调度约束。接着，根据任务需求，对待执行任务进行评估并匹配优先级，生成调度策略寻优空间。最后，加载优化调度模型，生成多个任务调度策略，在寻优空间中找到最优策略进行任务调度。通过本发明可以解决现有技术由于数据处理流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星观测数据到“图、场、态、标”等气象预报支撑信息要素生成处理的准确性和时效性，提高了整体处理效率，优化了资源分配，避免了资源浪费。

Description

一种气象卫星数据全流程优化调度的方法及系统

技术领域

本发明涉及气象卫星数据处理作业调度技术领域，尤其涉及一种气象卫星数据全流程优化调度的方法及系统。

背景技术

随着科技进步和社会发展，气象卫星在天气预报、气候研究、自然灾害预警等方面发挥着越来越重要的作用。气象卫星是获取地球大气、云、水汽等数据的关键手段，这些数据对于提高气象预报的准确性和时效性至关重要。

目前，现有的气象数据处理调度技术在实际应用中仍存在一定的局限性。现有技术由于数据处理流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星数据产品处理的准确性和时效性。

发明内容

本发明的目的是提供一种气象卫星数据全流程优化调度的方法及系统，用以解决现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星数据产品处理的准确性和时效性。

鉴于上述问题，本发明提供了一种气象卫星数据全流程优化调度的方法及系统。

第一方面，本发明提供了一种气象卫星数据全流程优化调度的方法，所述一种气象卫星数据全流程优化调度的方法通过一种气象卫星数据全流程优化调度的系统实现，其中，所述一种气象卫星数据全流程优化调度的方法包括：连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；加载优化调度模型，根据所述任务需求生成多个任务调度策略；评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。

第二方面，本发明还提供了一种气象卫星数据全流程优化调度的系统，用于执行如第一方面所述的一种气象卫星数据全流程优化调度的方法，其中，所述一种气象卫星数据全流程优化调度的系统包括：节点获取模块，用于连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；关键节点识别模块，用于收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；协同约束制定模块，用于根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；优先级获取模块，用于获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；寻优空间生成模块，用于根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；调度策略生成模块，用于加载优化调度模型，根据所述任务需求生成多个任务调度策略；寻优模块，用于评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；加载优化调度模型，根据所述任务需求生成多个任务调度策略；评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度，有效解决了现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星数据产品处理的准确性和时效性，提高了整体处理效率，优化了资源分配，避免了资源浪费。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种气象卫星数据全流程优化调度的方法的流程示意图；

图2为本发明一种气象卫星数据全流程优化调度的系统的结构示意图。

附图标记说明：

节点获取模块11，关键节点识别模块12，协同约束制定模块13，优先级获取模块14，寻优空间生成模块15，调度策略生成模块16，寻优模块17。

具体实施方式

随着全球气候变化日益显著，气象数据的准确性和时效性对于防灾减灾、农业生产、航空航海等多个领域的重要性愈发凸显。气象卫星作为获取这些关键数据的重要手段，其数据处理效率和质量直接影响到气象预报和气候研究的成果。然而，现有的气象数据处理调度系统面临着诸多挑战：

1、数据处理流程复杂且庞大：气象卫星数据涉及大气、云、水汽等多个维度的观测数据，处理流程通常包括数据接收、预处理、分析、存储等多个环节，各环节间依赖紧密，任何一个环节的瓶颈都可能影响整体处理效率。

2、资源分配不均：在数据处理过程中，不同任务对计算资源、存储资源的需求差异显著。现有系统往往采用静态资源分配策略，无法根据任务的实际需求动态调整资源分配，导致资源利用率低下，部分高负载任务因资源不足而处理缓慢。

3、故障容忍度低：气象数据处理系统对稳定性和可靠性要求极高，任何系统或硬件故障都可能导致数据丢失或处理中断，进而影响气象预报的准确性和时效性。现有系统在故障检测和恢复方面存在不足，无法有效应对突发故障。

4、调度策略单一：传统调度策略往往基于简单的优先级排序或先来先服务原则，未能充分考虑任务间的依赖关系、资源消耗、处理时间等多个因素，导致调度结果往往不是最优的。

本发明通过提供一种气象卫星数据全流程优化调度的方法及系统，解决了现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星数据产品处理的准确性和时效性，提高了整体处理效率，优化了资源分配，避免了资源浪费。

具体来说，本发明的一种气象卫星数据全流程优化调度的方法及系统具有如下有益效果：

1、提高整体处理效率：通过识别并优化数据处理流程中的瓶颈节点，减少任务等待时间和执行时间，从而显著提高整体处理效率。

2、优化资源分配：根据任务的实际需求动态调整计算资源和存储资源的分配，确保高负载任务获得足够的资源支持，同时避免资源浪费，提高资源利用率。

3、增强系统稳定性：通过识别故障率高的节点并制定相应的容错策略，如设置备份节点、重启机制等，提高系统的故障容忍度和稳定性，确保数据处理任务的连续性和完整性。

4、实现智能调度：综合考虑任务间的依赖关系、时效性、优先级、处理复杂度以及资源消耗等多个因素，利用优化调度模型生成最优任务调度策略，实现气象卫星数据全流程的智能调度。

5、支持动态调整：实时监控节点性能数据，利用大数据分析方法动态调整调度策略，以适应不断变化的数据处理需求和节点性能状态，确保调度策略的持续优化和适应性。

下面，将参考附图对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。

实施例一，请参阅附图1，本发明提供了一种气象卫星数据全流程优化调度的方法，其中，所述一种气象卫星数据全流程优化调度的方法应用于一种气象卫星数据全流程优化调度的系统，所述一种气象卫星数据全流程优化调度的方法具体包括如下步骤：

S1：连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数。

具体而言，在气象数据处理过程中，各个功能模块按照一定的顺序和依赖关系执行，形成一个完整的处理流程。每个功能模块都可以被视为一个任务处理节点，它接收输入数据，执行特定的处理操作，并产生输出数据。将模块中的每个功能模块抽象为一个任务处理节点，明确其输入、输出和处理逻辑。为每个任务处理节点分配一个唯一的标识符。提取节点的相关信息，如处理时间、资源消耗、故障率等。

S2：收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集。

具体而言，确定历史处理数据的来源，包括日志文件、数据库记录或监控系统等。从确定的数据来源中提取每个任务处理节点的历史处理数据，包括处理时间、资源消耗，如CPU使用率、内存占用等以及故障记录。去除不完整或异常的数据记录，确保数据的准确性和可靠性。将提取的数据转换为适合分析的格式，如将数据表转化为时间序列数据或特征向量。计算每个节点的平均处理时间和最大处理时间，与预设的时间阈值进行比较，识别出处理时间超过预设时间的第一节点集。分析每个节点的资源消耗情况，包括CPU使用率、内存占用等，与预设的资源消耗阈值进行比较，识别出资源消耗大于预设消耗的第二节点集。统计每个节点的故障次数和故障率，与预设的故障率阈值进行比较，识别出故障率大于预设故障率的第三节点集。

S3：根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束。

具体而言，对第一节点集中的节点，识别其处理时间长的原因，可能是算法复杂度高、数据量大或系统资源分配不均等。对第二节点集中的节点，分析其资源消耗大的原因，可能是内存泄漏、计算密集型操作或并发处理不当等。对第三节点集中的节点，识别其故障率高的原因，可能是硬件老化、软件缺陷或外部环境干扰等。时间约束，对于第一节点集中的节点，设定最大允许处理时间，并在调度时优先考虑减少这些节点的等待时间和执行时间。资源约束，对于第二节点集中的节点，设定资源使用上限，并在调度时确保这些节点不会超出资源预算，同时考虑资源的动态分配和回收。可靠性约束，对于第三节点集中的节点，设定故障容忍度，并在调度时增加对这些节点的监控和容错处理，如设置备份节点或重启策略。在制定调度策略时，需要协同考虑时间、资源和可靠性三个方面的约束，确保整体调度方案的可行性和优化性。

S4：获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同。

具体而言，明确需要执行的气象数据处理任务，可能来自于用户的查询请求、气象观测站的实时数据或其他业务系统的数据处理需求。对于每个待执行的任务，需要评估其时效性、优先级以及处理复杂度。时效性指的是任务需要在多长时间内完成，例如实时数据处理任务可能要求秒级或分钟级的响应时间。优先级表示任务的重要性和紧急程度，高优先级任务应优先执行。处理复杂度则反映了任务执行所需的计算资源和时间，复杂度高的任务可能消耗更多资源。根据评估结果，为每个待执行的任务分配一个执行优先级。优先级可以相同，表示这些任务在调度时可以按照相同的顺序或策略进行处理。通过用户接口、API调用或内部业务系统等方式收集任务需求。使用预定义的评估指标和算法来量化任务的时效性、优先级和处理复杂度。例如，可以为时效性设置一个时间窗口，为优先级定义一个权重值，为处理复杂度分配一个计算资源消耗指标。根据评估结果，使用排序算法或优先级队列来为每个任务分配执行优先级。可以将优先级相同的任务归类到同一个优先级组别中，以便后续调度处理。

S5：根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间。

具体而言，确定调度策略中需要优化的参数，例如任务的执行顺序、资源的分配方式、备份节点的数量等。根据约束条件和参数定义，构建一个多维的寻优空间。每个维度代表一个调度策略参数，而寻优空间中的每个点都对应一个具体的调度方案。

S6：加载优化调度模型，根据所述任务需求生成多个任务调度策略。

具体而言，加载已经训练好优化调度模型。这个模型应该能够考虑协同调度约束和任务执行优先级，并输出满足这些条件的调度策略。使用加载的优化调度模型，根据任务需求生成多个可行的调度策略。这些策略会考虑不同的任务执行顺序、资源分配方式、容错机制等。对生成的每个调度策略进行评估，检查它们是否满足所有的协同调度约束和任务执行优先级。同时，也可以评估每个策略的预期性能，如总处理时间、资源利用率等。根据评估结果，选择最优的调度策略作为最终的执行方案。这个策略应该是在满足所有约束和优先级的前提下，具有最佳预期性能的策略。

S7：评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。

具体而言，对生成的多个任务调度策略进行详细的评估。评估的指标可以包括总处理时间、资源利用率、故障容忍度、任务执行的公平性等。使用模拟或预测模型来估计每个策略在实际执行时的性能。根据评估结果，在调度策略寻优空间中进行搜索，以找到最优的任务调度策略。可以使用优化算法，如遗传算法、模拟退火、粒子群优化等来迭代搜索寻优空间，直到找到满足所有约束条件且优化目标最优的策略。经过寻优过程，得到最优的任务调度策略。这个策略应该是在满足所有协同调度约束和任务执行优先级的前提下，具有最佳预期性能的策略。根据得到的最优任务调度策略，进行实际的任务调度。将任务分配给相应的处理节点，并按照策略中定义的执行顺序和资源分配方式执行任务。

进一步，本发明步骤S2还包括：

确定历史数据收集时间窗口，在所述历史数据收集时间窗口内，收集N个历史处理数据，包括处理时间数据、资源消耗数据、故障次数数据；计算每个节点的平均处理时间、平均资源消耗、平均故障率；分别根据所述平均处理时间、平均资源消耗、平均故障率进行聚类分析，分别得到所述第一节点集、所述第二节点集以及所述第三节点集。

具体而言，确定一个合适的时间段作为历史数据收集的时间窗口。这个时间窗口应该足够长，以包含足够多的处理数据，同时也要足够近，以反映当前的系统状态。在确定的时间窗口内，收集N个历史处理数据。这些数据应该包括每个处理节点的处理时间数据、资源消耗数据以及故障次数数据。对于每个节点，计算其在时间窗口内的平均处理时间。这是通过将节点的总处理时间除以其处理的任务数量来得到的。同样，计算每个节点在时间窗口内的平均资源消耗。这可以包括CPU使用率、内存使用率、磁盘I/O等。计算每个节点在时间窗口内的平均故障率。这是通过将节点的故障次数除以其处理的任务数量来得到的。将计算得到的平均处理时间、平均资源消耗、平均故障率作为聚类的输入特征。分别根据平均处理时间、平均资源消耗、平均故障率进行聚类分析。可以使用聚类算法，如K-means、DBSCAN等。对于每个特征，聚类分析将节点分为不同的组或簇，这些组内的节点在相应特征上具有相似的表现。根据平均处理时间的聚类结果，得到第一节点集，其中的节点在处理时间上具有相似的性能。根据平均资源消耗的聚类结果，得到第二节点集，其中的节点在资源消耗上具有相似的性能。根据平均故障率的聚类结果，得到第三节点集，其中的节点在故障率上具有相似的性能。

进一步，本发明步骤S3还包括：

确定协同调度目标，包括数据处理率、资源利用率、安全性；对所述第一节点集的执行时间进行限制，设置最大执行时间阈值，超过所述最大执行时间阈值为第一约束；对所述第二节点集的资源消耗进行限制，设置最大存储消耗阈值，超过所述最大存储消耗阈值为第二约束；对所述第三节点集的故障率进行限制，设置最大故障率阈值，超过所述最大故障率阈值为第三约束；根据所述第一约束、所述第二约束和所述第三约束制定协同调度约束。

具体而言，数据处理率目标是提高气象数据处理任务的处理速度，确保数据能够及时得到处理。资源利用率目标是优化资源的使用，避免资源的浪费，同时确保任务能够得到足够的资源来执行。安全性目标是确保气象数据处理任务在执行过程中不会受到安全威胁，保护数据的完整性和机密性。设置最大执行时间阈值，确保第一节点集中的节点在执行任务时不会超过这个时间限制。超过最大执行时间阈值将被视为违反第一约束。设置最大存储消耗阈值，限制第二节点集中的节点在执行任务时的资源消耗。超过最大存储消耗阈值将被视为违反第二约束。设置最大故障率阈值，要求第三节点集中的节点在执行任务时保持在这个故障率以下。超过最大故障率阈值将被视为违反第三约束。根据数据处理率、资源利用率和安全性的目标，以及第一约束、第二约束和第三约束，制定协同调度策略。

进一步，本发明步骤S5还包括：

基于资源需求、资源类型、资源状态定义计算资源和存储资源任务分配的第一分配规则；基于任务执行优先级、任务类型、任务执行时间定义任务调度顺序的第二分配规则；基于节点负载、节点特性定义任务分配的第三分配规则；根据所述第一分配规则、所述第二分配规则和所述第三分配规则构建调度策略寻优空间。

具体而言，第一分配规则，计算资源和存储资源任务分配，资源需求：考虑任务对CPU、内存、存储等资源的具体需求。资源类型，区分不同类型的资源，如计算资源、存储资源等。资源状态，考虑资源的当前状态，如是否可用、是否已被其他任务占用等。优先为任务分配满足其资源需求且状态为可用的资源。第二分配规则，任务调度顺序；任务执行优先级，根据任务的重要性和紧急程度设定优先级。任务类型，区分不同类型的任务，如实时处理任务、批量处理任务等。任务执行时间，考虑任务的预计执行时间。按照任务执行优先级从高到低进行排序，优先级相同时，考虑任务类型和执行时间，确保重要和紧急的任务优先执行。第三分配规则，任务分配至节点；节点负载，考虑节点的当前负载情况，包括CPU使用率、内存使用率等。节点特性，区分不同特性的节点，如高性能计算节点、大存储节点等。优先将任务分配给负载较低且特性符合任务需求的节点。调度策略寻优空间是一个包含所有可能调度策略的集合。在这个空间中，每个点都代表一个具体的调度策略。根据第一分配规则，确定计算资源和存储资源的分配方式。根据第二分配规则，确定任务的执行顺序。根据第三分配规则，确定任务分配至哪个节点。通过组合这些规则，可以生成大量的可能调度策略，构成寻优空间。

进一步，本发明步骤S7还包括：

确定优化目标，生成评估指标；分别计算所述多个任务调度策略的性能指标，将大于所述评估指标的加入候选任务调度策略集中；根据所述优化目标从所述寻优空间中随机生成任务调度策略作为第一初始任务调度策略；遍历提取所述任务调度策略集中的策略作为第一候选调度策略，评估所述第一候选调度策略和所述第一初始任务调度策略，根据评估结果，选择第一最优策略，重复步骤直至满足预设条件，选择当前第一最优策略作为最优任务调度策略。

具体而言，需要明确优化的目标，例如，最小化总处理时间、最大化资源利用率、最小化故障率、确保任务执行的公平性、生成评估指标；根据优化目标，生成相应的评估指标，例如：总处理时间指标，所有任务完成处理所需的总时间。资源利用率指标，系统资源的平均利用率。故障率指标，任务执行过程中发生故障的比率。公平性指标，任务之间执行时间的差异程度。对于生成的多个任务调度策略，分别计算它们的性能指标，并将大于评估指标的策略加入候选任务调度策略集中。根据优化目标，从寻优空间中随机生成一个任务调度策略作为第一初始任务调度策略。接下来，遍历提取任务调度策略集中的策略作为第一候选调度策略，并评估第一候选调度策略和第一初始任务调度策略。根据评估结果，选择性能更优的策略作为当前的第一最优策略。重复上述遍历和评估的步骤，直到满足预设条件，例如，达到最大迭代次数、性能提升小于阈值等。最后，选择当前的第一最优策略作为最优任务调度策略，并用于实际的气象数据处理任务调度。

进一步，本发明还包括：

若所述任务调度策略集遍历完成，但不满足预设条件时，将所述第一最优策略进行随机变异多次，生成第二最优策略集；遍历提取所述第二最优策略集中的策略作为第三最优策略，评估所述第三最优策略和所述第一最优策略，根据评估结果，选择候选最优策略，重复步骤直至满足预设条件，选择当前候选最优策略作为最优任务调度策略。

具体而言，将当前的第一最优策略进行随机变异多次，生成第二最优策略集。变异可以包括改变任务的执行顺序、调整任务分配的节点、修改资源分配方式等。遍历提取第二最优策略集中的策略作为第三最优策略，并评估第三最优策略和第一最优策略。根据评估结果，选择性能更优的策略作为当前的候选最优策略。重复上述遍历和评估的步骤，直到满足预设条件，例如，达到最大迭代次数、性能提升小于阈值等。当满足预设条件时，选择当前的候选最优策略作为最优任务调度策略，并用于实际的气象数据处理任务调度。

进一步，本发明还包括：

实时获取每个节点的性能数据；利用大数据分析方法对所述性能数据进行分析；根据分析结果，自动调整调度策略。

具体而言，实时监控每个节点的性能指标，如CPU使用率、内存使用率、磁盘I/O、网络带宽等。使用数据采集工具或系统，如Prometheus、Grafana等，定期或实时地从监控节点收集性能数据。将收集到的性能数据存储到时间序列数据库或大数据存储系统中。对收集到的性能数据进行清洗、去重、转换等预处理操作，以确保数据的准确性和一致性。从预处理后的数据中提取关键特征，如节点的平均负载、最大负载、负载波动等。利用机器学习或统计模型，对提取的特征进行分析，以识别节点的性能模式、瓶颈或异常。使用流处理技术或实时分析框架，如Apache Kafka、Spark Streaming等，对实时性能数据进行实时分析。根据分析结果，自动调整任务调度策略，如重新分配任务、调整资源配额、优化任务执行顺序等。实施调整后的调度策略，并实时监控其效果。通过反馈机制，收集新的性能数据，以便进行进一步的优化。不断重复上述过程，持续优化调度策略，以适应不断变化的气象数据处理需求和节点性能状态。

综上所述，本发明所提供的一种气象卫星数据全流程优化调度的方法具有如下技术效果：

通过连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；加载优化调度模型，根据所述任务需求生成多个任务调度策略；评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度，有效解决了现有技术由于气象数据处理调度流程中的瓶颈节点未被有效识别和优化，导致整体处理效率低下，资源利用率不高，进一步影响了气象卫星数据产品处理的准确性和时效性，提高了整体处理效率，优化了资源分配，避免了资源浪费。

实施例二，基于与前述实施例中一种气象卫星数据全流程优化调度的方法，同样发明构思，本发明还提供了一种气象卫星数据全流程优化调度的系统，请参阅附图2，所述一种气象卫星数据全流程优化调度的系统包括：

节点获取模块11，用于连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数。

关键节点识别模块12，用于收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集。

协同约束制定模块13，用于根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束。

优先级获取模块14，用于获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同。

寻优空间生成模块15，用于根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间。

调度策略生成模块16，用于加载优化调度模型，根据所述任务需求生成多个任务调度策略。

寻优模块17，用于评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。

进一步，所述一种气象卫星数据全流程优化调度的系统中关键节点识别模块12还用于：

确定历史数据收集时间窗口，在所述历史数据收集时间窗口内，收集N个历史处理数据，包括处理时间数据、资源消耗数据、故障次数数据；计算每个节点的平均处理时间、平均资源消耗、平均故障率；分别根据所述平均处理时间、平均资源消耗、平均故障率进行聚类分析，分别得到所述第一节点集、所述第二节点集以及所述第三节点集。

进一步，所述一种气象卫星数据全流程优化调度的系统中协同约束制定模块13还用于：

确定协同调度目标，包括数据处理率、资源利用率、安全性；对所述第一节点集的执行时间进行限制，设置最大执行时间阈值，超过所述最大执行时间阈值为第一约束；对所述第二节点集的资源消耗进行限制，设置最大存储消耗阈值，超过所述最大存储消耗阈值为第二约束；对所述第三节点集的故障率进行限制，设置最大故障率阈值，超过所述最大故障率阈值为第三约束；根据所述第一约束、所述第二约束和所述第三约束制定协同调度约束。

进一步，所述一种气象卫星数据全流程优化调度的系统中寻优空间生成模块15还用于：

基于资源需求、资源类型、资源状态定义计算资源和存储资源任务分配的第一分配规则；基于任务执行优先级、任务类型、任务执行时间定义任务调度顺序的第二分配规则；基于节点负载、节点特性定义任务分配的第三分配规则；根据所述第一分配规则、所述第二分配规则和所述第三分配规则构建调度策略寻优空间。

进一步，所述一种气象卫星数据全流程优化调度的系统中寻优模块17还用于：

确定优化目标，生成评估指标；分别计算所述多个任务调度策略的性能指标，将大于所述评估指标的加入候选任务调度策略集中；根据所述优化目标从所述寻优空间中随机生成任务调度策略作为第一初始任务调度策略；遍历提取所述任务调度策略集中的策略作为第一候选调度策略，评估所述第一候选调度策略和所述第一初始任务调度策略，根据评估结果，选择第一最优策略，重复步骤直至满足预设条件，选择当前第一最优策略作为最优任务调度策略。

进一步，所述一种气象卫星数据全流程优化调度的系统中寻优模块17还用于：

若所述任务调度策略集遍历完成，但不满足预设条件时，将所述第一最优策略进行随机变异多次，生成第二最优策略集；遍历提取所述第二最优策略集中的策略作为第三最优策略，评估所述第三最优策略和所述第一最优策略，根据评估结果，选择候选最优策略，重复步骤直至满足预设条件，选择当前候选最优策略作为最优任务调度策略。

进一步，所述一种气象卫星数据全流程优化调度的系统还包括策略调整模块，用于：

实时获取每个节点的性能数据；利用大数据分析方法对所述性能数据进行分析；根据分析结果，自动调整调度策略。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，前述图1实施例一中的一种气象卫星数据全流程优化调度的方法和具体实例同样适用于本实施例的一种气象卫星数据全流程优化调度的系统，通过前述对一种气象卫星数据全流程优化调度的方法的详细描述，本领域技术人员可以清楚知道本实施例中一种气象卫星数据全流程优化调度的系统，所以为了说明书的简洁，在此不再详述。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种气象卫星数据全流程优化调度的方法，其特征在于，包括：

连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；

收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；

根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；

获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；

根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；

加载优化调度模型，根据所述任务需求生成多个任务调度策略；

评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。

2.如权利要求1所述的一种气象卫星数据全流程优化调度的方法，其特征在于，收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集，还包括：

确定历史数据收集时间窗口，在所述历史数据收集时间窗口内，收集N个历史处理数据，包括处理时间数据、资源消耗数据、故障次数数据；

计算每个节点的平均处理时间、平均资源消耗、平均故障率；

分别根据所述平均处理时间、平均资源消耗、平均故障率进行聚类分析，分别得到所述第一节点集、所述第二节点集以及所述第三节点集。

3.如权利要求1所述的一种气象卫星数据全流程优化调度的方法，其特征在于，根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束，还包括：

确定协同调度目标，包括数据处理率、资源利用率、安全性；

对所述第一节点集的执行时间进行限制，设置最大执行时间阈值，超过所述最大执行时间阈值为第一约束；

对所述第二节点集的资源消耗进行限制，设置最大存储消耗阈值，超过所述最大存储消耗阈值为第二约束；

对所述第三节点集的故障率进行限制，设置最大故障率阈值，超过所述最大故障率阈值为第三约束；

根据所述第一约束、所述第二约束和所述第三约束制定协同调度约束。

4.如权利要求1所述的一种气象卫星数据全流程优化调度的方法，其特征在于，根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间，还包括：

基于资源需求、资源类型、资源状态定义计算资源和存储资源任务分配的第一分配规则；

基于任务执行优先级、任务类型、任务执行时间定义任务调度顺序的第二分配规则；

基于节点负载、节点特性定义任务分配的第三分配规则；

根据所述第一分配规则、所述第二分配规则和所述第三分配规则构建调度策略寻优空间。

5.如权利要求1所述的一种气象卫星数据全流程优化调度的方法，其特征在于，评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度，还包括：

确定优化目标，生成评估指标；

分别计算所述多个任务调度策略的性能指标，将大于所述评估指标的加入候选任务调度策略集中；

根据所述优化目标从所述寻优空间中随机生成任务调度策略作为第一初始任务调度策略；

遍历提取所述任务调度策略集中的策略作为第一候选调度策略，评估所述第一候选调度策略和所述第一初始任务调度策略，根据评估结果，选择第一最优策略，重复步骤直至满足预设条件，选择当前第一最优策略作为最优任务调度策略。

6.如权利要求5所述的一种气象卫星数据全流程优化调度的方法，其特征在于，还包括：

若所述任务调度策略集遍历完成，但不满足预设条件时，将所述第一最优策略进行随机变异多次，生成第二最优策略集；

遍历提取所述第二最优策略集中的策略作为第三最优策略，评估所述第三最优策略和所述第一最优策略，根据评估结果，选择候选最优策略，重复步骤直至满足预设条件，选择当前候选最优策略作为最优任务调度策略。

7.如权利要求1所述的一种气象卫星数据全流程优化调度的方法，其特征在于，还包括：

实时获取每个节点的性能数据；

利用大数据分析方法对所述性能数据进行分析；

根据分析结果，自动调整调度策略。

8.一种气象卫星数据全流程优化调度的系统，其特征在于，用于实施权利要求1至7中任意一项所述一种气象卫星数据全流程优化调度的方法的步骤，所述一种气象卫星数据全流程优化调度的系统包括：

节点获取模块，用于连接气象数据处理模块，获得N个全流程任务处理节点，其中N为正整数；

关键节点识别模块，用于收集所述N个全流程任务处理节点的N个历史处理数据，根据所述N个历史处理数据，识别关键节点，所述关键节点包括处理时间超过预设时间的第一节点集、资源消耗大于预设消耗的第二节点集以及故障率大于预设故障率的第三节点集；

协同约束制定模块，用于根据所述第一节点集、所述第二节点集以及所述第三节点集制定协同调度约束；

优先级获取模块，用于获取任务需求，得到多个待执行的任务，评估所述多个待执行的任务的时效性、优先级以及处理复杂度，根据评估结果为每个待执行的任务匹配任务执行优先级，其中任务优先级可相同；

寻优空间生成模块，用于根据所述协同调度约束和所述任务执行优先级，生成调度策略寻优空间；

调度策略生成模块，用于加载优化调度模型，根据所述任务需求生成多个任务调度策略；

寻优模块，用于评估所述多个任务调度策略，根据评估结果在所述调度策略寻优空间中进行寻优，得到最优任务调度策略，根据所述最优任务调度策略进行任务调度。