CN116360990A - 分布式计算任务合理性预判方法、系统、设备和存储介质 - Google Patents
分布式计算任务合理性预判方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN116360990A CN116360990A CN202310310871.2A CN202310310871A CN116360990A CN 116360990 A CN116360990 A CN 116360990A CN 202310310871 A CN202310310871 A CN 202310310871A CN 116360990 A CN116360990 A CN 116360990A
- Authority
- CN
- China
- Prior art keywords
- distributed computing
- task
- computing task
- demand information
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012986 modification Methods 0.000 claims abstract description 10
- 230000004048 modification Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 description 12
- 238000013515 script Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/39—Circuit design at the physical level
- G06F30/398—Design verification or optimisation, e.g. using design rule check [DRC], layout versus schematics [LVS] or finite element methods [FEM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了分布式计算任务合理性预判方法、系统、设备和存储介质，包括获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；判断所述空闲资源是否满足所述资源需求信息；若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；若匹配不成功，则发出所述预警提醒。本发明能够在任务提交之前就对计算任务的参数和资源需求进行合理性判断，解决了不合理的资源需求和资源占用问题，不仅能够充分利用计算资源，又没有影响到其他任务的任务，提高了分布式计算的运行效率。
Description
技术领域
本发明涉及分布式计算技术领域，特别是涉及一种分布式计算任务合理性预判方法、系统、设备和存储介质。
背景技术
随着集成电路设计规模不断扩大，设计过程中的任务如仿真，综合，验证需要占用很大的计算资源，一般本地单个服务器运行效率很低，通常采用分布式提交的运行方法。一个大资源计算任务需要设置设计参数，以及对分布式计算集群的资源申请。如果设计参数预估的计算资源与提交的资源申请需求不匹配，将导致一个非正常脚本提交到任务调度系统的计算池中，从而占据大量的计算资源，也不会有错误提示。例如仿真中分析时长设置不合理，将导致脚本长期运行，一直占据计算资源，但是目前并没有针对分布式计算进行任务合理性判断的相关方法。
发明内容
为了解决上述技术问题，本发明提供了一种分布式计算任务合理性预判方法、系统、设备和存储介质，能够在任务提交前先进行对计算任务的参数和资源需求的分析预判，给出错误提示，防止错误脚本提交，从而提高分布式计算任务的效率。
第一方面，本发明提供了一种分布式计算任务合理性预判方法，所述方法包括：
获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；
若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；
判断所述空闲资源是否满足所述资源需求信息，若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；
若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
进一步地，所述将所述资源需求信息与预设的参数规则相匹配的步骤包括：
从所述资源需求信息中获取所述分布式计算任务的任务类型，根据所述任务类型选取对应的参数规则，所述参数规则包括参数类型和对应的参数数值范围；
将所述资源需求信息与所述参数规则相匹配，若所述资源需求信息中的需求类型与所述参数类型一致，且所述需求类型对应的需求数值在所述参数数值范围内，则所述分布式计算任务匹配成功；
若所述需求类型与所述参数类型不一致，或所述需求数值中有任意一项不在所述参数数值范围内，则所述分布式计算任务匹配不成功。
进一步地，在所述若满足所述资源需求信息之后还包括：
根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；
若所述需求运行时间大于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行，若所述需求运行时间小于所述预估时间，则发出所述预警提醒。
进一步地，在计算所述分布式计算任务在所述计算池中运行完成所需的预估时间之后还包括：
获取预设的计算池最大允许运行时间，将所述计算池最大允许运行时间和所述预估时间相比对；
若所述预估时间大于所述计算池最大允许运行时间，则发出所述预警提醒；
若所述预估时间小于等于所述计算池最大允许运行时间，则获取所述分布式计算任务提交的需求运行时间。
进一步地，所述根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间的步骤包括：
将所述资源需求信息和所述空闲资源输入预先建立好的时间预估模型，得到所述分布式计算任务在所述计算池中运行完成所需的预估时间。
进一步地，所述时间预估模型为神经网络模型，训练所述时间预估模型所使用的数据集为历史分布式计算任务对应的历史任务数据。
第二方面，本发明提供了一种分布式计算任务合理性预判系统，所述系统包括：
信息获取模块，用于获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；
信息匹配模块，用于若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；判断所述空闲资源是否满足所述资源需求信息；若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
进一步地，所述系统还包括时间预估模块和时间匹配模块；
所述时间预估模块，用于根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
所述时间匹配模块，用于获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；若所述需求运行时间大于所述预估时间，则发出所述预警提醒，若所述需求运行时间小于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本发明提供了一种分布式计算任务合理性预判方法、系统、设备和存储介质。通过所述方法，能够在任务提交前先进行对计算任务的参数和资源需求的分析预判，从而解决非正常脚本提交到任务调度系统的计算池中占据大量的计算资源，也不会有错误提示的问题，进而提高了分布式计算任务的运行效率。
附图说明
图1是本发明实施例中分布式计算任务合理性预判方法的流程示意图；
图2是本发明实施例中分布式计算任务合理性预判系统的结构示意图；
图3是本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提出的一种分布式计算任务合理性预判方法，包括步骤S10～S40：
步骤S10，获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配。
在分布式运算过程中，大资源计算任务往往需要设置设计参数以及对分布式计算集群的资源申请，如果设计参数预估的计算资源与提交的资源申请需求不匹配，将导致一个非正常脚本提交到计算池中从而占据大量的计算资源，例如仿真中分析时长设置不合理，将导致脚本长期运行，一直占据计算资源，不仅影响该任务的正常运行，同时也影响到了计算池中其他正常运行的任务的计算效率，为了解决这一问题，本发明提供了一种高性能分布式计算任务合理性的预判机制。
获取分布式计算任务提交的资源需求信息，这些资源需求信息即为该计算任务的相关设计参数，本申请的第一步就是先对这些需求信息的合理性进行判断，为此，本申请从存放相关历史任务的数据库中对历史任务的运行情况比如电路规模以及测试要求等不同情况，并结合现有的分布式计算任务的类型，对每种不同的分布式计算任务预先设置相对应的参数规则，即该任务类型对应的参数类型和合理的参数数值范围，比如电路仿真任务、电路形式验证任务或者版图验证任务等不同的分布式计算任务，其参数规则包括需求的计算池、需求的CPU个数、需求的内存大小、以及需求的存储空间等，其参数规则可以根据不同的任务类型进行灵活配置。在预先设置好所有的任务类型对应的参数规则后，就可以将获取的资源需求信息与参数规则进行匹配，其具体的匹配步骤为：
步骤S201，从所述资源需求信息中获取所述分布式计算任务的任务类型，根据所述任务类型选取对应的参数规则，所述参数规则包括参数类型和对应的参数数值范围；
步骤S202，将所述资源需求信息与所述参数规则相匹配，若所述资源需求信息中的需求类型与所述参数类型一致，且所述需求类型对应的需求数值在所述参数数值范围内，则所述分布式计算任务匹配成功；
步骤S203，若所述需求类型与所述参数类型不一致，或所述需求数值中有任意一项不在所述参数数值范围内，则所述分布式计算任务匹配不成功。
由于设定的参数规则包括参数类型和对应的参数数值范围，因此首先需要判断提交的资源需求信息中其需求类型与其任务类型对应的参数类型是否一致，如果不一致，则认为该任务需求了额外的不合理的资源，此时会发出预警提醒，提示任务提交者该资源需求不符合要求。如果类型一致，则判断该需求类型的需求数值是否在参数数值范围内，参数数值范围是根据任务类型预先设置好的合理的数据范围，包括仿真等任务参数的单位规则和可选的参数，比如电路瞬态仿真任务参数的数值单位，仿真的时间参数单位通常设定为皮秒或者毫秒，其他单位无效，不在可设定范围内的其他配置将禁止提交，因为这些错误的设定可能出现异常而占用计算资源。也就是说，只有类型和数值都满足预设条件的分布式计算任务才会通过第一步的参数合理性判断步骤。这一步的判断是从参数规则上进行筛选，选出不合理的资源需求可能会导致的计算资源占用，从而降低出现异常的概率。
步骤S20，若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源。
在参数规则匹配成功之后，会进行下一步的计算资源的匹配步骤，在分布式计算集群中会有多种不同的计算池，这些计算池根据其服务器数量和运行速度等不同的配置信息，会被分配为执行不同任务类型或者不同任务规模的分布式计算任务，而在该分布式计算任务提交的资源需求信息中就需要指定其所需的计算池编号，并且在该任务通过参数规则的匹配后，会根据其所请求的计算池编号，获取该计算池的计算资源，分析该计算池的资源使用情况和空闲资源情况，判断其空闲资源是否能够满足分布式计算任务所需的运行资源，比如CPU数量是否满足、内存大小是否满足、以及存储空间是否满足等条件。本申请通过对计算池空闲资源是否满足资源需求信息的判断进一步减少了出现占用计算池资源过多以及占用计算池资源时间过长等相关问题的概率。
步骤S30，判断所述空闲资源是否满足所述资源需求信息，若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息。
步骤S40，若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
在计算池的空闲资源满足分布式计算任务的需求的情况下，该任务就可以提交到计算池中开始运行了，如果不满足的话，则会发出预警提醒，提示任务提交者该计算池的空间资源不满足需求，此时任务会被挂起，提交者可以返回提交步骤重新修改需求资源。
在分布式计算任务提交之前通过上述参数规则和空闲资源的两步判断能够降低出现不合理的任务占用计算资源的概率，并且可以充分利用计算资源，既节省了运行时间又不影响其他任务的运行。当然，为了进一步提高任务运行的效率，本申请还针对分布式计算任务的运行时间做出了预估和判断，即在上述两步匹配都成功的条件下，进行以下步骤：
步骤21，根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
步骤22，获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；
步骤23，若所述需求运行时间大于所述预估时间，则发出所述预警提醒，若所述需求运行时间小于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行。
根据分布式计算任务的资源需求信息和计算池的空闲资源，来计算该分布式计算任务在该计算池中运行完成所需的预估时间，在本申请中可以通过预先建立好的时间预估模型进行计算，即将资源需求信息和空闲资源输入时间预估模型中，通过模型预测出其任务完成的预估时间。其中，时间预估模型可以根据大数据系统内的历史任务数据并结合神经网络模型来建立，即使用如神经网络模型中的一种或者多种模型的组合建立时间预估模型，并从历史数据库中选取历史分布式计算任务对应的任务数据，比如历史需求信息、历史运行时间和历史计算池资源信息等作为数据集对时间预估模型进行训练，并且还可以根据设定的时长，在一定时间段后收集新的历史任务数据对时间预估模型进行迭代训练，以提高时间预估模型的预估准确率，其所使用的神经网络模型以及训练过程可以参考常规的模型结构和训练过程，在此不再一一赘述。
在该实施例中，在对预估时间进行对比时，会需要任务提交者在提交资源需求信息时给定其任务的需求运行时间，比如根据任务期限要求，该任务需要在24小时内运行完成，此时会根据预测出的完成任务所需的预估时间和需求运行时间进行比对，如果预估时间在需求运行时间的范围内，比如此时预估时间为23小时，则说明该计算池可以满足任务的运行时间要求，此时该任务就可以提交到该计算池中运行，如果预估时间超出了需求运行时间，比如预估时间为26小时，则会发出预警提醒，提醒任务提交者该计算池的运行时间无法满足其运行时间需求，任务提交者可以返回提交资源需求信息的步骤重新选择其他的计算池。
除了进行预估时间的比对之外，还可以设置计算池的最大允许运行时间来对任务运行时间做出进一步的限制，具体步骤为：
步骤24，获取预设的计算池最大允许运行时间，将所述计算池最大允许运行时间和所述预估时间相比对；
步骤25，若所述预估时间大于所述计算池最大允许运行时间，则发出所述预警提醒；
步骤26，若所述预估时间小于等于所述计算池最大允许运行时间，则获取所述分布式计算任务提交的需求运行时间。
在实际的分布式计算过程中，由于不同的计算池被分配给不同任务类型和不同计算规模的任务来运行，因此每个计算池被占用的平均运行时间也有所区别，为了更好利用每个计算池的计算资源，本申请优选的对每个计算池被占用的时间也进行了设置，比如运行小规模任务的计算池，由于其内运行的任务规模小，任务数量多，运行时长较长的任务并不建议在该计算池中运行，因此可以对该计算池设置一个占用该计算池的最大允许运行时间，超过该时间的任务将不被允许在该计算池中运行，即使该计算池满足该任务的其他所有运行需求，只要超过了该计算池的最大允许运行时间就不会被允许在该计算池中运行，通过该设置可以进一步提高计算池处理任务的运行效率。
为了更直观的说明本申请的预判流程，下面通过具体的示例对整个预判过程进行描述：以电路仿真任务为例，该电路仿真任务在提交前会需要提交该任务的资源需求信息，包括需求计算池编号、需求CPU个数、需求内存大小、需求存储空间和需求运行时间，首先进行需求匹配，即该资源需求信息中的每一项会依次与预设的仿真任务类型中的参数规则相匹配，若每项规则一致，且数值都在预设的数值范围内，则根据计算池编号获取对应计算池的空闲资源，进行下一步的空闲资源判断，即判断空闲资源是否满足资源需求信息中的运行资源情况，若满足资源需求信息，则将资源需求信息和空闲资源输入时间预估模型，计算该电路仿真任务在该计算池中运行完成所需的预估时间，然后进行预估时间判断，即判断该预估时间是否在该计算池预设的最大允许运行时间范围内，以及判断该预估时间是否满足该电路仿真任务的需求运行时间，在上述判断都符合规则要求的情况下，该电路仿真任务才会被提交至对应的计算池中运行，如果出现有任何一次判断结果不符合要求的情况，则都会发出预警提醒，以提示任务提交者有需要修改的资源需求信息，此时后台任务挂起，任务暂停运行，直到提交者修改完设定条件后经过判断全部满足相应条件后，提交的任务才会顺利运行。
通过上述的预判流程可知，本实施例提供的分布式计算任务合理性预判方法，在任务提交之前就对计算任务的参数和资源需求进行合理性判断，从而规避掉了不合理的资源需求以及导致的资源占用问题，不仅能够充分利用计算资源，又没有影响到其他任务的任务，提高了分布式计算的运行效率，并且本申请可以嵌入到多种集成电路设计软件的分布式任务提交系统中，并且支持包括界面运行模式和后台脚本自动运行模式等多种任务运行模式。
请参阅图2，基于同一发明构思，本发明第二实施例提出的一种分布式计算任务合理性预判方法系统，包括：
信息获取模块10，用于获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；
信息匹配模块20，用于若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；判断所述空闲资源是否满足所述资源需求信息；若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
进一步地，系统还包括时间预估模块30和时间匹配模块40；
所述时间预估模块30，用于根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
所述时间匹配模块40，用于获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；若所述需求运行时间大于所述预估时间，则发出所述预警提醒，若所述需求运行时间小于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行。
本发明实施例提出的分布式计算任务合理性预判系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。上述分布式计算任务合理性预判系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图3，一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现分布式计算任务合理性预判方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
此外，本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提出的分布式计算任务合理性预判方法、系统、设备和存储介质，所述方法通过获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；判断所述空闲资源是否满足所述资源需求信息，若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。本发明能够在任务提交之前就对计算任务的参数和资源需求进行合理性判断，从而规避掉了不合理的资源需求以及导致的资源占用问题，不仅能够充分利用计算资源，又没有影响到其他任务的任务，提高了分布式计算的运行效率。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种分布式计算任务合理性预判方法，其特征在于，包括：
获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；
若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；
判断所述空闲资源是否满足所述资源需求信息，若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；
若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
2.根据权利要求1所述的分布式计算任务合理性预判方法，其特征在于，所述将所述资源需求信息与预设的参数规则相匹配的步骤包括：
从所述资源需求信息中获取所述分布式计算任务的任务类型，根据所述任务类型选取对应的参数规则，所述参数规则包括参数类型和对应的参数数值范围；
将所述资源需求信息与所述参数规则相匹配，若所述资源需求信息中的需求类型与所述参数类型一致，且所述需求类型对应的需求数值在所述参数数值范围内，则所述分布式计算任务匹配成功；
若所述需求类型与所述参数类型不一致，或所述需求数值中有任意一项不在所述参数数值范围内，则所述分布式计算任务匹配不成功。
3.根据权利要求1所述的分布式计算任务合理性预判方法，其特征在于，在所述若满足所述资源需求信息之后还包括：
根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；
若所述需求运行时间大于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行，若所述需求运行时间小于所述预估时间，则发出所述预警提醒。
4.根据权利要求3所述的分布式计算任务合理性预判方法，其特征在于，在计算所述分布式计算任务在所述计算池中运行完成所需的预估时间之后还包括：
获取预设的计算池最大允许运行时间，将所述计算池最大允许运行时间和所述预估时间相比对；
若所述预估时间大于所述计算池最大允许运行时间，则发出所述预警提醒；
若所述预估时间小于等于所述计算池最大允许运行时间，则获取所述分布式计算任务提交的需求运行时间。
5.根据权利要求3所述的分布式计算任务合理性预判方法，其特征在于，所述根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间的步骤包括：
将所述资源需求信息和所述空闲资源输入预先建立好的时间预估模型，得到所述分布式计算任务在所述计算池中运行完成所需的预估时间。
6.根据权利要求5所述的分布式计算任务合理性预判方法，其特征在于，所述时间预估模型为神经网络模型，训练所述时间预估模型所使用的数据集为历史分布式计算任务对应的历史任务数据。
7.一种分布式计算任务合理性预判系统，其特征在于，包括：
信息获取模块，用于获取分布式计算任务提交的资源需求信息，将所述资源需求信息与预设的参数规则相匹配；
信息匹配模块，用于若匹配成功，则获取所述分布式计算任务所需求的计算池的空闲资源；判断所述空闲资源是否满足所述资源需求信息；若满足所述资源需求信息，则将所述分布式计算任务提交到所述计算池中运行，反之，则发出预警提醒，以提示修改所述资源需求信息；若匹配不成功，则发出所述预警提醒，并将所述分布式计算任务挂起，等待获取修改后的所述资源需求信息。
8.根据权利要求7所述的分布式计算任务合理性预判系统，其特征在于，所述系统还包括时间预估模块和时间匹配模块；
所述时间预估模块，用于根据所述资源需求信息和所述空闲资源，计算所述分布式计算任务在所述计算池中运行完成所需的预估时间；
所述时间匹配模块，用于获取所述分布式计算任务提交的需求运行时间，将所述需求运行时间和所述预估时间相比对；若所述需求运行时间大于所述预估时间，则发出所述预警提醒，若所述需求运行时间小于等于所述预估时间，则将所述分布式计算任务提交至所述计算池中运行。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310310871.2A CN116360990B (zh) | 2023-03-27 | 2023-03-27 | 分布式计算任务合理性预判方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310310871.2A CN116360990B (zh) | 2023-03-27 | 2023-03-27 | 分布式计算任务合理性预判方法、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116360990A true CN116360990A (zh) | 2023-06-30 |
| CN116360990B CN116360990B (zh) | 2024-01-09 |
Family
ID=86941418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310310871.2A Active CN116360990B (zh) | 2023-03-27 | 2023-03-27 | 分布式计算任务合理性预判方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116360990B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881033A (zh) * | 2023-07-12 | 2023-10-13 | 合芯科技(苏州)有限公司 | 计算集群异常处理方法、装置、计算机设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598311A (zh) * | 2015-01-26 | 2015-05-06 | 上海卓悠网络科技有限公司 | 一种面向Hadoop的实时作业公平调度的方法和装置 |
| CN110351384A (zh) * | 2019-07-19 | 2019-10-18 | 深圳前海微众银行股份有限公司 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
| CN110362392A (zh) * | 2019-07-15 | 2019-10-22 | 深圳乐信软件技术有限公司 | 一种etl任务调度方法、系统、设备及存储介质 |
| CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
| CN111553699A (zh) * | 2020-05-06 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 一种资源调度方法及装置 |
| CN111752706A (zh) * | 2020-05-29 | 2020-10-09 | 北京沃东天骏信息技术有限公司 | 资源配置方法、装置及存储介质 |
| CN112328399A (zh) * | 2020-11-17 | 2021-02-05 | 中国平安财产保险股份有限公司 | 一种集群资源调度方法、装置、计算机设备及存储介质 |
| CN112486642A (zh) * | 2020-11-25 | 2021-03-12 | 广州虎牙科技有限公司 | 资源调度方法、装置、电子设备及计算机可读存储介质 |
| CN112698952A (zh) * | 2021-01-05 | 2021-04-23 | 广州品唯软件有限公司 | 计算资源统一管理方法、装置、计算机设备及存储介质 |
| CN113360270A (zh) * | 2021-06-30 | 2021-09-07 | 杭州数梦工场科技有限公司 | 一种数据清洗任务处理方法及装置 |
| CN113742051A (zh) * | 2020-05-28 | 2021-12-03 | 上海科众恒盛云计算科技有限公司 | 数据中心设备方法、装置、计算机设备及存储介质 |
| CN114168302A (zh) * | 2021-12-28 | 2022-03-11 | 中国建设银行股份有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN114625654A (zh) * | 2022-03-21 | 2022-06-14 | 北京有竹居网络技术有限公司 | 一种测试方法及其相关设备 |
| CN115617520A (zh) * | 2022-10-20 | 2023-01-17 | 深圳市欢太科技有限公司 | 资源参数配置方法及装置、电子设备和存储介质 |
-
2023
- 2023-03-27 CN CN202310310871.2A patent/CN116360990B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598311A (zh) * | 2015-01-26 | 2015-05-06 | 上海卓悠网络科技有限公司 | 一种面向Hadoop的实时作业公平调度的方法和装置 |
| CN110362392A (zh) * | 2019-07-15 | 2019-10-22 | 深圳乐信软件技术有限公司 | 一种etl任务调度方法、系统、设备及存储介质 |
| CN110351384A (zh) * | 2019-07-19 | 2019-10-18 | 深圳前海微众银行股份有限公司 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
| CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
| CN111553699A (zh) * | 2020-05-06 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 一种资源调度方法及装置 |
| CN113742051A (zh) * | 2020-05-28 | 2021-12-03 | 上海科众恒盛云计算科技有限公司 | 数据中心设备方法、装置、计算机设备及存储介质 |
| CN111752706A (zh) * | 2020-05-29 | 2020-10-09 | 北京沃东天骏信息技术有限公司 | 资源配置方法、装置及存储介质 |
| CN112328399A (zh) * | 2020-11-17 | 2021-02-05 | 中国平安财产保险股份有限公司 | 一种集群资源调度方法、装置、计算机设备及存储介质 |
| CN112486642A (zh) * | 2020-11-25 | 2021-03-12 | 广州虎牙科技有限公司 | 资源调度方法、装置、电子设备及计算机可读存储介质 |
| CN112698952A (zh) * | 2021-01-05 | 2021-04-23 | 广州品唯软件有限公司 | 计算资源统一管理方法、装置、计算机设备及存储介质 |
| CN113360270A (zh) * | 2021-06-30 | 2021-09-07 | 杭州数梦工场科技有限公司 | 一种数据清洗任务处理方法及装置 |
| CN114168302A (zh) * | 2021-12-28 | 2022-03-11 | 中国建设银行股份有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN114625654A (zh) * | 2022-03-21 | 2022-06-14 | 北京有竹居网络技术有限公司 | 一种测试方法及其相关设备 |
| CN115617520A (zh) * | 2022-10-20 | 2023-01-17 | 深圳市欢太科技有限公司 | 资源参数配置方法及装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 数栈: "《一看就懂！任务提交的资源判断在Taier中的实践》", pages 1 - 4, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/602473060?utm_id=0> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881033A (zh) * | 2023-07-12 | 2023-10-13 | 合芯科技(苏州)有限公司 | 计算集群异常处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116360990B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5796941A (en) | Method for supervising software execution in a license restricted environment | |
| US9037880B2 (en) | Method and system for automated application layer power management solution for serverside applications | |
| US11550634B2 (en) | Capacity management in a cloud computing system using virtual machine series modeling | |
| CN113448787B (zh) | 晶圆异常分析的方法、装置、电子设备及可读存储介质 | |
| CN116360990B (zh) | 分布式计算任务合理性预判方法、系统、设备和存储介质 | |
| CN113515382B (zh) | 云资源的分配方法、装置、电子设备及存储介质 | |
| CN115543577B (zh) | 基于协变量的Kubernetes资源调度优化方法、存储介质及设备 | |
| CN113157379A (zh) | 集群节点资源调度方法及装置 | |
| WO2022251004A1 (en) | Hierarchical neural network-based root cause analysis for distributed computing systems | |
| US11954419B2 (en) | Dynamic allocation of computing resources for electronic design automation operations | |
| US20230385048A1 (en) | Predictive recycling of computer systems in a cloud environment | |
| CN113742069A (zh) | 基于人工智能的容量预测方法、装置及存储介质 | |
| CN110928659B (zh) | 一种具有自适应功能的数值水池系统远程多平台接入方法 | |
| CN115373826B (zh) | 一种基于云计算的任务调度方法及装置 | |
| CN115190010B (zh) | 基于软件服务依赖关系的分布推荐方法和装置 | |
| CN115202946A (zh) | 自动化测试方法、装置、设备、存储介质及程序产品 | |
| CN113742187A (zh) | 应用系统的容量预测方法、装置、设备及存储介质 | |
| CN117234711B (zh) | Flink系统资源动态分配方法、系统、设备及介质 | |
| CN111258757A (zh) | 任务自动编排方法、装置、计算机设备以及存储介质 | |
| CN116862135B (zh) | 一种机械设备维修分析方法、系统及电子设备 | |
| CN110197026B (zh) | 一种基于近阈值计算的处理器核优化方法及系统 | |
| US11899551B1 (en) | On-chip software-based activity monitor to configure throttling at a hardware-based activity monitor | |
| CN111767137B (zh) | 一种系统部署方法、装置、电子设备及存储介质 | |
| Bryan et al. | The UTS time-sharing system: Performance analysis and instrumentation | |
| CN117931453A (zh) | 基于云平台负载预测的云平台功能调整方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |