CN108134810B - 一种确定资源调度组件的方法及其系统 - Google Patents

一种确定资源调度组件的方法及其系统 Download PDF

Info

Publication number
CN108134810B
CN108134810B CN201611093994.1A CN201611093994A CN108134810B CN 108134810 B CN108134810 B CN 108134810B CN 201611093994 A CN201611093994 A CN 201611093994A CN 108134810 B CN108134810 B CN 108134810B
Authority
CN
China
Prior art keywords
resource scheduling
component
big data
data
service data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611093994.1A
Other languages
English (en)
Other versions
CN108134810A (zh
Inventor
陈洪岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201611093994.1A priority Critical patent/CN108134810B/zh
Publication of CN108134810A publication Critical patent/CN108134810A/zh
Application granted granted Critical
Publication of CN108134810B publication Critical patent/CN108134810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种确定资源调度组件的方法，包括：获取到业务数据，并选取出处理所述业务数据的大数据组件；控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。本发明实施例还公开了一种确定资源调度组件的系统。

Description

一种确定资源调度组件的方法及其系统
技术领域
本发明涉及资源调度技术，尤其涉及一种确定资源调度组件的方法及其系统。
背景技术
随着业务的飞速发展，集群规模的逐步扩大，各计算系统、存储系统，以及应用系统也随着业务的发展被创造出来。但是，集群规模扩大以后，却带来很多问题，如自动化部署，集群整体利用率偏低等被暴露出来，所以，亟需一套集群资源调度系统来解决这些问题。这里，所述集群资源调度系统对底层硬件进行了一层抽象，屏蔽了硬件的异构性，如对中央处理器(CPU)、存储器(MEMORY)、输入/输出(I/O)以及磁盘(DISK)等进行了资源抽象，对上层各种应用或服务提供资源统一管理和调度，从云计算的角度来划分，属于所述集群资源调度系统IAAS(Infrastructure-as-a-service)，总结起来，所述集群资源调度系统具有以下优点：第一，提升了资源利用率；不同业务都有自己的峰值业务需求，若每个业务集群单独部署，则每个业务间都是隔离封闭的，资源无共享，无法错峰交谷。而集群资源调度系统的引入可以很好的解决这一问题，如多业务之间可以做到资源共享，并有弹性管理机制，这样，根据不同业务的需要，灵活的进行调度，提高了资源利用率。第二，容灾；对于单个服务器来说，出故障的概率是比较小的，但对于大型分布式环境中，故障就要作为一种理所当然的常态了，而利用集群资源调度系统能够以较低的代价来解决机架，机柜，甚至是机房等故障的问题。
现有，在网页信息、网管(NMS)信令监测、商务智能(BI)等大数据应用中，针对不同系统产生的数据如何进行资源管理存在以下问题：大数据组件众多，一种集群资源调度系统无法满足所有的需求；而且，当存在多种集群资源调度系统时，由于大数据组件类型复杂，所以无法快速定位哪种集群资源调度系统符合要求。
发明内容
为解决现有存在的技术问题，本发明实施例提供了一种确定资源调度组件的方法及其系统，能至少解决现有技术中存在的上述问题。
本发明实施例的技术方案是这样实现的：
本发明实施例第一方面提供了一种确定资源调度组件的方法，所述方法包括：
获取到业务数据，并选取出处理所述业务数据的大数据组件；
控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
上述方案中，所述资源调度组件对应至少两种资源调度策略；对应地，所述方法还包括：
控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理；
对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及每一所述资源调度策略的性能检测结果；
从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
上述方案中，所述对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果，包括：
对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；
至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
上述方案中，所述方法还包括：
获取所述业务数据的数据特征；
基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件，并控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
上述方案中，所述方法还包括：
基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表；
当获取到其他业务数据时，基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；
利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。
本发明实施例第二方面提供了一种确定资源调度组件的系统，所述系统包括：
获取模块，用于获取到业务数据；
筛选模块，用于选取出处理所述业务数据的大数据组件；
处理模块，用于控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
性能分析模块，用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
对应地，所述筛选模块，用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
上述方案中，所述资源调度组件对应至少两种资源调度策略；对应地，
所述处理模块，还用于控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理；
所述性能分析模块，还用于对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及每一所述资源调度策略的性能检测结果；
所述筛选模块，还用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
上述方案中，所述性能分析模块，还用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
上述方案中，所述获取模块，还用于获取所述业务数据的数据特征；
所述筛选模块，还用于基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件；
所述处理模块，还用于控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
上述方案中，所述筛选模块，还用于基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表；当获取到其他业务数据时，基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；
所述处理单元，还用于利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。
本发明实施例所述的确定资源调度组件的方法及其系统，能够通过获取到业务数据，选取出处理所述业务数据的大数据组件，控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理，进而对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果，这样，从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件，实现了智能地、快速地分析出符合业务数据的目标资源调度组件的目的，也就是说，本发明实施例所述的方法能够智能地、快速地分析出哪种资源调度组件符合业务需求，符合业务数据的特点。而且，利用本发明实施例所述的性能检测结果能够智能地分析出在给定的数据量下需要的服务器的数量和配置。
附图说明
图1为本发明实施例确定资源调度组件的方法的实现流程示意图；
图2为本发明实施例确定资源调度组件的系统的逻辑单元示意图一；
图3为本发明实施例确定资源调度组件的系统的逻辑单元示意图二；
图4为本发明实施例日志数据管理模块的处理流程示意图；
图5为本发明实施例集成有多个资源调度组件的资源调度模块示意图。
具体实施方式
现有各大互联网公司相继推出了一些集群资源调度系统，如omega系统、yarn系统，mesos系统，torca系统，以及Corona系统等；这里，所述Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核。所述Yarn(Yet Another ResourceNegotiator)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。所述Kubernetes是Google开源的容器集群管理系统，构建于Ddocker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。基于现有的多种集群资源调度系统(以下称为资源调度组件)，本实施例提供了一种从多种集群资源调度系统快速定位目标集群资源调度系统的方法，即具体提供了一种确定资源调度组件的方法，以及其系统。为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
实施例一
本实施例提供了一种确定资源调度组件的方法；这里，本实施例所述的方法能够智能地、快速地分析出哪种资源调度组件符合业务需求，符合业务数据的特点，而且由于本申请能够自动装载数据、并测试各种资源调度算法(也即资源调度策略)，所以本申请节省了测试人员调度器选型、各种资源调度框架安装等时间，实现了快速进行poc(Proof ofConcept)测试的目的。
具体地，图1为本发明实施例确定资源调度组件的方法的实现流程示意图；如图1所示，所述方法包括：
步骤101：获取到业务数据，并选取出处理所述业务数据的大数据组件；
本实施例中，所述大数据组件可以具体为集群；也就是说，在实际应用中，当获取到业务数据后，可以选取出处于所述业务数据的集群；例如，在一具体实施例中，当获取到业务数据后，可以首先获取所述业务数据的数据特征，进而基于所述业务数据的数据特征选取出集群。
当然，在一具体实施例中，还可以通过大数据处理方式总结出数据特征、资源调度组件的对应关系，进而当获取到业务数据，且获取到所述业务数据的数据特征后，基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件，并控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
或者，在另一具体实施例中，还可以通过大数据处理方式总结出数据特征、大数据组件、资源调度组件的对应关系，具体地，根据基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表，当获取到其他业务数据时，可以基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。这里，在实际应用中，可以根据实际情况对所述映射关联列表进行调整和完善，以使所述映射关联列表中的数据特征、大数据组件、资源调度组件更加丰富，三者的对应关系更加匹配；例如，当某一业务数据的数据类型、以及处理该某一业务数据的大数据组件和资源调度组件的对应关系未存在于所述映射关联列表中时，可以将最后确定出的与该某一业务数据相对应大数据组件和资源调度组件补充于该映射关联列表，以不断丰富和完善所述映射关联列表。
步骤102：控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
在实际应用中，所述资源调度组件可以具体对应至少两种资源调度策略；此时，可以控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理，进而对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及每一所述资源调度策略的性能检测结果；从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
步骤103：对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
步骤104：从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
在一具体实施例中，所步骤103可以具体为：对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
同理，当所述资源调度组件具体对应至少两种资源调度策略时，可以具体对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；进而至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件以及针对每一所述资源调度策略的性能检测结果。
这样，本发明实施例所述的方法，通过获取到业务数据，并选取出处理所述业务数据的大数据组件，进而控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理，对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果，如此，从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件，实现了智能地、快速地分析出符合业务数据的目标资源调度组件的目的，也就是说，本发明实施例所述的方法能够智能地、快速地分析出哪种资源调度组件符合业务需求，符合业务数据的特点。而且，利用本发明实施例所述的性能检测结果能够智能地分析出在给定的数据量下需要的服务器的数量和配置。
实施例二
本实施例提供了一种确定资源调度组件的系统，如图2所示，所述系统包括：
获取模块21，用于获取到业务数据；
筛选模块22，用于选取出处理所述业务数据的大数据组件；
处理模块23，用于控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
性能分析模块24，用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
对应地，所述筛选模块22，用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
在一实施例中，所述资源调度组件对应至少两种资源调度策略；对应地，
所述处理模块23，还用于控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理；
所述性能分析模块24，还用于对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及每一所述资源调度策略的性能检测结果；
所述筛选模块22，还用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
在另一实施例中，所述性能分析模块24，还用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
在一实施例中，所述获取模块21，还用于获取所述业务数据的数据特征；
所述筛选模块22，还用于基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件；
所述处理模块23，还用于控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
在另一实施例中，所述筛选模块22，还用于基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表；当获取到其他业务数据时，基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；
所述处理单元23，还用于利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。
这里需要指出的是：以上系统实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明系统实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
在本申请所提供的实施例二中，应该理解到，所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。基于此，本发明实施例还提供了另外一种划分及组合方式，如下述实施例三所述，通过下述实施例三所述的系统，可以实现本发明实施例一所述的确定资源调度组件的方法。
实施例三
本实施例提供了一种确定资源调度组件的系统，如图3所示，所述系统包括六个主要模块，分别为控制模块、日志数据管理模块、配置模块、性能评估模块、资源调度模块以及规则库；这里，在实际应用中，所述系统可以提供资源调度接入接口，用户可以根据实际需求添加各种类型的资源调度系统(也称为资源调度组件)进入到该系统。具体地，
第一，所述日志数据管理模块，用于完成日志的装载；具体地，包括两个方面的工作，(1)将原始日志通过ftp等方式装载到大数据组件对应的文件系统，以便于所述大数据组件对所述日志数据进行处理；(2)，将原始日志数据按需求进行过滤，进而，便于所述大数据组件过滤后的所述日志数据进行处理。如图4所示，所述日志数据管理模块处理流程包括：获取原始日志；原始日志加载；对原始日志进行过滤，将过滤后的原始日志装载到文件系统。
第二，所述资源调度模块，用于集成资源调度组件，例如，如5所示，可以集成mesos，yarn、Kubernetes以及infomix等资源调度工具。进一步地，如图5所示，所述系统可以通过资源调度工具接口来来调度集成的mesos，yarn、Kubernetes以及infomix等资源调度工具。
第三，规则库，用于提供对原始日志分析的规则，将预先设置的规则模板(也即资源调度组件)应用于从原始日志中抽取的抽样数据。在实际应用中，当该抽样数据属于某一特定规则时，无需再进行资源调度组件的测试，直接选取与该特定规则所对应的资源调度组件作为目标资源调度组件即可。
在实际应用中，所述资源调度组件可以包括：Hive、spark等组件运用的yarn资源调度工具，Tomcat、mysql等组件运用的mesos资源调度工具，以及大并发的web系统使用的Kubernetes资源调度工具等。
第四，控制模块，用于智能地调度资源调度组件；具体地，工作流程如下：
步骤1：控制加载原始日志的样本数据到文件系统；启动大数据组件，将相应的样本数据存入大数据组件中；
步骤2：选择mesos作为资源调度组件；
步骤3：选择fifo作为资源调度算法；
步骤4：启动大数据分析组件、查询组件以及数据库组件对基于步骤2所述的资源调度组件和步骤3所述的资源调度算法处理所述样本数据的大数据组件进行压力测试。
步骤5：当所述大数据组件中某一计算资源处于瓶颈时，大数据分析组件用时、查询组件用时，数据库组件用时；
步骤6：记录本次验证的性能数据，即离线分析时间×实时查询时间×CPU使用量*MEMORY使用量×网络使用量；
这里，在实际应用中，所述网络使用量一般是可以通过操作系统命令查看并获取到所述网络使用量；所述离线分析时间即为大数据分析组件，比如hive、impala等分析工具用时；所述实时查询时间即为查询组件用时。
步骤7：将步骤3中的算法改为fair，drf等算法进行性能验证，分别得出性能数据。
步骤8：将步骤2中的组件mesos分别改为yarn、Kubernetes等资源调度组件，重新记录性能数据，然后再重复步骤7，如此，得到针对不同资源调度组件以及不同资源调度算法的性能数据。
这里，在实际应用中，可以比对上述测试产生的性能数据，将性能数据最小的三组调度组件及算法组合列出；例如，若实时查询业务优先级高，则可将各个组合中，查询时间最短的一组作为最优资源调度组件和最优资源调度算法；若系统成本优级高，则可将性能数据最小的组合作为最优资源调度组件和最优资源调度算法。
第五，性能评估模块，用于将资源调度组件、资源调度算法依次加载到大数据组件中，并通过对大数据组件加压分析资源调度，得到针对不同资源调度组件、不同资源调度算法的性能数据，所述性能数据可以具体为离线分析时间×实时查询时间×CPU使用量*MEMORY使用量×网络使用量。
第六，配置模块，用于将大数据组件、资源调度组件、资源调度算法等信息进行配置化。
这样，本发明实施例通过资源调度的智能选择方法，实现了针对不同的大数据组件选择出最优的资源调度组件以及资源调度算法的目的。而且，本发明实施例可以自动化的进行资源调度的选择，无需用户考察各种资源调度的性能特性，解决了现有无法快速定位哪种集群资源调度系统符合要求的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明实施例的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护范围。

Claims (10)

1.一种确定资源调度组件的方法，其特征在于，所述方法包括：
获取到业务数据，并选取出处理所述业务数据的大数据组件；所述大数据组件为集群；
控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
2.根据权利要求1所述的方法，其特征在于，所述资源调度组件对应至少两种资源调度策略；对应地，所述方法还包括：
控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理；
对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及对应的每一所述资源调度策略的性能检测结果；
从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
3.根据权利要求1或2所述的方法，其特征在于，所述对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果，包括：
对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；
至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取所述业务数据的数据特征；
基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件，并控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表；
当获取到其他业务数据时，基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；
利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。
6.一种确定资源调度组件的系统，其特征在于，所述系统包括：
获取模块，用于获取到业务数据；
筛选模块，用于选取出处理所述业务数据的大数据组件；所述大数据组件为集群；
处理模块，用于控制所述大数据组件基于至少两个资源调度组件中的每一所述资源调度组件对应的资源调度策略对所述业务数据进行处理；
性能分析模块，用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件的性能检测结果；
对应地，所述筛选模块，用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件。
7.根据权利要求6所述的系统，其特征在于，所述资源调度组件对应至少两种资源调度策略；对应地，
所述处理模块，还用于控制所述大数据组件基于每一所述资源调度组件对应的每一所述资源调度策略对所述业务数据进行处理；
所述性能分析模块，还用于对基于每一所述资源调度组件对应的每一所述资源调度策略处理业务数据的大数据组件进行性能分析，得到所述大数据组件针对每一所述资源调度组件以及对应的每一所述资源调度策略的性能检测结果；
所述筛选模块，还用于从所述至少两个资源调度组件中选取出性能检测结果满足预设规则的所述大数据组件对应的目标资源调度组件和目标资源调度策略。
8.根据权利要求6或7所述的系统，其特征在于，所述性能分析模块，还用于对基于每一所述资源调度组件的资源调度策略处理业务数据的大数据组件进行性能分析，确定所述大数据组件中计算资源处于瓶颈状态时，所述大数据组件对应的运行特征信息；所述运行特征信息包括：处理时间、资源利用信息；至少基于运行特性信息中的处理时间和资源利用率，确定出所述大数据组件针对每一所述资源调度组件的性能检测结果。
9.根据权利要求6或7所述的系统，其特征在于，所述获取模块，还用于获取所述业务数据的数据特征；
所述筛选模块，还用于基于所述业务数据的数据特征从所述至少两个资源调度组件中选取出与所述数据特征相匹配的目标资源调度组件；
所述处理模块，还用于控制所述大数据组件基于所述目标资源调度组件对所述业务数据进行处理。
10.根据权利要求9所述的系统，其特征在于，所述筛选模块，还用于基于业务数据的数据特征、大数据组件、资源调度组件的对应关系建立映射关联列表；当获取到其他业务数据时，基于所述其他业务数据的数据特征从所述映射关联列表中选取出与所述其他业务数据的数据特征相匹配的大数据组件以及资源调度组件；
所述处理模块，还用于利用从所述映射关联列表中选取出的大数据组件和资源调度组件对所述其他业务数据进行处理。
CN201611093994.1A 2016-12-01 2016-12-01 一种确定资源调度组件的方法及其系统 Active CN108134810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611093994.1A CN108134810B (zh) 2016-12-01 2016-12-01 一种确定资源调度组件的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611093994.1A CN108134810B (zh) 2016-12-01 2016-12-01 一种确定资源调度组件的方法及其系统

Publications (2)

Publication Number Publication Date
CN108134810A CN108134810A (zh) 2018-06-08
CN108134810B true CN108134810B (zh) 2020-01-07

Family

ID=62388228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611093994.1A Active CN108134810B (zh) 2016-12-01 2016-12-01 一种确定资源调度组件的方法及其系统

Country Status (1)

Country Link
CN (1) CN108134810B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590313B (zh) * 2021-07-08 2024-02-02 杭州网易数之帆科技有限公司 负载均衡方法、装置、存储介质和计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859433B1 (en) * 2000-01-15 2005-02-22 Via Technologies, Inc. Relay control method and circuit with improved load balancing capability based on user-predefined port group configuration
CN101159716A (zh) * 2007-11-16 2008-04-09 华为技术有限公司 一种网关系统及其消息业务处理方法
CN102143046A (zh) * 2010-08-25 2011-08-03 华为技术有限公司 负载均衡的方法、设备和系统
CN103731482A (zh) * 2013-12-24 2014-04-16 浪潮电子信息产业股份有限公司 一种集群负载均衡系统及其实现方法
CN104243337A (zh) * 2013-06-09 2014-12-24 杭州华三通信技术有限公司 一种跨集群负载均衡的方法及装置
CN104714759A (zh) * 2015-02-15 2015-06-17 四川长虹电器股份有限公司 一种信息存储的方法和负载均衡服务器组
CN105141541A (zh) * 2015-09-23 2015-12-09 浪潮(北京)电子信息产业有限公司 一种基于任务的动态负载均衡调度方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859433B1 (en) * 2000-01-15 2005-02-22 Via Technologies, Inc. Relay control method and circuit with improved load balancing capability based on user-predefined port group configuration
CN101159716A (zh) * 2007-11-16 2008-04-09 华为技术有限公司 一种网关系统及其消息业务处理方法
CN102143046A (zh) * 2010-08-25 2011-08-03 华为技术有限公司 负载均衡的方法、设备和系统
CN104243337A (zh) * 2013-06-09 2014-12-24 杭州华三通信技术有限公司 一种跨集群负载均衡的方法及装置
CN103731482A (zh) * 2013-12-24 2014-04-16 浪潮电子信息产业股份有限公司 一种集群负载均衡系统及其实现方法
CN104714759A (zh) * 2015-02-15 2015-06-17 四川长虹电器股份有限公司 一种信息存储的方法和负载均衡服务器组
CN105141541A (zh) * 2015-09-23 2015-12-09 浪潮(北京)电子信息产业有限公司 一种基于任务的动态负载均衡调度方法及装置

Also Published As

Publication number Publication date
CN108134810A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108595306B (zh) 一种面向混部云的服务性能测试方法
CN107689953B (zh) 一种面向多租户云计算的容器安全监控方法及系统
CN107003928B (zh) 性能异常诊断
US20150052530A1 (en) Task-based modeling for parallel data integration
CN107678973B (zh) 一种测试脚本的自动生成方法及系统
US11307957B2 (en) Systems and methods for determining optimal cost-to-serve for cloud applications in the public cloud
CN112465146B (zh) 一种量子与经典混合云平台以及任务执行方法
US10089207B2 (en) Identification of software phases using machine learning
CN110389903B (zh) 测试环境部署方法和装置、电子设备和可读存储介质
CN105338082A (zh) 基于应用代理服务器的负载均衡方法及装置
CN109144734A (zh) 一种容器资源配额分配方法和装置
US10855807B2 (en) Systems and methods for semi-automatic workload domain deployments
CN107203464B (zh) 业务问题的定位方法以及装置
CN111860853A (zh) 在线预测系统、设备、方法及电子设备
CN108134810B (zh) 一种确定资源调度组件的方法及其系统
CN113052696B (zh) 金融业务任务处理方法、装置、计算机设备和存储介质
CN110196751B (zh) 互扰服务的隔离方法及装置、电子设备、存储介质
Soualhia et al. ATLAS: An adaptive failure-aware scheduler for hadoop
CN116827950A (zh) 云资源的处理方法、装置、设备及存储介质
Metsch et al. Apex lake: a framework for enabling smart orchestration
Yang et al. Optimizing internal overlaps by self-adjusting resource allocation in multi-stage computing systems
CN106970837B (zh) 一种信息处理方法及电子设备
CN113360313B (zh) 一种基于海量系统日志的行为分析方法
Gribaudo et al. Analysis of the influence of application deployment on energy consumption
CN115292176A (zh) 一种压力测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 32 Xuanwumen West Street, Xicheng District, Beijing 100053

Patentee after: CHINA MOBILE COMMUNICATION LTD., Research Institute

Patentee after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd.

Address before: 32 Xuanwumen West Street, Xicheng District, Beijing 100053

Patentee before: CHINA MOBILE COMMUNICATION LTD., Research Institute

Patentee before: CHINA MOBILE COMMUNICATIONS Corp.

CP01 Change in the name or title of a patent holder