CN105511968A - 一种资源调度管理系统 - Google Patents

一种资源调度管理系统 Download PDF

Info

Publication number
CN105511968A
CN105511968A CN201511032648.8A CN201511032648A CN105511968A CN 105511968 A CN105511968 A CN 105511968A CN 201511032648 A CN201511032648 A CN 201511032648A CN 105511968 A CN105511968 A CN 105511968A
Authority
CN
China
Prior art keywords
resource
flume
module
transfer machine
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511032648.8A
Other languages
English (en)
Inventor
马元文
孙琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201511032648.8A priority Critical patent/CN105511968A/zh
Publication of CN105511968A publication Critical patent/CN105511968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability

Abstract

本发明提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。

Description

一种资源调度管理系统
技术领域
本发明涉及互联网技术领域，特别是涉及一种资源调度管理系统。
背景技术
在一些互联网企业，为了应对快速增长的业务需求，常常布设有大量的服务器，这些服务器在每天的业务活动中产生海量的数据。这些数据本身就是一个宝库，其中蕴藏有大量的信息，为了挖掘这些数据的价值，需要将数据从这些服务器上收集起来进行分析。目前一般采用双层采集架构、利用Flume作为采集工具。Flume是一种分布式、可靠、和高可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，同时，Flume还提供对数据进行简单处理。
在使用Flume进行数据收集时，运维人员需要将Flumeagent部署在业务机上，Flumeagent将从业务机上收集的数据发送到部署在中转机上的中转层，并由中转层对数据进行汇总、解析，最后发送到进行数据分析的平台。由于缺少资源管理，计算资源无法进行高效分配和回收，从而导致资源利用率较低，对于宝贵的服务器资源是一种极大的浪费。
发明内容
有鉴于此，本发明提供一种资源调度管理系统，以解决中转机的资源利用率较低的问题。
为了实现上述目的，本发明公开了一种资源调度管理系统，其特征在于，包括：
Flume管理模块，用于在业务机和中转机上部署Flume服务；
资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单元，并利用配置表描述所述计算单元；
生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进行审批；
资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结果，为所述业务机分配所述计算单元。
从上述技术方案可以看出，本发明提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。
另外，通过生命周期的管理和资源分割，使得服务的部署可以通过页面进行，极大的降低了业务人员和运维人员的沟通成本；资源调度的自动化也使运维成本得到降低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种资源调度管理系统实施例的结构框图；
图2是本发明提供的另一种资源调度管理系统实施例的结构框图；
图3为本发明提供的又一种资源调度管理系统实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的一种资源调度管理系统实施例的结构框图。
参照图1所示，本发明提供的资源调度管理系统用于配置于资源管理主机上，具体可以包括如下模块：Flume管理模块10、资源配置模块20、生命周期管理模块30和资源调度模块40。
Flume管理模块10用于在业务机和中转机上部署Flume服务，Flume服务包括FlumeAgent和FlumeCollector。部署在业务机上的Flume服务即FlumeAgent，用于从业务机采集所需要的业务数据、交易数据、日志数据等数据。部署在中转机上的Flume服务即FlumeCollector，其用于接收FlumeAgent收集的各种数据，并转发到相应的平台上。
Flume管理模块10具体包括业务机Flume管理单元11和中转机Flume管理单元12，前者用于在业务机上部署FlumeAgent并修改FlumeAgent的配置；后者则用于在中转机上部署FlumeCollector，还用于修改FlumeCollector的配置。
资源配置模块20用于将中转机的资源进行划分，划分为多个不可以进一步分割的计算单元，并利用一个配置表描述所有的计算单元。计算单元是一种逻辑上的资源描述，具体为包含一定计算能力、一定存储容量的单元，并且具有相应的地址和端口的功能组合，还包括为其分配的业务种类、运行状态信息和服务启动时间。为了对每个计算单元进行描述，配置表包含了每个计算单元的地址信息、端口信息、业务状态信息、核数量信息、内存容量信息、分配状态信息和服务启动时间信息中的部分或全部信息。
生命周期管理模块30用于接收业务机发出的申请，并根据管理员输入的操作请求对申请进行审批。即做出是否向该业务机的Flume服务提供资源或提供多少资源。
资源调度模块40用于根据生命周期管理模块30做出的审批结果为该业务机分配计算单元。一般可根据业务的需求向该业务机分配一个或多个计算单元。
从上述技术方案可以看出，本实施例提供了一种资源调度管理系统，包括Flume管理模块、资源配置模块、生命周期管理模块和资源调度模块。Flume管理模块用于在业务机和中转机上部署Flume服务，资源配置模块则将中转机的资源分割成多个不可分割的计算单元，生命周期管理模块用于根据业务机发出的申请，并对接收到的申请进行审批，资源调度模块则根据生命周期管理模块对申请的审批结果为业务机分配计算单元。由于生命周期管理模块的引入，能够使中转机的资源根据审批结果进行分配，而业务机上没有业务需求的Flume服务则不会占用中转机的资源，从而使中转机上的资源不会被浪费，从而节省了宝贵的服务器资源。
另外，由于将中转机上的资源进行了单元分割，中转机在处理从业务机接收到的数据时，是在各个单独的计算单元内进行的，从而不会在业务流程之间造成相互干扰。
还有，通过细粒度的资源管理，使得资源管理主机可以通过调度算法自动完成服务器部署，过程中无需管理员进行干涉，从而能够降低运维成本。
资源调度模块还用于在中转机上的Flume服务需要重新部署时，为重新部署后的Flume服务重新分配相应的计算单元。
通过生命周期的管理和资源分割，使得服务的部署可以通过页面进行，极大的降低了业务人员和运维人员的沟通成本；资源调度的自动化也使运维成本得到降低。
图2是本发明提供的另一种资源调度管理系统实施例的结构框图。
参照图2所示，本实施例提供的资源调度管理系统中的生命管理模块30包括资源申请单元31和审批单元32。
资源申请单元31用于接收业务机根据具体的业务内容发出的资源申请，审批单元32则用于根据管理员的操作对接收到资源申请进行审批，做出相应的决策，以向相应的中转机配置合适的资源，即配置一个或多个计算单元。
另外，生命管理模块30还包括资源回收单元33，该单元用于当相应的Flume服务停止后，将为该Flume服务分配的计算单元及时回收，即将该计算单元的运行状态重新设置位可分配。审批单元进行其他审批、并做出相应的决策时可以将资源回收单元33回收的计算单元进行重新分配，从而能够避免资源闲置，增加了资源的利用率。
图3时本发明提供的又一种资源管理调度系统实施例的结构框图。
参照图3所示，本实施例是在上一实施例的基础上增设了中转机管理模块50和WebUI模块60。
中转机管理模块50用于在中转机上的Flume服务即FlumeCollector出现异常时，对出现异常的FlumeCollector进行重启，如果重启还不能解决问题的话则将其迁移到其他中转机上。中转机管理模块50还用于将添加新中转机，或者将闲置下来的中转机从系统中切除，以使其他系统能够对切除下来的中转机进行利用。从而增加了服务器的使用率。
WebUI模块60则用于接收管理员的操作请求，并根据操作请求对业务机和中转机进行配置和操作，例如可以向审批单元32发出操作指令，以对资源申请单元31发出的资源请求进行审批。除了接收管理员的操作请求外，还用于显示对中转机及相应的模块的操作结果，也用于显示Flume服务的运行情况，以便于管理员随时掌握系统的运行情况。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种资源调度管理系统，其特征在于，包括：
Flume管理模块，用于在业务机和中转机上部署Flume服务；
资源配置模块，用于将所述中转机的资源分割成多个不可分割的计算单元，并利用配置表描述所述计算单元；
生命周期管理模块，用于接收所述业务机发出的申请，并对所述申请进行审批；
资源调度模块，用于根据所述生命周期管理模块对所述申请的审批结果，为所述业务机分配所述计算单元。
2.如权利要求1所述的资源调度管理系统，其特征在于，所述Flume管理模块包括：
业务机Flume管理单元，用于在所述业务机上部署FlumeAgent服务；
中转机Flume管理单元，用于在所述中转机上部署FlumeCollector服务。
3.如权利要求2所述的资源调度管理系统，其特征在于，所述业务机Flume管理单元还用于修改所述FlumeAgent服务的配置。
4.如权利要求2所述的资源调度管理系统，其特征在于，所述中转机Flume管理单元还用于修改所述FlumeCollector服务的配置。
5.如权利要求1所述的资源调度管理系统，其特征在于，所述计算单元包括地址信息、端口信息、业务状态信息、核数量信息、内存容量信息、分配状态信息和服务启动时间信息中的部分或全部信息。
6.如权利要求1所述的资源调度管理系统，其特征在于，所述生命周期管理模块包括：
资源申请单元，用于接收所述业务机发出的申请；
审批单元，用于根据管理员的操作对所述申请进行审批。
7.如权利要求6所述的资源调度管理系统，其特征在于，所述生命周期管理模块还包括：
资源回收单元，用于当为所述计算单元分配的所述Flume服务停止后，将所述计算单元回收。
8.如权利要求6所述的资源调度管理系统，其特征在于，所述资源调度模块还用于为所述Flume服务重新分配所述计算单元。
9.如权利要求1～8任一项所述的资源调度管理系统，其特征在于，还包括：
中转机管理模块，用于管理所述中转机的上线与下线；还用于当所述中转机上的Flume服务出现异常时，对出现异常的Flume服务进行重启或迁移。
10.如权利要求9所述的资源调度管理系统，其特征在于，还包括：
WebUI模块，用于接收管理员的操作请求，并显示操作结果和所述Flume服务的运行情况。
CN201511032648.8A 2015-12-31 2015-12-31 一种资源调度管理系统 Pending CN105511968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511032648.8A CN105511968A (zh) 2015-12-31 2015-12-31 一种资源调度管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511032648.8A CN105511968A (zh) 2015-12-31 2015-12-31 一种资源调度管理系统

Publications (1)

Publication Number Publication Date
CN105511968A true CN105511968A (zh) 2016-04-20

Family

ID=55719972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511032648.8A Pending CN105511968A (zh) 2015-12-31 2015-12-31 一种资源调度管理系统

Country Status (1)

Country Link
CN (1) CN105511968A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110417825A (zh) * 2018-04-26 2019-11-05 中移(苏州)软件技术有限公司 一种Flume集群的管理方法、装置及系统
CN111984272A (zh) * 2020-09-08 2020-11-24 河北幸福消费金融股份有限公司 应用自动上线的方法、系统、存储介质及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN104426953A (zh) * 2013-08-28 2015-03-18 腾讯科技（深圳）有限公司 一种分配计算资源的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN104426953A (zh) * 2013-08-28 2015-03-18 腾讯科技（深圳）有限公司 一种分配计算资源的方法及装置
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110417825A (zh) * 2018-04-26 2019-11-05 中移(苏州)软件技术有限公司 一种Flume集群的管理方法、装置及系统
CN110417825B (zh) * 2018-04-26 2022-05-13 中移(苏州)软件技术有限公司 一种Flume集群的管理方法、装置及系统
CN111984272A (zh) * 2020-09-08 2020-11-24 河北幸福消费金融股份有限公司 应用自动上线的方法、系统、存储介质及计算机设备
CN111984272B (zh) * 2020-09-08 2023-11-17 河北幸福消费金融股份有限公司 应用自动上线的方法、系统、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
US9038068B2 (en) Capacity reclamation and resource adjustment
US7890712B2 (en) Method, apparatus and program product for managing memory in a virtual computing system
US10333859B2 (en) Multi-tenant resource coordination method
CN102750602B (zh) 一种云平台异构一体化资源管理系统
CN109684071B (zh) 任意工作负载在超融合节点之间的分配
CN106533804A (zh) 一种网络运营支撑系统
CN103078965B (zh) 虚拟机的ip地址管理方法
CN105049268A (zh) 分布式计算资源分配系统和任务处理方法
CN107864211B (zh) 集群资源调度方法及系统
CN102262591B (zh) 用于内存复制系统进行垃圾回收的方法和系统
CN103399781A (zh) 云服务器及其虚拟机管理方法
CN107506145B (zh) 一种物理存储调度方法及云主机创建方法
CN105580007A (zh) 监控计算网络
CN104506371A (zh) 一种应用程序编程接口api调用记录的管理方法和装置
CN108696571B (zh) 云存储服务系统、方法、云服务智能设备及电子装置
CN105573907B (zh) 用于在解聚的硬件组件上安装软件的方法和系统
CN106293945A (zh) 一种跨虚拟机的资源感知方法及系统
US11442763B2 (en) Virtual machine deployment system using configurable communication couplings
CN104657216B (zh) 一种资源池的资源分配方法及装置
CN105511968A (zh) 一种资源调度管理系统
US20140164581A1 (en) Dispersed Storage System with Firewall
CN107203256A (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
CN107836010A (zh) 计算机系统的管理方法和计算机系统
CN114675927A (zh) 服务实例部署方法、装置、电子设备及存储介质
US20230155958A1 (en) Method for optimal resource selection based on available gpu resource analysis in large-scale container platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination