CN109347982A - 一种数据中心的调度方法及装置 - Google Patents

一种数据中心的调度方法及装置 Download PDF

Info

Publication number
CN109347982A
CN109347982A CN201811452268.3A CN201811452268A CN109347982A CN 109347982 A CN109347982 A CN 109347982A CN 201811452268 A CN201811452268 A CN 201811452268A CN 109347982 A CN109347982 A CN 109347982A
Authority
CN
China
Prior art keywords
server
server cluster
data processing
cluster
pressure value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811452268.3A
Other languages
English (en)
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811452268.3A priority Critical patent/CN109347982A/zh
Publication of CN109347982A publication Critical patent/CN109347982A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种数据中心的调度方法及装置。所述方法包括:第一服务器集群接收数据处理请求后,获取多个第一服务器的负载情况,并且可以至少根据多个第一服务器的负载情况,确定第一服务器集群对应的工作压力值,若确定所述工作压力值大于或等于第一阈值,则将数据处理请求发送至第二服务器集群。如此,第二服务器集群在处理API服务请求之余,还可以处理数据处理请求,从而能够为第一服务器集群分担处理数据处理请求的压力;进一步地,本发明实施例无需额外增加第一服务器集群中第一服务器的数量,即可达到降低第一服务器集群的工作压力的目的,有效避免了服务器资源浪费的情况。

Description

一种数据中心的调度方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据中心的调度方法及装置。
背景技术
数据中心是基于Internet网络,为集中式收集、存储、处理和发送数据的设备提供运行维护的设施基地并提供相关的服务。其中,数据中心提供的服务可以包括数据处理和API服务。数据中心可以包括多种类型的服务器,不同类型的服务器可以用于提供不同的服务。
随着互联网用户的增多,大量的用户可能会在相同的时间段集中访问网站的情况时有发生,进而会造成数据中心中的各种类型的服务器也可能会在相同的时间段提供大量的服务,这就增加了数据中心中服务器的工作压力。
基于此,目前亟需一种数据中心的调度方法,用于解决现有技术中在高峰时间段数据中心中服务器压力大的问题。
发明内容
本发明实施例提供一种数据中心的调度方法及装置,以解决现有技术中在高峰时间段数据中心中服务器压力大的技术问题。
本发明实施例提供一种数据中心的调度方法,所述方法应用于数据中心,所述数据中心包括第一服务器集群和第二服务器集群;所述第一服务器集群包括多个第一服务器,所述第一服务器用于执行数据处理业务;所述第二服务器集群包括多个第二服务器,所述第二服务器用于执行数据存储业务和API服务业务;所述方法包括:
所述第一服务器集群接收数据处理请求后,获取所述多个第一服务器的负载情况;
所述第一服务器集群至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值;
所述第一服务器集群若确定所述工作压力值大于或等于第一阈值,则将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理采用上述方法,当第一服务器集群接收到数据处理请求时,若自身的工作压力值过大,则可以将数据处理请求发送到第二服务器集群。如此,第二服务器集群在处理API服务请求之余,还可以处理数据处理请求,从而能够为第一服务器集群分担处理数据处理请求的压力;进一步地,本发明实施例无需额外增加第一服务器集群中第一服务器的数量,即可达到降低第一服务器集群的工作压力的目的,有效避免了服务器资源浪费的情况。
在一种可能的实现方式中,所述第一服务器集群至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值,包括:
所述第一服务器集群根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值。
如此,可以综合考虑第一服务器的负载压力和时间压力,从而能够使得本发明实施例提供的调度方法更加符合服务器的实际运行情况。
在一种可能的实现方式中,所述负载情况包括平均CPU使用率;
所述第一服务器集群根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值,包括:
所述第一服务器集群根据所述多个第一服务器的平均CPU使用率,确定所述第一服务器集群对应的负载压力值;
所述第一服务器集群根据接收到所述数据处理请求的时间以及预设的数据处理的高峰时间段,确定所述第一服务器集群对应的时间压力值;
所述第一服务器集群根据所述第一服务器集群对应的负载压力值和时间压力值,确定所述第一服务器集群对应的工作压力值。
在一种可能的实现方式中,所述第一服务器集群对应的负载压力值通过以下方式确定:
其中,X为所述第一服务器对应的负载压力值;Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;n为所述第一服务器集群中第一服务器的数量;
所述第一服务器的平均CPU使用率通过以下方式确定:
其中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
在一种可能的实现方式中,所述第一服务器集群对应的时间压力值通过以下方式确定:
其中,Y为所述第一服务器集群对应的时间压力值;T为接收到所述数据处理请求的时间;Th为所述预设的数据处理的高峰时间段的起始时间。
本发明实施例提供一种数据中心的调度装置,所述装置应用于数据中心,所述数据中心包括第一服务器集群和第二服务器集群;所述第一服务器集群包括多个第一服务器,所述第一服务器用于执行数据处理业务;所述第二服务器集群包括多个第二服务器,所述第二服务器用于执行数据存储业务和API服务业务;所述装置为第一服务器集群;所述装置包括:
接收单元,用于接收数据处理请求后,获取所述多个第一服务器的负载情况;
处理单元,用于至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值;
发送单元,用于在所述处理单元确定所述工作压力值大于或等于第一阈值后,将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理。
在一种可能的实现方式中,所述处理单元具体用于:
根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值。
在一种可能的实现方式中,所述负载情况包括平均CPU使用率;
所述处理单元具体用于:
根据所述多个第一服务器的平均CPU使用率,确定所述第一服务器集群对应的负载压力值;并根据接收到所述数据处理请求的时间以及预设的数据处理的高峰时间段,确定所述第一服务器集群对应的时间压力值;以及根据所述第一服务器集群对应的负载压力值和时间压力值,确定所述第一服务器集群对应的工作压力值。
在一种可能的实现方式中,所述第一服务器集群对应的负载压力值通过以下方式确定:
其中,X为所述第一服务器对应的负载压力值;Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;n为所述第一服务器集群中第一服务器的数量;
所述第一服务器的平均CPU使用率通过以下方式确定:
其中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
在一种可能的实现方式中,所述第一服务器集群对应的时间压力值通过以下方式确定:
其中,Y为所述第一服务器集群对应的时间压力值;T为接收到所述数据处理请求的时间;Th为所述预设的数据处理的高峰时间段的起始时间。
本申请实施例的还提供一种装置,该装置具有实现上文所描述的数据中心的调度方法的功能。该功能可以通过硬件执行相应的软件实现,在一种可能的设计中,该装置包括:处理器、收发器、存储器;该存储器用于存储计算机执行指令,该收发器用于实现该装置与其他通信实体进行通信,该处理器与该存储器通过该总线连接,当该装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该装置执行上文所描述的数据中心的调度方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的数据中心的调度方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的数据中心的调度方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍。
图1a为本发明实施例适用的系统架构图;
图1b为现有技术中数据中心的业务逻辑的示意图;
图2为本发明实施例提供的一种数据中心的调度方法所对应的流程示意图;
图3为本发明实施例中数据中心针对数据处理请求的业务逻辑的示意图;
图4为本发明实施例提供的另一种数据中心的调度方法所对应的流程示意图;
图5为本发明实施例中数据中心针对API服务请求的业务逻辑的示意图;
图6为本发明实施例提供的一种数据中心的调度装置的结构示意图;
图7为本发明实施例提供的另一种数据中心的调度装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例中。
图1a示例性示出了本发明实施例适用的系统架构图。如图1a所示,该系统100包括数据中心110、多个节点服务器(例如图1a中示出的节点服务器1201、节点服务器1202、节点服务器1203)、至少一个外部组件(例如图1a中示出的外部组件1301、外部组件1302)。
本发明实施例中,数据中心110可以包括第一服务器集群111和第二服务器集群112。进一步地,第一服务器集群111可以包括多个第一服务器(例如图1a中示出的第一服务器1111、第一服务器1112、第一服务器1113),第一服务器可以用于执行数据处理业务;第二服务器集群112可以包括多个第二服务器(例如图1a中示出的第二服务器1121、第二服务器1122、第二服务器1123),第二服务器可以用于执行数据存储业务和API服务业务。
节点服务器可以为源站服务器,或者也可以为CDN系统中的边缘服务器。
外部组件可以为需要通过API来访问数据中心110的组件,比如,外部组件可以为计费型的外部组件,用于根据数据中心110中存储的数据进行计费,举个例子,计费型的外部组件可以根据数据中心110所存储的流量数据来计算用户需要支付的费用;或者,外部组件也可以为分析型的外部组件,用于对数据中心110中存储的数据进行分析,举个例子,分析型的外部部件可以根据数据中心110中存储的流量数据和流量数据对应的地理位置来源,分析不同地区的流量变化。
具体实施过程中,第一服务器集群111与多个节点服务器的连接方式有多种,一种可能的实现方式为,第一服务器集群111中任一第一服务器可以通过网络与任一节点服务器连接,比如,图1a中示出的第一服务器1111可以通过网络分别与节点服务器1201、节点服务器1202、节点服务器1203连接,第一服务器1112可以通过网络分别与节点服务器1201、节点服务器1202、节点服务器1203连接,第一服务器1113可以通过网络分别与节点服务器1201、节点服务器1202、节点服务器1203连接。另一种可能的实现方式为,第一服务器集群111中任一第一服务器可以根据预设的对应关系与对应的节点服务器连接,其中,预设的对应关系可以为地理位置的对应关系,或者也可以为其它类型的对应关系(比如节点服务器提供的服务类型等);以地理位置的对应关系为例,若第一服务器1111负责的地理位置与节点服务器1201所处的地理位置相对应,则第一服务器1111可以与节点服务器1201连接。
进一步地,第一服务器集群中的任一第一服务器可以通过与节点服务器的连接,来接收节点服务器发送的数据,或向节点服务器发送数据。为了更好地管理第一服务器集群接收到的数据处理业务,第一服务器集群还可以包括第一调度设备(图1a中未示出),第一调度设备可以与任一第一服务器连接,还可以与多个节点服务器连接,第一调度设备可以用于接收多个节点服务器发送的数据处理业务,并将数据处理业务转发到合适的第一服务器。
类似地,第二服务器集群中的任一第二服务器可以通过与外部组件的连接,来接收外部组件发送的数据,或向外部组件发送数据。为了更好地管理第二服务器集群接收到的API服务业务,第二服务器集群还可以包括第二调度设备(图1a中未示出),第二调度设备可以与任一第二服务器连接,还可以与多个外部组件连接,第二调度设备可以用于接收多个外部组件发送的API服务业务,并将API服务业务转发到合适的第二服务器。
第一服务器集群111可以通过网络与第二服务器集群112连接,具体的连接方式有多种,一种可能的实现方式为,第一服务器集群111中任一第一服务器可以以分布式存储的方式与第二服务器集群112中的第二服务器连接,这种方式未在图1a中示出。另一种可能实现方式为,如图1a所示,第一服务器集群111中任一第一服务器可以与第二服务器集群112中的对应的第二服务器连接,比如,第一服务器1111与第二服务器1121连接,第一服务器1112与第二服务器1122连接,第一服务器1113与第二服务器1123连接,如此,第一服务器1111可以将执行数据处理业务后生成的数据存储到第二服务器1121中,类似地,第一服务器1112可以将执行数据处理业务后生成的数据存储到第二服务器1122中,第一服务器1113可以将执行数据处理业务后生成的数据存储到第二服务器1124中。
外部组件可以与第二服务器集群112中任一第二服务器通过网络连接,例如图1a中示出的外部组件1301可以分别与第二服务器1121、第二服务器1122、第二服务器1123连接,外部组件1302也可以分别与第二服务器1121、第二服务器1122、第二服务器1123连接。或者,外部组件可以根据自身的类型,以及第二服务器负责存储的数据的类型,与对应的第二服务器连接,比如,外部组件1301为计费型外部组件,需要对流量进行计费,而第二服务器1121负责存储流量数据,则外部组件1301可以与第二服务器1121连接;又比如,外部组件1302为分析型外部组件,需要对请求数进行分析,而第二服务器1122负责存储请求数的数据,则外部组件1302可以与第二服务器1122连接。
基于图1a所示的系统架构,现有技术中的针对不同类型的业务,数据中心110的处理方式也不同。具体来说,如图1b所示,为现有技术中数据中心的业务逻辑的示意图。若为数据处理请求,则可以由数据中心110中的第一服务器集群111来执行该数据处理请求;若为API服务请求,则可以由数据中心110中的第二服务器集群112根据存储的数据来执行该API服务请求。
由于不同类型的业务对应的高峰期不同,比如,数据处理业务通常在20:00点以后处于高峰期,API服务业务通常在凌晨处于高峰期,然而现有技术中第一服务器的数量和第二服务器的数量是有限的,这就可能导致以下两个问题:
问题一:在数据处理业务的高峰期,第一服务器的数量可能无法满足高峰期时的数据处理业务的需求,导致第一服务器的工作压力大、工作效率低的问题;若通过增加第一服务器的数量来解决上述问题,则容易导致在数据处理业务的低峰期,第一服务器的数量过多,造成资源浪费的问题。
问题二:在API服务业务的高峰期,第二服务器的数量可能无法满足高峰期时的API服务业务的需求,导致第二服务器的工作压力大、工作效率低的问题;若通过增加第二服务器的数量来解决上述问题,则容易导致在API服务业务的低峰期,第二服务器的数量过多,造成资源浪费的问题。
为了解决上述问题一,本发明实施例提供了一种数据中心的调度方法。如图2所示,为本发明实施例提供的一种数据中心的调度方法所对应的流程示意图,具体包括如下步骤:
步骤201,第一服务器集群接收数据处理请求后,获取多个第一服务器的负载情况。
步骤202,第一服务器集群至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值。
步骤203,第一服务器集群若确定所述工作压力值大于或等于第一阈值,则将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理。
采用上述方法,当第一服务器集群接收到数据处理请求时,若自身的工作压力值过大,则可以将数据处理请求发送到第二服务器集群。如此,第二服务器集群在处理API服务请求之余,还可以处理数据处理请求,从而能够为第一服务器集群分担处理数据处理请求的压力;进一步地,本发明实施例无需额外增加第一服务器集群中第一服务器的数量,即可达到降低第一服务器集群的工作压力的目的,有效避免了服务器资源浪费的情况。
需要说明的是,上述步骤201至步骤203可以由第一服务器集群中接收到数据处理请求的第一服务器来执行;或者,上述步骤201至步骤203可以由第一服务器集群中的第一调度设备来执行,具体不做限定。进一步地,若由第一服务器执行步骤203,则第一服务器可以将数据处理请求发送给第二服务器集群中对应的第二服务器;若由第一调度设备执行步骤203,则第一调度设备可以将数据处理请求发送给第二服务器集群中的第二调度设备。
下文将以第一服务器集群中的第一调度设备执行上述步骤201至步骤203为例,进行说明。
步骤201中,第一服务器的负载情况可以包括多种形式的内容,比如,负载情况可以包括平均CPU使用率,或者也可以包括接收到的请求数,或者也可以包括内存使用率,具体不做限定。
以负载情况为平均CPU使用率为例,对于某个第一服务器而言,该第一服务器的平均CPU使用率可以是该第一服务器的CPU中多个执行核心的使用率的平均值。其中,第一服务器的平均CPU使用率具体可以通过公式(1)确定:
公式(1)中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
举个例子,第一服务器A是四核的CPU,即第一服务器A具有4个执行核心。如表1所示,为第一服务器A中执行核心的信息的一种示例。根据表1示出的内容可以得知,第一服务器A中执行核心1的使用率为40%,第一服务器A中执行核心2的使用率为5%,第一服务器A中执行核心3的使用率为30%,第一服务器A中执行核心4的使用率为15%。根据公式(1),可知第一服务器A的平均CPU使用率为25%。
表1:第一服务器A中执行核心的信息的一种示例
执行核心的编号 执行核心的使用率
执行核心1 40%
执行核心2 5%
执行核心3 30%
执行核心4 15%
步骤202中,第一服务器集群对应的工作压力值的确定方式有多种。一个示例中,第一服务器集群可以根据多个第一服务器的平均CPU使用率,确定第一服务器集群对应的负载压力值,并将第一服务器集群对应的负载压力值确定为第一服务器集群对应的工作压力值。
具体地,第一服务器集群对应的负载压力值可以通过公式(2)确定:
公式(2)中,X为第一服务器对应的负载压力值;Xn为第一服务器集群中第n个第一服务器的平均CPU使用率;n为第一服务器集群中第一服务器的数量。
举个例子,第一服务器集群具有3个第一服务器。如表2所示,为第一服务器集群中第一服务器的平均CPU使用率的一种示例。根据表2示出的内容可以得知,第一服务器A的平均CPU使用率为45%,第一服务器B的平均CPU使用率为85%,第一服务器C的平均CPU使用率为80%。根据公式(2),可知第一服务器集群对应的负载压力值为70%,进而,第一服务器集群对应的工作压力值为70%。
表2:第一服务器集群中第一服务器的平均CPU使用率的一种示例
第一服务器的编号 平均CPU使用率
第一服务器A 45%
第一服务器B 85%
第一服务器C 80%
另一个示例中,第一服务器集群可以根据多个第一服务器的负载情况以及接收到数据处理请求的时间,确定第一服务器集群对应的工作压力值。具体地,第一服务器集群可以根据多个第一服务器的平均CPU使用率,确定第一服务器集群对应的负载压力值;并且,可以根据接收到数据处理请求的时间以及预设的数据处理的高峰时间段,确定第一服务器集群对应的时间压力值;进而,可以根据第一服务器集群对应的负载压力值和时间压力值,确定第一服务器集群对应的工作压力值。如此,可以综合考虑第一服务器的负载压力和时间压力,从而能够使得本发明实施例提供的调度方法更加符合服务器的实际运行情况。
其中,第一服务器集群对应的负载压力值可以根据上述公式(2)来确定。第一服务器集群对应的时间压力值可以通过公式(3)确定:
公式(3)中,Y为第一服务器集群对应的时间压力值;T为接收到数据处理请求的时间;Th为预设的数据处理的高峰时间段的起始时间。
需要说明的是,公式(3)中预设的数据处理的高峰时间段的起始时间(Th)可以是本领域技术人员根据经验和实际情况确定的,具体不做限定。例如,Th可以为24小时时间制下的小时数,Th可以为20,表示20:00为预设的数据处理的高峰时间段的起始时间。
举个例子,若预设的数据处理的高峰时间段的起始时间为20:00,即Th=20。如表3所示,为第一服务器集群接收到数据处理请求的时间的一种示例。根据表3示出的内容可以得知,数据处理请求1的接收时间为19:00,数据处理请求2的接收时间为20:00,数据处理请求3的接收时间为22:00。根据公式(3),可知第一服务器集群接收数据处理请求1时的时间压力值为0.95,接收数据处理请求2时的时间压力值为1,接收数据处理请求3时的时间压力值为1.1。
表3:第一服务器集群接收到数据处理请求的时间的一种示例
数据处理请求的编号 接收时间
数据处理请求1 19:00
数据处理请求2 20:00
数据处理请求3 22:00
进一步地,根据第一服务器集群对应的负载压力值和时间压力值,确定第一服务器集群对应的工作压力值的方式有多种。一种可能的实现方式为,第一服务器集群对应的工作压力值可以通过公式(4)确定:
Q=X+Y公式(4)
公式(4)中,Q为第一服务器集群对应的时间压力值;X为第一服务器集群对应的负载压力值;Y为第一服务器集群对应的时间压力值。
在其它可能的实现方式中,第一服务器集群对应的工作压力值也可以通过其它方式来确定,比如在计算第一服务器集群对应的工作压力值时,考虑第一服务器集群对应的负载压力值的权重和时间压力值的权重,具体不做限定。
步骤203中,第一服务器集群在确定工作压力值之后,可以对工作压力值进行判断,并根据判断的结果确定是否需要将数据处理请求发送至第二服务器集群,以使第二服务器集群中的任一第二服务器对数据处理请求进行处理。
一个示例中,第一服务器集群可以判断第一服务器集群对应的工作压力值是否大于或等于第一阈值,若确定工作压力值大于或等于第一阈值,则可以将数据处理请求发送至第二服务器集群。其中,第一阈值可以为本领域技术人员根据经验和实际情况确定的,具体不做限定。
另一个示例中,第一服务器集群可以先判断第一服务器集群对应的工作压力值是否大于或等于第一阈值,若确定工作压力值大于或等于第一阈值,可以再判断工作压力值大于或等于第一阈值的次数是否大于预设次数阈值,若确定工作压力值大于或等于第一阈值的次数大于预设次数阈值,则可以将数据处理请求发送至第二服务器集群。其中,预设次数阈值可以为本领域技术人员根据经验和实际情况确定的,具体不做限定。
需要说明的是,若上述步骤201至步骤203的执行主体是第一服务器集群中的任一第一服务器,则该第一服务器接收到数据处理请求后,可以获取自身的负载情况,并根据自身的负载请求,确定自身的工作压力值,当自身的工作压力值大于或等于第一阈值时,可以将数据处理请求发送至第二服务器集群中对应的第二服务器,具体过程不再详细描述。
基于上文所描述的内容,如图3所示,为本发明实施例中数据中心针对数据处理请求的业务逻辑的示意图。根据图3示出的内容可知,针对数据处理请求,当第一服务器集群的工作压力值大于或等于第一阈值时,第一服务器集群和第二服务器集群可以都对数据处理请求进行处理,由第一服务器集群处理的数据处理请求生成的数据可以存储到第二服务器集群中,由第二服务器集群处理的数据处理请求生成的数据可以直接在第二服务器集群中存储。
为了解决上述问题二,本发明实施例提供了另一种数据中心的调度方法。如图4所示,为本发明实施例提供的另一种数据中心的调度方法所对应的流程示意图,具体包括如下步骤:
步骤401,第二服务器集群接收API服务请求。
步骤402,第二服务器集群根据接收到所述API服务请求的时间以及预设的API服务的高峰时间段,确定所述第二服务器集群对应的时间压力值。
步骤403,第二服务器集群若确定所述第二服务器集群对应的时间压力值大于或等于第二阈值,则将所述API服务请求发送至第一服务器集群,以使所述第一服务器集群中的任一第一服务器对所述API服务请求进行处理。
采用上述方法,当第二服务器集群接收到API服务请求时,若自身的时间压力值过大,则可以将API服务请求发送到第一服务器集群。如此,第一服务器集群在处理数据处理请求之余,还可以处理API服务请求,从而能够为第二服务器集群分担处理API服务请求的压力;进一步地,本发明实施例无需额外增加第二服务器集群中第二服务器的数量,即可达到降低第二服务器集群的工作压力的目的,有效避免了服务器资源浪费的情况。
需要说明的是,上述步骤401至步骤403可以由第二服务器集群中接收到API服务请求的第二服务器来执行;或者,上述步骤401至步骤403可以由第二服务器集群中的第二调度设备来执行,具体不做限定。进一步地,若由第二服务器执行步骤403,则第二服务器可以将API服务请求发送给第一服务器集群中对应的第一服务器;若由第二调度设备执行步骤403,则第二调度设备可以将API服务请求发送给第一服务器集群中的第一调度设备。
下文将以第二服务器集群中的第二调度设备执行上述步骤401至步骤403为例,进行说明。
步骤401和步骤402中,第二服务器集群对应的时间压力值可以通过公式(5)确定:
公式(5)中,Y’为第二服务器集群对应的时间压力值;T’为接收到API服务请求的时间;Th’为预设的API服务的高峰时间段的结束时间。
需要说明的是,公式(5)中预设的API服务的高峰时间段的结束时间(Th’)可以是本领域技术人员根据经验和实际情况确定的,具体不做限定。例如,Th’可以为24小时时间制下的小时数,Th’可以为6,表示06:00为预设的API服务的高峰时间段的结束时间。
举个例子,若预设的数据处理的高峰时间段的结束时间为06:00,即Th’=6。如表4所示,为第二服务器集群接收到API服务请求的时间的一种示例。根据表4示出的内容可以得知,API服务请求1的接收时间为05:00,API服务请求2的接收时间为06:00,API服务请求3的接收时间为07:00。根据公式(5),可知第二服务器集群接收API服务请求1时的时间压力值为0.17,接收API服务请求2时的时间压力值为0,接收API服务请求3时的时间压力值为-0.17。
表4:第二服务器集群接收到API服务请求的时间的一种示例
API服务请求的编号 接收时间
API服务请求1 05:00
API服务请求2 06:00
API服务请求3 07:00
步骤403中,第二服务器集群可以判断第二服务器集群对应的时间压力值是否大于或等于第二阈值,若确定时间压力值大于或等于第二阈值,则可以将API服务请求发送至第一服务器集群。
其中,第二阈值可以为本领域技术人员根据经验和实际情况确定的,具体不做限定。
需要说明的是,若上述步骤401至步骤403的执行主体是第二服务器集群中的任一第二服务器,则该第二服务器接收到API服务请求后,可以根据接收到API服务请求的时间,确定自身的时间压力值,当自身的时间压力值大于或等于第二阈值时,可以将API服务请求发送至第一服务器集群中对应的第一服务器,具体过程不再详细描述。
基于上文所描述的内容,如图5所示,为本发明实施例中数据中心针对API服务请求的业务逻辑的示意图。根据图5示出的内容可知,针对API服务请求,当第二服务器集群的时间压力值大于或等于第二阈值时,第二服务器集群和第一服务器集群可以都对API服务请求进行处理。
基于相同构思,本发明实施例提供的一种数据中心的调度装置,如图6示,该装置可以应用于图1示出的数据中心110,进一步地,该装置可以为图1中示出的第一服务器集群111;该装置可以包括接收单元601、处理单元602、发送单元603;其中,
接收单元601,用于接收数据处理请求后,获取所述多个第一服务器的负载情况;
处理单元602,用于至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值;
发送单元603,用于在所述处理单元602确定所述工作压力值大于或等于第一阈值后,将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理。
在一种可能的实现方式中,所述处理单元602具体用于:
根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值。
在一种可能的实现方式中,所述负载情况包括平均CPU使用率;
所述处理单元602具体用于:
根据所述多个第一服务器的平均CPU使用率,确定所述第一服务器集群对应的负载压力值;并根据接收到所述数据处理请求的时间以及预设的数据处理的高峰时间段,确定所述第一服务器集群对应的时间压力值;以及根据所述第一服务器集群对应的负载压力值和时间压力值,确定所述第一服务器集群对应的工作压力值。
在一种可能的实现方式中,所述第一服务器集群对应的负载压力值通过以下方式确定:
其中,X为所述第一服务器对应的负载压力值;Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;n为所述第一服务器集群中第一服务器的数量;
所述第一服务器的平均CPU使用率通过以下方式确定:
其中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
在一种可能的实现方式中,所述第一服务器集群对应的时间压力值通过以下方式确定:
其中,Y为所述第一服务器集群对应的时间压力值;T为接收到所述数据处理请求的时间;Th为所述预设的数据处理的高峰时间段的起始时间。
基于相同构思,本发明实施例提供的另一种数据中心的调度装置,如图7示,该装置可以应用于图1示出的数据中心110,进一步地,该装置可以为图1中示出的第二服务器集群112;该装置可以包括接收单元701、处理单元702、发送单元703;其中,
接收单元701,用于接收API服务请求;
处理单元702,用于根据接收到所述API服务请求的时间以及预设的API服务的高峰时间段,确定所述第二服务器集群对应的时间压力值;
发送单元703,用于在所述处理单元702确定所述第二服务器集群对应的时间压力值大于或等于第二阈值后,将所述API服务请求发送至第一服务器集群,以使所述第一服务器集群中的任一第一服务器对所述API服务请求进行处理。
在一种可能的实现方式中,所述第二服务器集群对应的时间压力值通过以下方式确定:
其中,Y’为所述第二服务器集群对应的时间压力值;T’为接收到所述API服务请求的时间;Th’为所述预设的API服务的高峰时间段的结束时间。
本申请实施例的还提供一种装置,该装置具有实现上文所描述的数据中心的调度方法的功能。该功能可以通过硬件执行相应的软件实现,在一种可能的设计中,该装置包括:处理器、收发器、存储器;该存储器用于存储计算机执行指令,该收发器用于实现该装置与其他通信实体进行通信,该处理器与该存储器通过该总线连接,当该装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该装置执行上文所描述的数据中心的调度方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的数据中心的调度方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的数据中心的调度方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据中心的调度方法,其特征在于,所述方法应用于数据中心,所述数据中心包括第一服务器集群和第二服务器集群;所述第一服务器集群包括多个第一服务器,所述第一服务器用于执行数据处理业务;所述第二服务器集群包括多个第二服务器,所述第二服务器用于执行数据存储业务和API服务业务;所述方法包括:
所述第一服务器集群接收数据处理请求后,获取所述多个第一服务器的负载情况;
所述第一服务器集群至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值;
所述第一服务器集群若确定所述工作压力值大于或等于第一阈值,则将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理。
2.根据权利要求1所述的方法,其特征在于,所述第一服务器集群至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值,包括:
所述第一服务器集群根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值。
3.根据权利要求2所述的方法,其特征在于,所述负载情况包括平均CPU使用率;
所述第一服务器集群根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值,包括:
所述第一服务器集群根据所述多个第一服务器的平均CPU使用率,确定所述第一服务器集群对应的负载压力值;
所述第一服务器集群根据接收到所述数据处理请求的时间以及预设的数据处理的高峰时间段,确定所述第一服务器集群对应的时间压力值;
所述第一服务器集群根据所述第一服务器集群对应的负载压力值和时间压力值,确定所述第一服务器集群对应的工作压力值。
4.根据权利要求3所述的方法,其特征在于,所述第一服务器集群对应的负载压力值通过以下方式确定:
其中,X为所述第一服务器对应的负载压力值;Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;n为所述第一服务器集群中第一服务器的数量;
所述第一服务器的平均CPU使用率通过以下方式确定:
其中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
5.根据权利要求3所述的方法,其特征在于,所述第一服务器集群对应的时间压力值通过以下方式确定:
其中,Y为所述第一服务器集群对应的时间压力值;T为接收到所述数据处理请求的时间;Th为所述预设的数据处理的高峰时间段的起始时间。
6.一种数据中心的调度装置,其特征在于,所述装置应用于数据中心,所述数据中心包括第一服务器集群和第二服务器集群;所述第一服务器集群包括多个第一服务器,所述第一服务器用于执行数据处理业务;所述第二服务器集群包括多个第二服务器,所述第二服务器用于执行数据存储业务和API服务业务;所述装置为第一服务器集群;所述装置包括:
接收单元,用于接收数据处理请求后,获取所述多个第一服务器的负载情况;
处理单元,用于至少根据所述多个第一服务器的负载情况,确定所述第一服务器集群对应的工作压力值;
发送单元,用于在所述处理单元确定所述工作压力值大于或等于第一阈值后,将所述数据处理请求发送至第二服务器集群,以使所述第二服务器集群中的任一第二服务器对所述数据处理请求进行处理。
7.根据权利要求6所述的装置,其特征在于,所述处理单元具体用于:
根据所述多个第一服务器的负载情况以及接收到所述数据处理请求的时间,确定所述第一服务器集群对应的工作压力值。
8.根据权利要求7所述的装置,其特征在于,所述负载情况包括平均CPU使用率;
所述处理单元具体用于:
根据所述多个第一服务器的平均CPU使用率,确定所述第一服务器集群对应的负载压力值;并根据接收到所述数据处理请求的时间以及预设的数据处理的高峰时间段,确定所述第一服务器集群对应的时间压力值;以及根据所述第一服务器集群对应的负载压力值和时间压力值,确定所述第一服务器集群对应的工作压力值。
9.根据权利要求8所述的装置,其特征在于,所述第一服务器集群对应的负载压力值通过以下方式确定:
其中,X为所述第一服务器对应的负载压力值;Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;n为所述第一服务器集群中第一服务器的数量;
所述第一服务器的平均CPU使用率通过以下方式确定:
其中,Xn为所述第一服务器集群中第n个第一服务器的平均CPU使用率;Xnm为所述第n个第一服务器中的第m个执行核心的使用率;m为所述第n个第一服务器中执行核心的数量。
10.根据权利要求8所述的装置,其特征在于,所述第一服务器集群对应的时间压力值通过以下方式确定:
其中,Y为所述第一服务器集群对应的时间压力值;T为接收到所述数据处理请求的时间;Th为所述预设的数据处理的高峰时间段的起始时间。
CN201811452268.3A 2018-11-30 2018-11-30 一种数据中心的调度方法及装置 Pending CN109347982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811452268.3A CN109347982A (zh) 2018-11-30 2018-11-30 一种数据中心的调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811452268.3A CN109347982A (zh) 2018-11-30 2018-11-30 一种数据中心的调度方法及装置

Publications (1)

Publication Number Publication Date
CN109347982A true CN109347982A (zh) 2019-02-15

Family

ID=65319689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811452268.3A Pending CN109347982A (zh) 2018-11-30 2018-11-30 一种数据中心的调度方法及装置

Country Status (1)

Country Link
CN (1) CN109347982A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120979A (zh) * 2019-05-20 2019-08-13 华为技术有限公司 一种调度方法、装置及相关设备
CN110138732A (zh) * 2019-04-03 2019-08-16 平安科技(深圳)有限公司 访问请求的响应方法、装置、设备及存储介质
CN110433487A (zh) * 2019-08-08 2019-11-12 腾讯科技(深圳)有限公司 一种业务资源分配的方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
US20140029429A1 (en) * 2004-02-18 2014-01-30 Fortinet, Inc. Adaptive load balancing
CN105491150A (zh) * 2015-12-28 2016-04-13 中国民航信息网络股份有限公司 基于时间序列的负载均衡处理方法及系统
CN106230997A (zh) * 2016-09-30 2016-12-14 腾讯科技(北京)有限公司 一种资源调度方法和装置
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质
CN107302580A (zh) * 2017-06-30 2017-10-27 北京金山安全软件有限公司 负载均衡方法、装置、负载均衡器及存储介质
CN107800756A (zh) * 2017-03-13 2018-03-13 平安科技(深圳)有限公司 一种负载均衡方法及负载均衡器
CN108282526A (zh) * 2018-01-22 2018-07-13 中国软件与技术服务股份有限公司 双集群间服务器动态分配方法及系统
CN108632394A (zh) * 2018-08-13 2018-10-09 北京奇艺世纪科技有限公司 一种web集群负载均衡调整方法及装置
CN108845869A (zh) * 2018-05-31 2018-11-20 中国平安人寿保险股份有限公司 并发请求控制方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029429A1 (en) * 2004-02-18 2014-01-30 Fortinet, Inc. Adaptive load balancing
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
CN105491150A (zh) * 2015-12-28 2016-04-13 中国民航信息网络股份有限公司 基于时间序列的负载均衡处理方法及系统
CN106230997A (zh) * 2016-09-30 2016-12-14 腾讯科技(北京)有限公司 一种资源调度方法和装置
CN107800756A (zh) * 2017-03-13 2018-03-13 平安科技(深圳)有限公司 一种负载均衡方法及负载均衡器
CN107145393A (zh) * 2017-04-27 2017-09-08 努比亚技术有限公司 一种负载调整方法、设备及计算机可读存储介质
CN107302580A (zh) * 2017-06-30 2017-10-27 北京金山安全软件有限公司 负载均衡方法、装置、负载均衡器及存储介质
CN108282526A (zh) * 2018-01-22 2018-07-13 中国软件与技术服务股份有限公司 双集群间服务器动态分配方法及系统
CN108845869A (zh) * 2018-05-31 2018-11-20 中国平安人寿保险股份有限公司 并发请求控制方法、装置、计算机设备和存储介质
CN108632394A (zh) * 2018-08-13 2018-10-09 北京奇艺世纪科技有限公司 一种web集群负载均衡调整方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王振坤: "基于SLA的多租户数据服务利益最大化问题研究", 《中国优秀硕士论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138732A (zh) * 2019-04-03 2019-08-16 平安科技(深圳)有限公司 访问请求的响应方法、装置、设备及存储介质
CN110138732B (zh) * 2019-04-03 2022-03-29 平安科技(深圳)有限公司 访问请求的响应方法、装置、设备及存储介质
CN110120979A (zh) * 2019-05-20 2019-08-13 华为技术有限公司 一种调度方法、装置及相关设备
WO2020233120A1 (zh) * 2019-05-20 2020-11-26 华为技术有限公司 一种调度方法、装置及相关设备
CN110120979B (zh) * 2019-05-20 2023-03-10 华为云计算技术有限公司 一种调度方法、装置及相关设备
CN110433487A (zh) * 2019-08-08 2019-11-12 腾讯科技(深圳)有限公司 一种业务资源分配的方法及相关装置
CN110433487B (zh) * 2019-08-08 2022-01-28 腾讯科技(深圳)有限公司 一种业务资源分配的方法及相关装置

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法
CN110727512B (zh) 集群资源调度方法、装置、设备及储存介质
CN101346696B (zh) 负荷分散型客户机服务器系统及负荷分散方法
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN106959894B (zh) 资源分配方法和装置
US11206193B2 (en) Method and system for provisioning resources in cloud computing
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN105007337A (zh) 集群系统负载均衡的方法和系统
US20100042723A1 (en) Method and system for managing load in a network
CN106557369A (zh) 一种多线程的管理方法及系统
CN109347982A (zh) 一种数据中心的调度方法及装置
US11838384B2 (en) Intelligent scheduling apparatus and method
CN107291544A (zh) 任务调度的方法及装置、分布式任务执行系统
CN110149377A (zh) 一种视频服务节点资源分配方法、系统、装置及存储介质
CN115033340A (zh) 一种宿主机的选择方法及相关装置
US8819239B2 (en) Distributed resource management systems and methods for resource management thereof
CN113595926B (zh) 基于数据中台的api数据传输方法、装置、设备和介质
US20150109915A1 (en) Network traffic management
CN111176833A (zh) 一种多处理节点的任务分配方法及系统
CN105404554B (zh) 用于Storm流计算框架的方法和装置
CN114116173A (zh) 动态调整任务分配的方法、装置和系统
CN106961490A (zh) 一种资源监控方法及系统、一种本地服务器
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN109842665B (zh) 用于任务分配服务器的任务处理方法和装置
CN104184685A (zh) 数据中心资源分配方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215