CN110381134A - 调度方法、系统、调度器及cdn系统 - Google Patents
调度方法、系统、调度器及cdn系统 Download PDFInfo
- Publication number
- CN110381134A CN110381134A CN201910647971.8A CN201910647971A CN110381134A CN 110381134 A CN110381134 A CN 110381134A CN 201910647971 A CN201910647971 A CN 201910647971A CN 110381134 A CN110381134 A CN 110381134A
- Authority
- CN
- China
- Prior art keywords
- user
- scheduler
- node station
- data
- status data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种调度方法、系统、调度器及CDN系统,在调度器以节点机状态数据进行调度的模式下,统计一个时间周期内的用户调度分布数据;当超过时间T未获取到节点机状态数据时,利用所述用户调度分布数据进行调度。本发明在调度器无法获取节点机状态数据时,利用调度器统计的用户调度分布数据进行调度,有效降低了因无法获取节点机运行状态导致的故障的影响,从而最大程度保障节点机的服务质量,改善用户体验。
Description
技术领域
本发明涉及内容分发网络,特别是一种调度方法、系统、调度器及CDN系统。
背景技术
资源状态收集服务通过网络通知调度器,但网络是不可靠的,如同高速公路会堵车,会发生车祸一样。假如发生网络故障,资源状态数据将无法发送到调度器,或者发送延时,调度器无法第一时间知道节点机的真实运行状态。比如节点机A只能服务1000个用户,目前已有1000个用户,但调度器无法获知上述数据,会导致调度器一直往节点机A上调用户,进而导致整个节点机A上的用户体验变差。再者资源收集服务本身也是不可靠的,如果该服务出现问题也会导致调度器无法获取节点机运行状态。
调度器能否准确调度用户至合适的节点机,与用户的使用体验有着必然的联系。依赖于资源收集服务的调度器,一旦出现网络问题或者资源服务本身出现故障,或者其他任何问题导致节点机状态数据无法通知到调度器,则调度器将处于“盲人”状态。原本只能服务一千个用户的节点机,有可能会调度一万个用户,该节点机可能会在瞬间被大量用户“打死”,出现宕机。即使能够正常服务,也会导致该机器的服务质量变差,对用户而言使用体验极不友好。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种调度方法、系统、调度器及CDN系统,降低调度器因无法获取节点机运行状态导致的故障的影响。
为解决上述技术问题,本发明所采用的技术方案是:一种调度方法,该方法主要实现过程为:
在调度器以节点机状态数据进行调度的模式下,统计一个时间周期内的用户调度分布数据;
当超过时间T未获取到节点机状态数据时,利用所述用户调度分布数据进行调度。
当调度器实时获取到节点机的状态数据时,则利用所述节点机的状态数据进行调度。
本发明所述用户调度分布数据包括:用户所属地域,用户所属运营商,用户所属客户端,用户分配到的节点机。
本发明还提供了一种调度系统,其包括:
节点机房,包括多个节点机;
资源状态收集模块,用于收集所述节点机的状态数据;
调度器,用于在以节点机状态数据进行调度的模式下,统计一个时间周期内的用户调度分布数据,并判断是否获取到资源状态收集模块收集的状态数据,若超过时间T未获取到所述状态数据,则利用所述用户调度分布数据进行调度。
本发明所述调度器还执行如下操作:当实时获取到节点机的状态数据时,利用所述节点机的状态数据进行调度。
相应地,本发明的调度器包括:
统计模块,用于在节点机状态数据调度模式下,统计一个时间周期内的用户调度分布数据;
处理模块,用于在未获取到节点机状态数据时,利用所述用户调度分布数据进行调度。
本发明的调度器还包括转换单元,用于在实时获取到节点机的状态数据时,利用所述节点机的状态数据进行调度。
作为一个发明构思,本发明还提供了一种CDN系统,包括客户端;所述客户端与上述调度器耦合。
本发明所述耦合,是指客户端与调度器通信。
与现有技术相比,本发明所具有的有益效果为:本发明在调度器无法获取节点机状态数据时,利用调度器统计的用户调度分布数据进行调度,有效降低了因无法获取节点机运行状态导致的故障的影响,从而最大程度保障节点机的服务质量,改善用户体验。
附图说明
图1为本发明原理框图。
具体实施方式
本发明中,调度器持续统计最近一个时间周期内用户调度分布数据。当调度器因为各种原因,无法获取节点机状态数据时,及时切断对资源收集服务的依赖,改为对上述用户调度分布数据的依赖。
本发明具体实现过程为:
1、当系统处于健康状态(健康状态是指能正常获取节点机状态数据,此状态下,调度器利用节点机状态数据进行调度,即处于节点机状态数据调度模式下)时,对每一次用户的调度请求,以及分配的资源地址进行统计。统计维度包括但不限于:用户所属地域,用户所属运营商,用户所属客户端(电脑、手机、电视等),用户分配到的节点机等。将该统计数据定义为用户调度分布数据。
2、假设我们认为在1分钟周期内,用户调度分布数据,以及节点机状态数据相对处于一个较为平稳的状态(平稳的状态即健康的状态,在该状态下,当前时间周期内节点机状态数据与上一时间周期内节点机状态数据相比,波动较小),则我们将上述统计周期限定在1分钟,即调度器只会统计当前1分钟内的用户调度分布数据,具体时间周期可以视实际情况而定,也可以动态调整时间周期。
3、当系统出现故障,节点机状态数据无法通知到调度器,调度器超过时间T(根据真实线上统计数据,以1万QPS(每秒请求用户数)计算,极端情况下,单台节点机1秒钟约调度400个用户。单台节点机服务能力约1000-5000用户不等,具体视节点机配置确定,因此理论上2.5秒~12.5秒即可将一台节点机打满用户(节点机可以服务的用户数达到上限)。但调度器核心逻辑乃至整个CDN系统设计,是按节点状态数据进行调度,如果过快切换到按用户调度分布数据调度的话,对全局会造成一定影响,所以本发明综合考虑将T设置为12秒钟,当然,该时间也可以根据实际使用需要动态调整)未获取到节点机状态数据时,主动切断对资源状态收集服务的依赖,改为对上述用户调度分布数据的依赖,即调度器转为利用用户调度分布数据进行调度(利用用户调度分布数据调度用户至合适的节点机)。
4、当系统恢复正常,节点机状态数据能够通知到调度器,调度器重新恢复对资源状态收集服务的依赖,即调度器恢复利用节点机状态数据进行调度(利用节点机状态数据调度用户至合适的节点机)。
本发明中,调度器主要利用节点状态数据进行调度,用户调度分布数据是建立在节点机状态数据调度模式下的统计数据,即,用户调度数据是由节点机状态数据决定的。
实际应用中,资源状态收集服务可能部署在北京云谷机房,调度器在包括云谷,阿里云,以及全国各个省份都有部署。调度器严重依赖于资源状态收集服务,如无法获取实时的资源状态数据,对全局调度结果影响非常大。但资源收集服务本身,以及其所部署的机房,并不是100%可靠的。以云谷机房为例,每年都会出现不同程度的网络异常问题,时间长度从几分钟到几十分钟不等。一旦出现网络问题,则意味着调度器可能无法获取资源状态数据。利用本发明的方案,当出现网络异常,调度器超过时间T未获取到节点机状态数据时,其可以利用其统计的用户调度分布数据进行调度,从而有效缓解了网络异常造成的影响。
Claims (9)
1.一种调度方法,其特征在于,该方法主要实现过程为:
在调度器以节点机状态数据进行调度的模式下,统计一个时间周期内的用户调度分布数据;
当超过时间T未获取到节点机状态数据时,利用所述用户调度分布数据进行调度。
2.根据权利要求1所述的调度方法,其特征在于,当调度器实时获取到节点机的状态数据时,则利用所述节点机的状态数据进行调度。
3.根据权利要求1所述的调度方法,其特征在于,所述用户调度分布数据包括:用户所属地域,用户所属运营商,用户所属客户端,用户分配到的节点机。
4.根据权利要求1所述的调度方法,其特征在于,T=12s。
5.一种调度系统,其特征在于,包括:
节点机房,包括多个节点机;
资源状态收集模块,用于收集所述节点机的状态数据;
调度器,用于在以节点机状态数据进行调度的模式下,统计一个时间周期内的用户调度分布数据,并判断是否获取到资源状态收集模块收集的状态数据,若超过时间T未获取到所述状态数据,则利用所述用户调度分布数据进行调度。
6.根据权利要求5所述的调度系统,其特征在于,所述调度器还执行如下操作:当实时获取到节点机的状态数据时,利用所述节点机的状态数据进行调度。
7.一种调度器,其特征在于,包括:
统计模块,用于在节点机状态数据调度模式下,统计一个时间周期内的用户调度分布数据;
处理模块,用于在未获取到节点机状态数据时,利用所述用户调度分布数据进行调度。
8.根据权利要求7所述的调度器,其特征在于,还包括转换单元,用于在实时获取到节点机的状态数据时,利用所述节点机的状态数据进行调度。
9.一种CDN系统,包括客户端;其特征在于,所述客户端与权利要求7或8所述的调度器耦合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910647971.8A CN110381134B (zh) | 2019-07-18 | 2019-07-18 | 调度方法、系统、调度器及cdn系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910647971.8A CN110381134B (zh) | 2019-07-18 | 2019-07-18 | 调度方法、系统、调度器及cdn系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110381134A true CN110381134A (zh) | 2019-10-25 |
CN110381134B CN110381134B (zh) | 2022-05-17 |
Family
ID=68253699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910647971.8A Active CN110381134B (zh) | 2019-07-18 | 2019-07-18 | 调度方法、系统、调度器及cdn系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110381134B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111556167A (zh) * | 2020-05-19 | 2020-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 视频cdn节点即时扩容方法、扩容虚拟机房及cnd系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103546509A (zh) * | 2012-07-13 | 2014-01-29 | 云联(北京)信息技术有限公司 | 一种节约资源的云服务系统及资源节约方法 |
CN103561049A (zh) * | 2013-09-05 | 2014-02-05 | 乐视网信息技术(北京)股份有限公司 | 一种处理终端调度请求的方法、系统及装置 |
CN104253850A (zh) * | 2014-01-07 | 2014-12-31 | 深圳市华傲数据技术有限公司 | 一种任务分布式调度方法和系统 |
CN105959405A (zh) * | 2016-06-24 | 2016-09-21 | 北京兰云科技有限公司 | Cdn视频调度系统、方法以及cdn调度服务器和客户端 |
CN107025136A (zh) * | 2016-01-29 | 2017-08-08 | 中兴通讯股份有限公司 | 一种去中心化资源调度方法及系统 |
CN107613030A (zh) * | 2017-11-06 | 2018-01-19 | 网宿科技股份有限公司 | 一种处理业务请求的方法和系统 |
CN107911722A (zh) * | 2017-10-31 | 2018-04-13 | 链家网(北京)科技有限公司 | 一种内容分发网络调度方法及装置 |
US20180288141A1 (en) * | 2014-11-11 | 2018-10-04 | Wangsu Science & Technology Co., Ltd. | Http scheduling system and method of content delivery network |
-
2019
- 2019-07-18 CN CN201910647971.8A patent/CN110381134B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103546509A (zh) * | 2012-07-13 | 2014-01-29 | 云联(北京)信息技术有限公司 | 一种节约资源的云服务系统及资源节约方法 |
CN103561049A (zh) * | 2013-09-05 | 2014-02-05 | 乐视网信息技术(北京)股份有限公司 | 一种处理终端调度请求的方法、系统及装置 |
CN104253850A (zh) * | 2014-01-07 | 2014-12-31 | 深圳市华傲数据技术有限公司 | 一种任务分布式调度方法和系统 |
US20180288141A1 (en) * | 2014-11-11 | 2018-10-04 | Wangsu Science & Technology Co., Ltd. | Http scheduling system and method of content delivery network |
CN107025136A (zh) * | 2016-01-29 | 2017-08-08 | 中兴通讯股份有限公司 | 一种去中心化资源调度方法及系统 |
CN105959405A (zh) * | 2016-06-24 | 2016-09-21 | 北京兰云科技有限公司 | Cdn视频调度系统、方法以及cdn调度服务器和客户端 |
CN107911722A (zh) * | 2017-10-31 | 2018-04-13 | 链家网(北京)科技有限公司 | 一种内容分发网络调度方法及装置 |
CN107613030A (zh) * | 2017-11-06 | 2018-01-19 | 网宿科技股份有限公司 | 一种处理业务请求的方法和系统 |
Non-Patent Citations (1)
Title |
---|
曹江辉等: "视频服务云平台的设计和开发", 《中国有线电视》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111556167A (zh) * | 2020-05-19 | 2020-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 视频cdn节点即时扩容方法、扩容虚拟机房及cnd系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110381134B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101910537B1 (ko) | 서비스 처리 방법, 시스템 및 장치 | |
US10295368B2 (en) | Data collection method, apparatus, and system | |
US20150382132A1 (en) | Method and Device for Monitoring | |
CN104126285A (zh) | 用于在云网络中进行快速灾难恢复准备的方法和设备 | |
CN104243623B (zh) | 乘客信息系统与ats系统间接口的数据处理方法 | |
CN106161485B (zh) | 一种基础服务集群的资源调度方法、装置和系统 | |
CN102984184B (zh) | 一种分布式系统的服务负载均衡方法及装置 | |
CN111131082A (zh) | 一种充电设施数据传输动态控制方法及系统 | |
CN107205030A (zh) | 服务器资源调度方法及系统 | |
CN104580018B (zh) | 一种软件定义网络中带宽调整方法和装置 | |
CN112491719A (zh) | 网络节点的选择方法、设备及存储介质 | |
CN104063560B (zh) | 基于云计算平台的调度系统及调度方法 | |
EP1179914A3 (en) | System, method and record medium for packet transmission capable of reducing delay due to resource assignment | |
CN109167831A (zh) | 多站点用户行为信息同步方法及系统 | |
CN110381134A (zh) | 调度方法、系统、调度器及cdn系统 | |
CN111182479B (zh) | 信息发送的控制方法及装置 | |
CN109361560A (zh) | 一种集群节点通讯处理方法、系统、存储介质及服务器 | |
CN103957230B (zh) | 一种客户端用户数确定方法、服务器、客户端及系统 | |
CN111092819B (zh) | 一种收发组播业务报文的方法及设备 | |
JP5271737B2 (ja) | データ収集システム,及び伝送制御装置 | |
CN109450672B (zh) | 一种识别带宽需求突发的方法和装置 | |
CN110515782A (zh) | 服务器的测试方法、测试装置及测试系统 | |
CN104104555B (zh) | 监控方法、系统、控制端及执行端 | |
CN112685261B (zh) | 一种基于观察者模式的微服务运行状态监控方法 | |
CN112256461B (zh) | 一种基于多云环境的分布式消息系统及管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |