CN111614717A - 一种文件访问调度方法以及中心服务器 - Google Patents
一种文件访问调度方法以及中心服务器 Download PDFInfo
- Publication number
- CN111614717A CN111614717A CN202010278767.6A CN202010278767A CN111614717A CN 111614717 A CN111614717 A CN 111614717A CN 202010278767 A CN202010278767 A CN 202010278767A CN 111614717 A CN111614717 A CN 111614717A
- Authority
- CN
- China
- Prior art keywords
- cluster
- target
- file
- edge
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种文件访问调度方法以及中心服务器,其中,所述方法包括:接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;如果所述的第一目标集群集合不为空,则在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。本申请提供的技术方案,按照成本最低原则确定符合质量要求的目标集群,降低边缘集群访问目标集群获取目标文件的成本。
Description
技术领域
本发明涉及互联网技术领域,特别涉及一种文件访问调度方法以及中心服务器。
背景技术
随着移动互联网的快速发展,内容分发网络(Content Delivery Network,CDN)因其可以显著避免网络拥塞、缓解源站压力和保证用户访问文件的速度和体验,已被广泛应用于直播、网站加速、游戏视频加速等各种使用场景。
图1示出了基于CDN实现的现有文件分发系统架构示意图,包括边缘集群和父集群。所述的集群是指将多个服务器集中起来一起进行同一类服务,对用户来说相当于一个服务器。
以往,用户需要获取文件时,首先向文件分发系统的边缘集群发送文件获取请求;当边缘集群上没有缓存过用户需要访问的文件,边缘集群需要从文件分发系统内的其它集群上获取文件时,边缘集群直接从规划好的父集群获取对应文件发送给用户,未考虑回父成本。
当源站文件更新频率较高时,用户访问边缘集群拉取文件的命中概率较低,所述边缘集群需要频繁访问父集群,占用较高的父集群带宽。当所述父集群同时负载较高时,可能额外增加父集群带宽计费,也就是使边缘集群回父成本较高;因为,占用父集群的带宽所产生的费用,文件分发系统不能向源站对应的客户收费,只能作为文件分发系统的运营成本。这样,造成了文件分发系统的运营成本变高。
因此,需要提供一种改进的文件访问调度方法。
发明内容
本申请的目的在于提供一种文件访问调度方法及中心服务器,在边缘集群接收到用户的文件访问请求但没有缓存过目标文件,需要从目标集群获取文件时,基于边缘集群和父集群预测带宽及保底带宽,按照成本最低原则确定符合质量要求的目标集群,降低边缘集群访问目标集群获取目标文件的成本。
为实现上述目的,本申请一方面提供一种文件访问调度方法,所述方法应用于中心服务器中,所述的中心服务器与边缘集群和父集群相关联;接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;如果所述的第一目标集群集合不为空,则在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。
为实现上述目的,本申请另一方面还提供一种中心服务器,所述中心服务器包括:请求处理单元,接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;第二目标集群集合确定单元,用于如果所述的第一目标集群集合不为空,在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;目标集群确定单元,用于在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。
为实现上述目的,本申请另一方面还提供一种中心服务器,所述中心服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的文件访问调度方法。
由上可见,本申请提供的技术方案,在边缘集群接收到用户的文件访问请求但没有缓存过目标文件,需要从目标集群获取文件时,基于边缘集群和父集群预测带宽及保底带宽,按照成本最低原则确定符合质量要求的目标集群,降低边缘集群访问目标集群获取目标文件的成本,并最终降低文件分发系统的运营成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的文件分发系统架构示意图;
图2是本发明实施方式中文件分发系统架构示意图;
图3是本发明实施方式中文件访问调度方法的步骤示意图;
图4是本发明实施方式中中心服务器的功能模块示意图;
图5是本发明实施方式中中心服务器的结构示意图;
图6是本发明实施方式中计算机终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本申请提供一种文件访问调度方法,该方法可以应用于如图2所示系统的中心服务器中。方法的执行由中心服务器、边缘集群和父集群参与。其中,边缘集群由缓存服务器组成,用于直接响应用户的文件访问请求,缓存用户需求的文件。父集群也由缓存服务器组成,用于从源站获取文件,并缓存用户需求的文件。所述中心服务器与边缘集群和父集群相关联,边缘集群和父集群向中心服务器上报文件池信息、性能指标、访问日志、保底带宽和超保底带宽单价系数信息;在边缘集群上没有缓存过用户所需文件,需要从缓存有用户需要文件的边缘集群或父集群获取文件时,中心服务器响应边缘集群的调度请求,确定所述边缘集群的目标集群,所述的目标集群是缓存有用户所需文件,并且符合质量要求和成本要求的边缘集群或父集群。所述客户端可以是用户使用的终端设备,例如电脑、手机等装有计算机软件的硬件设备。
用户需要访问目标文件时,所述用户的访问请求通过客户端就近被转发至边缘集群,用户从该边缘集群获取所述的目标文件。具体地,用户通过客户端向边缘集群发起目标文件访问请求,如果边缘集群缓存上有缓存过用户所需目标文件时,则边缘集群直接将所述文件发送给客户端;如果边缘集群上没有缓存过用户所需目标文件时,边缘集群需要从缓存过所述目标文件的边缘集群或父集群获取所述目标文件,并将获取的目标文件发送给所述客户端。
在本实施方式中,如果边缘集群上没有缓存过用户所需目标文件时,边缘集群向中心集群发送所述目标文件的访问调度请求,中心集群响应于边缘集群的所述调度请求,从缓存过所述目标文件的边缘集群或父集群中确定符合质量要求和成本要求的目标集群,并将确定的目标集群信息发送给所述的边缘集群。这样,边缘集群从目标集群获取文件,发送给用户客户端,响应用户的文件访问请求。
本申请一个实施方式中提供的文件访问请求处理方法,执行主体可以是上述中心服务器。请参阅图2和图3,该方法可以包括以下步骤。
S1:接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;
在本实施方式中,客户端向边缘集群发送文件访问请求,该文件访问请求可以是一个URL(Uniform Resource Locator,统一资源定位符)。在该文件访问请求中,可以携带目标文件的文件标识。例如,在一个应用示例中,该文件获取请求可以是https://test.com.cn/a.doc,其中,test.com.cn表示源站对应的客户的域名标识,a.doc是该目标文件的文件标识。
在本实施方式中,边缘集群接收到该文件访问请求后,可以按照预先配置的调度策略来处理该文件获取请求。例如,边缘集群可以通过一致性哈希算法,计算该文件获取请求的哈希值,并将该哈希值对应的边缘集群中的缓存服务器做为该文件访问请求处理的缓存服务器。当然,边缘集群还可以按照其它的调度策略来处理该文件获取请求。
在本实施方式中,边缘集群通过将文件访问请求调度至边缘集群中的缓存服务器处,可以将所述文件访问请求发送至所述缓存服务器,从而通过该缓存服务器提供所述目标文件。若所述边缘集群中所述缓存服务器无法获取到所述目标文件时,所述边缘集群需要从文件分发系统中的缓存有所述目标文件的边缘集群或父集群处获取所述目标文件时,边缘集群向中心服务器发送文件访问调度请求。
在本实施方式中,所述的边缘集群向中心服务器发送的文件访问调度请求包括目标文件字段,所述的目标文件字段内容可以包含所述客户端向所述边缘集群发送的文件访问请求,例如,目标文件字段内容可以包括上文所述的包含文件标识的URL。这样,中心服务器解析边缘集群发送的文件访问调度请求中的目标文件字段,就可以确定所述调度请求所指向的目标文件。
在本实施方式中,中心服务器在边缘集群和父集群上报的文件池信息中查询所述目标文件,在所述文件池信息中查询所述的目标文件对应的调度集合,将所述的调度集合确定为第一目标集群集合。具体地,文件分发系统中的各边缘集群和父集群,可以按照指定的时间周期向中心服务器上报自身的文件池信息,该文件池信息可以是所述边缘集群、父集群中当前存储的各项文件的文件列表。这样,中心服务器根据各个边缘集群和父集群上报的资源池信息,可以汇总并分析得到文件访问调度信息。例如,对于具备相同文件的集群,中心服务器可以将这些集群的集群标识共同存放于同一个调度集合中。这样,中心服务器在接收边缘集群发送的文件访问调度请求后,就可以在文件访问调度信息内查询所述目标文件对应的调度集合,将所述的调度集合确定为第一目标集群集合。所述的中心服务器周期性获取文件池信息,因此,所述文件访问调度信息也是随各边缘集群和父集群上报的文件池信息周期性更新的,可以即时的表征文件分发系统内边缘集群和父集群的文件缓存情况,这样,中心服务器在接收边缘集群发送的文件访问调度请求后,就可以根据即时的内边缘集群和父集群的文件缓存情况确定第一目标集群集合,可以提高对边缘集群文件访问调度请求响应的准确性。
在一个实际应用场景中,中心服务器调度集合中的集群标识可以用集群的IP地址表示,这样,调度请求所指向的目标文件的第一目标集群集合可以表示为集合中各集群的IP地址列表。
S3:如果所述的第一目标集群集合不为空,则在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;
在本实施方式中,中心服务器内存储质量要求映射表,所述的质量要求映射表用来表示客户域名标识与其质量承诺的映射关系。所述的质量承诺可以包括CPU使用率和IO使用率保证指标。所述的质量要求映射表可以理解为,例如:用于对域名标识为test.com.cn客户进行文件访问分发的边缘集群和父集群的CPU使用率应满足小于等于50%、IO使用率应满足小于等于50%。
在本实施方式中,根据上文所述,边缘集群向中心服务器发送的文件访问调度请求包括目标文件字段,而且目标字段中可以包含客户域名标识,这样,中心服务器解析所述的目标文件字段,就可以确定文件访问调度请求所指向源站客户的客户域名标识。
在本实施方式中,如果所述的第一目标集群集合不为空,中心服务器根据各边缘集群和父集群上报的性能信息,将性能指标优于质量承诺的集群确定为符合质量要求的集群。具体地,文件分发系统中的各边缘集群和父集群,可以按照指定的时间周期向中心服务器上报自身的性能指标,所述的性能指标可以包含CPU使用率和IO使用率。中心服务器基于所述的客户域名标识,查询质量要求映射表,确定所述客户域名标识对应的质量承诺。然后,中心服务器将第一目标集群集合内各集群上报性能指标与所述的质量承诺的比较,将性能指标优于质量承诺的集群确定为满足质量要求的集群。例如第一目标集群集合内边缘集群A上报的CPU使用率为20%,IO使用率为20%,对应域名标识为test.com.cn客户的质量承诺为CPU使用率小于等于50%、IO使用率小于等于50%,则边缘集群A为满足质量要求的集群。第一目标集群内所有满足质量要求的集群组成第二目标集群集合。需要说明的是,所述的质量承诺还可以包括除CPU使用率和IO使用率指标外的表示质量的其它指标。所述的中心服务器周期性即时获取边缘集群和父集群上报的性能指标,这样,中心服务器在接收边缘集群发送的文件访问调度请求后,就可以根据即时边缘集群和父集群的性能指标确定第二目标集群集合,可以提高对边缘集群文件访问调度请求响应的准确性。
S5:在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件;
在本实施方式中,边缘集群和父集群内存储用户访问日志,所述的用户访问日志包含访问时间、域名、访问字节数大小、响应时间等字段。通过访问日志中访问字节数大小字段记录的字节数,统计计算就可以得到应用层流量数据。并且,因TCP/IP包头以及TCP重传消耗流量无法被应用层统计,在实际网络传输中,用户访问产生的计费流量要比纯应用层流量多,需在应用层流量的基础上加上上述开销,所以,通常计费流量为日志计算流量110%。根据当前一段时间内的计费流量进而可以得到当前带宽。这样,基于用户访问日志进行流量统计,就可以得到边缘集群和父集群的当前带宽。
在本实施方式中,中心服务器根据边缘集群和父集群上报的访问日志确定边缘集群和父集群的当前带宽。具体地,边缘集群和父集群可以按照指定的时间周期向中心服务器上报自身的用户访问日志,中心服务器根据各集群的访问日志,确定各集群的当前带宽。
在本实施方式中,中心服务器基于边缘集群和父集群的当前带宽,通过机器学习方法,确定边缘集群和父集群各自的预测带宽。所述的预测带宽是根据各集群历史带宽数据和当前带宽数据拟合出一个带宽预测公式预测得到的各集群后续的带宽数据,预测带宽可以准确表征各集群的带宽使用变化趋势。这样,可以依据预测的带宽数据准确确定各集群后续集群可调出带宽。中心服务器根据获取的各集群最新当前带宽和以往获取的历史带宽数据,可以通过机器学习方法,例如线性回归方法,得到带宽预测公式,并进而获得预测带宽。例如,集群C日志信息上报也就是确定当前带宽周期为10分钟时,历史带宽数据可以是保存的当前时间前统计时长为31天的带宽信息数据,以当前带宽数据统计时长为10分钟为例,假设当前时刻为5月1日10:00,则4月1日10:00至5月1日10:00的历史带宽数据,以及5月1日09:40至10:00的最新带宽数据。采用线性回归的方法,确定集群C带宽预测模型Y=aX+b的参数a和b后,可以得到集群C在5月1日10:00-10:10分的预测带宽。
在本实施方式中,中心服务器将第二目标集群集合中边缘集群和父集群各自的预测带宽和各自上报的保底带宽比较,基于比较结果按照成本最低原则确定目标集群。具体地,边缘集群和父集群可以按照指定的时间周期向中心服务器上报自身的保底带宽和超保底带宽单价系数信息。所述的保底带宽,就是集群使用带宽未超过保底带宽时,均按照保底带宽计费为保底费用;集群使用带宽超过保底带宽后,将产生保底费用外的额外费用,所述的额外费用值为使用带宽超过保底带宽的带宽部分与超保底带宽单价系数的乘积。例如,保底带宽为100Mbps,对应费用为100元/每月,超保底带宽单价系数为1.2元/Mbps时,实际使用带宽为60Mbps、80Mbps时,产生的费用均为100元/每月;实际使用带宽为120Mbps,超过保底带宽的20Mbps将产生100元/每月基础上额外的费用为24元。
在本实施方式中,中心服务器依次将第二目标集群集合内各集群各自的预测带宽和保底带宽进行比较,将第二目标集群集合内,预测带宽低于保底带宽的边缘集群和父集群中,预测带宽和保底带宽差额最大的集群也就是可调出带宽最大的集群确定为目标集群,这样,当边缘集群访问目标集群需要消耗带宽时,可以充分使用目标集群可调出带宽,使所产生的成本最低,甚至,可调出带宽足以满足边缘集群访问目标集群消耗带宽时,将使边缘集群访问目标集群不产生既有所述目标集群保底费用外的额外费用;如果第二目标集群集合内各集群的预测带宽均大于等于保底带宽时,将超保底带宽单价系数最低的集群,确定为目标集群,在这种情况下,第二目标集群集合内各集群均没有可调出带宽,边缘集群访问目标集群消耗带宽必然产生既有保底费用外的额外费用,但是将超保底带宽单价系数最低的集群确定为目标集群时,能使产生的额外费用最低,也就是使所述的边缘集群访问目标集群所产生的费用最低。
在本实施方式中,所述的中心服务器周期性即时获取边缘集群和父集群上报的访问日志、保底带宽和超保底带宽单价系数信息,这样,就可以根据周期性即时的确定边缘集群和父集群的预测带宽。这样,中心服务器在接收到边缘集群的文件访问调度请求后,就可以即时的确定目标集群,可以提高对边缘集群文件访问调度请求响应的准确性。
在本实施方式中,中心服务器确定目标集群后,可以从前文所述的IP地址列表中确定目标集群IP地址,并将IP地址信息发送给发出文件调度请求的边缘集群。这样,所述的边缘集群从所述的目标集群获取目标文件后,便可以将目标文件发送给用户客户端,实现用户文件访问请求响应。
在一个实施方式中,如果所述的第一目标集群集合为空,中心服务器在关联关系表查找所述发出文件访问调度请求的边缘集群关联的父集群,并将所述的父集群信息发送给所述的边缘集群。所述的关联关系表用于表征边缘集群和父集群间既定的关联关系,存储于中心服务器中。如果所述的第一目标集群集合为空,即文件分发系统内的边缘集群和父进群均没有缓存所述的目标文件,在实际应用中,比如,用户首次向所述的文件分发系统发送文件访问请求,文件分发系统内边缘集群和父进群可能均没有缓存所述的目标文件。这时,中心服务器查找所述的关联关系表,确定关联关系表中与所述的发出文件访问调度请求的边缘集群关联的父集群,并将所述的父集群信息,例如IP地址,发送给所述的边缘集群。这样,所述的边缘集群向所述的父集群发送文件访问请求,所述的父集群从源站拉取目标文件,并将拉取的目标文件发送给边缘集群,边缘集群再将目标文件回送给用户客户端,实现用户文件访问请求的响应。
请参阅图4,本申请还提供一种中心服务器,所述中心服务器包括:
请求处理单元,接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合。
第二目标集群集合确定单元,用于如果所述的第一目标集群集合不为空,在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合。
目标集群确定单元,用于在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。
在一个实施方式中,所述的系统还包括:
父集群确定单元,用于如果所述的第一目标集群集合为空,则向所述边缘集群的父集群发送所述目标文件的获取请求,以使所述父集群对外获取所述目标文件。
在一个实施方式中,所述的请求处理单元包括:
第一目标集群集合确定模块,用于在边缘集群和父集群上报的文件池信息中查询所述目标文件,在所述文件池信息中查询所述的目标文件对应的调度集合,将所述的调度集合确定为第一目标集群集合。
在一个实施方式中,所述目标集群确定单元包括:
当前带宽确定模块,用于根据边缘集群和父集群上报的访问日志确定边缘集群和父集群的当前带宽。
预测带宽确定模块,基于边缘集群和父集群的当前带宽,通过机器学习方法,确定边缘集群和父集群各自的预测带宽。
比较模块,将第二目标集群集合中边缘集群和父集群各自的预测带宽和各自上报的保底带宽比较,基于比较结果按照成本最低原则确定目标集群。
发送模块,将所述的目标集群信息发送给发出文件访问调度请求的边缘集群。
请参阅图5,本申请还提供一种中心服务器,所述中心服务器包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的文件访问调度方法。
请参阅图6,在本申请中,上述实施例中的技术方案均可以应用于如图6所示的计算机终端10上。计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
由上可见,本申请提供的技术方案,在边缘集群接收到用户的文件访问请求但没有缓存过目标文件,需要从目标集群获取文件时,基于边缘集群和父集群预测带宽及保底带宽,按照成本最低原则确定符合质量要求的目标集群,降低边缘集群访问目标集群获取目标文件的成本,并最终降低文件分发系统的运营成本。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,针对系统和服务器的实施方式来说,均可以参照前述方法的实施方式的介绍对照解释。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种文件访问调度方法,其特征在于,所述方法应用于中心服务器中,所述的中心服务器与边缘集群和父集群相关联;所述方法包括:
接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;
如果所述的第一目标集群集合不为空,则在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;
在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。
2.根据权利要求1所述的方法,其特征在于,如果所述的第一目标集群集合为空,则向所述边缘集群的父集群发送所述目标文件的获取请求,以使所述父集群对外获取所述目标文件。
3.根据权利要求1所述的方法,其特征在于,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合包括:
解析边缘集群发送的文件访问调度请求中的目标文件字段,确定所述调度请求所指向的目标文件;
在边缘集群和父集群上报的文件池信息中查询所述目标文件,在所述文件池信息中查询所述的目标文件对应的调度集合,将所述的调度集合确定为第一目标集群集合。
4.根据权利要求1所述的方法,其特征在于,如果所述的第一目标集群集合不为空,在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合,包括:
解析边缘集群发送的文件访问调度请求中的目标文件字段,确定文件访问调度请求所指向客户的客户域名标识;
查询质量要求映射表,确定所述客户域名标识对应的质量承诺;所述的质量要求映射表用来表示客户域名标识与其质量承诺的映射关系;
将第一目标集群集合内各集群上报的性能指标与所述的质量承诺比较,将性能指标优于质量承诺的集群确定为符合质量要求的集群,第一目标集群集合内所有符合质量要求集群的集合组成第二目标集群集合。
5.根据权利要求1或4所述的方法,其特征在于,在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群包括:
根据边缘集群和父集群上报的访问日志确定边缘集群和父集群的当前带宽;
基于边缘集群和父集群的当前带宽,通过机器学习方法,确定边缘集群和父集群各自的预测带宽;
将第二目标集群集合中边缘集群和父集群各自的预测带宽和各自上报的保底带宽比较,基于比较结果按照成本最低原则确定目标集群。
6.根据权利要求5所述的方法,其特征在于,基于比较结果按照成本最低原则确定目标集群包括:
将第二目标集群集合内,预测带宽低于保底带宽的边缘集群和父集群中,预测带宽和保底带宽差额最大的集群确定为目标集群。
7.根据权利要求6所述的方法,其特征在于,基于比较结果按照成本最低原则确定目标集群还包括:
如果第二目标集群集合内各集群的预测带宽均大于等于保底带宽时,将超保底单价系数最低的集群,确定为目标集群。
8.一种中心服务器,其特征在于,所述中心服务器包括:
请求处理单元,接收边缘集群发送的文件访问调度请求,查找所述文件访问调度请求所请求的目标文件的第一目标集群集合,所述的第一目标集群集合是缓存有所述目标文件的边缘集群和父集群的集合;
第二目标集群集合确定单元,用于如果所述的第一目标集群集合不为空,在所述的第一目标集群集合内确定符合质量要求的第二目标集群集合;
目标集群确定单元,用于在第二目标集群集合中查找符合成本要求的集群,将查找结果确定为目标集群,以使所述边缘集群从所述目标集群获取所述目标文件。
9.根据权利要求8所述的系统,其特征在于,所述的系统还包括:
父集群确定单元,用于如果所述的第一目标集群集合为空,向所述边缘集群的父集群发送所述目标文件的获取请求,以使所述父集群对外获取所述目标文件。
10.根据权利要求8或9所述的系统,其特征在于,所述的请求处理单元包括:
第一目标集群集合确定模块,用于在边缘集群和父集群上报的文件池信息中查询所述目标文件,在所述文件池信息中查询所述的目标文件对应的调度集合,将所述的调度集合确定为第一目标集群集合。
11.根据权利要求8所述的系统,其特征在于,所述目标集群确定单元包括:
当前带宽确定模块,用于根据边缘集群和父集群上报的访问日志确定边缘集群和父集群的当前带宽;
预测带宽确定模块,基于边缘集群和父集群的当前带宽,通过机器学习方法,确定边缘集群和父集群各自的预测带宽;
比较模块,将第二目标集群集合中边缘集群和父集群各自的预测带宽和各自上报的保底带宽比较,基于比较结果按照成本最低原则确定目标集群;
发送模块,将所述的目标集群信息发送给发出文件访问调度请求的边缘集群。
12.一种中心服务器,其特征在于,所述中心服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010278767.6A CN111614717A (zh) | 2020-04-10 | 2020-04-10 | 一种文件访问调度方法以及中心服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010278767.6A CN111614717A (zh) | 2020-04-10 | 2020-04-10 | 一种文件访问调度方法以及中心服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111614717A true CN111614717A (zh) | 2020-09-01 |
Family
ID=72199493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010278767.6A Pending CN111614717A (zh) | 2020-04-10 | 2020-04-10 | 一种文件访问调度方法以及中心服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614717A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315836A (zh) * | 2021-05-27 | 2021-08-27 | 北京达佳互联信息技术有限公司 | 文件访问请求的调度方法、装置、电子设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102377748A (zh) * | 2010-08-16 | 2012-03-14 | 中兴通讯股份有限公司 | 内容交付网络及内容交付方法 |
CN102726031A (zh) * | 2011-07-22 | 2012-10-10 | 华为技术有限公司 | 内容处理方法、装置和系统 |
CN103747364A (zh) * | 2013-12-11 | 2014-04-23 | 北京瑞汛世纪科技有限公司 | 一种网络内容下载的方法和装置 |
US10033627B1 (en) * | 2014-12-18 | 2018-07-24 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
CN109819336A (zh) * | 2019-01-31 | 2019-05-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种基于播放缓存大小分片下载的方法及系统 |
CN110213349A (zh) * | 2019-05-17 | 2019-09-06 | 网宿科技股份有限公司 | 一种http调度方法及装置 |
CN110493046A (zh) * | 2018-02-27 | 2019-11-22 | 贵州白山云科技股份有限公司 | 一种cdn网络中节点服务器带宽资源的调度方法和系统 |
-
2020
- 2020-04-10 CN CN202010278767.6A patent/CN111614717A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102377748A (zh) * | 2010-08-16 | 2012-03-14 | 中兴通讯股份有限公司 | 内容交付网络及内容交付方法 |
CN102726031A (zh) * | 2011-07-22 | 2012-10-10 | 华为技术有限公司 | 内容处理方法、装置和系统 |
CN103747364A (zh) * | 2013-12-11 | 2014-04-23 | 北京瑞汛世纪科技有限公司 | 一种网络内容下载的方法和装置 |
US10033627B1 (en) * | 2014-12-18 | 2018-07-24 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
CN110493046A (zh) * | 2018-02-27 | 2019-11-22 | 贵州白山云科技股份有限公司 | 一种cdn网络中节点服务器带宽资源的调度方法和系统 |
CN109819336A (zh) * | 2019-01-31 | 2019-05-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种基于播放缓存大小分片下载的方法及系统 |
CN110213349A (zh) * | 2019-05-17 | 2019-09-06 | 网宿科技股份有限公司 | 一种http调度方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315836A (zh) * | 2021-05-27 | 2021-08-27 | 北京达佳互联信息技术有限公司 | 文件访问请求的调度方法、装置、电子设备、存储介质 |
CN113315836B (zh) * | 2021-05-27 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 文件访问请求的调度方法、装置、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11509741B2 (en) | Managing mobile device user subscription and service preferences to predictively pre-fetch content | |
CN107251525B (zh) | 用于支持移动设备用户的预测内容预取服务的分布式服务器架构 | |
US10924577B2 (en) | Fractional pre-delivery of content to user devices for uninterrupted playback | |
US10021208B2 (en) | Dynamic cache allocation and network management | |
US9906595B2 (en) | Content source discovery | |
CN108881445B (zh) | 一种雾计算中基于古诺博弈的协作缓存方法 | |
US20120054295A1 (en) | Method and apparatus for providing or acquiring the contents of a network resource for a mobile device | |
US10715592B2 (en) | Network node, endpoint node and method of receiving an interest message | |
WO2012078643A2 (en) | Resource profile adjustment for pre-fetching of assets to user equipment | |
CN111263409A (zh) | 提供网络功能服务的元数据信息的方法、系统以及相关设备 | |
US9769279B2 (en) | Controlling the pre-delivery of content to a mobile device | |
CN111614717A (zh) | 一种文件访问调度方法以及中心服务器 | |
CN113810461B (zh) | 带宽控制方法、装置、设备及可读存储介质 | |
CN112019451A (zh) | 带宽分配方法、调试网元、本地缓存服务器及计算设备 | |
CN112131198B (zh) | 一种日志分析方法、装置及电子设备 | |
CN115333917A (zh) | 一种cdn异常检测方法及装置 | |
CN118041997A (zh) | 一种cdn缓存节点的集群调度方法及系统 | |
CN114185942A (zh) | 数据处理方法及相关装置 | |
CN113742555A (zh) | 热点侦测方法、装置、侦测服务器、热点侦测系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |