CN105306553A - 访问请求调度方法及装置 - Google Patents
访问请求调度方法及装置 Download PDFInfo
- Publication number
- CN105306553A CN105306553A CN201510642348.5A CN201510642348A CN105306553A CN 105306553 A CN105306553 A CN 105306553A CN 201510642348 A CN201510642348 A CN 201510642348A CN 105306553 A CN105306553 A CN 105306553A
- Authority
- CN
- China
- Prior art keywords
- idc
- access request
- computation model
- user
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种访问请求调度方法及装置,每个时间周期内均训练与各个IDC对应的计算模型,在当前时间周期内,对每个用户的IDC访问请求,提取特征值组,并从提取的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的表征该IDC响应所述IDC访问请求时,该IDC的服务质量的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。可见,本发明实施例提供的访问请求调度方法及装置,用于访问请求调度的计算模型是周期性变化的,而且,是根据实际的访问情况训练得到,因此,本发明实施例提供的访问请求调度方法能够自适应实时变化的网络,从而使IDC稳定地提供较高的服务质量。
Description
技术领域
本发明涉及互联网技术领域,更具体的说,是涉及一种访问请求调度方法及装置。
背景技术
通常,提供视频服务的网站会把视频内容存储在分布于不同地方的互联网数据中心IDC(InternetDataCenter)。不同地方的用户的访问请求,按照一定的规则,发送到不同的IDC进行响应,这种规则就是访问请求调度。
访问请求调度的好坏直接影响用户的访问质量。比如,每个IDC的带宽上限都是一定的,若这个IDC的访问流量高于该IDC能提供的服务能力,就会造成用户拥堵,服务质量会下降。如果把超出服务上限的这部分用户的访问请求分流到其它空闲的IDC,服务质量就好好转。又比如,每个IDC和用户之间的物理距离也是不同的,如果让一个北京的用户访问海南的IDC,和访问天津的IDC,服务质量肯定会有所差异,一般是距离越远,物理链路越长,服务延迟越长。
因此,如何对访问请求进行调度以使IDC稳定地提供较高的服务质量成为亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种访问请求调度方法及装置,以使IDC稳定地提供较高的服务质量。
为实现上述目的,本发明提供如下技术方案:
一种访问请求调度方法,包括:
在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与所述IDC访问请求对应的特征值组;
获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到,与所述第一IDC对应的若干特征值组包括:从对所述第一IDC的每次访问对应的访问日志中提取的特征值组;所述第一IDC为可以响应所述IDC访问请求的任意一个IDC;
从与所述IDC访问请求对应的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应所述IDC访问请求时,该IDC的服务质量;
依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
上述方法,优选的,所述特征值组中至少包括:表征用户信息的第一类特征值,所述表征用户信息的第一类特征值至少包括:用户实际下载速度和用户期望下载速度。
上述方法,优选的,所述计算模型由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘;
相应的,依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到与所述第一IDC对应的计算模型包括:
对于与所述第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的目标训练计算模型的输入,计算得到1*m的矩阵;
对于与所述第一IDC对应的每一个特征值组,依据预置的误差函数计算所述目标训练计算模型中各个权值的增量;
对于与所述第一IDC对应的每一个特征值组,依据所述各个权值的增量对所述目标训练计算模型中的各个权值进行修正;
对于与所述第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;所述期望输出的1*m的矩阵依据所述用户实际下载速度和用户期望下载速度的比值确定;
若与所述第一IDC对应的各个特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修正后的计算模型为与所述第一IDC对应的计算模型;
若与所述第一IDC对应的所有特征值组对应的误差的和值大于或等于所述预定精度值,则将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,进行下一次训练。
上述方法,优选的,所述期望输出的1*m的矩阵获取方式为:
预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
上述方法,优选的,所述表征用户信息的第一类特征值还包括:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。
上述方法,优选的,所述特征值组中还包括:
表征IDC信息的第二类特征值,至少包括:所述IDC访问请求可以访问的IDC平均输出带宽,和/或,所述IDC访问请求可以访问的IDC剩余带宽。
一种访问请求调度装置,包括:
第一获取模块,用于在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与所述IDC访问请求对应的特征值组;
第二获取模块,用于获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型由训练模块依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到,与所述第一IDC对应的若干特征值组包括:从对所述第一IDC的每次访问对应的访问日志中提取的特征值组;所述第一IDC为可以响应所述IDC访问请求的任意一个IDC;
计算模块,用于从与所述IDC访问请求对应的特征值组中提取若干个特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应所述IDC访问请求时,该IDC的服务质量;
调度模块,用于依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
上述装置,优选的,所述特征值组中至少包括:表征用户信息的第一类特征值,所述表征用户信息的第一类特征值至少包括:用户实际下载速度和用户期望下载速度。
上述装置,优选的,所述计算模型由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘;
相应的,所述训练模块包括:
第一计算单元,用于对于与所述第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的目标训练计算模型的输入,计算得到1*m的矩阵;
第二计算单元,用于对于与所述第一IDC对应的每一个特征值组,依据预置的误差函数计算所述目标训练计算模型中各个权值的增量;
修正单元,用于对于与所述第一IDC对应的每一个特征值组,依据所述各个权值的增量对所述目标训练计算模型中的各个权值进行修正;
第三计算单元,用于对于与所述第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;所述期望输出的1*m的矩阵由第二确定单元依据所述用户实际下载速度和用户期望下载速度的比值确定;
第一确定单元,用于若与所述第一IDC对应的所有特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修正后的计算模型为与所述第一IDC对应的计算模型;
第二确定单元,用于若与所述第一IDC对应的所有特征值组对应的误差的和值大于或等于所述预定精度值,将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,触发所述第一计算单元进行计算。
上述装置,优选的,所述第三计算单元包括:
划分子单元,用于预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
确定子单元,用于当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
上述装置,优选的,所述表征用户信息的第一类特征值还包括:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。
上述装置,优选的,所述特征值组中还包括:
表征IDC信息的第二类特征值,至少包括:所述IDC访问请求可以访问的IDC平均输出带宽,和/或,所述IDC访问请求可以访问的IDC剩余带宽。
经由上述的技术方案可知,本发明实施例公开的一种访问请求调度方法及装置,每个时间周期内均训练与各个IDC对应的计算模型,在当前时间周期内,对每个用户的IDC访问请求,提取特征值组,并从提取的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的表征该IDC响应所述IDC访问请求时,该IDC的服务质量的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。可见,本发明实施例提供的访问请求调度方法及装置,用于访问请求调度的计算模型是周期性变化的,而且,是根据实际的访问情况训练得到,因此,本发明实施例提供的访问请求调度方法能够自适应实时变化的网络,从而使IDC稳定地提供较高的服务质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的访问请求调度方法的一种实现流程图;
图2为本申请实施例提供的在每一时间周期内,依据与第一IDC对应的若干特征值组训练得到与第一IDC对应的计算模型的一种实现流程图;
图3为本申请实施例提供的访问请求调度装置的一种结构示意图;
图4为本申请实施例提供的训练模块的一种结构示意图;
图5为本申请实施例提供的第三计算单元的一种结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的基本思想是:按时间周期训练与各个IDC对应的计算模型,在每个时间周期内,对于任意一个IDC,该时间周期内每一次对该IDC的实际访问都是对该IDC进行训练的一个样本,通过从样本中提取的特征值训练计算模型。在每个时间周期内,当接收到的访问请求时,利用前一时间周期(即该访问请求所属时间周期的前一时间周期)内的与各个IDC对应的计算模型对该访问请求进行调度。
请参阅图1,图1为本发明实施例提供的访问请求调度方法的一种实现流程图,可以包括:
步骤S11:在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与IDC访问请求对应的特征值组;
与IDC访问请求对应的特征值组可以从IDC访问请求携带的信息中提取。通常,IDC访问请求中携带的信息中可以包括:表征用户信息的第一类特征值。
表征用户信息的第一类特征值至少可以包括:用户的实际下载速度和用户期望的下载速度。
用户的期望下载速度可以由客户端设备根据访问请求所访问的数据类型自适应确定,以保证客户端的所访问的数据在客户端流畅输出。例如,客户端访问的数据是视频与客户端访问的数据是音频数据相比,客户端访问视频时的期望下载速度高于客户端访问访问音频时的期望下载速度。
除了用户的实际下载速度和用户期望的下载速度外,表征用户信息的第一类特征值还可以包括但不限于以下特征值中的任意一种或任意组合:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。其中,用户所在区域和客户端类型可以用于整数编码表示,即不同的用户所在区域用不同的整数表征,不同的客户端类型用不同的整数表征。
步骤S12:获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型依据前一个时间周期内与第一IDC对应的若干特征值组训练得到,与第一IDC对应的若干特征值组包括:从对第一IDC的每次访问对应的访问日志中提取的特征值组;第一IDC为可以响应前述接收到的IDC访问请求的任意一个IDC;
本发明实施例中,用于训练计算模型的特征值组与当前时间周期内获取的与IDC访问请求对应的特征值组包含相同类型的特征值,例如,都由用户的实际下载速度和用户期望的下载速度和用户请求数据大小构成,或者,都由用户的实际下载速度、用户期望的下载速度和用户所在区域构成,或者,都由用户的实际下载速度、用户期望的下载速度、用户请求数据大小和客户端类型构成等。
前一个时间周期内,从对第一IDC的每一次实际访问生成的访问日志中提取若干特征值组作为训练样本对与第一IDC对应的计算模型进行训练。
步骤S13:从与IDC访问请求对应的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应所述IDC访问请求时,该IDC的服务质量;
从与IDC访问请求对应的特征值组中提取若干特征值,将提取的若干特征值输入与每一个IDC对应的计算模型中进行计算,得到与每一个IDC对应的输入结果。换句话说,与每一个IDC对应的计算模型的输入都包括从与IDC访问请求对应的特征值组中提取的若干特征值。
步骤S14:依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
若服务器指令最好的IDC有多个,可以从中随机选择一个IDC响应所述IDC访问请求。
本发明实施例公开的访问请求调度方法,每个时间周期内均训练与各个IDC对应的计算模型,在当前时间周期内,对每个用户的IDC访问请求,提取特征值组,并从提取的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的表征该IDC响应所述IDC访问请求时,该IDC的服务质量的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。可见,本发明实施例提供的访问请求调度方法及装置,用于访问请求调度的计算模型是周期性变化的,而且,是根据实际的访问情况训练得到,因此,本发明实施例提供的访问请求调度方法能够自适应实时变化的网络,从而使IDC稳定地提供较高的服务质量。
可选的,上述计算模型由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘。
该计算模型的输入为从特征值组中提取的n个特征值组成的1*n的矩阵;
本发明实施例中,计算模型可以由一个权值矩阵构成,该权值矩阵为n*m的矩阵。1*n的矩阵输入计算模型后,1*n的矩阵与该权值矩阵相乘,得到1*m的矩阵。
计算模型也可以由至少两个权值矩阵相乘得到,其中,与第i个权值矩阵相乘后的输出由归一化函数进行归一化后与第i+1个权值矩阵相乘。
可选的,在每一时间周期内,依据与第一IDC对应的若干特征值组训练得到与所述第一IDC对应的计算模型的一种实现流程图如图2所示,可以包括:
步骤S21:对于与第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的确定的目标训练计算模型的输入,计算得到1*m的矩阵;
所提取的n个特征可以是特征值组中的全部特征值,也可以是其中的一部分。
每个时间周期内开始训练时,初始化计算模型中的各个权值矩阵,其中,权值矩阵中的各个元素的取值范围为(-1,1)。相应的,
若该特征值组为进行训练的第一个特征值组,则与该特征值组对应的确定的目标训练计算模型为初始化的计算模型;若该特征值组为进行训练的非第一个特征值组,则该特征值组对应的确定的目标训练计算模型为通过上一个样本进行训练后对权值矩阵进行修正后的计算模型。
步骤S22:对于与第一IDC对应的每一个特征值组,依据预置的误差函数计算与该特征值组对应的目标训练计算模型中各个权值的增量;
该增量用于对计算模型中的权值矩阵中的元素(即权值)进行修正。
可选的,可以通过计算预置的误差函数对各个权值方向的偏导数计算各个权值的增量。
步骤S23:对于与第一IDC对应的每一个特征值组,依据各个权值的增量对与该特征值组对应的目标训练计算模型中的各个权值进行修正;
对与该特征值组对应的目标训练计算模型中的各个权值进行修正可以包括:
将与该特征值组对应的目标训练计算模型中的各个元素加上对应的增量,得到修正后的计算模型。
步骤S24:对于与第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;该期望输出的1*m的矩阵依据用户实际下载速度和用户期望下载速度的比值确定;
所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差可以为:
所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的相同位置的元素的差值平方和的一半。
步骤S25:若与第一IDC对应的各个特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修改后的计算模型为与第一IDC对应的计算模型;
与第一IDC对应的各个特征值组中,每个特征值组均对应一个误差,将与第一IDC对应所有特征值组对应的所有误差求和,将和值与预定精度进行比较。
若与所述第一IDC对应的各个特征值组对应的误差的和值小于预定精度值,则停止训练。
步骤S26:若与第一IDC对应的所有特征值组对应的误差的和值大于或等于预定精度值,则将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,进行下一次训练。
也就是说。若样本空间中的所有样本都计算完一次后,与第一IDC对应的所有特征值组对应的误差的和值大于或等于预定精度值,则通过样本空间中的所有样本对计算模型进行下一轮训练。进行下一轮训练时,初始计算模型为通过上一轮训练得到的修正后的计算模型。
可选的,期望输出的1*m的矩阵获取方式可以为:
预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
例如,预先将1到无穷大之间划分为m=5个子区间,分别为:
若用户实际下载速度和用户期望下载速度的比值为0.85,则期望输出的1*m的矩阵为:[0,0,0,1,0]。
基于上述方法可知,当计算模型的输出为[0,0,0,0,1]时,说明IDC的服务质量最好,当计算模型的输出为[0,0,0,1,0]时,IDC的服务质量相较于计算模型的输出为[0,0,0,0,1]时的服务质量较差,当计算模型的输出为[0,0,1,0,0]时,IDC的服务质量相较于计算模型的输出为[0,0,0,1,0]时的服务质量较差,依此类推,计算模型的输出为[1,0,0,0,0]时,IDC的服务质量最差。
可选的,从所获取的取特征值组中还可以包括:
表征IDC信息的第二类特征值,如IDC访问请求可以访问的IDC的平均输出带宽,和/或,IDC访问请求可以访问的IDC的剩余带宽等等。
通常IDC访问请求的调度由调度器完成,调度器可以知道每一个IDC的平均输出带宽和剩余带宽等信息。
下面以计算模型由两个矩阵构成为例对本申请的一种具体实现方式进行说明。
假设:
前一个时间周期内,第一IDC对p个访问请求进行响应,相应的样本集合为Y={y1,y2,...,yp};
从每个样本中提取n=6个特征值组成与该样本对应的1*6的矩阵Iq=[iq1,iq2,iq3,iq4,iq5,iq6],即计算模型的一个输入矩阵,q=1,2,……,p。
预先将1到无穷大之间划分为m=5个子区间,分别为:
相应的,与每个特征值组对应的期望输出为1*5的矩阵Oq=[oq1,oq2,oq3,oq4,oq5];
计算模型中,归一化函数为:
第一权值矩阵为w1,维数为6*12;
第二权值矩阵为w2,维数为12*5;
输入矩阵输入计算模型后,与第一权重矩阵w1相乘,计算结果中的各个元素通过归一化函数归一化,归一化后的矩阵与第二权值矩阵w2相乘,得到1*5的矩阵,1*5的矩阵中各个元素通过归一化函数归一化后得到计算模型的输出矩阵OOq=[ooq1,ooq2,ooq3,ooq4,ooq5];
误差函数为q表示第q个特征值组;
误差精度为ε。
下面首先说明每一个时间周期内,计算模型的训练过程。
第一步:初始化第一权值矩阵为w1和第二权值矩阵为w2,两个矩阵中的所有元素的取值范围均为(-1,1)。
第二步:取一个样本的输入矩阵Iq=[iq1,iq2,iq3,iq4,iq5,iq6],对应的期望输出矩阵为Oq=[oq1,oq2,oq3,oq4,oq5];
第三步:计算与各个权值矩阵对应的输出,其中,
输入矩阵与第一权值矩阵为w1相乘的结果为1*12的矩阵M1q,该矩阵中各个元素m1qx的值为:
对m1qx进行归一化,得到moqx=f(m1qx);
归一化后的1*12的矩阵与第二权值矩阵为w2相乘的结果为1*5的矩阵M2q,该矩阵中各个元素m2qy的值为:
对m2qy进行归一化,得到ooqy=f(m2qy)
第四步:计算误差函数对各权值方向的偏导数。
其中,Δw2xy(q)表示基于第q个样本计算得到的第二权值矩阵w2中位于第x行第y列处的元素(即权值)的增量,Δw1xy(q)表示基于第q个样本计算得到的第一权值矩阵w1中位于第x行第y列处的元素(即权值)的增量。
第五步:修正第一权值矩阵w1和第二权值矩阵为w2。
w2xy(N+1)=w2xy(N)+Δw2xy(q)
w1xy(N+1)=w1xy(N)+Δw1xy(q)
其中,w2xy(N)表示修正前第二权值矩阵w2中位于第x行第y列处的元素的值,w2xy(N+1)表示修正后第二权值矩阵w2中位于第x行第y列处的元素的值;w1xy(N)表示修正前第一权值矩阵w1中位于第x行第y列处的元素的值,w1xy(N+1)表示修正后第一权值矩阵w1中位于第x行第y列处的元素的值。
第六步:判断整个样本空间是否计算完成,若否,则返回第二步,即取下一个样本的输入矩阵进行计算;若是,则进入第七步;
第七步:计算全局误差E,
第八步:判断全局误差E是否小于预定精度ε,若全局误差E小于预定精度ε,则训练结束,基于最后一个样本修正后的计算模型就是下一时间周期内用于调度访问请求的计算模型;若全局误差E大于或等于预定精度ε,则在基于最后一个样本修正后的计算模型的基础上,重新计算整个样本空间。
下面说明每一个时间周期内,访问请求调度的过程。
当接收到IDC访问请求时,提取与该访问请求对应的特征值,所提取的特征值类型与计算模型训练过程中所提取的特征值的类型相同;
将提取的特征值输入前一个时间周期内训练得到的与每一个IDC对应的计算模型,得到每一个IDC对应的计算结果;
依据计算结果选择服务质量最好的IDC响应IDC访问请求。
与方法实施例相对应,本发明实施例还提供一种访问请求调度装置,本发明实施例提供的访问请求调度装置的一种结构示意图如图3所示,可以包括:
第一获取模块31,第二获取模块32,计算模块33,调度模块34和训练模块35;其中,
第一获取模块31用于在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与所述IDC访问请求对应的特征值组;
第二获取模块32用于获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型由训练模块35依据前一个时间周期内与第一IDC对应的若干特征值组训练得到,与第一IDC对应的若干特征值组包括:从对第一IDC的每次访问对应的访问日志中提取的特征值组;第一IDC为可以响应IDC访问请求的任意一个IDC;
计算模块33用于从与IDC访问请求对应的特征值组中提取若干个特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应IDC访问请求时,该IDC的服务质量;
调度模块34用于依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
本发明实施例提供的访问请求调度装置,每个时间周期内均训练与各个IDC对应的计算模型,在当前时间周期内,对每个用户的IDC访问请求,提取特征值组,并从提取的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的表征该IDC响应所述IDC访问请求时,该IDC的服务质量的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。可见,本发明实施例提供的访问请求调度方法及装置,用于访问请求调度的计算模型是周期性变化的,而且,是根据实际的访问情况训练得到,因此,本发明实施例提供的访问请求调度方法能够自适应实时变化的网络,从而使IDC稳定地提供较高的服务质量。
可选的,所获取与IDC访问请求对应的特征值组中至少可以包括:表征用户信息的第一类特征值,表征用户信息的第一类特征值至少可以包括:用户实际下载速度和用户期望下载速度。
计算模型可以由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘;
可选的训练模块35的一种结构示意图如图4所示,可以包括:
第一计算单元41,第二计算单元42,修正单元43,第三计算单元44,第一确定单元45和第二确定单元46;其中,
第一计算单元41,用于对于与第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的目标训练计算模型的输入,计算得到1*m的矩阵;
第二计算单元42,用于对于与第一IDC对应的每一个特征值组,依据预置的误差函数计算所述目标训练计算模型中各个权值的增量;
修正单元43,用于对于与所述第一IDC对应的每一个特征值组,依据各个权值的增量对目标训练计算模型中的各个权值进行修正;
第三计算单元44,用于对于与第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;期望输出的1*m的矩阵由第二确定单元依据所述用户实际下载速度和用户期望下载速度的比值确定;
第一确定单元45,用于若与第一IDC对应的所有特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修正后的计算模型为与第一IDC对应的计算模型;
第二确定单元46,用于若与第一IDC对应的所有特征值组对应的误差的和值大于或等于预定精度值,将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,触发第一计算单元41进行计算,以进行下一次训练。
可选的,第三计算单元44的一种结构示意图如图5所示,可以包括:
划分子单元51,用于预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
确定子单元52,用于当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
可选的,表征用户信息的第一类特征值还可以包括:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。
可选的,特征值组中还可以包括:
表征IDC信息的第二类特征值,至少包括:所述IDC访问请求可以访问的IDC平均输出带宽,和/或,所述IDC访问请求可以访问的IDC剩余带宽。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种访问请求调度方法,其特征在于,包括:
在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与所述IDC访问请求对应的特征值组;
获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到,与所述第一IDC对应的若干特征值组包括:从对所述第一IDC的每次访问对应的访问日志中提取的特征值组;所述第一IDC为可以响应所述IDC访问请求的任意一个IDC;
从与所述IDC访问请求对应的特征值组中提取若干特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应所述IDC访问请求时,该IDC的服务质量;
依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
2.根据权利要求1所述的方法,其特征在于,所述特征值组中至少包括:表征用户信息的第一类特征值,所述表征用户信息的第一类特征值至少包括:用户实际下载速度和用户期望下载速度。
3.根据权利要求2所述的方法,其特征在于,所述计算模型由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘;
相应的,依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到与所述第一IDC对应的计算模型包括:
对于与所述第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的目标训练计算模型的输入,计算得到1*m的矩阵;
对于与所述第一IDC对应的每一个特征值组,依据预置的误差函数计算所述目标训练计算模型中各个权值的增量;
对于与所述第一IDC对应的每一个特征值组,依据所述各个权值的增量对所述目标训练计算模型中的各个权值进行修正;
对于与所述第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;所述期望输出的1*m的矩阵依据所述用户实际下载速度和用户期望下载速度的比值确定;
若与所述第一IDC对应的各个特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修正后的计算模型为与所述第一IDC对应的计算模型;
若与所述第一IDC对应的所有特征值组对应的误差的和值大于或等于所述预定精度值,则将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,进行下一次训练。
4.根据权利要求3所述的方法,其特征在于,所述期望输出的1*m的矩阵获取方式为:
预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
5.根据权利要求2所述的方法,其特征在于,所述表征用户信息的第一类特征值还包括:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。
6.根据权利要求2所述的方法,其特征在于,所述特征值组中还包括:
表征IDC信息的第二类特征值,至少包括:所述IDC访问请求可以访问的IDC平均输出带宽,和/或,所述IDC访问请求可以访问的IDC剩余带宽。
7.一种访问请求调度装置,其特征在于,包括:
第一获取模块,用于在当前时间周期内,当接收到网络数据中心IDC访问请求时,获取与所述IDC访问请求对应的特征值组;
第二获取模块,用于获取前一个时间周期内训练得到的与每一个IDC对应的计算模型,其中,与第一IDC对应的计算模型由训练模块依据所述前一个时间周期内与所述第一IDC对应的若干特征值组训练得到,与所述第一IDC对应的若干特征值组包括:从对所述第一IDC的每次访问对应的访问日志中提取的特征值组;所述第一IDC为可以响应所述IDC访问请求的任意一个IDC;
计算模块,用于从与所述IDC访问请求对应的特征值组中提取若干个特征值作为与每一个IDC对应的计算模型的输入进行计算,得到与每一个IDC对应的输出结果,该输出结果表征该IDC响应所述IDC访问请求时,该IDC的服务质量;
调度模块,用于依据与各个IDC对应的输出结果,选择服务质量最好的IDC响应所述IDC访问请求。
8.根据权利要求7所述的装置,其特征在于,所述特征值组中至少包括:表征用户信息的第一类特征值,所述表征用户信息的第一类特征值至少包括:用户实际下载速度和用户期望下载速度。
9.根据权利要求8所述的装置,其特征在于,所述计算模型由依次相乘的至少一个权值矩阵构成;其中,与每个权值矩阵对应的输出由归一化函数进行归一化后与下一个权值矩阵相乘;
相应的,所述训练模块包括:
第一计算单元,用于对于与所述第一IDC对应的每一个特征值组,从该特征值组中提取n个特征值组成的1*n的矩阵作为与该特征值组对应的目标训练计算模型的输入,计算得到1*m的矩阵;
第二计算单元,用于对于与所述第一IDC对应的每一个特征值组,依据预置的误差函数计算所述目标训练计算模型中各个权值的增量;
修正单元,用于对于与所述第一IDC对应的每一个特征值组,依据所述各个权值的增量对所述目标训练计算模型中的各个权值进行修正;
第三计算单元,用于对于与所述第一IDC对应的每一个特征值组,计算所得到的1*m的矩阵与预置的与该特征值组对应的期望输出的1*m的矩阵的误差;所述期望输出的1*m的矩阵由第二确定单元依据所述用户实际下载速度和用户期望下载速度的比值确定;
第一确定单元,用于若与所述第一IDC对应的所有特征值组对应的误差的和值小于预定精度值,则确定通过最后一个特征值组修正后的计算模型为与所述第一IDC对应的计算模型;
第二确定单元,用于若与所述第一IDC对应的所有特征值组对应的误差的和值大于或等于所述预定精度值,将通过最后一个特征值组修正后的计算模型作为下一次训练的初始计算模型,触发所述第一计算单元进行计算。
10.根据权利要求9所述的装置,其特征在于,所述第三计算单元包括:
划分子单元,用于预先将1到无穷大之间划分为m个子区间,每个子区间对应所述期望输出的1*m的矩阵的一个元素;
确定子单元,用于当获取用户实际下载速度和用户期望下载速度时,若用户实际下载速度和用户期望下载速度的比值在所述m个子区间中的第一子区间,则所述期望输出的1*m的矩阵中与所述第一子区间对应的元素为1,其它元素为0。
11.根据权利要求8所述的装置,其特征在于,所述表征用户信息的第一类特征值还包括:
用户所在区域,用户请求数据的大小,客户端类型中的任意一个或任意组合。
12.根据权利要求8所述的装置,其特征在于,所述特征值组中还包括:
表征IDC信息的第二类特征值,至少包括:所述IDC访问请求可以访问的IDC平均输出带宽,和/或,所述IDC访问请求可以访问的IDC剩余带宽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510642348.5A CN105306553B (zh) | 2015-09-30 | 2015-09-30 | 访问请求调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510642348.5A CN105306553B (zh) | 2015-09-30 | 2015-09-30 | 访问请求调度方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105306553A true CN105306553A (zh) | 2016-02-03 |
CN105306553B CN105306553B (zh) | 2018-08-07 |
Family
ID=55203296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510642348.5A Active CN105306553B (zh) | 2015-09-30 | 2015-09-30 | 访问请求调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105306553B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108306769A (zh) * | 2018-01-31 | 2018-07-20 | 北京奇艺世纪科技有限公司 | 一种cdn的节点部署控制方法和系统 |
CN108600147A (zh) * | 2017-12-29 | 2018-09-28 | 北京奇艺世纪科技有限公司 | 一种下载速度预测方法及装置 |
CN108650323A (zh) * | 2018-05-17 | 2018-10-12 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN109302484A (zh) * | 2018-10-18 | 2019-02-01 | 北京奇艺世纪科技有限公司 | 一种用户请求处理方法及装置 |
CN112333276A (zh) * | 2020-11-09 | 2021-02-05 | 珠海格力电器股份有限公司 | 网络访问方法、系统、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5050639B2 (ja) * | 2007-05-14 | 2012-10-17 | 株式会社日立製作所 | ユーザアクセス状況出力機器 |
WO2013040942A1 (zh) * | 2011-09-23 | 2013-03-28 | 百度在线网络技术(北京)有限公司 | 数据中心系统及装置和提供服务的方法 |
CN103023710A (zh) * | 2011-09-21 | 2013-04-03 | 阿里巴巴集团控股有限公司 | 一种安全测试系统和方法 |
CN104734983A (zh) * | 2013-12-24 | 2015-06-24 | 中国移动通信集团公司 | 业务数据请求的调度系统、方法及装置 |
-
2015
- 2015-09-30 CN CN201510642348.5A patent/CN105306553B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5050639B2 (ja) * | 2007-05-14 | 2012-10-17 | 株式会社日立製作所 | ユーザアクセス状況出力機器 |
CN103023710A (zh) * | 2011-09-21 | 2013-04-03 | 阿里巴巴集团控股有限公司 | 一种安全测试系统和方法 |
WO2013040942A1 (zh) * | 2011-09-23 | 2013-03-28 | 百度在线网络技术(北京)有限公司 | 数据中心系统及装置和提供服务的方法 |
CN104734983A (zh) * | 2013-12-24 | 2015-06-24 | 中国移动通信集团公司 | 业务数据请求的调度系统、方法及装置 |
Non-Patent Citations (1)
Title |
---|
刘衡萍: "互联网数据中心", 《现代电信科技》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108600147A (zh) * | 2017-12-29 | 2018-09-28 | 北京奇艺世纪科技有限公司 | 一种下载速度预测方法及装置 |
CN108600147B (zh) * | 2017-12-29 | 2021-07-23 | 北京奇艺世纪科技有限公司 | 一种下载速度预测方法及装置 |
CN108306769A (zh) * | 2018-01-31 | 2018-07-20 | 北京奇艺世纪科技有限公司 | 一种cdn的节点部署控制方法和系统 |
CN108306769B (zh) * | 2018-01-31 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 一种cdn的节点部署控制方法和系统 |
CN108650323A (zh) * | 2018-05-17 | 2018-10-12 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN108650323B (zh) * | 2018-05-17 | 2021-01-22 | 北京奇艺世纪科技有限公司 | 一种idc调度优化方法及装置 |
CN109302484A (zh) * | 2018-10-18 | 2019-02-01 | 北京奇艺世纪科技有限公司 | 一种用户请求处理方法及装置 |
CN109302484B (zh) * | 2018-10-18 | 2021-04-16 | 北京奇艺世纪科技有限公司 | 一种用户请求处理方法及装置 |
CN112333276A (zh) * | 2020-11-09 | 2021-02-05 | 珠海格力电器股份有限公司 | 网络访问方法、系统、存储介质及电子设备 |
CN112333276B (zh) * | 2020-11-09 | 2021-09-14 | 珠海格力电器股份有限公司 | 网络访问方法、系统、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105306553B (zh) | 2018-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105306553A (zh) | 访问请求调度方法及装置 | |
CN108052387B (zh) | 一种移动云计算中的资源分配预测方法及系统 | |
CN111162934B (zh) | 业务服务的测试方法和装置、存储介质、电子装置 | |
CN104517613A (zh) | 语音质量评估方法及装置 | |
CN106385468A (zh) | Web集群的可预测动态负载均衡方法 | |
US20170163509A1 (en) | Inter-node distance metric method and system | |
US8478570B2 (en) | Method and apparatus for establishing network performance model | |
CN101013955A (zh) | 用于业务量矩阵估计的快速模拟退火 | |
Zadorozhnyi | Simulation modeling of fractal queues | |
CN106611021B (zh) | 一种数据处理方法和设备 | |
CN110472143A (zh) | 一种信息推送方法、装置、可读存储介质及终端设备 | |
CN105978807A (zh) | 节点间距离的度量方法及系统 | |
CN115801896A (zh) | 算力网络节点分配方法、装置、电子设备及存储介质 | |
CN114492849B (zh) | 一种基于联邦学习的模型更新方法及装置 | |
CN114912627A (zh) | 推荐模型训练方法、系统、计算机设备及存储介质 | |
Deng et al. | Second‐order quasi‐likelihood for spatial point processes | |
CN113822453B (zh) | 5g切片的多用户投诉共性确定方法及装置 | |
CN114298319A (zh) | 联合学习贡献值的确定方法、装置、电子设备及存储介质 | |
CN108804640B (zh) | 基于最大化iv的数据分组方法、装置、储存介质及设备 | |
CN109446020B (zh) | 云存储系统的动态评估方法以及装置 | |
CN112783747A (zh) | 一种应用程序的执行时间预测方法及装置 | |
CN106776264A (zh) | 应用程序代码的测试方法和装置 | |
Fernandes et al. | On the self-similarity of traffic generated by network traffic simulators | |
Liu et al. | On the performance of a hybrid network traffic model | |
CN110852418A (zh) | 神经网络模型的数据处理方法及装置、存储介质、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |