CN113315836B - 文件访问请求的调度方法、装置、电子设备、存储介质 - Google Patents

Abstract

本公开关于一种文件访问请求的调度方法、装置、电子设备、存储介质。所述方法包括：接收客户端的文件访问请求，文件访问请求包括客户端信息和待访问文件的文件属性信息；获取客户端信息与各个服务节点之间的网络质量数据；根据文件属性信息确定网络带宽需求；根据网络质量数据以及网络带宽需求，从各个服务节点中确定目标服务节点；将文件访问请求调度到目标服务节点。根据本公开的方案，通过基于网络质量数据以及网络带宽需求对各个服务节点进行整合管理，可以确保目标服务节点有较优的网络质量，且有足够的带宽以供调度，从而确保客户端的文件访问质量和效率，提升用户的访问体验。

Description

文件访问请求的调度方法、装置、电子设备、存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及一种文件访问请求的调度方法、装置、电子设备、计算机可读存储介质、计算机程序产品。

背景技术

随着互联网的高速发展，网络流量增长速度越来越快，需要业务方有足够的带宽资源提供服务。CDN(Content Delivery Network，内容分发网络)技术可以用于帮助业务方解决带宽资源不足的问题，同时也能让客户端更快地获取文件资源。

CDN通过在各个地区部署多台边缘服务器，用于缓存图片、视频等文件资源。在用户账户发出文件访问请求后，可以通过CDN调度系统利用域名解析等方式，将文件访问请求调度到合适的边缘服务器上，以使客户端能够从被调度的边缘服务器处获取文件资源。

相关技术中，CDN调度系统普遍基于用户账户的地理位置进行调度，例如，使用本省或者临近省的边缘服务器节点为用户提供服务。但是，不同的边缘服务器节点之间存在质量好坏的差异。CDN服务提供商为了节约成本，可能会将文件访问请求调度到廉价低质量的节点，造成用户访问体验变差。因此，如何通过资源调度来提升用户访问体验是一个亟需解决的问题。

发明内容

本公开提供一种文件访问请求的调度方法、装置、电子设备、计算机可读存储介质、计算机程序产品，以至少解决相关技术中因为资源调度不合理而导致的用户访问体验变差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种文件访问请求的调度方法，包括：

接收客户端的文件访问请求，所述文件访问请求包括客户端信息和待访问文件的文件属性信息；

获取所述客户端信息与各个服务节点之间的网络质量数据；

根据所述文件属性信息确定网络带宽需求；

根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定目标服务节点；

将所述文件访问请求调度到所述目标服务节点。

在其中一个实施例中，所述获取所述客户端信息与各个服务节点之间的网络质量数据，包括：

确定所述客户端所在终端的网段，并获取所述网段的质量值；

若所述质量值低于阈值，则获取所述网段与所述各个服务节点之间的网络质量数据；

若所述质量值高于或者等于所述阈值，则获取所述终端所在地区与所述各个服务节点之间的网络质量数据。

在其中一个实施例中，所述网段的质量值基于所述客户端上报的历史网络数据确定。

在其中一个实施例中，所述客户端信息与所述各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；

所述质量关系数据通过深度学习模型对与所述客户端上报的历史网络数据进行分析处理得到。

在其中一个实施例中，所述深度学习模型为增强学习模型。

在其中一个实施例中，所述根据所述文件属性信息确定网络带宽需求，包括：

获取预设的与文件类型对应的服务质量等级；

确定所述服务质量等级最高的目标文件类型；

从预先定义的文件类型与网络带宽需求的对应关系中，获取与所述目标文件类型对应的网络带宽需求。

在其中一个实施例中，所述根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定目标服务节点，包括：

根据所述网络质量数据对所述各个服务节点进行排序；

从排序后的所述各个服务节点中选择满足服务质量需求的服务节点；

从所述满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足所述网络带宽需求，且服务节点的可用性状态为可用的目标服务节点。

在其中一个实施例中，所述服务节点的剩余网络带宽从预先建立的服务节点信息表中获取得到；

所述服务节点信息表包括各个服务节点的可用性状态以及所述各个服务节点的剩余网络带宽，所述可用性状态包括可用和不可用两种状态。

在其中一个实施例中，所述将所述文件访问请求调度到所述目标服务节点，包括：

若所述待访问文件中包含热门文件，则将所述热门文件的文件访问需求调度至所述目标服务节点；

若所述待访问文件中包含冷门文件，则将所述冷门文件的文件访问请求调度至所述目标服务节点中的优选服务节点，所述优选服务节点基于所述各个服务节点的排序确定。

在其中一个实施例中，所述文件属性信息包括所述待访问文件的文件标识。

根据本公开实施例的第二方面，提供一种文件访问请求的调度装置，其特征在于，包括：

接收模块，被配置为执行接收客户端的文件访问请求，所述文件访问请求包括客户端信息和待访问文件的文件属性信息；

获取模块，被配置为执行获取所述客户端信息与各个服务节点之间的网络质量数据；

需求确定模块，被配置为执行根据所述文件属性信息确定网络带宽需求；

节点确定模块，被配置为执行根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定目标服务节点；

请求调度模块，被配置为执行将所述文件访问请求调度到所述目标服务节点。

在其中一个实施例中，所述获取模块，包括：

质量值获取单元，被配置为执行确定所述客户端所在终端的网段，并获取所述网段的质量值；

第一数据获取单元，被配置为执行若所述质量值低于阈值，则获取所述网段与所述各个服务节点之间的网络质量数据；

第二数据获取单元，被配置为执行若所述质量值高于或者等于所述阈值，则获取所述终端所在地区与所述各个服务节点之间的网络质量数据。

在其中一个实施例中，所述网段的质量值基于所述客户端上报的历史网络数据确定。

在其中一个实施例中，所述客户端信息与所述各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；

所述质量关系数据通过深度学习模型对与所述客户端上报的历史网络数据进行分析处理得到。

在其中一个实施例中，所述深度学习模型为增强学习模型。

在其中一个实施例中，所述需求确定模块，包括：

质量等级获取单元，被配置为执行获取预设的与文件类型对应的服务质量等级；

类型确定单元，被配置为执行确定所述服务质量等级最高的目标文件类型；

需求确定单元，被配置为执行从预先定义的文件类型与网络带宽需求的对应关系中，获取与所述目标文件类型对应的网络带宽需求。

在其中一个实施例中，所述节点确定模块，包括：

排序单元，被配置为执行根据所述网络质量数据对所述各个服务节点进行排序；

第一节点筛选单元，被配置为执行从排序后的所述各个服务节点中选择满足服务质量需求的服务节点；

第二节点筛选单元，被配置为执行从所述满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足所述网络带宽需求，且服务节点的可用性状态为可用的目标服务节点。

在其中一个实施例中，所述服务节点的剩余网络带宽从预先建立的服务节点信息表中获取得到；

所述服务节点信息表包括各个服务节点的可用性状态以及所述各个服务节点的剩余网络带宽，所述可用性状态包括可用和不可用。

在其中一个实施例中，所述请求调度模块，包括：

第一请求调度单元，被配置为执行若所述待访问文件中包含热门文件，则将所述热门文件的文件访问需求调度至所述目标服务节点；

第二请求调度单元，被配置为执行若所述待访问文件中包含冷门文件，则将所述冷门文件的文件访问请求调度至所述目标服务节点中的优选服务节点，所述优选服务节点基于所述各个服务节点的排序确定。

在其中一个实施例中，所述文件属性信息包括所述待访问文件的文件标识。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面任一项所述的文件访问请求的调度方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述第一方面任一项所述的文件访问请求的调度方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的文件访问请求的调度方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

在资源调度的基础上单独建立一层调度系统。调度系统在接收到客户端的文件访问请求后，对各个服务节点进行整合管理，可以避免各个服务节点提供商自行管理带来的资源调度质量不高的情况；通过获取客户端信息与各个服务节点之间的网络质量数据，并基于文件属性信息确定网络带宽需求；然后根据网络质量数据以及网络带宽需求从各个服务节点中确定目标服务节点，可以确保目标服务节点有较优的网络质量，且有足够的带宽以供调度，从而确保客户端的文件访问质量和效率，提升用户的访问体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种文件访问请求的调度方法的应用环境图。

图2是根据一示例性实施例示出的一种文件访问请求的调度方法的流程图。

图3是根据一示例性实施例示出的一种获取网络质量数据步骤的流程图。

图4是根据一示例性实施例示出的一种获取网络带宽需求步骤的流程图。

图5是根据一示例性实施例示出的一种确定目标服务节点步骤的流程图。

图6是根据一示例性实施例示出的一种请求调度步骤的流程图。

图7是根据一示例性实施例示出的一种文件访问请求的调度方法的流程图。

图8是根据一示例性实施例示出的一种文件访问请求的调度系统的示意图。

图9是根据一示例性实施例示出的一种文件访问请求的调度装置的框图。

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所提供的文件访问请求的调度方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与调度服务器120进行交互；终端110通过网络与服务节点中的边缘服务器130进行交互。其中，终端110中部署有客户端，例如，直播客户端、视频客户端、即时通信客户端等，以使用户账户能够通过终端110访问文件。调度服务器120中部署有调度系统。在终端110访问文件时，可以先向调度服务器120发送文件访问请求，以请求调度服务器120基于文件访问请求包括的客户端信息和文件属性信息确定目标服务节点。调度服务器120将目标服务节点中目标边缘服务器130的IP(Internet Protocol，网际互连协议)地址发送至终端110。终端110在接收到目标边缘服务器130的IP地址后，向目标边缘服务器130请求待访问文件，以使目标边缘服务器130将待访问文件传输至终端110。

其中，终端110可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备。调度服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。边缘服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2是根据一示例性实施例示出的一种文件访问请求的调度方法的流程图，如图2所示，文件访问请求的调度方法用于调度服务器中，包括以下步骤。

在步骤S210中，接收客户端的文件访问请求，文件访问请求包括客户端信息和待访问文件的文件属性信息。

其中，客户端信息可以是指能够从客户端直接获取的信息。例如，客户端标识、用户账户标识、客户端所在终端的IP地址、客户端所在终端所处的位置、客户端配置文件中的相关参数等。客户端信息还可以是基于从客户端直接获取的信息进一步得到的关联信息。例如，根据终端的IP地址进一步得到终端的IP段(以下称为网段)、根据终端所处的位置(可以使用经纬度表征)进一步得到终端所处的省份等。

文件可以是指可数字传输的内容，包括图片、文字、声音、视频、动画、游戏、网页、直播间实时视频等。文件属性信息可以用于描述文件的性质，例如，可以是文件的文件标识、文件类型(如视频、图片等)等。

具体地，待访问文件的文件访问请求可以是响应于用户的触发操作而发出的请求，例如，用户点击某个视频连接而触发的请求；也可以是客户端自行触发的请求，例如，在客户端的冷启动过程中，客户端主动发送文件的推荐请求。客户端将待访问文件的文件访问请求发送至调度服务器，文件访问请求包括客户端信息和待访问文件的文件属性信息。

在步骤S220中，获取客户端信息与各个服务节点之间的网络质量数据。

其中，各个服务节点可以是全部的服务节点；也可以是与客户端信息相关联的节点。例如，客户端信息为终端所在省份，各个服务节点为部署在该省份以及该省份的相邻省份中的节点。

客户端信息与各个服务节点之间的网络质量数据可以基于客户端上报的历史网络数据进行分析处理得到，可以使用网络延时，链路拥塞，网络抖动等其中的一项或者多项表征。历史网络数据包括下载失败率、首屏时间、卡顿率、链路丢包率、网络延时、路由信息等其中的一项或者多项，可以是客户端实时上报的数据。

具体地，对历史网络数据进行分析处理可以通过调度服务器实现，也可以通过调度服务器之外的其他电子设备实现。其他电子设备包括终端和服务器。具体实现中，可以对历史网络数据进行预处理。然后，对预处理后的历史网络数据进行网络质量建模，输出客户端信息和各个服务节点之间的网络质量数据并存储。其中，网络质量建模可以通过深度学习模型实现。深度学习模型不限于是神经网络模型、随机森林、决策树等。在得到网络质量数据后，可以将网络质量数据以关系型数据库、非关系型数据库、文件存储等方式进行存储。

进一步地，还可以基于客户端信息从多个维度进行网络质量建模。示例性地，客户端信息中包含终端网段、终端所在省份、终端型号，那么分别从终端网段、终端所在地区、终端型号三个维度进行网络质量建模，得到终端网段与各个服务节点之间、终端所在地区与各个服务节点之间、终端型号与各个服务节点之间各自对应的网络质量数据。

在调度服务器接收到文件访问请求后，根据文件访问请求中包含的客户端信息获取已存储的客户端信息与各个服务节点之间的网络质量数据。

在步骤S230中，根据文件属性信息确定网络带宽需求。

其中，网络带宽需求可以是指处理文件访问请求所需的带宽需求。

具体地，可以预先部署带宽需求确定策略。通过带宽需求确定策略根据文件属性信息确定网络带宽需求。例如，对若干已处理的历史文件访问请求进行统计分析，建立文件属性信息和网络带宽需求的对应关系，从该对应关系中直接查找得到网络带宽需求。或者，通过深度学习模型对文件属性信息进行预估得到网络带宽需求。

在步骤S240中，根据网络质量数据以及网络带宽需求，从各个服务节点中确定目标服务节点。

具体地，调度服务器可以通过预设接口获取各个服务节点的可用节点带宽。将各个服务节点的可用节点带宽与网络带宽需求进行比较，筛选出能够满足网络带宽需求的服务节点。示例性地，网络带宽需求为带宽A kbps(千比特每秒)；调度服务器获取某个服务节点的可用带宽为B kbps。若B大于A，则说明该服务节点满足网络带宽需求。

接着，调度服务器根据客户端信息和各个服务节点之间的网络质量数据，从满足网络带宽需求的服务节点中筛选出符合网络质量要求的服务节点，作为目标服务节点。示例性地，网络质量要求为网络延时40毫秒。若获取客户端信息与某个服务节点之间的网络延时为35毫秒，则说明该服务节点满足网络质量需求。

进一步地，对于除网络带宽之外的其他资源，例如，服务节点数量、节点容量等，同样可以参照本实施例的方式确定其他资源需求，进而从各个服务节点确定出即满足网络带宽需求，也满足其他资源需求的目标服务节点。

在步骤S250中，将文件访问请求调度到目标服务节点。

具体地，调度服务器在确定目标服务节点后，将目标服务节点的IP地址发送至客户端。客户端向与IP地址对应的目标服务节点请求待访问文件，以使目标服务节点将待访问文件的数据传输至客户端。

上述文件访问请求的调度方法中，在带宽调度的基础上单独建立一层调度系统。调度系统在接收到客户端的文件访问请求后，对各个服务节点进行整合管理，可以避免各个服务节点提供商自行管理带来的带宽调度质量不高的情况；通过获取客户端信息与各个服务节点之间的网络质量数据，并基于文件属性信息确定网络带宽需求；然后根据网络质量数据以及网络带宽需求从各个服务节点中确定目标服务节点，可以确保目标服务节点有较优的网络质量，且有足够的带宽以供调度，从而确保客户端的文件访问质量和效率，提升用户的访问体验。

在一示例性实施例中，上述各个服务节点可以是与客户端信息关联的服务节点，包括以下服务节点中的一种或者多种：

(1)客户端所在终端所处地区的服务节点。

具体地，终端所处地区可以是省级地区、地级市等。终端所处地区可以通过定位技术确定。例如，通过集成在终端中的GPS(Global Positioning System，全球定位系统)定位技术获取终端所处地区。终端所处地区还可以基于客户端信息确定。例如，客户端信息中包括IP地址，可以从已有的IP地址与地理位置的映射关系中查询得到终端所处地区。例如，确定终端位于A省份。查询A省份部署有服务节点1、服务节点2、服务节点3，那么可以将这三个服务节点作为与客户端信息关联的服务节点。

(2)与终端所在地区的相邻地区的服务节点。

具体地，终端所在地区的相邻地区可以从已有的地区映射关系中查询得到。例如，客户端所在终端位于A省份，与A省份相邻的省份包括B省份和C省份。那么可以将部署在B省份和C省份的服务节点作为与客户端信息关联的服务节点。

(3)客户端曾经访问过的服务节点。

具体地，客户端曾经访问过的服务节点可以从客户端的访问日志等文件中获取。例如，访问日志中记载有客户端曾经访问过的服务节点的IP地址，那么调度服务器可以将与这些IP地址对应的服务节点作为与客户端信息关联的服务节点。

本实施例中，通过基于地区确定待调用的候选服务节点，可以尽可能地使用终端所处地区的服务节点带宽，避免客户端跨地区访问服务节点，从而有助于降低网络延时、提升访问效率；通过使用部分服务节点作为待调用的候选服务节点，还可以减轻调度服务器的运行压力，提高请求调度效率。

在一示例性实施例中，如图3所示，在步骤S220中，获取客户端信息与各个服务节点之间的网络质量数据，具体可以通过以下步骤实现：

在步骤S310中，确定客户端所在终端的网段，并获取网段的质量值。

其中，终端的网段可以通过客户端的IP地址以及网络掩码得到。例如，客户端的IP地址为192.168.1.1，网络掩码为255.255.255.0，那么网段则为192.168.1.0。

网段下包含若干终端的IP地址。网段对应的质量值可以根据若干IP地址(包含在客户端信息中)的历史网络数据确定。例如，对客户端上报的历史网络数据中的卡顿率、首屏时间等进行权重处理和归一化处理，将得到的数据作为质量值。或者，以历史网络数据中一项作为基准得到质量值。例如，将下载失败率作为质量值。网段的质量值可以根据客户端实时上报的网络数据进行实时更新；也可以根据客户端上报的历史网络数据进行定时更新，采用历史网络数据分析得到网段的质量值，使所得到的质量值能够较为准确地描述网段的一般表现，从而有助于提升确定目标服务节点的准确性。

在步骤S320中，将质量值与阈值进行比较。若质量值低于阈值，则继续步骤S330；若质量值高于或者等于阈值，则继续步骤S340。

在步骤S330中，获取网段与各个服务节点之间的网络质量数据。

在步骤S340中，获取终端所在地区与各个服务节点的网络质量数据。

其中，阈值可以依业务方的需求而定。例如，可以为业务方对若干历史网络数据进行统计分析得到的指标。

具体地，可以从终端网段和终端所在地区两个维度分别进行网络质量建模，得到终端网段与各个服务节点之间、终端所在地区与各个服务节点之间各自对应的网络质量数据。调度服务器在获取网段的质量值后，将网段的质量值与阈值进行比较。若网段的质量值低于阈值，那么获取网段与各个服务节点之间的网络质量数据，进而根据该网络质量数据和网络带宽需求确定目标服务节点。若网段的质量值高于或者等于阈值，那么获取终端所在地区与各个服务节点之间的网络质量数据，进而根据该网络质量数据和网络带宽需求确定目标服务节点。

本实施例中，通过将网段的质量评级信息与阈值进行比较，针对质量评价较差的网段，将调度粒度细分到终端网段级别，可以确保将请求调度至质量较优的目标服务节点，进而有助于提升用户的访问体验；针对质量评价较优的网段，采用地区级别的调度方式，可以避免客户端跨地区访问服务节点，从而有助于降低网络延时、提升访问效率。

在一示例性实施例中，客户端信息与各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；质量关系数据通过深度学习模型对与客户端上报的历史网络数据进行分析处理得到。

具体地，客户端实时将客户端信息以及对应的历史网络数据上报至数据处理平台。数据处理平台可以部署在调度服务器中，也可以部署在调度服务器之外的其他电子设备中。数据处理平台在获取历史网络数据后，对历史网络数据进行预处理。预处理不限于包括数据清洗、格式化、聚类等。然后，周期性地通过深度学习模型学习对周期内的历史网络数据进行分析处理，得到客户端信息与各个服务节点的网络质量数据，从而建立客户端信息与各个服务节点的质量关系数据。数据处理平台将该质量关系数据存储至关系型数据库，以供调度服务器在处理文件访问请求时使用。

本实施例中，通过周期性地生成客户端信息与各个服务节点之间的网络质量数据，基于客户端的历史网络数据(例如路由调整，链路拥塞等)及时更新网络质量数据，使调度服务器能够针对当前网络场景及时做出调度调整，从而提高了调度质量和调度效率。

在一示例性实施例中，深度学习模型为增强学习模型。增强学习模型是指采用强化学习方式进行机器学习的模型。强化学习，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。强化学习侧重在线学习并试图在探索-利用间保持平衡。不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励(反馈)获得学习信息并更新模型参数。通过采用增强学习模型，无需为模型提供大量的带标签样本，从而可以简化质量关系数据的获取过程。

在一示例性实施例中，如图4所示，在步骤S230中，根据文件属性信息确定网络带宽需求，具体可以通过以下步骤实现：

在步骤S410中，获取预设的与文件类型对应的服务质量等级。

其中，服务质量等级(QoS，Quality of Service)指一个网络能够利用各种基础技术为指定的网络通信提供更好的服务能力，是网络的一种安全机制，用来解决网络延迟和阻塞等问题的一种技术。可以预先定义多个服务质量等级，例如QoS 1、QoS 2、QoS 3(QoS1等级低于QoS 2，QoS 2等级低于QoS 3)。

预先定义多级文件类型，例如，一级文件类型包括视频、图片。一级文件类型“视频”下包括二级文件类型低码、高码率；一级文件类型“图片”下包括二级文件类型业务重要性高、中、低。建立每个文件类型和服务质量等级之间的对应关系。文件类型要求越高，则服务质量等级越高。例如，为高码率视频、业务重要性高的图片分配QoS 3；为低码率视频、业务重要性低的图片分配QoS 1。

具体地，待访问文件的文件类型可以从已有的文件标识和文件类型的映射关系中查询得到。调度服务器在获取待访问文件的文件类型后，从文件类型和服务质量等级的对应关系中查询得到待访问文件的服务质量等级。

在步骤S420中，确定服务质量等级最高的目标文件类型。

具体地，在待访问文件的数量包含多个的情况下，调度服务器获取与每个待访问文件的文件类型对应的服务质量等级，并从中确定最高等级的服务质量等级。进而将服务质量等级最高的文件类型确定为目标文件类型。

在步骤S430中，从预先定义的文件类型与网络带宽需求的对应关系中，获取与目标文件类型对应的网络带宽需求。

具体地，可以预先建立网络带宽需求表。网络带宽需求表包括文件类型和网络带宽需求的对应关系。网络带宽需求表可以对若干与文件类型对应的实际网络带宽进行统计分析得到，并且可以周期性更新，从而确保网络带宽需求表的准确性。调度服务器在确定服务质量等级最高的目标文件类型后，从网络带宽需求表中查询与目标文件类型对应的网络带宽需求。

本实施例中，根据不同文件类型对服务质量等级的需求程序不同，按照服务质量等级的重要程度进行分配带宽，可以在优质网络带宽有限的情况下，优先为高需求的文件类型分配较优的网络带宽，从而有助于提高带宽调度的整体质量。

在一示例性实施例中，如图5所示，在步骤S240中，根据网络质量数据以及网络带宽需求，从各个服务节点中确定目标服务节点，具体可以通过以下步骤实现：

在步骤S510中，根据各个服务节点的网络质量数据对各个服务节点进行排序。

在步骤S520中，从排序后的各个服务节点中选择满足服务质量需求的服务节点。

在步骤S530中，从满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足网络带宽需求、且服务节点的可用性状态为的目标服务节点。

其中，服务节点的剩余网络带宽可以从预先建立的服务节点信息表中获取得到。服务节点信息表可以以关系型数据库、非关系型数据库、文件存储等方式进行存储。服务节点信息表包括各个服务节点的可用性状态以及各个服务节点的剩余网络带宽。可用性状态包括可用和不可用两种状态。可以实时通过服务提供商的提供的接口获取各个服务节点的可用性状态和剩余网络带宽，并对服务节点信息表进行实时更新，以确保服务节点信息表的准确性。且，通过以表的形式存储可用性状态和剩余网络带宽，使得调度服务器在通过简单的查询操作便可获取需要的信息，从而提高了调度服务器的处理效率，有助于减轻调度服务器的运行压力。

具体地，调度服务器在获取客户端信息和各个服务节点之间的网络质量数据后，按照网络质量数据从高至低，或者从低至高的顺序对各个服务节点进行排序。由于网络质量数据可能包含多项数据，例如，包含网络延时，链路拥塞，网络抖动数据。在这种情况下，对多项数据进行归一化处理，再基于归一化处理后的数据进行排序。

是否满足服务质量需求可以通过预先配置的指标分数确定，例如，定义网络质量数据高于60分的服务节点为满足服务质量需求的节点。调度服务器确定满足服务质量需求的服务节点后，从服务节点信息表中查询每个服务节点的可用性状态和剩余网络带宽。将剩余网络带宽与网络带宽需求进行比较，选择剩余网络带宽高于网络带宽需求、且服务节点的可用性状态为可用的目标服务节点。

本实施例中，通过根据网络质量数据以及网络带宽需求从各个服务节点中确定目标服务节点，可以确保目标服务节点有较优的网络质量，且有足够的带宽以供调度，从而确保客户端的文件访问质量和效率，进而提升用户的访问体验。

在一示例性实施例中，如图6所示，在步骤S250中，将文件访问请求调度到目标服务节点，具体可以通过以下步骤实现：

在步骤S610中，判断待访问文件是热门文件还是冷门文件。若为热门文件，则继续步骤S620；若为冷门文件，则继续步骤S630。

在步骤S620中，将热门文件的文件访问需求调度至目标服务节点。

在步骤S630中，将冷门文件的文件访问请求调度至目标服务节点中的优选服务节点。

其中，优选服务节点可以基于各个服务节点的排序确定。例如，若按照网络质量数据从高到低的顺序对各个服务节点进行排序，在确定目标服务节点后，可以将排序前三的目标服务节点作为优选服务节点。

具体地，在待访问文件的数量为多个的情况下，调度服务器可以根据每个待访问文件的文件标识获取相对应的文件访问量。将文件访问量高于一定值的文件确定为热门文件，将文件访问量低于一定值的文件确定为冷门文件。调度服务器将热门文件的文件访问请求分配至所有目标服务节点。例如，平均分配至每个目标服务节点。将冷门文件的文件访问请求分配至优选服务节点。

在一些可能性实施例中，调度服务器可以以待访问文件的文件标识为单位，对文件访问请求进行哈希调度，将待访问文件的文件访问请求调度至目标服务节点上。以文件标识为单位进行调度，有利于提高缓存的命中率、减少回源几率，从而降低文件下载延时。

在一些可能性实施例中，调度服务器还可以以待访问文件的url(uniformresource locator，统一带宽定位系统)为单位，对文件访问请求进行哈希调度，将待访问文件的文件访问请求调度至目标服务节点上。

本实施例中，通过从业务整体上对待访问文件进行热门文件和冷门文件的统计，将热门文件分配至所有目标服务节点，将冷门文件集中至质量较优的服务节点，相比于相关技术中由各个服务提供商单独进行冷热文件的统计而言，使冷门文件可以获得最佳的缓存命中率，提高带宽调度的整体质量。

图7是根据一示例性实施例示出的一种文件访问请求的调度方法的流程图，如图7所示，文件访问请求的调度方法用于图8所示的系统中。该系统包括客户端、数据处理平台、调度系统、关系型数据库、服务节点。关系型数据库中可以存储有质量关系数据、网络带宽需求表、服务节点信息表。其中：

质量关系数据包括网段与各个服务节点之间的网络质量数据，以及省份与各个服务节点之间的网络质量数据。网络质量数据可以是数据处理平台中的数据预处理模块对周期内的历史网络数据进行预处理，并通过增强学习模型对预处理后的历史网络数据进行分析处理得到的。

网络带宽需求表中包括文件类型与服务质量等级、文件类型与网络带宽需求的对应关系。

服务节点信息表中包括各个服务节点的可用性状态以及剩余可用带宽。各个服务节点的可用性状态以及剩余可用带宽可以实时通过各个服务提供商提供的接口获取。

可以基于质量关系数据、网络带宽需求表、服务节点信息表生成细粒度的调度规则。调度规则可以通过一个四元组表示：<文件类型，终端位置或者IP网段，文件标识，各个服务提供商的服务节点集合>。如图7所示，文件访问请求的调度方法包括以下步骤：

在步骤S702中，客户端向调度系统发送文件访问请求。文件访问请求包括待访问文件的文件标识、客户端所在终端的IP地址、终端位置。

在步骤S704中，调度系统根据终端的IP地址确定终端的IP段，根据终端位置确定终端所在省份。

在步骤S706中，调度系统获取IP段的质量值。质量值的具体确定方式可以参照上述实施例，在此不做具体阐述。

在步骤S708中，调度系统将质量值与阈值进行比较。若质量值低于阈值，则继续步骤S710，否则，继续步骤S712。

在步骤S710中，调度系统获取IP段与各个服务节点之间的网络质量数据。

在步骤S712中，调度系统获取终端所在省份与各个服务节点之间的网络质量数据。

在步骤S714中，调度系统从网络带宽需求表中查询与待访问文件的文件类型对应的服务质量等级。其中，文件类型和服务质量等级的确定方式可以参照上述实施例，在此不做具体阐述。

在步骤S716，调度系统确定服务质量等级最高的目标文件类型，并从网络带宽需求表中查询得到与目标文件类型对应的带宽需求。

在步骤S718，调度系统根据网络质量数据对各个服务节点进行质量从高到低的排序，并从排序后的各个服务节点中选择满足服务质量需求的服务节点。其中，对各个服务节点进行排序，以及确定满足服务质量需求的服务节点的具体实现方式可以参照上述实施例，在此不做具体阐述。

在步骤S720，从满足服务质量需求的服务节点中选择服务节点的剩余带宽满足带宽需求，且服务节点的可用性状态为可用的目标服务节点。

在步骤S722中，确定待访问文件中的热门文件和冷门文件。

在步骤S724中，以文件标识为单位，将热门文件的文件访问请求平均调度至所有目标服务节点，将冷门文件调度至优选服务节点。其中，优选服务节点的确定方式可以参照上述实施例，在此不做具体阐述。

进一步地，调度系统在调度之后，可以对各个服务节点的可用带宽进行调整。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图9是根据一示例性实施例示出的一种文件访问请求的调度装置900框图。参照图9，该装置包括接收模块902、获取模块904、需求确定模块906、节点确定模块908、请求调度模块910。

接收模块902，被配置为执行接收客户端的文件访问请求，文件访问请求包括客户端信息和待访问文件的文件属性信息；获取模块904，被配置为执行获取客户端信息与各个服务节点之间的网络质量数据；需求确定模块906，被配置为执行根据文件属性信息确定网络带宽需求；节点确定模块908，被配置为执行根据网络质量数据以及网络带宽需求，从各个服务节点中确定目标服务节点；请求调度模块910，被配置为执行将文件访问请求调度到目标服务节点。

在一示例性实施例中，获取模块904，包括：质量值获取单元，被配置为执行确定客户端所在终端的网段，并获取网段的质量值；第一数据获取单元，被配置为执行若质量值低于阈值，则获取网段与各个服务节点之间的网络质量数据；第二数据获取单元，被配置为执行若质量值高于或者等于阈值，则获取终端所在地区与各个服务节点之间的网络质量数据。

在一示例性实施例中，网段的质量值基于客户端上报的历史网络数据确定。

在一示例性实施例中，客户端信息与各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；质量关系数据通过深度学习模型对与客户端上报的历史网络数据进行分析处理得到。

在一示例性实施例中，深度学习模型为增强学习模型。

在一示例性实施例中，需求确定模块906，包括：质量等级获取单元，被配置为执行获取预设的与文件类型对应的服务质量等级；类型确定单元，被配置为执行确定服务质量等级最高的目标文件类型；需求确定单元，被配置为执行从预先定义的文件类型与网络带宽需求的对应关系中，获取与目标文件类型对应的网络带宽需求。

在一示例性实施例中，节点确定模块908，包括：排序单元，被配置为执行根据网络质量数据对各个服务节点进行排序；第一节点筛选单元，被配置为执行从排序后的各个服务节点中选择满足服务质量需求的服务节点；第二节点筛选单元，被配置为执行从满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足网络带宽需求，且服务节点的可用性状态为可用的目标服务节点。

在一示例性实施例中，服务节点的剩余网络带宽从预先建立的服务节点信息表中获取得到；服务节点信息表包括各个服务节点的可用性状态以及各个服务节点的剩余网络带宽。

在一示例性实施例中，请求调度模块910，包括：第一请求调度单元，被配置为执行若待访问文件中包含热门文件，则将热门文件的文件访问需求调度至目标服务节点；第二请求调度单元，被配置为执行若待访问文件中包含冷门文件，则将冷门文件的文件访问请求调度至目标服务节点中的优选服务节点，优选服务节点基于各个服务节点的排序确定。

在一示例性实施例中，文件属性信息包括待访问文件的文件标识。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种用于文件访问请求的调度的电子设备S00的框图。例如，电子设备S00可以为一服务器。参照图10，电子设备S00包括处理组件S20，其进一步包括一个或多个处理器，以及由存储器S22所代表的存储器资源，用于存储可由处理组件S20的执行的指令，例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件S20被配置为执行指令，以执行上述文件访问请求的调度方法。

电子设备S00还可以包括一个电源组件S24被配置为执行电子设备S00的电源管理，一个有线或无线网络接口S26被配置为将电子设备S00连接到网络，和一个输入输出(I/O)接口S28。电子设备S00可以操作基于存储在存储器S22的操作系统，例如WindowsServer，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器S22，上述指令可由电子设备S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项实施例所述的文件访问请求的调度方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种文件访问请求的调度方法，其特征在于，应用于调度系统，包括：

接收客户端发送的文件访问请求，所述文件访问请求包括客户端信息和待访问文件的文件属性信息，所述客户端信息包括客户端所在终端的网段、终端所在地区中的至少一个；

获取所述客户端信息与各个服务节点之间的网络质量数据，所述客户端信息与各个所述服务节点之间的网络质量数据是对所述客户端上报的历史网络数据进行处理得到的；

根据所述文件属性信息确定网络带宽需求；

根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定所述网络质量数据满足服务质量需求，且剩余网络带宽满足所述网络带宽需求的目标服务节点；

将所述文件访问请求调度到所述目标服务节点。

2.根据权利要求1所述的文件访问请求的调度方法，其特征在于，所述获取所述客户端信息与各个服务节点之间的网络质量数据，包括：

确定所述客户端所在终端的网段，并获取所述网段的质量值；

若所述质量值低于阈值，则获取所述网段与所述各个服务节点之间的网络质量数据；

若所述质量值高于或者等于所述阈值，则获取所述终端所在地区与所述各个服务节点之间的网络质量数据。

3.根据权利要求2所述的文件访问请求的调度方法，其特征在于，所述网段的质量值基于所述客户端上报的历史网络数据确定。

4.根据权利要求1所述的文件访问请求的调度方法，其特征在于，所述客户端信息与所述各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；

所述质量关系数据通过深度学习模型对与所述客户端上报的历史网络数据进行分析处理得到。

5.根据权利要求4所述的文件访问请求的调度方法，其特征在于，所述深度学习模型为增强学习模型。

6.根据权利要求1所述的文件访问请求的调度方法，其特征在于，所述根据所述文件属性信息确定网络带宽需求，包括：

获取预设的与文件类型对应的服务质量等级；

确定所述服务质量等级最高的目标文件类型；

从预先定义的文件类型与网络带宽需求的对应关系中，获取与所述目标文件类型对应的网络带宽需求。

7.根据权利要求1所述的文件访问请求的调度方法，其特征在于，所述根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定所述网络质量数据满足服务质量需求，且剩余网络带宽满足所述网络带宽需求的目标服务节点，包括：

根据所述网络质量数据对所述各个服务节点进行排序；

从排序后的所述各个服务节点中选择满足服务质量需求的服务节点；

从所述满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足所述网络带宽需求，且服务节点的可用性状态为可用的目标服务节点。

8.根据权利要求7所述的文件访问请求的调度方法，其特征在于，所述服务节点的剩余网络带宽从预先建立的服务节点信息表中获取得到；

所述服务节点信息表包括各个服务节点的可用性状态以及所述各个服务节点的剩余网络带宽，所述可用性状态包括可用和不可用两种状态。

9.根据权利要求7所述的文件访问请求的调度方法，其特征在于，所述将所述文件访问请求调度到所述目标服务节点，包括：

若所述待访问文件中包含热门文件，则将所述热门文件的文件访问请求调度至所述目标服务节点；

若所述待访问文件中包含冷门文件，则将所述冷门文件的文件访问请求调度至所述目标服务节点中的优选服务节点，所述优选服务节点基于所述各个服务节点的排序确定。

10.根据权利要求1～9任一项所述的文件访问请求的调度方法，其特征在于，所述文件属性信息包括所述待访问文件的文件标识。

11.一种文件访问请求的调度装置，其特征在于，应用于调度系统，包括：

接收模块，被配置为执行接收客户端发送的文件访问请求，所述文件访问请求包括客户端信息和待访问文件的文件属性信息，所述客户端信息包括客户端所在终端的网段、终端所在地区中的至少一个；

获取模块，被配置为执行获取所述客户端信息与各个服务节点之间的网络质量数据，所述客户端信息与各个所述服务节点之间的网络质量数据是对所述客户端上报的历史网络数据进行处理得到的；

需求确定模块，被配置为执行根据所述文件属性信息确定网络带宽需求；

节点确定模块，被配置为执行根据所述网络质量数据以及所述网络带宽需求，从所述各个服务节点中确定所述网络质量数据满足服务质量需求，且剩余网络带宽满足所述网络带宽需求的目标服务节点；

请求调度模块，被配置为执行将所述文件访问请求调度到所述目标服务节点。

12.根据权利要求11所述的文件访问请求的调度装置，其特征在于，所述获取模块，包括：

质量值获取单元，被配置为执行确定所述客户端所在终端的网段，并获取所述网段的质量值；

第一数据获取单元，被配置为执行若所述质量值低于阈值，则获取所述网段与所述各个服务节点之间的网络质量数据；

第二数据获取单元，被配置为执行若所述质量值高于或者等于所述阈值，则获取所述终端所在地区与所述各个服务节点之间的网络质量数据。

13.根据权利要求12所述的文件访问请求的调度装置，其特征在于，所述网段的质量值基于所述客户端上报的历史网络数据确定。

14.根据权利要求11所述的文件访问请求的调度装置，其特征在于，所述客户端信息与所述各个服务节点之间的网络质量数据是从质量关系数据中获取得到的；

所述质量关系数据通过深度学习模型对与所述客户端上报的历史网络数据进行分析处理得到。

15.根据权利要求14所述的文件访问请求的调度装置，其特征在于，所述深度学习模型为增强学习模型。

16.根据权利要求11所述的文件访问请求的调度装置，其特征在于，所述需求确定模块，包括：

质量等级获取单元，被配置为执行获取预设的与文件类型对应的服务质量等级；

类型确定单元，被配置为执行确定所述服务质量等级最高的目标文件类型；

需求确定单元，被配置为执行从预先定义的文件类型与网络带宽需求的对应关系中，获取与所述目标文件类型对应的网络带宽需求。

17.根据权利要求11所述的文件访问请求的调度装置，其特征在于，所述节点确定模块，包括：

排序单元，被配置为执行根据所述网络质量数据对所述各个服务节点进行排序；

第一节点筛选单元，被配置为执行从排序后的所述各个服务节点中选择满足服务质量需求的服务节点；

第二节点筛选单元，被配置为执行从所述满足服务质量需求的服务节点中选择服务节点的剩余网络带宽满足所述网络带宽需求，且服务节点的可用性状态为可用的目标服务节点。

18.根据权利要求17所述的文件访问请求的调度装置，其特征在于，所述服务节点的剩余网络带宽从预先建立的服务节点信息表中获取得到；

所述服务节点信息表包括各个服务节点的可用性状态以及所述各个服务节点的剩余网络带宽，所述可用性状态包括可用和不可用两种状态。

19.根据权利要求17所述的文件访问请求的调度装置，其特征在于，所述请求调度模块，包括：

第一请求调度单元，被配置为执行若所述待访问文件中包含热门文件，则将所述热门文件的文件访问需求调度至所述目标服务节点；

第二请求调度单元，被配置为执行若所述待访问文件中包含冷门文件，则将所述冷门文件的文件访问请求调度至所述目标服务节点中的优选服务节点，所述优选服务节点基于所述各个服务节点的排序确定。

20.根据权利要求11所述的文件访问请求的调度装置，其特征在于，所述文件属性信息包括所述待访问文件的文件标识。

21.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至10中任一项所述的文件访问请求的调度方法。

22.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至10中任一项所述的文件访问请求的调度方法。

Images