CN112653736B

CN112653736B - 一种并行回源方法、装置及电子设备

Info

Publication number: CN112653736B
Application number: CN202011456612.3A
Authority: CN
Inventors: 李尾冬
Original assignee: Beijing Kingsoft Cloud Network Technology Co Ltd
Current assignee: Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2022-05-06
Anticipated expiration: 2040-12-10
Also published as: CN112653736A

Abstract

本发明实施例提供了一种并行回源方法、装置及电子设备。其中，所述方法包括：根据多个源站的地址，分别与多个源站建立连接；通过所建立的连接，针对目标数据并行向多个源站发送回源请求信息；当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除任一连接以外的其他连接关闭，其中，请求确认信息为源站在确定源站本地存储有目标数据后发送的；通过任一连接从源站获取所述目标数据。可以通过并行向多个源站发送回源请求的方式同时确定多个源站中是否存储有目标数据，同时在确定存储有目标数据的源站后关闭与其他源站之间的连接，避免对源站的带宽产生影响。因此可以在对源站带宽影响较小的情况下，降低首屏时间。

Description

一种并行回源方法、装置及电子设备

技术领域

本发明涉及云存储技术领域，特别是涉及一种并行回源方法、装置及电子设备。

背景技术

受限制于用户端设备的存储能力，在一些应用场景中用户所需浏览的数据可能被存储于源站，例如用户观看直播时所需观看的直播流可以被存储于源站。用户端设备需要从源站获取用户所需浏览的数据(下文称目标数据)，从而在用户端设备的显示界面中展示用户所需浏览的数据。

以用户观看直播为例，当用户打开直播间页面时用户端设备从源站获取目标数据，直至用户端设备获取到目标数据才能够使得用户正常观看直播。即从用户打开直播间页面至用户能够正常观看直播中间需要等待一定时间，下文称该时长为首屏时间。

如何降低首屏时间从而提高用户体验，成为亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种并行回源方法、装置及电子设备，以实现降低首屏时间。具体技术方案如下：

在本发明实施例的第一方面，提供了一种并行回源方法，所述方法包括：

根据多个源站的地址，分别与所述多个源站建立连接；

通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息；

当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除所述任一连接以外的其他连接关闭，其中，所述请求确认信息为源站在确定源站本地存储有所述目标数据后发送的；

通过所述任一连接从源站获取所述目标数据。

在一种可能的实施例中，在所述根据多个源站的地址，分别与所述多个源站建立连接之前，所述方法还包括：

读取配置文件，获取所述配置文件中所配置的多个源站的地址；和/或，

按照预设的动态地址获取方式，获取多个源站的地址。

在一种可能的实施例中，所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息，包括：

执行预设的LUA脚本以并行调用多个线程，其中多个线程用于通过建立的连接，针对目标数据并行向所述多个源站发送回源请求信息。

在一种可能的实施例中，在所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息之后，所述方法还包括：

如果未通过所建立的任一连接接收到源站发送的请求确认信息，关闭所建立的所有连接。

在一种可能的实施例中，在所述关闭所建立的所有连接之后，所述方法还包括：

按照指定顺序依次确定所述多个源站是否在源站本地存储有所述目标数据；

当确定任一源站在源站本地存储有所述目标数据，从所述任一源站获取所述目标数据。

在本发明实施例的第二方面，提供了一种并行回源装置，所述装置包括：

连接模块，用于根据多个源站的地址，分别与所述多个源站建立连接；

数据请求模块，用于通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息；

监测模块，用于当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除所述任一连接以外的其他连接关闭，其中，所述请求确认信息为源站在确定源站本地存储有所述目标数据后发送的；

数据获取模块，用于通过所述任一连接从源站获取所述目标数据。

在一种可能的实施例中，所述装置还包括地址配置模块，用于在所述根据多个源站的地址，分别与所述多个源站建立连接之前，读取配置文件，获取所述配置文件中所配置的多个源站的地址；和/或，

按照预设的动态地址获取方式，获取多个源站的地址。

在一种可能的实施例中，所述数据请求模块通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息，包括：

在一种可能的实施例中，所述监测模块还用于在所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息之后，如果未通过所建立的任一连接接收到源站发送的请求确认信息，关闭所建立的所有连接。

在一种可能的实施例中，所述装置还包括轮询回源模块，用于在所述关闭所建立的所有连接之后，按照指定顺序依次确定所述多个源站是否在源站本地存储有所述目标数据；

在本发明实施例的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现实现上述第一方面任一所述的方法步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本发明实施例有益效果：

本发明实施例提供的并行回源方法、装置及电子设备，可以通过并行向多个源站发送回源请求的方式同时确定多个源站中是否存储有目标数据，同时在确定存储有目标数据的源站后关闭与其他源站之间的连接，避免对源站的带宽产生影响。因此可以在对源站带宽影响较小的情况下，降低首屏时间。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的并行回源方法的一种流程示意图；

图2为本发明实施例提供的并行回源方法的另一种流程示意图；

图3为本发明实施例提供的并行回源装置的一种结构示意图；

图4为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为更清楚的对本发明实施例提供的并行回源方法进行说明，下面将对本发明实施例提供的并行回源方法的可能应用场景进行示例性说明，可以理解的以下示例仅是本发明实施例提供的并行回源方法的一种可能的应用场景，在其他可能的应用场景中，本发明实施例提供的并行回源方法也可以应用于其他可能的应用场景中，本实施例对此不做任何限制。

用户端设备可以针对目标数据向边缘设备发送回源请求，边缘设备接收到该回源请求后可以针对目标数据向源站发送回源请求以确定源站中是否存储有目标数据，如果源站中存储有目标数据则从源站中获取目标数据。则边缘设备可以针对一个新的源站重新执行上述步骤，直至获取到目标数据，将获取到的目标数据转发至用户端设备。

由于并非所有源站中都存储有目标数据，当源站的数目较多时，边缘设备可能需要多次重复执行以上步骤才能够获取目标数据。由于确定源站是否存储有目标数据需要花费一定时长，因此对于用户端设备从向边缘设备发送回源请求直至用户端设备获取到目标数据，可能需要经历较长的时间。因此将导致用户端设备的首屏时间较长。

基于此，本发明实施例提供了一种并行回源方法，该方法可以应用于任一具有回源功能的电子设备，如内容分发网络中的边缘设备，方法可以参见图1，图1所示为本发明实施例提供的并行回源方法的一种流程示意图，可以包括：

S101，根据多个源站的地址，分别与多个源站建立连接。

S102，通过所建立的连接，针对目标数据并行向多个源站发送回源请求信息。

S103，当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除任一连接以外的其他连接关闭。

S104，通过任一连接从源站获取目标数据。

选用该实施例，可以通过并行向多个源站发送回源请求的方式同时确定多个源站中是否存储有目标数据，同时在确定存储有目标数据的源站后关闭与其他源站之间的连接，避免对源站的带宽产生影响。因此可以在对源站带宽影响较小的情况下，降低首屏时间。

其中，在S101中多个源站的数目可以根据应用场景的不同而不同，并且在一些应用场景中可以只在源站的数目大于预设数目阈值的情况下才使用本发明实施例提供的并行回源方法获取目标数据。在另一些应用场景中也可以是在源站的数目为多个时既采用本发明实施例提供的并行回源方法。

多个源站的地址可以是在S101之前预先获取得到的，获取的方式根据应用场景的不同可以不同。示例性的，在一种可能的实施例中，可以是通过以下两种方式中的一种或多种方式获取源站的地址：

方式一：读取配置文件，获取配置文件中所配置的多个源站的地址。

方式二：按照预设的动态地址获取方式，获取多个源站的地址。

其中，配置文件可以相关人员根据实际需求输入至执行主体的。示例性的，以用户观看直播为例，配置文件中可以包括直播服务提供方的所有源站的地址。

在S102中，回源请求信息中可以包含用于表示目标数据的标识信息。可以是通过多个线程并行向多个源站发送回源请求信息。示例性的，假设多个源站包括3个源站，分别记为源站1-3，并且假设与源站1建立的连接为连接1，与源站2建立的连接为连接2，与源站3建立的连接为连接3。

则可以是并行调用3个线程，分别记为线程1-3，线程1用于通过连接1向源站1发送回源请求信息，线程2用于通过连接2向源站2发送回源请求信息，线程 3用于通过连接3向源站3发送回源请求信息。

在一种可能的实施例中，并行调用多个线程可以是通过LUA脚本实现的。一方面由于LUA脚本能够并行创建轻量级的线程，其中，LUA为一种编程语言，因此可以降低并行调用多个线程对系统资源的消耗。另一方面由于LUA脚本便于开发、迁移，因此可以有效降低本发明实施例提供的并行回源方法的开发成本和运维成本。

在S103中，请求确认信息为源站在确定原本本地存储有目标数据发送的，根据应用场景的不同请求确认信息可以不同，示例性的，在一种可能的实施例中请求确认信息可以是包含有200OK(超文本传输协议HTTP中约定的一种状态码)的信息。

可以理解的是，当监测到通过所建立的任一连接接收到的源站发送的请求确认信息时，可以确定该任一连接所连接的源站本地存储有目标数据，因此只要维持该任一连接即可以从该任一连接所连接的源站中获取目标数据。对于所建立的连接中除该任一连接以外的其他连接则可以关闭，以降低对源站带宽的影响。

示例性的，仍以前述S102中的示例为例，假设监测到通过连接2接收到源站2发送的包含200OK的信息，则可以关闭连接1和连接3，而继续维持连接2。

在S104中，如前述S103中的分析，由于该任一连接所连接的源站本地存储有目标数据，因此可以通过该任一连接从源站获取目标数据。在获取到目标数据后可以将目标数据发送至用户端设备。

在一些应用场景中，目标数据可能在一定时间后才会被存储在源站之中，示例性的，以用户观看直播的场景为例，当用户打开某主播的直播间页面时该主播可能尚未开始直播，因此主播端设备没有将直播流推送至源站，即在主播开始直播后直播流才会被存储在源站中。

在这些应用场景中，影响用户首屏时间的主要因素为目标数据被存储在源站中的时间，为避免因并行回源对源站带宽的影响，本发明实施例还提供了一种并行回源方法，可以参见图2，图2所示为本发明实施例提供的并行回源方法的另一种流程示意图，可以包括：

S201，根据多个源站的地址，分别与多个源站建立连接。

该步骤与S101相同，可以参见前述S101的相关描述，在此不再赘述。

S202，通过所建立的连接，针对目标数据并行向多个源站发送回源请求信息。

该步骤与S102相同，可以参见前述S102的相关描述，在此不再赘述。

S203，当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除任一连接以外的其他连接关闭。

该步骤与S103相同，可以参见前述S103的相关描述，在此不再赘述。

S204，通过任一连接从源站获取目标数据。

该步骤与S104相同，可以参见前述S104的相关描述，在此不再赘述。

S205，如果未通过所建立的任一连接接收到源站发送的请求确认信息，关闭所建立的所有连接。

可以理解的是，如果未通过所建立的任一连接接收到源站发送的请求确认信息，则可以认为此时多个源站中并未存储有目标数据，即可以认为此时目标数据尚未被存储于源站中，为降低并行回源对源站带宽的影响，此时可以关闭所建立的所有连接。

S206，按照指定顺序依次确定多个源站是否在源站本地存储有目标数据。

如前述分析，此时可以认为影响首屏时间的主要因素并非确定存储有目标数据的源站所花费的时间，而是目标数据存储于源站的时间，因此此时可以采用依次确定各源站本地是否存储有目标数据的方式确定存储有目标数据的源站，以降低并行回源对源站带宽的影响。

其中，指定顺序根据应用场景的不同可以不同，并且指定顺序可以是指预先设置的固定的顺序，也可以是按照预设规则确定得到的动态的顺序。示例性的，在一种可能的实施例中，该指定顺序可以是相关人员根据实际需求或者经验预先配置的顺序，在另一种可能的实施例中，该指定顺序也可以是根据各源站的状态参数对各源站进行排序得到的，状态参数可以包括带宽占用率、回源成功率、所存储的数据量、负载率中的一个或多个参数，并且在除带宽占用率以外的其他参数不变的情况下，排序得到的指定顺序中带宽占用率越高的源站顺位越低，在除回源成功率以外的其他参数不变的情况下，排序得到的指定顺序中回源成功率越高的源站顺位越高，在除所存储的数据量以外的其他参数不变的情况下，排序得到的指定顺序中所存储的数据量越高的源站顺位越高，在除负载率以外的其他参数不变的情况下，排序得到的指定顺序中负载率越高的源站顺位越低。

S207，当确定任一源站在源站本地存储有目标数据，从该任一源站获取目标数据。

选用该实施例，可以在通过并行地发送回源请求未确定出存储有目标数据的源站的情况下，在后续的回源过程中改用依次查询的方式确定各源站中是否存储有目标数据，由于此时首屏时间主要受目标数据存储于源站的时间的影响，因此改用依次查询的方式确定各源站中是否存储有目标数据对首屏时间影响不大，而且能够降低对源站带宽的影响。即可以在对首屏时间影响较小的情况下，降低对源站带宽的影响。

参见图3，图3所示为本发明实施例提供的并行回源装置的一种结构示意图，可以包括：

连接模块301，用于根据多个源站的地址，分别与所述多个源站建立连接；

数据请求模块302，用于通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息；

监测模块303，用于当监测到通过所建立的任一连接接收到源站发送的请求确认信息后，将所建立的连接中除所述任一连接以外的其他连接关闭，其中，所述请求确认信息为源站在确定源站本地存储有所述目标数据后发送的；

数据获取模块304，用于通过所述任一连接从源站获取所述目标数据。

按照预设的动态地址获取方式，获取多个源站的地址。

在一种可能的实施例中，所述数据请求模块302通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息，包括：

在一种可能的实施例中，所述监测模块303还用于在所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息之后，如果未通过所建立的任一连接接收到源站发送的请求确认信息，关闭所建立的所有连接。

本发明实施例还提供了一种电子设备，如图4所示，包括：

计算机可读存储介质401，用于存放计算机程序；

处理器402，用于执行计算机可读存储介质上所存放的程序时，实现如下步骤：

根据多个源站的地址，分别与所述多个源站建立连接；

通过所述任一连接从源站获取所述目标数据。

按照预设的动态地址获取方式，获取多个源站的地址。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一并行回源方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一并行回源方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种并行回源方法，其特征在于，所述方法包括：

根据多个源站的地址，分别与所述多个源站建立连接；

通过所述任一连接从源站获取所述目标数据。

2.根据权利要求1所述的方法，其特征在于，在所述根据多个源站的地址，分别与所述多个源站建立连接之前，所述方法还包括：

按照预设的动态地址获取方式，获取多个源站的地址。

3.根据权利要求1所述的方法，其特征在于，所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息，包括：

4.根据权利要求1所述的方法，其特征在于，在所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，在所述关闭所建立的所有连接之后，所述方法还包括：

6.一种并行回源装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括地址配置模块，用于在所述根据多个源站的地址，分别与所述多个源站建立连接之前，读取配置文件，获取所述配置文件中所配置的多个源站的地址；和/或，

按照预设的动态地址获取方式，获取多个源站的地址。

8.根据权利要求6所述的装置，其特征在于，所述数据请求模块通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息，包括：

9.根据权利要求6所述的装置，其特征在于，所述监测模块还用于在所述通过所建立的连接，针对目标数据并行向所述多个源站发送回源请求信息之后，如果未通过所建立的任一连接接收到源站发送的请求确认信息，关闭所建立的所有连接。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括轮询回源模块，用于在所述关闭所建立的所有连接之后，按照指定顺序依次确定所述多个源站是否在源站本地存储有所述目标数据；

11.一种电子设备，其特征在于，包括：

计算机可读存储介质，用于存放计算机程序；

处理器，用于执行计算机可读存储介质上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。