CN110958279B - 一种数据处理方法及其装置 - Google Patents

一种数据处理方法及其装置 Download PDF

Info

Publication number
CN110958279B
CN110958279B CN201811125727.7A CN201811125727A CN110958279B CN 110958279 B CN110958279 B CN 110958279B CN 201811125727 A CN201811125727 A CN 201811125727A CN 110958279 B CN110958279 B CN 110958279B
Authority
CN
China
Prior art keywords
node
index file
nodes
index
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811125727.7A
Other languages
English (en)
Other versions
CN110958279A (zh
Inventor
刘廷伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811125727.7A priority Critical patent/CN110958279B/zh
Publication of CN110958279A publication Critical patent/CN110958279A/zh
Application granted granted Critical
Publication of CN110958279B publication Critical patent/CN110958279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种数据处理方法及其装置，所述方法包括：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的。利用本申请，可通过获取具有直接访问路径的第一索引文件，缩短了获取内容的时间，提升了用户体验。

Description

一种数据处理方法及其装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法及其装置。
背景技术
目前很多内容(例如，音频和/或视频)提供网站在接收到用户关于内容的请求后利用现有的请求调度方法将用户请求调度到离用户最近的节点并由该节点提供用户请求的内容。现有的请求调度方法通常会将用户请求调度到单个节点上，这种调度方式在用户请求的内容较大时，例如，用户请求视频内容时，会使该节点短时流量突增，导致客户端出现卡顿或播放异常，用户体验变差。
因此，现有技术需要一种提高用户体验的数据处理方法。
发明内容
本申请的示例性实施例提供一种数据处理方法及其装置，用于提高用户体验的数据处理方法。
本申请的示例性实施例提供一种数据处理方法，所述方法包括：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的。
本申请的另一示例性实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现前述步骤。
本申请的另一示例性实施例提供一种数据处理方法，所述方法包括响应于接收到的索引请求，获取包括各个分片所在节点的间接访问路径的第二索引文件；通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件。
本申请的另一示例性实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现前述步骤。
本申请的另一示例性实施例提供一种数据处理装置，所述装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的。
本申请的另一示例性实施例提供一种数据处理装置，所述装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：获取包括各个分片所在节点的间接访问路径的第二索引文件；通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件；发送第一索引文件。
本申请的另一示例性实施例提供一种数据处理方法，所述方法包括向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件。
本申请的另一示例性实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现前述步骤。
本申请的另一示例性实施例提供一种数据处理装置，所述装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件。
本申请的另一示例性实施例提供一种数据处理方法，所述方法包括响应于接收到的索引请求，获取包括各个分片所在节点的直接访问路径的第一索引文件；向客户端发送所述第一索引文件。
本申请的另一示例性实施例提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现前述步骤。
本申请的另一示例性实施例提供一种数据处理装置，所述装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：响应于接收到的索引请求，获取包括各个分片所在节点的直接访问路径的第一索引文件；向客户端发送所述第一索引文件。
本申请的示例性实施例采用的上述至少一个技术方案能够达到以下有益效果：
可通过获取具有直接访问路径的第一索引文件，缩短了获取内容的时间，提升了用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请的示例性实施例的用户访问网站的场景图；
图2是根据本申请的示例性实施例的基于CDN的用户访问网站的场景图；
图3是根据本申请的示例性实施例的基于HLS协议的数据请求流程图；
图4是根据本申请的示例性实施例的数据处理方法的流程图；
图5是根据本申请的示例性实施例的基于CDN的数据处理方法的场景图；
图6是根据本申请的示例性实施例的数据处理装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在介绍本申请的示例性实施例前，为了方便本领域技术人员更好的理解本申请，首先对本申请中涉及的术语进行解释。
通信网络可以包括共同允许单独的设备进行通信、共享数据和访问资源(例如，软件应用)的硬件、软件、协议、和传输组件的系统。更具体地，计算机网络可以是通过通信链路和网段互连的地理上分布的节点的集合，其中，通信链路和网段在诸如个人计算机和工作站之类的末端节点之间传输数据。
节点是指具有唯一网络地址的设备，节点可以是工作站、客户、网络用户或个人计算机，还可以是服务器(例如CDN服务器)、打印机和其他网络连接的设备。将多个节点按照通信线路连接起来形成网络。
DNS(Domain Name System，域名系统)，Internet上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP地址数串。
域名解析(或主机名解析)是指通过域名最终得到该域名对应的IP地址的过程。
IP地址：每个连接到互联网上的主机都会分配一个IP地址，IP地址是用来唯一标识互联网上计算机的逻辑地址，机器之间的访问就是通过IP地址来进行的。IP地址采用二进制的形式表示的话很长，比较麻烦，为了便于使用，IP地址经常被写成十进制的形式，用“.”分开，叫做“点分十进制表示法”,如：127.0.0.1。
域名：在IP地址的基础上发展出一种符号化的地址方案来代替数字型的IP地址。每一个符号化的地址都与特定的IP地址对应，例如，www.hstc.edn.cn。
URL：统一资源定位符(Uniform Resource Locator)俗称为网址，网址格式为：<协议>://<域名或IP地址>:<端口>/<路径>。<协议>://<域名或IP地址>是必需的，<端口>/<路径>有时可省略，如：HTTPs://www.baidu.com/。
HTTP直播流协议(HTTP Live Streaming，简称为HLS)是苹果公司提出的实时流媒体传输协议，可实现流媒体的直播、点播、时移、回看等功能，目前越来越多的内容提供商和运营商，采用HLS协议为用户提供视频服务。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1是根据本申请的示例性实施例的用户访问网站的场景图。
如图1所述，用户在客户端100的浏览器中输入要访问的网站域名，随后，客户端100可查询本地缓存以及host文件中是否存在该网站域名的映射，如果有，则调用该域名的IP地址，完成解析。若不存在，则可通过图1中的DNS服务器200进行解析。应注意，图1中的DNS服务器仅为示意目的，虽然图1中示出了两台DNS服务器，但在对网站域名进行解析的过程中可能涉及多个DNS服务器。
当客户端100中不存在该网站域名的映射时，客户端100向DNS服务器200请求对该网站域名的解析，DNS服务器200可直接或间接地获得对该网站域名的解析。具体来说，客户端100可向本地DNS(local DNS)发起递归的查询请求，这样，本地DNS在接收到查询请求后，对该网站域名进行解析，若解析失败，则可按照递归的方式将该网站域名转发到上级DNS，直至解析成功。解析成功的DNS服务会将该网站域名对应的IP地址发送到客户端100，客户端100可根据IP地址向所述IP地址所属的服务器请求内容，服务器将用户请求内容传送给浏览器。
此外，客户端100还可利用HTTP协议将包括网站域名的业务请求直接发送到HTTPDNS服务器，随后该服务器获取业务在域名配置管理系统上配置的访问延迟最优的IP地址并将该IP地址发送到客户端100，客户端100可根据IP地址向所述IP地址所属的服务器请求内容，服务器将用户请求内容传送给浏览器。
根据本申请的示例性实施例，还存在这样一种情况，当利用Local DNS域名解析失败时，可将所述域名发送到HTTP DNS进行域名解析。
以上参照图1示出用户访问网站的流程图，为了提高用户访问网站的速度，可将用户的访问请求调度到离用户最近的服务节点上，以下将参照图2描述根据本申请的示例性实施例的基于CDN的用户访问网站的流程图。
如图2所示，用户在客户端100的浏览器中输入要访问的网站域名，随后，客户端100可利用图2中的DNS服务器200进行域名解析，而DNS服务器200随后将访问请求发送到CDN系统300中。
具体来说，DNS服务器200将域名的解析权交给预先配置的CDN的DNS服务器。CDN的DNS服务器将CDN的全局负载均衡设备IP地址返回客户端100，客户端100向CDN的调度节点发送用户请求，应注意，所述调度节点可包括全局负载均衡设备和区域负载均衡设备，也就是说，客户端100向全局负载均衡设备发送用户请求，CDN的全局负载均衡设备根据电子装置的信息以及用户请求，确定用户所在区域的区域负载均衡设备，随后，客户端100向区域负载均衡设备发送用户请求。
区域负载均衡设备为客户端100选择适合的缓存服务器提供服务，其中，选择依据可包括：根据电子装置的IP地址选择距离电子装置最近的服务器，根据用户请求中的内容名称，确定包括所述内容的服务器，根据各个服务器的负载情况，选择尚有服务能力的服务器，等。随后，区域负载均衡设备向全局负载均衡设备返回确定提供服务的服务器的IP地址。
全局负载均衡设备将服务器的IP地址返回至客户端100，用户根据所述IP地址向该服务器发送用户请求，该服务器响应于用户请求，将用户所需的内容传送到客户端100。
虽然图2中未示出，但本领域技术人员应明白：所述CDN系统中还包括内容源节点。所述内容源节点具备媒体内容的存储能力以及对CDN节点提供媒体内容下载服务的能力，其中，存储的媒体内容格式可以是视频、图片、文档等；媒体内容存储在源站上的存储方式可以是完整的文件，也可以是经过切片之后的多个分片文件。内容源服务器具备向CDN节点提供内容下载服务，对外支持的传输协议包括但不限于HLS、DASH(Dynamic AdaptiveStreaming over HTTP，动态自适应HTTP流)、MSS(Microsoft Smooth Streaming，微软平滑流)、HDS(HTTP Dynamic Streaming，HTTP动态流)、RTSP(Real Time Stream Protocol，实时流协议)、RTMP(Real Time Messaging Protocol，实时消息传输协议)等，此外，在CDN节点请求向内容源节点下载内容的时候，内容源节点可以提供内容的分片的下载。
也就是说，为了更好地向客户端提供内容，可利用CDN确定适合的节点并利用该节点为客户提供内容。在此过程中，为了提高传输效率，可采用HLS协议对内容进行传输，HLS协议的基本原理是：服务器将音视频流切成小片(TS)，并建立索引(M3U8)文件；用户先获取索引文件，再通过索引文件中的索引地址依次下载和播放对应TS分片，形成流媒体的播放。当同一信号源包含多个不同码率的HLS流时，它能够自适应码率流播，根据终端网络带宽的变化，自动切换到不同码率的流，为用户在不稳定的网络上提供流畅的播放体验。以下将结合图3进行详细描述。
图3是根据本申请的示例性实施例的基于HLS协议的数据请求流程图。
如图3所示，以视频直播为例，用户向获取直播内容的服务器发送视频并利用客户端期望观看视频，则发出针对所述视频的索引文件的请求，经过DNS服务器以及CDN调度节点，确定提供所述视频内容的CDN节点，并由CDN调度节点将该CDN节点的IP地址发送到客户端，客户端利用所述IP地址向该CDN节点请求索引文件，其中，所述索引文件包括M3U8索引文件，M3U8是指UTF-8编码格式的M3U格式。M3U格式的文件是记录了一个索引纯文本文件，可根据它的索引找到对应的音、视频文件的网络地址进行在线播放。
该CDN节点向客户端返回索引文件，客户端可对索引文件进行解析，从而获取TS文件的访问域名，根据TS文件的访问域名，获取TS文件，应注意，所述TS文件的访问域名是指TS文件的域名或间接访问路径，例如，/fifa_live/1529838191_382284689.ts。
综上所述，在利用CDN系统利用HLS协议进行数据分发的过程中，可先获取索引文件，随后根据索引文件获取内容的分片。以下将参照图4具体描述在以上过程中获取索引文件以及利用索引文件获取分片的过程。
图4是根据本申请的示例性实施例的数据处理方法的流程图。图4所述的方法是由发出请求的用户的客户端所执行的。
如图4所示，在步骤S410，向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件。
当用户发出内容请求后，客户端可利用Local DNS确定响应所述内容请求的目标节点。根据示例性实施例，用户可利用客户端发出内容请求，例如，用户可通过对移动终端执行一系列的操作，以请求视频内容，而客户端在接收到用户对于内容的请求后，对所述内容进行域名解析。具体来说，客户端可从所述请求中提取出访问域名，随后，客户端基于所述访问域名向本地DNS(local DNS)发起查询请求，这样，本地DNS在接收到查询请求后，对该网站域名进行解析，若解析失败，则可按照递归的方式将该网站域名转发到上级DNS，直至解析成功。解析成功的DNS服务会将该网站域名对应的IP地址发送到客户端100，也就是说，可通过递归的方式确定与所述域名对应的直接访问路径(例如，IP地址)。
可选地，如果通过Local DNS无法确定提供所述内容的节点，则可请求中包含的域名发送到HTTP DNS，由HTTP DNS对其进行解析以确定提供所述内容的节点。
随后，向所述目标节点发送与所述内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件，其中，所述直接访问路径是指直接根据该访问路径访问节点的路径，包括但不限于IP地址。根据本申请的示例性实施例，所述内容可由多个分片构成，可获取每个分片所在节点的间接访问路径构成了第二索引文件，应注意，第二索引文件包括但不限于每个分片所在节点的间接访问路径，其中，所述间接访问路径是间接访问路径(例如，域名)，也就是说，客户端无法通过此间接访问路径直接访问节点。
此外，客户端可根据HLS协议，向目标节点发送索引请求，该索引请求可以是基于HLS协议生成的请求。也就是说，在利用HLS协议传输内容的情况下，客户端可生成对与所述内容对应的M3U8文件的索引请求，其中，所述M3U8文件包括TS分片所在节点的间接访问路径，客户端在获得M3U8文件后可利用M3U8中的间接访问路径来获取各个分片。应注意，如果间接访问路径对应的节点上没有分片内容，则该节点可通过向资源服务器请求资源来获取分片内容，随后向客户端提供分片内容。
根据本申请的示例性实施例，可向所述目标节点发送所述索引请求，例如，可通过所述目标节点的IP地址，向所述目标节点发送M3U8文件请求。
在步骤S420，从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的。具体来说，在所述目标节点接收到所述索引请求后，可根据各个节点的服务能力、负载能力等确定可提供各个分片的节点，并基于此，生成包括各个分片所在节点的间接访问路径的第二索引文件。
随后，通过将第二索引文件中的各个节点的间接访问路径替换成直接访问路径，生成包括各个分片所在节点的直接访问路径的第一索引文件，其中，直接访问路径是指客户端可直接利用该地址访问节点的地址。根据本申请的示例性实施例，可利用HTTP DNS，将各个节点的间接访问路径转换为IP地址。
随后，将包括各个分片所在节点的直接访问路径的第一索引文件发送到所述目标节点，因此，可从所述目标节点接收到利用第二索引文件生成的包括各个分片所在节点的直接访问路径的第一索引文件。
可选地，所述客户端可根据第一索引文件中的直接访问路径，从与直接访问路径对应的节点上获取各个分片。
应注意，根据本申请的示例性实施例的数据处理方法可适用于CDN系统中，具体来说，在确定提供内容的节点的过程中，可利用CDN向用户推荐适当的节点，例如，可通过CDN确定提供内容的节点以及提供构成内容的各个分片所在节点。
根据本申请的示例性实施例，提供一种数据处理方法，所述方法包括：获取包括各个分片所在节点的间接访问路径的第二索引文件；基于获取各个分片所在节点的间接访问路径，生成获取各个分片所在节点的IP地址的第一索引文件；发送第一索引文件。可选地，可将第一索引文件发送到请求第一索引文件的节点(例如，客户端)。
可选地，所述方法可由如上所述的目标节点执行，也就是说，目标节点在接收到来自客户端的索引请求后，执行根据本申请的示例性实施例的数据处理方法。
可选地，获取包括各个分片所在节点的间接访问路径的第二索引文件包括：响应于接收到的索引请求，确定在内容分发网络CDN中各个分片所在节点的间接访问路径；根据各个分片所在节点的间接访问路径，生成包括各个分片所在节点的直接访问路径的第一索引文件。
可选地，利用第二索引文件中的各个节点的间接访问路径生成包括各个分片所在节点的IP地址的第一索引文件包括：利用HTTP协议将第二索引文件中的各个分片所在节点的间接访问路径进行域名解析成各个分片的IP地址；利用各个分片的IP地址生成第一索引文件。
根据本申请的示例性实施例，提供一种数据处理方法，所述方法包括：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件。可选地，所述目标节点包括CDN节点。
也就是说，客户端在利用HLS协议向CDN节点发送索引请求后，可从CDN节点获取第一索引文件。
此外，根据本申请的示例性实施例，提供一种数据处理方法，所述方法包括：响应于接收到的索引请求，获取包括各个分片所在节点的直接访问路径的第一索引文件；向客户端发送所述第一索引文件。可选地，所述方法应用于CDN节点。
也就是说，CDN节点在接收到索引请求后，可获取第一索引文件，并将第一索引文件发送到客户端。
以下将结合图5具体描述基于CDN的数据处理方法。图5示出了根据本申请的示例性实施例的基于CDN的数据处理方法的场景图。
如图5所示，客户端发出内容请求后，利用Local DNS确定提供所述内容的目标节点的IP地址，根据内容请求的域名确定提供所述内容的节点的IP地址。可选地，当LocalDNS无法解析出该域名时，可将该域名发送到HTTP DNS，由HTTP DNS解析所述域名。随后，客户端根据所述IP地址，向所述目标节点请求第二索引文件(M3U8文件)，所述目标节点生成包括各个分片文件(ts文件)的第二索引文件，随后，将分片文件中的访问域名发送到HTTPDNS，HTTP DNS可将每个分片文件所在的节点的访问域名转换为IP地址，并将该IP地址发送到所述目标节点，所述目标节点根据IP地址生成第一索引文件。
客户端在收到第一索引文件后，利用第一索引文件中的各个分片所在的IP地址，向各个节点请求分片。
应注意，在所述目标节点确定每个分片文件所在的节点时，可考虑各个节点的状态(例如，各个节点的运行状态、负载情况、网络状态和距离客户端的举例等)来确定提供分片文件的节点。
综上所述，根据本申请的示例性实施例的数据处理方法可通过获取具有直接访问路径的第一索引文件，缩短了获取内容的时间，提升了用户体验。可选地，可在利用localDNS进行域名解析的情况下利用HTTP DNS对分片文件所在节点进行域名解析，这样不需要对客户端进行额外设置，还可以准确高效地获取内容。
为了更清楚地明白本申请的示例性实施例的发明构思，以下将参照图6描述本申请的示例性实施例的数据处理装置的框图。本领域普通技术人员将理解：图6中的数据处理装置仅示出了与本示例性实施例相关的组件，数据处理装置中还包括除了图6中示出的组件之外的通用组件。
图6示出本申请的示例性实施例的数据处理装置的框图。参考图6，在硬件层面，该服务器包括处理器、内部总线和计算机可读存储介质，其中，所述计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
具体来说，所述处理器执行以下操作：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的。
可选地，所述处理器在实现步骤在向目标节点发送与内容请求对应的索引请求前还包括：利用本地域名系统Local DNS确定响应所述内容请求的目标节点。
可选地，第一索引文件是通过利用http DNS将第二索引文件中的各个分片所在节点的间接访问地址替换为各个分片所在节点的IP地址而获得的。
可选地，所述处理器在实现步骤从所述目标节点接收第一索引文件后还包括：基于第一索引文件，向与各个分片的直接访问地址对应的节点请求各个分片。
根据本申请的示例性实施例，提供一种数据处理装置，所述装置包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：获取包括各个分片所在节点的间接访问路径的第二索引文件；通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件；发送第一索引文件。
可选地，所述处理器在实现步骤获取包括各个分片所在节点的间接访问路径的第二索引文件包括：响应于接收到的索引请求，确定在内容分发网络CDN中各个分片所在节点的间接访问路径；通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件。
可选地，所述处理器在实现步骤通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件包括：利用HTTP DNS将第二索引文件中的各个分片所在节点的间接访问路径进行域名解析成各个分片所在节点的IP地址；通过用各个分片所在节点的IP地址替换各个分片所在节点的间接访问路径来获得第一索引文件。
根据本申请的示例性实施例，提供一种数据处理装置，所述装置包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；从所述目标节点接收第一索引文件。可选地，所述目标节点包括CDN节点。
根据本申请的示例性实施例，提供一种数据处理装置，所述装置包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：响应于接收到的索引请求，获取包括各个分片所在节点的直接访问路径的第一索引文件；向客户端发送所述第一索引文件。可选地，所述数据处理装置可包括CDN节点。
综上所述，根据本申请的示例性实施例的数据处理装置可通过获取具有直接访问路径的第一索引文件，缩短了获取内容的时间，提升了用户体验。可选地，可在利用localDNS进行域名解析的情况下利用HTTP DNS对分片文件所在节点进行域名解析，这样不需要对客户端进行额外设置，还可以准确高效地获取内容。
需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤21和步骤22的执行主体可以为设备1，步骤23的执行主体可以为设备2；又比如，步骤21的执行主体可以为设备1，步骤22和步骤23的执行主体可以为设备2；等等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种数据处理方法，其特征在于，包括：
向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；
从所述目标节点接收第一索引文件，其中，第一索引文件是通过将第二索引文件中的各个分片所在节点的间接访问路径替换为各个分片所在节点的直接访问路径而获得的，各个分片所在的节点是所述目标节点根据各个节点的状态分别确定，各个节点的状态包括运行状态、负载情况、网络状态和距离客户端的距离。
2.如权利要求1所述的方法，其特征在于，在向目标节点发送与内容请求对应的索引请求前还包括：
利用本地域名系统LocalDNS确定响应所述内容请求的目标节点。
3.如权利要求1所述的方法，其特征在于，第一索引文件是通过利用http DNS将第二索引文件中的各个分片所在节点的间接访问地址替换为各个分片所在节点的IP地址而获得的。
4.如权利要求1所述的方法，其特征在于，从所述目标节点接收第一索引文件后还包括：
基于第一索引文件，向与各个分片的直接访问地址对应的节点请求各个分片。
5.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1-4中的任一权利要求所述的方法。
6.一种数据处理装置，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1-4中的任一权利要求所述的方法。
7.一种数据处理方法，其特征在于，包括：
获取包括各个分片所在节点的间接访问路径的第二索引文件，各个分片所在的节点是目标节点根据各个节点的状态分别确定，各个节点的状态包括运行状态、负载情况、网络状态和距离客户端的距离；
通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件；
发送第一索引文件。
8.如权利要求7所述的方法，其特征在于，获取包括各个分片所在节点的间接访问路径的第二索引文件包括：
响应于接收到的索引请求，确定在内容分发网络CDN中各个分片所在节点的间接访问路径；
根据各个分片所在节点的间接访问路径，生成包括各个分片所在节点的间接访问路径的第二索引文件。
9.如权利要求7所述的方法，其特征在于，通过将各个分片所在节点的间接访问路径替换为直接访问路径来获得第一索引文件包括：
通过利用HTTP DNS将第二索引文件中的各个分片所在节点的间接访问路径进行域名解析，获得各个分片所在节点的IP地址；
通过用各个分片所在节点的IP地址替换各个分片所在节点的间接访问路径来获得第一索引文件。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求7-9中的任一权利要求所述的方法。
11.一种数据处理装置，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求7-9中的任一权利要求所述的方法。
12.一种数据处理方法，其特征在于，包括：
向目标节点发送与内容请求对应的索引请求，其中，索引请求用于请求包括所述内容的各个分片所在节点的直接访问路径的第一索引文件；
从所述目标节点接收第一索引文件，各个分片所在的节点是所述目标节点根据各个节点的状态分别确定，各个节点的状态包括运行状态、负载情况、网络状态和距离客户端的距离。
13.如权利要求12所述的方法，其特征在于，所述目标节点包括CDN节点。
14.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求12-13中的任一权利要求所述的方法。
15.一种数据处理装置，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求12-13中的任一权利要求所述的方法。
16.一种数据处理方法，其特征在于，包括：
响应于接收到的索引请求，获取包括各个分片所在节点的直接访问路径的第一索引文件；
向客户端发送所述第一索引文件，各个分片所在的节点是目标节点根据各个节点的状态分别确定，各个节点的状态包括运行状态、负载情况、网络状态和距离客户端的距离。
17.如权利要求16所述的方法，其特征在于，所述方法应用于CDN节点。
18.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求16-17中的任一权利要求所述的方法。
19.一种数据处理装置，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求16-17中的任一权利要求所述的方法。
CN201811125727.7A 2018-09-26 2018-09-26 一种数据处理方法及其装置 Active CN110958279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811125727.7A CN110958279B (zh) 2018-09-26 2018-09-26 一种数据处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811125727.7A CN110958279B (zh) 2018-09-26 2018-09-26 一种数据处理方法及其装置

Publications (2)

Publication Number Publication Date
CN110958279A CN110958279A (zh) 2020-04-03
CN110958279B true CN110958279B (zh) 2023-04-07

Family

ID=69964721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811125727.7A Active CN110958279B (zh) 2018-09-26 2018-09-26 一种数据处理方法及其装置

Country Status (1)

Country Link
CN (1) CN110958279B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949833B (zh) * 2020-08-17 2024-08-20 抖音视界有限公司 索引构建方法、数据处理方法、装置、电子设备及介质
CN114401430A (zh) * 2022-01-21 2022-04-26 广州虎牙科技有限公司 视频回放方法、装置、服务器、系统及存储介质
CN117061615B (zh) * 2023-10-09 2024-01-16 杭州优云科技有限公司 缓存路径获取方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079983A (zh) * 2014-06-26 2014-10-01 江苏省邮电规划设计院有限责任公司 一种hls节目录制和服务的系统和方法
CN105812850A (zh) * 2014-12-31 2016-07-27 乐视网信息技术（北京）股份有限公司 一种视频文件播放方法及其系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3080972B1 (en) * 2013-12-12 2017-06-28 Telefonaktiebolaget LM Ericsson (publ) A method and network node for caching web content
WO2016074149A1 (en) * 2014-11-11 2016-05-19 21 Vianet Group, Inc. Expedited media content delivery
CN104506493B (zh) * 2014-12-04 2018-02-27 武汉市烽视威科技有限公司 一种实现hls内容回源和缓存的方法
CN105872721A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 起播速度的处理方法及装置
US20170171568A1 (en) * 2015-12-14 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and device for processing live video
US10404649B2 (en) * 2016-09-30 2019-09-03 DISH Technologies L.L.C. Content delivery optimization using adaptive and dynamic DNS
CN108540868B (zh) * 2018-05-16 2019-04-16 北京百度网讯科技有限公司 Hls直播的处理方法、装置、服务器、终端及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079983A (zh) * 2014-06-26 2014-10-01 江苏省邮电规划设计院有限责任公司 一种hls节目录制和服务的系统和方法
CN105812850A (zh) * 2014-12-31 2016-07-27 乐视网信息技术（北京）股份有限公司 一种视频文件播放方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. Huang等.Bounded-latency content distribution feasibility and evaluation.《IEEE Transactions on Computers》.2005,全文. *
洪伟等.自适应流媒体技术在CDN中的应用研究.《现代电信科技》.2012,全文. *

Also Published As

Publication number Publication date
CN110958279A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
US11929978B2 (en) Network address resolution
EP3446461B1 (en) Just in time transcoding and packaging in ipv6 networks
CN102077189B (zh) 使用网络计算组件的请求路由
US8756341B1 (en) Request routing utilizing popularity information
EP2663929B1 (en) Customized domain names in a content delivery network (cdn)
US8521885B1 (en) Dynamically translating resource identifiers for request routing using popularity information
US12034794B2 (en) Network address resolution
CN110958279B (zh) 一种数据处理方法及其装置
US20170041422A1 (en) Method and system for retrieving a content manifest in a network
CN108632680B (zh) 一种直播内容的调度方法、调度服务器及终端
KR101363164B1 (ko) 변조된 ｕｒｌ을 사용하는 미디어 콘텐츠 공유 방법 및 장치
KR20160069282A (ko) 웹툰의 서비스 속도 향상 시스템 및 방법
CN118714086A (zh) 负载均衡方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026978

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant