CN114760356A - 数据读取请求处理方法、装置及数据读取请求处理系统 - Google Patents
数据读取请求处理方法、装置及数据读取请求处理系统 Download PDFInfo
- Publication number
- CN114760356A CN114760356A CN202011590541.6A CN202011590541A CN114760356A CN 114760356 A CN114760356 A CN 114760356A CN 202011590541 A CN202011590541 A CN 202011590541A CN 114760356 A CN114760356 A CN 114760356A
- Authority
- CN
- China
- Prior art keywords
- data
- address
- target
- target data
- storage server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000004044 response Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了数据读取请求处理方法、装置及数据读取请求处理系统,应用于数据分发技术技术领域。该方法包括:接收CDN节点发送的针对目标数据的数据读取请求;判断已存储的数据中是否包含所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;当所述已存储的数据中不包含所述目标数据时,则从所述数据源站系统中获取所述目标数据,并向所述CDN节点反馈所获取的所述目标数据。通过本方案,可以减轻数据源站的带宽压力。
Description
技术领域
本发明涉及数据分发技术领域,特别是涉及数据读取请求处理方法、装置及数据读取请求处理系统。
背景技术
内容分发网络(Content Delivery Network,CDN)是建立并覆盖在承载网之上,由分布在不同区域的CDN节点组成的分布式网络。内容分发网络可以用于分担数据源站的负载压力,避免网络拥塞,并可以确保在不同区域、不同场景下加速网站内容的分发,以提高资源访问速度。
现有技术中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN中心节点需要向数据源站发送数据读取请求,以向数据源站请求目标数据。
上述方案中,在大量客户端并发地向内容分发网络来请求内容分发网络未存储的目标数据时,往往导致数据源站在同一时间接收到大量的数据读取请求,从而使得数据源站的带宽压力大,因此,如何减轻数据源站的带宽压力是亟需解决的技术问题。
发明内容
本发明实施例的目的在于提供数据读取请求处理方法、装置及数据读取请求处理系统,以减轻数据源站的带宽压力。具体技术方案如下:
第一方面,本发明实施例还提供一种数据读取请求处理方法,应用于云存储节点,所述云存储节点与CDN节点相通信,且与数据源站系统相通信;所述方法包括:
接收CDN节点发送的针对目标数据的数据读取请求;
判断已存储的数据中是否包含所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;
当所述已存储的数据中不包含所述目标数据时,则从所述数据源站系统中获取所述目标数据,并向所述CDN节点反馈所获取的所述目标数据。
可选的,所述从所述数据源站系统中获取所述目标数据,包括:
向所述数据源站系统包括的调度服务器发送针对所述目标数据的数据请求,以使所述调度服务器确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,并向所述云存储节点反馈所述重定向地址,其中,所述目标存储服务器为所述数据源站系统包含的至少一个存储服务器中的一个;
接收所述调度服务器反馈的所述重定向地址;
基于所述重定向地址,向所述目标存储服务器请求所述目标数据。
可选的,所述调度服务器确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,包括:
所述调度服务器从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定存储有所述目标数据的所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
可选的,所述主存储服务器与所述云存储节点通过专线连接,所述全量存储服务器与所述云存储节点通过公网连接;
所述基于所述重定向地址,向所述目标存储服务器请求所述目标数据,包括:
若所述重定向地址为所述主存储服务器的地址,则基于所述重定向地址,通过所述专线向所述主存储服务器请求所述目标数据;
若所述重定向地址为所述全量存储服务器的地址,则基于所述重定向地址,通过所述公网向所述全量存储服务器请求所述目标数据。
可选的,在向所述数据源站系统包括的调度服务器发送针对所述目标数据的数据请求之后,所述方法还包括:
若在指定时长内未接收到所述调度服务器反馈的重定向地址,则基于预先存储的所述全量存储服务器的地址,从所述全量服务器中获取所述目标数据。
可选的,在所述从所述数据源站系统中获取所述目标数据之后,所述方法还包括:
在所述云存储节点中存储所述目标数据。
可选的,所述方法还包括:
接收所述数据源站系统传输的待存储数据,并存储所述待存储数据,其中,所述待存储数据为所述数据源站系统确定的待转移存储的数据。
第二方面,本发明实施例还提供一种数据读取请求处理方法,应用于数据源站系统,所述数据源站系统与云存储节点相通信,所述云存储节点与CDN节点相通信;所述方法包括:
接收所述云存储节点发送的针对目标数据的数据请求,其中,所述数据请求为所述云存储节点在接收到所述CDN节点发送的针对所述目标数据的数据读取请求后,当判断已存储的数据中不包含所述目标数据时所发送的请求;
确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据。
可选的,所述方法具体应用于所述数据源站系统中的调度服务器;
所述确定所述数据请求对应的响应结果,包括:
确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址;其中,所述目标存储服务器为所述数据源站系统包含的至少一个存储服务器中的一个;所述向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据,包括:
向所述云存储节点反馈所述重定向地址,以使所述云存储节点基于所述重定向地址,向所述目标存储服务器请求所述目标数据,并向所述CDN节点反馈所述目标数据。
可选的,所述数据请求中携带所述目标数据的标识信息;
所述确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,包括:
基于预先建立的标识信息与地址之间的对应关系,确定与所述数据请求中携带的标识信息对应的地址,作为重定向地址,其中,在所述对应关系中,与每一标识信息对应的地址为存储有该标识信息所表示数据的存储服务器的地址。
可选的,所述基于预先建立的标识信息与地址之间的对应关系,确定与所述数据请求中携带的标识信息对应的地址,作为重定向地址,包括:
基于预先建立的标识信息与地址之间的对应关系,从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定与所述数据请求中携带的标识信息对应所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
可选的,在所述标识信息与地址之间的对应关系中,与热数据的标识信息对应的地址为所述主存储服务器的地址,与非热数据的标识信息对应的地址为所述全量存储服务器的地址,其中,所述非热数据为除所述热数据以外的数据。
第三方面,本发明实施例提供一种数据读取请求处理系统,所述数据读取请求处理系统包括:云存储节点和数据源站系统,所述云存储节点与CDN节点相通信,且与所述数据源站系统相通信;
所述云存储节点,用于接收所述CDN节点发送的针对目标数据的数据读取请求;判断已存储的数据中是否包含所述目标数据;当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;当所述已存储的数据中不包含所述目标数据时,则向所述数据源站系统发送的针对目标数据的数据请求,并接收所述数据源站系统反馈的针对所述数据请求对应的响应结果,以及基于所述响应结果,向所述CDN节点反馈所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
所述数据源站系统,用于接收所述云存储节点发送的所述数据请求;确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果。
第四方面,本发明实施例还提供一种数据读取请求处理装置,应用于云存储节点,所述云存储节点与CDN节点相通信,且与数据源站系统相通信;所述装置包括:
第一请求接收模块,用于接收CDN节点发送的针对目标数据的数据读取请求;
数据判断模块,用于判断已存储的数据中是否包含所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
数据反馈模块,用于当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;
数据获取模块,用于当所述已存储的数据中不包含所述目标数据时,则从所述数据源站系统中获取所述目标数据,并向所述CDN节点反馈所获取的所述目标数据。
第五方面,本发明实施例还提供一种数据读取请求处理装置,应用于数据源站系统,所述数据源站系统与云存储节点相通信,所述云存储节点与CDN节点相通信;所述装置包括:
第二请求接收模块,用于接收所述云存储节点发送的针对目标数据的数据请求,其中,所述数据请求为:所述云存储节点在接收到所述CDN节点发送的针对所述目标数据的数据读取请求后,当判断已存储的数据中不包含所述目标数据时所发送的请求;
结果反馈模块,用于确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据。
第六方面,本发明实施例还提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求第一方面或第二方面所述的方法步骤。
第七方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法步骤。
本发明实施例有益效果:
本发明实施例所提供的数据读取请求处理方法中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例从云存储节点的角度所提供的数据读取请求处理方法的流程图;
图2为本发明实施例从云存储节点的角度所提供的数据读取请求处理方法的另一流程图;
图3为本发明实施例所提供的结合系统框架的数据读取请求处理方法的示意图;
图4为本发明实施例从数据源站系统的角度所提供的数据读取请求处理方法的流程图;
图5为本发明实施例从数据源站系统的角度所提供的数据读取请求处理方法的另一流程图;
图6为本发明实施例所提供的结合实际场景的重定向示意图;
图7为本发明实施例所提供的数据读取请求处理系统的结构示意图;
图8为本发明实施例所提供的数据读取请求处理系统的另一结构示意图;
图9为本发明实施例所提供的数据读取请求处理系统的又一结构示意图;
图10为本发明实施例所提供的结合实际场景的数据读取请求处理系统的示意图;
图11为本发明实施例从云存储节点的角度所提供的数据读取请求处理装置的结构示意图;
图12为本发明实施例从数据源站系统的角度所提供的数据读取请求处理装置的结构示意图;
图13为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了减轻数据源站系统的带宽压力,本发明实施例提供了数据读取请求处理方法、装置及数据读取请求处理系统。
下面首先从数据读取请求处理系统中的云存储节点的角度,对本发明实施例所提供的一种数据读取请求处理方法进行介绍。
需要说明的是,本发明实施例所提供的数据读取请求处理系统在包含云存储节点的前提下,还可以包括数据源站系统。云存储节点可以为公有云对象存储等云端存储,云存储节点与内容分发网络中的CDN节点相通信,且与数据源站系统相通信。其中,数据源站系统用于作为内容分发网络的数据源,而云存储节点中存储有数据源站系统中的数据,该数据可以为数据源站系统中的部分数据,或数据源站系统中的全部数据,这都是可以的。
现有技术中,内容分发网络通过数据读取请求向数据源站系统请求数据,导致数据源站系统的带宽压力大。而本发明实施例中,内容分发网络不直接向数据源站系统请求数据,而是向云存储节点发送数据读取请求,通过云存储节点对数据读取请求进行预处理。对于云存储节点中包含的所请求数据,云存储节点可以直接向内容分发网络反馈该数据,不需要数据源站系统进行处理。数据源站系统仅需要处理针对云存储节点中尚未存储的数据的数据读取请求,从而可以减轻数据源站系统的带宽压力。
如图1所示,本发明实施例提供的一种数据读取请求处理方法,应用于云存储节点,可以包括如下步骤:
S101,接收CDN节点发送的针对目标数据的数据读取请求;
其中,数据读取请求为内容分发网络中的CDN节点,在内容分发网络中未存储客户端所请求的目标数据时,所发送的用于请求目标数据的请求。数据读取请求中可以携带所需的各类信息。例如,数据读取请求中可以携带目标数据的标识信息,还可以携带数据读取请求发送端的设备标识等信息。
上述CDN节点可以为内容分发网络中的CDN中心节点,也称之为内容分发网络中的一级节点、或内容分发网络中的上层节点。
S102,判断已存储的数据中是否包含目标数据,其中,已存储的数据包含有数据源站系统中所存储的数据;
其中,云存储节点中已存储的数据中包含数据源站系统中部分或全部所存储的数据。
当接收到数据读取请求时,云存储节点需要判断自身已存储的数据中是否存在数据读取请求所请求的目标数据。
可选的,当数据读取请求中携带有目标数据的标识信息时,可以基于该标识信息,筛选已存储的数据。当从已存储的数据中筛选出目标数据时,则判断已存储的数据中包含目标数据,此时可以执行步骤S103。当从已存储的数据中未筛选出目标数据时,则判断已存储的数据中不包含目标数据,此时可以执行步骤S104。
举例而言,数据源站系统中存储有数据A、数据B和数据C,而云存储节点已存储的数据中包含数据A和数据C。当数据读取请求所针对的目标数据为数据A或数据C时,则执行步骤S103。当数据读取请求所针对的目标数据为数据B或数据C时,则执行步骤S104。
S103,向CDN节点反馈目标数据;
其中,当已存储的数据中包含目标数据时,则执行该步骤。向CDN节点发送已存储的数据中包含的目标数据。
S104,从数据源站系统中获取目标数据,并向CDN节点反馈所获取的目标数据。
其中,当已存储的数据中不包含目标数据时,云存储节点可以向数据源站系统发送获取目标数据的请求,用以请求数据源站系统反馈云存储节点所请求的目标数据。可选的,云存储节点可以通过流式拉取的方式从数据源站系统拉取目标数据。
在云存储节点获取到目标数据后,可以向CDN节点发送所获取的目标数据。CDN节点在接收到目标数据后的处理流程与现有技术相同,由于不是本发明的发明点,在此不做赘述。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
可选地,在一个实施例中,为进一步减轻数据源站系统的带宽压力,同时提高针对目标数据的数据读取请求的处理效率,在步骤S104从数据源站系统中获取目标数据后,从云存储节点所提供的方法还可以包括:
在云存储节点中存储目标数据。
其中,当云存储节点从数据源站系统中获取到目标数据之后,可以将所获取的目标数据按照预设的存储方式进行存储。示例性的,当云存储节点为对象存储时,可以将所获取的目标数据作为对象进行存储。从而,当云存储节点再一次接收到针对该目标数据的数据读取请求后,可以向CDN节点反馈已存储的目标数据,而不必再次从数据源站系统获取目标数据。进一步减轻了数据源站系统的带宽压力,且提高了再次处理针对目标数据的数据读取请求的效率。
可选地,本发明的另一实施例中,从云存储节点的角度所提供的方法还可以执行如下步骤:
接收数据源站系统传输的待存储数据,并存储待存储数据,其中,待存储数据为数据源站系统确定出的待转移存储的数据。
示例性的,当数据源站系统的存储空间不足时,为了在保证释放存储空间的同时避免数据丢失,数据源站系统可将所存储的部分数据作为待存储数据传输至云存储节点,并且,数据源站系统可以删除本地所存储的该待存储数据。相应的,当云存储节点可以接收数据源站系统传输的待存储数据后,可以存储待存储数据。
基于图1的实施例,如图2所示,本发明的另一实施例所提供的数据读取请求处理方法,上述的S104可以包括如下步骤:
S104A,向数据源站系统包括的调度服务器发送针对目标数据的数据请求,以使调度服务器确定存储有目标数据的目标存储服务器的地址,作为重定向地址,并向云存储节点反馈重定向地址,其中,目标存储服务器为数据源站系统包含的至少一个存储服务器中的一个;
其中,数据源站系统可以包括:调度服务器和至少一个存储服务器。当云存储节点判断已存储的数据中不包含目标数据时,为了获取目标数据,需要先确定出目标数据的存储位置。此时,云存储节点可以向调度服务器发送针对目标数据的数据请求,用以获取目标数据的重定向地址。可选的,云存储节点向调度服务器发送的数据请求中可以携带目标数据的标识信息,以使得调度服务器在接收到云存储节点发送的数据请求后,可以基于数据请求中携带的标识信息确定目标数据的重定向地址。
可以理解的是,存储服务器的数量可以为1个,也可以为多个。
当存储服务器的数据为1个时,调度服务器在接收到云存储节点的数据请求后,可以直接将该存储服务器作为目标存储服务器,并将该存储服务器的地址作为重定向地址,以向云存储节点反馈该重定向地址。
当存储服务器的数量为多个时,调度服务器在接收到云存储节点的数据请求后,可以从多个存储服务器中筛选出包含目标数据的存储服务器,作为目标存储服务器;进而,将筛选出的目标存储服务器的地址作为重定向地址,以向云存储节点反馈该重定向地址。
可选的,该多个存储服务器中可以包含主存储服务器和全量存储服务器。而主存储服务器用于存储全量存储服务器中的热数据。
其中,热数据为符合预设热数据条件的数据。例如可以为依据使用场景和需求所设置的条件。例如,预设热数据条件可以为:在统计周期内被访问的频率大于预设频率,或已存储时长小于预设时长等条件。一般而言,可以将符合预设热数据条件的数据称之为热数据,而将不符合预设热数据条件的数据称之为非热数据或冷数据。与非热数据相比,热数据被访问的频次更高。本发明实施例中,将被访问频次更高的热数据存储在主存储服务器中,而全量存储服务器既存储有热数据,也存储有非热数据。也就是说,当目标数据为热数据时,全量存储服务器和主存储服务器中,均存储有目标数据。而当目标数据为非热数据时,仅全量存储服务器中存储有目标数据。
在一种实现方式中,云存储节点向调度服务器发送针对目标数据的数据请求,以使调度服务器调度服务器确定存储有目标数据的主存储服务器或全量存储服务器的地址,作为重定向地址。调度服务器的实现方式将在后续进行详细说明,在此不再赘述。
S104B,接收调度服务器反馈的重定向地址;
其中,调度服务器向云存储节点反馈重定向地址后,云存储节点可以接收该重定向地址。
S104C,基于重定向地址,向目标存储服务器请求目标数据;
其中,重定向地址为目标存储服务器的地址。故而在接收到调度服务器反馈的重定向地址后,可以向该重定向地址发送目标数据的请求消息,以使目标存储服务器在接收到该请求消息后,反馈目标数据。
在一种实现方式中,为了节约带宽成本,主存储服务器与云存储节点通过专线连接,全量存储服务器与云存储节点通过公网连接,此时本步骤可以包括:
若重定向地址为主存储服务器的地址,则基于重定向地址,通过专线向主存储服务器请求目标数据;
若重定向地址为全量存储服务器的地址,则基于重定向地址,通过公网向全量存储服务器请求目标数据。
其中,由于重定向地址为目标存储服务器的地址,当目标存储服务器是主存储服务器时,该目标存储服务器的地址可以为主存储服务器的专线域名,故而云存储节点可以基于该专线域名通过专线向主存储服务器请求目标数据。而当目标存储服务器为全量存储服务器时,该目标存储服务器的地址可以为全量存储服务器的公网域名,故而云存储节点可以基于该公网域名通过公网向全量存储服务器请求目标数据。
S104D,向CDN节点反馈所获取的目标数据。
其中,在获取目标数据后,可以将所获取的目标数据发送至CDN节点。
为了更清楚的阐述本发明实施例的技术方案,如图3所示,本发明实施例提供了结合系统框架的数据读取请求处理方法的示意图。其中,图3中的云存储节点为对象存储节点,302调度源站为调度服务器作为302调度源站,主存储服务器作为专线源站,全量存储服务器作为公网源站,CDN节点作为cnd上层。上述的方法可以包括以下步骤:
1.CDN节点向云存储节点发送数据读取请求。
其中,CDN节点可以为CDN上层节点,云存储节点可以为对象存储,数据读取请求可以请求文404。
2.云存储节点向调度服务器发送针对目标数据的重定向请求。
其中,调度服务器可以为302调度源站。
3.调度服务器在确定目标数据的重定向地址后,将重定向地址反馈至云存储节点。
4.云存储节点基于重定向地址发送数据请求。
其中,当重定向地址为主存储服务器的地址时,云存储节点向主存储服务器发送数据请求,当重定向地址为全量存储服务器的地址时,云存储节点向全量存储服务器发送数据请求。上述主存储服务器可以为专线源站,全量存储服务器可以为公网源站。
5.云存储节点接收主存储服务器或全量存储服务器返回的目标数据。
其中,当云存储节点向主存储服务器发送数据请求时,其接收的是主存储服务器反馈的目标数据。当云存储节点向全量存储服务器发送数据请求时,其接收的是全量存储服务器反馈的目标数据。
6.云存储节点基于所接收的目标数据,向CDN节点反馈所获取的目标数据
其中,云存储节点可以基于流失拉取的方式向CDN节点反馈目标数据。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
可选地,在一个实施例中,基于图2的示例,在向数据源站系统包括的调度服务器发送针对目标数据的数据请求之后,还可以包括:
若在指定时长内未接收到调度服务器反馈的重定向地址,则基于预先存储的全量存储服务器的地址,从全量服务器中获取目标数据。
其中,指定时长可以为基于经验和需求所设置的时长。云存储节点中预先存储有全量服务器的地址。当云存储节点指定时长内未接收到调度服务器反馈的重定向地址时,则可认为调度服务器出现故障。此时,为了及时向CDN节点反馈目标数据,云存储节点可以基于预先存储的全量存储服务器的地址,向全量存储服务器请求目标数据。
下面从数据源站系统的角度,对本发明实施例所提供的一种数据读取请求处理方法进行介绍。
其中,数据源站系统与云存储节点相通信,云存储节点与CDN节点相通信。
如图4所示,本发明实施例所提供的一种数据读取请求处理方法,可以包括如下步骤:
S401,接收云存储节点发送的针对目标数据的数据请求,其中,数据请求为:云存储节点在接收到CDN节点发送的针对目标数据的数据读取请求后,当判断已存储的数据中不包含目标数据时所发送的请求;
其中,云存储节点发送针对目标数据的数据请求的实现方式具体参见上述的从云存储节点角度所提供的数据读取请求处理方法,在此不再赘述。
S402,确定数据请求对应的响应结果,并向云存储节点反馈响应结果,以使得云存储节点基于响应结果,向CDN节点反馈目标数据。
其中,响应结果可以为目标数据本身,也可以为目标数据的存储地址。后续将详细阐述,在此不再赘述。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
可选地,在一种实现方式中,如图3所示的数据读取请求处理方法具体应用于数据源站系统中的调度服务器,数据源站系统还包括:至少一个存储服务器。此时,基于图4的实施例,如图5所示,本发明的另一实施例所提供的数据读取请求处理方法,上述的S402可以包括如下步骤:
S402A,确定存储有目标数据的目标存储服务器的地址,作为重定向地址;
其中,调度服务器可以采用多种方式确定确定存储有目标数据的目标存储服务器的地址。
在一种实现方式中,调度服务器可以存储有每一存储服务器的数据信息,而每一存储服务器的数据信息用于指示该存储服务器中存储有哪些数据。故而,当接收到云存储节点发送的针对目标数据的数据请求后,可以记录每一存储服务器的数据信息,确定出存储有目标数据的存储服务器,作为目标存储服务器。
在另一种实现方式中,数据请求中携带目标数据的标识信息,且调度服务器中记录有预先建立的标识信息与地址之间的对应关系,其中,在对应关系中,与每一标识信息对应的地址为:存储有该标识信息所表示数据的存储服务器的地址。
可选的,上述步骤,可以采取如下方式确定重定向地址:
基于预先建立的标识信息与地址之间的对应关系,确定与数据请求中携带的标识信息对应的地址,作为重定向地址。
示例性的,存储服务器1中存储有数据A和数据B,存储服务器1的地址为地址1,存储服务器2中存储有数据C,存储服务器2的地址为地址2。调度服务器中,记录有对应关系{数据A,地址1}、{数据B,地址1}和{数据C,地址2}。当标识信息为数据A或数据B时,则确定地址1为重定向地址。当标识信息为数据C时,则确定地址2为重定向地址。
可选的,存储服务器以文件系统的形式进行存储,从而存储服务器中每一数据均存在唯一的存储路径。举例而言,数据D在存储服务器1中的存储路径为“path01/2020/数据D”,其表示数据D位于子文件夹2020中,而子文件夹2020位于文件夹path01中。可选的,存储服务器中文件系统中每一文件的名称可以基于所要存储的数据的属性进行设置。例如文件夹2020用于存储2020年所生成的数据,文件夹video(视频)用于存储视频类型的数据。若数据E的存储路径为“video/2020/数据E”,则说明数据E为2020年生成的视频数据。
此时,上述对应关系可以基于数据的存储路径构建。在一种实现方式中,云存储节点中记录每一数据的存储路径,且将存储每一数据的存储服务器的地址与每一数据的存储路径建立对应关系。因每一数据的存储路径中包含数据名称,故而云存储节点构建的存储路径与地址之家的对应关系,即可作为标识信息与地址之间的对应关系。
可选的,存储服务器的数量为多个,且多个存储服务器包含:主存储服务器和全量存储存储器,主存储服务器用于存储全量存储服务器中的热数据;
此时,上述基于预先建立的标识信息与地址之间的对应关系,确定与数据请求中携带的标识信息对应的地址,作为重定向地址,可以包括:
基于预先建立的标识信息与地址之间的对应关系,确定与数据请求中携带的标识信息对应主存储服务器或全量存储服务器的地址,作为重定向地址。
可选的,在标识信息与地址之间的对应关系中,与热数据的标识信息对应的地址为主存储服务器的地址,与非热数据的标识信息对应的地址为全量存储服务器的地址,其中,非热数据为除热数据以外的数据。
示例性的,存储服务器3为主存储服务器,地址为地址3,存储有热数据,其中,热数据包括数据a和数据b。存储服务器4为全量存储服务器,地址为地址4,存储有热数据和非热数据,其中,热数据包括数据a和数据b,而非热数据包括数据c和数据d。调度服务器中,记录有对应关系{数据a,地址3}、{数据b,地址3}、{数据c,地址4}和{数据d,地址4}。当标识信息为热数据a或热数据b时,则确定地址3为重定向地址。当标识信息为非热数据c或非热数据d时,则确定地址4为重定向地址。
S402B,向云存储节点反馈重定向地址,以使云存储节点基于重定向地址,向目标存储服务器请求目标数据,并向CDN节点反馈目标数据。
为了更清楚的阐述本发明实施例的技术方案,如图6所示,本发明实施例提供了结合实际场景的重定向示意图。图6中的云存储节点可以为对象存储,存储服务器可以为点播存储源站,调度服务器可以为源站302调度服务器,存储服务器地址为存储服务器的地址,PATH(路径)匹配规则为预先构建的存储地址与存储服务器地址之间的对应关系,主存储服务器的地址为xxx-internal.com,全量存储服务器的地址为公网xxx.com。
当云存储节点向调度服务器发送针对目标数据的数据请求后,调度服务器首先基于目标数据的数据名称确定目标数据的目标存储地址,进而基于预先建立的PATH匹配规则确定与目标存储地址相匹配的存储服务器地址。当调度服务器确定存储服务器地址为xxx-internal.com,将xxx-internal.com作为重定向地址反馈至云存储节点,从而云存储节点可以基于xxx-internal.com通过专线向存储服务器中的主存储服务器请求目标数据。当调度服务器确定存储服务器为公网xxx.com,将公网xxx.com作为重定向地址反馈至云存储节点,从而云存储节点可以基于公网xxx.com通过公网向存储服务器中的全量存储服务器请求目标数据。
关于从数据源站系统的角度所提供的一种数据读取请求处理方法,由于与上述的从云存储节点角度所提供的方法是相对应的,所以描述的比较简单,相关之处参见从云存储节点角度所提供的方法的说明即可。
基于上述的方法,本发明实施例还提供了一种数据读取请求处理系统。如图7所示,本发明实施例所提供的一种数据读取请求处理系统,包括:云存储节点701和数据源站系统702,云存储节点701与CDN节点相通信,且与数据源站系统702相通信;
云存储节点701,用于接收CDN节点发送的针对目标数据的数据读取请求;判断已存储的数据中是否包含目标数据;当已存储的数据中包含目标数据时,则向CDN节点反馈目标数据;当已存储的数据中不包含目标数据时,则向数据源站系统702发送的针对目标数据的数据请求,并接收数据源站系统702反馈的针对数据请求对应的响应结果,以及基于响应结果,向CDN节点反馈目标数据,其中,已存储的数据包含有数据源站系统702中所存储的数据;
数据源站系统702,用于接收云存储节点701发送的数据请求;确定数据请求对应的响应结果,并向云存储节点701反馈响应结果。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
可选的,数据源站系统702,还用于向云存储节点701向云存储节点701发送待转移存储的数据;删除已发送至云存储节点701的待转移存储的数据;
云存储节点701,还用于在接收到待转移存储的数据后,存储待转移存储数据。
可选地,基于图7的实施例,如图8所示,本发明的另一实施例所提供的数据读取请求处理系统,数据源站系统包括:调度服务器7021和至少一个存储服务器7022;
云存储节点701,具体用于向调度服务器7021发送针对目标数据的数据请求;
调度服务器7021,用于接收数据请求;确定存储有目标数据的目标存储服务器7022的地址,作为重定向地址,并向云存储节点701反馈重定向地址;
云存储节点701,具体用于接收调度服务器7021反馈的重定向地址;基于重定向地址,向目标存储服务器7022请求目标数据,并向CDN节点反馈目标数据;
目标存储服务器7022,用于向云存储节反馈云存储节点701所请求的目标数据。
可选的,数据请求中携带目标数据的标识信息;
调度服务器7021,具体用于基于预先建立的标识信息与地址之间的对应关系,确定与数据请求中携带的标识信息对应的地址,作为重定向地址,其中,在对应关系中,与每一标识信息对应的地址为:存储有该标识信息所表示数据的存储服务器7022的地址。
可选地,基于图8的实施例,如图9所示,本发明的另一实施例所提供的数据读取请求处理系统,存储服务器的数量为多个,且多个存储服务器包含:主存储服务器7022a和全量存储存储器7022b,主存储服务器7022a中存储有全量存储服务器7022b中的热数据;
调度服务器7021,具体用于基于预先建立的标识信息与地址之间的对应关系,确定与数据请求中携带的标识信息对应的主存储服务器7022a或全量存储服务器7022b的地址,作为重定向地址。
可选的,在对应关系中,与热数据的标识信息对应的地址为主存储服务器7022a的地址,与非热数据的标识信息对应的地址为全量存储服务器7022b的地址。
可选的,主存储服务器7022a与云存储节点701通过专线连接,全量存储服务器7022b与云存储节点701通过公网连接;
主存储服务器7022a,用于当目标存储服务器为主存储服务器7022a时,基于所述重定向地址,通过专线向云存储节反馈云存储节点701所请求的目标数据;
全量存储服务器7022b,用于当目标存储服务器为全量存储服务器7022b时,通过公网向云存储节反馈云存储节点701所请求的目标数据。
可选的,云存储节点701,还用于当在指定时长内未接收到调度服务器7021反馈的重定向地址时,则基于预先存储的全量存储服务器7022b的地址,向全量存储服务器7022b请求目标数据,并向CDN节点反馈目标数据;
全量存储服务器7022b,还用于向云存储节反馈云存储节点701所请求的目标数据。
为了更清楚的阐述本发明实施例的技术方案,如图10所示,本发明实施例提供了结合实际场景的数据读取请求处理系统的示意图。图10中,CDN上层为CDN节点,调度服务器可以为302源站,主存储服务器一为机房位于北京的主存储服务器,主存储服务器二为机房位于上海的主存储服务器,全量存储服务器为机房位于张家口的全量存储服务器,云存储节点可以为对象存储,数据源站系统为视频点播源站。
图10中,CDN上层与中层和边缘组成CDN网络。调度服务器和主存储服务器一、主存储服务器二和全量存储服务器组成数据源站系统。云存储节点通过公网与CDN上层、全量存储服务器相互通信,且CDN上层也通过公网与全量存储服务器相互通信。云存储节点还通过专线与主存储服务器一、主存储服务器二相互通信。
当云存储节点中未包含目标数据时,云存储节点可以向调度服务器发送针对目标数据的数据请求。调度服务器向云存储节点反馈重定向地址。当云存储节点接收到调度服务器反馈的重定向地址后,基于重定向地址向主存储服务器一、主存储服务器二或全量存储服务器请求目标数据。
相应于上述从云存储节点角度所提供的方法,如图11所示,本发明实施例还提供了一种数据读取请求处理装置,应用于云存储节点,云存储节点与CDN节点相通信,且与数据源站系统相通信;装置包括:
第一请求接收模块1101,用于接收CDN节点发送的针对目标数据的数据读取请求;
数据判断模块1102,用于判断已存储的数据中是否包含目标数据,其中,已存储的数据包含有数据源站系统中所存储的数据;
数据反馈模块1103,用于当已存储的数据中包含目标数据时,则向CDN节点反馈目标数据;
数据获取模块1104,用于当已存储的数据中不包含目标数据时,则从数据源站系统中获取目标数据,并向CDN节点反馈所获取的目标数据。
可选的,数据获取模块,具体用于向数据源站系统包括的调度服务器发送针对目标数据的数据请求,以使调度服务器确定存储有目标数据的目标存储服务器的地址,作为重定向地址,并向云存储节点反馈重定向地址;接收调度服务器反馈的重定向地址;基于重定向地址,向目标存储服务器请求目标数据,其中,目标存储服务器为数据源站系统包含的至少一个存储服务器中的一个。
可选的,所述调度服务器确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,包括:
所述调度服务器从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定存储有所述目标数据的所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
可选的,主存储服务器与云存储节点通过专线连接,全量存储服务器与云存储节点通过公网连接;
数据获取模块,具体用于若重定向地址为主存储服务器的地址,则基于重定向地址,通过专线向主存储服务器请求目标数据;若重定向地址为全量存储服务器的地址,则基于重定向地址,通过公网向全量存储服务器请求目标数据。
可选的,数据获取模块,还用于在向数据源站系统包括的调度服务器发送针对目标数据的数据请求之后,若在指定时长内未接收到调度服务器反馈的重定向地址,则基于预先存储的全量存储服务器的地址,从全量服务器中获取目标数据,其中,目标存储服务器为数据源站系统包含的至少一个存储服务器中的一个。
可选的,数据存储模块,用于在数据获取模块执行在从数据源站系统中获取目标数据之后,在云存储节点中存储目标数据。
可选的,装置还包括:数据转存模块,用于接收数据源站系统传输的待存储数据,并存储待存储数据,其中,待存储数据为数据源站系统确定的待转移存储的数据。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
相应于上述从数据源站系统角度所提供的方法,如图12所示,本发明实施例还提供了一种数据读取请求处理装置,应用于数据源站系统,数据源站系统与云存储节点相通信,云存储节点与CDN节点相通信;装置包括:
第二请求接收模块1202,用于接收云存储节点发送的针对目标数据的数据请求,其中,数据请求为云存储节点在接收到CDN节点发送的针对目标数据的数据读取请求后,当判断已存储的数据中不包含目标数据时所发送的请求;
结果反馈模块1202,用于确定数据请求对应的响应结果,并向云存储节点反馈响应结果,以使得云存储节点基于响应结果,向CDN节点反馈目标数据。
可选的,所述方法具体应用于所述数据源站系统中的调度服务器;
所述结果反馈模块,具体用于确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址;其中,所述目标存储服务器为所述数据源站系统包含的至少一个存储服务器中的一个;
向所述云存储节点反馈所述重定向地址,以使所述云存储节点基于所述重定向地址,向所述目标存储服务器请求所述目标数据,并向所述CDN节点反馈所述目标数据。
可选的,所述数据请求中携带所述目标数据的标识信息;
所述结果反馈模块,具体用于基于预先建立的标识信息与地址之间的对应关系,确定与所述数据请求中携带的标识信息对应的地址,作为重定向地址,其中,在所述对应关系中,与每一标识信息对应的地址为存储有该标识信息所表示数据的存储服务器的地址。
可选的,所述结果反馈模块,具体用于基于预先建立的标识信息与地址之间的对应关系,从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定与所述数据请求中携带的标识信息对应所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
可选的,在所述标识信息与地址之间的对应关系中,与热数据的标识信息对应的地址为所述主存储服务器的地址,与非热数据的标识信息对应的地址为所述全量存储服务器的地址,其中,所述非热数据为除所述热数据以外的数据。
本实施例所提供方案中,当内容分发网络中不存在客户端所请求的目标数据时,内容分发网络中的CDN节点并不直接向数据源站系统发送数据读取请求,而是向云存储节点发送数据读取请求;并且,仅在云存储节点不包含目标数据时,才需要数据源站系统进行处理,当云存储节点中包含目标数据时,云存储节点可以直接将已存储的目标数据反馈至CDN节点,不再需要数据源站系统进行处理。可见,通过本方案可以减轻数据源站系统的带宽压力。
本发明实施例还提供了一种电子设备,如图13所示,包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中,处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信,
存储器1303,用于存放计算机程序;
处理器1301,用于执行存储器1303上所存放的程序时,实现上述从云存储节点的角度所提供的方法步骤,或从数据源站系统的角度所提供的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一数据读取请求处理方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一数据读取请求处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (17)
1.一种数据读取请求处理方法,其特征在于,应用于云存储节点,所述云存储节点与CDN节点相通信,且与数据源站系统相通信;所述方法包括:
接收CDN节点发送的针对目标数据的数据读取请求;
判断已存储的数据中是否包含所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;
当所述已存储的数据中不包含所述目标数据时,则从所述数据源站系统中获取所述目标数据,并向所述CDN节点反馈所获取的所述目标数据。
2.根据权利要求1所述的方法,其特征在于,所述从所述数据源站系统中获取所述目标数据,包括:
向所述数据源站系统包括的调度服务器发送针对所述目标数据的数据请求,以使所述调度服务器确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,并向所述云存储节点反馈所述重定向地址,其中,所述目标存储服务器为所述数据源站系统包含的至少一个存储服务器中的一个;
接收所述调度服务器反馈的所述重定向地址;
基于所述重定向地址,向所述目标存储服务器请求所述目标数据。
3.根据权利要求2所述的方法,其特征在于,所述调度服务器确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,包括:
所述调度服务器从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定存储有所述目标数据的所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
4.根据权利要求3所述的方法,其特征在于,
所述主存储服务器与所述云存储节点通过专线连接,所述全量存储服务器与所述云存储节点通过公网连接;
所述基于所述重定向地址,向所述目标存储服务器请求所述目标数据,包括:
若所述重定向地址为所述主存储服务器的地址,则基于所述重定向地址,通过所述专线向所述主存储服务器请求所述目标数据;
若所述重定向地址为所述全量存储服务器的地址,则基于所述重定向地址,通过所述公网向所述全量存储服务器请求所述目标数据。
5.根据权利要求3所述的方法,其特征在于,向所述数据源站系统包括的调度服务器发送针对所述目标数据的数据请求之后,所述方法还包括:
若在指定时长内未接收到所述调度服务器反馈的重定向地址,则基于预先存储的所述全量存储服务器的地址,从所述全量服务器中获取所述目标数据。
6.根据权利要求1所述的方法,其特征在于,在所述从所述数据源站系统中获取所述目标数据之后,所述方法还包括:
在所述云存储节点中存储所述目标数据。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述数据源站系统传输的待存储数据,并存储所述待存储数据,其中,所述待存储数据为所述数据源站系统确定的待转移存储的数据。
8.一种数据读取请求处理方法,其特征在于,应用于数据源站系统,所述数据源站系统与云存储节点相通信,所述云存储节点与CDN节点相通信;所述方法包括:
接收所述云存储节点发送的针对目标数据的数据请求,其中,所述数据请求为所述云存储节点在接收到所述CDN节点发送的针对所述目标数据的数据读取请求后,当判断已存储的数据中不包含所述目标数据时所发送的请求;
确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据。
9.根据权利要求8所述的方法,其特征在于,所述方法具体应用于所述数据源站系统中的调度服务器;
所述确定所述数据请求对应的响应结果,包括:
确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址;其中,所述目标存储服务器为所述数据源站系统包含的至少一个存储服务器中的一个;
所述向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据,包括:
向所述云存储节点反馈所述重定向地址,以使所述云存储节点基于所述重定向地址,向所述目标存储服务器请求所述目标数据,并向所述CDN节点反馈所述目标数据。
10.根据权利要求9所述的方法,其特征在于,所述数据请求中携带所述目标数据的标识信息;
所述确定存储有所述目标数据的目标存储服务器的地址,作为重定向地址,包括:
基于预先建立的标识信息与地址之间的对应关系,确定与所述数据请求中携带的标识信息对应的地址,作为重定向地址,其中,在所述对应关系中,与每一标识信息对应的地址为存储有该标识信息所表示数据的存储服务器的地址。
11.根据权利要求10所述的方法,其特征在于,所述基于预先建立的标识信息与地址之间的对应关系,确定与所述数据请求中携带的标识信息对应的地址,作为重定向地址,包括:
基于预先建立的标识信息与地址之间的对应关系,从包含有主存储服务器和全量存储服务器的多个存储服务器中,确定与所述数据请求中携带的标识信息对应所述主存储服务器或所述全量存储服务器的地址,作为重定向地址;其中,所述主存储服务器用于存储所述全量存储服务器中的热数据。
12.根据权利要求11所述的方法,其特征在于,在所述标识信息与地址之间的对应关系中,与所述热数据的标识信息对应的地址为所述主存储服务器的地址,与非热数据的标识信息对应的地址为所述全量存储服务器的地址,其中,所述非热数据为除所述热数据以外的数据。
13.一种数据读取请求处理系统,其特征在于,所述数据读取请求处理系统包括:云存储节点和数据源站系统,所述云存储节点与CDN节点相通信,且与所述数据源站系统相通信;
所述云存储节点,用于接收所述CDN节点发送的针对目标数据的数据读取请求;判断已存储的数据中是否包含所述目标数据;当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;当所述已存储的数据中不包含所述目标数据时,则向所述数据源站系统发送的针对目标数据的数据请求,并接收所述数据源站系统反馈的针对所述数据请求对应的响应结果,以及基于所述响应结果,向所述CDN节点反馈所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
所述数据源站系统,用于接收所述云存储节点发送的所述数据请求;确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果。
14.一种数据读取请求处理装置,其特征在于,应用于云存储节点,所述云存储节点与CDN节点相通信,且与数据源站系统相通信;所述装置包括:
第一请求接收模块,用于接收CDN节点发送的针对目标数据的数据读取请求;
数据判断模块,用于判断已存储的数据中是否包含所述目标数据,其中,所述已存储的数据包含有所述数据源站系统中所存储的数据;
数据反馈模块,用于当所述已存储的数据中包含所述目标数据时,则向所述CDN节点反馈所述目标数据;
数据获取模块,用于当所述已存储的数据中不包含所述目标数据时,则从所述数据源站系统中获取所述目标数据,并向所述CDN节点反馈所获取的所述目标数据。
15.一种数据读取请求处理装置,其特征在于,应用于数据源站系统,所述数据源站系统与云存储节点相通信,所述云存储节点与CDN节点相通信;所述装置包括:
第二请求接收模块,用于接收所述云存储节点发送的针对目标数据的数据请求,其中,所述数据请求为:所述云存储节点在接收到所述CDN节点发送的针对所述目标数据的数据读取请求后,当判断已存储的数据中不包含所述目标数据时所发送的请求;
结果反馈模块,用于确定所述数据请求对应的响应结果,并向所述云存储节点反馈所述响应结果,以使得所述云存储节点基于所述响应结果,向所述CDN节点反馈所述目标数据。
16.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤,或者权利要求8-12任一项所述的方法步骤。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤,或者,权利要求8-12任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011590541.6A CN114760356B (zh) | 2020-12-29 | 2020-12-29 | 数据读取请求处理方法、装置及数据读取请求处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011590541.6A CN114760356B (zh) | 2020-12-29 | 2020-12-29 | 数据读取请求处理方法、装置及数据读取请求处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114760356A true CN114760356A (zh) | 2022-07-15 |
CN114760356B CN114760356B (zh) | 2024-10-01 |
Family
ID=82324454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011590541.6A Active CN114760356B (zh) | 2020-12-29 | 2020-12-29 | 数据读取请求处理方法、装置及数据读取请求处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114760356B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150058403A1 (en) * | 2013-08-20 | 2015-02-26 | Alibaba Group Holding Limited | Method and system of dispatching requests in a content delivery network |
CN104506647A (zh) * | 2014-12-31 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种数据存储系统及存储和访问方法 |
CN108509298A (zh) * | 2018-03-22 | 2018-09-07 | 中国银联股份有限公司 | 一种数据处理的方法、装置及存储介质 |
CN109460182A (zh) * | 2017-09-06 | 2019-03-12 | 杭州海康威视系统技术有限公司 | 一种数据存储、读取方法及装置 |
WO2019214292A1 (zh) * | 2018-05-11 | 2019-11-14 | 北京大米科技有限公司 | 资源获取方法、终端装置、计算机设备及可读介质 |
CN111107118A (zh) * | 2018-10-26 | 2020-05-05 | 北京金山云网络技术有限公司 | 一种图片访问加速方法、装置、设备、系统及存储介质 |
CN111158578A (zh) * | 2018-11-08 | 2020-05-15 | 浙江宇视科技有限公司 | 存储空间管理方法及装置 |
CN111935242A (zh) * | 2020-07-16 | 2020-11-13 | 北京达佳互联信息技术有限公司 | 数据传输方法、装置、服务器以及存储介质 |
-
2020
- 2020-12-29 CN CN202011590541.6A patent/CN114760356B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150058403A1 (en) * | 2013-08-20 | 2015-02-26 | Alibaba Group Holding Limited | Method and system of dispatching requests in a content delivery network |
CN104506647A (zh) * | 2014-12-31 | 2015-04-08 | 北京奇艺世纪科技有限公司 | 一种数据存储系统及存储和访问方法 |
CN109460182A (zh) * | 2017-09-06 | 2019-03-12 | 杭州海康威视系统技术有限公司 | 一种数据存储、读取方法及装置 |
CN108509298A (zh) * | 2018-03-22 | 2018-09-07 | 中国银联股份有限公司 | 一种数据处理的方法、装置及存储介质 |
WO2019214292A1 (zh) * | 2018-05-11 | 2019-11-14 | 北京大米科技有限公司 | 资源获取方法、终端装置、计算机设备及可读介质 |
CN111107118A (zh) * | 2018-10-26 | 2020-05-05 | 北京金山云网络技术有限公司 | 一种图片访问加速方法、装置、设备、系统及存储介质 |
CN111158578A (zh) * | 2018-11-08 | 2020-05-15 | 浙江宇视科技有限公司 | 存储空间管理方法及装置 |
CN111935242A (zh) * | 2020-07-16 | 2020-11-13 | 北京达佳互联信息技术有限公司 | 数据传输方法、装置、服务器以及存储介质 |
Non-Patent Citations (1)
Title |
---|
张震伟;马雁云;: "基于超元数据缓存的高速数据访问系统", 广东通信技术, no. 09, 15 September 2016 (2016-09-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114760356B (zh) | 2024-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9444759B2 (en) | Service provider registration by a content broker | |
US9451046B2 (en) | Managing CDN registration by a storage provider | |
CN101156407B (zh) | 通过通信网络提供内容的方法 | |
US9727579B2 (en) | Systems and methods for storing digital content | |
CN112087644B (zh) | 拉流请求处理方法、装置、系统、电子设备和存储介质 | |
CN115004673B (zh) | 消息推送方法、装置、电子设备及计算机可读介质 | |
CN108174248A (zh) | 视频播放方法、视频播放控制方法、装置、及存储介质 | |
WO2007032549A1 (ja) | コンテンツ配信方法及びシステム | |
CN110830565B (zh) | 资源下载方法、装置、系统、电子设备及存储介质 | |
CN110012055A (zh) | 文件上传方法、装置及系统 | |
US20100088394A1 (en) | Multipoint publishing | |
CN113453047A (zh) | 资源请求的处理方法、装置、电子设备及存储介质 | |
CN110099292B (zh) | 一种数据中心节点确定方法、装置及电子设备 | |
CN112860505A (zh) | 一种分布式集群的调控方法及装置 | |
CN112069386B (zh) | 一种请求处理方法、装置、系统、终端及服务器 | |
CN108366102A (zh) | 一种基于Consul的服务发现方法、装置及电子设备 | |
CN114077483A (zh) | 数据资源调度方法、服务器、系统及存储介质 | |
CN114760356B (zh) | 数据读取请求处理方法、装置及数据读取请求处理系统 | |
CN111400327B (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
CN101146107A (zh) | 一种下载数据的方法及装置 | |
JP2003051846A (ja) | 帯域制御方法、ネットワークサービスシステム、コンテンツサーバ装置、帯域管理装置及びコンテンツ管理装置 | |
CN112860432A (zh) | 一种进程管理方法、装置及服务器 | |
CN109818999B (zh) | 数据传输方法和装置 | |
CN111083430B (zh) | 一种图像获取方法、装置、电子设备及存储介质 | |
CN110278451B (zh) | 图片在线转码方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |