CN109788051A - 基于分布式文件系统的网络资源传输方法及系统 - Google Patents

基于分布式文件系统的网络资源传输方法及系统 Download PDF

Info

Publication number
CN109788051A
CN109788051A CN201910000568.6A CN201910000568A CN109788051A CN 109788051 A CN109788051 A CN 109788051A CN 201910000568 A CN201910000568 A CN 201910000568A CN 109788051 A CN109788051 A CN 109788051A
Authority
CN
China
Prior art keywords
resource
node
requested
request
domain name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910000568.6A
Other languages
English (en)
Inventor
晏亮
来鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Shenzhen Xunlei Network Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910000568.6A priority Critical patent/CN109788051A/zh
Publication of CN109788051A publication Critical patent/CN109788051A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种基于分布式文件系统的网络资源传输系统,包括:域名解析服务器,用于接收客户端发送的域名请求,根据所述域名请求,向所述客户端返回对应的索引服务器的网络地址;索引服务器用于接收客户端根据所述网络地址发送的资源索引请求,并向所述客户端返回的对应所述资源索引请求的节点指示信息;及节点用于存储网络中的数据资源。本发明还公开了一种基于分布式文件系统的网络资源传输方法。本发明能够实现去中心化,并提高数据请求的速率。

Description

基于分布式文件系统的网络资源传输方法及系统
技术领域
本发明涉及分布式存储技术领域,尤其涉及一种基于分布式文件系统的网络资源传输方法及系统。
背景技术
HTTP是互联网1.0的基础传输协议,一般基于HTTP协议实现的客户端/服务器构架如图1所示,即中心服务器会存在于某一固定的中心IDC机房内,中心服务器的数据是由某一固定的公司或者团体所掌握,这样存在至少2个弊端:1、中心服务器有不可靠存作恶的可能性;2、效率低,中心服务器可能会存在于远离用户的IDC机房,使得网络传输变得没效率。
发明内容
本发明的主要目的在于提供一种基于分布式文件系统的网络资源传输方法、装置及系统,旨在实现去中心化,并提高数据请求的速率。
为实现上述目的,本发明提供的基于分布式文件系统的网络资源传输方法中,所述分布式文件系统包括多个用于存储资源的节点,及所述网络资源传输方法包括:
向域名解析服务器发送域名请求,并接收所述域名解析服务器根据所述域名请求返回的索引服务器的网络地址;
根据所述网络地址,向所述索引服务器发送资源索引请求;
接收所述索引服务器返回的对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据。
可选地,所述所请求资源的多个切片分布式存储于多个节点中;
所述向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据包括:
分别向存储所述所请求资源的多个切片的多个节点发送资源获取请求,并接收各节点返回的所请求资源的切片;
将接收到的多个切片组合成所述所请求资源。
可选地,所述资源索引请求包括所请求资源的哈希值,所述节点指示信息包括所述所请求资源的多个切片的哈希值以及存储所述所请求资源的多个切片的多个节点的网络地址信息;
所述资源获取请求包括所请求切片的哈希值。
可选地,在向所述至少一个存储有所述所请求资源的节点发送资源获取请求之前,所述方法还包括:
向打洞服务器请求与所述至少一个存储有所述所请求资源的节点的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点的点对点的通讯。
可选地,所述资源索引请求包括资源所有者的授权签名,和/或所述资源获取请求包括资源所有者的授权签名。
为实现上述目的,本发明提供的一种基于分布式文件系统的网络资源传输装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的网络资源传输程序,所述网络资源传输程序被所述处理器执行时上述的基于分布式文件系统的网络资源传输方法,包括:
向域名解析服务器发送域名请求,并接收所述域名解析服务器根据所述域名请求返回的索引服务器的网络地址;
根据所述网络地址,向所述索引服务器发送资源索引请求;
接收所述索引服务器返回的对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据。
为实现上述目的,本发明提供的基于分布式文件系统的网络资源传输方法方法包括:
域名解析服务器接收客户端发送的域名请求,根据所述域名请求,向所述客户端返回所述域名请求对应的索引服务器的网络地址;
索引服务器接收所述客户端发送的资源索引请求,并向所述客户端返回对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
存储有所请求资源的节点根据所述客户端发送的资源获取请求,向所述客户端返回资源数据。
可选地,存储有所述客户端所请求资源的节点包括多个,其中的每一个节点存储所述客户端所请求资源的多个切片。
可选地,所述基于分布式文件系统的网络资源传输方法还包括:
打洞服务器根据所述客户端发送的通讯请求,打通与所述存储有所请求资源的节点的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点的点对点的通讯。
一种基于分布式文件系统的网络资源传输系统,其特征在于,所述系统包括:一个或者多个域名解析服务器、一个或者多个索引服务器、一个或者多个打洞服务器以及一个或者多个节点,其中:
域名解析服务器接收客户端发送的域名请求,根据所述域名请求,向所述客户端返回所述域名请求对应的索引服务器的网络地址;
索引服务器接收所述客户端发送的资源索引请求,并向所述客户端返回对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
存储有所请求资源的节点根据所述客户端发送的资源获取请求,向所述客户端返回资源数据。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于分布式文件系统的网络资源传输程序,所述基于分布式文件系统的网络资源传输程序被一个或者多个处理器执行,以实现上述所述的基于分布式文件系统的网络资源传输方法。
为实现上述目的,本发明进一步提供一种计算机程序产品,包括一个或多个计算机指令,在计算机上加载和执行所述计算机程序指令时,实现上述所述的基于分布式文件系统的网络资源传输方法。
本实施例所述基于分布式文件系统的网络资源传输方法及系统实现了去中心化,使得用户不对中心进行依赖,减少中心不可靠的可能性;采用智能的选点机制,选取最佳的节点,如离用户更近的节点,以最大限制的提升传输效率;采用完全独立的网址解析方式,打破现有的域名解析体系;所有符合某种条件的计算机设备均可以成功网络的一员,使得所述网络具有高可扩展性。
附图说明
图1为本发明一实施例基于分布式文件系统的网络资源传输系统的架构图;
图2为本发明一实施例基于分布式文件系统的网络资源传输方法的流程示意图;及
图3为本发明一实施例揭露的基于分布式文件系统的网络资源传输装置的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,所述“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
进一步地,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参阅图1所示,为本发明其中一个实施例基于分布式文件系统的网络资源传输系统的架构图。
较佳地,本发明所述网络资源传输系统1包括一个或者多个域名解析服务器10、一个或者多个索引服务器11、一个或者多个打洞服务器12以及一个或者多个节点13。
本发明较佳实施例中,所述一个或者多个域名解析服务器10、一个或者多个索引服务器11、一个或者多个打洞服务器12以及一个或者多个节点13分布在互联网的不同地方(地理位置上的分布),以根据距离、负载等因素,实现对域名解析、资源索引、打洞等、资源存储等的分布式操作。
其中,所述域名解析服务器10又称计算机域名系统(Domain Name System或Domain Name Service,DNS)服务器,是进行域名(domain name)和与之相对应的IP地址(IPaddress)转换的服务器。所述域名解析服务器10中保存有域名和与之相对应的IP地址的映射表,以解析请求的域名。所述域名是Internet上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。
本发明较佳实施例中,所述域名解析服务器10用于接收客户端2发送的域名请求,根据所述域名请求,向所述客户端2返回所述域名请求对应的索引服务器11的网络地址。
其中,所述客户端2可以为所述网络资源传输系统1中的其中一个节点13。
在本实施例中,所述节点13可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备等。
所述节点13中的每一个可以存储所述同一个资源的多个切片,该多个切片根据预设的索引组合起来以后可以形成一个完整的资源数据。
本发明较佳实施例中,所述域名请求为迅雷链文件系统(Thunder Chain FileSystem,TCFS)请求。
所述索引服务器11中用于记录资源的存储节点,并用于资源定位。
本发明较佳实施例中,所述索引服务器11用于接收客户端2发送的资源索引请求,并向所述客户端2返回对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点13的网络地址信息。
本发明较佳实施例中,所述节点指示信息中包括从存储有所请求资源的节点13中选择的最优节点。
所述索引服务器11可以通过下述的一种或者几种方法的结合从存储有所请求资源的节点13中选择最优节点:
a、优先选择与所述客户端2位于同一局域网内的节点;
b、优先选择与所述客户端2具有相同ISP(Internet Service Provider,因特网服务提供商)的节点;
c、优先选择与所述客户端2处于同一地域的节点,其中,首先选择相同市区内的节点,其次选择相同省份的节点,如果在同一个省份里找不到节点,则把预设区域,如中国分成东南西北四个区域,返回所在区域的节点;
d、优先选择与所述客户端2具有相同NAT(Network Address Translation,网络地址转换)类型的节点;
e、优先选择稳定性较好的节点,例如根据一段时间的节点的上传、下载、内存、CPU、带宽等因素综合考虑,稳定性较好的节点;
f、优先选择预设类型的节点,如选择普通客户端节点、边缘CDN节点和中心CDN节点等;及
g、优先利用局域网发现机制,通过UDP广播的形式所寻找到的节点;
h、优先选择P2P(peer to peer)历史穿透成功率高于预定阈值的节点。
所述打洞服务器12用于利用打洞技术,实现所述节点13之间的点对点(peer topeer)的通讯连接。
详细地,在本发明的其中一个实施例种,所述打洞服务器12对节点A与节点B之间进行打洞时,所述打洞方法包括:
Ⅰ、节点B向所述打洞服务器12请求向节点A打洞;
Ⅱ、所述打洞服务器12响应相应节点B的打洞请求,发送节点B的地址信息给节点A,并通知节点A,节点B想与其打洞;
Ⅲ、由节点A主动发一条信息给节点B,以使节点A的路由器A’中存在一条关于节点B的路由器B’的IP地址的路由信息;
Ⅳ、节点B发送一条信息给节点A,由于此时路由器A’的路由表中有关于路由器B’的IP地址的路由信息,此时路由器B’能路由给节点A了,至此,节点A就能直接收到节点B发的信息了,完成打洞,而由于路由器B’中已经有关于路由器A’的IP地址的路由信息,所以节点A发给节点B时不需要打洞。
本发明较佳实施例中,所述打洞服务器12用于根据所述客户端2发送的通讯请求,打通与所述存储有所请求资源的节点13的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点13的点对点的通讯。
所述节点13用于存储网络中的资源数据,根据所述客户端的请求,向所述客户端发送所请求的资源数据。
本发明较佳实施例中,所述节点13可以在实现了与所述客户端2的打洞操作后,与所述客户端2直接进行点对点的数据交互,根据所述客户端发送的资源获取请求,向所述客户端2返回对应的资源数据。
本发明较佳实施例中,所述资源索引请求包括资源所有者的授权签名,和/或所述资源获取请求包括资源所有者的授权签名。
本发明所述基于分布式文件系统的网络资源传输系统采用去中心化的分布式架构,将用户信息分散于若干的节点上。此外,本发明在网络传输时,采用了去中心化的认证机制,无需中心服务器的认证,即可完成权限认证。本发明中的所有节点都是平等自治的,存储的资源不会因为某一个节点失效而丢失。此外,本发明具有分布式对节点的特性,当用户请求资源时,将自动返回最优的节点,如离用户最近的节点或者负载最小的节点等,以最大限制的提升传输效率。
参照图2,图2为本发明一实施例基于分布式文件系统的网络资源传输方法的流程示意图。该流程示意图中所述方法可以由一个装置,例如客户端2所执行,该装置可以由软件和/或硬件实现。
其中,所述客户端2可为如图1所示的网络传输系统中的任何一个节点,可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备等。
在本实施例中,所述基于分布式文件系统的网络资源传输方法包括:
S1,向域名解析服务器10发送域名请求,并接收所述域名解析服务器10返回的对应所述域名请求的索引服务器的网络地址。
本发明较佳实施例中,所述域名请求为迅雷链文件系统(Thunder Chain FileSystem,TCFS)请求。
本发明较佳实施例中,所述域名解析服务器10接收客户端2发送的域名请求,根据所述域名请求中包含的域名地址,向所述客户端2返回对应的分布式索引服务器的网络地址。
本发明较佳实施例中,当客户端2发出一个域名请求时,与所述客户端2距离最近的域名解析服务器10接收所述域名请求,并返回与所述域名请求中包含的域名地址对应的网络地址;或者其他较佳实施例中,也可以是当前负载最小的域名解析服务器10接收所述域名请求,并返回与所述域名请求中包含的域名对应的网络地址。
S3,根据所述网络地址,向索引服务器11发送资源索引请求,并接收所述索引服务器11返回的对应所述资源索引请求的节点指示信息。
所述资源索引请求包括所请求资源的哈希值,所述节点指示信息包括所述所请求资源的多个切片的哈希值以及存储所述所请求资源的多个切片的多个节点的网络地址信息。
本发明较佳实施例中,所述节点指示信息中包括从存储有所请求资源的节点13中选择的最优节点。所述索引服务器11可以通过下述的一种或者几种方法的结合从存储有所请求资源的节点13中选择最优节点13:
a、优先选择与所述客户端2位于同一局域网内的节点;
b、优先选择与所述客户端2具有相同ISP(Internet Service Provider,因特网服务提供商)的节点;
c、优先选择与所述客户端2处于同一地域的节点,其中,首先选择相同市区内的节点,其次选择相同省份的节点,如果在同一个省份里找不到节点,则把预设区域,如中国分成东南西北四个区域,返回所在区域的节点;
d、优先选择与所述客户端2具有相同NAT(Network Address Translation,网络地址转换)类型的节点;
e、优先选择稳定性较好的节点,例如根据一段时间的节点的上传、下载、内存、CPU、带宽等因素综合考虑,稳定性较好的节点;
f、优先选择预设类型的节点,如选择普通客户端节点、边缘CDN节点和中心CDN节点等;及
g、优先利用局域网发现机制,通过UDP广播的形式所寻找到的节点;
h、优先选择P2P(peer to peer)历史穿透成功率高于预定阈值的节点。
S5,向打洞服务器12请求与所述至少一个存储有所述所请求资源的节点13的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点13的点对点的通讯。
本发明较佳实施例中,所述打洞服务器12接收所述客户端2发送的打洞请求,打通与所述存储有所请求资源的节点13的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点13的点对点的通讯。
详细地,在本发明的其中一个实施例中,所述打洞服务器12对节点A与节点B之间进行打洞时,所述打洞方法包括:
Ⅰ、节点B向所述打洞服务器12请求向节点A打洞;
Ⅱ、所述打洞服务器12响应相应节点B的打洞请求,发送节点B的地址信息给节点A,并通知节点A,节点B想与其打洞;
Ⅲ、由节点A主动发一条信息给节点B,以使节点A的路由器A’中存在一条关于节点B的路由器B’的IP地址的路由信息;
Ⅳ、节点B发送一条信息给节点A,由于此时路由器A’的路由表中有关于路由器B’的IP地址的路由信息,此时路由器B’能路由给节点A了,至此,节点A就能直接收到节点B发的信息了,完成打洞,而由于路由器B’中已经有关于路由器A’的IP地址的路由信息,所以节点A发给节点B时不需要打洞。
S7,利用所述通讯通道对所述至少一个存储有所述所请求资源的节点13发送所述资源获取请求,并接收所述最优节点13返回的资源数据。
本发明所述基于分布式文件系统的网络资源传输系统采用去中心化的分布式架构,将用户信息分散于若干的节点上。此外,本发明在网络传输时,采用了去中心化的认证机制,无需中心服务器的认证,即可完成权限认证。本发明中的所有节点都是平等自治的,存储的资源不会因为某一个节点失效而丢失。此外,本发明具有分布式对节点的特性,当用户请求资源时,将自动返回离用户最近的节点、以最大限制的提升传输效率。
本发明较佳实施例还提供一种用于执行上述基于分布式文件系统的网络资源传输方法的装置。在本实施例中,所述基于分布式文件系统的网络资源传输装置1为如图1所示的网络传输系统中的任何一个节点,可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备等。
参阅图3所示,图3为本发明一实施例揭露的基于分布式文件系统的网络资源传输装置的内部结构示意图。
所述基于分布式文件系统的网络资源传输装置1可以包括存储器11、处理器12和总线13。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于分布式文件系统的网络资源传输装置1的内部存储单元,例如该基于分布式文件系统的网络资源传输装置1的硬盘。存储器11在另一些实施例中也可以是基于分布式文件系统的网络资源传输装置1的外部存储设备,例如基于分布式文件系统的网络资源传输装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括基于分布式文件系统的网络资源传输装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于分布式文件系统的网络资源传输装置1的应用软件及各类数据,例如网络资源传输程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行网络资源传输程序01等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,基于分布式文件系统的网络资源传输装置1还可以包括网络接口14,网络接口14可选的,可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该装置1与其他电子设备之间建立通信连接。
可选地,该基于分布式文件系统的网络资源传输装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在基于分布式文件系统的网络资源传输装置1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-14以及网络资源传输程序01的基于分布式文件系统的网络资源传输装置1,本领域技术人员可以理解的是,图3示出的结构并不构成对基于分布式文件系统的网络资源传输装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在图3所示的基于分布式文件系统的网络资源传输装置1实施例中,存储器11中存储的网络资源传输程序01,由处理器12调用执行时,可以实现如下步骤:
向域名解析服务器发送域名请求,并接收所述域名解析服务器根据所述域名请求返回的索引服务器的网络地址;
根据所述网络地址,向所述索引服务器发送资源索引请求;
接收所述索引服务器返回的对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品存储在一种计算机可读存储介质中。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于分布式文件系统的网络资源传输方法,其特征在于,所述分布式文件系统包括多个用于存储资源的节点,所述方法包括:
向域名解析服务器发送域名请求,并接收所述域名解析服务器根据所述域名请求返回的索引服务器的网络地址;
根据所述网络地址,向所述索引服务器发送资源索引请求;
接收所述索引服务器返回的对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据。
2.根据权利要求1所述的网络传输方法,其特征在于,所述所请求资源的多个切片分布式存储于多个节点中;
所述向所述至少一个存储有所述所请求资源的节点发送资源获取请求,并接收所述至少一个存储有所述所请求资源的节点返回的资源数据包括:
分别向存储所述所请求资源的多个切片的多个节点发送资源获取请求,并接收各节点返回的所请求资源的切片;
将接收到的多个切片组合成所述所请求资源。
3.根据权利要求1或2所述的方法,其特征在于,所述资源索引请求包括所请求资源的哈希值,所述节点指示信息包括所述所请求资源的多个切片的哈希值以及存储所述所请求资源的多个切片的多个节点的网络地址信息;
所述资源获取请求包括所请求切片的哈希值。
4.根据权利要求1所述的方法,其特征在于,在向所述至少一个存储有所述所请求资源的节点发送资源获取请求之前,所述方法还包括:
向打洞服务器请求与所述至少一个存储有所述所请求资源的节点的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点的点对点的通讯。
5.根据权利要求1所述的方法,其特征在于,所述资源索引请求包括资源所有者的授权签名,和/或所述资源获取请求包括资源所有者的授权签名。
6.一种基于分布式文件系统的网络资源传输装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的网络资源传输程序,所述网络资源传输程序被所述处理器执行时实现如权利要求1-5任一项所述的方法。
7.一种基于分布式文件系统的网络资源传输方法,其特征在于,所述方法包括:
域名解析服务器接收客户端发送的域名请求,根据所述域名请求,向所述客户端返回所述域名请求对应的索引服务器的网络地址;
索引服务器接收所述客户端发送的资源索引请求,并向所述客户端返回对应所述资源索引请求的节点指示信息,所述节点指示信息包括至少一个存储有所请求资源的节点的网络地址信息;
存储有所请求资源的节点根据所述客户端发送的资源获取请求,向所述客户端返回资源数据。
8.如权利要求7所述的方法,其特征在于,存储有所述客户端所请求资源的节点包括多个,其中的每一个节点存储所述客户端所请求资源的多个切片。
9.如权利要求7所述的方法,其特征在于,该方法还包括:
打洞服务器根据所述客户端发送的打洞请求,打通与所述存储有所请求资源的节点的通讯通道,以实现与所述至少一个存储有所述所请求资源的节点的点对点的通讯。
10.一种基于分布式文件系统的网络资源传输系统,其特征在于,所述系统包括:一个或者多个域名解析服务器、一个或者多个索引服务器、一个或者多个打洞服务器以及一个或者多个节点,执行如权利要求7-9中任一项所述的方法。
CN201910000568.6A 2019-01-02 2019-01-02 基于分布式文件系统的网络资源传输方法及系统 Pending CN109788051A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910000568.6A CN109788051A (zh) 2019-01-02 2019-01-02 基于分布式文件系统的网络资源传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910000568.6A CN109788051A (zh) 2019-01-02 2019-01-02 基于分布式文件系统的网络资源传输方法及系统

Publications (1)

Publication Number Publication Date
CN109788051A true CN109788051A (zh) 2019-05-21

Family

ID=66499142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910000568.6A Pending CN109788051A (zh) 2019-01-02 2019-01-02 基于分布式文件系统的网络资源传输方法及系统

Country Status (1)

Country Link
CN (1) CN109788051A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602159A (zh) * 2019-07-30 2019-12-20 广州力挚网络科技有限公司 一种数据处理方法与系统
CN110830565A (zh) * 2019-10-31 2020-02-21 北京奇艺世纪科技有限公司 资源下载方法、装置、系统、电子设备及存储介质
CN111083204A (zh) * 2019-11-29 2020-04-28 广州市百果园信息技术有限公司 文件传输方法、装置及存储介质
CN111147186A (zh) * 2019-12-30 2020-05-12 深圳市网心科技有限公司 数据传输方法及装置、计算机设备及存储介质
CN111314458A (zh) * 2020-02-13 2020-06-19 深圳市网心科技有限公司 P2p网络的打洞方法、打洞装置及计算机可读存储介质
CN112235335A (zh) * 2020-03-04 2021-01-15 上海曼恒数字技术股份有限公司 一种内容传输方法及系统
CN114189565A (zh) * 2020-08-31 2022-03-15 华为技术有限公司 一种头域还原系统、方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534204A (zh) * 2008-03-10 2009-09-16 中国网通集团宽带业务应用国家工程实验室有限公司 流媒体信息分发系统和方法及客户端
US20120084359A1 (en) * 2010-09-30 2012-04-05 Brother Kogyo Kabushiki Kaisha Information processing device, information processing method, and computer readable recording medium
CN103888539A (zh) * 2014-03-28 2014-06-25 网宿科技股份有限公司 P2p缓存的引导方法、装置及p2p缓存系统
CN104199893A (zh) * 2014-08-25 2014-12-10 成都索贝数码科技股份有限公司 一种快速将全媒体内容发布的系统和方法
CN108353095A (zh) * 2017-09-30 2018-07-31 深圳前海达闼云端智能科技有限公司 域名解析方法、客户端、边缘节点及域名解析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534204A (zh) * 2008-03-10 2009-09-16 中国网通集团宽带业务应用国家工程实验室有限公司 流媒体信息分发系统和方法及客户端
US20120084359A1 (en) * 2010-09-30 2012-04-05 Brother Kogyo Kabushiki Kaisha Information processing device, information processing method, and computer readable recording medium
CN103888539A (zh) * 2014-03-28 2014-06-25 网宿科技股份有限公司 P2p缓存的引导方法、装置及p2p缓存系统
CN104199893A (zh) * 2014-08-25 2014-12-10 成都索贝数码科技股份有限公司 一种快速将全媒体内容发布的系统和方法
CN108353095A (zh) * 2017-09-30 2018-07-31 深圳前海达闼云端智能科技有限公司 域名解析方法、客户端、边缘节点及域名解析系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602159A (zh) * 2019-07-30 2019-12-20 广州力挚网络科技有限公司 一种数据处理方法与系统
CN110830565A (zh) * 2019-10-31 2020-02-21 北京奇艺世纪科技有限公司 资源下载方法、装置、系统、电子设备及存储介质
CN111083204A (zh) * 2019-11-29 2020-04-28 广州市百果园信息技术有限公司 文件传输方法、装置及存储介质
CN111147186A (zh) * 2019-12-30 2020-05-12 深圳市网心科技有限公司 数据传输方法及装置、计算机设备及存储介质
CN111314458A (zh) * 2020-02-13 2020-06-19 深圳市网心科技有限公司 P2p网络的打洞方法、打洞装置及计算机可读存储介质
CN112235335A (zh) * 2020-03-04 2021-01-15 上海曼恒数字技术股份有限公司 一种内容传输方法及系统
CN114189565A (zh) * 2020-08-31 2022-03-15 华为技术有限公司 一种头域还原系统、方法及相关设备
CN114189565B (zh) * 2020-08-31 2023-10-20 华为技术有限公司 一种头域还原系统、方法及相关设备

Similar Documents

Publication Publication Date Title
CN109788051A (zh) 基于分布式文件系统的网络资源传输方法及系统
Su et al. Haggle: Seamless networking for mobile applications
US9253284B2 (en) Historical browsing session management
US9021079B2 (en) Domain name service server
US8849802B2 (en) Historical browsing session management
US20130080576A1 (en) Historical browsing session management
US20130080577A1 (en) Historical browsing session management
AU2016202333B2 (en) Historical browsing session management
CN103023790A (zh) 一种用于实现跨域交互访问的方法和系统
CN103997521B (zh) 一种基于路由器的文件操作方法、装置及路由器
CN101562533A (zh) 用于服务器负载均衡器的基于标号的目标主机配置
US10997538B1 (en) Resource management
CN102571941B (zh) 云端点对点数据传输方法及系统
CN109951562A (zh) Nat穿透方法和系统、电子设备和存储介质
US8972477B1 (en) Offline browsing session management
CN106713684B (zh) 统一通信客户端账号与话机的号码的绑定方法及设备
CN104410680A (zh) 分享文件/文件夹的方法、客户端、服务器以及系统
CN109922156A (zh) 一种数据通信方法及其相关设备
CN109660639A (zh) 一种数据上传方法、设备、系统及介质
CN104486327A (zh) 页面与长连接服务器间的通信方法及客户端
CN107710695A (zh) 一种访问家庭nas设备的方法、对应装置及系统
CN105450513B (zh) 归档邮件附件的方法和云存储服务器
US9330188B1 (en) Shared browsing sessions
CN103957252B (zh) 云储存系统的日志获取方法及其系统
CN109639801A (zh) 数据节点分配及数据获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 518000 21 / f-23 / F, block B, building 12, Shenzhen Bay science and technology ecological park, No. 18, South Keji Road, high tech community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Xunlei Networking Technologies, Ltd.

Applicant after: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd.

Address before: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant before: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521