CN114422519B - 一种数据请求的处理方法、装置、电子设备及存储介质 - Google Patents
一种数据请求的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114422519B CN114422519B CN202011095516.0A CN202011095516A CN114422519B CN 114422519 B CN114422519 B CN 114422519B CN 202011095516 A CN202011095516 A CN 202011095516A CN 114422519 B CN114422519 B CN 114422519B
- Authority
- CN
- China
- Prior art keywords
- target
- fog node
- data
- network
- node equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 71
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 230000035515 penetration Effects 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000011330 nucleic acid test Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 16
- 238000005065 mining Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000003595 mist Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2854—Wide area networks, e.g. public data networks
- H04L12/2856—Access arrangements, e.g. Internet access
- H04L12/2858—Access network architectures
- H04L12/2859—Point-to-point connection between the data network and the subscribers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/25—Mapping addresses of the same type
- H04L61/2503—Translation of Internet protocol [IP] addresses
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据请求的处理方法、装置、电子设备及存储介质,该方法包括:基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;目标雾节点设备为内容分发网络中的边缘设备;从网口线路映射关系中获取各个目标网口各自对应的目标线路;从线路线程映射关系中获取各个目标线路各自对应的目标线程池;将至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池;基于目标雾节点设备启动单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从目标雾节点设备的存储设备中并发获取至少两个客户端各自对应的目标数据。本发明能够降低硬件资源消耗和运营难度。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种数据请求的处理方法、装置、电子设备及存储介质。
背景技术
P2P内容分发网络(P2P CDN,以下简称PCDN)是以点对点网络(P2P)技术为基础,通过挖掘利用边缘网络闲置资源而构建的低成本高品质内容分发网络服务。
图1所示为现有技术中应用于PCDN中的多条家庭宽带线路(以下简称家宽线路)汇聚技术方案。如图1所示,雾节点上根据家宽线路的数量启动对等数量的应用容器引擎(Docker)服务,每个Docker服务独占一条家宽线路和物理存储空间。上层路由器拨号后,在雾节点本机生成唯一的以太网上的点对点协议(Point-to-Point Protocol OverEthernet,PPPoE)网口进行网络传输,磁盘通过分区技术进行物理隔离,Docker服务启动的时候,PPPoE网口通过环境变量和分区目录通过挂载的方式供Docker程序使用。
但现有技术的雾节点宿主机上需要启动多个Docker实例硬件资源,中央处理器(Central Processing Unit,CPU)和磁盘消耗大,且程序部署和升级需要对所有Docker实例进行操作,每个Docker实例的PPPoE网口和分区信息不一样,运营难度较大。
发明内容
为了降低硬件资源消耗和运营难度,本发明提出一种数据请求的处理方法、装置、电子设备及存储介质。
一方面,本发明提出了一种数据请求的处理方法,所述方法包括:
于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;所述目标雾节点设备为内容分发网络中的边缘设备,所述目标雾节点设备中部署有单个应用程序引擎,所述目标网口基于所述目标雾节点设备与所述至少两个客户端之间的内网穿透连接而确定;
基于所述目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路;
基于所述目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池;
基于所述目标雾节点设备中的不同目标网口,将所述至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池;
基于所述目标雾节点设备启动所述单个应用程序引擎,以通过各个目标线路各自对应的目标线程池,从所述目标雾节点设备的存储设备中并发获取所述至少两个客户端各自对应的目标数据。
另一方面,本发明实施例提供了一种数据请求的处理装置,所述装置包括:
接收模块,用于基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;所述目标雾节点设备为内容分发网络中的边缘设备,所述目标雾节点设备中部署有单个应用程序引擎,所述目标网口基于所述目标雾节点设备与所述至少两个客户端之间的内网穿透连接而确定;
目标线路获取模块,用于基于所述目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路;
传输模块,用于基于所述目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池;
目标线程池获取模块,用于基于所述目标雾节点设备中的不同目标网口,将所述至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池;
启动模块,用于基于所述目标雾节点设备启动所述单个应用程序引擎,以通过各个目标线路各自对应的目标线程池,从所述目标雾节点设备的存储设备中并发获取所述至少两个客户端各自对应的目标数据。
另一方面,本发明提出了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的数据请求的处理方法。
另一方面,本发明提出了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的数据请求的处理方法。
本发明实施例提出的数据请求的处理方法、装置、电子设备及存储介质,在用户需要下载目标数据时,可以连接目标雾节点设备中的不同网口,以向目标雾节点设备发送目标数据的数据下载请求,并根据预先建立的网口线路映射关系获取各个网口各自对应的目标线路,接着根据线路线程映射关系中获取各个目标线路各自对应的目标线程池,然后通过不同的目标网口,将至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池,最后启动部署在该目标雾节点设备上的单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从目标雾节点设备的存储设备中并发获取至少两个客户端各自对应的目标数据。可见,本发明实施例仅需启动单个Docker实例,并为每个网络线路绑定单独的线程池,使得在单个Docker实例内部可以并发处理多个网络线路的数据下载请求,有效降低硬件资源消耗和运营难度,且各个目标线路的各自对应的线程池可以从目标雾节点设备的存储设备中并发获取目标数据,使得目标雾节点设备的存储设备中存储的数据可以被多个网络线路所共享,不再彼此物理隔离,实现了设备存储复用,有效降低同一数据的副本数,节省存储空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是现有技术中的多条家庭宽带线路汇聚技术方案。
图2是本发明实施例提供的一种数据请求的处理方法的实施环境示意图。
图3是本发明实施例提供的一种应用于多家宽带线路汇聚场景中的雾节点网络拓扑架构图。
图4是本发明实施例提供的一种数据请求的处理方法的系统架构图。
图5是本发明实施例提供的一种PCDN调度流程示意图。
图6是本发明实施例提供的一种数据请求的处理方法的流程示意图。
图7是本发明实施例提供的获取目标雾节点设备的一种流程示意图。
图8是本发明实施例提供的确定目标网口以及向客户端返回目标网口的一种流程示意图。
图9是本发明实施例提供的区块链系统的一个可选的结构示意图。
图10是本发明实施例提供的区块结构的一个可选的示意图。
图11是本发明实施例提供的数据请求的处理装置的结构示意图。
图12是本发明实施例提供的一种服务器结构示意图。
具体实施方式
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。具体地,云技术包括安全、大数据、数据库、行业应用、网络、存储、管理工具、计算等技术领域。
具体地,本发明实施例涉及云技术中的网络技术领域。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下,对本发明实施例所使用到的技术术语进行解释:
PCDN:以P2P技术为基础,通过挖掘利用边缘网络闲置资源(即边缘设备)而构建的低成本高品质内容分发网络服务。PCDN中的边缘设备满足具有文件数据和具有传输用的网口宽带资源等条件,因此边缘设备具有作为数据提供者的能力。由于边缘设备自身的网络宽带资源成本要低于缓存服务器的网络宽带资源成本,将边缘设备作为数据下载的资源提供者,能够分担PCDN服务器的数据下载压力,降低PCDN的网络宽带成本。相比于传统内容分发网络(Content Delivery Network,CDN),PCDN具有如下优点:1)更低的时延,在终端更近的地方部署边缘凭条,将数据的存储和传输交给边缘节点处理,降低数据传输时间;2)更低的带宽成本,利用闲置的家庭带宽等资源替换IDC机房提供上行服务。
PPPoE:以太网上的点对点协议,是将点对点协议(PPP)封装在以太网(Ethernet)框架中的一种网络隧道协议。
Docker:Docker是一个开源的应用容器引擎。Docker使用客户端-服务器(C/S)架构模式,使用远程应用程序接口(Application Programming Interface,API)来管理和创建Docker容器。Docker容器通过Docker镜像来创建,容器与镜像的关系类似于面向对象编程中的对象与类。Docker采用C/S架构,守护进程(Docker daemon)作为服务端接受来自客户的请求,并处理这些请求(创建、运行、分发容器)。
随着PCDN快速发展,雾计算资源的形态也在升级换代。一代盒子设备,硬件配置低、网络环境差,设备挂在用户家庭无线路由器下,上行能力小且不稳定随时掉线或者用户人为限速。二代家宽矿机,在矿场中由矿场主运营,硬件配置好Inter CPU、64G内存、SSD磁盘,单线路上行带宽大通常50Mbps或者100Mbps的稳定全锥型或者公网网际互连协议(Internet Protocol,IP),家宽矿机会在同一物理机上汇聚多条PPPoE线路提供服务。本发明实施例适应于家宽矿机多线路汇聚场景。具体可以应用于PCDN的公网和局域网资源,实现家宽矿机的CPU、存储、内存硬件资源共享。
图2是本发明实施例提供的一种数据请求的处理方法的实施环境示意图。如图2所示,该实施环境至少可以包括客户端01、雾节点设备02和服务器03,其中,该雾节点设备02可以为PCDN中的边缘设备,服务器03可以为PCDN中的后台服务器。客户端01、雾节点设备02服务器03可以通过有线或无线通信方式进行直接或间接地连接,本发明在此不做限制。客户端01通过该直接或间接向雾节点设备02发目标数据的数据下载请求,雾节点设备02向客户端01反馈该目标数据,客户端01向服务器03发送目标数据的数据查询请求,雾节点设备03向客户端01反馈目标网口及其相关信息。
具体地,服务器03可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端01可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。客户端01以及服务器03可以通过有线或无线通信方式进行直接或间接地连接,本发明在此不做限制。
需要说明的是,图2仅仅是一种示例。
由于家宽线路网通常为局域网位于网络地址转换(Network AddressTranslation,NAT)后,无静态IP不能直接提供服务,需要维持稳定NAT地址,才能供后台调度让客户端进行内网穿透(NAT穿透)和请求服务。图3所示为本发明实施例中应用于多家宽带线路汇聚场景中的雾节点网络拓扑架构图,如图3所示,多条家宽线路通过交换机进行汇聚后,交换机接线雾节点设备。在雾节点设备上进行PPPoE拨号后,应用交换机虚拟局域网(Virtual Local Area Network,VLAN)技术将雾节点设备上网口和多条家宽线路进行一一绑定,保证雾节点设备上同一网口的数据包只转发给绑定的家宽线路,使得每条家宽线路拥有稳定的NAT地址,从而使得家宽线路网与雾节点设备之间可以进行NAT穿透连接,NAT穿透连接是指使用了不同私网络的设备之间的连接。在未进行穿透时,若两台设备都处于私有网络中,则无法进行通信连接;通过该内网穿透连接,即使客户端和雾节点设备都处于不同的私有网络中,也能够直接建立起客户端与雾节点设备之间的数据传输通路。因此,可以根据与雾节点集合中雾节点的内网穿透连接,确定雾节点的可用带宽参数。其中,该雾节点设备为PCDN中的边缘设备。
继续如图3所示,本发明实施例相当于是预先建立了雾节点设备上的网口与多条家宽线路之间的网口线路映射关系,该建立网口线路映射关系具体可以包括以下步骤:
1)获取多个网络线路,该网络线路即为家宽线路。
2)通过应用交换机虚拟局域网技术,对多个网络线路进行汇聚。
3)将汇聚后的多个网络线路与目标雾节点设备进行连接。
4)响应于基于目标雾节点设备上的拨号操作,将多个网络线路与目标雾节点设备上的多个网口进行一一绑定,以保证同一网口中的数据包只能转发给绑定的网络线路。
5)建立多个网络线路与绑定的网口之间的映射关系,得到网口线路映射关系。
在一些实施例中,还可以设置一个抽象的线程池,该线程池可以实现对多个家宽线路的请求进行分区和处理,并且维护多有家宽线路的NAT地址,使得每条家宽线路拥有稳定的NAT地址。
图4所示为本发明实施例提供的一种数据请求的处理方法的系统架构图。如图4所示,在PCDN的雾节点设备中部署单个Docker实例,使得雾节点设备仅需启动一个Docker实例,就可以同时识别全部家宽线路并使用。在雾节点程序中管理多条家宽线路,并在单个Docker实例中为每个家宽线路分配各自对应的线程池,每条家宽线路绑定单独的线程池进行P2P传输,线程使用内核端口复用(REUSEPORT)属性监听相同的本地IP和端口,通过网口后映射为相同的内网穿透IP(NAT IP)和内网穿透端口(NAT PORT),其中一个线程会和后台STUN服务器定期心跳保活用来NAT穿透。Docker实例内部可以通过每条家宽线路各地对应的线程池,并发处理每条家宽线路的数据处理请求。该数据处理请求可以为数据下载请求。其中,该STUN为Session Traversal Utilities for NAT的缩写,其中文名称为网络地址转换会话穿越应用程序,其允许位于NAT(或多重NAT)后的客户端找出自己的公网地址,查出自己位于哪种类型的NAT之后以及NAT为某一个本地端口所绑定的互联网(Internet)端端口。
继续如图4所示,本发明实施例相当于是预先建立线路与线程之间的线路线程映射关系,该建立线路线程映射关系具体可以包括以下步骤:
1)在雾节点设备上部署单个应用容器引擎(即单个Docker实例)。
2)在该单个应用容器引擎中,为多个网络线路分别分配各自对应的线程池,每个线程池中具有多个线程。
3)建立多个网络线路与分配的线程池之间的映射关系,得到线路线程映射关系。
继续如图4所示,本发明实施例在雾节点设备上设置存储设备,该存储设备可以为该雾节点设备的整机磁盘,无需对整机磁盘进行分区,该存储设备中存储的数据用于被多个家宽线路所共享。
如上所述,本发明实施例在雾节点设备上进行PPPoE拨号,指定网络(network)为宿主机(host)模式启动程序Docker,Docker程序获取物理机中全部家宽账号PPPoE拨号后的网口信息,每条家宽线路使用单独的线程池进行P2P打洞和传输,通过和PCDN后台的心跳携带每个出口的实时网络状态信息供后台进行调度。本发明实施例通过优化调度流程和雾节点架构,可让雾节点仅启动一个Docker实例,雾节点设备中启动Docker实例从n个到1个,Docker实例中添加网口管理层,可同时并发处理全部家宽线路的请求,不仅达到存储和CPU复用降低损耗,还降低了运营难度。且存储层根据整机磁盘信息进行热点缓存。同机缓存的热点内容实现了家宽线路之间的共享,不再彼此物理隔离。当雾节点设备为n条家宽线路汇聚时,能将同一文件的n份副本数降低为1份。
本发明实施例还可以在雾节点设备后台信令中添加网口属性,客户端在查种时先通过文件索引查找文件缓存所在的设备,然后获取设备的网口信息,根据网络出口的实时状态筛选可用的网口返回给客户端,其中,查种是指查找文件所在的设备。该信令协议内容可以如表1所示:
表1信令协议内容
设备身份证标识号(Identity Document,ID)(8字节) |
设备类型(2字节) |
设备网络类型(2字节) |
时间戳(4字节) |
网口ID(8字节) |
网口本地IP(4字节) |
网口本地端口(PORT)(2字节) |
网口NAT IP(4字节) |
网口NAT PORT(2字节) |
网口STUN IP(4字节) |
网口STUN PORT(2字节) |
网口实时上行带宽(4字节) |
网口可服务链接数(4字节) |
保留字段(2字节) |
网口ID(8字节) |
... |
其中,协议中设备ID是存储层的唯一标识,网口ID是网络层家宽线路的唯一标识。PCDN调度后台的文件索引维护文件ID和设备ID的映射关系。设备类型为普通家庭盒子设备、矿机。网口信息中NAT地址、STUN地址查种返回给客户端。即在PCDN包括多个雾节点设备时,本发明实施例还可以包括建立数据节点映射关系的步骤,具体地,建立数据节点映射关系可以包括:
获取缓存在多个雾节点设备的存储设备中的缓存数据。
建立雾节点设备的雾节点设备标识信息与相应的缓存数据的缓存数据标识信息之间的数据节点映射关系。
图5所述为本发明实施例提供的一种PCDN调度流程示意图,如图5所示,该PCDN调度可以包括以下步骤:
1)客户端通过目标数据对应的业务ID和文件名向PCDN发起查种请求,以在PCDN中查找存储有该目标数据的目标雾节点设备。
2)PCDN后台收到查种请求后,将文件名转换为PCDN后台文件唯一标识信息,然后根据预先建立好的数据节点映射关系,查种全局文件索引获取与目标数据的标识信息对应的雾节点设备标识信息,并通过查询到的雾节点设备标识信息确定存储有该目标数据的多个候选雾节点设备以及该多个候选雾节点设备各自对应的设备节点属性信息。
3)如果每个候选雾节点设备的设备节点属性信息均为空,则说明没有查找到该目标数据,则向该客户端返回该目标数据不存在,否则获取设备节点属性信息不为空的候选雾节点设备的设备节点属性信息列表,该设备节点属性信息列表包含雾节点设备所在的运营商、NAT类型、省份等信息。
4)根据返回的设备节点属性信息列表进行静态信息过滤,从设备节点属性信不为空的候选雾节点设备中,筛选满足预设条件的目标雾节点设备,该预设条件可以为:与客户端相同运营商、最近省份和NAT类型符合穿透规则的设备。其中,最近省份可以表征目标雾节点设备与客户端之间的传输距离最短。如果静态信息过滤之后得到多个目标雾节点设备,则可以进一步对该目标雾节点设备进行负载筛选,筛选出负载小于预设负载阈值的目标雾节点设备。
5)如果该目标雾节点设备的设备节点信息为空,则向客户端返回无可用雾节点设备信息,否则检查该目标雾节点设备的网口信息。
6)如果该目标雾节点设备的网口信息为空,则向该客户端返回无可用雾节点设备,否则从目标雾节点设备中的多个网口中随机选择一个网口,遍历雾节点设备网口列表根据实时带宽参数信息进行筛选,向客户端返回实时带宽最小的目标网口。该实时宽带参数信息通过客户端与该目标雾节点设备之间的NAT穿透而确定。在确定出实时宽带最小的目标网口之后,可以将目标网口中的NAT地址、STUN地址返回给客户端,以使客户端根据接收到的目标网口进行数据下载。
本发明实施例中,在PCDN调度过程中,对查询到的多个候选雾节点设备进行静态删选,以选出与客户端具有相同运营商、传输距离最近、NAT类型符合穿透规则的目标雾节点设备,从而提高后续数据下载的稳定性和速度,缩短后续数据下载所需的下载时间。
在确定出目标雾节点设备之后,为了进一步提高后续数据下载的稳定性和速度,还可以根据客户端与该目标雾节点设备之间的NAT穿透确定雾节点设备中各个网口的实时宽带参数信息(即宽带资源),并从中选择实时宽带信息最小的网口作为后续数据下载的目标网口。
本发明实施例中的多条家宽线路的运营商、省份和上行能力大小信息基本一致,后台调度根据实时负载信息进行筛选。当然,在一些可行的实施例中,多条家宽线路还可以实现跨运营商和/或跨省份。
图6是本发明实施例提供的一种数据请求的处理方法的流程示意图。该方法可以用于图4中的系统架构中。本说明书提供了如实施例或模块图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图6所示,该方法可以包括:
S101.基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;目标雾节点设备为内容分发网络中的边缘设备,目标雾节点设备中部署有单个应用容器引擎,目标网口基于目标雾节点设备与至少两个客户端之间的内网穿透连接而确定。
若本发明实施例中各个客户端所要下载的目标数据均存储在该目标雾节点设备的存储设备(即整机磁盘),则在多个客户端对目标数据进行下载之前,可以通过图5中的PCDN调度方法确定各个客户端想要下载的目标数据所在的目标雾节点设备以及相应的目标网口。
需要说明的是,各个客户端想要下载的目标数据可以相同,也可以不同。
具体地,该目标雾节点设备可以通过图5中的PCDN调度方法确定,即客户端可以以需要下载的目标数据的标识信息作为查询依据,向PCDN的雾节点设备中查具有该目标数据的目标雾节点设备。图7所示为获取该目标雾节点设备的一种流程示意图,如图7所示,获取该目标雾节点设备可以包括:
S201.接收至少两个客户端各自发送的目标数据的数据查询请求,各个数据查询请求中携带相应的目标数据的标识信息。
S203.基于数据节点映射关系,从多个雾节点设备中查询与各个数据查询请求中携带的标识信息对应的雾节点设备标识信息。
S205.将查询到的雾节点设备标识信息所对应的雾节点设备,作为目标雾节点设备。
本发明实施例中,由于S205中查询到的雾节点设备标识信息所对应的雾节点设备可能有多个,为了提高数据下载的稳定性和速度,缩短数据下载所需的下载时间,在确定目标雾节点设备之前,还可以对S205中查询到的雾节点设备进行进一步的筛选,从而筛选出满足预设条件的目标候选雾节点设备,该预设条件可以为:与客户端相同运营商、最近省份和NAT类型符合穿透规则的设备。
假设客户端1想要查询目标数据1,客户端2想要查询目标数据2,目标数据1和目标数据2均位于同一雾节点设备上,则客户端1可以向PCDN服务器发送目标数据1的数据查询请求1,客户端2可以向PCDN服务器发送目标数据2的数据查询请求2,PCDN服务器在接收到数据查询请求1和数据查询请求2后,可以按照图5中的PCDN调度方法确定出存储有目标数据1和目标数据2的目标雾节点设备。
本发明实施例中,在确定出目标雾节点设备之后,还可以通过图5中的PCDN调度方法,确定出各个客户端各自对应的目标网口。图8所示为确定目标网口以及向客户端返回目标网口的一种流程示意图,如图8所示,确定目标网口以及向客户端返回目标网口可以包括:
S301.基于至少两个客户端与目标雾节点设备之间的内网穿透连接,确定多个候选网口各自对应的宽带参数信息。
S303.基于多个候选网口各自对应的宽带参数信息,从多个候选网口中确定出与至少两个客户端各自对应的目标网口。
S305.将至少两个客户端各自对应的目标网口,反馈至相应的客户端。
本发明实施例中的目标雾节点设备可以包括多个候选网口,由于预先建立了各个客户端与雾节点设备之间的NAT穿透连接,则PCDN服务器根据该NAT穿透连接可以确定各个候选网口之间的实时宽带参数信息。又由于不同客户端向PCDN服务器发送数据查询请求之间存在一定的时间差,或者PCDN在处理不同客户端发送的数据查询请求之间存在有一定的时间差,因此,PCDN服务器通过图5中的PCDN调度方法可以从多个候选网口中选择当前宽带资源最小的候选网口作为不同客户端各自对应的目标网口。
本发明实施例中,在确定出不同的目标网口之后,可以将不同的目标网口以及网口相关信息反馈至相应的客户端,该网口相关信息包括NAT地址、STUN地址,以使各个客户端通过向相应的目标网口发送数据下载请求,从而进一步为了提高数据下载的稳定性和速度。
例如,根据图5中的PCDN调度方法确定客户端1对应的目标网口1和客户端2对应的目标网口2,将目标网口1及其相关信息反馈至客户端1,将目标网口2及其相关信息反馈至客户端2。
本发明实施例中,如S101所示,在确定出各个客户端对应的目标雾节点设备和相应的目标网口之后,各个客户端就可通过相应的目标网口的地址向相应的目标雾节点设备发送目标数据的数据下载请求。该目标数据是发送数据下载请求的客户端所需要下载的文件,例如,在用户想要通过手机上的影音软件在线观看电影时,该影音软件可以发起针对该电影视频文件的数据下载请求。
例如,客户端1通过目标网口1向该目标雾节点设备发送目标数据1的数据下载请求1,客户端2通过目标网口2向该目标雾节点设备发送目标数据2的数据下载请求2。该目标数据1和目标数据2可以相同,也可以不同。
S103.基于目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路。
在多条家宽线路场景中,本发明实施例中的目标线路即为家宽线路。由于预先建立了网口与线路之间的网口线路映射关系,则在目标雾节点设备在接收到各个客户端通过不同的目标网口发送的数据下载请求之后,可以根该映射关系获取各个目标网口各自对应的目标线路。
例如,根据该网口线路映射关系,确定目标网口1对应的目标线路1以及目标网口2对于应的目标线路2。
由于预先建立了网口与线路之间的网口线路映射关系,使得网口与线路之间一一进行绑定,保证同一网口中的数据包只能转发给绑定的线路,使得每条家宽线路拥有稳定的NAT地址,从而使得家宽线路网与雾节点设备之间可以进行NAT穿透连接,进一步提高了数据下载的稳定。
S105.基于目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池。
本发明实施例中,由于预先建立了线路与线程池之间的线路线程映射关系,则可以根据预先建立的线路线程映射关系,获取各个目标线路各自对应的目标线程池。
例如,根据该线路线程映射关系,获取目标线路1对应的目标线程池1以及目标线路2对应的目标线程池2。
S107.基于目标雾节点设备中的不同目标网口,将至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池。
本发明实施例中,在获取到各个客户端各自对应的目标网口、目标线路、目标线程池之后,可以将各个客户端各自对应的数据下载请求通过相应的目标网口传输至相应的目标线路,再通过相应的目标线路传输至相应的目标线程池。
例如,将客户端1发送的目标数据1的数据下载请求1,通过目标网口1转发至目标线路1,再由目标线路1传输至目标线程池1,并将客户端2发送的目标数据2的数据下载请求2,通过目标网口2转发至目标线路2,再由目标线路2传输至目标线程池2。
由于在单个Docker中为每个线路绑定了各自对应的线程池,使得每个线路可以使用单独的线程池中的线程进行P2P打洞和数据传输,从而确保单个Docker可以并发处理各个线路传输过来的数据处理请求。
S109.基于目标雾节点设备启动单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从目标雾节点设备的存储设备中并发获取至少两个客户端各自对应的目标数据。
本发明实施例中,可以启动目标雾节点设备启动单个Docker,以通过各个目标线路各自对应的目标线程池,从目标雾节点设备的整机磁盘中并发获取各个客户端各自对应目标数据。
本发明实施例中,在得到各个客户端各自对应的目标数据之后,可以将各个客户端各自对应的目标数据通过相应的目标线程和目标网口返回至相应的客户端。
例如,通过目标线程池1中的线程对数据下载请求1进行处理,从整机磁盘中获取客户端1对应的目标数据1,将目标数据1通过目标线路1和目标网口1发送至客户端1。通过线程池2中的线程对数据下载请求2进行处理,从整机磁盘中获取客户端2对应的目标数据2,将目标数据2通过目标线路2和目标网口2发送至客户端2。
本发明实施例仅需启动单个Docker实例,并为每个网络线路绑定单独的线程池,使得在单个Docker实例内部可以并发处理多个网络线路的数据下载请求,有效降低硬件资源消耗和运营难度,且各个目标线路的各自对应的线程池可以从目标雾节点设备的整机磁盘中并发获取目标数据,使得目标雾节点设备的整机磁盘中存储的数据可以被多个网络线路所共享,不再彼此物理隔离,实现了设备存储复用,有效降低同一数据的副本数,节省存储空间。
在一个可行的实施例中,网口线路映射关系、线路线程映射关系、数据节点映射关系中的至少在一个可以存储于区块链系统中。参见图9,图9所示是本发明实施例提供的区块链系统的一个可选的结构示意图,多个节点之间形成组成的点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。在区块链系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。
参见图9示出的区块链系统中各节点的功能,涉及的功能包括:
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能:
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
参见图10,图10为本发明实施例提供的区块结构(Block Structure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块。
本发明实施例提供的一种数据请求的处理方法,具有如下有益效果:
1)本发明实施例不需要根据网络线路的上行宽带能力,对等启动多个Docker实例,而仅需启动单个Docker实例(启动的Docker实例从n个降到1个),并为每个网络线路绑定单独的线程池,使得在单个Docker实例内部可以并发处理多个网络线路的数据下载请求,不仅降低硬件资源消耗,还提高了数据下载的速率。
2本发明实施例中的各个目标线路的各自对应的线程池可以从目标雾节点设备的存储设备中并发获取目标数据,使得目标雾节点设备的存储设备(即整机磁盘)中存储的数据可以被多个网络线路所共享,不再对整机磁盘进行分区以使各个分区之间彼此物理隔离,实现了设备存储复用,有效降低同一数据的副本数(热点副本数从n份降低为1份),节省存储空间。
3)由于本发明实施例不需要启动多个Docker实例,因此不存在程序部署和升级需要对所有Docker实例进行操作的问题,也不存在由于每个Docker实例PPPoE网口和分区信息不一样导致的运维容易出错的缺陷,有效降低运营难度。
如图11所示,本发明实施例还提供了一种数据请求的处理装置,该装置可以至少包括:
接收模块401,可以用于基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;目标雾节点设备为内容分发网络中的边缘设备,目标雾节点设备中部署有单个应用容器引擎,目标网口基于目标雾节点设备与至少两个客户端之间的内网穿透连接而确定。
目标线路获取模块403,可以用于基于目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路。
传输模块405,可以用于基于目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池。
目标线程池获取模块407,可以用于基于目标雾节点设备中的不同目标网口,将至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池。
启动模块409,可以用于基于目标雾节点设备启动单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从目标雾节点设备的存储设备中并发获取至少两个客户端各自对应的目标数据。
进一步地,该装置还可以包括网口线路映射关系建立模块,该网口线路映射关系建立模块包括:
网络线路获取单元,可以用于获取多个网络线路。
汇聚单元,可以用于对多个网络线路进行汇聚。
连接单元,可以用于将汇聚后的多个网络线路与目标雾节点设备进行连接。
响应单元,可以用于响应于基于目标雾节点设备上的拨号操作,将多个网络线路与目标雾节点设备上的多个网口进行一一绑定。
网口线路映射关系建立单元,可以用于建立多个网络线路与绑定的网口之间的映射关系,得到网口线路映射关系。
进一步地,该装置还可以包括线路线程映射关系建立模块,该线路线程映射关系建立模块可以包括:
线程池分配单元,可以用于在单个应用容器引擎中,为多个网络线路分别分配各自对应的线程池。
线路线程映射关系建立单元,可以用于建立多个网络线路与分配的线程池之间的映射关系,得到线路线程映射关系。
进一步地,该装置还可以包括存储设备确定模块,该存储设备确定模块,可以用于在目标雾节点设备上设置存储设备,存储设备中存储的数据用于被多个目标线路所共享。
进一步地,内容分发网络中包括多个雾节点设备,该装置还可以包括数据节点映射关系建立模块,该数据节点映射关系建立模块可以包括:
缓存数据获取单元,可以用于获取缓存在多个雾节点设备的存储设备中的缓存数据。
数据节点映射关系建立单元,可以用于建立雾节点设备的雾节点设备标识信息与相应的缓存数据的缓存数据标识信息之间的数据节点映射关系。
进一步地吗,该装置还可以包括目标雾节点设备获取模块,该目标雾节点设备获取模块可以包括:
数据查询请求接收单元,可以用于接收至少两个客户端各自发送的目标数据的数据查询请求,各个数据查询请求中携带相应的目标数据的标识信息。
雾节点设备标识信息获取单元,可以用于基于数据节点映射关系,从多个雾节点设备中查询与各个数据查询请求中携带的标识信息对应的雾节点设备标识信息。
目标雾节点设备确定单元,可以用于将查询到的雾节点设备标识信息所对应的雾节点设备,作为目标雾节点设备。
进一步地,该目标雾节点设备包括多个候选网口,该装置还可以包括:
宽带参数信息确定模块,可以用于基于至少两个客户端与目标雾节点设备之间的内网穿透连接,确定多个候选网口各自对应的宽带参数信息。
目标网口确定模块,可以用于基于多个候选网口各自对应的宽带参数信息,从多个候选网口中确定出与至少两个客户端各自对应的目标网口。
反馈模块,可以用于将至少两个客户端各自对应的目标网口,反馈至相应的客户端。
需要说明的是,本发明实施例提供的装置实施例与上述方法实施例基于相同的发明构思。
本发明实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的数据请求的处理方法。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可设置于终端之中以保存用于实现方法实施例中一种数据请求的处理相关的至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的数据请求的处理方法。
可选地,在本说明书实施例中,存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本发明实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例提供的数据请求的处理方法。
本发明实施例所提供的数据请求的处理方法实施例可以在终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图12是本发明实施例提供的一种数据请求的处理方法的服务器的硬件结构框图。如图12所示,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central ProcessingUnits,CPU)510(处理器510可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器530,一个或一个以上存储应用程序523或数据522的存储介质520(例如一个或一个以上海量存储设备)。其中,存储器530和存储介质520可以是短暂存储或持久存储。存储在存储介质520的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器510可以设置为与存储介质520通信,在服务器500上执行存储介质520中的一系列指令操作。服务器500还可以包括一个或一个以上电源560,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口540,和/或,一个或一个以上操作系统521,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口540可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器500的通信供应商提供的无线网络。在一个实例中,输入输出接口540包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口540可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图12所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器500还可包括比图12中所示更多或者更少的组件,或者具有与图12所示不同的配置。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (16)
1.一种数据请求的处理方法,其特征在于,所述方法包括:
基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;所述目标雾节点设备为内容分发网络中的边缘设备,所述目标雾节点设备中部署有单个应用容器引擎,所述目标网口基于所述目标雾节点设备与所述至少两个客户端之间的内网穿透连接而确定;
基于所述目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路;
基于所述目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池;
基于所述目标雾节点设备中的不同目标网口,将所述至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池;
基于所述目标雾节点设备启动所述单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从所述目标雾节点设备的存储设备中并发获取所述至少两个客户端各自对应的目标数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括建立网口线路映射关系的步骤,所述建立网口线路映射关系包括:
获取多个网络线路;
对所述多个网络线路进行汇聚;
将汇聚后的所述多个网络线路与所述目标雾节点设备进行连接;
响应于基于所述目标雾节点设备上的拨号操作,将所述多个网络线路与所述目标雾节点设备上的多个网口进行一一绑定;
建立所述多个网络线路与绑定的网口之间的映射关系,得到所述网口线路映射关系。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括建立所述线路线程映射关系的步骤,所述建立线路线程映射关系包括:
在所述单个应用容器引擎中,为所述多个网络线路分别分配各自对应的线程池;
建立所述多个网络线路与分配的线程池之间的映射关系,得到所述线路线程映射关系。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标雾节点设备上设置所述存储设备,所述存储设备中存储的数据用于被多个目标线路所共享。
5.根据权利要求4所述的方法,其特征在于,所述内容分发网络中包括多个雾节点设备,所述方法还包括:
获取缓存在所述多个雾节点设备的存储设备中的缓存数据;
建立所述雾节点设备的雾节点设备标识信息与相应的缓存数据的缓存数据标识信息之间的数据节点映射关系。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括获取所述目标雾节点设备的步骤,所述获取所述目标雾节点设备包括:
接收所述至少两个客户端各自发送的目标数据的数据查询请求,各个数据查询请求中携带相应的目标数据的标识信息;
基于所述数据节点映射关系,从所述多个雾节点设备中查询与各个数据查询请求中携带的标识信息对应的雾节点设备标识信息;
将查询到的雾节点设备标识信息所对应的雾节点设备,作为所述目标雾节点设备。
7.根据权利要求1所述的方法,其特征在于,所述目标雾节点设备包括多个候选网口,所述方法还包括:
基于所述至少两个客户端与所述目标雾节点设备之间的内网穿透连接,确定所述多个候选网口各自对应的宽带参数信息;
基于所述多个候选网口各自对应的宽带参数信息,从所述多个候选网口中确定出与所述至少两个客户端各自对应的目标网口;
将所述至少两个客户端各自对应的目标网口,反馈至相应的客户端。
8.一种数据请求的处理装置,其特征在于,所述装置包括:
接收模块,用于基于目标雾节点设备中的不同目标网口,分别接收至少两个客户端各自发送的目标数据的数据下载请求;所述目标雾节点设备为内容分发网络中的边缘设备,所述目标雾节点设备中部署有单个应用容器引擎,所述目标网口基于所述目标雾节点设备与所述至少两个客户端之间的内网穿透连接而确定;
目标线路获取模块,用于基于所述目标雾节点设备,从网口线路映射关系中获取各个目标网口各自对应的目标线路;
传输模块,用于基于所述目标雾节点设备,从线路线程映射关系中获取各个目标线路各自对应的目标线程池;
目标线程池获取模块,用于基于所述目标雾节点设备中的不同目标网口,将所述至少两个客户端各自对应的数据下载请求,通过相应的目标线路传输至相应的目标线程池;
启动模块,用于基于所述目标雾节点设备启动所述单个应用容器引擎,以通过各个目标线路各自对应的目标线程池,从所述目标雾节点设备的存储设备中并发获取所述至少两个客户端各自对应的目标数据。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括网口线路映射关系建立模块,所述网口线路映射关系建立模块包括:
网络线路获取单元,用于获取多个网络线路;
汇聚单元,用于对所述多个网络线路进行汇聚;
连接单元,用于将汇聚后的所述多个网络线路与所述目标雾节点设备进行连接;
响应单元,用于响应于基于所述目标雾节点设备上的拨号操作,将所述多个网络线路与所述目标雾节点设备上的多个网口进行一一绑定;
网口线路映射关系建立单元,用于建立所述多个网络线路与绑定的网口之间的映射关系,得到所述网口线路映射关系。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括线路线程映射关系建立模块,所述线路线程映射关系建立模块包括:
线程池分配单元,用于在所述单个应用容器引擎中,为所述多个网络线路分别分配各自对应的线程池;
线路线程映射关系建立单元,用于建立所述多个网络线路与分配的线程池之间的映射关系,得到所述线路线程映射关系。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括存储设备确定模块:
所述存储设备确定模块,用于在所述目标雾节点设备上设置所述存储设备,所述存储设备中存储的数据用于被多个目标线路所共享。
12.根据权利要求11所述的装置,其特征在于,所述内容分发网络中包括多个雾节点设备,所述装置还包括数据节点映射关系建立模块,所述数据节点映射关系建立模块包括:
缓存数据获取单元,用于获取缓存在所述多个雾节点设备的存储设备中的缓存数据;
数据节点映射关系建立单元,用于建立所述雾节点设备的雾节点设备标识信息与相应的缓存数据的缓存数据标识信息之间的数据节点映射关系。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括目标雾节点设备获取模块,所述目标雾节点设备获取模块包括:
数据查询请求接收单元,用于接收所述至少两个客户端各自发送的目标数据的数据查询请求,各个数据查询请求中携带相应的目标数据的标识信息;
雾节点设备标识信息获取单元,用于基于所述数据节点映射关系,从所述多个雾节点设备中查询与各个数据查询请求中携带的标识信息对应的雾节点设备标识信息;
目标雾节点设备确定单元,用于将查询到的雾节点设备标识信息所对应的雾节点设备,作为所述目标雾节点设备。
14.根据权利要求8所述的装置,其特征在于,所述目标雾节点设备包括多个候选网口,所述装置还包括:
宽带参数信息确定模块,用于基于所述至少两个客户端与所述目标雾节点设备之间的内网穿透连接,确定所述多个候选网口各自对应的宽带参数信息;
目标网口确定模块,用于基于所述多个候选网口各自对应的宽带参数信息,从所述多个候选网口中确定出与所述至少两个客户端各自对应的目标网口;
反馈模块,用于将所述至少两个客户端各自对应的目标网口,反馈至相应的客户端。
15.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的数据请求的处理方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的数据请求的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011095516.0A CN114422519B (zh) | 2020-10-14 | 2020-10-14 | 一种数据请求的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011095516.0A CN114422519B (zh) | 2020-10-14 | 2020-10-14 | 一种数据请求的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422519A CN114422519A (zh) | 2022-04-29 |
CN114422519B true CN114422519B (zh) | 2024-01-09 |
Family
ID=81260536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011095516.0A Active CN114422519B (zh) | 2020-10-14 | 2020-10-14 | 一种数据请求的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422519B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115801809B (zh) * | 2022-11-03 | 2023-11-03 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
CN116389502B (zh) * | 2023-02-28 | 2024-02-23 | 港珠澳大桥管理局 | 跨集群调度系统、方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111245900A (zh) * | 2019-12-31 | 2020-06-05 | 北京健康之家科技有限公司 | 一种分布式消息发送的处理系统及其处理方法 |
CN111629075A (zh) * | 2020-08-03 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 一种数据下载方法和相关装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8370520B2 (en) * | 2008-11-24 | 2013-02-05 | Juniper Networks, Inc. | Adaptive network content delivery system |
US20190079788A1 (en) * | 2017-09-08 | 2019-03-14 | Cisco Technology, Inc. | Predictive image storage system for fast container execution |
-
2020
- 2020-10-14 CN CN202011095516.0A patent/CN114422519B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111245900A (zh) * | 2019-12-31 | 2020-06-05 | 北京健康之家科技有限公司 | 一种分布式消息发送的处理系统及其处理方法 |
CN111629075A (zh) * | 2020-08-03 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 一种数据下载方法和相关装置 |
Non-Patent Citations (1)
Title |
---|
基于云和雾计算的亚健康信息管理系统构建方案;考书健;虞丽娟;;电子科技(第07期);第83-88页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114422519A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10715485B2 (en) | Managing dynamic IP address assignments | |
CN110113441B (zh) | 实现负载均衡的计算机设备、系统和方法 | |
CN112511611B (zh) | 节点集群的通信方法、装置、系统及电子设备 | |
US10216853B2 (en) | Method and system for implementing a VXLAN control plane | |
WO2019237588A1 (zh) | Linux虚拟服务器的创建方法、装置、计算机设备及存储介质 | |
EP3905598B1 (en) | Message processing method and apparatus, control plane device, and computer storage medium | |
US10594586B2 (en) | Dialing test method, dialing test system, and computing node | |
CN113965560A (zh) | 数据传输方法和代理服务器、存储介质及电子装置 | |
CN105376303A (zh) | 一种Docker实现系统及其通信方法 | |
CN113746887A (zh) | 一种跨集群数据请求处理方法、设备及存储介质 | |
US11625280B2 (en) | Cloud-native proxy gateway to cloud resources | |
CN114422519B (zh) | 一种数据请求的处理方法、装置、电子设备及存储介质 | |
KR20090069312A (ko) | 리소스 공급을 위한 방법, 시스템, 및 에지 서버 | |
CN108881034B (zh) | 一种应用于bt系统的请求响应方法、设备及系统 | |
CN104717314A (zh) | 一种ip管理方法及系统、客户端、服务器 | |
CN112333017B (zh) | 一种服务配置方法、装置、设备及存储介质 | |
US10237235B1 (en) | System for network address translation | |
CN111464454B (zh) | 一种数据中心内虚拟bras设备负载分担方法及系统 | |
WO2017000565A1 (zh) | 一种用户接入的控制方法、装置、中继设备及服务器 | |
CN110099076A (zh) | 一种镜像拉取的方法及其系统 | |
CN106797384B (zh) | 以不同的协议将请求路由到集群中的相同端点 | |
US9760370B2 (en) | Load balancing using predictable state partitioning | |
CN113364741A (zh) | 一种应用访问方法及代理服务器 | |
CN113014611A (zh) | 一种负载均衡方法及相关设备 | |
US7711780B1 (en) | Method for distributed end-to-end dynamic horizontal scalability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |