CN113687917B - 一种基于分布式数据中台的数据传输方法及系统 - Google Patents
一种基于分布式数据中台的数据传输方法及系统 Download PDFInfo
- Publication number
- CN113687917B CN113687917B CN202110988751.9A CN202110988751A CN113687917B CN 113687917 B CN113687917 B CN 113687917B CN 202110988751 A CN202110988751 A CN 202110988751A CN 113687917 B CN113687917 B CN 113687917B
- Authority
- CN
- China
- Prior art keywords
- edge service
- service node
- online
- client
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种基于分布式数据中台的数据传输方法及系统,用以解决现有的数据中台架构方案对于中小企业来说成本较高的技术问题。其中,各边缘服务节点确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端;在线边缘服务节点接收客户端发送的请求数据包,并将请求数据包存储至在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;在线边缘服务节点将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台。
Description
技术领域
本申请涉及大数据技术领域,尤其涉及一种基于分布式数据中台的数据传输方法及系统。
背景技术
近年来,各行业对大数据系统的认知日渐深入,大数据应用也日渐成熟,对于构建大数据系统的需求也从大型企业、互联网巨头逐渐向广大中小企业下沉。云计算供应商提供的大数据产品从上到下包括了数据收集、数据存储、数据清洗、数据分析、数据展示和数据应用等环节,且每个环节都有其对应的产品,产品之间相互关联、数据互通,可以实现开箱即用,响应及时高效。大数据产品方案和技术支持服务给广大中小企业带来诸多便利,尤其是初创期数据中心的快速搭建成型。
但是云供应商提供的大数据产品存也在一些弊端,比如资金成本高、无法进高度客制化、技术选型与云平台深度耦合等。对于一个中小型的数据中台系统来说,企业需要持续不断的投入服务租赁费用,成本较高。因此,大多数中小企业选择自建数据中台来满足企业自身的计算和存储资源需求,但是市面上现有的数据中台架构方案成本仍相对较高,对于中小企业来说使用高性能的数据服务仍需大量资金和运营成本。
发明内容
本申请实施例提供了一种基于分布式数据中台的数据传输方法及系统,用以解决现有的数据中台架构方案对于中小企业来说成本较高的技术问题。
一方面,本申请实施例提供了一种基于分布式数据中台的数据传输方法,包括:各边缘服务节点确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;其中,当前状态包括在线状态和下线状态;在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端,以便于客户端向在线边缘服务节点发送数据;在线边缘服务节点接收客户端发送的请求数据包,并将请求数据包存储至在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;在线边缘服务节点将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台。
在本申请的一种实现方式中,在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端之后,方法还包括:客户端接收由多个在线边缘服务节点的地址所组成的地址列表,以及通过地址列表,遍历访问各在线边缘服务节点对应的接口,以确定接口的链路状态;客户端根据接口的链路状态,分别确定对应的在线边缘服务节点的负载能力和响应时间;客户端根据负载能力和响应时间,从在线边缘服务节点中,确定用于上载请求数据包的目标边缘服务节点。
在本申请的一种实现方式中,根据负载能力和响应时间,从在线边缘服务节点中,确定用于上载请求数据包的目标边缘服务节点,具体包括:客户端分别确定各在线边缘服务节点对应的第一优先值和第二优先值;其中,第一优先值对应在线边缘服务节点的负载能力,第二优先值对应在线边缘服务节点的响应时间;客户端分别确定负载能力对应的权值和响应时间对应的权值,并根据权值、第一优先值和第二优先值,对负载能力和响应时间进行加权求和;客户端对加权求和的结果进行排序以得到相应的结果序列,根据结果序列,从在线边缘服务节点中,确定用于上载请求数据包的目标边缘服务节点。
在本申请的一种实现方式中,客户端分别确定各在线边缘服务节点对应的第一优先值和第二优先值,具体包括:客户端将各在线边缘服务节点按照其负载能力的顺序进行排列,得到相应的负载能力序列;并根据负载能力序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第一优先值;客户端将在线边缘服务节点按照其响应时间的顺序进行排列,得到相应的响应时间序列;并根据响应时间序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第二优先值。
在本申请的一种实现方式中,确定用于上载请求数据包的目标边缘服务节点之后,方法还包括:客户端确定由各目标边缘服务节点组成的目标边缘服务节点序列;客户端采用加权轮询的策略,将请求数据包依次上载至对应的目标边缘服务节点中;客户端在请求数据包成功上载至目标边缘服务节点的情况下,基于目标边缘服务节点序列,将请求数据包再次上载至目标边缘服务节点的下一目标边缘服务节点中。
在本申请的一种实现方式中,方法还包括:客户端在请求数据包未成功上载至目标边缘服务节点的情况下,按照目标边缘服务节点序列中的各目标边缘服务节点的排列顺序,依次将请求数据包重试上载至当前目标边缘服务节点的下一目标边缘服务节点,直至请求数据包成功上载至任意目标边缘服务节点中。
在本申请的一种实现方式中,方法还包括:数据中台通过部署于数据中台中的IP地址报告程序,向边缘服务节点报告数据中台的出口IP地址;边缘服务节点通过部署于边缘服务节点中的IP地址报告程序,分别向其他边缘服务节点和数据中台,报告边缘服务节点对应的虚拟主机或轻量应用容器的地址,以及数据中台的IP地址。
在本申请的一种实现方式中,方法还包括:在数据中台的出口IP地址更换时,数据中台通过部署于数据中台中的IP地址报告程序,向边缘服务节点报告数据中台的出口IP地址;在边缘服务节点无法访问数据中台的情况下,边缘服务节点向临近边缘服务节点或数据中台询问数据中台的出口IP地址。
在本申请的一种实现方式中,虚拟主机或轻量应用容器以集群化部署的方式架构边缘服务。
另一方面,本申请实施例还提供了一种基于分布式数据中台的数据传输系统,系统包括:边缘服务节点、客户端;各边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;其中,当前状态包括在线状态和下线状态;在线边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端,以便于客户端向在线边缘服务节点发送数据;在线边缘服务节点用于接收客户端发送的请求数据包,并将请求数据包存储至在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;在线边缘服务节点用于将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台。
本申请实施例提供的一种基于分布式数据中台的数据传输方法及系统,至少具备以下有益效果:采用虚拟主机或轻量应用容器这种廉价的云资源架构边缘服务,在满足数据计算和存储功能的基础上,还能够大幅度降低系统架构成本,适用于对成本较为敏感的中小型企业。并且,各边缘服务节点采用存储转发的模式,极大降低了对于硬件资源的依赖,实现了在低性能硬件之上架构高性能边缘服务,充分利用了网络资源。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于分布式数据中台的数据传输方法的流程图;
图2为本申请实施例提供的一种客户端的功能示意图;
图3为本申请实施例提供的一种边缘服务节点的功能示意图;
图4为本申请实施例提供的一种数据中台的功能示意图;
图5为本申请实施例提供的一种基于分布式数据中台的数据传输系统整体架构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种基于分布式数据中台的数据传输方法的流程图。如图1所示,本申请实施例提供的基于分布式数据中台的数据传输方法可以主要包括以下步骤:
S101、各边缘服务节点确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点。
其中,当前状态包括在线状态和下线状态。
在本申请实施例中,多个虚拟主机或轻量应用容器以集群化部署的方式架构边缘服务,并形成相应的多个边缘服务节点。各边缘服务节点需确定其对应的虚拟主机或轻量应用容器的当前状态即为在线状态或下线状态,其中,在线的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点,以供后续数据传输。虚拟主机和轻量应用容器一般包含一个小型的脚本引擎(PHP、Python),具有少量的文件或数据存储能力且价格低廉,利用其架设边缘服务可大幅度降低成本。而集群化部署的方式则弥补了在访问尖峰时系统性能不足的缺陷,可以有效应对高并发访问。
S102、在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端,以便于所述客户端向所述在线边缘服务节点发送请求数据包。
在本申请实施例中,在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址(IP地址或域名),并将地址发送给客户端,以便于客户端发送请求数据包并确定用于上载请求数据包的在线边缘服务节点。
在一个实施例中,客户端接收由多个在线边缘服务节点的地址所组成的地址列表,并通过地址列表,遍历访问列表中的在线边缘服务节点的接口,以确定对应的链路状态。之后,根据各接口的链路状态,分别确定对应的在线边缘服务节点的负载能力和响应时间。每个边缘服务节点均具有用于暴露自身负载情况和健康情况的接口,客户端依次访问各边缘服务节点对应的接口,从而可获取该节点对应的负载能力,同时,客户端也会依次ping各边缘服务节点,以确定各节点对应的响应时间。客户端会根据负载能力和响应时间,从各在线边缘服务节点中选出负载能力较强和响应时间较小的部分边缘服务节点作为目标边缘服务节点,用于上载请求数据包。
具体地,客户端分别确定各在线边缘服务节点对应的第一优先值和第二优先值。其中,第一优先值用于表示边缘服务节点的负载能力,第二优先值用于表示边缘服务节点的请求响应时间。即将各在线边缘服务节点按照其负载能力的顺序进行排列,得到相应的负载能力序列;并根据负载能力序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第一优先值。并且,客户端将在线边缘服务节点按照其响应时间的顺序进行排列,得到相应的响应时间序列;并根据响应时间序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第二优先值。
进一步地,分别确定负载能力对应的权值和响应时间对应的权值,并根据权值、第一优先值和第二优先值,对负载能力和响应时间进行加权求和,得到相应的加权求和结果。
更进一步地,客户端对各边缘服务节点对应的负载能力和响应时间加权求和的结果进行排序,得到相应的结果序列。结果序列可以为降序排列或是升序排列。然后,从各在线边缘服务节点中,根据结果序列的顺序依次选出负载能力较强和响应时间较短的部分节点作为目标边缘节点。
例如,设有5个边缘服务节点分别为节点1、节点2、节点3、节点4和节点5,且均处于在线状态。客户端遍历访问以上边缘服务节点对应的接口,各边缘服务节点的负载能力按照由大到小的顺序排列依次为节点3、节点4、节点2、节点5、节点1,则对应的第一优先值依次设为5、4、3、2、1;响应时间按照由小到大的顺序排列依次为节点5、节点4、节点1、节点2、节点3,对应的第二优先值依次也设为5、4、3、2、1。假设负载能力对应的权值为0.6,响应时间对应的权值为0.4,则通过加权求和求得各边缘服务节点对应的加权求和为1.8、2.6、3.4、4、3.2,其中,节点4相对来说负载能力较强且响应时间较低。按照以上求和结果由大到小的顺序排列,得到结果序列节点4、节点3、节点5、节点2、节点1。客户端可根据结果序列的排列顺序,从中依次选取目标边缘服务节点。
在一个实施例中,客户端确定由各目标边缘服务节点组成的目标边缘服务序列,然后使用加权轮询的负载策略向目标边缘服务节点上加载请求数据包。客户端在上载数据时会将同一份请求数据包同时上载到两个目标边缘服务节点对应的虚拟主机或轻量应用容器上,也就是说,若请求数据包成功上载到某一目标边缘服务节点时,则客户端会按照目标边缘服务节点序列的顺序,将请求数据包再次上载至当前目标边缘服务节点的下一目标边缘服务节点中。若客户端发送的请求数据包上载失败时,会按照目标边缘服务节点序列中各目标边缘服务节点的顺序,继续尝试将请求数据包上载至当前目标边缘服务节点的下一目标边缘服务节点,直至请求数据包上载成功至任意目标边缘服务节点中。
将客户端的请求分发到集群中的多个在线边缘服务节点上,增加了系统的吞吐量,也避免了设备过载的情况,实现了负载均衡。同时,客户端从各边缘服务节点中选取负载相对较低以及响应时间相对较短的节点用于上载请求数据包,不需额外成本地实现了最优链路的选择。通过数据双上载和重试的机制,进一步保证了数据的稳定性和安全性。
S103、在线边缘服务节点接收客户端发送的请求数据包,并将请求数据包存储至在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中。
在本申请实施例中,各在线边缘服务节点在接收到请求数据包后不会第一时间对其进行转发,而是将请求数据包暂存于对应的虚拟主机或轻量应用容器的磁盘中。需要说明的是,此处所提到的在线边缘服务节点表示在线边缘服务节点中的目标边缘服务节点。这样,虚拟主机或轻量应用容器的CPU和内存资源只用于协议处理,降低了CPU、内存资源的使用需求,充分利用了网络资源。
S104、在线边缘服务节点将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台。
在本申请实施例中,待请求数据包成功上载后,在线边缘服务节点会将暂存于磁盘中的请求数据包按照预设的时间间隔转发至数据中台,以实现数据的定时批量转发。因此,在线边缘服务节点对于客户端发送的请求数据包除存储转发之外,不会对其做其他运算,使用“存储转发”的架构模式来实现边缘服务,可以极大的降低对硬件资源的依赖,提高系统的吞吐能力。
在一个实施例中,数据中台和边缘服务节点中均部署有身份对等的IP地址报告程序,若要使在线边缘服务节点成功将请求数据包转发至数据中台,各在线边缘服务节点需知悉数据中台的地址。
具体地,数据中台通过部署于数据中台中的IP地址报告程序,向边缘服务节点报告数据中台的出口IP地址。同时,边缘服务节点也会通过部署于其中的IP地址报告程序,分别向其他边缘服务节点和数据中台,报告边缘服务节点对应的虚拟主机或轻量应用容器的地址,以及数据中台的IP地址。通过这种分布式的对等网络服务发现机制,使得各边缘服务节点和数据中台之间可自动了解对方,从而实现数据的正常传输。
在一个实施例中,IP地址会随着租期截至或路由器的重启而改变,而数据中台需要靠出口IP地址对外服务,如果出口IP改变,边缘服务节点将无法找到数据中台,系统就会不可用。在数据中台的出口IP地址更换时,为使边缘服务节点可以及时发现新的出口IP地址,数据中台的IP地址报告程序会向边缘服务节点报告数据中台的出口IP地址,进而通过各节点之间的问询使得新的出口IP地址可以传播至所有边缘服务节点中。相应的,如果边缘服务节点无法访问数据中台,可向临近边缘服务节点或数据中台询问数据中台的出口IP地址。通过身份对等的服务发现机制实现了内网服务在公网的服务发现,且无需额外的硬件资源投入就能及时、自动地更新数据中台服务地址。在添加或下线节点时,也无需手动配置。
图2为本申请实施例提供的一种客户端的功能示意图。如图2所示,客户端在上载请求数据包时,从多个在线边缘服务节点中选出负载较低和响应时间短的部分节点作为目标边缘服务节点,通过加权轮询的方式向上述目标边缘服务节点中上载请求数据包,实现了客户端负载均衡和数据上载的最优线路选择。同时,数据双上载与重试还进一步提高了数据的安全性和稳定性。
图3为本申请实施例提供的一种边缘服务节点的功能示意图。如图3所示,边缘服务节点所实现的功能主要为服务发现、数据收集和存储转发。边缘服务节点收集来自客户端的请求数据包,并通过对应的虚拟主机或轻量应用容器的IP地址报告程序,进行与数据中台之间的服务发现,从而将存储在磁盘中的请求数据包转发至数据中台。
图4为本申请实施例提供的一种数据中台的功能示意图。如图4所示,数据中台的功能为服务发现和数据接收,即数据中台通过分布式的身份对等服务发现机制,与边缘服务节点之间建立连接,以接收相应的请求数据包。
以上为本申请提出的方法实施例。基于同样的发明构思,本申请实施例还提供了一种基于分布式数据中台的数据传输系统,其整体架构如图5所示。
如图5所示,本申请实施例提供的一种基于分布式数据中台的数据传输系统包括客户端、边缘服务节点和数据中台。基于多台虚拟主机分别架构其对应的边缘服务节点,并通过集群化部署的方式形成边缘服务集群。客户端发出应用请求后,边缘服务节点接收相应的请求数据包并将其存储于磁盘中,然后定时批量的转发至数据中台。数据由客户端流向边缘服务节点,并最终传输至数据中台。边缘服务节点与数据中台之间采用分布式对等服务发现的模式进行服务发现,即边缘服务节点可向临近节点或是数据中台报告其IP地址或是域名。其中,域名是针对集群化部署中IP地址存在复用的情况而设定的。同样,数据中台也可向各边缘服务节点报告其IP地址。在边缘服务节点与数据中台互相知晓对方的地址后,才可将数据由边缘服务节点转发至数据中台。
在本申请的一个实施例中,各边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;其中,当前状态包括在线状态和下线状态;在线边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的地址,并将地址发送至客户端,以便于客户端向在线边缘服务节点发送数据;在线边缘服务节点用于接收客户端发送的请求数据包,并将请求数据包存储至在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;在线边缘服务节点用于将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台。
在本申请的一个实施例中,客户端用于接收由多个在线边缘服务节点的地址所组成的地址列表,以及通过地址列表,遍历访问各在线边缘服务节点对应的接口,以确定接口的链路状态;客户端用于根据接口的链路状态,分别确定对应的在线边缘服务节点的负载能力和响应时间;客户端用于根据负载能力和响应时间,从在线边缘服务节点中,确定用于上载请求数据包的目标边缘服务节点。
在本申请的一个实施例中,客户端用于分别确定各在线边缘服务节点对应的第一优先值和第二优先值;其中,第一优先值对应在线边缘服务节点的负载能力,第二优先值对应在线边缘服务节点的响应时间;客户端用于分别确定负载能力对应的权值和响应时间对应的权值,并根据权值、第一优先值和第二优先值,对负载能力和响应时间进行加权求和;客户端用于对加权求和的结果进行排序以得到相应的结果序列,根据结果序列,从在线边缘服务节点中,确定用于上载请求数据包的目标边缘服务节点。
在本申请的一个实施例中,客户端用于将各在线边缘服务节点按照其负载能力的顺序进行排列,得到相应的负载能力序列;并根据负载能力序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第一优先值;客户端用于将在线边缘服务节点按照其响应时间的顺序进行排列,得到相应的响应时间序列;并根据响应时间序列中各在线边缘服务节点的顺序,依次确定各在线边缘服务节点对应的第二优先值。
在本申请的一个实施例中,客户端用于确定由各目标边缘服务节点组成的目标边缘服务节点序列;客户端用于采用加权轮询的策略,将请求数据包依次上载至对应的目标边缘服务节点中;客户端用于在请求数据包成功上载至目标边缘服务节点的情况下,基于目标边缘服务节点序列,将请求数据包再次上载至目标边缘服务节点的下一目标边缘服务节点中。
在本申请的一个实施例中,客户端用于在请求数据包未成功上载至目标边缘服务节点的情况下,按照目标边缘服务节点序列中的各目标边缘服务节点的排列顺序,依次将请求数据包重试上载至当前目标边缘服务节点的下一目标边缘服务节点,直至请求数据包成功上载至任意目标边缘服务节点中。
在本申请的一个实施例中,数据中台用于通过部署于数据中台中的IP地址报告程序,向边缘服务节点报告数据中台的出口IP地址;边缘服务节点用于通过部署于边缘服务节点中的IP地址报告程序,分别向其他边缘服务节点和数据中台,报告边缘服务节点对应的虚拟主机或轻量应用容器的地址,以及数据中台的IP地址。
在本申请的一个实施例中,数据中台用于在数据中台的出口IP地址更换时,通过部署于数据中台中的IP地址报告程序,向边缘服务节点报告数据中台的出口IP地址;边缘服务节点用于在边缘服务节点无法访问数据中台的情况下,向临近边缘服务节点或数据中台询问数据中台的出口IP地址。
在本申请的一个实施例中,虚拟主机或轻量应用容器用于以集群化部署的方式架构边缘服务。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种基于分布式数据中台的数据传输方法,其特征在于,所述方法包括:
各边缘服务节点确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的所述虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;其中,所述当前状态包括在线状态和下线状态;
所述在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将所述地址发送至客户端,以便于所述客户端向所述在线边缘服务节点发送数据;
所述在线边缘服务节点接收所述客户端发送的请求数据包,并将所述请求数据包存储至所述在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;
所述在线边缘服务节点将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台;
所述在线边缘服务节点确定其对应的虚拟主机或轻量应用容器的地址,并将所述地址发送至客户端之后,所述方法还包括:
所述客户端接收由多个所述在线边缘服务节点的地址所组成的地址列表,以及通过所述地址列表,遍历访问各所述在线边缘服务节点对应的接口,以确定所述接口的链路状态;
所述客户端根据所述接口的链路状态,分别确定对应的所述在线边缘服务节点的负载能力和响应时间;
所述客户端根据所述负载能力和所述响应时间,从所述在线边缘服务节点中,确定用于上载所述请求数据包的目标边缘服务节点。
2.根据权利要求1所述的一种基于分布式数据中台的数据传输方法,其特征在于,根据所述负载能力和所述响应时间,从所述在线边缘服务节点中,确定用于上载所述请求数据包的目标边缘服务节点,具体包括:
所述客户端分别确定各在线边缘服务节点对应的第一优先值和第二优先值;其中,所述第一优先值对应所述在线边缘服务节点的负载能力,所述第二优先值对应所述在线边缘服务节点的响应时间;
所述客户端分别确定所述负载能力对应的权值和所述响应时间对应的权值,并根据所述权值、所述第一优先值和所述第二优先值,对所述负载能力和所述响应时间进行加权求和;
所述客户端对加权求和的结果进行排序以得到相应的结果序列,根据所述结果序列,从所述在线边缘服务节点中,确定用于上载所述请求数据包的目标边缘服务节点。
3.根据权利要求2所述的一种基于分布式数据中台的数据传输方法,其特征在于,所述客户端分别确定各在线边缘服务节点对应的第一优先值和第二优先值,具体包括:
所述客户端将所述各在线边缘服务节点按照其负载能力的顺序进行排列,得到相应的负载能力序列;并根据所述负载能力序列中所述各在线边缘服务节点的顺序,依次确定所述各在线边缘服务节点对应的第一优先值;
所述客户端将所述在线边缘服务节点按照其响应时间的顺序进行排列,得到相应的响应时间序列;并根据所述响应时间序列中所述各在线边缘服务节点的顺序,依次确定所述各在线边缘服务节点对应的第二优先值。
4.根据权利要求1所述的一种基于分布式数据中台的数据传输方法,其特征在于,确定用于上载所述请求数据包的目标边缘服务节点之后,所述方法还包括:
所述客户端确定由各所述目标边缘服务节点组成的目标边缘服务节点序列;
所述客户端采用加权轮询的策略,将请求数据包依次上载至对应的目标边缘服务节点中;
所述客户端在所述请求数据包成功上载至目标边缘服务节点的情况下,基于所述目标边缘服务节点序列,将所述请求数据包再次上载至所述目标边缘服务节点的下一目标边缘服务节点中。
5.根据权利要求4所述的一种基于分布式数据中台的数据传输方法,其特征在于,所述方法还包括:
所述客户端在所述请求数据包未成功上载至目标边缘服务节点的情况下,按照所述目标边缘服务节点序列中的各目标边缘服务节点的排列顺序,依次将所述请求数据包重试上载至当前目标边缘服务节点的下一目标边缘服务节点,直至所述请求数据包成功上载至任意目标边缘服务节点中。
6.根据权利要求1所述的一种基于分布式数据中台的数据传输方法,其特征在于,所述方法还包括:
所述数据中台通过部署于所述数据中台中的IP地址报告程序,向所述边缘服务节点报告所述数据中台的出口IP地址;
所述边缘服务节点通过部署于所述边缘服务节点中的IP地址报告程序,分别向其他边缘服务节点和所述数据中台,报告所述边缘服务节点对应的虚拟主机或轻量应用容器的地址,以及所述数据中台的IP地址。
7.根据权利要求6所述的一种基于分布式数据中台的数据传输方法,其特征在于,所述方法还包括:
在所述数据中台的出口IP地址更换时,所述数据中台通过部署于所述数据中台中的IP地址报告程序,向所述边缘服务节点报告所述数据中台的出口IP地址;
在所述边缘服务节点无法访问所述数据中台的情况下,所述边缘服务节点向临近边缘服务节点或所述数据中台询问所述数据中台的出口IP地址。
8.根据权利要求1所述的一种基于分布式数据中台的数据传输方法,其特征在于,所述虚拟主机或轻量应用容器以集群化部署的方式架构边缘服务。
9.一种基于分布式数据中台的数据传输系统,其特征在于,所述系统包括:边缘服务节点、客户端;
各所述边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的当前状态,并将处于在线状态的所述虚拟主机或轻量应用容器对应的边缘服务节点作为在线边缘服务节点;其中,所述当前状态包括在线状态和下线状态;
所述在线边缘服务节点用于确定其对应的虚拟主机或轻量应用容器的地址,并将所述地址发送至所述客户端,以便于所述客户端向所述在线边缘服务节点发送数据;
所述在线边缘服务节点用于接收所述客户端发送的请求数据包,并将所述请求数据包存储至所述在线边缘服务节点对应的虚拟主机或轻量应用容器的磁盘中;
所述在线边缘服务节点用于将其对应的虚拟主机或轻量应用容器的磁盘中存储的若干请求数据包,按照预设的时间间隔转发至数据中台;
所述客户端接收由多个所述在线边缘服务节点的地址所组成的地址列表,以及通过所述地址列表,遍历访问各所述在线边缘服务节点对应的接口,以确定所述接口的链路状态;
所述客户端根据所述接口的链路状态,分别确定对应的所述在线边缘服务节点的负载能力和响应时间;
所述客户端根据所述负载能力和所述响应时间,从所述在线边缘服务节点中,确定用于上载所述请求数据包的目标边缘服务节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988751.9A CN113687917B (zh) | 2021-08-26 | 2021-08-26 | 一种基于分布式数据中台的数据传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988751.9A CN113687917B (zh) | 2021-08-26 | 2021-08-26 | 一种基于分布式数据中台的数据传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113687917A CN113687917A (zh) | 2021-11-23 |
| CN113687917B true CN113687917B (zh) | 2025-03-14 |
Family
ID=78583167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110988751.9A Active CN113687917B (zh) | 2021-08-26 | 2021-08-26 | 一种基于分布式数据中台的数据传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113687917B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111464648A (zh) * | 2020-04-02 | 2020-07-28 | 聚好看科技股份有限公司 | 一种分布式本地dns系统及域名查询方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113273A1 (zh) * | 2015-12-31 | 2017-07-06 | 华为技术有限公司 | 一种软件定义数据中心及其中的服务集群的调度和流量监控方法 |
| WO2017113344A1 (zh) * | 2015-12-31 | 2017-07-06 | 华为技术有限公司 | 一种软件定义数据中心及其中的服务集群的部署方法 |
| CN109639589B (zh) * | 2018-12-27 | 2022-09-30 | 杭州迪普科技股份有限公司 | 一种负载均衡方法及装置 |
| CN110308983B (zh) * | 2019-04-19 | 2022-04-05 | 中国工商银行股份有限公司 | 资源负载均衡方法及系统、服务节点和客户端 |
| CN112532668B (zh) * | 2019-09-19 | 2022-08-02 | 贵州白山云科技股份有限公司 | 一种网络边缘计算方法、装置及介质 |
| CN111212134A (zh) * | 2019-12-31 | 2020-05-29 | 北京金山云网络技术有限公司 | 一种请求报文处理方法、装置、边缘计算系统和电子设备 |
-
2021
- 2021-08-26 CN CN202110988751.9A patent/CN113687917B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111464648A (zh) * | 2020-04-02 | 2020-07-28 | 聚好看科技股份有限公司 | 一种分布式本地dns系统及域名查询方法 |
| WO2021120970A1 (zh) * | 2020-04-02 | 2021-06-24 | 聚好看科技股份有限公司 | 一种分布式本地dns系统及域名查询方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113687917A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7894372B2 (en) | Topology-centric resource management for large scale service clusters | |
| EP1016253B1 (en) | Distributed computing system and method for distributing user requests to replicated network servers | |
| US11184462B2 (en) | Selecting an instance of a resource using network routability information | |
| JP4594422B2 (ja) | クラスター化ノードを権限のあるドメインネームサーバーとして使用してアクティブ負荷のバランスをとるためのシステム、ネットワーク装置、方法、及びコンピュータプログラム製品 | |
| CN102281190B (zh) | 负载均衡装置组网方法以及服务器、客户端接入方法 | |
| US12328360B1 (en) | Point to node in a multi-tiered middleware environment | |
| CN102893556B (zh) | 用于源对等体基于容量的Diameter负载共享的方法、系统和设备 | |
| US6006264A (en) | Method and system for directing a flow between a client and a server | |
| EP2398211B1 (en) | Massively scalable multilayered load balancing based on integrated control and data plane | |
| EP1388073B1 (en) | Optimal route selection in a content delivery network | |
| CN102075445B (zh) | 负载均衡方法及装置 | |
| JP2013502840A (ja) | 親子リンクアグリゲーショングループを使用するサーバ側負荷均衡化 | |
| US20090059895A1 (en) | Methods and apparatus to dynamically select a peered voice over internet protocol (voip) border element | |
| CN114760482B (zh) | 直播回源方法及装置 | |
| CN112202918B (zh) | 长连接通信的负载调度方法、装置、设备及存储介质 | |
| US20120203864A1 (en) | Method and Arrangement in a Communication Network for Selecting Network Elements | |
| US20200374341A1 (en) | Cross-cluster direct server return with anycast rendezvous in a content delivery network (cdn) | |
| CN104823427A (zh) | 应用层会话路由 | |
| JP2010533328A (ja) | 他のペアの近傍にあるペアグループを決定する方法、関連するサーバ及び解析装置 | |
| CN113687917B (zh) | 一种基于分布式数据中台的数据传输方法及系统 | |
| JP5871908B2 (ja) | ネットワーク内部のデータ通信を制御するための方法およびシステム | |
| JP2013105227A (ja) | P2P型Webプロキシネットワークシステム | |
| JP4146373B2 (ja) | 動的なネットワークにおけるサービス選択方法およびサービス選択システム | |
| CN103685609A (zh) | 域名解析中路由配置信息采集方法及装置 | |
| Roverso et al. | On the feasibility of centrally-coordinated peer-to-peer live streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |