CN108055309A - 一种数据传输系统及方法 - Google Patents
一种数据传输系统及方法 Download PDFInfo
- Publication number
- CN108055309A CN108055309A CN201711284281.8A CN201711284281A CN108055309A CN 108055309 A CN108055309 A CN 108055309A CN 201711284281 A CN201711284281 A CN 201711284281A CN 108055309 A CN108055309 A CN 108055309A
- Authority
- CN
- China
- Prior art keywords
- node
- random
- module
- transfer request
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
Abstract
本发明实施例提供一种数据传输系统及方法。所述系统包括:通信连接的全局传输层和局部传输层;全局传输层通过云计算平台连接多个子区域的核心节点簇构成,用于对核心节点簇对应的状态数据的监控,以及对数据传输请求进行调度和重定向;局部传输层由混合节点簇构成,混合节点群包括基础节点和随机节点,局部传输层用于对混合节点簇的状态数据的监控,以及对数据传输请求进行调度和重定向;局部传输层还包括随机拓展模块,随机拓展模块用于对接入的随机节点进行处理。本发明实施例通过局部传输层的随机拓展模块对接入的随机节点进行处理,能够吸收闲置的随机节点对应的资源,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
Description
技术领域
本发明实施例涉及云计算技术领域,尤其涉及一种数据传输系统及方法。
背景技术
数据传输相关的商业应用主要有内容分发网络(Content Delivery Network,简称CDN)和虚拟专用网络(Virtual Private Network,简称VPN)两大方向,目前流行的技术架构一般分为传统的CDN架构,现代的云+CDN的架构两种。
传统的CDN和VPN应用都是基于在相当大的地域范围内部署大量的物理机作为数据传输网络的基础节点,以及大量的购买带宽等资源,这种实现方式与现在云+CDN的实现方式相比存在着如下缺点:
传统方式使用大量的物理资源,而云+CDN使用的是可动态调整的虚拟机,在当今的正在流行的云计算大潮之下,传统方式的弊端显而易见:
云计算是集安全,可视化管理,动态调整等众多条件为一体的,而传统的使用物理资源需要大量的人工去手动维护。
物理资源无法实现动态调整,而云+方式可以基于云平台的监控模块,集成负载均衡以及调整策略实现跨地域的数据传输网络节点簇(由云主机集群组成)的动态调整,从而调整各个节点的负载。
云计算和CDN有着天然的契合度:在需求端,一方面,云计算将用户的软件由PC端转移至云端,更多内容存放在网络端意味着需要针对云应用进行加速,云计算的兴起为CDN带来新的需求;另一方面,云计算使得移动端硬件配置不足被弱化,推动移动应用发展,移动加速需求为CDN打开新领域。
云+CDN的融合,云计算提供可动态调整的计算和存储能力,CDN提供分发能力,二者结合形成能力的互补。
然而,云+CDN的模式也仅仅是使用了企业的资源而已,却无法吸收社会中闲置的民用的随机资源,导致了随机资源的浪费。因此,如何建立一个具有吸收随机资源的动态伸缩能力的数据传输系统是现如今亟待解决的课题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种数据传输系统及方法。
第一方面,本发明实施例提供一种数据传输系统,包括:通信连接的全局传输层和局部传输层;
所述全局传输层通过云计算平台连接多个子区域的核心节点簇构成,用于对所述核心节点簇对应的状态数据的监控,以及对数据传输请求进行调度和重定向;
所述局部传输层由混合节点簇构成,所述混合节点群包括基础节点和随机节点,所述局部传输层用于对所述混合节点簇的状态数据的监控,以及对所述数据传输请求进行调度和重定向;
所述局部传输层还包括随机拓展模块,所述随机拓展模块用于对接入的所述随机节点进行处理。
进一步地,所述随机拓展模块包括资源池管理子模块、链接子模块和局部负载子模块;
所述资源池管理子模块用于存储、评估和管理随机资源;
所述链接子模块用于根据Mesos技术将所述资源池管理子模块中的所述随机节点进行链接,形成链接后随机节点;
所述局部负载均衡子模块用于为所述链接后随机节点提供第一负载均衡策略。
进一步地,所述系统还包括服务层;
所述服务层用于利用Docker容器为所述数据传输请求提供对应的服务。
进一步地,所述全局传输层包括:全局监控模块、全局调度模块和全局负载均衡模块;
所述全局监控模块用于监控所述核心节点簇对应的状态数据;
所述全局调度模块用于根据数据传输请求中的指定区域,将所述数据传输请求调度到相应的区域的核心节点簇中;
所述全局负载均衡模块用于根据所述数据传输请求,采用对应的第二负载均衡策略为所述数据传输请求选择目标服务器。
进一步地,所述局部传输层还包括:局部监控模块、局部调度模块和局部负载均衡模块;
所述局部监控模块用于监控所述混合节点簇的状态数据;
所述局部调度模块用于根据所述局部监控模块监控的所述状态数据和所述数据传输请求,对所述混合节点簇中的基础节点数量进行调整;
所述局部负载均衡模块用于根据所述混合节点簇对应的状态数据利用第三负载均衡策略对所述数据传输请求进行分发。
进一步地,所述链接子模块还用于:
根据区块链技术和智能合约技术,将所述链接子模块对应的子区域内的随机资源构成一个区块链,以实现对各个随机节点的工作量的统计。
进一步地,所述随机拓展模块用于对接入的所述随机节点进行处理,包括:
对接入的所述随机节点进行部署及性能评估。
进一步地,所述核心节点簇对应的状态数据包括所述核心节点簇对应的数据流量、健康状况、可伸缩性;
所述混合节点簇的状态数据所述混合节点簇对应的数据流量、健康状况、可伸缩性、随机资源状况和区块链数据。第二方面,本发明实施例提供一种数据传输方法,包括:
全局传输层接收数据传输请求,所述数据传输请求包括指定区域和请求量;
所述全局传输层根据所述指定区域将所述数据传输请求发送至对应子区域对应的局部传输层;
所述局部传输层根据所述请求量判断是否存在可承载所述数据传输请求的随机节点,若存在,则利用第一负载均衡策略选择目标随机节点对所述数据传输请求进行处理。
进一步地,所述方法还包括:
若判断获知不存在可承载所述数据传输请求的随机节点,则从所述基础节点中选择目标基础节点,由所述目标基础节点对所述数据传输请求进行处理。
本发明实施例提供的一种数据传输系统及方法,通过全局传输层和局部传输层实现数据的传输,全局传输层用于监控核心节点簇的状态数据,以及对数据传输请求进行调度和重定向,局部传输层包括随机拓展模块,用于对接入的随机节点进行处理,因此,能够吸收闲置的随机节点对应的资源,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据传输系统结构示意图;
图2为本发明实施例提供的该全局传输层示意图;
图3为本发明实施例提供的随机拓展模块结构示意图;
图4为本发明实施例提供的全局传输层结构示意图;
图5为本发明实施例提供的局部传输层结构示意图;
图6为本发明实施例提供的数据传输系统结构示意图;
图7为本发明实施例提供的一种数据传输方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种数据传输系统结构示意图,如图1所示,所述系统包括:通信连接的全局传输层101和局部传输层102;
所述全局传输层101通过云计算平台连接多个子区域的核心节点簇构成,用于对所述核心节点簇对应的状态数据的监控,以及对数据传输请求进行调度和重定向;
具体的,通过云计算平台,连接多个子区域的核心节点簇构成具有数据传输能力的主网络,该主网络称为数据传输系统的全局传输层101,其用来对核心节点簇的状态数据进行监控,还用于对数据传输请求进行调度和重定向。图2为本发明实施例提供的该全局传输层示意图,以“百悟云平台”为例,基于在全球各大主要城市所拥有的机房结合百悟云操作系统建立云平台,从而实现在全球主要子区域建立大量的云主机集群组,通过原始服务器201连接各个区域的核心节点202、核心节点203、核心节点204和核心节点205构成全球联网,每个核心节点及连接的云主机构成一个核心节点簇及核心节点簇。应当说明的是,选择全球哪些子区域建立云主机集群组可以根据实际情况设定,本发明实施例对此不做具体限定。应当说明的是核心节点簇由多个核心节点构成,所谓核心节点是指采用专用的网络设备(如集线器或交换机)和物理主机作为核心节点,将云平台部署在核心节点上,云主机运行在云平台中,通过云平台来实现统一管理。
所述局部传输层102有混合节点簇构成,所述混合节点群包括基础节点和随机节点,所述局部传输层用于对所述混合节点簇的状态数据的监控,以及对所述数据传输请求进行调度和重定向;
所述局部传输层102还包括随机拓展模块1021,所述随机拓展模块1021用于对接入的所述随机节点进行处理。
具体的,通过Mesos技术,区块链技术,智能合约技术和云平台,由基础节点和随机接入的随机节点围绕核心节点簇建立混合节点簇,组成局部传输层102,该层可以吸收随机接入的随机节点,由云计算技术管理的基础节点与该随机节点共同进行数据传输服务,且局部传输层102主要用于对混合节点簇的状态数据的监控,以及对数据传输请求的调度和重定向。局部传输层102还包括随机拓展模块1021,随机拓展模块用于对接入的随机节点进行处理。应当说明的是,理论上只要一个设备可以联网、有一定的计算或者存储读写能力就可以通过随机拓展模块接入到该数据传输系统中,这些设备被称为随机节点。基础节点是固定部署在数据传输系统中的云主机。
本发明实施例通过全局传输层和局部传输层实现数据的传输,全局传输层用于监控核心节点簇的状态数据,以及对数据传输请求进行调度和重定向,局部传输层包括随机拓展模块,用于对接入的随机节点进行处理,因此,能够吸收闲置的随机节点对应的资源,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
在上述实施例的基础上,所述随机拓展模块包括资源池管理子模块、链接子模块和局部负载子模块;
所述资源池管理子模块用于存储、评估和管理随机资源;
所述链接子模块用于根据Mesos技术将所述资源池管理子模块中的所述随机节点进行链接,形成链接后随机节点;
所述局部负载子模块用于为所述链接后随机节点提供第一负载均衡策略。
具体的,图3为本发明实施例提供的随机拓展模块结构示意图,如图3所示,随机拓展模块包括资源池管理模块301、链接子模块302和局部负载子模块303构成。当有闲置的随机节点请求接入时,随机拓展模块获取该接入请求,并将请求接入的随机节点存储到资源池管理模块301中,资源池管理模块301用于存储、评估和管理随机资源,包括删除和持久化管理,所谓持久化管理是指由于随机资源的加入和撤出完全是由用户操作的,可以看作一个随机事件,但是所有随机资源在同一时间撤出的概率比较小,也就是说资源池中始终都会有一定的随机资源存在,为了能够充分利用这些随机资源,需要监控各个随机资源的可用性,以便随时替代撤出的随机资源,从而在整体上维持整个资源池处于可用状态。由于不同的随机节点的性能和配置不一样,因此链接子模块302需要利用Mesos技术将资源池中的随机节点链接起来作为一个整体来对外提供服务。可以理解的是,Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。通过Mesos技术可以吸收闲置的随机节点。局部负载均衡子模块303是随机拓展模块内部的负载均衡,通过第一负载均衡策略为数据传输请求选择合适的随机节点,且与链接子模块302通信连接,从而使得随机节点可以对外提供服务。资源池管理模块301将接入的随机节点发送至云管理平台。
本发明实施例通过随机拓展模块,当有随机节点请求接入时,将该随机节点存储到资源池管理模块中,并对该随机节点进行监控管理,当有数据传输请求是,通过使用随机节点对应的资源来进行传输,这样可以节省基础节点的资源,利用Mesos技术吸收闲置的随机节点,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
在上述实施例的基础上,所述系统还包括服务层;
所述服务层用于利用Docker容器为所述数据传输请求提供对应的服务。
具体的,数据传输系统中除了包括全局传输层和局部传输层,还包括服务层,使用Docker技术来运行数据传输请求相关的服务(比如HTTP、HTTPs、FTP等),结合Mesos技术和k8s技术可以实现分布式的数据处理,从而作为一个逻辑上的整体对外提供服务。例如一个信用网页的传输请求,该请求中包括的音频和视频,所以,该数据在传输过程中需要进行音频压缩、视频压缩和文件加密,此时,可以通过3个Docker容器分别对音频、视频和文件进行处理,当处理完毕后,将这3个Docker容器关闭即可。本发明实施例通过服务层进行更高层次的伸缩调整,由于Docker容器的伸缩粒度比云主机更小,能够实现更灵活的伸缩调整,也能实现更大程度上的资源节约。
在上述实施例的基础上,所述全局传输层包括:全局监控模块、全局调度模块和全局负载均衡模块;
所述全局监控模块用于监控所述核心节点簇对应的状态数据;
所述全局调度模块用于根据数据传输请求中的指定区域,将所述数据传输请求调度到相应的区域的核心节点簇中;
所述全局负载均衡模块用于根据所述数据传输请求,采用对应的第二负载均衡策略为所述数据传输请求选择目标服务器。
具体的,图4为本发明实施例提供的全局传输层结构示意图,如图4所示,所述全局传输层包括:全局监控模块401、全局调度模块402和全局负载均衡模块403;
全局监控模块401负责监控整个数据传输系统的所有核心节点簇的数据流量、健康状况、可伸缩性、随机节点状况等数据。
全局调度模块402基于数据传输请求(比如:数据传输服务所包括的CDN和VPN应用功能的触发),结合区域选取和路径规划,垂直对数据传输请求中的指定区域对应的多个子区域中的核心节点簇404下发资源预分配任务。比如CDN的应用是选取一个范围,所以需要对流量流经的所在区域进行资源预分配,而VPN的应用选取一个中间服务器,建立一个通道,只需要对一条链上的核心节点簇进行资源预分配,所谓一条链上的核心节点簇为:VPN是一种P2P(point to point)的服务,只要有一个传输路径即可进行VPN服务,一条链指该路径。
关于如何进行区域选取:
CDN:用户可以选定内容分发所在的范围,比如全国,或者某些重点城市,以此选取地区区域,从而对该区域的节点下发资源分配任务。
VPN:一般都是选取速度传输速度最快,最稳定的国外节点作为服务提供节点。
关于如何进行路径规划:
基于贪心算法建立路径规划,即相邻节点之间的(上下跳之间)选取完全是基于贪心算法,选取条件主要包括:当前数据传输速度,节点群的稳定性。
应当说明的是,全局调度模块402需要由全局监控模块401提供全局监控的评估数据作为支持。
全局负载均衡模块403针对不同的数据传输请求,采用不同的第二负载均衡选取策略。如CDN应用:通过对域名进行智能重定向解析,将响应速度最快的CDN边缘集群IP返回给本地DNS服务器。(比如:根据地理位置信息解析对应的IP地址,使得用户能就近访问)。而VPN全局选取最合适的服务器作为VPN中间服务器。
全局负载均衡模块403基于全局监控,再结合相应的应用相关因素构成节点选取策略,比如CDN会考虑地理位置等因素,VPN会考虑到节点负载和传输速度,从而选相应最优的节点。
本发明实施例通过云计算技术、Mesos技术、区块链技术和Docker技术构建数据传输系统,其全局传输层是基于更安全的云计算技术,而且Docker容器运行在虚拟机中,且具备完善的监控系统,为整个数据传输系统提供了更安全的保障。
在上述实施例的基础上,所述局部传输层还包括:局部监控模块、局部调度模块和局部负载均衡模块;
所述局部监控模块用于监控所述混合节点簇的状态数据;
所述局部调度模块用于根据所述局部监控模块监控的所述状态数据和所述数据传输请求,对所述混合节点簇中的基础节点数量进行调整;
所述局部负载均衡模块用于根据所述混合节点簇对应的状态数据利用第三负载均衡策略对所述数据传输请求进行分发。
具体的,图5为本发明实施例提供的局部传输层结构示意图,如图5所示,所述局部传输层包括:局部监控模块501、局部调度模块502、局部负载均衡模块503和随机拓展模块504;其中:
局部监控模块501用于监控,评估,存储围绕着核心节点的混合节点簇,混合节点簇中各基础节点和随机节点的负载,健康状况、可伸缩性,随机节点的处理及应用状况,区块链的相关数据。
局部调度模块502以局部监控模块501为基础,由全局调度模块来触发该混合节点簇中的基础节点的调整,从而使得混合节点簇的负载能够满足需求,且尽可能的节约资源。
局部调度模块502接收全局调度模块发布的数据传输请求,结合混合节点簇内整体的负载情况,以及可用量,对混合节点簇内的基础节点进行伸缩调整(百悟云操作系统支持根据云主机的网络,内存,CPU等负载情况,对基础节点中的云主机数目进行自适应调整)。
局部调度模块502对随机节点的硬件状况和网络状况进行评估,根据随机节点的评估状况定量部署传输任务。
应当说明的是,当有新的符合最基本的配置条件的随机节点申请加入或者移出时,数据传输系统则将消息传达给随机拓展模块。
局部负载均衡模块503对于到来的数据传输请求,结合监控数据和第三负载均衡策略,请求类型对数据传输请求进行分发。混合节点簇中存在着多个基础节点和随机节点负责数据的传输,对于流量分发任务,首先基于监控数据判断基础节点和随机节点在未来任务分发的时间段中是否稳定运行,然后选取出负载最低,相应地,传输速度最快的基础节点或随机节点负责流量的分发。
随机拓展模块504与上述实施例中的随机拓展模块功能一致,此处不再赘述。
本发明实施例通过局部传输层中的随机拓展模块吸收闲置的随机资源,当有数据传输请求时通过随机资源进行传输数据,从而节约了云计算平台中云主机的资源。
在上述实施例的基础上,所述链接子模块还用于:
根据区块链技术和智能合约技术,将所述链接子模块对应的子区域内的随机资源构成一个区块链,以实现对各个随机节点的工作量的统计。
具体的,链接子模块结合区块链和智能合约技术,将在一定区域范围内的随机节点构成一个区块链。从而实现对各个随机节点的数据传输请求的工作量进行统计,记录和评估,以便给随机节点的提供者进行相应的经济结算。
在上述实施例的基础上,所述核心节点簇对应的状态数据包括所述核心节点簇对应的数据流量、健康状况、可伸缩性;
所述混合节点簇的状态数据所述混合节点簇对应的数据流量、健康状况、可伸缩性、随机资源状况和区块链数据。
图6为本发明实施例提供的数据传输系统结构示意图,如图6所示,所述系统包括:全局传输层601、局部传输层602和服务层603,其中:
全局传输层601包括全局监控模块6011、全局调度模块6012和全局负载模块6013;
局部传输层602包括局部监控模块6021、局部调度模块6022、局部负载均衡模块6023和随机拓展模块6024;
服务层603包括多个Dcoker容器6031。
全局传输层的意义在于数据传输网络的布局,由各个地区机房中的云系统建立的核心节点组成,仅仅依靠该层依然就可以实现数据的传输,但是该层的提供服务的基本单位是云主机,云主机相对于容器而言,调整粒度比较大,而且该层全部由运营商和公司提供物理硬件,网络,无法吸收社会中闲置的资源。为了吸收社会中限制的资源,所以设计第二层,由随机资源和核心节点构成混合节点簇。
局部传输层的意义在于吸收社会闲置资源,该层的随机拓展模块引入了区块链和智能合约技术,从而通过有偿的方式实现闲置资源的有效利用。
服务层的意义在于更高层次的伸缩调整,由于容器的伸缩粒度比云主机更小,能够实现更灵活的伸缩调整,也能实现更大程度上的资源节约。
上述各模块的功能与上述实施例中对应模块的功能一致,此处不再赘述。
本发明实施例通过全局传输层和局部传输层实现数据的传输,全局传输层用于监控核心节点簇的状态数据,以及对数据传输请求进行调度和重定向,局部传输层包括随机拓展模块,用于对接入的随机节点进行处理,因此,能够吸收闲置的随机节点对应的资源,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
图7为本发明实施例提供的一种数据传输方法流程示意图,如图7所示,所述方法,包括:
步骤701:全局传输层接收数据传输请求,所述数据传输请求包括指定区域和请求量;
具体的,当用户需要请求数据时,向数据传输系统中发送数据传输请求,此时全局传输层将接收到该数据传输请求,该数据传输请求中包括用户选择数据传输的指定区域和请求量。
步骤702:所述全局传输层根据所述指定区域将所述数据传输请求发送至对应子区域对应的局部传输层;
具体的,全局传输层基于数据传输请求垂直对指定的子区域中的核心节点簇下发该数据传输请求,核心节点簇中包括多个核心节点,因此,全局传输层将根据第二负载均衡策略发送给最优的核心节点。
步骤703:所述局部传输层根据所述请求量判断是否存在可承载所述数据传输请求的随机节点,若存在,则利用第一负载均衡策略选择目标随机节点对所述数据传输请求进行处理。
具体的,当全局传输层将数据传输请求发送给最优的核心节点后,此时由局部传输层根据该数据传输请求进行更细粒度的处理,局部传输层根据数据传输请求中的请求量判断该核心节点对应的混合节点簇中是否存在可承载该数据传输请求的随机节点,可以理解的是,可承载的随机节点是指,随机节点中可用的资源大于等于数据传输请求所需的请求量。如果混合节点簇中有多个可承载的随机节点,则根据第一负载均衡策略选择最优的随机节点作为目标随机节点,用该目标随机节点对该数据传输请求进行处理。如果混合节点簇中的随机节点能够提供较多的资源,则可以对基础节点进行伸缩调整,即可以关闭一部分基础节点,从而能够节约基础节点的资源。如果混合节点簇中没有可承载的随机节点,则从混合节点簇中选择合适的基础节点作为目标基础节点,有目标基础节点对该数据传输请求进行处理。
本发明实施例通过全局传输层和局部传输层实现数据的传输,全局传输层用于监控核心节点簇的状态数据,以及对数据传输请求进行调度和重定向,局部传输层包括随机拓展模块,用于对接入的随机节点进行处理,因此,能够吸收闲置的随机节点对应的资源,一方面提高了系统的伸缩性,另一方面,提高了闲置的随机资源的利用率。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据传输系统,其特征在于,包括:通信连接的全局传输层和局部传输层;
所述全局传输层通过云计算平台连接多个子区域的核心节点簇构成,用于对所述核心节点簇对应的状态数据的监控,以及对数据传输请求进行调度和重定向;
所述局部传输层由混合节点簇构成,所述混合节点群包括基础节点和随机节点,所述局部传输层用于对所述混合节点簇的状态数据的监控,以及对所述数据传输请求进行调度和重定向;
所述局部传输层还包括随机拓展模块,所述随机拓展模块用于对接入的所述随机节点进行处理。
2.根据权利要求1所述的系统,其特征在于,所述随机拓展模块包括资源池管理子模块、链接子模块和局部负载子模块;
所述资源池管理子模块用于存储、评估和管理随机资源;
所述链接子模块用于根据Mesos技术将所述资源池管理子模块中的所述随机节点进行链接,形成链接后随机节点;
所述局部负载均衡子模块用于为所述链接后随机节点提供第一负载均衡策略。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括服务层;
所述服务层用于利用Docker容器为所述数据传输请求提供对应的服务。
4.根据权利要求1所述的系统,其特征在于,所述全局传输层包括:全局监控模块、全局调度模块和全局负载均衡模块;
所述全局监控模块用于监控所述核心节点簇对应的状态数据;
所述全局调度模块用于根据数据传输请求中的指定区域,将所述数据传输请求调度到相应的区域的核心节点簇中;
所述全局负载均衡模块用于根据所述数据传输请求,采用对应的第二负载均衡策略为所述数据传输请求选择目标服务器。
5.根据权利要求1所述的系统,其特征在于,所述局部传输层还包括:局部监控模块、局部调度模块和局部负载均衡模块;
所述局部监控模块用于监控所述混合节点簇的状态数据;
所述局部调度模块用于根据所述局部监控模块监控的所述状态数据和所述数据传输请求,对所述混合节点簇中的基础节点数量进行调整;
所述局部负载均衡模块用于根据所述混合节点簇对应的状态数据利用第三负载均衡策略对所述数据传输请求进行分发。
6.根据权利要求2所述的系统,其特征在于,所述链接子模块还用于:
根据区块链技术和智能合约技术,将所述链接子模块对应的子区域内的随机资源构成一个区块链,以实现对各个随机节点的工作量的统计。
7.根据权利要求1所述的系统,其特征在于,所述随机拓展模块用于对接入的所述随机节点进行处理,包括:
对接入的所述随机节点进行部署及性能评估。
8.根据权利要求1-7任一项所述的系统,其特征在于,所述核心节点簇对应的状态数据包括所述核心节点簇对应的数据流量、健康状况、可伸缩性;
所述混合节点簇的状态数据所述混合节点簇对应的数据流量、健康状况、可伸缩性、随机资源状况和区块链数据。
9.一种数据传输方法,其特征在于,包括:
全局传输层接收数据传输请求,所述数据传输请求包括指定区域和请求量;
所述全局传输层根据所述指定区域将所述数据传输请求发送至对应子区域对应的局部传输层;
所述局部传输层根据所述请求量判断是否存在可承载所述数据传输请求的随机节点,若存在,则利用第一负载均衡策略选择目标随机节点对所述数据传输请求进行处理。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若判断获知不存在可承载所述数据传输请求的随机节点,则从所述基础节点中选择目标基础节点,由所述目标基础节点对所述数据传输请求进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711284281.8A CN108055309B (zh) | 2017-12-07 | 2017-12-07 | 一种数据传输系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711284281.8A CN108055309B (zh) | 2017-12-07 | 2017-12-07 | 一种数据传输系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108055309A true CN108055309A (zh) | 2018-05-18 |
CN108055309B CN108055309B (zh) | 2021-02-19 |
Family
ID=62122544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711284281.8A Active CN108055309B (zh) | 2017-12-07 | 2017-12-07 | 一种数据传输系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108055309B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062658A (zh) * | 2018-06-29 | 2018-12-21 | 优刻得科技股份有限公司 | 实现计算资源服务化的调度方法、装置、介质、设备及系统 |
CN109617992A (zh) * | 2018-12-29 | 2019-04-12 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
CN110263583A (zh) * | 2019-05-17 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种基于区块链的侵权存证方法、装置及电子设备 |
CN110602222A (zh) * | 2019-09-18 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 基于区块链的联合监控方法、装置及计算机存储介质 |
US10929570B2 (en) | 2019-05-17 | 2021-02-23 | Advanced New Technologies Co., Ltd. | Method, apparatus, and electronic device for blockchain-based infringement evidence storage |
CN113190498A (zh) * | 2021-04-09 | 2021-07-30 | 浙江毫微米科技有限公司 | 一种频率调整方法、装置以及电子设备 |
CN116016548A (zh) * | 2022-12-05 | 2023-04-25 | 国网天津市电力公司 | 一种基于区块链技术的新型电力系统数据可信获取方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080065745A1 (en) * | 2000-04-17 | 2008-03-13 | Leighton F T | HTML delivery from edge-of-network servers in a content delivery network (CDN) |
CN101146022A (zh) * | 2006-09-11 | 2008-03-19 | 思华科技(上海)有限公司 | 节点重叠内容分发网络 |
CN101146021A (zh) * | 2006-09-11 | 2008-03-19 | 思华科技(上海)有限公司 | 内容分发网络的路由系统及方法 |
CN101237418A (zh) * | 2008-02-28 | 2008-08-06 | 蓝汛网络科技(北京)有限公司 | 基于内容分发网络的流媒体加速系统、方法及设备 |
CN101247367A (zh) * | 2008-04-08 | 2008-08-20 | 中国电信股份有限公司 | 基于内容分发网络和对等网络的内容提供方法和系统 |
CN102655532A (zh) * | 2012-04-18 | 2012-09-05 | 上海和辰信息技术有限公司 | 分布式异构虚拟资源集成管理方法及系统 |
CN104333568A (zh) * | 2014-07-22 | 2015-02-04 | 江苏惠居乐信息科技有限公司 | 基于cdn和负载均衡技术的家居电商云系统及实现方法 |
-
2017
- 2017-12-07 CN CN201711284281.8A patent/CN108055309B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080065745A1 (en) * | 2000-04-17 | 2008-03-13 | Leighton F T | HTML delivery from edge-of-network servers in a content delivery network (CDN) |
CN101146022A (zh) * | 2006-09-11 | 2008-03-19 | 思华科技(上海)有限公司 | 节点重叠内容分发网络 |
CN101146021A (zh) * | 2006-09-11 | 2008-03-19 | 思华科技(上海)有限公司 | 内容分发网络的路由系统及方法 |
CN101237418A (zh) * | 2008-02-28 | 2008-08-06 | 蓝汛网络科技(北京)有限公司 | 基于内容分发网络的流媒体加速系统、方法及设备 |
CN101247367A (zh) * | 2008-04-08 | 2008-08-20 | 中国电信股份有限公司 | 基于内容分发网络和对等网络的内容提供方法和系统 |
CN102655532A (zh) * | 2012-04-18 | 2012-09-05 | 上海和辰信息技术有限公司 | 分布式异构虚拟资源集成管理方法及系统 |
CN104333568A (zh) * | 2014-07-22 | 2015-02-04 | 江苏惠居乐信息科技有限公司 | 基于cdn和负载均衡技术的家居电商云系统及实现方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062658B (zh) * | 2018-06-29 | 2021-06-04 | 优刻得科技股份有限公司 | 实现计算资源服务化的调度方法、装置、介质、设备及系统 |
CN109062658A (zh) * | 2018-06-29 | 2018-12-21 | 优刻得科技股份有限公司 | 实现计算资源服务化的调度方法、装置、介质、设备及系统 |
CN109617992A (zh) * | 2018-12-29 | 2019-04-12 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
CN109617992B (zh) * | 2018-12-29 | 2021-08-03 | 杭州趣链科技有限公司 | 一种基于区块链的边缘计算节点动态选举方法 |
US11138345B2 (en) | 2019-05-17 | 2021-10-05 | Advanced New Technologies Co., Ltd. | Method, apparatus, and electronic device for blockchain-based infringement evidence storage |
US10929570B2 (en) | 2019-05-17 | 2021-02-23 | Advanced New Technologies Co., Ltd. | Method, apparatus, and electronic device for blockchain-based infringement evidence storage |
CN112199738A (zh) * | 2019-05-17 | 2021-01-08 | 创新先进技术有限公司 | 一种基于区块链的侵权存证方法、装置及电子设备 |
CN110263583A (zh) * | 2019-05-17 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种基于区块链的侵权存证方法、装置及电子设备 |
CN112199738B (zh) * | 2019-05-17 | 2024-03-08 | 创新先进技术有限公司 | 一种基于区块链的侵权存证方法、装置及电子设备 |
CN110602222A (zh) * | 2019-09-18 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 基于区块链的联合监控方法、装置及计算机存储介质 |
CN110602222B (zh) * | 2019-09-18 | 2022-06-28 | 腾讯科技(深圳)有限公司 | 基于区块链的联合监控方法、装置及计算机存储介质 |
CN113190498A (zh) * | 2021-04-09 | 2021-07-30 | 浙江毫微米科技有限公司 | 一种频率调整方法、装置以及电子设备 |
CN116016548A (zh) * | 2022-12-05 | 2023-04-25 | 国网天津市电力公司 | 一种基于区块链技术的新型电力系统数据可信获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108055309B (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108055309A (zh) | 一种数据传输系统及方法 | |
US11630706B2 (en) | Adaptive limited-duration edge resource management | |
CN106559488B (zh) | 一种建立租户驱动的电网地理信息空间服务的方法 | |
CN109672612A (zh) | Api网关系统 | |
CN103514043B (zh) | 多处理器系统及该系统的数据处理方法 | |
US20180077080A1 (en) | Systems and methods for adaptive and intelligent network functions virtualization workload placement | |
CN101136939B (zh) | 分布式计算系统和用于在其中执行应用的方法 | |
CN104796469B (zh) | 云计算平台的配置方法及装置 | |
CN107533538A (zh) | 在使用加速部件的系统中处理租户要求 | |
CN110022269B (zh) | 通信数据处理方法、装置和设备 | |
US20020120741A1 (en) | Systems and methods for using distributed interconnects in information management enviroments | |
CN107637034A (zh) | 用于运营商网络之间的虚拟基础设施管理的系统和方法 | |
US20020049608A1 (en) | Systems and methods for providing differentiated business services in information management environments | |
US20130007261A1 (en) | Virtual data center monitoring | |
US11252655B1 (en) | Managing assignments of network slices | |
CN105207947B (zh) | 一种过滤抖动的渐进式流量调度方法和系统 | |
US10454771B2 (en) | Virtual infrastructure | |
US20020059274A1 (en) | Systems and methods for configuration of information management systems | |
US20020049841A1 (en) | Systems and methods for providing differentiated service in information management environments | |
US20030236745A1 (en) | Systems and methods for billing in information management environments | |
CN107637111A (zh) | 用于提供和分配频谱资源的系统和方法 | |
US10942769B2 (en) | Elastic load balancing prioritization | |
CN104660507B (zh) | 数据流转发路由的控制方法及装置 | |
CN107533481A (zh) | 在具有硬件加速平面和软件平面的系统中提供服务 | |
WO2002039261A2 (en) | Systems and methods for prioritization in information management environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |