CN110830587A - 一种数据传输方法、装置、设备和存储介质 - Google Patents

一种数据传输方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110830587A
CN110830587A CN201911113343.8A CN201911113343A CN110830587A CN 110830587 A CN110830587 A CN 110830587A CN 201911113343 A CN201911113343 A CN 201911113343A CN 110830587 A CN110830587 A CN 110830587A
Authority
CN
China
Prior art keywords
server
data
forwarding
cluster
forwarding server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911113343.8A
Other languages
English (en)
Other versions
CN110830587B (zh
Inventor
冯锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911113343.8A priority Critical patent/CN110830587B/zh
Publication of CN110830587A publication Critical patent/CN110830587A/zh
Application granted granted Critical
Publication of CN110830587B publication Critical patent/CN110830587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/12Shortest path evaluation
    • H04L45/122Shortest path evaluation by minimising distances, e.g. by selecting a route with minimum of number of hops
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1021Server selection for load balancing based on client or server locations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据传输方法、装置、设备和介质,所述方法在集群中选择一个或多个初始转发服务器接收源服务器传输的数据,并根据预先设置的转发关系,初始转发服务器将数据转发到邻近的下一级转发服务器中,所述下一级转发服务器与初始转发服务器唯一对应。下一级转发服务器可以作为当前的转发服务器,同样根据预先设置的转发关系,将数据转发到对应的下一级转发服务器中,直到整个集群中的数据服务器都接收到数据。本方法将不同服务器的数据传输任务交给邻近的服务器处理,使得整个集群的数据传输并行化且具备就近传输能力,可以提高数据传输的效率。

Description

一种数据传输方法、装置、设备和存储介质
技术领域
本发明涉及数据传输领域,尤其涉及一种数据传输方法、装置、设备和存储介质。
背景技术
服务器集群就是指将很多服务器集中起来一起进行同一种服务。在大规模集群环境下,服务器之间经常需要进行各种数据传输,比如配置文件、资源文件、内存块的更新和同步。但是构成集群的多台服务器可能来自不同的机房,服务器之间也有可能跨了机房、城市、运营商等,导致服务器与数据源之间相隔较远。
在进行数据传输时,所有的数据传输均由数据源发起,因此数据源要负担集群中所有服务器的数据传输,而由于数据源与其他数据服务器之间可能存在跨城市、跨机房、跨运营商的问题,会影响到数据源和其他数据服务器之间的传输性能,导致数据传输的效率低。
此外,由于数据源负担集群中所有服务器的数据传输,因此所有数据传输的出口都集中在数据源服务器,容易造成单点压力大、单机出口带宽不足的问题,导致数据传输的效率低。
发明内容
本发明提供了一种数据传输方法、装置、设备和存储介质,可以提高数据传输的效率。
一方面,本发明提供了一种数据传输方法,所述方法包括:
源服务器发送数据到集群中的初始转发服务器中;
所述初始转发服务器基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
所述初始转发服务器将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器作为当前进行数据转发的服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
另一方面提供了一种数据传输方法,所述方法可以对多个集群进行同步传输,所述方法包括:
源服务器发送数据到多个集群中的初始转发服务器中;
所述每个集群中的初始转发服务器基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
所述每个集群中的初始转发服务器将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
另一方面提供了一种数据传输装置,所述装置包括:源服务器和集群,所述集群中具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
另一方面提供了一种数据传输装置,所述装置可以对多个集群进行同步传输,所述装置包括:
源服务器和多个集群,每个集群具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到多个集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
另一方面提供了一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的一种数据传输方法。
另一方面提供了一种存储介质,所述存储介质包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的一种数据传输方法。
本发明提供的一种数据传输方法、装置、设备和存储介质,所述方法在集群中选择一个或多个初始转发服务器接收源服务器传输的数据,并根据预先设置的转发关系,初始转发服务器将数据转发到邻近的下一级转发服务器中,所述下一级转发服务器与初始转发服务器唯一对应。下一级转发服务器可以作为当前的转发服务器,同样根据预先设置的转发关系,将数据转发到对应的下一级转发服务器中,直到整个集群中的数据服务器都接收到数据。本方法将不同服务器的数据传输任务交给邻近的服务器处理,使得整个集群的数据传输并行化且具备就近传输能力,可以提高数据传输的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据传输方法的应用场景示意图;
图2为本发明实施例提供的一种数据传输方法中集群为区块链结构的示意图;
图3为本发明实施例提供的在一个集群中传输数据的方法的流程图;
图4为本发明实施例提供的一种数据传输方法中通过网络通信质量筛选初始转发服务器的方法的流程图;
图5为本发明实施例提供的一种数据传输方法中通过带宽筛选初始转发服务器的方法的流程图;
图6为本发明实施例提供的一种数据传输方法中各个数据服务器之间的转发关系确定方法的流程图;
图7为本发明实施例提供的应用数据传输方法在一个集群中进行数据传输的示意图;
图8为本发明实施例提供的在一个集群中进行数据传输的装置的结构示意图;
图9为本发明实施例提供的在多个集群中传输数据的方法的流程图;
图10为本发明实施例提供的应用数据传输方法在一个集群中进行数据传输的示意图;
图11为本发明实施例提供的在多个集群中进行数据传输的装置的结构示意图;
图12为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且,术语“第一”、“第二”等适用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参见图1,其显示了本发明实施例提供的一种数据传输方法的应用场景示意图,所述应用场景包括源服务器110和集群120,所述源服务器110用于向集群120发送数据,集群120中的初始转发服务器接收数据,并基于预设的转发关系,获取邻近的转发服务器,将数据逐级转发到整个集群中,实现数据转发的并发执行。
在本发明实施例中,所述源服务器110可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。源服务器120可以包括有网络通信单元、处理器和存储器等等。具体的,所述源服务器120可以用于发送数据到各个集群120中。
在本发明实施例中,所述集群120为由多个服务器组成的服务器集群,可以包括标准数据库接口和/或自定义数据库接口。标准数据库接口可以包括mysql(StructuredQuery Language)接口、zk(zookeeper)接口、HTTP JSON接口。自定义数据库接口可以包括代理模块(Agent)和/或测试适配器(Test Adapter,TA)。
在本发明实施例中,所述集群120可以为区块链,由节点220构成的分布式存储系统210,请参见图2,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
请参见图3,其显示了一种数据传输方法,所述方法包括:
S310.源服务器发送数据到集群中的初始转发服务器中;
进一步地,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
在集群中随机选择至少一个数据服务器作为初始转发服务器。
具体地,所述源服务器不属于待传输数据的集群,所述源服务器发送数据到带传输数据的集群中被选出来的数据服务器,即初始转发服务器中。所述初始转发服务器可以根据随机的方式选出。例如,在一个集群中有五十个数据服务器,将每个服务器进行编号,并随机抽取13号、2号、41号这三个编号的数据服务器作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中编号为13号、2号和41号的数据服务器中。
可替换地,请参见图4,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
S410.获取集群中各个数据服务器的网络通信质量;
S420.基于所述集群中各个数据服务器的网络通信质量的高低,在集群中选择至少一个数据服务器作为初始转发服务器。
具体地,所述初始转发服务器可以参考集群中每个数据服务器的网络通信质量的高低来进行选择,网络通信质量越高则数据服务器传输数据的速率越快。例如,在一个集群中有五十个数据服务器,检测每个服务器的网络通信质量,发现数据服务器A、数据服务器B和数据服务器C的网络通信质量最好,则将数据服务器A、数据服务器B和数据服务器C作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中的数据服务器A、数据服务器B和数据服务器C中。
参考网络通信质量来选择初始转发服务器可以更好地提高源服务器和初始转发服务器传输数据时的效率。
进一步地,请参见图5,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
S510.获取集群中各个数据服务器的带宽;
S520.基于所述集群中各个数据服务器的带宽的大小,在集群中选择至少一个数据服务器作为初始转发服务器。
具体地,所述初始转发服务器可以参考集群中每个数据服务器的带宽的大小来进行选择,带宽越大则数据服务器传输数据的速率越快。例如,在一个集群中有五十个数据服务器,将每个服务器进行编号并检测每个服务器的带宽配置,发现数据服务器A、数据服务器B和数据服务器C的带宽为1M/s,是集群中带宽最大的,则将数据服务器A、数据服务器B和数据服务器C作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中的数据服务器A、数据服务器B和数据服务器C中。
参考带宽来选择初始转发服务器可以更好地提高源服务器和初始转发服务器传输数据时的效率。
S320.所述初始转发服务器基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
S330.所述初始转发服务器将数据转发到对应的下一级转发服务器中。
具体地,初始转发服务器可以将数据转发给下一级的转发服务器,基于预设的转发关系,所述转发关系可以是人工设置的,初始转发服务器可以在与初始转发服务器邻近的范围内确定下一级转发服务器,所述初始转发服务器的下一级转发服务器为与所述初始转发服务器处在同一集群中的数据服务器。初始转发服务器只能将数据转发到初始转发服务器的下一级转发服务器中。所述下一级转发服务器可以包括不止一个数据服务器。
S340.所述下一级转发服务器作为当前进行数据转发的服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
具体地,所述初始转发服务器的下一级转发服务器可以作为当前进行数据转发的服务器,将数据转发给下一级的转发服务器,基于预设的转发关系,所述转发关系可以是人工设置的,当前的转发服务器可以在与当前的转发服务器邻近的范围内确定下一级转发服务器,所述与当前的转发服务器对应的下一级转发服务器为与所述与当前的转发服务器处在同一集群中的数据服务器。当前的转发服务器只能将数据转发到对应的下一级的转发服务器。所述下一级转发服务器可以包括不止一个数据服务器。之后将当前进行转发的服务器的下一级转发服务器作为当前进行数据转发的服务器,继续进行数据的转发,直到将数据转发到集群中全部的数据服务器中。
例如服务器B为集群中初始转发服务器的下一级转发服务器,将服务器B作为当前转发的服务器,将数据转发到服务器B的下一级转发服务器C中,之后将服务器C再作为当前转发的服务器,继续进行转发操作,直到将数据转发到集群中全部的数据服务器中。
进一步地,请参见图6,所述转发关系的确定方法包括:
S610.基于数据服务器之间的距离,确定集群中任意一个数据服务器的初始转发对象;
S620.对各个数据服务器对应的初始转发对象进行去重处理,确定集群中各个数据服务器之间的转发关系。
具体地,转发数据的规则采用的是上一级接收到数据的服务器转发给邻近的下一级服务器,其中服务器的级数是根据与初始转发服务器的距离确定的,距离初始转发服务器越近的数据服务器级数越高。
根据各个数据服务器之间的距离,获得任意一个数据服务器周围和该数据服务器距离最近的一个或多个数据服务器,作为初始转发对象。得到一个集群中所有数据服务器的初始转发对象后,人工去除重复转发的部分,最终确定集群中各个数据服务器之间的转发关系。
例如,根据各个数据服务器之间的距离确定一个集群中初始转发对象。假设距离服务器A最近的为服务器B、服务器C和服务器E,则服务器B、服务器C和服务器E为服务器A的初始转发对象。距离服务器C最近的为服务器A、服务器D和服务器F,则服务器A、服务器D和服务器F为服务器C的初始转发对象。基于查重的结果,发现服务器A和服务器C之间发生重复传输,且服务器A的等级大于服务器C,则去除服务器C向服务器A发送数据的转发关系。最终确定的结果就是服务器A向服务器C、服务器B和服务器E转发数据,服务器C向服务器D和服务器F转发数据。
根据数据服务器之间的距离和去重的方法,可以避免重复传输数据,提高数据传输的效率。
在一个具体的实施例中,请参见图7,图7显示在一个集群中根据本发明所述的数据传输的方法进行数据传输的过程。源服务器向集群中的数据服务器A发起传输,数据服务器A即为初始转发服务器,数据服务器A完成数据接收后,向邻近的数据服务器B和数据服务器C发起传输。数据服务器C完成数据接收后,向邻近的数据服务器D和数据服务器E发起数据传输。数据服务器B完成数据接收后,向邻进的数据服务器F和数据服务器G发起数据传输。以此类推,直到整个集群中的数据服务器都接收到数据。
本发明提供的一种数据传输方法、装置、设备和存储介质,所述方法在集群中选择一个或多个初始转发服务器接收源服务器传输的数据,并根据预先设置的转发关系,初始转发服务器将数据转发到邻近的下一级转发服务器中,所述下一级转发服务器与初始转发服务器唯一对应。下一级转发服务器可以作为当前的转发服务器,同样根据预先设置的转发关系,将数据转发到对应的下一级转发服务器中,直到整个集群中的数据服务器都接收到数据。本方法将不同服务器的数据传输任务交给邻近的服务器处理,使得整个集群的数据传输并行化且具备就近传输能力,可以提高数据传输的效率。
本发明实施例还提供了一种数据传输装置,请参见图8,所述装置包括:源服务器和集群,所述集群中具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
上述实施例中提供的装置可执行本发明任意实施例所提供方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的一种数据传输方法。
请参见图9,其显示了一种数据传输方法,所述方法可以对多个集群进行同步传输,所述方法包括:
S910.源服务器发送数据到多个集群中的初始转发服务器中,所述初始转发服务器为每个集群中作为初始的数据接收点的数据服务器;
进一步地,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
在各个集群中随机选择至少一个数据服务器作为初始转发服务器。
具体地,所述源服务器不属于待传输数据的集群,所述源服务器发送数据到带传输数据的集群中被选出来的数据服务器,即初始转发服务器中。所述初始转发服务器可以根据随机的方式选出。例如,在一个集群中有五十个数据服务器,将每个服务器进行编号,并随机抽取13号、2号、41号这三个编号的数据服务器作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中编号为13号、2号和41号的数据服务器中。
可替换地,请参见图4,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
S410.获取集群中各个数据服务器的网络通信质量;
S420.基于所述集群中各个数据服务器的网络通信质量的高低,在集群中选择至少一个数据服务器作为初始转发服务器。
具体地,所述初始转发服务器可以参考集群中每个数据服务器的网络通信质量的高低来进行选择,网络通信质量越高则数据服务器传输数据的速率越快。例如,在一个集群中有五十个数据服务器,检测每个服务器的网络通信质量,发现数据服务器A、数据服务器B和数据服务器C的网络通信质量最好,则将数据服务器A、数据服务器B和数据服务器C作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中的数据服务器A、数据服务器B和数据服务器C中。
参考网络通信质量来选择初始转发服务器可以更好地提高源服务器和初始转发服务器传输数据时的效率。
进一步地,请参见图5,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
S510.获取集群中各个数据服务器的带宽;
S520.基于所述集群中各个数据服务器的带宽的大小,在集群中选择至少一个数据服务器作为初始转发服务器。
具体地,所述初始转发服务器可以参考集群中每个数据服务器的带宽的大小来进行选择,带宽越大则数据服务器传输数据的速率越快。例如,在一个集群中有五十个数据服务器,将每个服务器进行编号并检测每个服务器的带宽配置,发现数据服务器A、数据服务器B和数据服务器C的带宽为1M/s,是集群中带宽最大的,则将数据服务器A、数据服务器B和数据服务器C作为初始转发服务器。当需要传输数据时,源服务器将数据发送给该集群中的数据服务器A、数据服务器B和数据服务器C中。
参考带宽来选择初始转发服务器可以更好地提高源服务器和初始转发服务器传输数据时的效率。
S920.所述每个集群中的初始转发服务器基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
S930.所述每个集群中的初始转发服务器将数据转发到对应的下一级转发服务器中;
S940.所述下一级转发服务器作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
进一步地,请参见图6,所述转发关系的确定方法包括:
S610.基于数据服务器之间的距离,确定集群中任意一个数据服务器的初始转发对象;
S620.对各个数据服务器对应的初始转发对象进行去重处理,确定集群中各个数据服务器之间的转发关系。
具体地,转发数据的规则采用的是上一级接收到数据的服务器转发给邻近的下一级服务器,其中服务器的级数是根据与初始转发服务器的距离确定的,距离初始转发服务器越近的数据服务器级数越高。
根据各个数据服务器之间的距离,获得任意一个数据服务器周围和该数据服务器距离最近的一个或多个数据服务器,作为初始转发对象。得到一个集群中所有数据服务器的初始转发对象后,人工去除重复转发的部分,最终确定集群中各个数据服务器之间的转发关系。
例如,根据各个数据服务器之间的距离确定一个集群中初始转发对象。假设距离服务器A最近的为服务器B、服务器C和服务器E,则服务器B、服务器C和服务器E为服务器A的初始转发对象。距离服务器C最近的为服务器A、服务器D和服务器F,则服务器A、服务器D和服务器F为服务器C的初始转发对象。基于查重的结果,发现服务器A和服务器C之间发生重复传输,且服务器A的等级大于服务器C,则去除服务器C向服务器A发送数据的转发关系。最终确定的结果就是服务器A向服务器C、服务器B和服务器E转发数据,服务器C向服务器D和服务器F转发数据。
根据数据服务器之间的距离和去重的方法,可以避免重复传输数据,提高数据传输的效率。
在一个具体的实施例中,请参见图9,图9显示在多个集群中根据本发明所述的数据传输的方法进行数据传输的过程。源服务器向第一集群中的初始转发服务器A1发起传输,源服务器向第二集群中的初始转发服务器A2发起传输,在本次传输完成后,第一集群基于初始转发服务器A1,第二集群基于初始转发服务器A2,分别在第一集群和第二集群内进行数据传输。
在第一集群内,数据服务器A1完成数据接收后,向邻近的数据服务器B1和数据服务器C1发起传输。数据服务器C1完成数据接收后,向邻近的数据服务器D1和数据服务器E1发起数据传输。数据服务器B1完成数据接收后,向邻进的数据服务器F1和数据服务器G1发起数据传输。以此类推,直到整个第一集群中的数据服务器都接收到数据。
在第二集群内,数据服务器A2完成数据接收后,向邻近的数据服务器E2和数据服务器D2发起传输。数据服务器E2完成数据接收后,向邻近的数据服务器B2和数据服务器F2发起数据传输。数据服务器D2完成数据接收后,向邻进的数据服务器C2和数据服务器G2发起数据传输。以此类推,直到整个第二集群中的数据服务器都接收到数据。
本发明提供的一种数据传输方法、装置、设备和存储介质,所述方法在多个集群中选择一个或多个初始转发服务器接收源服务器传输的数据,并根据预先设置的转发关系,初始转发服务器将数据转发到邻近的下一级转发服务器中,所述下一级转发服务器与初始转发服务器唯一对应。下一级转发服务器可以作为当前的转发服务器,同样根据预先设置的转发关系,将数据转发到对应的下一级转发服务器中,直到整个集群中的数据服务器都接收到数据。本方法将不同服务器的数据传输任务交给邻近的服务器处理,使得整个集群的数据传输并行化且具备就近传输能力,可以提高数据传输的效率。
本发明实施例还提供了一种数据传输装置,所述装置可以对多个集群进行同步传输,请参见图11,所述装置包括:
源服务器和多个集群,每个集群具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到多个集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
上述实施例中提供的装置可执行本发明任意实施例所提供方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的一种数据传输方法。
本实施例还提供了一种计算机可读存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令由处理器加载并执行本实施例上述的一种数据传输方法。
本实施例还提供了一种设备,所述设备包括处理器和存储器,其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行本实施例上述的一种数据传输方法。
所述设备可以为计算机终端、移动终端或服务器,所述设备还可以参与构成本发明实施例所提供的装置或系统。如图12所示,服务器12(或计算机终端12或移动终端12)可以包括一个或多个(图中采用1202a、1202b,……,1202n来示出)处理器1202(处理器1202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1204、以及用于通信功能的传输装置1206。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图12所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器12还可包括比图12中所示更多或者更少的组件,或者具有与图12所示不同的配置。
应当注意到的是上述一个或多个处理器1202和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到服务器12中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1204可用于存储应用软件的软件程序以及模块,如本发明实施例中所述的方法对应的程序指令/数据存储装置,处理器1202通过运行存储在存储器1204内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1204可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1204可进一步包括相对于处理器1202远程设置的存储器,这些远程存储器可以通过网络连接至服务器12。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器12的通信供应商提供的无线网络。在一个实例中,传输装置1206包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置1206可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与服务器12的用户界面进行交互。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或中断产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构,仅仅是与本申请方案相关的部分结构,并不构成对本申请方案所应用于其上的设备的限定,具体的设备可以包括比示出的更多或更少的部件,或者组合某些部件,或者具有不同的部件的布置。应当理解到,本实施例中所揭露的方法、装置等,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分仅仅为一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元模块的间接耦合或通信连接。
基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到,结合本说明书所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但这种实现不应认为超出本发明的范围。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据传输方法,其特征在于,所述方法包括:
源服务器发送数据到集群中的初始转发服务器中;
所述初始转发服务器基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
所述初始转发服务器将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器作为进行数据转发的当前转发服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
2.根据权利要求1所述的一种数据传输方法,其特征在于,所述方法还包括:
基于数据服务器之间的距离,确定集群中任意一个数据服务器的初始转发对象;
对各个数据服务器对应的初始转发对象进行去重处理,确定集群中各个数据服务器之间的转发关系。
3.根据权利要求1所述的一种数据传输方法,其特征在于,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
在集群中随机选择至少一个数据服务器作为初始转发服务器。
4.根据权利要求1所述的一种数据传输方法,其特征在于,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
获取集群中各个数据服务器的网络通信质量;
基于所述集群中各个数据服务器的网络通信质量的高低,在集群中选择至少一个数据服务器作为初始转发服务器。
5.根据权利要求1所述的一种数据传输方法,其特征在于,所述源服务器发送数据到集群中的初始转发服务器之前,还包括:
获取集群中各个数据服务器的带宽;
基于所述集群中各个数据服务器的带宽的大小,在集群中选择至少一个数据服务器作为初始转发服务器。
6.一种数据传输方法,其特征在于,所述方法包括:
源服务器发送数据到多个集群中的初始转发服务器中;
所述每个集群中的初始转发服务器基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
所述每个集群中的初始转发服务器将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
7.一种数据传输装置,其特征在于,所述装置包括:源服务器和集群,所述集群中具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到集群中全部的数据服务器中。
8.一种数据传输装置,其特征在于,所述装置包括:源服务器和多个集群,每个集群具有数据服务器,所述数据服务器包括初始转发服务器和多级转发服务器;
所述源服务器用于发送数据到多个集群中的初始转发服务器中;
所述初始转发服务器用于基于数据服务器之间预设的转发关系,确定与所述每个集群中初始转发服务器邻近的下一级转发服务器,所述初始转发服务器的下一级转发服务器为基于数据服务器间的位置信息确定的所述初始转发服务器在同一集群中唯一对应的转发对象;
所述初始转发服务器还用于将数据转发到对应的下一级转发服务器中;
所述下一级转发服务器用于作为当前进行数据转发的服务器,进行同一集群中邻近的下一级转发服务器的确定和数据的转发,直到将数据转发到同一集群中全部的数据服务器中。
9.一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求6或权利要求1-5任一项所述的一种数据传输方法。
10.一种存储介质,其特征在于,所述存储介质包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求6或权利要求1-5任一项所述的一种数据传输方法。
CN201911113343.8A 2019-11-14 2019-11-14 一种数据传输方法、装置、设备和存储介质 Active CN110830587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113343.8A CN110830587B (zh) 2019-11-14 2019-11-14 一种数据传输方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113343.8A CN110830587B (zh) 2019-11-14 2019-11-14 一种数据传输方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110830587A true CN110830587A (zh) 2020-02-21
CN110830587B CN110830587B (zh) 2022-01-18

Family

ID=69555353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113343.8A Active CN110830587B (zh) 2019-11-14 2019-11-14 一种数据传输方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110830587B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479295A (zh) * 2020-03-06 2020-07-31 珠海格力电器股份有限公司 数据传输方法、系统、装置、设备及存储介质
CN112650630A (zh) * 2020-12-31 2021-04-13 广州技象科技有限公司 一种智能电表运行参数的分布式备份方法及装置
CN116805913A (zh) * 2023-08-23 2023-09-26 成都凌亚科技有限公司 一种军用的高安全加密通信装置及其通信方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003048956A1 (en) * 2001-12-03 2003-06-12 Kent Ridge Digital Labs System for hosting software applications on distributed servers, apparatus and method thereof
US20070293242A1 (en) * 2006-06-14 2007-12-20 Aruze Corp. Communication device location specifying system and location specifying device
CN101277248A (zh) * 2007-03-26 2008-10-01 刘军波 一种网络数据分发方法及系统
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
WO2010127475A1 (zh) * 2009-05-08 2010-11-11 北京锐安科技有限公司 基于分布式的图像处理方法和图像处理系统
CN103139656A (zh) * 2011-12-01 2013-06-05 苏州达联信息科技有限公司 一种视频直播分发网络的集簇式动态网络分发树管理方法
CN103780402A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种基于树状网络的多级服务器组网通信方法
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN204206365U (zh) * 2014-11-07 2015-03-11 成都鼎安华物联网工程应用有限公司 流媒体逐级分发系统
CN106302780A (zh) * 2016-08-25 2017-01-04 北京京东尚科信息技术有限公司 集群设备批量传输数据的方法、装置及系统、服务器
CN106850706A (zh) * 2015-12-04 2017-06-13 南宁富桂精密工业有限公司 流媒体数据传输系统、传输方法及数据分发服务器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003048956A1 (en) * 2001-12-03 2003-06-12 Kent Ridge Digital Labs System for hosting software applications on distributed servers, apparatus and method thereof
US20070293242A1 (en) * 2006-06-14 2007-12-20 Aruze Corp. Communication device location specifying system and location specifying device
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
CN101277248A (zh) * 2007-03-26 2008-10-01 刘军波 一种网络数据分发方法及系统
WO2010127475A1 (zh) * 2009-05-08 2010-11-11 北京锐安科技有限公司 基于分布式的图像处理方法和图像处理系统
CN103139656A (zh) * 2011-12-01 2013-06-05 苏州达联信息科技有限公司 一种视频直播分发网络的集簇式动态网络分发树管理方法
CN103780402A (zh) * 2012-10-23 2014-05-07 北京网动网络科技股份有限公司 一种基于树状网络的多级服务器组网通信方法
CN204206365U (zh) * 2014-11-07 2015-03-11 成都鼎安华物联网工程应用有限公司 流媒体逐级分发系统
CN104410675A (zh) * 2014-11-12 2015-03-11 北京奇虎科技有限公司 数据传输方法、数据系统及相关装置
CN106850706A (zh) * 2015-12-04 2017-06-13 南宁富桂精密工业有限公司 流媒体数据传输系统、传输方法及数据分发服务器
CN106302780A (zh) * 2016-08-25 2017-01-04 北京京东尚科信息技术有限公司 集群设备批量传输数据的方法、装置及系统、服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIHAIL N. YOKHIN 等: "Determining location of gateways in two-level data transfer networks in distributed information control systems", 《IEEE》 *
陈家兵: "邻近区域移动社交网络中消息转发方案的设计与实现", 《万方数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479295A (zh) * 2020-03-06 2020-07-31 珠海格力电器股份有限公司 数据传输方法、系统、装置、设备及存储介质
CN112650630A (zh) * 2020-12-31 2021-04-13 广州技象科技有限公司 一种智能电表运行参数的分布式备份方法及装置
CN112650630B (zh) * 2020-12-31 2022-02-01 广州技象科技有限公司 一种智能电表运行参数的分布式备份方法及装置
CN116805913A (zh) * 2023-08-23 2023-09-26 成都凌亚科技有限公司 一种军用的高安全加密通信装置及其通信方法
CN116805913B (zh) * 2023-08-23 2023-11-07 成都凌亚科技有限公司 一种军用的高安全加密通信装置及其通信方法

Also Published As

Publication number Publication date
CN110830587B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN110830587B (zh) 一种数据传输方法、装置、设备和存储介质
CN107276765B (zh) 区块链中共识的处理方法及装置
CN104580253B (zh) 一种处理用户数据的方法及装置
CN107909369A (zh) 基于跨链交易的共识方法、装置和存储介质
CN111291060A (zh) 一种管理区块链节点的方法、装置及计算机可读介质
CN106060036A (zh) 去中心化共识方法及装置
CN108509615B (zh) 基于抽签机制的共识建立方法、装置及可读存储介质
CN112527912B (zh) 基于区块链网络的数据处理方法、装置及计算机设备
CN108429740A (zh) 一种获得设备标识的方法及装置
CN110673938B (zh) 任务处理方法、系统、服务器及存储介质
WO2015154455A1 (zh) 告警处理方法、装置、nms、oss及ems
GB2606628A (en) Centralized knowledge repository and data mining system
CN110222537B (zh) 应用于区块链节点的验证方法及装置
CN113065843B (zh) 一种模型处理方法、装置、电子设备和存储介质
CN106571942B (zh) 配置数据更新方法、客户端和服务器
CN107026738A (zh) 数字证书更新方法、数字签名校验方法和数字认证装置
CN111158637A (zh) 基于区块链的随机数生成方法、设备及存储介质
CN110597719A (zh) 一种用于适配测试的图像聚类方法、装置及介质
CN109104472B (zh) 区块链网络组网方法、装置、设备及计算机可读存储介质
CN115865366A (zh) 区块链投票方法、装置、终端设备及存储介质
CN111161072A (zh) 基于区块链的随机数生成方法、设备及存储介质
CN103326892B (zh) Web接口的操作方法及装置
US20220132303A1 (en) Internet of things device provisioning
CN113504981A (zh) 任务调度方法和装置、存储介质及电子设备
CN108241716A (zh) 一种资源导入方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022948

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant