CN113630317B - 一种数据传输方法、装置、非易失性存储介质及电子装置 - Google Patents
一种数据传输方法、装置、非易失性存储介质及电子装置 Download PDFInfo
- Publication number
- CN113630317B CN113630317B CN202110860244.7A CN202110860244A CN113630317B CN 113630317 B CN113630317 B CN 113630317B CN 202110860244 A CN202110860244 A CN 202110860244A CN 113630317 B CN113630317 B CN 113630317B
- Authority
- CN
- China
- Prior art keywords
- path information
- node
- data center
- data
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/70—Routing based on monitoring results
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/14—Routing performance; Theoretical aspects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种数据传输方法、装置、非易失性存储介质及电子装置。该方法包括:获取多个数据中心的节点发送的路径信息,得到多个路径信息;从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点。通过本申请,解决了相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题。
Description
技术领域
本申请涉及数据存储技术领域,具体而言,涉及一种数据传输方法、装置、非易失性存储介质及电子装置。
背景技术
在异地双活存储环境中,如图1所示,是根据相关技术提供的数据传输方法的示意图基于开源社区版ceph(分布式文件系统)对A数据中心、B数据中心使用延展集群技术,具体地,两个数据中心使用多副本存储互为备份,而延展集群提供块存储服务,客户端通过iscsi(internet small computer system interface,internet小型计算机系统接口)连接集群,应用就可以使用延展集群提供的块设备。
该方法最低成本的实现分布式存储双活特性,很好的解决了分布式存储异地备份和应用高可用性问题,有广泛的应用。但是,该方法存在以下问题,客户端数据流可能走A数据中心,可能走B数据中心,A客户端数据流走B数据中心的话,相当于跨网络传输,延迟就会高很多,随机发给A、B数据中心的话,性能存在很大的抖动,对客户端系统稳定性有很大的挑战。
针对相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据传输方法、装置、非易失性存储介质及电子装置,以解决相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题。
根据本申请的一个方面,提供了一种数据传输方法。该方法包括:获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息;从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点。
可选地,在获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,该方法还包括:确定目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到多个数据中心,并确定每个数据中心所在的区域;在数据中心与客户端位于同一区域的情况下,将数据中心确定为本地数据中心,并将本地数据中心的节点对应的路径信息确定为第一路径信息。
可选地,在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点包括:在第一路径信息对应的正常工作的节点包含多个的情况下,采用轮询的方式将业务数据发送至多个正常工作的节点。
可选地,在确定每个数据中心所在的区域之后,该方法还包括:在数据中心与客户端位于不同区域的情况下,将数据中心确定为非本地数据中心,并将非本地数据中心的节点对应的路径信息确定为第二路径信息;在从多个路径信息中确定第一路径信息之后,该方法还包括:在第一路径信息对应的节点均无法正常工作的情况下,将待处理业务的业务数据发送至第二路径信息对应的节点。
可选地,在将待处理业务的业务数据发送至第二路径信息对应的节点之后,该方法还包括:按照预设周期查询第一路径信息对应的节点中是否存在恢复正常工作的节点;在第一路径信息对应的节点中存在恢复正常工作的节点的情况下,将业务数据发送至恢复正常工作的节点。
可选地,该方法还包括:在待处理业务发生业务迁移的情况下,获取迁移后的业务所在客户端的区域;将与迁移后的业务所在客户端位于同一区域的数据中心更新为本地数据中心,并将更新后的本地数据中心的节点对应的路径信息更新为第一路径信息;将与迁移后的业务所在客户端位于不同区域的数据中心更新为非本地数据中心,并将更新后的非本地数据中心的节点对应的路径信息更新为第二路径信息。
根据本申请的另一方面,提供了一种数据传输装置。该装置包括:第一获取单元,用于获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息;第一确定单元,用于从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;第一发送单元,用于在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点。
可选地,该装置还包括:第二确定单元,用于在获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,确定目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到多个数据中心,并确定每个数据中心所在的区域;第三确定单元,用于在数据中心与客户端位于同一区域的情况下,将数据中心确定为本地数据中心,并将本地数据中心的节点对应的路径信息确定为第一路径信息。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据传输方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据传输方法。
通过本申请,采用以下步骤:获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息;从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点,解决了相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题。通过优先将待处理业务的业务数据发送至本地数据中心的节点,进而达到了减少传输延迟,提高系统性能的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据相关技术提供的数据传输方法的示意图;
图2是根据本申请实施例提供的数据传输方法的流程图;
图3是根据本申请实施例提供的数据传输方法的示意图一;
图4是根据本申请实施例提供的数据传输方法的示意图二;
图5是根据本申请实施例提供的数据传输方法的示意图三;
图6是根据本申请实施例提供的数据传输方法的示意图四;
图7是根据本申请实施例提供的数据传输装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
延展集群:将一个普通单站点的集群延展到另一个站点,形成一个横跨两个站点的集群。
根据本申请的实施例,提供了一种数据传输方法。
图2是根据本申请实施例的数据传输方法的流程图。如图2所示,该方法包括以下步骤:
步骤S202,获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息。
具体地,目标延展集群由多个节点构成,将目标延展集群的节点分成多个数据中心,每个数据中心包括多个节点,并根据数据中心的各个节点与待处理业务所在客户端的位置关系,设置节点与客户端之间的路径的信息,在客户端进行iscsi连接后,每个节点给客户端上报自身的路径消息。
目标延展集群的各个节点分布在不同的区域,可选地,在本申请实施例提供的数据传输方法中,在获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,该方法还包括:确定目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到多个数据中心,并确定每个数据中心所在的区域;在数据中心与客户端位于同一区域的情况下,将数据中心确定为本地数据中心,并将本地数据中心的节点对应的路径信息确定为第一路径信息。
可选地,在本申请实施例提供的数据传输方法中,在确定每个数据中心所在的区域之后,该方法还包括:在数据中心与客户端位于不同区域的情况下,将数据中心确定为非本地数据中心,并将非本地数据中心的节点对应的路径信息确定为第二路径信息。
具体地,由相同区域内的所有节点构成一个数据中心,根据数据中心与客户端之间的位置确定本地数据中心和非本地数据中心,将本地数据中心的节点与客户端之间的通信链路确定为优化路径,优化路径的路径信息为第一路径信息,将非本地数据中心的节点与客户端之间的通信链路确定为次优化路径,次优化路径的路径信息为第二路径信息。
步骤S204,从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息。
需要说明的是,为了解决延迟高问题,将待处理业务的业务数据优先发给本地数据中心的节点,因而,需要从多个路径信息中确定第一路径信息,从而获取第一路径信息对应的节点。
步骤S206,在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点。
需要说明的是,当数据中心出现部分节点故障或者网络故障时候,仍然存在部分节点可以服务,客户端虽然不将业务数据发给故障节点,但仍然将业务数据发给本地数据中心的节点,也即,将业务数据发送至第一路径信息对应的正常工作的节点,从而保证延展集群的性能最优。
在一种可选的实施方式中,如图3所示,是根据本申请实施例提供的数据传输方法的示意图一,其中,实线代表有数据流的链路,虚线表示仅连接不传输数据流,数据中心A和数据中心B由Ceph延展集群的节点构成,数据中心A为客户端A的本地数据中心,数据中心B为客户端A的非本地数据中心,数据中心A和数据中心B分别包含两个通用服务器,也即2个节点,数据中心A中的一个通用服务器出现故障,客户端不将业务数据发送给故障的通用服务器,也不将业务数据发送给数据中心B的通用服务器,而将业务数据发给数据中心A的正常工作的通用服务器。
本申请实施例提供的数据传输方法,通过获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息;从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点,解决了相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题。通过优先将待处理业务的业务数据发送至本地数据中心的节点,进而达到了减少传输延迟,提高系统性能的效果。
为了提高业务数据的存储效率,可选地,在本申请实施例提供的数据传输方法中,在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点包括:在第一路径信息对应的正常工作的节点包含多个的情况下,采用轮询的方式将业务数据发送至多个正常工作的节点。
存在第一路径信息对应的节点均无法正常工作的情况,可选地,在本申请实施例提供的数据传输方法中,在从多个路径信息中确定第一路径信息之后,该方法还包括:在第一路径信息对应的节点均无法正常工作的情况下,将待处理业务的业务数据发送至第二路径信息对应的节点。
在一种可选的实施方式中,如图4所示,是根据本申请实施例提供的数据传输方法的示意图二,其中,实线代表有数据流的链路,虚线表示仅连接不传输数据流,数据中心A和数据中心B由Ceph延展集群的节点构成,数据中心A为客户端A的本地数据中心,数据中心B为客户端A的非本地数据中心,数据中心A和数据中心B分别包含两个通用服务器,也即2个节点,当客户端A和数据中心A出现网络故障,或者数据中心A的所有节点出现故障时候,客户端A将数据流发给数据中心B的节点,保证延展集群的高可用性。
为了保证延展集群的性能最优,可选地,在本申请实施例提供的数据传输方法中,在将待处理业务的业务数据发送至第二路径信息对应的节点之后,该方法还包括:按照预设周期查询第一路径信息对应的节点中是否存在恢复正常工作的节点;在第一路径信息对应的节点中存在恢复正常工作的节点的情况下,将业务数据发送至恢复正常工作的节点。
具体地,如图5所示,是根据本申请实施例提供的数据传输方法的示意图三,当客户端的本地数据中心与客户端的网络故障恢复时,或在网络正常的情况下节点故障恢复时,第一路径信息对应的节点中存在恢复正常工作的节点,恢复正常工作的节点任然给客户端上报第一路径信息,此时,客户端将业务数据发给本地数据中心的正常工作的节点,实现节点故障恢复后性能最优状态的恢复。
通过本实施例,通过识别客户端和数据中心的节点之间的通信链路状态,将客户端的业务数据下发到优化路径节点,优化路径对应的链路发生故障时候,客户端切换到次优路径,并定时向各个节点查询链路状态,在优化路径的故障恢复后,客户端重新将业务数据的下发路径切回优化路径,达到了在保证高可用性前提下,得到改善性能延迟,减少性能波动的效果。
存在待处理业务的位置发生变化的情况,可选地,在本申请实施例提供的数据传输方法中,该方法还包括:在待处理业务发生业务迁移的情况下,获取迁移后的业务所在客户端的区域;将与迁移后的业务所在客户端位于同一区域的数据中心更新为本地数据中心,并将更新后的本地数据中心的节点对应的路径信息更新为第一路径信息;将与迁移后的业务所在客户端位于不同区域的数据中心更新为非本地数据中心,并将更新后的非本地数据中心的节点对应的路径信息更新为第二路径信息。
具体地,待处理业务对应的客户端定时查询各个节点的路径状态,如果有变化,客户端下发数据流节点也会跟着变化,而在业务发生迁移的情况下,各个节点的路径状态也会发生变化。
在一种可选的实施方式中,如图6所示,是根据本申请实施例提供的数据传输方法的示意图四,其中,实线代表有数据流的链路,虚线表示仅连接不传输数据流,业务A通过客户端连接延展集群,延展集群中的节点构成数据中心A和数据中心B,业务A与数据中心A位于同一区域,业务A的本地数据节点为数据中心A,将业务A对应的业务数据发送给数据中心A包含的通用服务器。如图6所示,是根据本申请实施例提供的数据传输方法的示意图四,当业务A从数据中心A所在区域迁移到数据中心B所在区域,数据中心B成为业务A的本地数据节点,可以修改数据中心的节点和业务A的客户端之间的路径信息,业务数据将优先下发到数据中心B的节点,从而达到延展集群性能最优状态。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据传输装置,需要说明的是,本申请实施例的数据传输装置可以用于执行本申请实施例所提供的用于数据传输方法。以下对本申请实施例提供的数据传输装置进行介绍。
图7是根据本申请实施例的数据传输装置的示意图。如图7所示,该装置包括:第一获取单元10、第一确定单元20以及第一发送单元30。
具体地,第一获取单元10,用于获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息。
第一确定单元20,用于从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息。
第一发送单元30,用于在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点。
本申请实施例提供的数据传输装置,通过第一获取单元10获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,多个数据中心由目标延展集群的节点构成,每个数据中心包括多个节点,路径信息为节点与待处理业务所在客户端之间的路径的信息;第一确定单元20从多个路径信息中确定第一路径信息,其中,第一路径信息用于表征客户端的本地数据中心的节点对应的路径信息;第一发送单元30在第一路径信息对应的节点中包含正常工作的节点的情况下,将待处理业务的业务数据发送至第一路径信息对应的正常工作的节点,解决了相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题,通过优先将待处理业务的业务数据发送至本地数据中心的节点,进而达到了减少传输延迟,提高系统性能的效果。
可选地,在本申请实施例提供的数据传输装置中,该装置还包括:第二确定单元,用于在获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,确定目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到多个数据中心,并确定每个数据中心所在的区域;第三确定单元,用于在数据中心与客户端位于同一区域的情况下,将数据中心确定为本地数据中心,并将本地数据中心的节点对应的路径信息确定为第一路径信息。
可选地,在本申请实施例提供的数据传输装置中,发送单元还用于在第一路径信息对应的正常工作的节点包含多个的情况下,采用轮询的方式将业务数据发送至多个正常工作的节点。
可选地,在本申请实施例提供的数据传输装置中,该装置还包括:第四确定单元,用于在确定每个数据中心所在的区域之后,在数据中心与客户端位于不同区域的情况下,将数据中心确定为非本地数据中心,并将非本地数据中心的节点对应的路径信息确定为第二路径信息;第二发送单元,用于在从多个路径信息中确定第一路径信息之后,在第一路径信息对应的节点均无法正常工作的情况下,将待处理业务的业务数据发送至第二路径信息对应的节点。
可选地,在本申请实施例提供的数据传输装置中,在将待处理业务的业务数据发送至第二路径信息对应的节点之后,该装置还包括:查询单元,用于按照预设周期查询第一路径信息对应的节点中是否存在恢复正常工作的节点;第三发送单元,用于在第一路径信息对应的节点中存在恢复正常工作的节点的情况下,将业务数据发送至恢复正常工作的节点。
可选地,在本申请实施例提供的数据传输装置中,该装置还包括:第二获取单元,用于在待处理业务发生业务迁移的情况下,获取迁移后的业务所在客户端的区域;第一更新单元,用于将与迁移后的业务所在客户端位于同一区域的数据中心更新为本地数据中心,并将更新后的本地数据中心的节点对应的路径信息更新为第一路径信息;第二更新单元,用于将与迁移后的业务所在客户端位于不同区域的数据中心更新为非本地数据中心,并将更新后的非本地数据中心的节点对应的路径信息更新为第二路径信息。
所述数据传输装置包括处理器和存储器,上述第一获取单元10、第一确定单元20以及第一发送单元30等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决相关技术中客户端将数据随机发送至不同数据中心进行存储时,存在传输延迟从而影响系统性能的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据传输方法。
本申请实施例还提供了一种电子装置,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据传输方法。本文中的电子装置可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据传输方法,其特征在于,包括:
获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,所述多个数据中心由目标延展集群的节点构成,每个所述数据中心包括多个节点,所述路径信息为节点与待处理业务所在客户端之间的路径的信息;
从所述多个路径信息中确定第一路径信息,其中,所述第一路径信息用于表征所述客户端的本地数据中心的节点对应的路径信息;
在所述第一路径信息对应的节点中包含正常工作的节点的情况下,将所述待处理业务的业务数据发送至所述第一路径信息对应的正常工作的节点。
2.根据权利要求1所述的方法,其特征在于,在所述获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,所述方法还包括:
确定所述目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到所述多个数据中心,并确定每个所述数据中心所在的区域;
在所述数据中心与所述客户端位于同一区域的情况下,将所述数据中心确定为所述本地数据中心,并将所述本地数据中心的节点对应的路径信息确定为所述第一路径信息。
3.根据权利要求1所述的方法,其特征在于,所述在所述第一路径信息对应的节点中包含正常工作的节点的情况下,将所述待处理业务的业务数据发送至所述第一路径信息对应的正常工作的节点包括:
在所述第一路径信息对应的正常工作的节点包含多个的情况下,采用轮询的方式将所述业务数据发送至多个所述正常工作的节点。
4.根据权利要求2所述的方法,其特征在于,在所述确定每个所述数据中心所在的区域之后,所述方法还包括:
在所述数据中心与所述客户端位于不同区域的情况下,将所述数据中心确定为非本地数据中心,并将所述非本地数据中心的节点对应的路径信息确定为第二路径信息;
在所述从所述多个路径信息中确定第一路径信息之后,所述方法还包括:
在所述第一路径信息对应的节点均无法正常工作的情况下,将所述待处理业务的业务数据发送至所述第二路径信息对应的节点。
5.根据权利要求4所述的方法,其特征在于,在所述将所述待处理业务的业务数据发送至所述第二路径信息对应的节点之后,所述方法还包括:
按照预设周期查询所述第一路径信息对应的节点中是否存在恢复正常工作的节点;
在所述第一路径信息对应的节点中存在恢复正常工作的节点的情况下,将所述业务数据发送至所述恢复正常工作的节点。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述待处理业务发生业务迁移的情况下,获取迁移后的业务所在客户端的区域;
将与所述迁移后的业务所在客户端位于同一区域的所述数据中心更新为所述本地数据中心,并将更新后的所述本地数据中心的节点对应的路径信息更新为所述第一路径信息;
将与所述迁移后的业务所在客户端位于不同区域的所述数据中心更新为所述非本地数据中心,并将更新后的所述非本地数据中心的节点对应的路径信息更新为所述第二路径信息。
7.一种数据传输装置,其特征在于,包括:
第一获取单元,用于获取多个数据中心的节点发送的路径信息,得到多个路径信息,其中,所述多个数据中心由目标延展集群的节点构成,每个所述数据中心包括多个节点,所述路径信息为节点与待处理业务所在客户端之间的路径的信息;
第一确定单元,用于从所述多个路径信息中确定第一路径信息,其中,所述第一路径信息用于表征所述客户端的本地数据中心的节点对应的路径信息;
第一发送单元,用于在所述第一路径信息对应的节点中包含正常工作的节点的情况下,将所述待处理业务的业务数据发送至所述第一路径信息对应的正常工作的节点。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二确定单元,用于在所述获取多个数据中心的节点发送的路径信息,得到多个路径信息之前,确定所述目标延展集群的各个节点所在的区域,将相同区域内的所有节点构成一个数据中心,得到所述多个数据中心,并确定每个所述数据中心所在的区域;
第三确定单元,用于在所述数据中心与所述客户端位于同一区域的情况下,将所述数据中心确定为所述本地数据中心,并将所述本地数据中心的节点对应的路径信息确定为所述第一路径信息。
9.一种非易失性存储介质,其特征在于,所非易失性存储介质包括存储的程序,其中,所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至6中任意一项所述的数据传输方法。
10.一种电子装置,其特征在于,包含处理器和存储器,所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行权利要求1至6中任意一项所述的数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860244.7A CN113630317B (zh) | 2021-07-28 | 2021-07-28 | 一种数据传输方法、装置、非易失性存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110860244.7A CN113630317B (zh) | 2021-07-28 | 2021-07-28 | 一种数据传输方法、装置、非易失性存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113630317A CN113630317A (zh) | 2021-11-09 |
CN113630317B true CN113630317B (zh) | 2022-10-11 |
Family
ID=78381405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110860244.7A Active CN113630317B (zh) | 2021-07-28 | 2021-07-28 | 一种数据传输方法、装置、非易失性存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113630317B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115396296B (zh) * | 2022-08-18 | 2023-06-27 | 中电金信软件有限公司 | 业务处理方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7925917B1 (en) * | 2008-04-03 | 2011-04-12 | United Services Automobile Association (Usaa) | Systems and methods for enabling failover support with multiple backup data storage structures |
CN102571383A (zh) * | 2010-12-16 | 2012-07-11 | 腾讯科技(深圳)有限公司 | 一种接入控制方法及系统 |
CN106888164A (zh) * | 2015-12-15 | 2017-06-23 | 阿里巴巴集团控股有限公司 | 一种异地多活下的业务数据路由方法及装置 |
CN107729176A (zh) * | 2017-09-14 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 一种配置文件管理系统的容灾方法及容灾系统 |
US10083057B1 (en) * | 2016-03-29 | 2018-09-25 | EMC IP Holding Company LLC | Migration of active virtual machines across multiple data centers |
US10187485B1 (en) * | 2015-09-28 | 2019-01-22 | Symantec Corporation | Systems and methods for sending push notifications that include preferred data center routing information |
CN111046108A (zh) * | 2019-12-20 | 2020-04-21 | 辽宁振兴银行股份有限公司 | 一种基于Ceph的跨数据中心Oracle高可用实现方法 |
CN111447143A (zh) * | 2020-03-31 | 2020-07-24 | 苏宁云计算有限公司 | 业务服务数据传输方法、装置、计算机设备和存储介质 |
CN112181736A (zh) * | 2020-09-23 | 2021-01-05 | 星辰天合(北京)数据科技有限公司 | 分布式存储系统及分布式存储系统的配置方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6957251B2 (en) * | 2001-05-07 | 2005-10-18 | Genworth Financial, Inc. | System and method for providing network services using redundant resources |
US10180809B2 (en) * | 2006-05-17 | 2019-01-15 | Richard Fetik | Secure application acceleration system, methods and apparatus |
-
2021
- 2021-07-28 CN CN202110860244.7A patent/CN113630317B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7925917B1 (en) * | 2008-04-03 | 2011-04-12 | United Services Automobile Association (Usaa) | Systems and methods for enabling failover support with multiple backup data storage structures |
CN102571383A (zh) * | 2010-12-16 | 2012-07-11 | 腾讯科技(深圳)有限公司 | 一种接入控制方法及系统 |
US10187485B1 (en) * | 2015-09-28 | 2019-01-22 | Symantec Corporation | Systems and methods for sending push notifications that include preferred data center routing information |
CN106888164A (zh) * | 2015-12-15 | 2017-06-23 | 阿里巴巴集团控股有限公司 | 一种异地多活下的业务数据路由方法及装置 |
US10083057B1 (en) * | 2016-03-29 | 2018-09-25 | EMC IP Holding Company LLC | Migration of active virtual machines across multiple data centers |
CN107729176A (zh) * | 2017-09-14 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 一种配置文件管理系统的容灾方法及容灾系统 |
CN111046108A (zh) * | 2019-12-20 | 2020-04-21 | 辽宁振兴银行股份有限公司 | 一种基于Ceph的跨数据中心Oracle高可用实现方法 |
CN111447143A (zh) * | 2020-03-31 | 2020-07-24 | 苏宁云计算有限公司 | 业务服务数据传输方法、装置、计算机设备和存储介质 |
CN112181736A (zh) * | 2020-09-23 | 2021-01-05 | 星辰天合(北京)数据科技有限公司 | 分布式存储系统及分布式存储系统的配置方法 |
Non-Patent Citations (2)
Title |
---|
《基于Ceph的企业云存储系统的设计与实现》;谢泓生;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200815;全文 * |
基于关键节点备份的多路径可靠路由协议;魏振春等;《电子测量与仪器学报》;20131015(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113630317A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9906598B1 (en) | Distributed data storage controller | |
CN100549960C (zh) | 群集计算系统中改变的快速应用程序通知的方法和系统 | |
US11314444B1 (en) | Environment-sensitive distributed data management | |
US11734248B2 (en) | Metadata routing in a distributed system | |
US20070094659A1 (en) | System and method for recovering from a failure of a virtual machine | |
CN110362381A (zh) | Hdfs集群高可用部署方法、系统、设备及存储介质 | |
US10191958B1 (en) | Storage provisioning in a data storage environment | |
CN107623703B (zh) | 全局事务标识gtid的同步方法、装置及系统 | |
CN110825704B (zh) | 一种读数据方法、写数据方法及服务器 | |
CN108319618B (zh) | 一种分布式存储系统的数据分布控制方法、系统及装置 | |
CN106452836B (zh) | 主节点设置方法及装置 | |
CN103581332A (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
CN103152390A (zh) | 分布式存储系统的节点配置方法、装置、节点及系统 | |
US11461053B2 (en) | Data storage system with separate interfaces for bulk data ingestion and data access | |
CN110532123A (zh) | HBase系统的故障转移方法及装置 | |
CN115510156A (zh) | 一种云原生高可用数据库服务提供系统及方法 | |
CN107508700B (zh) | 容灾方法、装置、设备及存储介质 | |
CN112492022A (zh) | 提高数据库可用性的集群、方法、系统及存储介质 | |
CN113630317B (zh) | 一种数据传输方法、装置、非易失性存储介质及电子装置 | |
CN107943615B (zh) | 基于分布式集群的数据处理方法与系统 | |
CN112073499A (zh) | 一种多机型云物理服务器的动态服务方法 | |
US20090132716A1 (en) | Fault-tolerant distributed services methods and systems | |
US20240176762A1 (en) | Geographically dispersed hybrid cloud cluster | |
CN108429813B (zh) | 云存储服务的容灾方法、系统及终端 | |
US10326835B1 (en) | Global data movement in cloud computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd. Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing Applicant before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |