CN111416795B - 一种数据同步方法、装置、计算设备及介质 - Google Patents

一种数据同步方法、装置、计算设备及介质 Download PDF

Info

Publication number
CN111416795B
CN111416795B CN201910017091.2A CN201910017091A CN111416795B CN 111416795 B CN111416795 B CN 111416795B CN 201910017091 A CN201910017091 A CN 201910017091A CN 111416795 B CN111416795 B CN 111416795B
Authority
CN
China
Prior art keywords
cloud storage
storage device
data
information
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910017091.2A
Other languages
English (en)
Other versions
CN111416795A (zh
Inventor
罗庆超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910017091.2A priority Critical patent/CN111416795B/zh
Publication of CN111416795A publication Critical patent/CN111416795A/zh
Application granted granted Critical
Publication of CN111416795B publication Critical patent/CN111416795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Abstract

本发明公开了一种数据同步方法、装置、计算设备及介质,该方法包括:对接收到的数据封装信息进行解析,以提取数据变化信息;基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作;根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备。

Description

一种数据同步方法、装置、计算设备及介质
技术领域
本发明涉及云计算领域,特别涉及一种数据同步方法、装置、计算设备及介质。
背景技术
随着技术的不断革新与发展,云计算历经以虚拟化为基础的第一阶段,以基础设施资源服务化为基础、引入软件定义网络及软件定义存储等相关技术的第二阶段,以基础设施即服务、平台即服务、数据即服务融合为代表,糅合公有云及私有云而形成混合云能力的第三阶段。
目前,云计算正步入下一阶段:全面的多云阶段,即基于混合的、异构的多种公有云、专有云,形成全面云上的企业IT(Information Technology,信息技术)架构,实现业务系统的全分布,利用云的能力做跨云的分析。对多云系统而言,其要求数据存储在多种云之间同步,即数据要在公有云和公有云之间、公有云和专有云之间同步。
业界典型的数据同步技术Rsync(Remote synchronize,远程同步)虽可用于POSIX(Portable Operating System Interface of UNIX,可移植性操作系统接口)文件系统之间的数据同步,以及相同厂家且同一类型的存储之间的数据复制,但仍不支持跨存储类型的数据同步,也不支持不同厂家的两个公有云之间的数据同步,通常也不支持不同厂家的专有云与公有云之间的数据同步。因此,需要一种新的数据同步方法来优化上述处理过程。
发明内容
为此,本发明提供一种数据同步方案,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供一种数据同步方法,该方法包括如下步骤:首先,对接收到的数据封装信息进行解析,以提取数据变化信息;基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作;根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备。
可选地,在根据本发明的数据同步方法中,对接收到的数据封装信息进行解析,包括:根据预设的解析协议对接收到的数据封装信息进行解析,解析协议包括协议类型、操作接口和传递参数中至少一个协议字段。
可选地,在根据本发明的数据同步方法中,基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作,包括:基于数据变化信息中的源端操作对应行为,确定是否允许将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作;当源端操作对应行为指示确定允许时,以第一云存储设备为源端,第二云存储设备为目的端,建立相应的映射关系,以将第一云存储设备的操作映射为第二云存储设备的操作。
可选地,在根据本发明的数据同步方法中,根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备,包括:根据映射到第二云存储设备的操作,调用数据变化信息中的目的端执行函数句柄,基于第二云存储设备的运行环境,将第一云存储设备中待同步的数据同步至第二云存储设备。
可选地,在根据本发明的数据同步方法中,数据封装信息由第一云存储设备发布的数据变化消息封装生成,数据变化消息通过第一云存储设备的消息队列获取。
可选地,在根据本发明的数据同步方法中,还包括预先将第一云存储设备与第二云存储设备进行关联,预先将第一云存储设备与第二云存储设备进行关联,包括:接收第二云存储设备发出的关联请求,关联请求包括待关联的第一云存储设备的标识,第一云存储设备与第二云存储设备为已注册状态;对关联请求进行封装,以形成请求关联信息;将请求关联信息发送至通知管控设备,以指示通知管控设备对第一云存储设备与第二云存储设备进行关联。
可选地,在根据本发明的数据同步方法中,指示通知管控设备对第一云存储设备与第二云存储设备进行关联,包括:指示通知管控设备响应于请求关联信息,执行安全检测;在安全检测通过时,将第一云存储设备与第二云存储设备进行关联,并反馈关联成功信息。
可选地,在根据本发明的数据同步方法中,还包括:根据接收到的关联成功信息,向第二云存储设备返回第一云存储设备的消息队列的地址。
可选地,在根据本发明的数据同步方法中,还包括预先对第二云存储设备进行注册,预先对第二云存储设备进行注册,包括:接收第二云存储设备发出的注册请求;对注册请求进行封装,以形成请求注册信息;将请求注册信息发送至通知管控设备,以指示通知管控设备响应于请求注册信息,返回允许注册信息;根据接收到的允许注册信息,对第二云存储设备进行注册,并向第二云存储设备返回注册成功信息。
根据本发明的又一个方面,提供一种数据同步装置,该装置包括解析模块、映射模块和同步模块。其中,解析模块适于对接收到的数据封装信息进行解析,以提取数据变化信息;映射模块适于基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作;同步模块适于根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备。
可选地,在根据本发明的数据同步装置中,解析模块进一步适于根据预设的解析协议对接收到的数据封装信息进行解析,解析协议包括协议类型、操作接口和传递参数中至少一个协议字段。
可选地,在根据本发明的数据同步装置中,映射模块进一步适于基于数据变化信息中的源端操作对应行为,确定是否允许将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作;当源端操作对应行为指示确定允许时,以第一云存储设备为源端,第二云存储设备为目的端,建立相应的映射关系,以将第一云存储设备的操作映射为第二云存储设备的操作。
可选地,在根据本发明的数据同步装置中,同步模块进一步适于根据映射到第二云存储设备的操作,调用数据变化信息中的目的端执行函数句柄,基于第二云存储设备的运行环境,将第一云存储设备中待同步的数据同步至第二云存储设备。
可选地,在根据本发明的数据同步装置中,数据封装信息由第一云存储设备发布的数据变化消息封装生成,数据变化消息通过第一云存储设备的消息队列获取。
可选地,在根据本发明的数据同步装置中,还包括关联模块,适于预先将第一云存储设备与第二云存储设备进行关联,进一步适于接收第二云存储设备发出的关联请求,关联请求包括待关联的第一云存储设备的标识,第一云存储设备与第二云存储设备为已注册状态;对关联请求进行封装,以形成请求关联信息;将请求关联信息发送至通知管控设备,以指示通知管控设备对第一云存储设备与第二云存储设备进行关联。
可选地,在根据本发明的数据同步装置中,关联模块进一步适于指示通知管控设备响应于请求关联信息,执行安全检测;在安全检测通过时,将第一云存储设备与第二云存储设备进行关联,并反馈关联成功信息。
可选地,在根据本发明的数据同步装置中,关联模块还适于根据接收到的关联成功信息,向第二云存储设备返回第一云存储设备的消息队列的地址。
可选地,在根据本发明的数据同步装置中,还包括注册模块,适于预先对第二云存储设备进行注册,进一步适于接收第二云存储设备发出的注册请求;对注册请求进行封装,以形成请求注册信息;将请求注册信息发送至通知管控设备,以指示通知管控设备响应于请求注册信息,返回允许注册信息;根据接收到的允许注册信息,对第二云存储设备进行注册,并向第二云存储设备返回注册成功信息。
根据本发明的又一个方面,提供一种计算设备,包括一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行根据本发明的数据同步方法的指令。
根据本发明的又一个方面,还提供一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,指令当由计算设备执行时,使得计算设备执行根据本发明的数据同步方法。
根据本发明的数据同步技术方案,实现了跨云、跨存储的协议封装、操作解析和映射,具有跨云、跨存储的数据同步的数据转换能力,实现数据面的统一存取,在数据层面完成不同种类存储的数据同步,并支持不同厂家、不同类型存储映射时的忽略控制,从而对于不支持的能力可以暂时不处理,保证了兼容性。上述参与数据同步的云存储设备之间需要预先进行关联,而通过通知管控设备可将已注册的云存储设备关联,并将未注册的云存储设备注册,实现跨云、跨存储的安全、管理和监控,还可统一管控配置不同厂家、不同类型得云存储设备间的数据同步。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的云存储系统100的示意图;
图2示出了根据本发明的又一个实施例的云存储系统200的示意图;
图3示出了根据本发明一个实施例的计算设备300的结构框图;
图4示出了根据本发明的一个实施例的数据同步方法400的流程图;以及
图5示出了根据本发明的一个实施例的数据同步装置500的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的云存储系统100的示意图。应当指出,图1中的云存储系统100仅是示例性的,在具体的实际情况中,云存储系统100中可以有不同数量的云存储设备、数据同步装置和通知管控设备,且云存储设备所提供的服务类型(公有云、专有云)、存储类型(缓存系统、对象存储、文件存储、块存储)以及来源厂家亦不进行限定。
如图1所示,云存储系统100中包括云存储设备117、云存储设备119、云存储设备127和云存储设备129,分别关联有唯一对应的数据同步装置113、数据同步装置115、数据同步装置123和数据同步装置125。其中,云存储设备117、云存储设备119、数据同步装置113和数据同步装置115部署于公有云110中,云存储设备127、云存储设备129、数据同步装置123和数据同步装置125部署于专有云120中。换言之,云存储设备117和云存储设备119提供公有云的存储服务,而云存储设备127和云存储设备129提供专有云的存储服务器。
以数据同步装置115为例,数据同步装置115接收到来自数据同步装置125的数据封装信息,则可确定第一云存储设备为数据同步装置125关联的云存储设备129,第二云存储设备为数据同步装置115关联的云存储设备119。此时,数据同步装置115对接收到的数据封装信息进行解析,以提取数据变化信息,基于该数据变化信息,将对应的云存储设备129(第一云存储设备)的操作,映射为与云存储设备129关联的云存储设备119(第二云存储设备)的操作。最后,根据映射到云存储设备119的操作,将云存储设备129中待同步的数据同步至云存储设备119。
需要说明的是,在对两个云存储设备进行数据同步之前,应保证这两个云存储设备已经关联,而在关联两个云存储设备之前,必须先对这两个云存储设备进行注册。通常,可以基于数据同步装置完成云存储设备的注册及关联,如利用图1所示的数据同步装置115,通过通知管控设备130完成云存储设备119的注册,以及将云存储设备119与云存储设备129进行关联。在图1中,通知管控设备130分别与公有云110内的数据同步装置113和数据同步装置115、专有云120内的数据同步装置123和数据同步装置125通信连接,适于响应各数据同步装置的指示,对公有云110和专有云120中未注册的云存储设备进行注册管理,以及对已注册的云存储设备进行关联。
此外,考虑在同一公有云或专有云的范畴内,对不同的云存储设备进行注册以及关联相应云存储设备,在功能实现和硬件搭建上可统一完成。因此,在同一公有云或专有云内,可通过独立于各数据同步装置的数据通知装置,结合通知管控设备实现云存储设备的注册及关联,即各数据同步装置只用于完成关联的云存储设备之间的数据同步,而数据通知装置代替其所在公有云或专有云内的各数据同步装置,实现相应的云存储设备的注册及后续关联处理。
图2示出了根据本发明的又一个实施例的云存储系统200的示意图。应当指出,图2中的云存储系统200仅是示例性的,在具体的实际情况中,云存储系统200中可以有不同数量的云存储设备、数据同步装置、数据通知装置和通知管控设备,且云存储设备所提供的服务类型(公有云、专有云)、存储类型(缓存系统、对象存储、文件存储、块存储)以及来源厂家亦不进行限定。
如图2所示,云存储系统200中包括云存储设备217、云存储设备219、云存储设备227和云存储设备229,云存储设备217和云存储设备219关联有数据通知装置211,还分别关联有唯一对应的数据同步装置213和数据同步装置215,云存储设备227和云存储设备229关联有数据通知装置221,还分别关联有唯一对应数据同步装置223和数据同步装置225。其中,云存储设备217、云存储设备219、数据通知装置211、数据同步装置213和数据同步装置215部署于公有云210中,云存储设备227、云存储设备229、数据通知装置221、数据同步装置223和数据同步装置225部署于专有云220中。换言之,云存储设备217和云存储设备219提供公有云的存储服务,而云存储设备227和云存储设备229提供专有云的存储服务器。通知管控设备230分别与公有云210内的数据通知装置211、专有云220内的数据通知装置221通信连接,适于响应各数据通知装置的指示,对公有云210和专有云220中未注册的云存储设备进行注册管理,以及对已注册的云存储设备进行关联。
此处的数据同步装置213、数据同步装置215、数据同步装置223和数据同步装置225仅用于实现云存储设备之间的数据同步,而云存储设备的注册及关联则通过数据通知装置211和数据通知装置221实现。换句话说,数据同步装置是以独立组件(如插件)的形式关联到其对应的数据通知装置上,可以将数据通知装置理解为框架性的大模块,而数据同步装置是遵从框架的小模块,可被选择性安装和卸载。即,对某一个公有云或专有云,利用其所包括的数据通知装置先完成相应的云存储设备注册及关联,再针对单个的云存储设备,通过该云存储设备唯一关联的数据同步装置,来完成对应的数据同步。这样无需每一个数据同步装置来完成针对其唯一关联的云存储设备的注册及关联,而是使用数据通知装置实现同一公有云或专有云内全部云存储设备的注册及关联,方便统一管理,降低了运行和维护成本,提供了工作效率。
图3示出了根据本发明一个实施例的计算设备300的结构框图。如图3所示,在基本的配置302中,计算设备300典型地包括系统存储器306和一个或者多个处理器304。存储器总线308可以用于在处理器304和系统存储器306之间的通信。
取决于期望的配置,处理器304可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器304可以包括诸如一级高速缓存310和二级高速缓存312之类的一个或者多个级别的高速缓存、处理器核心314和寄存器316。示例的处理器核心314可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器318可以与处理器304一起使用,或者在一些实现中,存储器控制器318可以是处理器304的一个内部部分。
取决于期望的配置,系统存储器306可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器306可以包括操作系统320、一个或者多个程序322以及数据324。在一些实施方式中,程序322可以布置为在操作系统上由一个或多个处理器304利用数据324执行指令。
计算设备300还可以包括有助于从各种接口设备(例如,输出设备342、外设接口344和通信设备346)到基本配置302经由总线/接口控制器330的通信的接口总线340。示例的输出设备342包括图形处理单元348和音频处理单元350。它们可以被配置为有助于经由一个或者多个A/V端口352与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口344可以包括串行接口控制器354和并行接口控制器356,它们可以被配置为有助于经由一个或者多个I/O端口358和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备346可以包括网络控制器360,其可以被布置为便于经由一个或者多个通信端口364与一个或者多个其他计算设备362通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备300可以实现为服务器,例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等,也可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备300还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
在一些实施例中,计算设备300被配置为执行根据本发明的数据同步方法400。其中,计算设备300的程序322中包含执行根据本发明的数据同步方法400的多条程序指令,而数据324还可以存储云存储系统100或200的配置信息等。
图4示出了根据本发明的一个实施例的数据同步方法400的流程图。如图4所示,方法400始于步骤S410。在步骤S410中,对接收到的数据封装信息进行解析,以提取数据变化信息。根据本发明的一个实施例,在对接收到的数据封装信息进行解析时,可根据预设的解析协议对接收到的数据封装信息进行解析,解析协议包括协议类型、操作接口和传递参数中至少一个协议字段。其中,数据封装信息由第一云存储设备发布的数据变化消息封装生成,数据变化消息通过第一云存储设备的消息队列获取。
在该实施方式中,第一云存储设备为云存储设备129,其存储类型为对象存储。云存储设备129在发布数据变化消息后,云存储设备129唯一关联的数据同步装置125通过云存储设备129的消息队列,获取到该数据变化信息,并根据预设的封装协议对数据变化消息进行封装,以形成数据封装信息,将该数据封装信息发送至数据同步装置115。其中,封装协议包括协议类型、操作接口和传递参数中至少一个协议字段,如:
Figure BDA0001939457560000101
如上所示,协议类型为aws/s3,表明源端的存储服务类型为亚马逊的S3存储服务,需要依此进行协议封装,操作接口ops为PutObject,传递参数param为数组array[]中的内容。
数据同步装置115在接收到上述数据封装信息后,根据预设的解析协议对该数据封装信息进行解析,以提取数据变化信息。这里的数据变化信息与前述的数据变化消息在所包含的数据内容上,可认定是一致的。解析协议的一个示例如下所示:
Figure BDA0001939457560000102
其中,协议类型为aws/s3,表明源端的存储服务类型为亚马逊的S3存储服务,需要依此进行协议解析,操作接口ops为PutObject,传递参数param为数组array[]中的内容。
根据本发明的一个实施例,数据变化信息包括源端存储服务类型、源端操作接口名称、源端操作传递参数、源端操作对应行为、目的端存储服务类型、目的端操作接口名称、目的端执行参数和目的端执行函数句柄中至少一项。
在该实施方式中,源端存储服务类型SrcType为AWS-S3(即亚马逊的S3存储服务),源端操作接口名称SrcOp为PutObject,源端操作传递参数SrcParams为Array[],源端操作对应行为Action为Allow。目的端存储服务类型DstType为BOS(百度云的OSS存储服务),目的端操作接口名称DstOp为PutObject(因为BOS兼容S3比较好,所以DstOp也是PutObject),目的端执行参数DstParams(是对SrcParams的一种转换)为Array[],目的端执行函数句柄Handler为PutObjFunc。具体见下表:
SrcType SrcOp SrcParams Action DstType DstOp DstParams Handler
AWS-S3 PutObject Array[] Allow BOS PutObject Array[] PutObjFunc
表1
其中,源端操作对应行为Action为Allow时,表示允许目的端有对应的操作,后续的DstType/Dstop/DstParams/Handle字段会描述目的端的处理细节,通过这些字段,可以实现从源端到目的端的数据同步。而源端操作对应行为Action还可以为Ignore,此时表示不允许目的端操作,原因可能是目的端不兼容该操作,也可能是目的端不希望执行该操作。
随后,进入步骤S420,基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作。根据本发明的一个实施例,可以通过如下方式将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作。首先,基于数据变化信息中的源端操作对应行为,确定是否允许将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作,当源端操作对应行为指示确定允许时,以第一云存储设备为源端,第二云存储设备为目的端,建立相应的映射关系,以将第一云存储设备的操作映射为第二云存储设备的操作。
在该实施方式中,与第一云存储设备(云存储设备129)关联的第二云存储设备为云存储设备119,其存储类型为对象存储。数据变化信息中的源端操作对应行为为Allow,确定允许将云存储设备129的操作,映射为与云存储设备129关联的云存储设备119的操作,并以云存储设备129为源端,云存储设备119为目的端,建立相应的映射关系,以将云存储设备129的操作映射为云存储设备119的操作。
最后,执行步骤S430,根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备。根据本发明的一个实施例,可以通过如下方式将第一云存储设备中待同步的数据同步至第二云存储设备。具体的,根据映射到第二云存储设备的操作,调用数据变化信息中的目的端执行函数句柄,基于第二云存储设备的运行环境,将第一云存储设备中待同步的数据同步至第二云存储设备。
在该实施方式中,第一云存储设备为云存储设备129,第二云存储设备为云存储设备119,此时,根据映射到云存储设备119的操作,调用目的端执行函数句柄PutObjFunc,基于云存储设备119的运行环境,将云存储设备129中待同步的数据同步至云存储设备119。至此,完成了云存储设备129中数据同步至云存储设备119的处理。需要说明的是,上述数据同步的实现过程,既可以在属于不同云的云存储设备之间(如云存储设备129和云存储设备119)实现,也可以在同一云中的云存储设备之间(如云存储设备129与云存储设备127)实现,且不限制云存储设备的类型、生产厂家等,从而实现了跨云、跨存储的数据同步方案。
前述提到进行数据同步的云存储设备之间需要预先关联,且应为已注册状态,而对云存储设备进行注册及关联处理是利用通知管控设备来完成的。根据本发明的一个实施例,可通过如下方式预先对云存储设备进行注册。以第二云存储设备为例,在预先对第二云存储设备进行注册时,接收第二云存储设备发出的注册请求,对注册请求进行封装,以形成请求注册信息,再将请求注册信息发送至通知管控设备,以指示通知管控设备响应于请求注册信息,返回允许注册信息,最后根据接收到的允许注册信息,对第二云存储设备进行注册,并向第二云存储设备返回注册成功信息。
在该实施方式中,第二云存储设备为云存储设备119,是尚未注册的云存储设备。此时,云存储设备119向数据同步装置115发出注册请求,该注册请求中包含的参数至少应提供URI(Universal Resource Identifier,统一资源描述符)地址,如:
Figure BDA0001939457560000131
其中,“http://bucket.s3-aws-region.amazonaws.com/”表示该注册请求中的URI地址,“topic”表示云存储设备119的消息队列地址。
在接收到云存储设备119发出的上述注册请求后,对该注册请求进行封装,以形成请求注册信息,再将该请求注册信息发送至通知管控设备130,以指示通知管控设备130响应于请求注册信息,返回允许注册信息。协议封装格式如下:
Figure BDA0001939457560000132
由上可知,用于注册的协议类型type为aws/s3,表明云存储设备119提供亚马逊的S3存储服务,操作接口ops为Registry,传递参数param为数组array[]中的内容。
通知管控设备130接收到该请求注册信息后,响应于该请求注册信息,向数据同步装置115返回允许注册信息,以指示数据同步装置115对未注册的云存储设备119进行注册,并向未注册的云存储设备119返回注册成功信息。
当数据同步装置115接收到通知管控设备130发送的允许注册信息后,对云存储设备119进行注册,并向云存储设备119返回注册成功信息。至此,云存储设备119为已注册状态,进而可与其他已注册的云存储设备进行关联,以便进行数据同步。
进一步的,可以对需要同步数据且已注册的云存储设备执行关联操作。根据本发明的一个实施例,可通过如下方式预先将第一云存储设备与第二云存储设备进行关联。首先,接收第二云存储设备发出的关联请求,关联请求包括待关联的第一云存储设备的标识,第一云存储设备与第二云存储设备为已注册状态,然后,对关联请求进行封装,以形成请求关联信息,再将请求关联信息发送至通知管控设备,以指示通知管控设备对第一云存储设备与第二云存储设备进行关联。
进一步的,在指示通知管控设备对第一云存储设备与第二云存储设备进行关联时,先指示通知管控设备响应于请求关联信息,执行安全检测,在安全检测通过时,将第一云存储设备与第二云存储设备进行关联,并反馈关联成功信息。在接收到通知管控设备反馈关联成功消息后,根据接收到的关联成功信息,向第二云存储设备返回第一云存储设备的消息队列的地址。
在该实施方式中,第一云存储设备为云存储设备129,第二云存储设备为云存储设备119,均为已注册的云存储设备。此时,云存储设备119向数据同步装置115发出关联请求,申请关联云存储设备129。
数据同步装置115接收已注册的云存储设备119发出的关联请求,关联请求包括待关联的云存储设备129的标识,对该关联请求进行封装,以形成请求关联信息,并将请求关联信息发送至通知管控设备130。协议封装格式如下:
Figure BDA0001939457560000141
Figure BDA0001939457560000151
其中,用于关联的协议类型type为aws/s3,表明云存储设备119提供亚马逊的S3存储服务,操作接口ops为UniversalSync,传递参数param为数组array[]中的内容。
通知管控设备130接收到该请求关联信息后,响应于该请求关联信息,执行安全检测。若安全检测通过,则通知管控设备130将该已注册的云存储设备129与云存储设备119进行关联,并向数据同步装置115发送关联成功信息,以指示数据同步装置115向云存储设备119返回已关联的云存储设备129的消息队列地址。
在该实施方式中,安全检测通过,进而通知管控设备130将云存储设备129与云存储设备119进行关联,并向数据同步装置115反馈关联成功信息。数据同步装置115接收到关联成功信息后,向云存储设备119返回云存储设备129的消息队列的地址。
此后,若云存储设备129接收或发送新消息,云存储设备119可以通过该消息队列的地址,来获取云存储设备129的消息队列中的消息,即实现了云存储设备129与云存储设备119的关联。
图5示出了根据本发明的一个实施例的数据同步装置500的示意图。如图5所示,数据同步装置500包括解析模块510、映射模块520和同步模块530。
解析模块510适于对接收到的数据封装信息进行解析,以提取数据变化信息。
根据本发明的一个实施例,解析模块510进一步适于根据预设的解析协议对接收到的数据封装信息进行解析,解析协议包括协议类型、操作接口和传递参数中至少一个协议字段。其中,数据封装信息由第一云存储设备发布的数据变化消息封装生成,数据变化消息通过第一云存储设备的消息队列获取。
映射模块520适于基于数据变化信息,将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作。
根据本发明的一个实施例,映射模块520进一步适于基于数据变化信息中的源端操作对应行为,确定是否允许将对应的第一云存储设备的操作,映射为与第一云存储设备关联的第二云存储设备的操作,当源端操作对应行为指示确定允许时,以第一云存储设备为源端,第二云存储设备为目的端,建立相应的映射关系,以将第一云存储设备的操作映射为第二云存储设备的操作。
同步模块530适于根据映射到第二云存储设备的操作,将第一云存储设备中待同步的数据同步至第二云存储设备。
根据本发明的一个实施例,同步模块530进一步适于根据映射到第二云存储设备的操作,调用数据变化信息中的目的端执行函数句柄,基于第二云存储设备的运行环境,将第一云存储设备中待同步的数据同步至第二云存储设备。
根据本发明的一个实施例,数据同步装置500还包括关联模块(图中未示出),适于预先将第一云存储设备与第二云存储设备进行关联,进一步适于接收第二云存储设备发出的关联请求,关联请求包括待关联的第一云存储设备的标识,第一云存储设备与第二云存储设备为已注册状态,对关联请求进行封装,以形成请求关联信息,将请求关联信息发送至通知管控设备,以指示通知管控设备对第一云存储设备与第二云存储设备进行关联。
在该实施方式中,关联模块进一步适于指示通知管控设备响应于请求关联信息,执行安全检测,在安全检测通过时,将第一云存储设备与第二云存储设备进行关联,并反馈关联成功信息。关联模块还适于根据接收到的关联成功信息,向第二云存储设备返回第一云存储设备的消息队列的地址。
根据本发明的一个实施例,数据同步装置500还包括注册模块(图中未示出),适于预先对第二云存储设备进行注册,进一步适于接收第二云存储设备发出的注册请求,对注册请求进行封装,以形成请求注册信息,将请求注册信息发送至通知管控设备,以指示通知管控设备响应于请求注册信息,返回允许注册信息,根据接收到的允许注册信息,对第二云存储设备进行注册,并向第二云存储设备返回注册成功信息。
关于数据同步的具体步骤以及实施例,在基于图1~4的描述中已经详细公开,此处不再赘述。
现有的数据同步方法,并不支持跨云、跨存储的数据同步处理,难以满足厂商和用户的实际需求。根据本发明实施例的数据同步技术方案,实现了跨云、跨存储的协议封装、操作解析和映射,具有跨云、跨存储的数据同步的数据转换能力,实现数据面的统一存取,在数据层面完成不同种类存储的数据同步,并支持不同厂家、不同类型存储映射时的忽略控制,从而对于不支持的能力可以暂时不处理,保证了兼容性。上述参与数据同步的云存储设备之间需要预先进行关联,而通过通知管控设备可将已注册的云存储设备关联,并将未注册的云存储设备注册,实现跨云、跨存储的安全、管理和监控,还可统一管控配置不同厂家、不同类型得云存储设备间的数据同步。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间,以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的数据同步方法。
以示例而非限制的方式,计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (12)

1.一种数据同步方法,包括:
对接收到的数据封装信息进行解析,以提取数据变化信息;
基于所述数据变化信息,将对应的第一云存储设备的操作,映射为与所述第一云存储设备关联的第二云存储设备的操作;
根据映射到所述第二云存储设备的操作,将所述第一云存储设备中待同步的数据同步至所述第二云存储设备,
其中,所述数据变化信息指示源端的存储服务类型、目的端的存储服务类型和源端的操作对应行为,从而在所述映射的步骤中,通过所述源端的操作对应行为判断以所述源端的存储服务类型和所述目的端的存储服务类型,是否实施同步。
2.如权利要求1所述的方法,其中,所述对接收到的数据封装信息进行解析,包括:
根据预设的解析协议对接收到的数据封装信息进行解析,所述解析协议包括协议类型、操作接口和传递参数中至少一个协议字段。
3.如权利要求1所述的方法,其中,所述基于所述数据变化信息,将对应的第一云存储设备的操作,映射为与所述第一云存储设备关联的第二云存储设备的操作,包括:
基于所述数据变化信息中的源端操作对应行为,确定是否允许将对应的第一云存储设备的操作,映射为与所述第一云存储设备关联的第二云存储设备的操作;
当所述源端操作对应行为指示确定允许时,以所述第一云存储设备为源端,所述第二云存储设备为目的端,建立相应的映射关系,以将所述第一云存储设备的操作映射为所述第二云存储设备的操作。
4.如权利要求1所述的方法,其中,所述根据映射到所述第二云存储设备的操作,将所述第一云存储设备中待同步的数据同步至所述第二云存储设备,包括:
根据映射到所述第二云存储设备的操作,调用所述数据变化信息中的目的端执行函数句柄,基于所述第二云存储设备的运行环境,将所述第一云存储设备中待同步的数据同步至所述第二云存储设备。
5.如权利要求1所述的方法,其中,所述数据封装信息由所述第一云存储设备发布的数据变化消息封装生成,所述数据变化消息通过所述第一云存储设备的消息队列获取。
6.如权利要求1所述的方法,其中,还包括预先将所述第一云存储设备与所述第二云存储设备进行关联,所述预先将所述第一云存储设备与所述第二云存储设备进行关联,包括:
接收所述第二云存储设备发出的关联请求,所述关联请求包括待关联的第一云存储设备的标识,所述第一云存储设备与所述第二云存储设备为已注册状态;
对所述关联请求进行封装,以形成请求关联信息;
将所述请求关联信息发送至通知管控设备,以指示所述通知管控设备对所述第一云存储设备与所述第二云存储设备进行关联。
7.如权利要求6所述的方法,其中,所述指示所述通知管控设备对所述第一云存储设备与所述第二云存储设备进行关联,包括:
指示所述通知管控设备响应于所述请求关联信息,执行安全检测;
在安全检测通过时,将所述第一云存储设备与所述第二云存储设备进行关联,并反馈关联成功信息。
8.如权利要求7所述的方法,其中,还包括:
根据接收到的关联成功信息,向所述第二云存储设备返回所述第一云存储设备的消息队列的地址。
9.如权利要求6所述的方法,其中,还包括预先对所述第二云存储设备进行注册,所述预先对所述第二云存储设备进行注册,包括:
接收所述第二云存储设备发出的注册请求;
对所述注册请求进行封装,以形成请求注册信息;
将所述请求注册信息发送至所述通知管控设备,以指示所述通知管控设备响应于所述请求注册信息,返回允许注册信息;
根据接收到的允许注册信息,对所述第二云存储设备进行注册,并向所述第二云存储设备返回注册成功信息。
10.一种数据同步装置,包括:
解析模块,适于对接收到的数据封装信息进行解析,以提取数据变化信息;
映射模块,适于基于所述数据变化信息,将对应的第一云存储设备的操作,映射为与所述第一云存储设备关联的第二云存储设备的操作;
同步模块,适于根据映射到所述第二云存储设备的操作,将所述第一云存储设备中待同步的数据同步至所述第二云存储设备,
其中,所述数据变化信息指示源端的存储服务类型、目的端的存储服务类型和源端的操作对应行为,从而所述映射模块通过所述源端的操作对应行为判断以所述源端的存储服务类型和所述目的端的存储服务类型,是否实施同步。
11.一种计算设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-9所述的方法中的任一方法的指令。
12.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1-9所述的方法中的任一方法。
CN201910017091.2A 2019-01-08 2019-01-08 一种数据同步方法、装置、计算设备及介质 Active CN111416795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910017091.2A CN111416795B (zh) 2019-01-08 2019-01-08 一种数据同步方法、装置、计算设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910017091.2A CN111416795B (zh) 2019-01-08 2019-01-08 一种数据同步方法、装置、计算设备及介质

Publications (2)

Publication Number Publication Date
CN111416795A CN111416795A (zh) 2020-07-14
CN111416795B true CN111416795B (zh) 2022-07-29

Family

ID=71494718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910017091.2A Active CN111416795B (zh) 2019-01-08 2019-01-08 一种数据同步方法、装置、计算设备及介质

Country Status (1)

Country Link
CN (1) CN111416795B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857933A (zh) * 2020-07-28 2020-10-30 中国人民解放军陆军工程大学 一种云模式下虚拟训练系统远程状态同步的系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119974A (zh) * 2015-07-21 2015-12-02 信阳启航信息科技有限公司 一种混合云架构的物联系统及实现方法
US9280683B1 (en) * 2014-09-22 2016-03-08 International Business Machines Corporation Multi-service cloud storage decision optimization process
CN105721306A (zh) * 2016-02-04 2016-06-29 杭州数梦工场科技有限公司 一种配置信息的传输方法和装置
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移
CN107222487A (zh) * 2017-06-13 2017-09-29 杭州亿方云网络科技有限公司 一种混合云环境的账号对接系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710292B2 (en) * 2013-08-02 2017-07-18 International Business Machines Corporation Allowing management of a virtual machine by multiple cloud providers
CN106713487B (zh) * 2017-01-16 2020-10-09 腾讯科技(深圳)有限公司 数据的同步方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280683B1 (en) * 2014-09-22 2016-03-08 International Business Machines Corporation Multi-service cloud storage decision optimization process
CN105119974A (zh) * 2015-07-21 2015-12-02 信阳启航信息科技有限公司 一种混合云架构的物联系统及实现方法
CN105721306A (zh) * 2016-02-04 2016-06-29 杭州数梦工场科技有限公司 一种配置信息的传输方法和装置
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移
CN107222487A (zh) * 2017-06-13 2017-09-29 杭州亿方云网络科技有限公司 一种混合云环境的账号对接系统

Also Published As

Publication number Publication date
CN111416795A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN115134245B (zh) 网络装置、方法、计算机化的系统和机器可读存储介质
CN111930700A (zh) 一种分布式日志处理方法、服务器、系统和计算设备
EP3764220B1 (en) Automatic application updates
WO2019128240A1 (zh) 一种数据路由方法以及终端
CN110311983B (zh) 服务请求的处理方法、装置、系统、电子设备及存储介质
US20210173625A1 (en) Static asset containers
WO2019154353A1 (zh) 系统运行参数查询方法、匹配方法、装置及节点设备
US20200226326A1 (en) Electronic message translation management
CN111404990A (zh) 文件传输方法、装置、客户端及存储介质
WO2011130940A1 (zh) 多业务统一处理方法及统一业务平台
CN104123265A (zh) 一种众核间通信方法及系统
US20110165947A1 (en) Communication system, communication terminal, server, communication method to be used therein and program therefor
CN114025021A (zh) 一种跨Kubernetes集群的通信方法、系统、介质和电子设备
US20200228478A1 (en) Electronic message control
CN113794652A (zh) 数据处理方法、装置、电子设备及存储介质
CN111416795B (zh) 一种数据同步方法、装置、计算设备及介质
KR101857020B1 (ko) 서버에서 제공되는 서비스를 관리하기 위한 단말기의 장치 및 방법
CN113783914A (zh) 数据处理方法、装置及设备
CN108833331B (zh) 一种资源对象创建、资源对象状态上报方法及装置
GB2580420A (en) Electronic message adaptation
WO2022171190A1 (zh) 固定执行顺序的交易方法和装置
CN110278248B (zh) 遗嘱消息分发方法、装置及计算机可读存储介质
CN113382050B (zh) 一种消息传输方法、系统、计算设备及存储介质
CN112925539B (zh) 一种应用更新方法,计算设备及存储介质
CN110719303B (zh) 一种容器化nrf的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant