CN104639592B - 云存储网关间信息同步方法和系统、及云存储网关 - Google Patents

云存储网关间信息同步方法和系统、及云存储网关 Download PDF

Info

Publication number
CN104639592B
CN104639592B CN201310573217.7A CN201310573217A CN104639592B CN 104639592 B CN104639592 B CN 104639592B CN 201310573217 A CN201310573217 A CN 201310573217A CN 104639592 B CN104639592 B CN 104639592B
Authority
CN
China
Prior art keywords
cloud storage
cloud
message
gateway
storage gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310573217.7A
Other languages
English (en)
Other versions
CN104639592A (zh
Inventor
董峰
张维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310573217.7A priority Critical patent/CN104639592B/zh
Priority to US14/522,418 priority patent/US10200469B2/en
Priority to EP20140191815 priority patent/EP2874376A1/en
Publication of CN104639592A publication Critical patent/CN104639592A/zh
Application granted granted Critical
Publication of CN104639592B publication Critical patent/CN104639592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了云存储网关间信息同步方法和系统,及云存储网关,以解决云存储网关获取的地址通常是动态地址甚至是私网地址,直接通讯存在困难,无法进行目录同步的问题。上述方法包括:第一云存储网关从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息;第一云存储网关获取云存储目录;第一云存储网关将第一云存储网关的目录、第二云存储网关的目录和云存储目录合并显示。在本发明实施例中,云存储网关从云服务提供商的云消息队列获取其他云存储网关发布的目录,云存储网关只要可与云服务提供商通信,就可实现目录同步,云存储网关之间不需要直接通讯。因此,即使云存储网关获取的地址是动态或私网地址,也不影响目录同步。

Description

云存储网关间信息同步方法和系统、及云存储网关
技术领域
本发明涉及通信技术领域,具体涉及一种云存储网关间信息同步方法和系统,及云存储网关。
背景技术
对于拥有多分支机构的企业,在分布式部署场景下,通常在企业的每个分支机构部署一个云存储网关,多个分支机构共享使用一个云服务提供商。各个云存储网关通常将本地存储的目录和云存储目录融合成一个目录呈现给各自的分支机构的用户,这样便导致各个分支机构的用户看到的内容不一致,需要进行云存储网关的目录同步。
目前各个分支机构的云存储网关之间通过直接通讯方式来实现目录同步。因此,要求各个分支机构的云存储网关直接可达,需要给各个分支机构的云存储网关分配固定公网IP(英文:Internet protocol)地址,或者通过虚拟专用网络(virtual privatenetwork,简称VPN)建立数据连接。
而在中小企业的实际部署环境下,云存储网关获取的地址通常是动态地址甚至是私网地址,直接通讯存在困难,无法进行目录同步。
发明内容
有鉴于此,本发明实施例的目的在于提供云存储网关间信息同步方法和系统,及云存储网关,以解决上述问题。
为实现上述目的,本发明实施例提供如下技术方案:
根据本发明实施例的第一方面,提供一种云存储网关间信息同步方法,包括:
第一云存储网关从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;
所述第一云存储网关获取云存储目录;
所述第一云存储网关将所述第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示。
结合第一方面,在第一种可能的实现方式中,还包括:
第一云存储网关发送第一下载请求消息到所述云消息队列;所述第一下载请求消息包括第一目标对象的标识,以及所述第一目标对象所属网关的网关标识;
所述第一云存储网关从所述云消息队列中获取第一下载链接消息,所述第一下载链接消息包括所述第一目标对象对应的下载链接;所述第一下载链接消息由所述第一目标对象所属网关根据所述第一下载请求消息发送至所述云消息队列;
第一云存储网关根据所述第一目标对象对应的下载链接下载所述第一目标对象。
结合第一方面,在第二种可能的实现方式中,还包括:所述第一云存储网关向所述云消息队列发布第二目录消息,所述第二目录消息包括所述第一云存储网关的目录以及所述第一云存储网关的网关标识。
结合第一方面第二种可能的实现方式,在第三种可能的实现方式中,还包括:
所述第一云存储网关从所述云消息队列中获取第二下载请求消息,所述第二下载请求消息包括第二目标对象的标识,以及所述第一云存储网关的网关标识;
所述第一云存储网关上传所述第二目标对象至所述云服务提供商;
所述第一云存储网关发送第二下载链接消息至所述云消息队列,所述第二下载链接消息包含所述第二目标对象对应的下载链接。
结合第一方面第三种可能的实现方式,在第四种可能的实现方式中,所述第二目标对象为加密文件;所述方法还包括:
所述第一云存储网关从所述云消息队列中获取解密请求消息,所述解密请求消息用于请求所述第二目标对象的解密方式;
所述第一云存储网关发送删除指令至云服务提供商以删除所述第二目标对象;
第一云存储网关发送解密应答消息至所述云消息队列,所述解密应答消息中包括所述第二目标对象的解密方式。
根据本发明实施例的第二方面,提供一种云存储网关,包括:
第一获取单元,用于从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;
第二获取单元,用于获取云存储目录;
合并单元,用于将第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示。
结合第二方面,在第一种可能的实现方式中,还包括:
对象请求发布单元,用于发送第一下载请求消息到所述云消息队列;所述第一下载请求消息包括第一目标对象的标识,以及所述第一目标对象所属网关的网关标识;
第三获取单元,用于从所述云消息队列中获取第一下载链接消息,所述第一下载链接消息包括所述第一目标对象对应的下载链接,所述第一下载链接消息由所述第一目标对象所属网关根据所述第一下载请求消息发送至所述云消息队列;
下载单元,用于根据所述第一目标对象对应的下载链接下载所述第一目标对象。
结合第二方面,在第二种可能的实现方式中,还包括:
目录发布单元,用于向所述云消息队列发布第二目录消息,所述第二目录消息包括所述第一云存储网关的目录以及所述第一云存储网关的网关标识;
第四获取单元,用于从所述云消息队列中获取第二下载请求消息,所述第二下载请求消息包括第二目标对象的标识,以及所述第一云存储网关的网关标识;
上传单元,用于上传所述第二目标对象至所述云服务提供商;
下载链接发布单元,用于发送第二下载链接消息至所述云消息队列,所述第二下载链接消息包含所述第二目标对象对应的下载链接。
结合第二方面第二种可能的实现方式,在第三种可能的实现方式中,还包括:
第五获取单元,用于从所述云消息队列中获取解密请求消息,所述解密请求消息用于请求所述第二目标对象的解密方式;
删除指令发送单元,用于发送删除指令至云服务提供商以删除所述第二目标对象;
解密方式发送单元,用于发送解密应答消息至所述云消息队列,所述解密应答消息中包括所述第二目标对象的解密方式。
根据本发明实施例的第三方面,提供一种信息同步系统,包括第一云存储网关和第二云存储网关,其中,
所述第一云存储网关包括:
第一获取单元,用于从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;
第二获取单元,用于获取云存储目录;
合并单元,用于将第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示;
所述第二云存储网关包括:
发布单元,用于向所述云消息队列发布所述第一目录消息。
可见,在本发明实施例中,云存储网关从云服务提供商的云消息队列获取其他云存储网关发布的目录,因此,云存储网关只要可与云服务提供商通信,就可实现目录同步,而云存储网关之间不需要直接通讯。因此,即使云存储网关获取的地址是动态地址或私网地址,也不影响目录同步。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分布式云存储网关的网络示意图;
图2为本发明实施例提供的云存储网关间信息同步方法流程图;
图3为本发明实施例提供的云存储网关间信息同步方法另一流程图;
图4为本发明实施例提供的云存储网关间信息同步方法又一流程图;
图5为本发明实施例提供的云存储网关间信息同步方法又一流程图;
图6为本发明实施例提供的云存储网关间信息同步方法又一流程图;
图7为本发明实施例提供的云存储网关间信息同步方法交互流程图;
图8为本发明实施例提供的云存储网关间信息同步方法另一交互流程图;
图9为本发明实施例提供的云存储网关间信息同步方法又一交互流程图;
图10为本发明实施例提供的共享缓存文件格式示意图;
图11为本发明实施例提供的云存储网关结构示意图;
图12为本发明实施例提供的云存储网关另一结构示意图;
图13为本发明实施例提供的云存储网关又一结构示意图;
图14为本发明实施例提供的云存储网关又一结构示意图;
图15为本发明实施例提供的云存储网关又一结构示意图;
图16为本发明实施例提供的云存储网关又一结构示意图;
图17为本发明实施例提供的信息同步系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,为本发明实施例提供的分布式云存储网关的网络示意图。如图1所示,在企业的分支机构1和企业的分支机构2分别部署一个云存储网关,也即,GW1(第一云存储网关)和GW2(第二云存储网关),企业的分支机构1和企业的分支机构2共享使用同一云服务提供商。
云服务提供商可提供云存储服务,有些云服务提供商还可提供队列服务,如Amazon SQS(Simple Queue Service,简单队列服务),有些云服务提供商则不提供队列服务。云服务提供商对外提供API(应用程序接口),通过API可以使用相关服务。更具体的,当云服务提供商既提供云存储服务又提供队列服务时,云服务提供商向外提供的API从逻辑上可分为两类接口,一类为云存储接口,一类为云消息队列接口。而当云服务提供商提供云存储服务但不提供队列服务时,则向外提供云存储接口。
在架构上,仍请参见图1,云服务提供商使用云存储服务器提供云存储服务,而使用队列服务器提供队列服务。
下面将结合图1来详细说明本发明技术方案。
参见图2,为本发明实施例提供的云存储网关间信息同步方法流程图,其至少可包括如下步骤:
S1、第一云存储网关从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息;该第一目录消息可包括第二云存储网关(第一目录消息的发布方)的目录和第二云存储网关的网关标识。
上述网关标识可为网关名称、网关地址、MAC(medium access control,介质访问控制)地址或机器名等,只要可唯一标识云存储网关即可。
步骤S1可以周期性执行,或者根据用户指令执行。第二云存储网关可指除第一云存储网关的其他云存储网关,第一、第二只用于区别。
进一步的,云消息队列可有不同的实现方式,前已述及,有些云服务提供商提供消息队列服务,在此种情况下,可直接租用云提供商现有的队列服务,来实现云消息队列。也即,云消息队列存储在队列服务器上,由队列服务器负责维护。发布至云消息队列的各种消息,是通过云消息队列接口发布的。
而在云提供商不提供队列服务的情况下,或者不使用云提供商提供的队列服务的情况下,则可通过共享缓存文件模拟云消息队列。在此情况下,可通过云存储接口传输消息。也即,云消息队列存储在云存储服务器上,由云存储服务器负责维护。
S2、第一云存储网关获取云存储目录;
云存储目录的内容包括企业在云服务提供商(云存储服务器)处所存储文件的文件列表。云存储目录由云存储服务器维护,第一云存储网关可通过API(云存储接口)获取到云存储目录。
S3、将第一云存储网关的目录、第二云存储网关的目录、云存储目录合并显示。
第一目录消息类似于广播消息,从而可被任意其他云存储网关所读取。而本文后续介绍的第一下载请求消息、第二下载请求消息等,则类似于单播消息。
为了实现广播效果,第一目录消息中可包括源地址但不包括目的地址。源地址的内容为消息发布方的网关标识。举例来讲,GW1发布的第一目录消息,其源地址为GW1的网关标识(网关名称、网关地址、MAC地址或机器名)。
而为了实现单播效果,本文后续介绍的第一下载请求消息、第二下载请求消息等可包括源地址和目的地址。其中,源地址的内容为消息发布方的网关标识,而目的地址的内容为目标方的网关标识。
上述源地址、目的地址可放在消息的消息头中。此外,还可占用消息头中的某一比特位来表征消息是否为广播消息。例如,该比特取值为1时,表征为广播消息,取0时表征单播,等等。
当然,也可占用消息头中的一个或多个比特位,来表征消息的类型。消息类型可包括第一目录消息、第二目录消息、下载链接消息、第一下载请求消息、第二下载请求消息、下载完成消息、解密请求消息、解密消息等等。
第一云存储网关在获取第一目录消息或其他消息时,可下载整个消息然后读取消息头,也可仅下载消息头,并根据消息头判断是否是自己需要的消息。具体地:
第一云存储网关下载整个消息后,读取消息头,判断是否是自己需要的消息,如不是则丢弃,如是,则解析消息的其他部分;
或者,第一云存储网关下载消息头,判断是否是自己需要的消息,如是则下载该消息的部分,进行解析等处理,如不是,则丢弃消息头。
在本实施例中,云存储网关从云服务提供商的云消息队列获取其他云存储网关发布的目录,因此,云存储网关只要可与云服务提供商通信,就可实现目录同步,而云存储网关之间不需要直接通讯。即使云存储网关的地址是动态获取的地址或私网地址,也不影响目录同步,从而解决了各分支云存储网关直接通讯存在困难,无法实现目录同步的问题。
在本发明其他实施例中,请参见图3,上述方法还可包括如下步骤:
S4、第一云存储网关发送第一下载请求消息到上述云消息队列。其中,上述第一下载请求消息包括第一目标对象的标识,以及该第一目标对象所属网关的网关标识。
上述第一目标对象所属网关的网关标识可作为消息目的地址。这样,其他网关可根据目的地址判断是否需要处理该消息。
S5、第一云存储网关从云消息队列中获取第一下载链接消息。
第一下载链接消息由第一目标对象所属网关根据第一下载请求消息发送至云消息队列。
第一下载链接消息包括第一目标对象对应的下载链接,需要说明的是,第一目标对象已上传至云存储服务器,因此,第一下载链接消息中包括的下载链接与上述第一目标对象在云存储服务器上的存储位置是相对应的。下载链接标识了第一目标对象的下载入口,类似于URL(uniform resource locator,统一资源定位符)。
进一步的,下载链接可为临时链接,第一云存储网关可对其设置失效时间,超过失效时间,下载链接就失效了。但第一目标对象仍可保留在云存储服务器。
在下载链接失效后,其他云存储网关可发布消息至云消息队列,请求第一云存储网关重新发布新的临时下载链接。
S6、根据第一目标对象对应的下载链接下载上述第一目标对象。
在本发明其他实施例中,请参见图4,上述云存储网关间信息同步方法还可包括如下步骤:
S0、第一云存储网关向云消息队列发布第二目录消息。其中,第二目录消息包括第一云存储网关的目录以及第一云存储网关的网关标识。
第一目录消息和第二目录消息中的第一、第二只是为了区别。
步骤S0可以周期性执行,或者满足触发条件时执行。并且,步骤S0与步骤S1-S3之间,在时间上无先后顺序。
其中,触发条件可包括下述一种或多种的组合:
目录发生变更;
开机;
接收到其他云存储网关或设备的目录发布请求。
在本实施例中,第一云存储网关发布第二目录消息至云消息队列,并从云消息队列中获取其他云存储网关发布的第一目录消息,以获取目录。或者说,同一第一目录消息或第二目录消息可被多个云存储网关获取。
进一步的,仍请参见图4,所述方法还可包括:
S7、第一云存储网关从云消息队列中获取第二下载请求消息。
第二下载请求消息包括第二目标对象的标识,以及第一云存储网关的网关标识。
第一下载请求消息与第二下载请求消息中的第一、第二只是为了区分。
该第一下载请求消息由第一云存储网关之外的其他云存储网关发送,例如,由第二云存储网关发送。
S8、第一云存储网关上传第二目标对象至云服务提供商;
更具体的,上述第二目标对象通过云存储接口被上传至云存储服务器。
S9、第一云存储网关发送第二下载链接消息至云消息队列。
第二下载链接消息包括第二目标对象对应的下载链接,由于第一云存储网关已将第二目标对象上传至了云存储服务器上,因此,第二下载链接消息中包括的下载链接,与第二目标对象在云存储服务器上的存储位置是相对应的。下载链接标识了第二目标对象的下载入口,类似于URL(uniform resource locator,统一资源定位符)。
在本发明其他实施例中,在步骤S6之后,还可执行如下步骤:
发布下载完成消息至上述云消息队列。
而相应的,在步骤S9之后,还可执行如下步骤:
在获取到第二下载请求消息发送方发布的下载完成消息后,发送删除指令,以删除云服务提供商存储的第二目标对象。
删除指令,是通过云存储接口来发送的。
第一下载请求消息、第一下载链接消息、第二下载链接消息和下载完成消息类似于单播消息,其内容可包括源地址和目的地址。
在本发明其他实施例中,为了提升安全性,在上述所有实施例中上传的第一目标对象、第二目标对象可为加密文件。
则请参见图5,在步骤S6之后,上述方法还可包括如下步骤:
S10、第一云存储网关发布解密请求消息至云消息队列。该解密请求消息用于请求第一目标对象的解密方式。
S11、第一云存储网关从云消息队列中获取解密应答消息,对第一目标对象进行解密。
在本发明其他实施例中,请参见图6,在步骤S9之后,上述方法还可包括如下:
S12、第一云存储网关从云消息队列中获取解密请求消息。该解密请求消息用于请求第二目标对象的解密方式。
S13、第一云存储网关发送删除指令至云服务提供商以删除第二目标对象;
S14、第一云存储网关发布解密应答消息至上述云消息队列。
上述解密应答消息包含第二目标对象的解密方式,这样,解密应答消息获取方可获取到解密方式,对第二目标对象进行解密。
显然,出于安全性要求,在本实施例中,下载链接消息、解密请求消息、解密消息类似于单播消息,需包含源地址和目的地址。其源地址的内容包含消息发送方的网关标识,而目的地址的内容包括消息接收方的网关标识。
参见图7和图8,为本发明实施例提供的云存储网关间信息同步方法的交互流程图(对应图3、图4),以图1所示场景为例,所述方法包括:
S701、GW1发送下载请求消息到云消息队列(云服务提供商)。
上述下载请求消息携带有请求下载的file1的标识(文件名或ID),以及file1所属网关的网关标识。
S702、GW2获取GW1发送的下载请求消息。
S703、GW2上传file1至云服务提供商。
S704、GW2发布包括file1对应的下载链接的下载链接消息至云消息队列。
S705、GW1获取下载链接消息;
S706、GW1根据上述下载链接下载file1。
下载后,GW1将file1提供给企业分支内的文件请求方Bob。
如file1是加密文件,则请参见图9(对应图5、图6),各云存储网关之间的交互过程如下:
S707、GW1发布解密请求消息至上述云消息队列。
S708、GW2获取解密请求消息;
S709、GW2发送删除指令至云服务提供商以删除file1;
S710、GW2发送解密应答消息至上述云消息队列。
S711、GW1获取上述解密方式;
S712、对上述file1进行解密。
将解密后的文件提供给企业分支内的文件请求方(Alice)。
下面将介绍如何通过共享缓存文件模拟云消息队列。
为了模拟云消息队列,企业管理员需在云存储内创建一个共享缓存文件,并设置所有云存储网关对其具有读写权限。
上述共享缓存文件包括队列信息部分和队列消息内容部分,上述队列信息部分用于存储消息接收偏移量和消息发布偏移量;上述队列消息内容用于存储消息结构体。
上述消息发布偏移量用于表征在队列消息内容部分插入消息的起始位置。而上述消息接收偏移量用于表征在队列消息内容部分读取消息的起始位置。
或者,也可将消息发布偏移量理解为写指针,将消息接收偏移量理解为读指针。
更具体的,请参见图10,上述共享缓存文件包括元数据(英文:metadata)和消息内容部分。其中,Meta用于记录消息接收偏移量和消息发布偏移量,而消息内容部分则用于存储消息结构体。元数据即对应上述队列信息部分,而消息内容部分即对应上述队列消息内容。
在本实施例中,发布消息,是通过将消息结构体写入共享缓存文件来实现的。每写入一个消息结构体,写指针移动至该消息结构体的终点位置。
而读取消息,则是通过从读指针处开始读取消息结构体而实现的。
因此,在本实施例中,上述所有实施例中的发送或发布消息可通过如下方式实现:
查找队列信息部分(元数据)的消息发布偏移量;
从消息发布偏移量开始,执行消息结构体追加操作,来插入消息;追加的消息结构体的终点位置作为消息发布偏移量。
而上述所有实施例中的获取消息可通过如下方式实现:
查找队列信息部分(元数据)的消息接收偏移量;
从消息接收偏移量开始,读取一个或多个消息结构体。
本发明实施例还欲要求保护云存储网关。
请参见图11,本发明实施例提供的云存储网关,用于实现如本发明图2至图10所示任一方法。如图11所示,所述云存储网关110可包括:
第一获取单元1,用于从云服务提供商的云消息队列中获取第二云储网关发布的第一目录消息;第一目录消息的具体细节请参见本文前述记载,在此不作赘述。
第二获取单元2,用于获取云存储目录;
合并单元3,用于将第一云存储网关的目录、第二云存储网关的目录、云存储目录合并显示。
在本发明其他实施例中,请参见图12,上述所有实施例中的云存储网关110还可包括:
对象请求发布单元4,用于发送第一下载请求消息到云消息队列。
第一下载请求消息包括第一目标对象的标识,以及第一目标对象所属网关的网关标识。具体细节请参见本文前述记载,在此不作赘述。
第三获取单元5,用于从云消息队列中获取第一下载链接消息。
第一下载链接消息的具体细节请参见本文前述记载,在此不作赘述。
下载单元6,用于根据第一目标对象对应的下载链接下载第一目标对象。
在本发明其他实施例中,请参见图13,上述所有实施例中的云存储网关110还可包括:目录发布单元7,用于发布第二目录消息到云服务提供商的云消息队列。第二目录消息包括第一云存储网关的目录以及第一云存储网关的网关标识。具体细节请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,请参见图14,上述所有实施例中的云存储网关110还可包括:
第四获取单元8,用于从云消息队列中获取第二下载请求消息。第二下载请求消息的具体内容请参见本文前述记载,在此不作赘述。
上传单元9,用于上传第二目标对象至云服务提供商;
下载链接发布单元10,用于发送第二下载链接消息至述云消息队列。
第二下载链接消息的具体细节请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述所有实施例中的云存储网关110还可包括:
下载完成发布单元,用于发布下载完成消息至云消息队列。
在本发明其他实施例中,上述所有实施例中的云存储网关110还可包括:
删除指令发送单元,用于发送删除指令至云服务提供商,以删除存储的第一目标对象。
为了提升安全性,在本发明其他实施例中,上述第一目标对象、第二目标对象可为加密文件,上述所有实施例中的云存储网关110还可包括:
解密请求发布单元11,用于发布解密请求消息至云消息队列。解密请求消息具体内容请参见前述记载,在此不作赘述。
解密方式获取单元12,用于从云消息队列中获取解密应答消息,根据解密应答消息中的解密方式进行解密。
在本发明其他实施例中,请参见图15,上述所有实施例中的云存储网关110还可包括:
第五获取单元12,用于从云消息队列中获取解密请求消息;
删除指令发送单元13,用于发送删除指令至云服务提供商,以删除存储的第二目标对象;
解密方式发送单元14,用于发布解密应答消息至云消息队列。
相关内容请参见本文方法部分的记载,在此不作赘述。
图16为本发明实施例提供的云存储网关110的硬件结构示意图,其可包括处理器111、存储器112、总线113和通信接口114。处理器111、存储器112、通信接口114通过总线113相互连接;存储器112,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。
存储器112可能包含高速随机存取存储器(random access memory,简称RAM)存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器111可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器111执行存储器112所存放的程序,用于实现本发明实施例提供的云存储网关间信息同步的方法,包括:
从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,第一目录消息包括第二云存储网关的目录和第二云存储网关的网关标识;
获取云存储目录;
将第一云存储网关的目录、第二云存储网关的目录和云存储目录合并显示。
具体内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,处理器111还可用于:
发送第一下载请求消息到云消息队列;第一下载请求消息包括第一目标对象的标识,以及第一目标对象所属网关的网关标识;
从云消息队列中获取第一下载链接消息,第一下载链接消息包括第一目标对象对应的下载链接;第一下载链接消息由第一目标对象所属网关根据第一下载请求消息发送至云消息队列;
根据第一目标对象对应的下载链接下载第一目标对象。
具体内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,处理器111还可用于:
向云消息队列发布第二目录消息,第二目录消息包括第一云存储网关的目录以及第一云存储网关的网关标识。
具体内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,处理器111还可用于:
从云消息队列中获取第二下载请求消息,第二下载请求消息包括第二目标对象的标识,以及第一云存储网关的网关标识;
上传第二目标对象至云服务提供商;
发送第二下载链接消息至云消息队列,第二下载链接消息包含第二目标对象对应的下载链接。
具体内容请参见本文前述记载,在此不作赘述。
当第二目标对象为加密文件时,在本发明其他实施例中,处理器111还可用于:
从云消息队列中获取解密请求消息,解密请求消息用于请求第二目标对象的解密方式;
发送删除指令至云服务提供商以删除第二目标对象;
发送解密应答消息至云消息队列,解密应答消息中包括第二目标对象的解密方式。
具体内容请参见本文前述记载,在此不作赘述。
此外,上述云存储网关110亦可完成本文方法部分所介绍的云存储网关间信息同步方法所涉及的其他步骤,以及各步骤的细化,在此不作赘述。
在本发明中,存储器和存储器可集成于同一芯片内,也可为独立的两个器件。
请参见图17,本发明实施例还欲保护信息同步系统,其可至少包括第一云存储网关和第二云存储网关,云存储网关和第二云存储网关均可与云服务提供商通信。其中,
第一云存储网关包括:
第一获取单元1,用于从云服务提供商的云消息队列中获取第二云储网关发布的第一目录消息;第一目录消息的具体细节请参见本文前述记载,在此不作赘述。
第二获取单元2,用于获取云存储目录;
合并单元3,用于将第一云存储网关的目录、第二云存储网关的目录、云存储目录合并显示。
第二云存储网关至少可包括:
发布单元15,用于发布第二目录消息到云服务提供商的云消息队列。
第一云存储网关或第二云存储网关的结构请参见本文附图11-16的记载,在此不作赘述。
在本发明其他实施例中,上述系统还可包括云存储服务器。其中,云存储服务器用于提供云存储服务。云消息队列可在云存储服务器中维护。各云存储网关上传、下载文件时,通过API与云存储服务器通信。
在本发明其他实施例中,上述系统还可包括队列服务器。其中,队列服务器可用于提供云消息队列服务,在本实施例中,云消息队列可在队列服务器中维护,各云存储网关发送、获取消息可通过API与队列服务器通信。而各云存储网关上传、下载文件时,则可通过API与云存储服务器通信。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种云存储网关间信息同步方法,其特征在于,包括:
第一云存储网关从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;所述云服务提供商提供云存储服务;
所述第一云存储网关获取云存储目录;所述云存储目录包括在所述云服务提供商处存储的文件的文件列表;
所述第一云存储网关将所述第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示。
2.如权利要求1所述的方法,其特征在于,还包括:
第一云存储网关发送第一下载请求消息到所述云消息队列;所述第一下载请求消息包括第一目标对象的标识,以及所述第一目标对象所属网关的网关标识;
所述第一云存储网关从所述云消息队列中获取第一下载链接消息,所述第一下载链接消息包括所述第一目标对象对应的下载链接;所述第一下载链接消息由所述第一目标对象所属网关根据所述第一下载请求消息发送至所述云消息队列;
第一云存储网关根据所述第一目标对象对应的下载链接下载所述第一目标对象。
3.如权利要求1所述的方法,其特征在于,还包括:所述第一云存储网关向所述云消息队列发布第二目录消息,所述第二目录消息包括所述第一云存储网关的目录以及所述第一云存储网关的网关标识。
4.如权利要求3所述的方法,其特征在于,还包括:
所述第一云存储网关从所述云消息队列中获取第二下载请求消息,所述第二下载请求消息包括第二目标对象的标识,以及所述第一云存储网关的网关标识;
所述第一云存储网关上传所述第二目标对象至所述云服务提供商;
所述第一云存储网关发送第二下载链接消息至所述云消息队列,所述第二下载链接消息包含所述第二目标对象对应的下载链接。
5.如权利要求4所述的方法,其特征在于,
所述第二目标对象为加密文件;
所述方法还包括:
所述第一云存储网关从所述云消息队列中获取解密请求消息,所述解密请求消息用于请求所述第二目标对象的解密方式;
所述第一云存储网关发送删除指令至云服务提供商以删除所述第二目标对象;
第一云存储网关发送解密应答消息至所述云消息队列,所述解密应答消息中包括所述第二目标对象的解密方式。
6.一种云存储网关,其特征在于,包括:
第一获取单元,用于从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;所述云服务提供商提供云存储服务;
第二获取单元,用于获取云存储目录;所述云存储目录包括在所述云服务提供商处存储的文件的文件列表;
合并单元,用于将第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示。
7.如权利要求6所述的网关,其特征在于,还包括:
对象请求发布单元,用于发送第一下载请求消息到所述云消息队列;所述第一下载请求消息包括第一目标对象的标识,以及所述第一目标对象所属网关的网关标识;
第三获取单元,用于从所述云消息队列中获取第一下载链接消息,所述第一下载链接消息包括所述第一目标对象对应的下载链接,所述第一下载链接消息由所述第一目标对象所属网关根据所述第一下载请求消息发送至所述云消息队列;
下载单元,用于根据所述第一目标对象对应的下载链接下载所述第一目标对象。
8.如权利要求6所述的网关,其特征在于,还包括:
目录发布单元,用于向所述云消息队列发布第二目录消息,所述第二目录消息包括所述第一云存储网关的目录以及所述第一云存储网关的网关标识;
第四获取单元,用于从所述云消息队列中获取第二下载请求消息,所述第二下载请求消息包括第二目标对象的标识,以及所述第一云存储网关的网关标识;
上传单元,用于上传所述第二目标对象至所述云服务提供商;
下载链接发布单元,用于发送第二下载链接消息至所述云消息队列,所述第二下载链接消息包含所述第二目标对象对应的下载链接。
9.如权利要求8所述的云存储网关,其特征在于,还包括:
第五获取单元,用于从所述云消息队列中获取解密请求消息,所述解密请求消息用于请求所述第二目标对象的解密方式;
删除指令发送单元,用于发送删除指令至云服务提供商以删除所述第二目标对象;
解密方式发送单元,用于发送解密应答消息至所述云消息队列,所述解密应答消息中包括所述第二目标对象的解密方式。
10.一种信息同步系统,其特征在于,包括第一云存储网关和第二云存储网关,其中,
所述第一云存储网关包括:
第一获取单元,用于从云服务提供商的云消息队列中获取第二云存储网关发布的第一目录消息,所述第一目录消息包括所述第二云存储网关的目录和所述第二云存储网关的网关标识;
第二获取单元,用于获取云存储目录;
合并单元,用于将第一云存储网关的目录、所述第二云存储网关的目录和所述云存储目录合并显示;
所述第二云存储网关包括:
发布单元,用于向所述云消息队列发布所述第一目录消息。
CN201310573217.7A 2013-11-15 2013-11-15 云存储网关间信息同步方法和系统、及云存储网关 Active CN104639592B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310573217.7A CN104639592B (zh) 2013-11-15 2013-11-15 云存储网关间信息同步方法和系统、及云存储网关
US14/522,418 US10200469B2 (en) 2013-11-15 2014-10-23 Method and system for information synchronization between cloud storage gateways, and cloud storage gateway
EP20140191815 EP2874376A1 (en) 2013-11-15 2014-11-05 Method and system for information synchronization between cloud storage gateways, and cloud storage gateway

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310573217.7A CN104639592B (zh) 2013-11-15 2013-11-15 云存储网关间信息同步方法和系统、及云存储网关

Publications (2)

Publication Number Publication Date
CN104639592A CN104639592A (zh) 2015-05-20
CN104639592B true CN104639592B (zh) 2018-09-28

Family

ID=51951570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310573217.7A Active CN104639592B (zh) 2013-11-15 2013-11-15 云存储网关间信息同步方法和系统、及云存储网关

Country Status (3)

Country Link
US (1) US10200469B2 (zh)
EP (1) EP2874376A1 (zh)
CN (1) CN104639592B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293501A (zh) * 2015-06-25 2017-01-04 中兴通讯股份有限公司 数据读写方法及装置
CN106559453A (zh) * 2015-09-29 2017-04-05 中兴通讯股份有限公司 云互通的外部资源管理方法、装置及系统
CN106681650B (zh) * 2015-11-10 2021-04-30 中国电信股份有限公司 虚拟卷访问方法和虚拟化系统
CN105681428A (zh) * 2016-01-25 2016-06-15 浪潮软件股份有限公司 用户信息同步的系统、方法及装置
US10367879B2 (en) * 2016-06-10 2019-07-30 Apple Inc. Download prioritization
GB2551792B (en) * 2016-06-30 2019-02-13 Sophos Ltd Elastic outbound gateway
CN108768961B (zh) * 2018-05-11 2021-03-30 中国联合网络通信集团有限公司 存储处理方法及家庭网关
CN110311985A (zh) * 2019-07-09 2019-10-08 晏保华 一种云存储网关间信息同步系统、方法及装置
CN115348208B (zh) * 2021-04-27 2024-04-09 中移(苏州)软件技术有限公司 一种流量控制方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605072A (zh) * 2001-12-13 2005-04-06 汤姆森许可公司 利用代理下载数据的系统和方法
CN1956452A (zh) * 2005-10-27 2007-05-02 华为技术有限公司 一种实现数据同步的方法、系统、客户端及服务器
CN101068245A (zh) * 2007-03-30 2007-11-07 腾讯科技(深圳)有限公司 共享文件的发布、下载方法及文件共享可控系统
CN102024005A (zh) * 2009-09-22 2011-04-20 时文 信息项目集合目录的发布系统和方法
CN102460436A (zh) * 2009-06-17 2012-05-16 微软公司 经同步的分布式媒体资产
CN202872848U (zh) * 2012-10-29 2013-04-10 陈新 一种基于云信息云计算服务的云存储终端设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996720B1 (en) * 1999-12-17 2006-02-07 Microsoft Corporation System and method for accessing protected content in a rights-management architecture
AU7182701A (en) * 2000-07-06 2002-01-21 David Paul Felsher Information record infrastructure, system and method
WO2002076003A2 (en) 2001-03-19 2002-09-26 Imesh Ltd. System and method for peer-to-peer file exchange mechanism from multiple sources
US7181017B1 (en) * 2001-03-23 2007-02-20 David Felsher System and method for secure three-party communications
US8732182B2 (en) * 2004-12-02 2014-05-20 Desktopsites Inc. System and method for launching a resource in a network
US8015319B2 (en) 2005-10-27 2011-09-06 Huawei Technologies Co., Ltd. Method, system, client and server for implementing data sync
US7523136B2 (en) * 2005-12-16 2009-04-21 Sony Ericsson Mobile Communications Ab Electronic equipment and method for automatic synchronization and communication system
US9381013B2 (en) 2011-11-10 2016-07-05 Biomet Sports Medicine, Llc Method for coupling soft tissue to a bone
CN103248666A (zh) 2012-02-14 2013-08-14 深圳市腾讯计算机系统有限公司 一种离线下载资源的系统、方法及装置
US9355120B1 (en) * 2012-03-02 2016-05-31 Netapp, Inc. Systems and methods for managing files in a content storage system
US9262496B2 (en) * 2012-03-30 2016-02-16 Commvault Systems, Inc. Unified access to personal data
US9317671B2 (en) * 2012-08-10 2016-04-19 Cisco Technology, Inc. System and method for shared folder creation in a network enviornment
US10031679B2 (en) * 2014-11-21 2018-07-24 Security First Corp. Gateway for cloud-based secure storage

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605072A (zh) * 2001-12-13 2005-04-06 汤姆森许可公司 利用代理下载数据的系统和方法
CN1956452A (zh) * 2005-10-27 2007-05-02 华为技术有限公司 一种实现数据同步的方法、系统、客户端及服务器
CN101068245A (zh) * 2007-03-30 2007-11-07 腾讯科技(深圳)有限公司 共享文件的发布、下载方法及文件共享可控系统
CN102460436A (zh) * 2009-06-17 2012-05-16 微软公司 经同步的分布式媒体资产
CN102024005A (zh) * 2009-09-22 2011-04-20 时文 信息项目集合目录的发布系统和方法
CN202872848U (zh) * 2012-10-29 2013-04-10 陈新 一种基于云信息云计算服务的云存储终端设备

Also Published As

Publication number Publication date
US10200469B2 (en) 2019-02-05
US20150142866A1 (en) 2015-05-21
EP2874376A1 (en) 2015-05-20
CN104639592A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104639592B (zh) 云存储网关间信息同步方法和系统、及云存储网关
CN108028834B (zh) 用于安全文件传输的装置和方法
US10698940B2 (en) Method for searching for multimedia file, terminal device, and server
JP6326173B1 (ja) データ送受信システム及びデータ送受信方法
JP2018506936A (ja) ネットワークにおいてコンテンツを配信するエンドツーエンドソリューションのための方法及びシステム
US10104092B2 (en) System and method for parallel secure content bootstrapping in content-centric networks
US10601897B2 (en) Transfer of files with arrays of strings in SOAP messages
US10116442B2 (en) Data storage apparatus, data updating system, data processing method, and computer readable medium
US11784977B2 (en) Methods, apparatus, and systems for an encryption mode via a virtual private network
CN105279217B (zh) 可重构内容对象
US20150381716A1 (en) Method and system for sharing files over p2p
JP2006119738A (ja) 電子メール送信システム
CN114499836B (zh) 一种密钥管理方法、装置、计算机设备及可读存储介质
TW201317823A (zh) 一種雲端安全儲存系統
WO2015021804A1 (zh) 信息发布方法、信息输出方法、装置、服务器及系统
CN108881257B (zh) 分布式搜索集群加密传输方法及加密传输分布式搜索集群
US8892884B2 (en) Managing IPsec security associations using discrete domains
CN106534895B (zh) 一种加密多媒体文件的播放方法与终端
KR100799167B1 (ko) 데이터 저장 장치와, 이를 이용한 정보 제공 서비스 시스템및 그 방법
JP5982316B2 (ja) ファイル共有システム、通信装置、コントローラ装置及びプログラム
CN107770095B (zh) 一种用于控制虚拟机元数据访问的方法与设备
JP6549518B2 (ja) コンテンツ配信ネットワークの代理装置、転送装置、クライアント装置及びプログラム
JP2017134539A (ja) 中継装置、ルータ、配信システム、中継方法及び中継プログラム
CN106572367A (zh) 一种多媒体文件的获取方法、装置及系统
CN116089973A (zh) 源文件的处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant