CN109309694A - 一种数据存储的方法和系统 - Google Patents

一种数据存储的方法和系统 Download PDF

Info

Publication number
CN109309694A
CN109309694A CN201710623115.XA CN201710623115A CN109309694A CN 109309694 A CN109309694 A CN 109309694A CN 201710623115 A CN201710623115 A CN 201710623115A CN 109309694 A CN109309694 A CN 109309694A
Authority
CN
China
Prior art keywords
storage system
cloud domain
cloud
terminal
management module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710623115.XA
Other languages
English (en)
Inventor
黄华东
夏伟强
王伟
林起芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710623115.XA priority Critical patent/CN109309694A/zh
Priority to PCT/CN2018/097277 priority patent/WO2019020084A1/zh
Publication of CN109309694A publication Critical patent/CN109309694A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明是关于一种数据存储的方法和系统，属于数据存储领域，所述方法包括：终端向云域管理模块发送数据上传请求，云域管理模块向终端发送第一云域存储系统的地址，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。这样，因为第一云域存储系统不是终端与其它云域存储系统进行通信的必要通道，所以，当主云域存储系统故障后，终端仍然可以通过云域管理模块与备份云域存储系统建立联系，进而可以获取目标数据。

Description

一种数据存储的方法和系统
技术领域
本发明涉及数据存储领域，特别涉及一种数据存储的方法和系统。
背景技术
对象存储系统是一种结构简单的存储系统，特别适合数据长期保存，很少修改的情景，加上对象存储系统可以弹性扩容，对象存储在安防监控、网盘等领域的应用越来越广泛。对象存储系统可以方便的保存图片，视频数据等文件，当然也会有金融行业的敏感数据信息。考虑到自然灾害时有发生，特别重要的数据如果都在自然灾害发生的区域，将会造成无法挽回的损失。因此数据容灾方案应用而生，数据容灾是将数据备份到异地的数据系统，本地数据系统遭受到毁灭性的破坏后，异地数据系统的数据可以保证用户敏感数据的不丢失，提高数据安全性。
现有技术中，如图1所示，数据备份一般是终端先将数据存储在主云域存储系统中，再通过主云域存储系统与备份云域存储系统建立联系并将主云域存储系统中存储的数据备份到备份云域存储系统中，其中，备份云域存储系统为第三方提供，在主云域存储系统中的数据发生缺失时可以通过主云域存储系统与备份云域存储系统建立联系将备份的数据恢复到主云域存储系统中。
在实现本发明实施例的过程中，发明人发现现有技术至少存在以下问题：
当主云域存储系统故障后，终端无法与备份云域存储系统建立联系，进而使得终端无法获取数据。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种数据存储的方法和系统。所述技术方案如下：
第一方面，提供了一种数据存储的方法，所述方法包括：
终端向云域管理模块发送数据上传请求；
云域管理模块向终端发送第一云域存储系统的地址；
终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据；
第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。
可选的，所述方法还包括：
云域管理模块在多个云域存储系统中选取第一云域存储系统之外的至少一个其它云域存储系统，向第一云域存储系统发送其它云域存储系统的标识。
可选的，所述方法还包括：
终端向云域管理模块发送目标数据的数据获取请求；
如果云域管理模块确定第一云域存储系统不存在故障，则云域管理模块向终端发送第一云域存储系统的地址；
终端根据第一云域存储系统的地址，向第一云域存储系统，发送目标数据的数据获取请求；
第一云域存储系统向终端发送目标数据；
如果云域管理模块确定第一云域存储系统存在故障，则云域管理模块在其它云域存储系统确定第二云域存储系统，向终端发送第二云域存储系统的地址；
终端根据第二云域存储系统的地址，向第二云域存储系统，发送目标数据的数据获取请求；
第二云域存储系统向终端发送目标数据。
可选的，所述方法还包括：
终端向云域管理模块发送目标数据的数据获取请求；
云域管理模块在第一云域存储系统和至少一个其它云域存储系统中选取一个云域存储系统，向终端发送选取的云域存储系统的地址；终端根据选取的云域存储系统的地址，向选取的云域存储系统，发送目标数据的数据获取请求；选取的云域存储系统向终端发送目标数据。
可选的，所述方法还包括：
每个云域存储系统按照预设上报周期，向云域管理模块上报负载状态信息；
云域管理模块在多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
可选的，其特征在于，所述方法还包括：
终端向云域管理模块发送目标数据的属性修改请求；
云域管理模块向第一云域存储系统，转发属性修改请求；
第一云域存储系统根据属性修改请求，对存储的目标数据的属性进行修改，并基于目标数据修改后的属性，向其它云域存储系统，发送属性同步消息；
其它云域存储系统根据属性同步消息，对目标数据的属性进行修改。
第二方面，提供了一种数据存储的系统，所述系统包括：
终端，用于向云域管理模块发送数据上传请求；
云域管理模块，用于向终端发送第一云域存储系统的地址；
终端，还用于根据第一云域存储系统的地址，向第一云域存储系统发送目标数据；
第一云域存储系统，用于存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。
可选的，云域管理模块，还用在多个云域存储系统中选取第一云域存储系统之外的至少一个其它云域存储系统，向第一云域存储系统发送其它云域存储系统的标识。
可选的，终端，还用于向云域管理模块发送目标数据的数据获取请求；
云域管理模块还用于：
如果云域管理模块确定第一云域存储系统不存在故障，则云域管理模块向终端发送第一云域存储系统的地址；终端根据第一云域存储系统的地址，向第一云域存储系统，发送目标数据的数据获取请求；第一云域存储系统向终端发送目标数据。
如果云域管理模块确定第一云域存储系统存在故障，则云域管理模块在其它云域存储系统确定第二云域存储系统，向终端发送第二云域存储系统的地址；终端根据第二云域存储系统的地址，向第二云域存储系统，发送目标数据的数据获取请求；第二云域存储系统向终端发送目标数据。
可选的，终端，还用于向云域管理模块发送目标数据的数据获取请求；
云域管理模块，用于在第一云域存储系统和至少一个其它云域存储系统中选取一个云域存储系统，向终端发送选取的云域存储系统的地址；终端，还用于根据选取的云域存储系统的地址，向选取的云域存储系统，发送目标数据的数据获取请求；选取的云域存储系统，用于向终端发送目标数据。
可选的，多个云域存储系统，分别用于按照预设上报周期，向云域管理模块上报负载状态信息；
云域管理模块，还用于在多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
可选的，终端，还用于向云域管理模块发送目标数据的属性修改请求；
云域管理模块，还用于向第一云域存储系统，转发属性修改请求；
第一云域存储系统，还用于根据属性修改请求，对存储的目标数据的属性进行修改，并基于目标数据修改后的属性，向其它云域存储系统，发送属性同步消息；
其它云域存储系统，还用于根据属性同步消息，对目标数据的属性进行修改。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例中，终端向云域管理模块发送数据上传请求，云域管理模块向终端发送第一云域存储系统的地址，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。这样，因为第一云域存储系统不是终端与其它云域存储系统进行通信的必要通道，所以，当主云域存储系统故障后，终端仍然可以通过云域管理模块与备份云域存储系统建立联系，进而可以获取目标数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据存储的方法流程图；
图2是本发明实施例提供的一种数据存储的系统结构示意图；
图3是本发明实施例提供的一种数据存储的系统结构示意图；
图4A是本发明实施例提供的一种数据存储的系统结构示意图；
图4B是本发明实施例提供的一种数据存储的系统结构示意图；
图5A是本发明实施例提供的一种数据存储的系统结构示意图；
图5B是本发明实施例提供的一种数据存储的系统结构示意图；
图6是本发明实施例提供的一种云域管理模块结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明一示例性实施例提供了一种数据存储的方法，该方法可以由终端、云域管理模块和云域存储系统组成的数据存储系统来实现，终端可以是用户使用的终端。云域存储系统可以是独立的存储系统，可以有自己的管理设备和存储设备。云域管理模块是用于对各个云域存储系统进行统一管理的设备或设备集群。
终端可以包括处理器、收发器、存储器、屏幕等部件。处理器，可以为CPU(CentralProcessing Unit，中央处理单元)等，可以用于判断触碰信号是否满足预设的触发条件，接收指令，控制显示器进行显示，等处理。收发器，可以用于与云域存储系统和云域管理模块进行数据传输，例如，接收云域管理模块发送的云域存储系统的地址，可以包括天线、匹配电路、调制解调器等。存储器，可以为RAM(Random Access Memory，随机存取存储器)，Flash(闪存)等，可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等，如触发条件、设备列表、控制页面、云域存储系统的地址、修改属性的信息等。屏幕可以是触控屏，可以用于显示设备列表、控制页面，还可以用于检测触碰信号等。终端还可以包括输出部件和输入部件等。输出部件可以是显示屏等。输入部件可以是鼠标、键盘等。
如图1所示，该方法的处理流程可以包括如下步骤：
步骤101，终端向云域管理模块发送数据上传请求。
在实施中，用户想要将数据存储到网络侧时，可以点击终端上的用于网络数据存储的应用程序的快捷图标，进而，启动该应用程序。用户可以使用自己的账户登录该应用程序，然后，在应用程序的数据选择界面中，选择需要上传的数据(即目标数据)，进而，触发终端向云域管理模块发送目标数据的上传请求，其中，上传请求中可以携带有账户标识、目标数据的文件标识和目标数据的数据量等。
步骤102，云域管理模块向终端发送第一云域存储系统的地址。
在实施中，可以预先建立多个云域存储系统和云域管理模块的连接，即建立数据存储系统，然后，数据存储系统的管理员将多个云域存储系统进行分组，例如，每组可以根据需求设置云域存储系统的数目为2、3、4等。并为每组云域存储系统设置一个系统标识(如bucket)。在用户初次登录应用程序时，云域管理模块会向终端推送分组信息，用户可以在设置界面中选择一组云域存储系统，终端则会向云域管理模块发送选取请求，其中携带该组云域存储系统的系统标识，相应的，云域管理模块则会接收到终端发送的选取请求，然后记录该系统标识与该账户的账户标识的对应关系。
如图2所示，当云域管理模块接收到上传请求时，可以获取该上传请求中携带的账户标识，然后，根据账户标识查找该账户对应的系统标识，之后，确定该系统标识对应的一组云域存储系统，并从中选出主云域存储系统(即上述第一云域存储系统)，例如，可以选择剩余容量大的云域存储系统，或者，在该组云域存储系统中随机选择。之后，云域管理模块向第一云域存储系统转发上传请求，第一云域存储系统接收到云域管理模块转发的上传请求，并为目标数据分配存储地址。
可选的，云域管理模块可以基于各云域存储系统的负载状态信息来为终端分配云域存储系统，相应的，处理过程可以如下：每个云域存储系统按照预设上报周期，向云域管理模块上报负载状态信息；云域管理模块在多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
如图3所示，云域存储系统按照预设的周期向云域管理模块发送负载状态信息、在线状态、存储数据的文件标识、系统标识等状态信息，其中，在线状态和负载状态信息可以用作判断云域存储系统故障的依据，负载状态信息可以包括剩余容量、CPU占用情况、内存占用情况、磁盘IO占用情况等。云域管理模块则会获取到云域存储系统发送的状态信息，同时，云域管理模块根据云域存储系统发送的状态信息，修改本地存储的该云域存储系统的状态信息。
在实施中，云域管理模块可以预先存储有负载状态信息中CPU占用情况、内存占用情况、磁盘IO占用情况的阈值，当云域管理模块接收到终端发送的上传请求时，根据本地存储的云域存储系统的状态信息中的负载状态信息，在满足阈值条件的云域存储系统中选择剩余容量最大的云域存储系统作为第一云域存储系统，其中，剩余容量可以是剩余容量与总容量的比值或者剩余存储容量的大小，例如，云域管理模块预先存储的阈值为90％，连接该云域管理模块的云域存储系统为A、B、C、D；云域管理模块获取云域存储系统A、B、C、D的负载状态信息，并分析其中的CPU占用情况、内存占用情况、磁盘IO占用情况，如果A的剩余容量60％、CPU占用情况30％、内存占用情况40％、磁盘IO占用情况50％，B的剩余容量70％、CPU占用情况50％、内存占用情况40％、磁盘IO占用情况40％，C的剩余容量30％、CPU占用情况91％、内存占用情况60％、磁盘IO占用情况50％，D的剩余容量60％、CPU占用情况60％、内存占用情况40％、磁盘IO占用情况60％，云域管理模块则可以确定出C的CPU占用超过阈值设置的90％，不符合要求，在符合要求的云域存储系统中，云域管理模块可以根据剩余容量确定出B为第一云域存储系统。
可选的，云域管理模块可以选取用于数据备份的云域存储系统并通知给第一云域存储系统，相应的，处理过程可以如下：云域管理模块在多个云域存储系统中选取第一云域存储系统之外的至少一个其它云域存储系统，向第一云域存储系统发送其它云域存储系统的标识。
在实施中，云域管理模块在选出第一云域存储系统后，确定第一云域存储系统的地址，在第一云域存储系统之外的云域存储系统中选取至少一个云域存储系统(即上述其它云域存储系统)，作为用于数据备份的云域存储系统，例如，云域管理模块可以获取上传请求中携带的账户标识，然后，获取该账户标识对应的系统标识，并确定该系统标识对应的所有云域存储系统，将除第一云域存储系统外的其它云域存储系统确定为用于备份的云域存储系统，之后，云域管理模块向第一云域存储系统的地址，发送用于备份的云域存储系统的标识。
同时，云域管理模块可以建立备份策略表，在其中记录系统标识、文件标识、账户标识、存储目标数据的第一云域存储系统的标识以及用于数据备份的云域存储系统的标识的对应关系等，存储在云域管理模块的内存中建立的数据库中。该备份策略表可以用于数据查找。云域管理模块可以将备份策略表发送至云域管理模块连接的各云域存储系统。
步骤103，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据。
在实施中，终端接收到云域管理模块发送的第一云域存储系统的地址后，向获取到的第一云域存储系统的地址发送目标数据。
步骤104，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。
在实施中，第一云域存储系统接收到云域管理模块转发的上传请求后，获取上传请求中的目标数据的数据量，为目标数据分配存储地址，例如，第一云域存储系统可以为目标数据分配多个地址，分散存储。然后，接收终端发送的目标数据，并存储在第一云域存储系统为终端分配的地址中。之后，云域管理模块基于账户标识确定账户标识对应的系统标识，然后，在备份策略表中进行查找，确定上述系统标识对应的用于备份的云域存储系统，并获取上述用于备份的云域存储系统的地址，之后，向确定出的地址发送目标数据。相应的，用于备份的云域存储系统则会接收第一云域存储系统发送的目标数据，并存储在磁盘中。
可选的，终端进行数据读取的处理过程可以如下：终端向云域管理模块发送目标数据的数据获取请求；如果云域管理模块确定第一云域存储系统不存在故障，则云域管理模块向终端发送第一云域存储系统的地址；终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据的数据获取请求；第一云域存储系统向终端发送目标数据。如果云域管理模块确定第一云域存储系统存在故障，则云域管理模块在备份云域存储系统确定第二云域存储系统，向终端发送第二云域存储系统的地址；终端根据第二云域存储系统的地址，向第二云域存储系统发送目标数据的数据获取请求；第二云域存储系统向终端发送目标数据。
如图4所示，在实施中，终端向云域管理模块发送目标数据的数据获取请求，云域管理模块从该数据获取请求中获取目标数据的文件标识和系统标识，然后，云域管理模块根据目标数据的文件标识，在备份策略表中，获取存储有目标数据的云域存储系统的标识，然后，获取存储有目标数据的云域存储系统的状态信息，例如，云域存储系统的在线情况等。之后，根据第一云域存储系统的状态信息判断第一云域存储系统是否存在故障，例如，云域管理模块可以根据第一云域存储系统在线状态判断第一云域存储系统是否存在故障，即第一云域存储系统在线则认为其不存储在故障，反之第一云域存储系统不在线则认为其存在故障。如果云域管理模块确定第一云域存储系统不存在故障，则将第一云域存储系统的地址发送给终端，同时，将终端发送的目标数据的数据获取请求转发给第一云域存储系统，第一云域存储系统接收到数据获取请求后，将目标数据发送给终端。如果云域管理模块确定第一云域存储系统存在故障，则从其他存储有目标数据的云域存储系统中选出第二云域存储系统，将第二云域存储系统的地址发送给终端，同时，将终端发送的目标数据的数据获取请求转发给第二云域存储系统，例如，在选取第二云域存储系统时，可以基于预先存储的优先级顺序，在至少一个用于数据备份的云域存储系统中，选取优先级最高的第二云域存储系统，其中优先级顺序可以基于实际情况任意设置，比如可以基于云域存储系统的处理能力排序得到。第二云域存储系统接收到上述上传请求后，将目标数据发送给终端。
可选的，终端进行数据读取的处理时，可以直接选择处理能力最好的云域存储系统，相应的处理过程可以如下：终端向云域管理模块发送目标数据的数据获取请求，云域管理模块在第一云域存储系统和至少一个其它云域存储系统中选取一个云域存储系统，向终端发送选取的云域存储系统的地址，终端根据选取的云域存储系统的地址，向选取的云域存储系统，发送目标数据的数据获取请求，选取的云域存储系统向终端发送目标数据。
在实施中，终端向云域管理模块发送目标数据的数据获取请求，云域管理模块接收上述目标数据的获取请求，并从上述获取请求中获取账户标识，然后获取该账户标识对应的系统标识，云域管理模块根据获取到的系统标识，获取备份策略表中该系统标识对应的云域存储系统的标识，然后，云域管理模块获取上述标识对应的云域存储系统的负载状态信息，之后，根据云域存储系统中负载状态确定出处理能力最好的云域存储系统(即选出的云域存储系统)，云域管理模块将上述选出的云域存储系统的地址发送给终端，终端接收到云域管理模块发送的地址后，向该地址发送目标数据的获取请求，上述选出的云域存储系统接收到上述目标数据的获取请求后，向上述终端发送目标数据。
可选的，终端还可以修改目标数据的属性，相应的，处理过程可以如下：终端向云域管理模块发送目标数据的属性修改请求；云域管理模块向第一云域存储系统，转发属性修改请求；第一云域存储系统根据属性修改请求，对存储的目标数据的属性进行修改，并基于目标数据修改后的属性，向其它云域存储系统，发送属性同步消息；其它云域存储系统根据属性同步消息，对目标数据的属性进行修改。
如图5所示，在实施中，终端向云域管理模块发送目标数据的属性修改请求，属性修改请求中携带有终端当前登录的账户标识、目标数据的文件标识、属性名和更新属性值。云域管理模块从属性修改请求中获取终端的账户标识和目标数据的文件标识，根据目标数据的文件标识在备份策略表中确定出存储有目标数据的第一云域存储系统的标识。云域管理模块向第一云域存储系统转发属性修改请求，第一云域存储系统获取其中的账户标识、文件标识、属性名和更新属性值，在该文件标识对应的文件属性中查找该属性名对应的原属性值，将此原属性值修改为更新属性值，并将修改的结果发送给终端。之后，第一云域存储系统向用于备份的云域存储系统发送属性同步消息，属性同步消息中可以携带有目标数据的文件标识、属性名和更新属性值。接收到属性同步消息的云域存储系统，在该文件标识对应的文件属性中，查找该属性名对应的原属性值，将此原属性值修改为更新属性值。
当云域管理模块接收到终端发送的属性修改请求时，云域管理模块则会获取云域存储系统的状态信息，然后获取第一云域存储系统的状态信息，如果云域管理模块确定第一云域存储系统不存在故障，则向第一云域存储系统转发终端发送的目标数据的属性修改请求；如果云域管理模块确定第一云域存储系统存在故障，则从其他存储有目标数据的云域存储系统中选择出第二云域存储系统，然后，向选出的第二云域存储系统转发目标数据的属性修改请求，并由选出的第二云域存储系统执行上述属性修改和同步操作，执行同步操作时，第二云域存储模块还会向第一存储模块发送属性同步消息。目标数据的属性可以包括：目标数据的隐藏与否、可写与否等。
当云域管理模块接收到终端发送的属性请求时，云域管理模块则会获取云域存储系统的状态信息，然后，还可以获取云域存储系统的状态信息，并根据获取到的上述状态信息中的负载状态信息，确定出处理能力最好的云域存储系统，例如，获取云域存储系统的负载状态信息，确定出负载状态信息中CPU占用情况、内存占用情况、磁盘IO占用情况均小于阈值的云域存储系统，并从上述云域存储系统中选出剩余容量最大的云域存储系统(即处理能力最好的云域存储系统)。向该云域存储系统转发上述属性修改请求，之后，由该云域存储系统执行属性修改操作，在之后该云域存储系统向其他云域存储系统发送属性同步消息。其中，上述确定出的处理能力最好的云域存储系统可以是第一云域存储系统，也可以是除第一云域存储系统之外的其它存储有目标数据的云域存储系统。
本发明实施例中，终端向云域管理模块发送数据上传请求，云域管理模块向终端发送第一云域存储系统的地址，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。这样，因为第一云域存储系统不是终端与其它云域存储系统进行通信的必要通道，所以，当主云域存储系统故障后，终端仍然可以通过云域管理模块与备份云域存储系统建立联系，进而可以获取目标数据。
本发明另一示例性实施例提供了一种数据存储的系统该系统，该系统包括终端、云域管理模块和多个云域存储系统，其中：
终端，用于向云域管理模块发送数据上传请求；
云域管理模块，用于向终端发送第一云域存储系统的地址；
终端，还用于根据第一云域存储系统的地址，向第一云域存储系统发送目标数据；
第一云域存储系统，用于存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。
可选的，云域管理模块，还用在多个云域存储系统中选取第一云域存储系统之外的至少一个其它云域存储系统，向第一云域存储系统发送其它云域存储系统的标识。
可选的，终端，还用于向云域管理模块发送目标数据的数据获取请求；
如果云域管理模块确定第一云域存储系统不存在故障，则云域管理模块向终端发送第一云域存储系统的地址；终端根据第一云域存储系统的地址，向第一云域存储系统，发送目标数据的数据获取请求；第一云域存储系统向终端发送目标数据。
如果云域管理模块确定第一云域存储系统存在故障，则云域管理模块在其它云域存储系统确定第二云域存储系统，向终端发送第二云域存储系统的地址；终端根据第二云域存储系统的地址，向第二云域存储系统，发送目标数据的数据获取请求；第二云域存储系统向终端发送目标数据。
可选的，终端，还用于向云域管理模块发送目标数据的数据获取请求；
云域管理模块，用于在第一云域存储系统和至少一个其它云域存储系统中选取一个云域存储系统，向终端发送选取的云域存储系统的地址；终端，还用于根据选取的云域存储系统的地址，向选取的云域存储系统，发送目标数据的数据获取请求；选取的云域存储系统，用于向终端发送目标数据。
可选的，多个云域存储系统，分别用于按照预设上报周期，向云域管理模块上报负载状态信息；
云域管理模块，还用于在多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
可选的，终端，还用于向云域管理模块发送目标数据的属性修改请求；
云域管理模块，还用于向第一云域存储系统，转发属性修改请求；
第一云域存储系统，还用于根据属性修改请求，对存储的目标数据的属性进行修改，并基于目标数据修改后的属性，向其它云域存储系统，发送属性同步消息；
其它云域存储系统，还用于根据属性同步消息，对目标数据的属性进行修改。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例中，终端向云域管理模块发送数据上传请求，云域管理模块向终端发送第一云域存储系统的地址，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。这样，因为第一云域存储系统不是终端与其它云域存储系统进行通信的必要通道，所以，当主云域存储系统故障后，终端仍然可以通过云域管理模块与备份云域存储系统建立联系，进而可以获取目标数据。
本发明再一示例性实施例示出了一种云域管理模块的结构示意图。如图6所示：
图6是本发明实施例提供的云域管理模块的结构示意图。该云域管理模块1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对云域管理模块中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在云域管理模块1900上执行存储介质1930中的一系列指令操作。
云域管理模块1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
云域管理模块1900可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述实施例中云域管理模块侧处理方法的指令。
本发明实施例中，终端向云域管理模块发送数据上传请求，云域管理模块向终端发送第一云域存储系统的地址，终端根据第一云域存储系统的地址，向第一云域存储系统发送目标数据，第一云域存储系统存储目标数据，并将目标数据发送给多个云域存储系统中至少一个其它云域存储系统进行备份。这样，因为第一云域存储系统不是终端与其它云域存储系统进行通信的必要通道，所以，当主云域存储系统故障后，终端仍然可以通过云域管理模块与备份云域存储系统建立联系，进而可以获取目标数据。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据存储的方法，其特征在于，所述方法应用于数据存储系统，所述数据存储系统包括终端、云域管理模块和多个云域存储系统，所述方法包括：
所述终端向所述云域管理模块发送数据上传请求；
所述云域管理模块向所述终端发送第一云域存储系统的地址；
所述终端根据所述第一云域存储系统的地址，向所述第一云域存储系统发送目标数据；
所述第一云域存储系统存储所述目标数据，并将所述目标数据发送给所述多个云域存储系统中至少一个其它云域存储系统进行备份。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述云域管理模块在所述多个云域存储系统中选取所述第一云域存储系统之外的至少一个其它云域存储系统，向所述第一云域存储系统发送所述其它云域存储系统的标识。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
终端向所述云域管理模块发送所述目标数据的数据获取请求；
如果所述云域管理模块确定所述第一云域存储系统不存在故障，则所述云域管理模块向所述终端发送所述第一云域存储系统的地址；所述终端根据所述第一云域存储系统的地址，向所述第一云域存储系统，发送所述目标数据的数据获取请求；所述第一云域存储系统向所述终端发送所述目标数据；
如果所述云域管理模块确定所述第一云域存储系统存在故障，则所述云域管理模块在所述其它云域存储系统确定第二云域存储系统，向所述终端发送所述第二云域存储系统的地址；所述终端根据所述第二云域存储系统的地址，向所述第二云域存储系统，发送所述目标数据的数据获取请求；所述第二云域存储系统向所述终端发送所述目标数据。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
终端向所述云域管理模块发送所述目标数据的数据获取请求；
所述云域管理模块在所述第一云域存储系统和所述至少一个其它云域存储系统中选取一个云域存储系统，向所述终端发送选取的云域存储系统的地址；所述终端根据所述选取的云域存储系统的地址，向所述选取的云域存储系统，发送所述目标数据的数据获取请求；所述选取的云域存储系统向所述终端发送所述目标数据。
5.根据权利要求1所述方法，其特征在于，所述方法还包括：
每个云域存储系统按照预设上报周期，向所述云域管理模块上报负载状态信息；
所述云域管理模块在所述多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述终端向所述云域管理模块发送所述目标数据的属性修改请求；
所述云域管理模块向所述第一云域存储系统，转发所述属性修改请求；
所述第一云域存储系统根据所述属性修改请求，对存储的所述目标数据的属性进行修改，并基于所述目标数据修改后的属性，向所述其它云域存储系统，发送属性同步消息；
所述其它云域存储系统根据所述属性同步消息，对所述目标数据的属性进行修改。
7.一种数据存储的系统，其特征在于，所述数据存储系统包括终端、云域管理模块和多个云域存储系统，其中：
终端，用于向所述云域管理模块发送数据上传请求；
云域管理模块，用于向所述终端发送第一云域存储系统的地址；
所述终端，还用于根据所述第一云域存储系统的地址，向所述第一云域存储系统发送目标数据；
第一云域存储系统，用于存储所述目标数据，并将所述目标数据发送给所述多个云域存储系统中至少一个其它云域存储系统进行备份。
8.根据权利要求6所述的系统，其特征在于，所述云域管理模块，还用在所述多个云域存储系统中选取所述第一云域存储系统之外的至少一个其它云域存储系统，向所述第一云域存储系统发送所述其它云域存储系统的标识。
9.根据权利要求7所述的系统，其特征在于，所述终端，还用于向所述云域管理模块发送所述目标数据的数据获取请求；
所述云域管理模块，还用于：
如果所述云域管理模块确定所述第一云域存储系统不存在故障，则所述云域管理模块向所述终端发送所述第一云域存储系统的地址；
所述终端，还用于根据所述第一云域存储系统的地址，向所述第一云域存储系统，发送所述目标数据的数据获取请求；
所述第一云域存储系统，还用于向所述终端发送所述目标数据；
如果所述云域管理模块确定所述第一云域存储系统存在故障，则所述云域管理模块在所述其它云域存储系统确定第二云域存储系统，向所述终端发送所述第二云域存储系统的地址；所述终端，还用于根据所述第二云域存储系统的地址，向所述第二云域存储系统，发送所述目标数据的数据获取请求；
所述第二云域存储系统，还用于向所述终端发送所述目标数据。
10.根据权利要求2所述的系统，其特征在于，所述终端，还用于向所述云域管理模块发送所述目标数据的数据获取请求；
所述云域管理模块，用于在所述第一云域存储系统和所述至少一个其它云域存储系统中选取一个云域存储系统，向所述终端发送选取的云域存储系统的地址；所述终端，还用于根据所述选取的云域存储系统的地址，向所述选取的云域存储系统，发送所述目标数据的数据获取请求；所述选取的云域存储系统，用于向所述终端发送所述目标数据。
11.根据权利要求6所述系统，其特征在于，所述多个云域存储系统，分别用于按照预设上报周期，向所述云域管理模块上报负载状态信息；
所述云域管理模块，还用于在所述多个云域存储系统中，根据每个云域存储系统的负载状态信息，选取第一云域存储系统。
12.根据权利要求6所述的系统，其特征在于，所述终端，还用于向所述云域管理模块发送所述目标数据的属性修改请求；
所述云域管理模块，还用于向所述第一云域存储系统，转发所述属性修改请求；
所述第一云域存储系统，还用于根据所述属性修改请求，对存储的所述目标数据的属性进行修改，并基于所述目标数据修改后的属性，向所述其它云域存储系统，发送属性同步消息；
所述其它云域存储系统，还用于根据所述属性同步消息，对所述目标数据的属性进行修改。
CN201710623115.XA 2017-07-27 2017-07-27 一种数据存储的方法和系统 Pending CN109309694A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710623115.XA CN109309694A (zh) 2017-07-27 2017-07-27 一种数据存储的方法和系统
PCT/CN2018/097277 WO2019020084A1 (zh) 2017-07-27 2018-07-26 一种数据存储的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710623115.XA CN109309694A (zh) 2017-07-27 2017-07-27 一种数据存储的方法和系统

Publications (1)

Publication Number Publication Date
CN109309694A true CN109309694A (zh) 2019-02-05

Family

ID=65040418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710623115.XA Pending CN109309694A (zh) 2017-07-27 2017-07-27 一种数据存储的方法和系统

Country Status (2)

Country Link
CN (1) CN109309694A (zh)
WO (1) WO2019020084A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781791A (zh) * 2022-11-16 2023-03-14 深圳市华联森自动化设备有限公司 一种电路板加工装置
CN116185718A (zh) * 2023-03-10 2023-05-30 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120331088A1 (en) * 2011-06-01 2012-12-27 Security First Corp. Systems and methods for secure distributed storage
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN102984280A (zh) * 2012-12-18 2013-03-20 北京工业大学 针对社交类云存储网络应用的数据备份系统和方法
CN103067461A (zh) * 2012-12-18 2013-04-24 曙光信息产业(北京)有限公司 一种文件的元数据管理系统以及元数据管理方法
CN103763383A (zh) * 2014-01-27 2014-04-30 西安雷迪维护系统设备有限公司 一体化云存储系统及其存储方法
US9396208B2 (en) * 2012-06-27 2016-07-19 International Business Machines Corporation Selecting storage cloud for storage of entity files from plurality of storage clouds

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143215B (zh) * 2011-01-20 2013-04-10 中国人民解放军理工大学 一种基于网络的pb级云存储系统及其处理方法
CN104541252B (zh) * 2012-05-20 2021-02-26 微软技术许可有限责任公司 用于实现基于服务器的分层大容量存储系统的系统和方法
CN102833331B (zh) * 2012-08-21 2015-06-10 北京邦诺存储科技有限公司 云存储系统及其元数据写入方法、元数据读取方法
CN103067525B (zh) * 2013-01-18 2015-11-25 广东工业大学 一种基于特征码的云存储数据备份方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120331088A1 (en) * 2011-06-01 2012-12-27 Security First Corp. Systems and methods for secure distributed storage
US9396208B2 (en) * 2012-06-27 2016-07-19 International Business Machines Corporation Selecting storage cloud for storage of entity files from plurality of storage clouds
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN102984280A (zh) * 2012-12-18 2013-03-20 北京工业大学 针对社交类云存储网络应用的数据备份系统和方法
CN103067461A (zh) * 2012-12-18 2013-04-24 曙光信息产业(北京)有限公司 一种文件的元数据管理系统以及元数据管理方法
CN103763383A (zh) * 2014-01-27 2014-04-30 西安雷迪维护系统设备有限公司 一体化云存储系统及其存储方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781791A (zh) * 2022-11-16 2023-03-14 深圳市华联森自动化设备有限公司 一种电路板加工装置
CN116185718A (zh) * 2023-03-10 2023-05-30 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统
CN116185718B (zh) * 2023-03-10 2023-12-15 上海翔麟马大数据科技有限公司 一种基于云存储的数据备份管理系统

Also Published As

Publication number Publication date
WO2019020084A1 (zh) 2019-01-31

Similar Documents

Publication Publication Date Title
US10439937B2 (en) Service addressing in distributed environment
US7159081B2 (en) Automatic scenario management for a policy-based storage system
US7007144B2 (en) Method, apparatus, and computer readable medium for managing back-up
US20040192332A1 (en) Method and system for automatically adjusting location based system information in a mobile computer
US10296914B2 (en) Cached and server views with automatic caching and smooth scrolling
CN106487486B (zh) 业务处理方法和数据中心系统
JP2017188117A (ja) 分散システムにおける一意キーの確実な生成
CN106371974A (zh) Docker容器内应用程序的监控方法和发布平台
CN113900598B (zh) 基于区块链的数据存储方法、装置、设备以及存储介质
CN106021284A (zh) 数据查询方法、数据监测方法及装置
CN102098233B (zh) 即时通讯软件中通讯窗口的控制方法及控制系统
CN106302609A (zh) 一种访问方法及装置
CN108111566B (zh) 一种云存储系统扩容方法、装置及云存储系统
CN109309694A (zh) 一种数据存储的方法和系统
US9544371B1 (en) Method to discover multiple paths to disk devices cluster wide
CN103905512A (zh) 一种数据处理方法和设备
TWI619031B (zh) 詮釋資料伺服器、網路裝置及自動資源管理方法
CN110413237A (zh) 分布式存储方法、装置、终端设备及存储介质
US20160026712A1 (en) Prefix matching using distributed tables for storage services compatibility
CN115442228A (zh) 业务逻辑处理方法、装置、电子装置、存储介质及系统
CN106776055A (zh) 一种分布式锁实现方法和系统
US7606811B1 (en) Methods and apparatus for synchronizing information
CN105991450A (zh) Mac地址表更新方法及装置
CN115103322B (zh) 订阅合并方法、装置、电子设备、存储介质及产品
CN111966700B (zh) 信息处理方法、系统、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205