CN111198784A - 一种数据存储的方法及装置 - Google Patents
一种数据存储的方法及装置 Download PDFInfo
- Publication number
- CN111198784A CN111198784A CN201811369371.1A CN201811369371A CN111198784A CN 111198784 A CN111198784 A CN 111198784A CN 201811369371 A CN201811369371 A CN 201811369371A CN 111198784 A CN111198784 A CN 111198784A
- Authority
- CN
- China
- Prior art keywords
- storage
- storage node
- data
- backup
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013500 data storage Methods 0.000 title claims abstract description 27
- 238000013507 mapping Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据存储的方法及装置，应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；其中所述方法包括：所述第一存储节点接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；所述第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储，以此实现差异化的加密存储，提升云存储系统数据存储的安全性和稳定性。
Description
技术领域
本申请涉及云存储技术领域，尤其涉及一种数据存储的方法及装置。
背景技术
随着云存储技术的不断发展，用户越来越习惯于将图片、文档、视频、音频等文件对象存储于云服务器中。
传统的云存储系统采用集中的存储服务器存放所有数据，存储服务器性能成为系统性能的瓶颈，也是可靠性和安全性的焦点。集中式存储不能适应高并发的数据交互场景，稳定性和效率不够高，不能满足大规模存储应用的需要。
发明内容
有鉴于此，本申请提供一种数据存储的方法及装置。
具体地，本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种数据存储方法，所述方法应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；
所述方法包括：
所述第一存储节点接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
所述第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
优选地，在所述第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储之后，还包括：
获取所述备份数据在所述第二存储节点中存储的备份存储路径；
接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
优选地，在所述采用第一密钥对所述目标数据进行加密并存储之前，还包括：
所述第一存储节点根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中；
在所述采用第一密钥对所述目标数据进行加密并存储之后，还包括：
获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
优选地，所述方法还包括：
当所述第一存储节点对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；
对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
优选地，所述第一密钥从所述第一存储节点内置的密码卡中获取，所述第二密钥从所述第二存储节点内置的密码卡中获取。
第二方面，本申请实施例提供了一种数据存储装置，所述装置应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；
所述装置包括：
位于第一存储节点的第一加密模块，用于接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
位于第二存储节点的第二加密模块，用于接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
优选地，所述装置还包括：
位于第二存储节点的备份路径获取模块，用于获取所述备份数据在所述第二存储节点中存储的备份存储路径；
位于第二存储节点的目标路径接收模块，用于接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
位于第二存储节点的映射建立模块，用于建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
优选地，所述装置还包括：
位于第一存储节点的备份任务生成模块，用于在采用第一密钥对所述目标数据进行加密并存储之前，根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中；
位于第一存储节点的目标路径添加模块，用于在采用第一密钥对所述目标数据进行加密并存储之后，获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
优选地，所述装置还包括：
位于第一存储节点的数据读取模块，用于当对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；
位于第一存储节点的数据备份模块，用于对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
优选地，所述第一密钥从所述第一存储节点内置的密码卡中获取，所述第二密钥从所述第二存储节点内置的密码卡中获取。
本申请实施例具有如下有益效果：
在本申请实施例中，云存储系统中包括第一存储节点以及第二存储节点，第一存储节点接收到目标数据以后，可以采用第一密钥对目标数据进行加密并存储；第二存储节点接收到备份数据以后，可以采用与第一密钥不同的第二密钥对备份数据进行加密并存储，以此实现了云存储系统中不同存储节点差异化的加密存储，提升云存储系统数据存储的安全性和稳定性。
附图说明
图1是本申请一示例性实施例示出的一种数据存储方法实施例的步骤流程图；
图2是本申请一示例性实施例示出的云存储系统网络架构图；
图3是本申请另一示例性实施例示出的一种数据存储方法实施例的步骤流程图；
图4是本申请的装置所在设备的一种硬件结构图；
图5是本申请一示例性实施例示出的一种数据存储装置实施例的结构框图；
图6是本申请另一示例性实施例示出的一种数据存储装置实施例的结构框图；
图7是本申请又一示例性实施例示出的一种数据存储装置实施例的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参考图1，示出了本申请一示例性实施例示出的一种数据存储方法实施例的步骤流程图，本申请实施例可以应用于云存储系统的存储节点中。其中，云存储系统是一个以数据存储和管理为核心的云计算系统，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统，其可以保证数据的安全性，并节约存储空间。
如图2的云存储系统网络架构图所示，云存储系统的结构模型可以包括四层，由下往上分别是：存储层、基础管理层、应用接口层以及访问层。
存储层是云存储系统最基础的部分，存储层可以包括多个存储节点(又称存储设备)以及存储设备管理系统。
其中，存储设备可以包括但不限于如下类型的存储设备：FC(Ferrule Connector，光纤连接器)光纤通道存储设备、NAS(Network Attached Storage，网络存储)和iSCSI(Internet Small Computer System Interface，互联网小型计算机系统接口)等IP(Internet Protocol，网络之间互连的协议)存储设备、SCSI(Small Computer SystemInterface，小型计算机系统接口)或SAS(Serial Attached SCSI，序列式SCSI)等DAS(Direct Access Storage，直接连接存储)存储设备等。
云存储系统中的存储节点往往数量庞大且分布于不同地域，彼此之间可以通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一管理存储设备的存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
基础管理层是云存储系统最核心的部分，基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储系统中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
基础管理层通过CDN内容分发系统、数据加密技术保证云存储系统中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储系统中的数据不会丢失，保证云存储自身的安全和稳定。
应用接口层是云存储系统中最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV(Internet Protocol television，交互式网络电视)和视频点播应用平台、网络硬盘应用平台，远程数据备份应用平台等。
访问层：任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。
当用户使用云存储服务时，将私有数据上传到云端进行存储，数据的安全性是用户最关心的问题。在保证数据安全性方面，云存储系统为同一份数据存储多个副本，同时使用合理的副本布局策略将其尽可能地分散存储，这样可以保证当某一台机器突然宕机导致该机器上的数据不可用时，系统可以使用数据的其他副本来完成请求，或者在某一数据发生突发性损坏时可以使用其他副本数据来进行修复，从而提高了数据的安全性。
数据副本技术除了可以增强数据的安全性以外，还可以提高云存储系统的响应速度。云存储系统中用户规模的庞大导致用户请求的并发性很高，系统中存储数据的多个副本可以在一定程度上分散热点存储节点的负载，将用户并行的请求分散到存储着副本数据的多个节点上，从而减少请求的排队时间，提高系统响应速度。
在本申请实施例中，云存储系统中的存储节点至少可以包括第一存储节点和第二存储节点，其中，该第一存储节点以及第二存储节点为云存储系统中的任意存储节点。
具体的，第一存储节点为用于存储目标数据的目标存储节点，第二存储节点为用于存储目标数据对应的备份数据的备份存储节点。
在具体实现中，第一存储节点为基础管理层从存储层的多个存储节点中选取的一个存储节点。本申请实施例对基础管理层选取第一存储节点的策略不作限制，例如，该选取策略可以包括随机选取策略、负载均衡策略等。具体的，当基础管理层接收到客户端发送的数据存储指令时，可以从多个存储节点中选取第一存储节点，并将第一存储节点的标识发送至客户端，后续客户端可以直接将需要存储的目标数据上传至第一存储节点中。
第二存储节点为存储层中，除第一存储节点以外的存储节点。在实现时，基础管理层可以根据一定的副本管理策略，确定副本数量、副本布局以及副本创建时机。基于副本布局，可以确定存储层中的第二存储节点。其中，本实施例对副本管理策略不作限制。
本申请实施例具体可以包括如下步骤：
步骤101，第一存储节点接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
作为一种示例，目标数据可以包括图片、文档、视音频等用户上传的数据包。
当第一存储节点接收到客户端上传的目标数据以后，可以采用第一存储节点对应的第一密钥对目标数据进行加密，并将加密的目标数据存储在本存储节点的存储介质中。本申请实施例在将目标数据保存在本地存储介质之前，先对目标数据加密，可以保证目标数据保存到存储介质后为加密状态。
在一种实施方式中，第一密钥可以从第一存储节点内置的密码卡中获取。在实现中，第一存储节点的密码卡可以采用第一密钥进行初始化，加解密过程则根据第一密钥来加解密。
作为一种示例，密码卡可以包括PCIe(Peripheral Component Interconnectexpress)密码卡，PCIe是一种高速串行计算机扩展总线标准，密码卡是对数据进行加密的物理模块，PCIe密码卡具有接入方便、数据传输效率高等特点。
第一存储节点在本地存储加密的目标数据以后，对应的存储路径可以记作目标存储路径。作为一种示例，目标存储路径可以采用如下方式表示：DeviceID(存储卷标识)-BlockID(存储块标识，存储块为对存储空间划分的存储块)-SegmentID(存储段标识)-dataID(目标数据的数据包标识)-Size(目标数据的大小)。
在本申请实施例的一种实施例中，在采用第一密钥对目标数据进行加密并存储之前，本申请实施例还可以包括如下步骤：
所述第一存储节点根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中。
具体的，当第一存储节点接收到目标数据以后，可以根据该目标数据的标识以及第二存储节点的标识，生成备份任务，并将备份任务添加到任务列表中。在处理时，按照任务列表的处理顺序(如先进先出)，逐一处理每个备份任务。
则在采用第一密钥对目标数据进行加密并存储之后，本申请实施例还可以包括如下步骤：
获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
当在步骤101中第一存储节点对目标数据加密存储后，可以将该目标数据的目标存储路径添加到该备份任务中，以便于后续可以根据该目标存储路径从对应的存储位置中找到该目标数据。
在对任务列表进行处理时，本申请实施例还可以包括如下步骤：
当所述第一存储节点对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
具体的，在第一存储节点处理每个备份任务时，可以根据其中记录的目标存储路径定位目标数据的存储位置，并从该存储位置中读取加密的目标数据，对该加密的目标数据采用第一密钥解密后，将目标数据复制得到备份数据，根据当前备份任务记录的第二存储节点的标识，将备份数据发送至第二存储节点中。
需要说明的是，除了上述对目标数据加密并存储后再进行数据备份的方式，本申请实施例还可以在接收到目标数据以后，就对目标数据进行备份，并将备份数据发送至第二存储节点，然后再对目标数据加密并存储，本申请实施例对此不作限制。
步骤102，第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
当第二存储节点接收到第一存储节点发送的备份数据时，可以将备份数据采用本存储节点获取的第二密钥加密后存储在本存储节点的存储介质中。
与上述第一密钥类似，第二密钥可以从第二存储节点内置的密码卡中获取，其中，第二密钥与第一密钥并不相同。
需要说明的是，本申请实施例中的备份存储节点并不限于第二存储节点，还可以根据实际业务需求包括多个备份存储节点，例如，第三存储节点、第四存储节点，第五存储节点等等，该备份存储节点由基础管理层确定以后，基础管理层会将一个或多个备份存储节点的标识发送至第一存储节点，则第一存储节点可以根据该一个或多个备份存储节点的标识，确定需要备份的副本数量，然后根据该副本数量，将目标数据复制该副本数量对应的份数，并将复制得到的备份数据分别发送至备份存储节点的标识对应的备份存储节点中。在每个备份存储节点内置的密码卡中，可以由不同的密钥初始化，该不同的密钥体现为，备份存储节点与目标存储节点的密钥不同，备份存储节点之间的密钥也不同，从而实现了数据备份的差异化加密存储，提升云存储系统数据存储的安全性和稳定性。
参考图3，示出了本申请另一示例性实施例示出的一种数据存储方法实施例的步骤流程图，在图1实施例的基础上，在步骤102之后，图3的实施例还可以包括如下步骤：
步骤103，获取所述备份数据在所述第二存储节点中存储的备份存储路径；
第二存储节点在本地存储加密的备份数据以后，对应的存储路径可以记作备份存储路径。与目标存储路径类似，备份存储路径也可以采用如下方式表示：DeviceID-BlockID-SegmentID-dataID-Size。
步骤104，接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
在实际中，第一存储节点还可以将目标存储路径发送至第二存储节点中。在实现中，若第一存储节点在对目标数据加密之前就进行数据备份，则第一存储节点在对目标数据加密并存储之后，还需要将目标数据在本节点存储的目标存储路径发送至第二存储节点中。若第一存储节点在对目标数据加密之后才对数据进行备份，则第一存储节点在发送备份数据的同时携带该目标数据的目标存储路径。
步骤105，建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
第二存储节点在获得备份数据在本地存储的备份存储路径以后，可以建立备份存储路径与目标存储路径的映射关系，以表示数据的原始版本与副本的存储地址的关联，则后续在进行数据读取时，第二存储节点在接收到包含目标存储路径的读取请求时，可以根据上述映射关系，从对应的备份存储路径中读取加密的备份数据，并返回解密后的备份数据。
其中，第二存储节点中可以维护一映射表，上述映射关系可以存储在该映射表中。
在本申请实施例中，第二存储节点还可以接收来自第一存储节点的目标存储路径，并建立本节点存储的备份数据的备份存储路径与目标存储路径之间的映射关系，便于本节点在接收到包含目标存储路径的读取请求时，根据上述映射关系，从对应的备份存储路径中读取备份数据。以此将用户并行的读取请求分散到第二存储节点上，有利于减轻第一存储节点的负载，提高系统响应速度。
与前述方法的实施例相对应，本申请还提供了数据存储装置的实施例。
本申请数据存储装置的实施例可以应用在上述存储节点中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请的装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图5，示出了本申请一示例性实施例示出的一种数据存储装置实施例的结构框图，其中，所述装置应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；
本申请实施例具体可以包括如下模块：
位于第一存储节点的第一加密模块501，用于接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
位于第二存储节点的第二加密模块502，用于接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
请参考图6，示出了本申请另一示例性实施例示出的一种数据存储装置实施例的结构框图，在图5的基础上，所述装置还可以包括如下模块：
位于第二存储节点的备份路径获取模块503，用于获取所述备份数据在所述第二存储节点中存储的备份存储路径；
位于第二存储节点的目标路径接收模块504，用于接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
位于第二存储节点的映射建立模块505，用于建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
请参考图7，示出了本申请又一示例性实施例示出的一种数据存储装置实施例的结构框图，在图5的基础上，所述装置还包括如下模块：
位于第一存储节点的备份任务生成模块506，用于在采用第一密钥对所述目标数据进行加密并存储之前，根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中；
位于第一存储节点的目标路径添加模块507，用于在采用第一密钥对所述目标数据进行加密并存储之后，获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
在本申请实施例的一种优选实施例中，如图7所示，本申请实施例还可以包括如下模块：
位于第一存储节点的数据读取模块508，用于当对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；
位于第一存储节点的数据备份模块509，用于对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
在本申请实施例的一种优选实施例中，所述第一密钥从所述第一存储节点内置的密码卡中获取，所述第二密钥从所述第二存储节点内置的密码卡中获取。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。
本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种数据存储方法，其特征在于，所述方法应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；
所述方法包括：
所述第一存储节点接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
所述第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
2.根据权利要求1所述的方法，其特征在于，在所述第二存储节点接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储之后，还包括：
获取所述备份数据在所述第二存储节点中存储的备份存储路径；
接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
3.根据权利要求1所述的方法，其特征在于，在所述采用第一密钥对所述目标数据进行加密并存储之前，还包括：
所述第一存储节点根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中；
在所述采用第一密钥对所述目标数据进行加密并存储之后，还包括：
获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述第一存储节点对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；
对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一密钥从所述第一存储节点内置的密码卡中获取，所述第二密钥从所述第二存储节点内置的密码卡中获取。
6.一种数据存储装置，其特征在于，所述装置应用于云存储系统的存储节点中，所述存储节点包括第一存储节点和第二存储节点，所述第一存储节点以及所述第二存储节点为所述云存储系统中的任意存储节点；
所述装置包括：
位于第一存储节点的第一加密模块，用于接收目标数据，并采用第一密钥对所述目标数据进行加密并存储；
位于第二存储节点的第二加密模块，用于接收备份数据，并采用与所述第一密钥不同的第二密钥对所述备份数据进行加密并存储。
7.根据权利要求6所述的装置，其特征在于，还包括：
位于第二存储节点的备份路径获取模块，用于获取所述备份数据在所述第二存储节点中存储的备份存储路径；
位于第二存储节点的目标路径接收模块，用于接收所述第一存储节点发送的所述目标数据在所述第一存储节点中存储的目标存储路径；
位于第二存储节点的映射建立模块，用于建立所述备份存储路径与所述目标存储路径的映射关系，以使得所述第二存储节点在接收到包含所述目标存储路径的读取请求时，根据所述映射关系，从对应的备份存储路径中读取备份数据。
8.根据权利要求6所述的装置，其特征在于，还包括：
位于第一存储节点的备份任务生成模块，用于在采用第一密钥对所述目标数据进行加密并存储之前，根据所述目标数据生成备份任务，并将所述备份任务添加到任务列表中；
位于第一存储节点的目标路径添加模块，用于在采用第一密钥对所述目标数据进行加密并存储之后，获取加密的目标数据在第一存储节点中的目标存储路径，并将所述目标存储路径添加到所述目标数据对应的备份任务中。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
位于第一存储节点的数据读取模块，用于当对所述任务列表中的备份任务进行处理时，从当前处理的备份任务中读取对应的目标存储路径，并从所述目标存储路径对应的存储位置中读取加密的目标数据；
位于第一存储节点的数据备份模块，用于对所述加密的目标数据解密后得到的目标数据进行备份，得到备份数据发送至第二存储节点中。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述第一密钥从所述第一存储节点内置的密码卡中获取，所述第二密钥从所述第二存储节点内置的密码卡中获取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811369371.1A CN111198784B (zh) | 2018-11-16 | 2018-11-16 | 一种数据存储的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811369371.1A CN111198784B (zh) | 2018-11-16 | 2018-11-16 | 一种数据存储的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111198784A true CN111198784A (zh) | 2020-05-26 |
| CN111198784B CN111198784B (zh) | 2024-04-23 |
Family
ID=70746030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811369371.1A Active CN111198784B (zh) | 2018-11-16 | 2018-11-16 | 一种数据存储的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111198784B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111617469A (zh) * | 2020-06-04 | 2020-09-04 | 广州西山居世游网络科技有限公司 | 一种游戏数据处理方法以及装置 |
| CN112269690A (zh) * | 2020-11-17 | 2021-01-26 | 珠海大横琴科技发展有限公司 | 一种数据备份的方法和装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080307020A1 (en) * | 2007-06-08 | 2008-12-11 | Steve Ko | Electronic backup and restoration of encrypted data |
| US20110055161A1 (en) * | 2009-09-01 | 2011-03-03 | Andrew Wolfe | Cloud Data Backup Storage |
| CN103748827A (zh) * | 2011-08-05 | 2014-04-23 | 苹果公司 | 用于无线数据保护的系统和方法 |
| CN103905204A (zh) * | 2014-04-02 | 2014-07-02 | 天地融科技股份有限公司 | 数据的传输方法和传输系统 |
| US20140310513A1 (en) * | 2013-04-10 | 2014-10-16 | International Business Machines Corporation | Method and system for managing security in a computing environment |
| CN105915332A (zh) * | 2016-07-04 | 2016-08-31 | 广东工业大学 | 一种云存储加密及去重复方法及其系统 |
| WO2017036546A1 (en) * | 2015-09-04 | 2017-03-09 | Nec Europe Ltd. | Method for storing an object on a plurality of storage nodes |
| CN106528327A (zh) * | 2016-09-30 | 2017-03-22 | 华为技术有限公司 | 一种数据处理方法以及备份服务器 |
| CN106855834A (zh) * | 2015-12-08 | 2017-06-16 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
| GB201708336D0 (en) * | 2017-05-24 | 2017-07-05 | Trust-Hub Ltd | Right to erasure compliant back-up |
| CN107015884A (zh) * | 2016-01-28 | 2017-08-04 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法及装置 |
| WO2018119601A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 数据转换方法及备份服务器 |
| US10042719B1 (en) * | 2015-09-22 | 2018-08-07 | EMC IP Holding Company LLC | Optimizing application data backup in SMB |
| CN108737476A (zh) * | 2017-04-21 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
-
2018
- 2018-11-16 CN CN201811369371.1A patent/CN111198784B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080307020A1 (en) * | 2007-06-08 | 2008-12-11 | Steve Ko | Electronic backup and restoration of encrypted data |
| US20110055161A1 (en) * | 2009-09-01 | 2011-03-03 | Andrew Wolfe | Cloud Data Backup Storage |
| CN103748827A (zh) * | 2011-08-05 | 2014-04-23 | 苹果公司 | 用于无线数据保护的系统和方法 |
| US20140310513A1 (en) * | 2013-04-10 | 2014-10-16 | International Business Machines Corporation | Method and system for managing security in a computing environment |
| CN103905204A (zh) * | 2014-04-02 | 2014-07-02 | 天地融科技股份有限公司 | 数据的传输方法和传输系统 |
| WO2017036546A1 (en) * | 2015-09-04 | 2017-03-09 | Nec Europe Ltd. | Method for storing an object on a plurality of storage nodes |
| US10042719B1 (en) * | 2015-09-22 | 2018-08-07 | EMC IP Holding Company LLC | Optimizing application data backup in SMB |
| CN106855834A (zh) * | 2015-12-08 | 2017-06-16 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
| CN107015884A (zh) * | 2016-01-28 | 2017-08-04 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法及装置 |
| CN105915332A (zh) * | 2016-07-04 | 2016-08-31 | 广东工业大学 | 一种云存储加密及去重复方法及其系统 |
| CN106528327A (zh) * | 2016-09-30 | 2017-03-22 | 华为技术有限公司 | 一种数据处理方法以及备份服务器 |
| WO2018119601A1 (zh) * | 2016-12-26 | 2018-07-05 | 华为技术有限公司 | 数据转换方法及备份服务器 |
| CN108513657A (zh) * | 2016-12-26 | 2018-09-07 | 华为技术有限公司 | 数据转换方法及备份服务器 |
| CN108737476A (zh) * | 2017-04-21 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 云存储系统、媒体数据存储方法及系统 |
| GB201708336D0 (en) * | 2017-05-24 | 2017-07-05 | Trust-Hub Ltd | Right to erasure compliant back-up |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111617469A (zh) * | 2020-06-04 | 2020-09-04 | 广州西山居世游网络科技有限公司 | 一种游戏数据处理方法以及装置 |
| CN111617469B (zh) * | 2020-06-04 | 2023-09-26 | 广州西山居网络科技有限公司 | 一种游戏数据处理方法以及装置 |
| CN112269690A (zh) * | 2020-11-17 | 2021-01-26 | 珠海大横琴科技发展有限公司 | 一种数据备份的方法和装置 |
| CN112269690B (zh) * | 2020-11-17 | 2024-05-24 | 珠海大横琴科技发展有限公司 | 一种数据备份的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111198784B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8838968B2 (en) | System and method for virtual machine data protection in a public cloud | |
| US10574753B2 (en) | Data files synchronization with cloud storage service | |
| US8782441B1 (en) | Methods and systems for storage of large data objects | |
| US8300823B2 (en) | Encryption and compression of data for storage | |
| US8156168B2 (en) | Method and system for data security | |
| US11005663B2 (en) | Secure audit scheme in a distributed data storage system | |
| US11256815B2 (en) | Object storage system with secure object replication | |
| CN109241754B (zh) | 一种基于区块链的云文件重复数据删除方法 | |
| CN104967591A (zh) | 云存储数据读写方法、设备及读写控制方法、设备 | |
| CN111414628B (zh) | 一种数据存储方法、装置和计算设备 | |
| WO2018175925A1 (en) | Secure memory arrangements | |
| US9582676B2 (en) | Adding or replacing disks with re-key processing | |
| US9356782B2 (en) | Block encryption | |
| CN111198784B (zh) | 一种数据存储的方法及装置 | |
| JP2021093016A (ja) | ブロックチェーン技術と分散ストレージ技術とにより実現した分散型ストレージプラットフォームおよびアプリケーションプログラム | |
| CN110633125A (zh) | 一种基于云平台存储的集成管理平台及管理方法 | |
| US11120140B2 (en) | Secure operations on encrypted data | |
| Periasamy et al. | Secure and duplication detection in cloud using cryptographic hashing method | |
| US20220075886A1 (en) | File interface to dynamically manage access to remote files | |
| EP3754531A1 (en) | Virtualization for privacy control | |
| CN111130788B (zh) | 数据处理方法和系统、数据读取方法和iSCSI服务器 | |
| CN110958211B (zh) | 一种基于区块链的数据处理系统及方法 | |
| CN110958285B (zh) | 一种基于区块链的数据存储系统 | |
| US20210152336A1 (en) | Automatic provisioning of key material rotation information to services | |
| JP2021093104A (ja) | ブロックチェーン技術と分散ストレージ技術とにより実現した分散型ストレージプラットフォームおよびアプリケーションプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |