CN103929467B - 安全在线分布式的数据存储服务 - Google Patents

安全在线分布式的数据存储服务 Download PDF

Info

Publication number
CN103929467B
CN103929467B CN201410016502.3A CN201410016502A CN103929467B CN 103929467 B CN103929467 B CN 103929467B CN 201410016502 A CN201410016502 A CN 201410016502A CN 103929467 B CN103929467 B CN 103929467B
Authority
CN
China
Prior art keywords
data
storage
piecemeal
distributed
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410016502.3A
Other languages
English (en)
Other versions
CN103929467A (zh
Inventor
S·保罗
S·森古普塔
A·莫哈梅德拉什德
A·萨克斯纳
V·考尔古德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services GmbH
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN103929467A publication Critical patent/CN103929467A/zh
Application granted granted Critical
Publication of CN103929467B publication Critical patent/CN103929467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Storage Device Security (AREA)

Abstract

汽化器提供安全的在线分布式数据存储服务，其在公共分布式存储基底(诸如公共云)中安全地存储并且取回数据。数据汽化器将数据汽化(例如，被分段为大小可配置的小分块)；并且将分段分布到多个存储节点，以便数据不易受本地磁盘故障的损伤；保护数据，以便即使存储节点中的一些节点被危害，数据仍对于攻击者不可解译；使用由多方(包括数据所有者)提供的密钥(例如，令牌)来跨多个云存储提供者和/或提供方存储数据；并且即使在一个或多个数据存储提供者被危害的情况下，仍维护数据机密性和完整性。数据汽化器可配置用于不同域的要求，包括数据隐私和匿名化要求、加密机制、存储位置合规以及备份和恢复的约束。

Description

安全在线分布式的数据存储服务
技术领域
本描述总体上涉及系统和方法，通常被称为通过封装各种后端服务和应用程序接口(API)来匿名化(去标识)、加密和分段数据并且跨多个存储提供者存储数据的系统，更具体地并不排他地涉及基于存储需求、安全性需求、成本和性能来委托和去委托基于云的存储。
背景技术
许多技术公司提供在云端的在线存储方案。但是，关于在基于云的存储中的数据的安全性、完整性和保密性存在相当大的怀疑。对安全性的真实并且可感知到的威胁已经成为将数据移到云端中的阻碍。云存储提供者支持数据加密、对被存储数据的接入控制机制，以及各种本地故障保护机制，诸如复制和冗余廉价磁盘阵列(RAID)。但是，在这些站点中所采用的方案是私有的，并且不适合于客户需求，而且许多存储站点易受到总体技术故障或有组织的黑客攻击的影响，导致服务不可用和数据外泄。
发明内容
本发明的各种实施例包括系统和方法，除了其他能力以外，该系统和方法将数据分成分段，并且将分段分布到云中的多个存储节点，以使得数据不会收到本地磁盘故障的影响。处于在本文中讨论的目的，这个系统和方法被一般地称作数据汽化器(DataVaporizer，DV)。
在一个实施例中，DV系统可以实施于如下平台，该平台包括通信接口和与处理器相耦合的非瞬时存储器，其中通信接口被配置用于接收包括数据字段的输入数据块，并且接收来自用户的用户存储约束至存储器中。DV系统可以包括存储在存储器中的计算机可执行的指令，当指令由处理器执行时包括混排器，其配置用于使一个或多个输入数据块中的每个的数据字段匿名，加密器，其配置用于生成密码密钥和使用密码密钥、基于用户存储约束和/或加密强度(例如，密钥长度)需求对被匿名化的数据字段进行加密来获得包括密码文本数据块的密码文本文件，擦除编码器，其配置用于基于存储冗余和故障容差约束从密码文本数据块和擦除编码细节生成编码分块，以及分布器，其配置用于基于用户存储约束将编码区分布至两个或多个存储提供者；以及生成针对分布式编码分块的分布细节。加密器可以被配置用于从混编密钥、密码、擦除编码细节以及分布细节中生成针对密码文本文件的加密密钥，其中通信接口向用户传送加密密钥。在另一个实施例中，DV系统还可以包括秘密共享器，其配置用于从加密密钥生成跨多个云存储位置的加密组合的元数据的一组秘密共享和秘密共享密钥；以及秘密共享器分布器，其配置用于向云存储提供者分布秘密共享，其中在云存储提供者的每一个云存储提供者处共同地存储的分布式编码分段和秘密共享被标识为云共享(存储共享)，以使得云存储提供者不能共谋在一起来解密和取回数据。优选地，用户存储约束可以包括：客户类型，其识别用户的行业和输入数据块包括其中的数据类型；针对用户的行业的域合规，其标识数据合规的类型，数据合规的类型包括健康保险便利与责任法案(HIPAA)、金融或多媒体；故障容差阈值；安全类型，或安全阈值，或两者；可取回性阈值，其标识取回存储的数据块的可能性；可修复性阈值，其标识修复存储的数据块的可能性；同步提供者攻击阈值，其标识聚合存储共享以再次生成传送给用户的加密密钥所需的、存储提供者的数目的子集；或者针对输入数据块的存储和取回的预算；或者其任意组合。因此，即使多个存储提供者(例如，云存储)不可用(例如，由于停运或损坏)和/或在一些存储提供者之间试图共谋(例如，聚合必需的诸如安全性信息的元数据以取回存储数据)，系统能够基于可配置的阈值参数取回和/或阻止服务提供者关于存储数据的共谋。系统可以被配置用于最小化要求取回数据以恢复损坏的数据的服务提供者(例如，云存储提供者)的数量，并且最大化需要共谋以便危害数据的服务提供者的数量。
在再一个实施例中，DV系统还包括：保护器；取回器；以及解码器。保护器被配置用于：通过执行损坏或经修改块检测来询问云共享，以测试分布式编码的分块以及云共享的秘密共享的可取回性；对所述损坏或经修改块检测失败的所述分布式编码的分块和秘密共享进行标记；以及将所述损坏或经修改的块检测失败的所述分布式编码的分块和秘密共享传送给所述取回器。取回器被配置用于：从存储提供者取回数个未损坏的数据共享；从未损坏的数据共享的秘密共享再次生成加密密钥；使用再次生成的加密密钥，从存储提供者取回未损坏的数据共享；以及将取回的未损坏的分布式编码的分块传送给解码器。解码器被配置用于：对取回的未损坏的分布式编码的分块进行解码以获得针对损坏的分布式编码的分块的输入数据块的数据字段；对针对损坏的分布式编码的分块的输入数据块的数据字段进行再次编码；将再次编码的分块传送给分布器，以基于用户存储约束将再次编码的分块分布至数据提供者；以及生成针对分布式再次编码的分块的分布细节。优选地，DV系统可以针对来自混排密钥的编码文本文件、密码、擦除编码细节和针对分布式的再次编码的分块的分布式细节生成新的加密密钥，从新的加密密钥生成新的一组秘密共享和新的共享密钥，并且将秘密共享分布给云存储提供者，并且将新的加密密钥传送给用户。
在优选的实施例中，数据汽化器提供安全的在线分布式数据存储服务，其安全地存储和取回在诸如公共云的公共分布式存储基底中的数据。数据汽化器：汽化(例如，分段成可配置大小的分块)数据，并且将分段分布到多个存储节点，以使得数据不受本地磁盘故障的影响；保护数据，以使得即使一些存储节点变得受危害时，数据对于攻击者来说也是不可解译的；使用由多方(包括数据的所有者)提供的密钥(例如，令牌)来跨多个云存储提供者和/或提供方存储数据；并且即使在一个或多个数据存储提供者被危害时，仍维护数据的保密性和完整性。数据汽化器可配置用于不同域的要求，包括数据隐私和匿名要求、加密机制、存储位置的合规、以及备份和恢复约束。
在更加优选的实施例中，数据汽化器(DV)以故障容差方式跨多个云存储位置(例如，一个或多个云服务提供者)安全地存储数据。数据汽化器(DV)汽化云端的数据(例如，将数据分段成小编码的分块，并且跨多个节点存储分块)，以这样的方式使得多至可配置的阈值的数个存储节点的故障也不会影响数据的可用性。DV向用户提供一种在匿名化、加密强度(例如，密钥长度)和针对故障容差的擦除编码比率的方面定制用于数据的安全配置的方式。DV向用户提供给一种定制用于数据的跨存储提供者(例如，云存储提供者)的分布方案的方式。DV针对数据的每个编码部分创建消息认证码(MAC)。MAC防止恶意攻击者损坏数据，并且DV可以使用MAC保持共享的完整性和可靠性。优选地，DV还生成组合的(例如，复合的)元数据(包含混排密钥、加密密钥、擦除编码细节、MAC细节和针对匿名化的数据的分布细节)。DV跨多个云存储服务秘密共享加密复合(例如，组合的)的元数据。DV将元数据的加密密钥传送给用户(例如，客户)。
经查验下面的图和详细的描述，其他系统、方法、特征和优势对本领域的技术人员将是或者变得明显。旨在于所有这些附加的系统、方法、特征和优势被包含在本描述中，在实施例的范围之内，并且由下面的权利要求所保护。下面结合描述讨论进一步的方面和优势。
附图说明
参照下面的图和描述，系统和/或方法可以被更好的理解。非限制性和非详尽的描述参照下面的图被描述。图中的部件没必要被缩放、强调，而是着重于示例性原理。在图中，相同的参考数字可以指不同的图中的相同的部分，除非另外被指定。
图1图示数据汽化器的方框图。
图2图示由数据汽化器所生成的示例性汽化器基本显示。
图3图示由数据汽化器所生成的示例性高级汽化器配置显示。
图4图示由数据汽化器所生成的示例性汽化器概要显示。
图5图示由数据汽化器所生成的示例性恢复基本显示500。
图6是图示数据汽化器系统可以执行以在存档系统中操作的逻辑指令的一个实施例的流程图。
图7是图示DV可以使用以进行数据存储的逻辑和处理流程的一个实施例框图。
图8是图示DV可以使用以进行数据存储的逻辑和处理流程的另一个实施例的框图。
图9是图示DV可以使用以进行数据存储的逻辑和处理流程的另一个实施例的框图。
图10是图示DV可以使用以进行数据存储的逻辑和处理流程的另一个实施例的框图。
图11是图示传统的擦除编码的一个实施例的框图。
图12是图示用于匿名化的DV擦除编码的一个实施例的框图。
图13图示标识数个云每个用于保证容差等级的存储区域的示例性DV数据分布式图。
图14图示可以被用于实现DV系统的一般的计算机系统的一个实施例。
具体实施例
数据汽化器可以是用户(例如，客户、订户)配置驱动的、多站点(例如，存储位置)的，并且对于云提供者不知晓(例如，没有对于特定提供者的优选)。数据汽化器允许定制化，并且客户的数据安全性考虑与在提供者的存储站点处存在什么能力去耦合。数据汽化器还支持增加的恢复力，这是由于数据汽化器没有受到(免于)本地站点故障或攻击的影响。此外，数据汽化器提供无缝接口，以用于跨多个存储提供者来存储数据(例如，通过封装各种后端服务和API)。企业可以以多种方式使用数据汽化器，包括基于存储、安全性、成本和/或性能需求和偏好来委托和去委托云存储。
数据汽化器可以以多阶段过程来工作。例如，数据汽化器可以采用多个处理阶段(例如，3个阶段)，包括阶段(A)，其中数据汽化器准备一个或多个输入数据块，并且使输入数据块准备好用于云存储，其中输入数据块被通过数据匿名化模块(例如，“混排器”)、数据加密模块(例如，“加密器”)、创建已编码数据分段的擦除编码模块(例如，“编码器”)以及共享秘密密钥生成器模块(例如，“密钥生成器”)。数据汽化器可以采用阶段(B)，其中数据分布式模块(例如，“分布器”)将已编码数据分段传送至由用户标识作为分布式计划的多个云存储位置。数据汽化器可以进一步采用阶段(C)，其中数据汽化器提供基于拉的告警机制(例如，“保护器”)，其保卫已存储数据免于存储介质损坏和/或恶意攻击，并且最后，数据能够通过“取回器”模块被取回。
DV负责并且提供一种方式以跨多个存储提供者(例如，云)存储数据，以如此的方式使得数据保护参数可以由用户输入和其他需求(例如，规则、行业)来定制，并且跨多个云站点被存储的数据不会受到(例如，免于)在一个或多个站点上同时发生的故障(例如，损坏和/或恶意攻击)的影响。
数据汽化器提供能够在客户站点处进行的多阶段数据准备方法。提出的方法使得安全性参数能够根据客户的需求来定制。数据汽化器还提供多提供者(例如，服务提供者)和多站点数据分布式策略，这保护客户数据(和数据相关的操作)免于在某些数目的可配置站点处的一个或多个并发故障。被用于跨多个站点的数据分布策略的可配置参数能够进一步被引导通过优化算法。目前，针对将要从多个云存储站点上存储、保持和取回的客户数据而言，这样可定制的方法(例如，针对安全和/或性能可调)还不存在。
图1为数据汽化器102的框图100。数据汽化器提供具有可定制的安全性、保密性和私有性等级的云中数据的故障容差和安全存储。数据汽化器可以接收来自一个或多个企业104的针对由数据汽化器102进行存储的数据的约束106(例如，存储约束可以包括成本、私有性、安全性、故障容差、以及基础设施约束)。数据汽化器(DV)将数据安全地以故障容差方式跨多个云存储服务(提供者)进行存储。DV允许可配置的以及安全的云中存储基层(例如，公有和/或私有)。数据汽化器提供一种可配置的“汽化”服务，该项服务通过对数据应用多阶段的安全技术和服务等级协议(SLA)要求将数据安全地存储在云端。数据汽化器接收待存储的数据108，并且基于约束106和待存储的数据108来确定存储方案110(例如，数据108的分段大小以及对数据进行混排)，其包括对数据去标识(例如，匿名化)，这包括确定待用的加密技术以对数据加密，应用擦除编码并且生成针对数据的hash码。数据汽化器对云中的数据以如下方式进行汽化(例如，将数据分段成为小的编码数据分块，并且跨多个处理(计算)节点存储数据)，即上至可配置的故障容差阈值的一个或多个存储节点的故障(例如，数据的损坏)不影响所存储的数据的可用性(例如取回)。相应地，DV为用户(例如，数据的所有者)提供了针对待存储的数据定制一个或多个安全性配置的能力，包括匿名化、加密强度(例如，密钥长度)，以及针对故障容差的擦除编码率。DV还为用户(例如，数据的所有者)提供了针对跨云提供者的数据定制分布方案的能力。DV针对每一个编码数据分块(例如匿名化)生成(创建)消息认证码(MAC)。由于密钥与数据分开存储并且能够检测数据损坏，MAC码防止恶意攻击者对数据进行解密。DV从包括加密数据、擦除编码细节、MAC细节以及分布细节(例如，云存储位置)的元数据中生成复合(例如，组合的)元数据。DV跨多个云存储位置114(例如，116，118，120，122，124)(例如，位于一个或多个云服务提供者的计算环境内部或外部的多个位置)存储加密的组合元数据的秘密共享112，以及向客户提供元数据的加密密钥。一个或多个云服务提供者可以包括，但不限于：AmazonS3，PackSpace，CloudFile，以及Mozy。
数据汽化器提供了一种方式来使用廉价(例如，成本高效)的云存储以将数据存储在多个云中，具有私有性并且机密性，从而使得有意义的信息不可能从所存储的数据中被分析和/或被提取。数据汽化器提供故障容差以确保即使可配置数量的存储服务(例如，服务提供者和附图提供者的存储位置)不再可用和/或运行，而数据仍然可以是可用的。数据汽化器避免了通过跨多个存储位置(例如，一个或多个站点和/或一个或多个服务提供者)分布数据(例如，可配置大小的分段)的供应商(例如，一个或多个云服务提供者)锁定，从而最小化对于一个或多个供应商的决定性依赖。数据汽化器对数据和秘密密钥元数据信息以一种方式进行匿名化和分布，以确保所存储的数据不会被服务提供者和/或与服务提供者相互共谋的服务提供者的攻击者所危害。数据汽化器确保所存储的数据和所取回的数据匹配(例如，没有信息丢失，从而所存储即所取回)。根据用户的需要和预算，数据汽化器为用户提供一种高度可配置的数据存储过程，其包括一种配置数据存储以符合用户选择(例如，识别的)的行业标准(例如，HIPAA，金融业或银行业)的方式。
表1图示了由数据汽化器所使用的模块和术语。
图2图示了由数据汽化器102生成的示例性汽化器基本显示200。汽化器基本显示200可以针对用户输入或选择呈现字段，包括可以标识客户类型(例如HIPAA，金融，多媒体用户并且标识针对用户(客户)的行业和待汽化的数据的类型的客户名202(例如，客户和/或账户标识符)，用户可以或者输入文件名信息或者使用“浏览”按钮206来查找针对文件(例如，用于汽化或恢复的数据)位置的目录结构来选择的文件名204(例如，带有存储位置信息)。汽化器基本显示200还可以为用户呈现标识在汽化(或恢复)数据时数据汽化器102可能使用的数据合规的类型的域合规选择字段208(例如HIPAA，金融，多媒体)。用户可以选择汽化210按钮以初始化用户数据的汽化，恢复按钮212以恢复先前已汽化的数据，或者“下一步”按钮214以进一步配置参数以用于汽化用户数据。当用户选择恢复按钮212时，DV可以导航至恢复基本显示500，将在下文讨论。
图3图示了由数据汽化器102生成的示例性高级汽化器配置显示300。高级汽化器配置显示300可以呈现针对用户输入和/或选择的字段，包括：标识使用的加密类型(例如，和/或等级)的加密字段302，以及允许用户选择或排除用于存储数据的某些地理区域的排除字段304。例如，用户可以指示排除“非US站点”，这将确保数据不会存储在USA以外。排除可以与逗号隔开的字符串(例如，“亚洲，欧洲”)一同形成字串。字段可以进一步包括标识用于生成加密密钥的字节数目的密钥强度(例如，密钥长度)选项306(例如，64字节，128字节和256字节)；故障容差选项308(例如，低、中和高)；秘密共享率选项310(例如，低、中和高)(进一步细节参见以下表4)；匿名化强度选项312(例如，低、中和高)(例如，应用到数据的匿名化程度)；服务提供者和本地系统字段(例如，314，316，318，320和322)(例如，AmazonEC2，RackSpace，Dropbox，Googledrive以及本地系统)以标识要使用的一个或多个服务提供者；以及可用于选择存储(分布)至从服务提供者字段选择的对应服务提供者的数据的百分比(例如，针对利用字段332的100的值指示数据的100％存储在本地系统322处)的服务提供者百分比利用字段(324，326，328，330，332)。DV计算数据分配的总百分比334，以确定被分配以存储在提供者(314，316，318，320，322)处的数据的百分比是否为100％，并且当已经被分配以存储在提供者(314，316，318，320，322)处的数据的百分比不等于100％时，DV可以提示用户在数据分配的总百分比334不等于100％时分配待存储的数据的未被分配的百分比部分。当分配的数据的总百分比等于100％时，用户选择汽化按钮336以根据用户的输入对数据进行汽化。
数据汽化器可以作为单独模块使用，或者作为已有的一个或多个云存储提供者的一个或多个安全模块的附属物(add-on)使用，和/或作为云集成服务提供者(例如，informatica或Dell Boomi)的插件使用。数据汽化器(例如，DV服务配置)可以用于设计一套成本和SLA导向的存档和数据恢复服务。
数据汽化器可以配置用于针对不同的用户情形(例如，客户场景)生成(创建)不同的汽化计划，取决于客户匿名化和加密的要求，合规要求，冗余选择，以及地理选择。
例如，客户1可能处于医疗健康行业(例如，医疗健康领域)，并且需要和/或期望使用下列约束来存储客户1的数据，包括：符合医疗保险携带和责任法案(Health InsurancePortability and Accountability Act，HIPAA)规定；低故障容差；弱加密(例如，放松的安全性)；以及高匿名化。客户2可能处于金融行业(例如，金融领域)，并且需要和/或期望使用下列约束来存储客户2的数据，包括：符合支付卡行业(PCI)数据安全标准(Payment CardIndustry Data Security Standard)；高故障容差；严格的安全要求(例如，强加密)，以及低匿名化需求。
对于客户1来说，数据汽化器可以使用350字节的擦除编码粒度，从而使得数据汽化器不将由HIPAA指定的数据列、针对恰当故障容差支持的擦除编码率4/10以及秘密共享数目2/7存储在一起，以避免来自至少两个存储提供者(例如，云服务提供者)的供应商攻击。
对于客户1来说，数据汽化器可以执行和/或实现以下过程步骤，包括替代加密；列混排；加密(例如，三重数据加密算法(Triple Data Encryption Algorithm，被称为3DES，TDEAS和/或Triple DEA))，使用350字节粒度和4/10比率的擦除编码；MAC散列；分布；敏感数据积累(Sensitive Data Accumulation)；使用2/7比率进行敏感信息的加密和秘密共享；以及对秘密共享的敏感信息的分布。
对于客户2来说，数据汽化器可以使用200字节的擦除编码粒度，从而使得数据汽化器不将由PCI指定的数据列、针对恰当的故障容差支持的可擦除编码比率6/10，以及秘密共享数目4/7存储在一起，以避免来自至少四个存储提供者(例如，云服务提供者)的供应商和/或与服务提供者相互共谋的攻击者的攻击。
对于客户2来说，数据汽化器可以执行和/或实现以下过程步骤，包括：列混排；加密(例如，高级加密标准AES-256(Advanced Encryption Standard AES-256))；使用200字节粒度的擦除编码；比率6/10；MAC散列；分布；敏感数据积累(Sensitive DataAccumulation)；使用比率4/7进行敏感信息的加密和秘密共享；以及对秘密共享的敏感信息的分布。
数据汽化器可以基于客户(例如，用户)提供的客户参数确定要使用的DV参数，包括：确定最小化SLA(服务等级协议)的客户类型标识符(例如，金，银，铜)，由客户要求和/或期望的故障容差和安全性；确定要使用的规定标准的客户领域(举例来说，诸如金融和医疗健康的行业)；可以确定除基于客户类型和客户领域(例如，行业)所确定的值之外的、所提供的最高可能故障容差和安全性的客户预算；以及一个或多个时间约束。数据汽化器可以使用客户预算和时间约束来确定在每一个存储位置(例如，云存储服务)上要存储的数据量。
表2示出了可以由DV用于确定DV参数的查找算法。
表3示出了用户可以选择以针对用户服务的各种等级或种类汽化用户数据的参数选择的示例。
表4示出了针对表3所示的用户可选择参数的描述。
DV提供了一种甚至在多处位置(例如，服务提供者)处不可用/损坏的情形下恢复原始数据并且防止共谋的多方通过共享在共谋多方之间散布的信息而重构原始数据的方法。
表格5示出配置用于不可用的和/或损坏的服务提供者站点并且避免共谋的DV的各种细微差异。考虑(3，5)(例如，被配置以便5个站点中有3个可能损坏和/或共谋)冗余编码，并且假设接着在云提供者A、B、C和D中对于5个块分布如下——A：1块；B：1块；C：1块；D：2块。下表中使用的术语解释如下：恢复，“用可用块重构完整的原始数据”；共谋，“共享信息以便恢复秘密密钥”；经由共谋重构，“借助共谋方用可用块重构完整的原始数据”；以及经由共谋部分重构，“借助共谋方用可用块重构原始数据的某些部分”。
参照表格5，不可用性(A，B)并且秘密共享(3，4)的情况，注意到，虽然A和B不可用，如果5个块中有3个可用，那么原始数据可以恢复。因此，“恢复”设定为“是”。然而，因为秘密共享是(3，4)，需要3个提供者共谋，而只有2个可用，所以共谋设定为“否”。由共谋方重构原始数据是不可能的。因此，“经由共谋重构”为“否”。因此，从可用分段进行恢复是可能的，但是不能够借助共谋方重构。在这个情况下，因为不可能共谋，所以也不可能借助共谋方部分重构数据。
再次参照图表5，不可用性(A，D)并且秘密共享(2，4)的情况，注意到，因为A和B不可用，由于5个块中有2个是可用的所以原始数据不能够恢复。因此，“恢复”设定为“否”。然而，因为秘密共享是(2，4)，我们需要2个提供者共谋，并且2个可用，所以“共谋”设定为“是”。然而，即使提供者B和C共谋，因为在他们两个之间5个块中只有2个可用，所以他们不能够重构原始数据。因此，“经由共谋重构”设定为“否”。从而，可能共谋，但是即使几方可以共谋也不可能重构原始数据。但是在这个情况下，因为共谋是可能的，所以使用可用块由共谋方部分重构原始数据是可能的。
DV可以使用一个或多个备份模式，包括单一模块存档模式(SMAM)和多模块频繁访问模式(MMFAM)。SMAM将整个数据处理为一个大块，并且启动整体处理。在SMAM下，存取数据涉及请求(例如，接收并且/取回)数据的主要部分。SMAM模式的更新和读取操作可以要求相当长的时间，以基于数据的大小(例如，量)来完成。DV允许用户出于数据存档存储的目的选择SMAM，。
MMFAM将整个数据处理为多个子模块(例如，以文件等级或者以整个数据的等分的块)。对于每一个子模块，DV存储元数据，以便方便对子模块的数据进行访问而无需解码整个数据(例如，完整数据集)。DV允许用户选择MMFAM，以存储可以频繁地并且部分地访问和/或更新的数据。
DV根据保证的SLA(例如，由客户选择的和/或由DV基于客户参数确定的)，来分析客户预算和时间约束。DV执行有效性检测，以确定给定客户预算和时间约束的情况下SLA是否能够被满足。DV向用户(例如，客户)传送SLA是否能够被满足。在DV确定对于给定客户预算和时间约束SLA能够被满足的情况下，DV确定对于给定客户预算和/或时间约束更高的SLA是否可能达到。例如，给定客户预算和时间约束，在能够提供更高的故障容差的情况下，DV向用户(例如，客户)提供更大故障容差，以用于选择。基于预算和时间约束，DV计算存储在各种供应商(提供者)的位置的数据共享。
图4示出由数据汽化器102生成的汽化器概要显示400。汽化器概要显示400可以呈现关于汽化结果的用户信息，包括：源文件的总字节402；对于所选择的用于分布被汽化的数据的每一个服务提供者(404、406、408)、用于将用户的(客户的)数据汽化的总代码数目410以及存储的大小412(例如，量)；用于将数据汽化的经过的总时间414；应用的安全策略416；以及应用的秘密共享策略418。用户可以选择恢复按钮420，以恢复先前被汽化的数据，并且DV可以导航到恢复基本显示500，这将在下面进一步讨论。
图5示出由数据汽化器102生成的恢复基本显示500。恢复基本显示500可以示出用于先前被汽化的并且可选择用于恢复(例如，再生成)文件的信息，包括：文件名(502、504)；文件的大小506；文件被汽化的日期508；用于将文件汽化的经过的时间510；用于存储被汽化的数据的提供者和/或本地系统代码(512、514、516)；以及可选择以指示是否恢复文件的恢复指示符(518、520)。以当恢复522按钮被选择时，同时使用恢复基本显示500可以选择(518，520)一个或多个文件用于恢复。
图6是示出数据汽化系统可以执行以在存档系统中操作的逻辑指令的一个实施例的流程图600。数据汽化器可以(例如，在存档系统中)以下列方式操作。数据汽化器从用户(例如，客户和/或管理员)接收可配置参数集(例如，合规、地理和成本约束)和技术参数(例如，冗余以及云存储提供者的最小强制性要求)(602)。数据汽化器可以创建(生成)存储计划(例如，和/或允许用户以配置)，该存储计划包括响应于安全性、成本和故障容差约束(例如，限制)跨云(例如，远程和本地存储提供者)应用的一个或多个存储和恢复策略(604)。数据汽化器保护将被存储的数据，以便通过一系列匿名化、加密和擦除编码的步骤处理备份数据，使得被编码的数据为备份做好准备(606)。数据汽化器提供附加的安全性，以保证对数据的额外保护(例如，通过生成秘密共享密钥和MAC密钥)(608)。秘密共享密钥避免未授权的实体(例如，云提供者和/或非数据所有者)共谋并且窃取数据，并且MAC密钥提供检测并避免数据完整性损失。数据汽化器将数据分布在不同的存储位置中(例如，一个或多个服务提供者)(610)。数据汽化器可以生成最终超级密钥(例如，组合了秘密共享密钥和MAC密钥的复合密钥)，并且将最终超级密钥传送给用户(例如，数据所有者和/或客户)和/或一个或多个受信第三方。
数据汽化器监控存储的数据的损坏和可取回性，以便响应于故障(例如，不同类型的“攻击”和“故障”)，故障包括一个或多个本地磁盘故障、云断线、密码攻击、云内部人员攻击和/或多个提供者和在服务商控制下的实体之间的共谋(612)。在DV确定数据损坏和/或存储站点故障的情况下(614)，DV识别未损坏数据副本和/或从中恢复损坏数据的可用的存储站点(616)，并且存储未损坏数据的副本以替换损坏的数据，并且/或者向另一个可用的存储站点存储未损坏数据的副本(618)。从而，即使多个存储提供者不可用(例如，由于断线或损坏的影响)，并且/或者某些数目的存储提供者之间尝试共谋(例如，汇聚元数据，例如取回存储的数据所必须的安全性信息)，系统还是能够恢复损坏数据并且/或者基于可配置的阈值参数而避免服务提供者关于存储数据的共谋。系统可以被配置为，将取回数据以恢复损坏数据所需的服务提供者(例如，云存储提供者)的数目最小化，并且将共谋以使数据损害所需的服务提供者的数目最大化。
当数据汽化器接收到对于取回存储的数据的请求(620)时，DV用任何可用的数据块集(例如，在主站点和/或一个或多个辅站点处)(在可配置的冗余阈值内，该阈值标识存储数据以便避免数个同时存储位置故障的多个位置)高效地取回存储的数据(622、624)。数据汽化器可以实施复杂的元数据管理过程，其提供扩展性和企业准备，以处理主备份和滚动(rolling)备份(例如，增量(delta))。附加地，DV可以与企业备份软件对接，以保证有效的冗余去除。
图7是示出DV702可以使用以用于数据存储的逻辑和处理流程的框图700。在一个实施例中，数据汽化器702准备一个或多个输入数据块704，并且输入数据块704为云存储作好准备(706、708)。输入数据块704通过数据匿名化模块(例如，“混排器”710)，该模块将输入数据块704的数据字段匿名化。混排器710生成混排密钥712，其被DV用于生成复合元数据714。数据汽化器702包括数据加密模块(例如，“加密器”716)，以使用用户可配置的强度等级(例如，密钥长度)(例如，数个字节，其用于生成加密密钥)将输入数据块704的匿名化数据字段加密。在一个实现中，数据汽化器702可以将输入数据块704的数据字段加密，并且将经加密的数据字段通过数据匿名化模块(例如“混排器”710)，其将输入数据块704的经加密的数据字段匿名化。
加密器716生成加密密钥718，DV将加密密钥718与混排密钥712组合，以生成复合元数据714。数据汽化器702包括擦除编码模块(例如，“编码器”720，其生成(创建)经编码的数据分段和代码数据块。编码器720和/或DV将编码数据分段和代码数据块传送给共享的秘密密钥生成模块(例如，“MAC生成器”722)。MAC生成器722生成MAC密钥724，DV可以将MAC密钥724与关于“数据结构”726、加密密钥718和混排密钥712的元数据组合，以生成复合元数据714。数据汽化器702还可以包括数据分布模块(例如，“分布器”728)，其生成“代码分布细节”730和数据共享(732、734、736)，并且将数据共享(732、734、736)(例如，经编码的数据分段)传送给提供者(706、708)(例如，多个云存储位置)(例如，由用户标识作为为分布计划的)。DV可以将“代码分布细节”730与关于“数据结构”726、加密密钥718和混排密钥712的元数据组合，以生成复合元数据714。DV将复合元数据714加密(例如使用敏感处理器加密器738和/或加密器716)，以生成经加密的密钥740，并且将经加密的密钥740传送给客户(例如，用户)742。
数据混排器710模块为用户提供一种用于配置匿名化类型和将被匿名化的数据的粒度的方式。基于监管的(例如，数字的)数据存储要求(例如，法律和/或行业合规标准)，数据混排器通过从记录中移除、混排和汇聚个人可识别数据字段将待被存储的数据匿名化。用于数据存储的匿名化和隐私性要求对于不同行业的用户可以是相同的或不同的。通用合规标准可以包括Gramm-Leach-Bliley法案(GLBA)、健康保险便利及责任法案(HIPPA)(用于保健)以及Sarbanes-Oxley法案(SOX)、支付卡行业数据安全标准(PCI-DSS)(信用卡行业)。数据混排器模块将在待被存储的数据的记录中的比特混排，以便不能确定数据之间的联系。数据汽化器和/或数据混排器模块可以删除(并且/或者进一步将数据分段，并且/或者在另一个位置中存储数据)数据的将被匿名化的“敏感的”字段。
数据加密器716将数据加密，以保证在云中的数据安全性和完整性。根据所需加密的强度和类型(例如，等级)，DV可以使用标准的数据加密标准(DES)或者具有变化的密钥长度的高级加密标准(AES)加密方案。
编码器720(擦除编码/纠错(EC)编码)提供故障容差。擦除编码可以实施为MDS(最大距离可分离)编码，其将m个数据块编码为n个擦除编码的块，其中n＞m，并且比率r＝m/n被称作编码比率。为了解码并且再生成原始文件，数据汽化器可以使用m个编码块中的任何块。数据汽化器还可以使用再生编码，其为MDS编码的一个变体，其中用于再生的存储要求或带宽要求中的任一个(或两者)可以被配置以用于优化。DV可以使用擦除编码和/或再生编码，以将数据进行分段、编码并且分布。
消息认证码是一种签名方案，并且可以使用对称密钥机制(例如，相同私有-公有密钥)。DV和/或MAC生成器722利用秘密密钥为每一个经编码的块生成MAC值(例如，密钥或标签)724。如果块变得损坏(并且/或者被恶意攻击)，则没有私有密钥不能创建被合适地修改的MAC。MAC编码对在云共享(存储共享)中的每一个EC(擦除/纠错(EC))编码的块提供完整性。
分布器728模块计算将利用云存储提供者(例如，云服务提供者)中的每一个提供者存储的共享(例如，数据块的数目)。数据汽化器和/或分布器模块可以基于可配置参数(例如，存储成本、需要的故障容差等级、地理关联性、监管规定和/或网络带宽要求)的组合建立分布安排。分布器模块通过使用用于每一个提供者的应用程序接口(API)，将共享推出到存储提供者。
数据汽化器和/或秘密共享器744使用经加密的密钥740，以生成秘密共享(例如，共享密钥)(746、748)。数据汽化器可以使用用于分布秘密分享(例如，共享密钥)(746、748)的秘密共享分布器750，将秘密共享(例如，共享密钥)(746、748)传送给云存储(706、708)。数据汽化器通过级联并且进一步地加密从混排器710、加密器716、EC编码器720、MAC生成器722、DV主机702(DV)和共享生成器(分布器728)获得的密钥和元数据，来生成元数据。元数据可以被安全地、私有地和/或利用客户进行存储，和/或元数据可以使用秘密共享机制(例如，Shamir秘密共享算法)与受信第三方(例如，云服务提供者、数据所有者、数据所有者的代理)共享。
Shamir秘密共享算法保证，为了再生超级密钥，必须聚集利用至少(t+1)方存储的元数据。Shamir秘密共享算法提供一种将某数据D(例如，安全组合)分割为n个份额D1、…、Dn的方式，以使得任何k个或更多个Di份额的知识使得D容易被计算；并且任何(k-1)个或更少个Di份额的知识使得D完全不被确定(在D的所有可能值是等可能的意义上)。这个方案称作(k，n)阈值方案。如果k＝n，那么所有参与者都需要重构秘密。
图8为图示DV可以使用以用于数据存储的逻辑和处理流程的实施例的另一框图800。在一个实现中，DV可以在与加密器716和编码器720的通信中使用散列(hash)码生成器802。散列码生成器802从输入数据块704的经匿名化的数据字段中生成散列码804(针对每一个数据块)。散列码生成器802可以向敏感处理器806传送散列码804，敏感处理器806将散列码804作为敏感数据进行处理。敏感处理器806包括用于进一步处理和/管理散列码804的敏感处理加密器738，秘密共享器744和秘密共享分布器750。
图9示出DV可以使用以确保所存储的数据的数据完整性和可取回性的示意性DV流程图900的一个实施例。保护器902“嗅闻”(例如，询问)(904，906，908)数据共享(云共享)(910，912，914，916，918，920，922)，以通过执行损坏或经修改的块的MAC检测识别所存储的数据的损坏的块922。数据共享(910，912，914，916，918，920，922)可以包括分布至提供者用于存储的分布式编码分块和秘密共享。在这种情况中，损坏的或经修改的块MAC检测失败，保护器902告警取回器924模块并且确定要取回哪一个或多个数据共享。数据保护器模块保护所存储的数据以免本地磁盘故障和/或损坏(也被称为位损坏(bit-rot))，以及对于数据块的恶意攻击。保护器可以使用“标记清理”模型以“嗅闻”随机的共享(例如，利用针对认证的私有密钥来检测MAC标签)以将损坏的共享(云共享)进行标记，并且记录损坏块，以及应用一个或多个合适的策略以取回并再次生成(例如，修复)被损坏的共享。数据汽化器使用(n中的)m块以再次生成数据。数据汽化器还可以使用再生编码[n，k，d]以确定一个策略来应用以便从n个节点中的k个节点中恢复数据，并且故障的节点可以通过从d节点中(例如，与d节点进行通信)取回信息而得以重建。
取回器924接收(和/或取回)秘密共享细节，解密“超级密钥”以及取回共享。取回器执行分布器的相反操作。取回器从不同的云提供者(通过取回元数据)收集数据共享，并且数据汽化器和/或取回器向擦除解码器(例如，加密器可以操作在解码器模式以作为解码器工作)、解密器，以及去匿名器功能传送(传递)块。取回器904向编码器926模块(解码器或工作在解码器模式的编码器)传送编码块，编码器926对块进行解码，并且使用新参数对块(922)进行再次编码。分布器928生成(例如创建)新的数据共享(例如，针对损坏的或修改的云共享)并且将新的数据共享分布(930，932，934)至多处存储位置(例如，一个或多个云服务提供者-936，938，940)。
图10为示出了DV可以用于汽化数据(例如，纯文本文件1002)的逻辑和处理流程的一个实施例的框图1000。例如，在混排(匿名化)纯文本文件1002之后，DV和/或加密器使用密码(例如，可配置的字节长度的密钥以对密码文本文件进行加密或解密)对经匿名化的纯文本文件1002(1004)进行加密，以生成划分成为经加密的数据的可配置数量的块(密码文本数据块)(1008，1010，1012，1014，1016)的密码文本文件1006。DV和/或EC编码器应用可擦除编码(例如，使用里得-所罗门(Reed-Solomon)编码算法)以生成密码文本文件的块的编码的分块(chunk)1018(例如，编码E1 1020为X数目字节的块E的一部分)。DV和/或分布器将编码分块1018(作为分布式云代码1024)分布(汽化1022)至可配置数目的云存储提供者(314，416，318)。DV和/或秘密共享器模块(组件)使用Shamir共享以生成可配置数目的秘密共享k(1028，1030，1032，1034，1036，1038)，DV和/或秘密共享器分布器将秘密共享分布到在提供者(314，316，318)之间所分布的云共享1040。
图11是示出传统的擦除编码的一个实施例的框图1100。传统的擦除编码可以执行擦除编码1102(例如，使用比率4/6和编码粒度25MB)跨多个数据块(1106、1108、1110、1112)存储文件1104(数据)，其中每个数据块(1106、1108、1110、1112)包括包括多个数据分段(1118、1120、1122、1124)的一个或多个数据记录1116。传统的擦除编码将多个数据分段(1118、1120、1122、1124)的整个数据记录1116存储为单个编码块1126。作为对100MB的文件1104进行编码的结果，传统的擦除编码可以产生150MB的已编码数据1128。
相比于传统的擦除编码，图12是图示用于匿名化的DV擦除编码1202的一个实施例的框图1200。用于匿名化的DV擦除编码1202将数据记录1116的多个数据分段(1118、1120、1122、1124)存储为单独的编码块(1126、1130、1132、1134)。
图13图示识别每个用于保证容差等级1304的存储区域1302中的一些云的示例性DV数据分布图1300。数据汽化器可以使用擦除编码(EC)技术，用比在使用复制来存储数据时所要求的还要小的数据足迹来提供地理保护的可比较的(例如，相同的或类似的)程度。数据汽化器可以使用比较便宜的存储(例如，AmazonGlacier或其他云存储)来减少存储成本。例如，DV数据分布式图1300图示要求保护100GB的存储数据免于多个云提供者和/或站点同时(例如，并发的)的故障1308的最小数据足迹1306，来提供跨多个站点的完整的数据复制(例如，文件分段大小＝20GB，m＝5云服务提供者)。DV数据分布式图1300图示了每个存储区域1312的云1310的数量，其中，每个存储区域1314可以被标识用来包括副本或DV(EC)。
图14图示一般的计算机系统1400的一个实施例，其可以代表服务提供者服务器或本文中所参考的可以被用于提供系统和方法的任何其他计算设备。计算机系统1400可以包括指令集1410，其可以被执行以使得计算机系统1400执行本文中所公开的任何一个或多个方法或基于计算机的功能。计算机系统1400可以作为单独的设备来操作，或者可以使用网络或其他计算机系统或外围设备来连接。
在网络的部署中，计算机系统可以在服务器的容量中操作，或者作为服务器-客户端用户网络环境中的客户端用户计算机来操作，或者作为端到端(或分布式式)网络环境中的端计算机系统来操作。计算机系统1400还可以被实施于或包含在各种设备中，诸如个人计算机(CP)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动设备、掌上型计算机、膝上型电脑、台式电脑、通信设备、无线电话、有线电话、控制系统、照相机、扫描仪、传真机、打印机、寻呼机、个人受信设备、网络装置、网络路由器、交换机或桥、或任何其他能够执行指定机器所进行的动作的指令集1410(串行地或其他)的机器。在特别的实施例中，计算机系统1400可以使用通过声音、视频或数据通信的电子设备来实施。进一步，虽然图示了单个计算机系统1400，术语“系统”还应该包括单独地或联合地执行指令集或多个指令集来执行一个或多个计算机功能的系统或子系统的任何集合。
如图14所图示的，计算机系统1400可以包括处理器1402，诸如中心处理单元(CPU)、图形处理单元(GPU)或二者。处理器1402可以是各种系统的部件。例如，处理器1402可以是标准个人计算机或工作站的部分。处理器1402可以是一个或多个通用处理器、数字信号处理器、特定应用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、其组合，或任何现在已知的或将来被开发的用于分析和处理数据的设备。处理器1402可以实施软件程序，诸如手动地生成的代码(例如，程序化的)。
计算机系统1400可以包括能够通过总线进行通信的存储器1404。存储器1404可以是主存储器、静态存储器或动态存储器。存储器1404可以包括，但是不限于计算机可读存储介质(例如，永久性存储器)，诸如各种类型的易失性和非易失性存储介质，包括但是不限于随机存取存储器、只读存储器、可编程只读存储器、电子可编程只读存储器、闪存、磁带或磁盘、光介质等。在一种情况下，存储器1404可以包括针对处理器1402的高速缓存或随机存取存储器。备选地或附加地，存储器1404可以与处理器1402分离，诸如处理器的高速缓存存储器，系统存储器或其他存储器。存储器1404可以是用于存储数据的外部存储设备或数据库。示例可以包括硬盘、光盘(“CD”)、数字视频盘(“DVD”)、存储卡、记忆棒、软盘、通用串行总线(“USB”)存储器设备，或可操作来存储数据的任何其他设备。存储器1404可以是可操作的来存储由处理器1402可执行的指令1410。在图中或本文中所描述的功能、动作或任务可以由执行被存储在存储器1404中的指令1410的被编程的处理器1402来执行。功能、动作或任务可以独立于特别的类型的指令集、存储介质、处理器或处理策略，并且可以由软件、硬件、集成电路、固件、微码等单独地或结合地操作来执行。同样地，处理策略可以包括多处理、多任务、并行处理等。
计算机系统1400可以进一步包括显示器1412，诸如液晶显示屏(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器、阴极射线管(CRT)、投影仪、打印机或任何现在已知的或将来被开发的用于输出被确定的信息的显示设备。显示器1412可以作为接口，使用户观看处理器1402的运行，或特定地作为具有被存储在存储器1404或驱动单元1408中的软件的接口。
此外，计算机系统1400可以包括输入设备1414，被配置用于允许用户与系统1400的任何部件进行交互。输入设备1414可以是数字键盘、键盘或光标控制设备，诸如鼠标、或控制杆、触屏显示、远端控制或和可操作与系统1400进行交互的任何其他设备。
计算机系统1400还可以包括盘或光驱动单元1408。盘驱动单元1408可以包括计算机可读介质1406，其中一个或多个指令集1410，
例如软件，能够被嵌入。进一步，指令1410可以执行如本文中所描述的一个或多个方法和逻辑。指令1410在由计算机系统1400执行期间，可以完全地或至少部分地驻留在存储器1404和/或处理器1402内。存储器1404和处理器1402还可以包括如上面所讨论的计算机可读介质。
本公开考虑的计算机可读介质1406，其包括指令1410或响应于被传播的信号接收和执行指令1410；以使得连接到网络1416的设备可以通过网络1416传送声音、视频、音频、图像或任何其他的数据。进一步，指令1410可以经由网络1416通过通信接口1418被传输或接收。通信接口1418可以是处理器1402的部分，或者可以是单独的部件。通信接口1418可以在软件中被创建，或者可以是硬件中的物理连接。通信接口1418可以被配置用于连接物理、外部介质、显示器1412、或系统1400中的任何其他部件，或其组合。和网络1416的连接可以是物理连接，诸如有线以太网连接，或者如下面所讨论的，可以被无线地建立。同样地，与系统1400的其他部件的附加的连接可以是物理连接，或者可以被无线地建立。
网络1416可以包括有线网络、无线网络或其组合。无线网络可以是蜂窝电话网络、802.11、802.16、802.20或WiMax网络。进一步，网络1416可以是公共网络，诸如因特网、诸如内部网的私人网络，或其组合，并且可以使用现存的多种网络协议或后来被开发的但不限于基于TCP/IP的网络协议。
计算机可读介质1406可以是单个介质，或者计算机可读介质1406可以是单个介质或多个介质，诸如集中式或分布式数据库，和/或存储一组或多组指令的关联的缓存和服务器。术语“计算机可读介质”还可以包括能够存储、编码或携带由处理器执行的指令集的任何介质，或者可以使得计算机系统执行本文中所公开的任何一个或多个方法或操作的任何介质。
计算机可读介质1406可以包括固态存储器，诸如存储卡或装有一个或多个非易失性只读存储器的其他封装。计算机可读介质1406还可以是随机存取存储器或其他易失性重读存储器。此外，计算机可读介质1406可以包括磁光或光介质，诸如盘、带、或捕捉诸如在传输介质上被传送的信号的载波信号的其他存储设备。电子邮件中的数字文件附件或其他自包含信息存档或一组存档可以被考虑为可以是有形存储介质的分布式介质。因此，本公开可以被考虑包括任何一个或多个计算机可读介质或分布式介质，和其他等效形式以及数据或指令可以被存储在其中的继承者介质。
备选地或附加地，专用硬件实施，诸如特定应用集成电路、可编程逻辑阵列和其他硬件设备，可以被构造以实施本文中所描述的一个或多个方法。包括各种实施例的装置和系统的应用可以广泛地包括多种电子和计算机系统。本文中所描述的一个或多个实施例可以使用两个或多个特定互连的、具有在模块之间或通过模块进行通信的相关的控制和数据信号的硬件模块或设备，或者作为特定应用集成电路的部分来实现功能。因此，本系统可以包含软件、固件和硬件实施。
本文中所描述的方法可以由计算机系统可执行的软件程序来实施。进一步，实施可以包括分布式处理、部件/对象分布式处理和并行处理。备选地或附加地，虚拟计算机系统处理可以被构造以实施如本文中所描述的一个或多个方法或功能。
虽然部件和功能被描述为可以参照特别的标准和协议被实施于特别的实施例，但是部件和功能不限于这些标准和协议。例如，用于因特网和其他包交换网络传输的标准(例如，TCP/IP、UDP/IP、HTML、HTTP)代表现有技术的示例。这些标准被基本上具有相同功能的更快的或更加有效的等价形式定期地替换。因此，具有和本文中所公开的那些相同或相似功能的替代标准和协议可以被考虑为其的等价形式。
本文中所描述的图示旨在于提供各种实施例的结构的一般性理解。图示不旨在于作为使用本文中所描述的结构或方法的装置、处理器和系统的所有元件和特征的完整描述。在看到本公开时许多其他的实施例对于本领域的技术人员而言是显而易见的。其他的实施例可以被利用并且来源于本公开，以使得在不背离本发明的范围的情况下，可以进行结构上的或逻辑上的替换和改变。此外，图示仅仅是代表性的，并且不是按比例绘制。图示内的某些比例可以被放大，然而其他比例可以被最小化。因此，本公开和图被认作图示性的，而非限制性的。
上面所公开的主题可以认为是说明性的，而非限制性的，并且所附的权利要求旨在于涵盖落入描述的真正精神和范围内的所有这些修改、提高和其他实施例。因此，为了最大化法律所允许的范围，通过下面权利要求和它们的等价形式的最广泛的可允许的阐释来确定范围，并且不应被上面详细的描述约束或限制。

Claims (21)

1.一种用于电子数据的分布式存储的系统，所述系统包括：
通信接口和与处理器相耦合的非瞬时存储器；
所述通信接口被配置用于接收来自用户的用户存储约束以及输入数据块；
所述存储器具有存储其上的：
一个或多个包括数据字段的输入数据块，
用户存储约束；以及
处理器可执行指令，当所述处理器可执行指令由所述处理器执行时包括：
混排器，其被配置用于使所述一个或多个输入数据块中的每个输入数据块的所述数据字段匿名化；
加密器，其被配置用于生成密码密钥以及使用所述密码密钥、基于所述用户存储约束和用户可选的加密等级对被匿名化的所述数据字段进行加密来获得包括密码文本数据块的密码文本文件；
擦除编码器，其被配置用于从所述密码文本数据块和擦除编码细节来生成编码的分块；
分布器，其被配置用于基于所述用户存储约束，将所述编码的分块分布至两个或多个存储提供者；以及生成针对分布式的所述编码的分块的分布细节。
2.根据权利要求1所述的系统，其中所述加密器进一步被配置用于生成针对所述密码文本文件的加密密钥，其中所述加密密钥包括：混排密钥、密码、擦除编码细节，以及分布细节；
其中所述通信接口向所述用户传达所述加密密钥。
3.根据权利要求2所述的系统，其中所述可执行指令进一步包括：
秘密共享器，其被配置用于从所述加密密钥生成一组秘密共享和秘密共享密钥；
秘密共享器分布器，其被配置用于向所述存储提供者分布所述秘密共享，其中将在所述存储提供者的每一个存储提供者处共同地存储的分布式的所述编码的分块和秘密共享标识为存储共享。
4.根据权利要求3所述的系统，其中所述用户存储约束包括：
客户类型，其标识所述用户的行业和所述输入数据块包括其中的数据类型；
针对所述用户的所述行业的域合规，其标识数据合规类型，所述数据合规类型包括HIPAA、金融或多媒体；
故障容差阈值；
安全类型，或安全阈值，或两者；
可取回性阈值，其标识取回存储的数据块的可能性；
可修复性阈值，其标识修复存储的数据块的可能性；
同步提供者攻击阈值，其标识聚合所述存储共享以再次生成传送给所述用户的所述加密密钥所需的、所述存储提供者的数目的子集；或者
针对所述输入数据块的存储和取回的预算；或者其任何组合。
5.根据权利要求3所述的系统，其中所述可执行指令进一步包括：
保护器；取回器；以及解码器。
6.根据权利要求5所述的系统，其中所述保护器被配置用于：
通过执行损坏或经修改块检测来询问所述存储共享，以测试分布式的所述编码的分块以及所述存储共享的秘密共享的可取回性；
对所述损坏或经修改块检测失败的分布式的所述编码的分块和秘密共享进行标记；以及
将所述损坏或经修改块检测失败的分布式的所述编码的分块和秘密共享传送给所述取回器。
7.根据权利要求6所述的系统，其中所述取回器被配置用于：
从所述存储提供者取回数个未损坏的数据共享；
从所述未损坏的数据共享的所述秘密共享再次生成所述加密密钥；
使用再次生成的所述加密密钥，从所述存储提供者取回所述未损坏的数据共享；
将取回的未损坏的分布式的所述编码的分块传送给所述解码器。
8.根据权利要求7所述的系统，其中所述解码器被配置用于：
对取回的未损坏的分布式的所述编码的分块进行解码以获得针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段；
对针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段进行再次编码；
将再次编码的分块传送给所述分布器，以基于所述用户存储约束将再次编码的所述分块分布至所述存储提供者；以及
生成针对分布式的再次编码的所述分块的分布细节。
9.一种用于电子数据的分布式存储的方法，包括：
使用通信接口将以下取回到与处理器耦合的永久存储中：
一个或多个包括数据字段的输入数据块；
用户存储约束；
使所述一个或多个输入数据块的每一个输入数据块的所述数据字段匿名化；
生成密码密钥，
使用所述密码密钥、基于所述用户存储约束和用户可选的加密等级对被匿名化的所述数据字段进行加密，以获得包括密码文本数据块的密码文本文件；
从所述密码文本数据块和擦除编码细节来生成编码的分块；
基于所述用户存储约束将所述编码的分块分布至两个或多个存储提供者；以及
针对分布式的所述编码的分块生成分布细节。
10.根据权利要求9所述的方法，进一步包括：
从混排密钥、密码、擦除编码细节以及分布细节生成针对所述密码文本文件的加密密钥；
通过通信接口将所述加密密钥传送给所述用户。
11.根据权利要求10所述的方法，进一步包括：
从所述加密密钥生成一组秘密共享和秘密共享密钥；
将所述秘密共享分布至所述存储提供者，其中在所述存储提供者的每一个存储提供者处共同地存储的分布式的所述编码的分块和秘密共享被标识为存储共享。
12.根据权利要求11所述的方法，其中所述用户存储约束包括：
客户类型，其标识所述用户的行业和所述输入数据块包括其中的数据类型；
针对所述用户的所述行业的域合规，其标识数据合规的类型，所述数据合规的类型包括HIPAA、金融或多媒体；
故障容差阈值；
安全类型，或安全阈值，或两者；
可取回性阈值，其标识取回存储的数据块的可能性；
可修复性阈值，其标识修复存储的数据块的可能性；
同步提供者攻击阈值，其标识聚合所述存储共享以再次生成传送给所述用户的所述加密密钥所需的、所述提供者的数目的子集；以及
针对所述输入数据块的存储和取回的预算。
13.根据权利要求11所述的方法，进一步包括：
通过执行损坏或经修改块检测来询问所述存储共享，以测试分布式的所述编码的分块和所述存储共享的秘密共享的可取回性；
对所述损坏或经修改块检测失败的分布式的所述编码的分块和秘密共享进行标记。
14.根据权利要求13所述的方法，进一步包括：
从所述存储提供者取回数个未损坏的数据共享；
从所述未损坏的数据共享的所述秘密共享再次生成所述加密密钥；
使用再次生成的所述加密密钥从所述存储提供者取回所述未损坏的数据共享。
15.根据权利要求14所述的方法，进一步包括：
对取回的未损坏的分布式的所述编码的分块进行解码，以获得针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段；
对针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段进行再次编码；
基于所述用户存储约束，将再次编码的分块布至所述存储提供者；以及
生成针对分布式再次编码的分块的分布细节；
从混排密钥、密码、擦除编码细节以及针对分布式再次编码的所述分块的分布细节生成针对所述密码文本文件的新的加密密钥；
从所述新的加密密钥生成新的一组秘密共享和新的秘密共享密钥；
将所述秘密共享分布至所述存储提供者；以及
将所述新的加密密钥传送给所述用户。
16.一种产品，包括：
具有存储其上的处理器可执行指令的计算机可读存储器，其中当所述指令由所述处理器执行时，所述指令使得所述处理器：
使用通信接口取回：
一个或多个包括数据字段的输入数据块；
用户存储约束；
使所述一个或多个输入数据块的每一个输入数据块的所述数据字段匿名化；
生成密码密钥，以及使用所述密码密钥、基于所述用户存储约束和用户可选的加密等级，对被匿名化的所述数据字段进行加密，以获得包括密码文本数据块的密码文本文件；
从所述密码文本数据块和擦除编码细节来生成编码的分块；
基于所述用户存储约束将所述编码的分块分布至两个或多个存储提供者；以及
针对分布式的所述编码的分块生成分布细节。
17.根据权利要求16所述的产品，其中所述指令进一步使得所述处理器：
从混排密钥、密码、擦除编码细节以及分布细节生成针对所述密码文本文件的加密密钥；
其中所述通信接口向所述用户传送所述加密密钥。
18.根据权利要求17所述的产品，其中所述指令进一步使得所述处理器：
从所述加密密钥生成一组秘密共享和秘密共享密钥；
将所述秘密共享分布至所述存储提供者，其中在所述存储提供者的每一个存储提供者处共同地存储的分布式的所述编码的分块和秘密共享被标识为存储共享。
19.根据权利要求18所述的产品，其中所述用户存储约束包括：
客户类型，其标识所述用户的行业和所述输入数据块包括其中的数据类型；
针对所述用户的所述行业的域合规，其标识数据合规的类型，所述数据合规的类型包括HIPAA、金融或多媒体；
故障容差阈值；
安全类型，或安全阈值，或两者；
可取回性阈值，其标识取回存储的数据块的可能性；
可修复性阈值，其标识修复存储的数据块的可能性；
同步提供者攻击阈值，其标识聚合所述存储共享以再次生成传送给所述用户的所述加密密钥所需的、所述提供者的数目的子集；以及
针对所述输入数据块的存储和取回的预算。
20.根据权利要求18所述的产品，其中所述指令进一步使得所述处理器：
通过执行损坏或经修改块检测来询问所述存储共享，以测试分布式的所述编码的分块和所述存储共享的秘密共享的可取回性；
对所述损坏或经修改块检测失败的分布式的所述编码的分块和秘密共享进行标记。
21.根据权利要求20所述的产品，其中所述指令进一步使得所述处理器：
从所述存储提供者取回数个未损坏的数据共享；
从所述未损坏的数据共享的所述秘密共享再次生成所述加密密钥；
使用再次生成的所述加密密钥从所述存储提供者取回所述未损坏的数据共享；
将取回的未损坏的分布式的所述编码的分块传送给解码器；
对取回的未损坏的分布式的所述编码的分块进行解码，以获得针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段；
对针对损坏的分布式的所述编码的分块的所述输入数据块的所述数据字段进行再次编码；
基于所述用户存储约束将再次编码的所述分块分布至所述存储提供者；以及
生成针对分布式再次编码的所述分块的分布细节。
CN201410016502.3A 2013-01-14 2014-01-14 安全在线分布式的数据存储服务 Active CN103929467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN184CH2013 2013-01-14
IN184/CHE/2013 2013-01-14

Publications (2)

Publication Number Publication Date
CN103929467A CN103929467A (zh) 2014-07-16
CN103929467B true CN103929467B (zh) 2019-04-19

Family

ID=49949533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410016502.3A Active CN103929467B (zh) 2013-01-14 2014-01-14 安全在线分布式的数据存储服务

Country Status (4)

Country Link
US (1) US9483657B2 (zh)
EP (1) EP2755161B1 (zh)
CN (1) CN103929467B (zh)
CA (1) CA2839072C (zh)

Families Citing this family (362)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9244769B2 (en) 2010-09-28 2016-01-26 Pure Storage, Inc. Offset protection data in a RAID array
US8775868B2 (en) 2010-09-28 2014-07-08 Pure Storage, Inc. Adaptive RAID for an SSD environment
US9374870B2 (en) 2012-09-12 2016-06-21 Sensity Systems Inc. Networked lighting infrastructure for sensing applications
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
US9436720B2 (en) 2013-01-10 2016-09-06 Pure Storage, Inc. Safety for volume operations
CN104937571A (zh) * 2013-03-27 2015-09-23 日立麦克赛尔株式会社 终端装置、程序、数据收发系统和数据收发方法
US10489071B2 (en) 2013-08-29 2019-11-26 Pure Storage, Inc. Vault provisioning within dispersed or distributed storage network (DSN)
US11630585B1 (en) 2016-08-25 2023-04-18 Pure Storage, Inc. Processing evacuation events in a storage array that includes a plurality of storage devices
US10574438B2 (en) * 2014-02-18 2020-02-25 Nippon Telegraph And Telephone Corporation Security apparatus, method thereof, and program
US20150235049A1 (en) * 2014-02-20 2015-08-20 International Business Machines Corporation Maintaining Data Privacy in a Shared Data Storage System
EP3117583A4 (en) 2014-03-08 2017-11-01 Diamanti, Inc. Methods and systems for converged networking and storage
US10628353B2 (en) 2014-03-08 2020-04-21 Diamanti, Inc. Enabling use of non-volatile media-express (NVMe) over a network
US11921658B2 (en) 2014-03-08 2024-03-05 Diamanti, Inc. Enabling use of non-volatile media-express (NVMe) over a network
US10635316B2 (en) 2014-03-08 2020-04-28 Diamanti, Inc. Methods and systems for data storage using solid state drives
US10152601B2 (en) * 2014-06-05 2018-12-11 International Business Machines Corporation Reliably recovering stored data in a dispersed storage network
CN105335441B (zh) * 2014-08-12 2019-04-30 阳平 基于局域网的分布式文件系统
US9912689B2 (en) 2014-08-27 2018-03-06 icebrg, inc. Anonymized network data collection and network threat assessment and monitoring systems and methods
US9489132B2 (en) 2014-10-07 2016-11-08 Pure Storage, Inc. Utilizing unmapped and unknown states in a replicated storage system
US10270735B2 (en) * 2014-10-10 2019-04-23 Microsoft Technology Licensing, Llc Distributed components in computing clusters
US9607171B2 (en) 2014-11-10 2017-03-28 International Business Machines Corporation Preventing sharing of sensitive information through code repositories
US10102086B2 (en) * 2014-12-19 2018-10-16 Futurewei Technologies, Inc. Replicated database distribution for workload balancing after cluster reconfiguration
US10198589B2 (en) * 2015-01-03 2019-02-05 Mcafee, Llc Secure distributed backup for personal device and cloud data
US9921910B2 (en) * 2015-02-19 2018-03-20 Netapp, Inc. Virtual chunk service based data recovery in a distributed data storage system
US11188665B2 (en) 2015-02-27 2021-11-30 Pure Storage, Inc. Using internal sensors to detect adverse interference and take defensive actions
US20160331023A1 (en) * 2015-05-11 2016-11-17 Lunatech, Llc Electronic Vaporizing Card
US10097522B2 (en) * 2015-05-21 2018-10-09 Nili Philipp Encrypted query-based access to data
US9716755B2 (en) 2015-05-26 2017-07-25 Pure Storage, Inc. Providing cloud storage array services by a local storage array in a data center
US11102298B1 (en) 2015-05-26 2021-08-24 Pure Storage, Inc. Locally providing cloud storage services for fleet management
US9594678B1 (en) 2015-05-27 2017-03-14 Pure Storage, Inc. Preventing duplicate entries of identical data in a storage device
US10437525B2 (en) * 2015-05-27 2019-10-08 California Institute Of Technology Communication efficient secret sharing
US10021170B2 (en) 2015-05-29 2018-07-10 Pure Storage, Inc. Managing a storage array using client-side services
US9444822B1 (en) * 2015-05-29 2016-09-13 Pure Storage, Inc. Storage array access control from cloud-based user authorization and authentication
US11503031B1 (en) 2015-05-29 2022-11-15 Pure Storage, Inc. Storage array access control from cloud-based user authorization and authentication
US9300660B1 (en) 2015-05-29 2016-03-29 Pure Storage, Inc. Providing authorization and authentication in a cloud for a user of a storage array
US9588691B2 (en) 2015-06-10 2017-03-07 Pure Storage, Inc. Dynamically managing control information in a storage device
US10270476B1 (en) 2015-06-16 2019-04-23 Amazon Technologies, Inc. Failure mode-sensitive layered redundancy coding techniques
US10298259B1 (en) 2015-06-16 2019-05-21 Amazon Technologies, Inc. Multi-layered data redundancy coding techniques
US9998150B1 (en) 2015-06-16 2018-06-12 Amazon Technologies, Inc. Layered data redundancy coding techniques for layer-local data recovery
US10977128B1 (en) 2015-06-16 2021-04-13 Amazon Technologies, Inc. Adaptive data loss mitigation for redundancy coding systems
US10270475B1 (en) 2015-06-16 2019-04-23 Amazon Technologies, Inc. Layered redundancy coding for encoded parity data
US9594512B1 (en) 2015-06-19 2017-03-14 Pure Storage, Inc. Attributing consumed storage capacity among entities storing data in a storage array
US10310740B2 (en) 2015-06-23 2019-06-04 Pure Storage, Inc. Aligning memory access operations to a geometry of a storage device
US9904589B1 (en) * 2015-07-01 2018-02-27 Amazon Technologies, Inc. Incremental media size extension for grid encoded data storage systems
US10198311B1 (en) 2015-07-01 2019-02-05 Amazon Technologies, Inc. Cross-datacenter validation of grid encoded data storage systems
US10296236B2 (en) 2015-07-01 2019-05-21 Pure Storage, Inc. Offloading device management responsibilities from a storage device in an array of storage devices
US10162704B1 (en) 2015-07-01 2018-12-25 Amazon Technologies, Inc. Grid encoded data storage systems for efficient data repair
US9998539B1 (en) 2015-07-01 2018-06-12 Amazon Technologies, Inc. Non-parity in grid encoded data storage systems
US9959167B1 (en) 2015-07-01 2018-05-01 Amazon Technologies, Inc. Rebundling grid encoded data storage systems
US10108819B1 (en) 2015-07-01 2018-10-23 Amazon Technologies, Inc. Cross-datacenter extension of grid encoded data storage systems
US10394762B1 (en) 2015-07-01 2019-08-27 Amazon Technologies, Inc. Determining data redundancy in grid encoded data storage systems
US10089176B1 (en) 2015-07-01 2018-10-02 Amazon Technologies, Inc. Incremental updates of grid encoded data storage systems
WO2017001870A1 (en) * 2015-07-02 2017-01-05 Payfont Limited Resilient secret sharing cloud based architecture for data vault
US10235240B2 (en) * 2015-07-03 2019-03-19 Acronis International Gmbh System and method of reliable distributed data storage with controlled redundancy
CN105072157A (zh) * 2015-07-15 2015-11-18 柳州首光科技有限公司 具有隐私保护功能的基于网络的数据存储系统
US9892071B2 (en) 2015-08-03 2018-02-13 Pure Storage, Inc. Emulating a remote direct memory access (‘RDMA’) link between controllers in a storage array
US9851762B1 (en) 2015-08-06 2017-12-26 Pure Storage, Inc. Compliant printed circuit board (‘PCB’) within an enclosure
US11294588B1 (en) 2015-08-24 2022-04-05 Pure Storage, Inc. Placing data within a storage device
JP6610082B2 (ja) * 2015-08-24 2019-11-27 富士ゼロックス株式会社 中継装置及び中継処理プログラム
US11625181B1 (en) 2015-08-24 2023-04-11 Pure Storage, Inc. Data tiering using snapshots
US10198194B2 (en) 2015-08-24 2019-02-05 Pure Storage, Inc. Placing data within a storage device of a flash array
SG10201607160PA (en) * 2015-08-28 2017-03-30 Xiaohui Liu Systems and Methods for Unified Storage Services
US9928141B1 (en) 2015-09-21 2018-03-27 Amazon Technologies, Inc. Exploiting variable media size in grid encoded data storage systems
US11386060B1 (en) 2015-09-23 2022-07-12 Amazon Technologies, Inc. Techniques for verifiably processing data in distributed computing systems
US9940474B1 (en) 2015-09-29 2018-04-10 Amazon Technologies, Inc. Techniques and systems for data segregation in data storage systems
US9680809B2 (en) * 2015-10-12 2017-06-13 International Business Machines Corporation Secure data storage on a cloud environment
US9384082B1 (en) 2015-10-23 2016-07-05 Pure Storage, Inc. Proactively providing corrective measures for storage arrays
US10514978B1 (en) 2015-10-23 2019-12-24 Pure Storage, Inc. Automatic deployment of corrective measures for storage arrays
US11360844B1 (en) 2015-10-23 2022-06-14 Pure Storage, Inc. Recovery of a container storage provider
US9942315B2 (en) 2015-10-27 2018-04-10 International Business Machines Corporation Anonymous peer storage
US10284232B2 (en) 2015-10-28 2019-05-07 Pure Storage, Inc. Dynamic error processing in a storage device
US10374868B2 (en) 2015-10-29 2019-08-06 Pure Storage, Inc. Distributed command processing in a flash storage system
US9740414B2 (en) 2015-10-29 2017-08-22 Pure Storage, Inc. Optimizing copy operations
US10353777B2 (en) 2015-10-30 2019-07-16 Pure Storage, Inc. Ensuring crash-safe forward progress of a system configuration update
US11762764B1 (en) 2015-12-02 2023-09-19 Pure Storage, Inc. Writing data in a storage system that includes a first type of storage device and a second type of storage device
US9760479B2 (en) 2015-12-02 2017-09-12 Pure Storage, Inc. Writing data in a storage system that includes a first type of storage device and a second type of storage device
US10394789B1 (en) 2015-12-07 2019-08-27 Amazon Technologies, Inc. Techniques and systems for scalable request handling in data processing systems
US10122832B2 (en) 2015-12-07 2018-11-06 International Business Machines Corporation Communications of usernames and passwords to a plurality of cloud storages via a plurality of communications protocols that change over time
US10013181B2 (en) 2015-12-07 2018-07-03 International Business Machines Corporation Distributed storage of data in a local storage and a heterogeneous cloud
US10171585B2 (en) 2015-12-07 2019-01-01 International Business Machines Corporation Method, system, and computer program product for distributed storage of data in a heterogeneous cloud
US11616834B2 (en) 2015-12-08 2023-03-28 Pure Storage, Inc. Efficient replication of a dataset to the cloud
US10326836B2 (en) 2015-12-08 2019-06-18 Pure Storage, Inc. Partially replicating a snapshot between storage systems
US10642813B1 (en) 2015-12-14 2020-05-05 Amazon Technologies, Inc. Techniques and systems for storage and processing of operational data
US10162835B2 (en) 2015-12-15 2018-12-25 Pure Storage, Inc. Proactive management of a plurality of storage arrays in a multi-array system
US11347697B1 (en) 2015-12-15 2022-05-31 Pure Storage, Inc. Proactively optimizing a storage system
US10248793B1 (en) 2015-12-16 2019-04-02 Amazon Technologies, Inc. Techniques and systems for durable encryption and deletion in data storage systems
US10324790B1 (en) 2015-12-17 2019-06-18 Amazon Technologies, Inc. Flexible data storage device mapping for data storage systems
US10235402B1 (en) 2015-12-17 2019-03-19 Amazon Technologies, Inc. Techniques for combining grid-encoded data storage systems
US10180912B1 (en) * 2015-12-17 2019-01-15 Amazon Technologies, Inc. Techniques and systems for data segregation in redundancy coded data storage systems
US10127105B1 (en) 2015-12-17 2018-11-13 Amazon Technologies, Inc. Techniques for extending grids in data storage systems
US10102065B1 (en) 2015-12-17 2018-10-16 Amazon Technologies, Inc. Localized failure mode decorrelation in redundancy encoded data storage systems
US10007577B2 (en) * 2015-12-21 2018-06-26 Intel Corporation Methods and apparatus to facilitate distributed data backup
US10346043B2 (en) 2015-12-28 2019-07-09 Pure Storage, Inc. Adaptive computing for data compression
CN105718808A (zh) * 2016-01-18 2016-06-29 天津科技大学 一种基于多网盘的文件加密存储系统及方法
US9886314B2 (en) 2016-01-28 2018-02-06 Pure Storage, Inc. Placing workloads in a multi-array system
US11455097B2 (en) * 2016-01-28 2022-09-27 Weka.IO Ltd. Resource monitoring in a distributed storage system
US10572460B2 (en) 2016-02-11 2020-02-25 Pure Storage, Inc. Compressing data in dependence upon characteristics of a storage system
US9760297B2 (en) 2016-02-12 2017-09-12 Pure Storage, Inc. Managing input/output (‘I/O’) queues in a data storage system
US9959043B2 (en) 2016-03-16 2018-05-01 Pure Storage, Inc. Performing a non-disruptive upgrade of data in a storage system
US11995315B2 (en) 2016-03-16 2024-05-28 Pure Storage, Inc. Converting data formats in a storage system
US10592336B1 (en) 2016-03-24 2020-03-17 Amazon Technologies, Inc. Layered indexing for asynchronous retrieval of redundancy coded data
US10366062B1 (en) 2016-03-28 2019-07-30 Amazon Technologies, Inc. Cycled clustering for redundancy coded data storage systems
US10061668B1 (en) 2016-03-28 2018-08-28 Amazon Technologies, Inc. Local storage clustering for redundancy coded data storage system
US10678664B1 (en) 2016-03-28 2020-06-09 Amazon Technologies, Inc. Hybridized storage operation for redundancy coded data storage systems
US10110258B2 (en) 2016-03-30 2018-10-23 EMC IP Holding Company LLC Accelerated erasure coding for storage systems
US11112990B1 (en) 2016-04-27 2021-09-07 Pure Storage, Inc. Managing storage device evacuation
US11809727B1 (en) 2016-04-27 2023-11-07 Pure Storage, Inc. Predicting failures in a storage system that includes a plurality of storage devices
US9841921B2 (en) 2016-04-27 2017-12-12 Pure Storage, Inc. Migrating data in a storage array that includes a plurality of storage devices
US9811264B1 (en) 2016-04-28 2017-11-07 Pure Storage, Inc. Deploying client-specific applications in a storage system utilizing redundant system resources
US10303390B1 (en) 2016-05-02 2019-05-28 Pure Storage, Inc. Resolving fingerprint collisions in flash storage system
US10116629B2 (en) 2016-05-16 2018-10-30 Carbonite, Inc. Systems and methods for obfuscation of data via an aggregation of cloud storage services
US11100107B2 (en) 2016-05-16 2021-08-24 Carbonite, Inc. Systems and methods for secure file management via an aggregation of cloud storage services
US10264072B2 (en) 2016-05-16 2019-04-16 Carbonite, Inc. Systems and methods for processing-based file distribution in an aggregation of cloud storage services
US10356158B2 (en) 2016-05-16 2019-07-16 Carbonite, Inc. Systems and methods for aggregation of cloud storage
US10404798B2 (en) 2016-05-16 2019-09-03 Carbonite, Inc. Systems and methods for third-party policy-based file distribution in an aggregation of cloud storage services
US11231858B2 (en) 2016-05-19 2022-01-25 Pure Storage, Inc. Dynamically configuring a storage system to facilitate independent scaling of resources
US9507532B1 (en) 2016-05-20 2016-11-29 Pure Storage, Inc. Migrating data in a storage array that includes a plurality of storage devices and a plurality of write buffer devices
US10691567B2 (en) 2016-06-03 2020-06-23 Pure Storage, Inc. Dynamically forming a failure domain in a storage system that includes a plurality of blades
US10248326B2 (en) * 2016-06-29 2019-04-02 EMC IP Holding Company LLC Incremental erasure coding for storage systems
US10152376B2 (en) 2016-06-29 2018-12-11 EMC IP Holding Company LLC Data object recovery for storage systems
US10452310B1 (en) 2016-07-13 2019-10-22 Pure Storage, Inc. Validating cabling for storage component admission to a storage array
US11706895B2 (en) 2016-07-19 2023-07-18 Pure Storage, Inc. Independent scaling of compute resources and storage resources in a storage system
US10459652B2 (en) 2016-07-27 2019-10-29 Pure Storage, Inc. Evacuating blades in a storage array that includes a plurality of blades
US10474363B1 (en) 2016-07-29 2019-11-12 Pure Storage, Inc. Space reporting in a storage system
EP3482336A4 (en) * 2016-08-02 2019-12-04 Paul Lewis JURISDICTION INDEPENDENT DATA STORAGE IN A MULTI-VENDOR-CLOUD ENVIRONMENT
US11960348B2 (en) 2016-09-07 2024-04-16 Pure Storage, Inc. Cloud-based monitoring of hardware components in a fleet of storage systems
US11531577B1 (en) 2016-09-07 2022-12-20 Pure Storage, Inc. Temporarily limiting access to a storage device
US10908966B1 (en) 2016-09-07 2021-02-02 Pure Storage, Inc. Adapting target service times in a storage system
US10235229B1 (en) 2016-09-07 2019-03-19 Pure Storage, Inc. Rehabilitating storage devices in a storage array that includes a plurality of storage devices
US11886922B2 (en) 2016-09-07 2024-01-30 Pure Storage, Inc. Scheduling input/output operations for a storage system
US10146585B2 (en) 2016-09-07 2018-12-04 Pure Storage, Inc. Ensuring the fair utilization of system resources using workload based, time-independent scheduling
US10671439B1 (en) 2016-09-07 2020-06-02 Pure Storage, Inc. Workload planning with quality-of-service (‘QOS’) integration
US11481261B1 (en) 2016-09-07 2022-10-25 Pure Storage, Inc. Preventing extended latency in a storage system
US10331588B2 (en) 2016-09-07 2019-06-25 Pure Storage, Inc. Ensuring the appropriate utilization of system resources using weighted workload based, time-independent scheduling
US11137980B1 (en) 2016-09-27 2021-10-05 Amazon Technologies, Inc. Monotonic time-based data storage
US11204895B1 (en) 2016-09-28 2021-12-21 Amazon Technologies, Inc. Data payload clustering for data storage systems
US11281624B1 (en) 2016-09-28 2022-03-22 Amazon Technologies, Inc. Client-based batching of data payload
US10810157B1 (en) 2016-09-28 2020-10-20 Amazon Technologies, Inc. Command aggregation for data storage operations
US10496327B1 (en) 2016-09-28 2019-12-03 Amazon Technologies, Inc. Command parallelization for data storage systems
US10657097B1 (en) 2016-09-28 2020-05-19 Amazon Technologies, Inc. Data payload aggregation for data storage systems
US10437790B1 (en) 2016-09-28 2019-10-08 Amazon Technologies, Inc. Contextual optimization for data storage systems
US10614239B2 (en) 2016-09-30 2020-04-07 Amazon Technologies, Inc. Immutable cryptographically secured ledger-backed databases
US11379132B1 (en) 2016-10-20 2022-07-05 Pure Storage, Inc. Correlating medical sensor data
US10007459B2 (en) 2016-10-20 2018-06-26 Pure Storage, Inc. Performance tuning in a storage system that includes one or more storage devices
US10531286B2 (en) * 2016-10-24 2020-01-07 Facebook, Inc. Methods and systems for auto-completion of anonymized strings
US10296764B1 (en) 2016-11-18 2019-05-21 Amazon Technologies, Inc. Verifiable cryptographically secured ledgers for human resource systems
US11620075B2 (en) 2016-11-22 2023-04-04 Pure Storage, Inc. Providing application aware storage
US10162566B2 (en) 2016-11-22 2018-12-25 Pure Storage, Inc. Accumulating application-level statistics in a storage system
US11269888B1 (en) 2016-11-28 2022-03-08 Amazon Technologies, Inc. Archival data storage for structured data
US10564883B2 (en) 2016-12-13 2020-02-18 EMC IP Holding Company LLC Efficient migration to distributed storage
US10198205B1 (en) 2016-12-19 2019-02-05 Pure Storage, Inc. Dynamically adjusting a number of storage devices utilized to simultaneously service write operations
US11461273B1 (en) 2016-12-20 2022-10-04 Pure Storage, Inc. Modifying storage distribution in a storage system that includes one or more storage devices
US10489307B2 (en) 2017-01-05 2019-11-26 Pure Storage, Inc. Periodically re-encrypting user data stored on a storage device
US11307998B2 (en) 2017-01-09 2022-04-19 Pure Storage, Inc. Storage efficiency of encrypted host system data
US10503700B1 (en) 2017-01-19 2019-12-10 Pure Storage, Inc. On-demand content filtering of snapshots within a storage system
US11340800B1 (en) 2017-01-19 2022-05-24 Pure Storage, Inc. Content masking in a storage system
US11163624B2 (en) 2017-01-27 2021-11-02 Pure Storage, Inc. Dynamically adjusting an amount of log data generated for a storage system
US10419225B2 (en) 2017-01-30 2019-09-17 Factom, Inc. Validating documents via blockchain
US10411897B2 (en) * 2017-02-17 2019-09-10 Factom, Inc. Secret sharing via blockchains
US11025596B1 (en) 2017-03-02 2021-06-01 Apple Inc. Cloud messaging system
US11803453B1 (en) 2017-03-10 2023-10-31 Pure Storage, Inc. Using host connectivity states to avoid queuing I/O requests
US10503427B2 (en) 2017-03-10 2019-12-10 Pure Storage, Inc. Synchronously replicating datasets and other managed objects to cloud-based storage systems
US10454810B1 (en) 2017-03-10 2019-10-22 Pure Storage, Inc. Managing host definitions across a plurality of storage systems
US12056383B2 (en) 2017-03-10 2024-08-06 Pure Storage, Inc. Edge management service
US11169727B1 (en) 2017-03-10 2021-11-09 Pure Storage, Inc. Synchronous replication between storage systems with virtualized storage
US11941279B2 (en) 2017-03-10 2024-03-26 Pure Storage, Inc. Data path virtualization
US11089105B1 (en) 2017-12-14 2021-08-10 Pure Storage, Inc. Synchronously replicating datasets in cloud-based storage systems
US11442825B2 (en) 2017-03-10 2022-09-13 Pure Storage, Inc. Establishing a synchronous replication relationship between two or more storage systems
US11675520B2 (en) 2017-03-10 2023-06-13 Pure Storage, Inc. Application replication among storage systems synchronously replicating a dataset
US10521344B1 (en) 2017-03-10 2019-12-31 Pure Storage, Inc. Servicing input/output (‘I/O’) operations directed to a dataset that is synchronized across a plurality of storage systems
US10817873B2 (en) 2017-03-22 2020-10-27 Factom, Inc. Auditing of electronic documents
US10459664B1 (en) 2017-04-10 2019-10-29 Pure Storage, Inc. Virtualized copy-by-reference
US9910618B1 (en) 2017-04-10 2018-03-06 Pure Storage, Inc. Migrating applications executing on a storage system
EP4057148A1 (en) * 2017-04-27 2022-09-14 Google LLC Efficient oblivious permutation
US11868629B1 (en) 2017-05-05 2024-01-09 Pure Storage, Inc. Storage system sizing service
US10579495B2 (en) 2017-05-18 2020-03-03 California Institute Of Technology Systems and methods for transmitting data using encoder cooperation in the presence of state information
KR101993309B1 (ko) * 2017-06-02 2019-06-26 (주)오투팜 클라우드계정을 이용한 서비스내부데이터 저장방법 및 프로그램
US10552090B2 (en) 2017-09-07 2020-02-04 Pure Storage, Inc. Solid state drives with multiple types of addressable memory
US11609718B1 (en) 2017-06-12 2023-03-21 Pure Storage, Inc. Identifying valid data after a storage system recovery
US12061822B1 (en) 2017-06-12 2024-08-13 Pure Storage, Inc. Utilizing volume-level policies in a storage system
WO2018231350A1 (en) 2017-06-12 2018-12-20 Pure Storage, Inc. Accessible fast durable storage integrated into a bulk storage device
US10613791B2 (en) 2017-06-12 2020-04-07 Pure Storage, Inc. Portable snapshot replication between storage systems
US10976962B2 (en) 2018-03-15 2021-04-13 Pure Storage, Inc. Servicing I/O operations in a cloud-based storage system
US11592991B2 (en) 2017-09-07 2023-02-28 Pure Storage, Inc. Converting raid data between persistent storage types
US11442669B1 (en) 2018-03-15 2022-09-13 Pure Storage, Inc. Orchestrating a virtual storage system
US10884636B1 (en) 2017-06-12 2021-01-05 Pure Storage, Inc. Presenting workload performance in a storage system
US10853148B1 (en) 2017-06-12 2020-12-01 Pure Storage, Inc. Migrating workloads between a plurality of execution environments
US11016824B1 (en) 2017-06-12 2021-05-25 Pure Storage, Inc. Event identification with out-of-order reporting in a cloud-based environment
US11340939B1 (en) 2017-06-12 2022-05-24 Pure Storage, Inc. Application-aware analytics for storage systems
US11210133B1 (en) 2017-06-12 2021-12-28 Pure Storage, Inc. Workload mobility between disparate execution environments
US11422731B1 (en) 2017-06-12 2022-08-23 Pure Storage, Inc. Metadata-based replication of a dataset
US10417092B2 (en) 2017-09-07 2019-09-17 Pure Storage, Inc. Incremental RAID stripe update parity calculation
US11989429B1 (en) 2017-06-12 2024-05-21 Pure Storage, Inc. Recommending changes to a storage system
US12086650B2 (en) 2017-06-12 2024-09-10 Pure Storage, Inc. Workload placement based on carbon emissions
US10587590B2 (en) 2017-06-12 2020-03-10 Seagate Technology Llc Tracking of data erasures
US12086651B2 (en) 2017-06-12 2024-09-10 Pure Storage, Inc. Migrating workloads using active disaster recovery
US11593036B2 (en) 2017-06-12 2023-02-28 Pure Storage, Inc. Staging data within a unified storage element
CN109150792B (zh) * 2017-06-15 2022-03-08 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
US10289310B2 (en) 2017-06-27 2019-05-14 Western Digital Technologies, Inc. Hybrid data storage system with private storage cloud and public storage cloud
US10733061B2 (en) 2017-06-27 2020-08-04 Western Digital Technologies, Inc. Hybrid data storage system with private storage cloud and public storage cloud
US11561714B1 (en) 2017-07-05 2023-01-24 Pure Storage, Inc. Storage efficiency driven migration
GB201711878D0 (en) * 2017-07-24 2017-09-06 Nchain Holdings Ltd Computer - implemented system and method
US11477280B1 (en) 2017-07-26 2022-10-18 Pure Storage, Inc. Integrating cloud storage services
EP3665606B1 (en) * 2017-08-10 2024-03-27 Shardsecure, Inc., A Delaware, US Corporation Method for securing data utilizing microshard fragmentation
US10831935B2 (en) 2017-08-31 2020-11-10 Pure Storage, Inc. Encryption management with host-side data reduction
US11171665B2 (en) 2017-09-11 2021-11-09 Nyriad Limited Dictionary-based data compression
US11494692B1 (en) 2018-03-26 2022-11-08 Pure Storage, Inc. Hyperscale artificial intelligence and machine learning infrastructure
US10452444B1 (en) 2017-10-19 2019-10-22 Pure Storage, Inc. Storage system with compute resources and shared storage resources
US12067466B2 (en) 2017-10-19 2024-08-20 Pure Storage, Inc. Artificial intelligence and machine learning hyperscale infrastructure
US10671435B1 (en) 2017-10-19 2020-06-02 Pure Storage, Inc. Data transformation caching in an artificial intelligence infrastructure
US11861423B1 (en) 2017-10-19 2024-01-02 Pure Storage, Inc. Accelerating artificial intelligence (‘AI’) workflows
US11455168B1 (en) 2017-10-19 2022-09-27 Pure Storage, Inc. Batch building for deep learning training workloads
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
JP7032908B2 (ja) * 2017-10-24 2022-03-09 株式会社Nobori 医療情報転送システム及び医療情報転送方法
US10467107B1 (en) 2017-11-01 2019-11-05 Pure Storage, Inc. Maintaining metadata resiliency among storage device failures
US10484174B1 (en) 2017-11-01 2019-11-19 Pure Storage, Inc. Protecting an encryption key for data stored in a storage system that includes a plurality of storage devices
US10817392B1 (en) 2017-11-01 2020-10-27 Pure Storage, Inc. Ensuring resiliency to storage device failures in a storage system that includes a plurality of storage devices
US10671494B1 (en) 2017-11-01 2020-06-02 Pure Storage, Inc. Consistent selection of replicated datasets during storage system recovery
US10509581B1 (en) 2017-11-01 2019-12-17 Pure Storage, Inc. Maintaining write consistency in a multi-threaded storage system
US10929226B1 (en) 2017-11-21 2021-02-23 Pure Storage, Inc. Providing for increased flexibility for large scale parity
US10990282B1 (en) 2017-11-28 2021-04-27 Pure Storage, Inc. Hybrid data tiering with cloud storage
US10936238B2 (en) 2017-11-28 2021-03-02 Pure Storage, Inc. Hybrid data tiering
US10795598B1 (en) 2017-12-07 2020-10-06 Pure Storage, Inc. Volume migration for storage systems synchronously replicating a dataset
US11036677B1 (en) 2017-12-14 2021-06-15 Pure Storage, Inc. Replicated data integrity
US10929031B2 (en) 2017-12-21 2021-02-23 Pure Storage, Inc. Maximizing data reduction in a partially encrypted volume
US10924511B2 (en) * 2018-01-30 2021-02-16 EMC IP Holding Company LLC Systems and methods of chunking data for secure data storage across multiple cloud providers
US10992533B1 (en) 2018-01-30 2021-04-27 Pure Storage, Inc. Policy based path management
US20190238323A1 (en) * 2018-01-31 2019-08-01 Nutanix, Inc. Key managers for distributed computing systems using key sharing techniques
US11861170B2 (en) 2018-03-05 2024-01-02 Pure Storage, Inc. Sizing resources for a replication target
US11972134B2 (en) 2018-03-05 2024-04-30 Pure Storage, Inc. Resource utilization using normalized input/output (‘I/O’) operations
US10521151B1 (en) 2018-03-05 2019-12-31 Pure Storage, Inc. Determining effective space utilization in a storage system
US10942650B1 (en) 2018-03-05 2021-03-09 Pure Storage, Inc. Reporting capacity utilization in a storage system
US11150834B1 (en) 2018-03-05 2021-10-19 Pure Storage, Inc. Determining storage consumption in a storage system
US10296258B1 (en) 2018-03-09 2019-05-21 Pure Storage, Inc. Offloading data storage to a decentralized storage network
US11048590B1 (en) 2018-03-15 2021-06-29 Pure Storage, Inc. Data consistency during recovery in a cloud-based storage system
US11288138B1 (en) 2018-03-15 2022-03-29 Pure Storage, Inc. Recovery from a system fault in a cloud-based storage system
US10917471B1 (en) 2018-03-15 2021-02-09 Pure Storage, Inc. Active membership in a cloud-based storage system
US12066900B2 (en) 2018-03-15 2024-08-20 Pure Storage, Inc. Managing disaster recovery to cloud computing environment
US11210009B1 (en) 2018-03-15 2021-12-28 Pure Storage, Inc. Staging data in a cloud-based storage system
US10924548B1 (en) 2018-03-15 2021-02-16 Pure Storage, Inc. Symmetric storage using a cloud-based storage system
US11095706B1 (en) 2018-03-21 2021-08-17 Pure Storage, Inc. Secure cloud-based storage system management
US11171950B1 (en) 2018-03-21 2021-11-09 Pure Storage, Inc. Secure cloud-based storage system management
US10838833B1 (en) 2018-03-26 2020-11-17 Pure Storage, Inc. Providing for high availability in a data analytics pipeline without replicas
JP3230238U (ja) * 2018-04-10 2021-01-14 ブラック ゴールド コイン インコーポレイテッドＢｌａｃｋ Ｇｏｌｄ Ｃｏｉｎ， Ｉｎｃ． 電子データを安全に格納するシステム
US11593496B2 (en) * 2018-04-23 2023-02-28 EMC IP Holding Company LLC Decentralized data protection system for multi-cloud computing environment
US11436344B1 (en) 2018-04-24 2022-09-06 Pure Storage, Inc. Secure encryption in deduplication cluster
US11392553B1 (en) 2018-04-24 2022-07-19 Pure Storage, Inc. Remote data management
US11170366B2 (en) 2018-05-18 2021-11-09 Inveniam Capital Partners, Inc. Private blockchain services
CN108664223B (zh) * 2018-05-18 2021-07-02 百度在线网络技术（北京）有限公司 一种分布式存储方法、装置、计算机设备及存储介质
US10783164B2 (en) 2018-05-18 2020-09-22 Factom, Inc. Import and export in blockchain environments
US11134120B2 (en) 2018-05-18 2021-09-28 Inveniam Capital Partners, Inc. Load balancing in blockchain environments
US20190354628A1 (en) 2018-05-21 2019-11-21 Pure Storage, Inc. Asynchronous replication of synchronously replicated data
US11675503B1 (en) 2018-05-21 2023-06-13 Pure Storage, Inc. Role-based data access
US11954220B2 (en) 2018-05-21 2024-04-09 Pure Storage, Inc. Data protection for container storage
US12086431B1 (en) 2018-05-21 2024-09-10 Pure Storage, Inc. Selective communication protocol layering for synchronous replication
US11455409B2 (en) 2018-05-21 2022-09-27 Pure Storage, Inc. Storage layer data obfuscation
US10871922B2 (en) 2018-05-22 2020-12-22 Pure Storage, Inc. Integrated storage management between storage systems and container orchestrators
US11403000B1 (en) 2018-07-20 2022-08-02 Pure Storage, Inc. Resiliency in a cloud-based storage system
US11416298B1 (en) 2018-07-20 2022-08-16 Pure Storage, Inc. Providing application-specific storage by a storage system
US11632360B1 (en) 2018-07-24 2023-04-18 Pure Storage, Inc. Remote access to a storage device
US11146564B1 (en) 2018-07-24 2021-10-12 Pure Storage, Inc. Login authentication in a cloud storage platform
US11954238B1 (en) 2018-07-24 2024-04-09 Pure Storage, Inc. Role-based access control for a storage system
US10824740B2 (en) 2018-07-30 2020-11-03 EMC IP Holding Company LLC Decentralized policy publish and query system for multi-cloud computing environment
US10783022B2 (en) 2018-08-03 2020-09-22 EMC IP Holding Company LLC Immediate replication for dedicated data blocks
US11348097B2 (en) 2018-08-06 2022-05-31 Inveniam Capital Partners, Inc. Digital contracts in blockchain environments
US11989208B2 (en) 2018-08-06 2024-05-21 Inveniam Capital Partners, Inc. Transactional sharding of blockchain transactions
US11328290B2 (en) 2018-08-06 2022-05-10 Inveniam Capital Partners, Inc. Stable cryptocurrency coinage
US11409892B2 (en) 2018-08-30 2022-08-09 International Business Machines Corporation Enhancing security during access and retrieval of data with multi-cloud storage
US10402573B1 (en) * 2018-09-07 2019-09-03 United States Of America As Represented By The Secretary Of The Navy Breach resistant data storage system and method
US11860820B1 (en) 2018-09-11 2024-01-02 Pure Storage, Inc. Processing data through a storage system in a data pipeline
CN109491591A (zh) * 2018-09-17 2019-03-19 广东工业大学 一种适于多云存储系统的信息扩散方法
CN109412754B (zh) * 2018-10-22 2020-09-18 北京理工大学 一种编码云的数据存储、分发以及访问方法
US12026381B2 (en) 2018-10-26 2024-07-02 Pure Storage, Inc. Preserving identities and policies across replication
US10671302B1 (en) 2018-10-26 2020-06-02 Pure Storage, Inc. Applying a rate limit across a plurality of storage systems
US11017108B2 (en) * 2018-10-30 2021-05-25 International Business Machines Corporation Storage unification with security management
GB201818585D0 (en) * 2018-11-14 2018-12-26 Exate Tech Limited Distributed data storage system, data router and method
JP7190336B2 (ja) * 2018-11-15 2022-12-15 富士通株式会社 通信装置、通信方法、および通信プログラム
US11526405B1 (en) 2018-11-18 2022-12-13 Pure Storage, Inc. Cloud-based disaster recovery
US11023179B2 (en) 2018-11-18 2021-06-01 Pure Storage, Inc. Cloud-based storage system storage management
US12026060B1 (en) 2018-11-18 2024-07-02 Pure Storage, Inc. Reverting between codified states in a cloud-based storage system
US10963189B1 (en) 2018-11-18 2021-03-30 Pure Storage, Inc. Coalescing write operations in a cloud-based storage system
US12026061B1 (en) 2018-11-18 2024-07-02 Pure Storage, Inc. Restoring a cloud-based storage system to a selected state
US11340837B1 (en) 2018-11-18 2022-05-24 Pure Storage, Inc. Storage system management via a remote console
US11650749B1 (en) 2018-12-17 2023-05-16 Pure Storage, Inc. Controlling access to sensitive data in a shared dataset
US11003369B1 (en) 2019-01-14 2021-05-11 Pure Storage, Inc. Performing a tune-up procedure on a storage device during a boot process
CN109981741A (zh) * 2019-02-26 2019-07-05 启迪云计算有限公司 一种分布式存储系统的维护方法
US11042452B1 (en) 2019-03-20 2021-06-22 Pure Storage, Inc. Storage system data recovery using data recovery as a service
US11221778B1 (en) 2019-04-02 2022-01-11 Pure Storage, Inc. Preparing data for deduplication
US11068162B1 (en) 2019-04-09 2021-07-20 Pure Storage, Inc. Storage management in a cloud data store
US11392555B2 (en) 2019-05-15 2022-07-19 Pure Storage, Inc. Cloud-based file services
US11327676B1 (en) 2019-07-18 2022-05-10 Pure Storage, Inc. Predictive data streaming in a virtual storage system
US11853266B2 (en) 2019-05-15 2023-12-26 Pure Storage, Inc. Providing a file system in a cloud environment
US11126364B2 (en) 2019-07-18 2021-09-21 Pure Storage, Inc. Virtual storage system architecture
US11138158B2 (en) 2019-05-20 2021-10-05 Callplex, Inc. Binding a local data storage device to remote data storage
KR102451053B1 (ko) * 2019-05-22 2022-10-05 묘타, 인크. 보안, 복원, 및 제어가 강화된 분산된 데이터 스토리지를 위한 방법 및 시스템(method and system for distributed data storage with enhanced security, resilience, and control)
CN110289949A (zh) * 2019-05-23 2019-09-27 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） 密钥管理方法及装置
US12001355B1 (en) 2019-05-24 2024-06-04 Pure Storage, Inc. Chunked memory efficient storage data transfers
US10929051B2 (en) 2019-05-31 2021-02-23 International Business Machines Corporation Data storage across a plurality of cloud storage systems
CN112231778A (zh) * 2019-07-15 2021-01-15 丁爱民 一种基于raid系统的数据防泄漏安全保密方法及装置
US11487715B1 (en) 2019-07-18 2022-11-01 Pure Storage, Inc. Resiliency in a cloud-based storage system
US11526408B2 (en) 2019-07-18 2022-12-13 Pure Storage, Inc. Data recovery in a virtual storage system
US11861221B1 (en) 2019-07-18 2024-01-02 Pure Storage, Inc. Providing scalable and reliable container-based storage services
US11550514B2 (en) 2019-07-18 2023-01-10 Pure Storage, Inc. Efficient transfers between tiers of a virtual storage system
US11422751B2 (en) 2019-07-18 2022-08-23 Pure Storage, Inc. Creating a virtual storage system
US11093139B1 (en) 2019-07-18 2021-08-17 Pure Storage, Inc. Durably storing data within a virtual storage system
US11086553B1 (en) 2019-08-28 2021-08-10 Pure Storage, Inc. Tiering duplicated objects in a cloud-based object store
US11693713B1 (en) 2019-09-04 2023-07-04 Pure Storage, Inc. Self-tuning clusters for resilient microservices
US11625416B1 (en) 2019-09-13 2023-04-11 Pure Storage, Inc. Uniform model for distinct types of data replication
US12045252B2 (en) 2019-09-13 2024-07-23 Pure Storage, Inc. Providing quality of service (QoS) for replicating datasets
US11797569B2 (en) 2019-09-13 2023-10-24 Pure Storage, Inc. Configurable data replication
US11573864B1 (en) 2019-09-16 2023-02-07 Pure Storage, Inc. Automating database management in a storage system
US11669386B1 (en) 2019-10-08 2023-06-06 Pure Storage, Inc. Managing an application's resource stack
CN111522685B (zh) * 2019-10-16 2023-05-12 中国南方电网有限责任公司 分布式存储方法和装置、服务器、计算机可读存储介质
CN112749145A (zh) * 2019-10-29 2021-05-04 伊姆西Ip控股有限责任公司 存储和访问数据的方法、设备和计算机程序产品
CN110838915B (zh) * 2019-11-04 2021-09-21 浙江工商大学 一种前向安全密钥聚合的云存储数据共享方法
US11531487B1 (en) 2019-12-06 2022-12-20 Pure Storage, Inc. Creating a replica of a storage system
US11709636B1 (en) 2020-01-13 2023-07-25 Pure Storage, Inc. Non-sequential readahead for deep learning training
US11720497B1 (en) 2020-01-13 2023-08-08 Pure Storage, Inc. Inferred nonsequential prefetch based on data access patterns
US11733901B1 (en) 2020-01-13 2023-08-22 Pure Storage, Inc. Providing persistent storage to transient cloud computing services
US11343075B2 (en) 2020-01-17 2022-05-24 Inveniam Capital Partners, Inc. RAM hashing in blockchain environments
US12014065B2 (en) 2020-02-11 2024-06-18 Pure Storage, Inc. Multi-cloud orchestration as-a-service
US11637896B1 (en) 2020-02-25 2023-04-25 Pure Storage, Inc. Migrating applications to a cloud-computing environment
US11868622B2 (en) 2020-02-25 2024-01-09 Pure Storage, Inc. Application recovery across storage systems
WO2021193625A1 (en) * 2020-03-23 2021-09-30 Takeda Pharmaceutical Company Limited Electronic diary for hereditary angioedema patients
US11321006B1 (en) 2020-03-25 2022-05-03 Pure Storage, Inc. Data loss prevention during transitions from a replication source
US12038881B2 (en) 2020-03-25 2024-07-16 Pure Storage, Inc. Replica transitions for file storage
US12124725B2 (en) 2020-03-25 2024-10-22 Pure Storage, Inc. Managing host mappings for replication endpoints
US11301152B1 (en) 2020-04-06 2022-04-12 Pure Storage, Inc. Intelligently moving data between storage systems
US11630598B1 (en) 2020-04-06 2023-04-18 Pure Storage, Inc. Scheduling data replication operations
US11494267B2 (en) 2020-04-14 2022-11-08 Pure Storage, Inc. Continuous value data redundancy
US11921670B1 (en) 2020-04-20 2024-03-05 Pure Storage, Inc. Multivariate data backup retention policies
US12131056B2 (en) 2020-05-08 2024-10-29 Pure Storage, Inc. Providing data management as-a-service
US11431488B1 (en) 2020-06-08 2022-08-30 Pure Storage, Inc. Protecting local key generation using a remote key management service
US11349917B2 (en) 2020-07-23 2022-05-31 Pure Storage, Inc. Replication handling among distinct networks
US11442652B1 (en) 2020-07-23 2022-09-13 Pure Storage, Inc. Replication handling during storage system transportation
US12131044B2 (en) 2020-09-04 2024-10-29 Pure Storage, Inc. Intelligent application placement in a hybrid infrastructure
US12079222B1 (en) 2020-09-04 2024-09-03 Pure Storage, Inc. Enabling data portability between systems
US11397545B1 (en) 2021-01-20 2022-07-26 Pure Storage, Inc. Emulating persistent reservations in a cloud-based storage system
US11853285B1 (en) 2021-01-22 2023-12-26 Pure Storage, Inc. Blockchain logging of volume-level events in a storage system
US12008526B2 (en) 2021-03-26 2024-06-11 Inveniam Capital Partners, Inc. Computer system and method for programmatic collateralization services
US11784798B2 (en) 2021-03-30 2023-10-10 Visa International Service Association System, method, and computer program product for data security
USD1018556S1 (en) 2021-03-31 2024-03-19 Takeda Pharmaceutical Company Limited Display screen of a mobile phone with graphical user interface
US11956350B2 (en) * 2021-03-31 2024-04-09 Seagate Technology Llc Yes and no secret sharing with hidden access structures
CN113259092A (zh) * 2021-04-04 2021-08-13 余绍祥 一种文档分布式加密系统
CN113064761B (zh) * 2021-04-08 2022-03-04 北京深思数盾科技股份有限公司 数据恢复方法、服务器、加密机、终端及介质
CN113111380B (zh) * 2021-04-18 2023-07-04 上海丽昉网络科技有限公司 一种交易平台的数据治理方法
US12086649B2 (en) 2021-05-12 2024-09-10 Pure Storage, Inc. Rebalancing in a fleet of storage systems using data science
US12007972B2 (en) 2021-06-19 2024-06-11 Inveniam Capital Partners, Inc. Systems and methods for processing blockchain transactions
US11816129B2 (en) 2021-06-22 2023-11-14 Pure Storage, Inc. Generating datasets using approximate baselines
CN113630448B (zh) * 2021-07-26 2024-01-12 广州云强信息科技有限公司 分布式加密存储方法和系统、计算机设备和可读存储介质
CN113568786B (zh) * 2021-09-23 2021-12-31 四川大学 一种数据恢复方法、装置、设备及存储介质
FR3128038B1 (fr) * 2021-10-12 2024-02-09 Memento Cloud Procédé hybride de stockage d’information numérique et architecture hybride de stockage d’information numérique
EP4167070A1 (fr) * 2021-10-12 2023-04-19 Memento Cloud Procédé hybride de stockage d'information numérique et architecture hybride de stockage d'information numérique
FR3128037A1 (fr) * 2021-10-12 2023-04-14 Memento Cloud Procédé hybride de stockage d’information numérique
US11914867B2 (en) 2021-10-29 2024-02-27 Pure Storage, Inc. Coordinated snapshots among storage systems implementing a promotion/demotion model
US11714723B2 (en) 2021-10-29 2023-08-01 Pure Storage, Inc. Coordinated snapshots for data stored across distinct storage environments
US11893263B2 (en) 2021-10-29 2024-02-06 Pure Storage, Inc. Coordinated checkpoints among storage systems implementing checkpoint-based replication
US11922052B2 (en) 2021-12-15 2024-03-05 Pure Storage, Inc. Managing links between storage objects
US11847071B2 (en) 2021-12-30 2023-12-19 Pure Storage, Inc. Enabling communication between a single-port device and multiple storage system controllers
US12001300B2 (en) 2022-01-04 2024-06-04 Pure Storage, Inc. Assessing protection for storage resources
US11860780B2 (en) 2022-01-28 2024-01-02 Pure Storage, Inc. Storage cache management
US11886295B2 (en) 2022-01-31 2024-01-30 Pure Storage, Inc. Intra-block error correction
CN117272390B (zh) * 2023-11-17 2024-03-22 海之景科技集团有限公司 信息安全的数据处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422399A (zh) * 2000-04-11 2003-06-04 汤姆森许可贸易公司 用于安全地存储保密信息的系统和方法,在这种系统中使用的设备与服务器和有关数字内容分布的方法
CN101627395A (zh) * 2006-12-01 2010-01-13 大卫·欧文 分布式网络系统
CN102761521A (zh) * 2011-04-26 2012-10-31 上海格尔软件股份有限公司 云安全存储及共享服务平台

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100037056A1 (en) * 2008-08-07 2010-02-11 Follis Benjamin D Method to support privacy preserving secure data management in archival systems
US8051205B2 (en) 2008-10-13 2011-11-01 Applied Micro Circuits Corporation Peer-to-peer distributed storage
BRPI1013062A2 (pt) 2009-05-19 2016-04-05 Security First Corp sistemas e métodos para proteger dados na nuvem
FI126228B (fi) * 2009-09-16 2016-08-31 Varaani Works Oy Menetelmä ja tallennuspalvelin tiedon varmentamiseen
US8522113B2 (en) 2010-01-28 2013-08-27 Cleversafe, Inc. Selecting storage facilities and dispersal parameters in a dispersed storage network
US8656189B2 (en) * 2010-08-11 2014-02-18 Security First Corp. Systems and methods for secure multi-tenant data storage
US20120047339A1 (en) * 2010-08-20 2012-02-23 Dan Decasper Redundant array of independent clouds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422399A (zh) * 2000-04-11 2003-06-04 汤姆森许可贸易公司 用于安全地存储保密信息的系统和方法,在这种系统中使用的设备与服务器和有关数字内容分布的方法
CN101627395A (zh) * 2006-12-01 2010-01-13 大卫·欧文 分布式网络系统
CN102761521A (zh) * 2011-04-26 2012-10-31 上海格尔软件股份有限公司 云安全存储及共享服务平台

Also Published As

Publication number Publication date
CA2839072C (en) 2017-01-03
US20140201541A1 (en) 2014-07-17
EP2755161A1 (en) 2014-07-16
US9483657B2 (en) 2016-11-01
CN103929467A (zh) 2014-07-16
CA2839072A1 (en) 2014-07-14
EP2755161B1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
CN103929467B (zh) 安全在线分布式的数据存储服务
Cao et al. LT codes-based secure and reliable cloud storage service
JP6118778B2 (ja) 移動中のデータをセキュア化するためのシステムおよび方法
CN105051750B (zh) 用于加密文件系统层的系统和方法
US20160275294A1 (en) Data system and method
JP2017519269A (ja) 通信ネットワーク上の情報の安全な記憶と加速された伝送
CN103118089A (zh) 一种基于多个云存储系统的安全存储方法及其系统
CN103609059A (zh) 用于安全数据共享的系统和方法
CN103229165A (zh) 用于数据的安全远程存储的系统和方法
US11681499B2 (en) Data set including a secure key
Virvilis et al. A cloud provider-agnostic secure storage protocol
CN103379133A (zh) 一种安全可信的云存储系统
Huang et al. SSTreasury+: A secure and elastic cloud data encryption system
Ahmed et al. Lightweight secure storage model with fault-tolerance in cloud environment
Xie et al. Assured Deletion: A Scheme Based on Strong Nonseparability
Devaki Re-encryption model for multi-block data updates in network security
US10853171B2 (en) Encoding data in a dispersed storage network
Liu et al. Security Analysis and Improvements on a Remote Integrity Checking Scheme for Regenerating‐Coding‐Based Distributed Storage
Twum et al. A Proposed New Framework for Securing Cloud Data on Multiple Infrastructures using Erasure Coding, Dispersal Technique and Encryption
CN118250099B (zh) 基于密钥分配的u盘数据交换方法、装置和计算机设备
Rawat et al. Hyper-Space: Blockchain-based Decentralized Cloud Storage System
Bel et al. Inkpack
Bel et al. Inkpack: A Secure, Data-Exposure Resistant Storage System
Kirukmet INFLUENCE OF BALANCED SCORECARD PERSPECTIVES ON EMPLOYEE PERFORMANCE AT KENYA MEDICAL TRAINING COLLEGE, NAKURU CAMPUS, KENYA MERCY JEPCHIRCHIR
Boström Transparent and secure remote network storage system using an untrusted server

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant