CN104050102A - 一种电信系统中的对象存储方法及装置 - Google Patents
一种电信系统中的对象存储方法及装置 Download PDFInfo
- Publication number
- CN104050102A CN104050102A CN201410293586.5A CN201410293586A CN104050102A CN 104050102 A CN104050102 A CN 104050102A CN 201410293586 A CN201410293586 A CN 201410293586A CN 104050102 A CN104050102 A CN 104050102A
- Authority
- CN
- China
- Prior art keywords
- storage server
- storage
- agent node
- read
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种电信系统中的对象存储方法及装置，包括以下步骤：对多个存储服务器在物理位置上进行隔离，每个存储服务器采用相同配置；在代理节点上生成配置文件；为待存储的对象配置冗余副本的数量，并将冗余副本的数量存储到配置文件中；在代理节点上设置代理服务模块，在每个存储服务器上设置存储服务模块、审计服务模块及复制服务模块；启动代理服务模块、存储服务模块、审计服务模块和复制服务模块；代理服务模块根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作。本发明采用完全对称的架构，降低了系统的维护成本；有极高的数据冗余性和持久性，能够防止数据丢失；易于扩容，便于应对非结果化数据的快速增长。
Description
技术领域
本发明涉及一种电信系统中的对象存储方法及系统。
背景技术
随着云时代的到来和信息化技术的不断发展，近年来诸如图片、视频、音乐和文档等静态数据不断激增，企业对存储容量的需求越来越大，当务之急是实现存储的不断扩容，并保证对非结构化数据的快速访问。
电信行业因其自身的发展历程和时间的延续，数据环境比较复杂，在不同时期的不同应用导致了多种存储方式并存的现象，规模较大的电信行业可能同时具有从DAS(Direct Attached Storage的缩写，即直连式存储)、NAS(Network Attached Storage的缩写，即网络接入存储)到SAN(Storage AreaNetwork的缩写，即存储区域网络)的各种存储结构。
DAS是一种应用较早的存储技术，简单易用，但磁盘利用率很低，不易扩容。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下。对大容量的非结构化数据的存储并不适用。
SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，例如电信、银行的大数据量关键业务应用。它采用块存储结构通过在磁盘或FC(Fiber Channel的缩写，即光纤通道)级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，但是SAN系统的价格较高，且可扩展性较差，已不能满足存储规模的不断扩大。
NAS是文件级存储，它以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。
综上所述，三种技术的不同优势使电信运营商在构建不同存储系统时可各取所长，但传统NAS和SAN存储阵列的复杂性和高成本都注定这些方案对于非结构化数据来说不是长久之计，需要对当前的存储结构加以改进。
发明内容
本发明所要解决的技术问题是提供一种能够应对存储快速增长、提高IO吞吐量的电信系统中的对象存储方法及装置。
本发明解决上述技术问题的技术方案如下：一种电信系统中的对象存储方法，包括以下步骤：
步骤1：对多个存储服务器在物理位置上进行隔离，建立分区，每个分区中有若干个存储服务器，每个存储服务器采用相同配置；
步骤2：在代理节点上生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；
步骤3：为待存储的对象配置冗余副本的数量，并将冗余副本的数量存储到配置文件中；
步骤4：在代理节点上设置用于对外提供访问接口的代理服务模块，在每个存储服务器上设置用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；
步骤5：启动代理节点上的代理服务模块，启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块；
步骤6：根据客户端发送给代理节点的对象读写请求，代理服务模块根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作。
本发明的有益效果是：本发明采用完全对称的架构，降低了系统的维护成本；本发明有极高的数据冗余性和持久性，能够降低数据丢失；没有控制中心，元数据均匀随机分布，避免了单点故障；易于扩容，便于应对非结果化数据的快速增长；性能可随存储容量的扩展线性提升。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤6中，当客户端需要对已存储的待读取对象进行读取时，客户端向代理节点发送对象读取请求，代理服务模块根据对象读取请求，在配置文件中查找与待读取对象对应的存储服务器，代理节点将对象读取请求发送到对应的存储服务器，存储服务器在本地查找到待读取对象后，通过代理节点将待读取对象返回给客户端。
进一步，所述步骤6中，当客户端需要对待写入对象进行写入时，客户端向代理节点发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器，客户端通过代理节点将待写入对象发送给选择的存储服务器进行存储。
进一步，当写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点发送给客户端；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块根据配置文件从其它存储服务器拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
进一步，当待存储入存储服务器中的对象的非结构化数据激增时，执行步骤，步骤及步骤进行存储扩容。
进一步，一种电信系统中的对象存储装置，包括若干个客户端，一个代理节点和多个存储服务器；
所述客户端，用于向代理节点发送对象读写请求；
所述代理节点，用于生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；内部设置有用于对外提供访问接口的代理服务模块；启动代理服务模块；根据客户端发送的对象读写请求，并根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作，为待存储的对象配置冗余副本的数量；
每个所述存储服务器，在物理位置上互相隔离，每若干个存储服务器设置于一个分区中，每个存储服务器采用相同配置；在每个存储服务器上设置有用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块。
进一步，当客户端需要对已存储的待读取对象进行读取时，客户端向代理节点发送对象读取请求，代理服务根据对象读取请求在配置文件中，查找与待读取对象对应的存储服务器，代理节点将对象读取请求发送到对应的存储服务器，存储服务器在本地查找到待读取对象后，通过代理节点将待读取对象返回给客户端。
进一步，当客户端需要对待写入对象进行写入时，客户端向代理节点发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器，客户端通过代理节点将待写入对象发送给选择的存储服务器进行存储。
进一步，写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点发送给客户端；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块根据配置文件从其它存储服务器拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
进一步，当待存储入存储服务器中的对象的非结构化数据激增时，代理节点和存储服务器进行存储扩容。
附图说明
图1为本发明方法步骤流程图；
图2为本发明装置结构图。
附图中，各标号所代表的部件列表如下：
1、客户端，2、代理节点，3、存储服务器。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明方法步骤流程图；图2为本发明装置结构图。
实施例1
一种电信系统中的对象存储方法，包括以下步骤：
步骤1：对多个存储服务器在物理位置上进行隔离，建立分区，每个分区中有若干个存储服务器，每个存储服务器采用相同配置；
步骤2：在代理节点上生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；
步骤3：为待存储的对象配置冗余副本的数量，并将冗余副本的数量存储到配置文件中；
步骤4：在代理节点上设置用于对外提供访问接口的代理服务模块，在每个存储服务器上设置用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；
步骤5：启动代理节点上的代理服务模块，启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块；
步骤6：根据客户端发送给代理节点的对对象的对象读写请求，代理服务模块根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作。
所述步骤6中，当客户端需要对已存储的待读取对象进行读取时，客户端向代理节点发送对象读取请求，代理服务模块根据对象读取请求，在配置文件中查找与待读取对象对应的存储服务器，代理节点将对象读取请求发送到对应的存储服务器，存储服务器在本地查找到待读取对象后，通过代理节点将待读取对象返回给客户端。
所述步骤6中，当客户端需要对待写入对象进行写入时，客户端向代理节点发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器，客户端通过代理节点将待写入对象发送给选择的存储服务器进行存储。
当写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点发送给客户端；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块从其它存储服务器拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
当待存储入存储服务器中的对象的非结构化数据激增时，执行步骤1，步骤3及步骤4进行存储扩容。
一种电信系统中的对象存储装置，包括若干个客户端1，一个代理节点2和多个存储服务器3；
所述客户端1，用于向代理节点2发送对象读写请求；
所述代理节点2，用于生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；内部设置有用于对外提供访问接口的代理服务模块；启动代理服务模块；根据客户端发送的对象读写请求，并根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作，为待存储的对象配置冗余副本的数量；
每个所述存储服务器3，在物理位置上互相隔离，每若干个存储服务器设置于一个分区中，每个存储服务器采用相同配置；在每个存储服务器上设置有用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块。
当客户端1需要对已存储的待读取对象进行读取时，客户端1向代理节点2发送对象读取请求，代理服务根据对象读取请求在配置文件中，查找与待读取对象对应的存储服务器，代理节点2将对象读取请求发送到对应的存储服务器3，存储服务器3在本地查找到待读取对象后，通过代理节点2将待读取对象返回给客户端。
当客户端1需要对待写入对象进行写入时，客户端1向代理节点2发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器3，客户端1通过代理节点2将待写入对象发送给选择的存储服务器3进行存储。
写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点2发送给客户端1；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块根据配置文件从其它存储服务器3拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
当待存储入存储服务器3中的对象的非结构化数据激增时，代理节点2和存储服务器3进行存储扩容。
在具体实施中，所述对象存储系统作为一种新的网络存储系统，由客户端、代理节点(又称代理服务器)、存储节点(又称存储服务器)和网络连接几部分组成，客户端不能直接访问存储节点，而是将请求通过网络发送到代理节点，代理节点接收请求并将请求发送到存储节点上，对象(例如：虚拟机镜像、邮件、图片和文档等静态非结构化数据统称为对象)最终存储在存储节点上。
1、所述对象存储系统采用完全对等的系统结构，即对象存储系统中每台存储服务器采用相同的系统配置；
2、根据业务需求和硬件条件，对存储服务器的物理位置进行隔离，建立分区(一个分区可以小到一块磁盘，大到一个机房)，对象存储系统中的存储服务器分布在各个分区中；
根据业务需求，配置存放对象的冗余副本数，所述的对象存储系统会将数据的副本分布到不同的分区的存储节点上，确保数据安全；
4、根据业务需求和步骤2中的分区(Partition)数，在代理节点上生成一个配置文件，该配置文件包含分区、存储节点、端口和存储设备的映射信息。这些映射信息相当于文件系统中的目录结构，对象存储系统根据这些映射信息来确定对象最终的存放位置。
在生成映射信息时，对象存储系统采用了在一致性哈希算法中引入Partition概念的方式，从而构建一个冗余的可扩展的分布式对象存储系统。一致性哈希算法与普通的哈希算法相比，在增加存储节点时，可降低数据的迁移量，提高对象存储系统的可扩展性。分区Partition实际上是对存储节点的划分，通过中间一层的Partition的存储再分配，对象存储系统将数据比较均匀的分布到各存储节点上；
5、将步骤4中生成的关于映射信息的配置文件拷贝到对象存储系统中的各个存储节点上；
6、在代理节点和各个存储节点上启动对象存储系统的相关服务。所述对象存储系统涉及的服务主要有代理服务、存储服务、审计服务和复制服务。代理服务运行在代理节点上，对外提供对象存储系统的访问接口；存储服务、审计服务和复制服务运行在存储节点上。存储服务负责执行磁盘设备上的存储操作；审计服务在后台扫描磁盘来检查存储设备上数据的完整性；复制服务负责将一份完好的数据拷贝到其他存储节点上。
7、当用户从客户端上传对象时，代理服务直接接收用户请求并将请求发送给存储服务；存储服务根据冗余数选取存放分区和存储节点，然后开始写入对象，当写入成功的副本数大于三分之二后，存储服务将写入成功的信息返回给用户；审计服务在后台扫描磁盘，若发现数据有损坏，审计服务会将对象进行标记，然后由复制服务从其他存储节点拷贝一份完好的数据来替代损坏数据；
当对象存储系统的某个区域发生故障时，该区域存储的所有对象在其他区域中都存在副本，当审计服务检查到磁盘不可用时，会将该区域进行标记，复制服务从其他存储节点拷贝一份完好的数据到可用区域，生成一个新的副本，保证数据安全；
当非结构化数据激增，存储容量不足时，按步骤1增加新的存储设备，然后执行步骤4、5、6完成存储扩容。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电信系统中的对象存储方法，其特征在于，包括以下步骤：
步骤1：对多个存储服务器在物理位置上进行隔离，建立分区，每个分区中有若干个存储服务器，每个存储服务器采用相同配置；
步骤2：在代理节点上生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；
步骤3：为待存储的对象配置冗余副本的数量，并将冗余副本的数量存储到配置文件中；
步骤4：在代理节点上设置用于对外提供访问接口的代理服务模块，在每个存储服务器上设置用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；
步骤5：启动代理节点上的代理服务模块，启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块；
步骤6：根据客户端发送给代理节点的对象读写请求，代理服务模块根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作。
2.根据权利要求1所述的对象存储方法，其特征在于：所述步骤6中，当客户端需要对已存储的待读取对象进行读取时，客户端向代理节点发送对象读取请求，代理服务模块根据对象读取请求，在配置文件中查找与待读取对象对应的存储服务器，代理节点将对象读取请求发送到对应的存储服务器，存储服务器在本地查找到待读取对象后，通过代理节点将待读取对象返回给客户端。
3.根据权利要求1所述的对象存储方法，其特征在于：所述步骤6中，当客户端需要对待写入对象进行写入时，客户端向代理节点发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器，客户端通过代理节点将待写入对象发送给选择的存储服务器进行存储。
4.根据权利要求3所述的对象存储方法，其特征在于：当写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点发送给客户端；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块根据配置文件从其它存储服务器拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
5.根据权利要求1所述的对象存储方法，其特征在于：当待存储入存储服务器中的对象的非结构化数据激增时，执行步骤1，步骤3及步骤4进行存储扩容。
6.一种电信系统中的对象存储装置，其特征在于：包括若干个客户端(1)，一个代理节点(2)和多个存储服务器(3)；
所述客户端(1)，用于向代理节点(2)发送对象读写请求；
所述代理节点(2)，用于生成配置文件，所述配置文件包含分区的信息、存储服务器的信息、端口的信息和对象与存储服务器的映射信息，并将配置文件分别存储到各个存储服务器上；内部设置有用于对外提供访问接口的代理服务模块；启动代理服务模块；根据客户端发送的对象读写请求，并根据配置文件选择与对象对应的存储服务器，进行相应的对象读取操作，为待存储的对象配置冗余副本的数量；
每个所述存储服务器(3)，在物理位置上互相隔离，每若干个存储服务器设置于一个分区中，每个存储服务器采用相同配置；在每个存储服务器上设置有用于执行磁盘设备上的存储操作的存储服务模块、用于在后台通过扫描磁盘检查数据完整性的审计服务模块及用于将数据拷贝到其他存储服务器上的复制服务模块；启动每个存储服务器上的存储服务模块、审计服务模块和复制服务模块。
7.根据权利要求6所述的对象存储装置，其特征在于：当客户端(1)需要对已存储的待读取对象进行读取时，客户端(1)向代理节点(2)发送对象读取请求，代理服务模块根据对象读取请求在配置文件中，查找与待读取对象对应的存储服务器，代理节点(2)将对象读取请求发送到对应的存储服务器(3)，存储服务器(3)在本地查找到待读取对象后，通过代理节点(2)将待读取对象返回给客户端。
8.根据权利要求6所述的对象存储装置，其特征在于：当客户端(1)需要对待写入对象进行写入时，客户端(1)向代理节点(2)发送对象写入请求，代理服务模块根据对象写入请求，根据配置文件中的冗余副本的数量选择存放分区和存储服务器(3)，客户端(1)通过代理节点(2)将待写入对象发送给选择的存储服务器(3)进行存储。
9.根据权利要求8所述的对象存储装置，其特征在于：当写入成功的副本数大于三分之二后，存储服务将写入成功的信息通过代理节点(2)发送给客户端(1)；
所述审计服务模块扫描磁盘，若发现某一对象的数据有损坏或者磁盘不可用时，审计服务模块将该对象或者区域进行标记，之后复制服务模块根据配置文件从其它存储服务器(3)拷贝一份未损坏的该对象的数据或者该区域的数据替代损坏的数据，生成一个新的副本。
10.根据权利要求6所述的对象存储装置，其特征在于：当待存储入存储服务器(3)中的对象的非结构化数据激增时，代理节点(2)和存储服务器(3)进行存储扩容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410293586.5A CN104050102B (zh) | 2014-06-26 | 2014-06-26 | 一种电信系统中的对象存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410293586.5A CN104050102B (zh) | 2014-06-26 | 2014-06-26 | 一种电信系统中的对象存储方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104050102A true CN104050102A (zh) | 2014-09-17 |
| CN104050102B CN104050102B (zh) | 2017-09-08 |
Family
ID=51502981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410293586.5A Active CN104050102B (zh) | 2014-06-26 | 2014-06-26 | 一种电信系统中的对象存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104050102B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878378A (zh) * | 2016-12-26 | 2017-06-20 | 贵州银行股份有限公司 | 网络通信管理中的散点处理方法 |
| CN107085595A (zh) * | 2017-03-23 | 2017-08-22 | 国网浙江省电力公司信息通信分公司 | 一种电力行业非结构化元数据关联方法及系统 |
| CN107105050A (zh) * | 2017-05-11 | 2017-08-29 | 北京奇艺世纪科技有限公司 | 一种业务对象的存储、下载方法及系统 |
| CN107302444A (zh) * | 2016-04-15 | 2017-10-27 | 中兴通讯股份有限公司 | 企业级搜索应用服务器集群自动扩容方法及装置 |
| CN110516031A (zh) * | 2019-08-28 | 2019-11-29 | 上海欣能信息科技发展有限公司 | 一种电力非结构化数据的存储管理系统及存储管理方法 |
| CN111241455A (zh) * | 2020-01-22 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 数据处理装置、计算机设备及存储介质 |
| CN112753028A (zh) * | 2018-09-28 | 2021-05-04 | 亚马逊科技公司 | 远程储存库的客户端侧文件系统 |
| CN113311999A (zh) * | 2021-06-01 | 2021-08-27 | 中国电信股份有限公司河南分公司 | 基于智慧校园中台的对象存储装置及方法 |
| WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591970A (zh) * | 2011-12-31 | 2012-07-18 | 北京奇虎科技有限公司 | 一种分布式键-值查询方法和查询引擎系统 |
| CN102857554A (zh) * | 2012-07-26 | 2013-01-02 | 福建网龙计算机网络信息技术有限公司 | 基于分布式存储系统进行数据冗余处理方法 |
| CN103124299A (zh) * | 2013-03-21 | 2013-05-29 | 杭州电子科技大学 | 一种异构环境下的分布式块级别存储系统 |
| CN103440301A (zh) * | 2013-08-21 | 2013-12-11 | 曙光信息产业股份有限公司 | 一种数据多副本混合存储方法及系统 |
| US20130339295A1 (en) * | 2012-05-21 | 2013-12-19 | Google, Inc. | Organizing Data in a Distributed Storage System |
-
2014
- 2014-06-26 CN CN201410293586.5A patent/CN104050102B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591970A (zh) * | 2011-12-31 | 2012-07-18 | 北京奇虎科技有限公司 | 一种分布式键-值查询方法和查询引擎系统 |
| US20130339295A1 (en) * | 2012-05-21 | 2013-12-19 | Google, Inc. | Organizing Data in a Distributed Storage System |
| CN102857554A (zh) * | 2012-07-26 | 2013-01-02 | 福建网龙计算机网络信息技术有限公司 | 基于分布式存储系统进行数据冗余处理方法 |
| CN103124299A (zh) * | 2013-03-21 | 2013-05-29 | 杭州电子科技大学 | 一种异构环境下的分布式块级别存储系统 |
| CN103440301A (zh) * | 2013-08-21 | 2013-12-11 | 曙光信息产业股份有限公司 | 一种数据多副本混合存储方法及系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107302444A (zh) * | 2016-04-15 | 2017-10-27 | 中兴通讯股份有限公司 | 企业级搜索应用服务器集群自动扩容方法及装置 |
| CN107302444B (zh) * | 2016-04-15 | 2022-03-25 | 中兴通讯股份有限公司 | 企业级搜索应用服务器集群自动扩容方法及装置 |
| CN106878378B (zh) * | 2016-12-26 | 2020-02-21 | 贵州银行股份有限公司 | 网络通信管理中的散点处理方法 |
| CN106878378A (zh) * | 2016-12-26 | 2017-06-20 | 贵州银行股份有限公司 | 网络通信管理中的散点处理方法 |
| CN107085595A (zh) * | 2017-03-23 | 2017-08-22 | 国网浙江省电力公司信息通信分公司 | 一种电力行业非结构化元数据关联方法及系统 |
| CN107085595B (zh) * | 2017-03-23 | 2023-07-14 | 国网浙江省电力公司信息通信分公司 | 一种电力行业非结构化元数据关联方法及系统 |
| CN107105050A (zh) * | 2017-05-11 | 2017-08-29 | 北京奇艺世纪科技有限公司 | 一种业务对象的存储、下载方法及系统 |
| CN107105050B (zh) * | 2017-05-11 | 2020-01-31 | 北京奇艺世纪科技有限公司 | 一种业务对象的存储、下载方法及系统 |
| CN112753028A (zh) * | 2018-09-28 | 2021-05-04 | 亚马逊科技公司 | 远程储存库的客户端侧文件系统 |
| CN110516031A (zh) * | 2019-08-28 | 2019-11-29 | 上海欣能信息科技发展有限公司 | 一种电力非结构化数据的存储管理系统及存储管理方法 |
| CN111241455A (zh) * | 2020-01-22 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 数据处理装置、计算机设备及存储介质 |
| CN111241455B (zh) * | 2020-01-22 | 2023-08-25 | 抖音视界有限公司 | 数据处理装置、计算机设备及存储介质 |
| CN113311999A (zh) * | 2021-06-01 | 2021-08-27 | 中国电信股份有限公司河南分公司 | 基于智慧校园中台的对象存储装置及方法 |
| WO2023070935A1 (zh) * | 2021-10-28 | 2023-05-04 | 华为云计算技术有限公司 | 一种数据存储方法、装置及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104050102B (zh) | 2017-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104050102A (zh) | 一种电信系统中的对象存储方法及装置 | |
| US10924511B2 (en) | Systems and methods of chunking data for secure data storage across multiple cloud providers | |
| US9990147B2 (en) | Methods and apparatus for optimizing resource utilization in distributed storage systems | |
| CN103064927B (zh) | 分布式文件系统的数据访问方法和装置 | |
| US11734248B2 (en) | Metadata routing in a distributed system | |
| US7689764B1 (en) | Network routing of data based on content thereof | |
| US8996803B2 (en) | Method and apparatus for providing highly-scalable network storage for well-gridded objects | |
| US10157214B1 (en) | Process for data migration between document stores | |
| CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
| CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
| CN109690494B (zh) | 系统存储装置中的分层容错 | |
| CN105718217A (zh) | 一种精简配置存储池数据一致性维护的方法及装置 | |
| US10031682B1 (en) | Methods for improved data store migrations and devices thereof | |
| CN105187502A (zh) | 一种基于分布式弹性块存储的方法和系统 | |
| CN106648993B (zh) | 一致性组快照管理的方法及装置 | |
| US11520512B2 (en) | Method for storage management, electronic device and computer program product | |
| CN110134338A (zh) | 一种分布式存储系统及其数据冗余保护方法和相关设备 | |
| US11256419B2 (en) | Optimal object placement device and method | |
| CN110147203A (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
| US10057348B2 (en) | Storage fabric address based data block retrieval | |
| CN104951475B (zh) | 分布式文件系统和实现方法 | |
| JP2024506818A (ja) | 指紋に基づくデータアドレスを使用するキャッシュインデクシング | |
| US11216204B2 (en) | Degraded redundant metadata, DRuM, technique | |
| US20220391411A1 (en) | Dynamic adaptive partition splitting | |
| CN112748848A (zh) | 用于存储管理的方法、设备和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |