CN112835511B - 分布式存储集群的数据写入方法、装置、设备和介质 - Google Patents

分布式存储集群的数据写入方法、装置、设备和介质 Download PDF

Info

Publication number
CN112835511B
CN112835511B CN201911166521.3A CN201911166521A CN112835511B CN 112835511 B CN112835511 B CN 112835511B CN 201911166521 A CN201911166521 A CN 201911166521A CN 112835511 B CN112835511 B CN 112835511B
Authority
CN
China
Prior art keywords
data
written
object storage
target object
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911166521.3A
Other languages
English (en)
Other versions
CN112835511A (zh
Inventor
郭永强
陈诗浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201911166521.3A priority Critical patent/CN112835511B/zh
Publication of CN112835511A publication Critical patent/CN112835511A/zh
Application granted granted Critical
Publication of CN112835511B publication Critical patent/CN112835511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储集群的数据写入方法、装置、设备和介质。其中方法包括对接收到的待写入数据进行分片处理，得到待写入数据分片，待写入数据分片的数量为大于或者等于1的正整数；确定待写入数据分片的目标对象存储设备；计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和；若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。本发明实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证数据业务的正常运行，提高了用户体验。

Description

分布式存储集群的数据写入方法、装置、设备和介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种分布式存储集群的数据写入方法、装置、设备和介质。
背景技术
现有监控部署需要配套大量后端存储设备，存储采集的监控数据。而分布式存储集群可以通过多个对象存储设备(Object Storage Device，简称OSD)对外提供存储服务，且具备易扩展、单点故障不丢失数据、故障恢复快等优势，因此分布式存储集群可在监控领域中大量部署。
具体的，分布式存储集群的基本框图可如图1所示，其中调度层主要负责确定业务层下发的写IO分配至对象存储设备组(Object Storage Device Group，简称OSDG)层中哪一OSDG，然后通过OSDG层确定与OSDG对应的OSD列表，其中一个OSDG由多个OSD组成。也就是说，调度层与OSDG层决定了数据的分布，确保数据能够均衡存储至分布式存储集群中的每个OSD中。如图1所示分布式存储集群的底层是由多个存储节点组成，每个存储节点中包括多个OSD，且每个OSD对应一个硬盘或者一个磁盘阵列。其中，多个OSD分为一个主OSD和多个从OSD，主OSD主要负责接收从OSDG层下发的读、写IO并进行处理。
在实际使用过程中，当分布式存储集群中的OSD存储空间使用率达到预警阈值时，可对分布式存储集群进行扩容。其中，对分布式存储集群进行扩容时，为了使得分布式存储集群尽快完成均衡，可在不影响数据写入业务的正常运行的前提下，通过加大数据迁移力度，以将存储空间使用率高的OSD中的数据迁移至存储空间使用率低的OSD中。但是由于数据迁移具有随机性，这就存在存储空间使用率高的OSD中数据迁移不均衡，导致该OSD的存储空间使用率仍然很高，并且在数据迁移过程中仍然会有数据的写入，当该OSD上数据写入的速度高于数据迁出的速度时，可能会导致分布式存储集群在未完成均衡之前，该OSD的存储空间使用率已达到使用率上限，进而导致整个分布式存储集群无法继续执行数据写入操作。
因此，针对分布式存储集群扩容过程中OSD存储空间使用率达到使用率上限时，如何继续执行数据写入操作，是目前亟需解决的问题。
发明内容
本发明实施例提供一种分布式存储集群的数据写入方法、装置、设备和介质，用于解决相关技术中，分布式存储集群扩容过程中OSD存储空间使用率达到使用率上限时，导致整个分布式存储集群无法继续执行数据写入操作的问题。
第一方面，本发明实施例提供了一种分布式存储集群的数据写入方法，该方法包括：
对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定所述待写入数据分片的目标对象存储设备；
计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
第二方面，本发明实施例还提供了一种分布式存储集群的数据写入装置，该装置包括：
处理模块，用于对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定模块，用于确定所述待写入数据分片的目标对象存储设备；
计算模块，用于计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
控制模块，用于若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例中任一项所述的分布式存储集群的数据写入方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时以实现本发明实施例中任一项所述的分布式存储集群的数据写入方法。
本发明实施例公开的技术方案，具有如下有益效果：
通过对接收到的待写入数据进行分片处理，得到待写入数据分片，并确定待写入数据分片的目标对象存储设备，然后计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。由此，实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证了数据业务的正常运行，从而有效提高用户使用体验。
附图说明
图1是相关技术中分布式存储集群的基本框图；
图2是本发明实施例提供的一种分布式存储集群的数据写入方法的流程示意图；
图3是本发明实施例提供的将分布式存储集群中对象存储设备中的数据迁移至新增的对象存储设备的示意图；
图4(a)是本发明实施例提供的将目标对象存储设备和新目标对象存储设备中的数据迁移至新增的对象存储设备的示意图；
图4(b)是本发明实施例提供的对目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表进行更新后的示意图；
图5是本发明实施例提供的另一种分布式存储集群的数据写入方法的流程示意图；
图6是本发明实施例提供的分布式存储集群的数据读取方法的流程示意图；
图7是本发明实施例提供的一种分布式存储集群的数据写入装置的结构示意图；
图8是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
本发明实施例针对相关技术中，分布式存储集群扩容过程中OSD存储空间使用率达到使用率上限时，导致整个分布式存储集群无法继续执行数据写入操作的问题，提出一种分布式存储集群的数据写入方法。
本发明实施例通过对接收到的待写入数据进行分片处理，得到待写入数据分片，并确定待写入数据分片的目标对象存储设备，然后计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。由此，实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证了数据业务的正常运行，从而有效提高用户使用体验。
下面参考附图对本发明实施例的分布式存储集群的数据写入方法、装置、设备和介质进行详细说明。
图2是本发明实施例提供的一种分布式存储集群的数据写入方法的流程示意图，本发明实施例可适用于将数据正常写入分布式集群中的情况，该方法可由分布式存储集群的数据写入装置来执行，该装置可由硬件和/或软件组成，并可集成于计算机设备中，该计算机设备可以是任意具有数据处理功能的设备。该分布式存储集群的数据写入方法具体包括如下：
S201，对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数。
其中，待写入数据可以是视频数据或者图片数据，还可以是其他类型数据，此处对其不做限定。
实际使用过程中，可将分布式存储集群作为客户端的后端，从而当用户使用分布式存储集群时，可通过在客户端上执行操作，以将待写入数据写入到分布式存储集群中。本实施例在客户端上执行的操作还可以包括数据读取操作等等，此处不做限定。
在执行S201之前，还包括对分布式存储集群进行扩容之后，触发将分布式存储集群中对象存储设备(Object Storage Device，简称OSD)中的数据迁移至新增的对象存储设备中，以使各个OSD的存储空间使用率达到均衡。需要说明的是，对分布式存储集群进行扩容可以随时执行，本发明不做具体限定。
例如，如图3所示，若新增的OSD为OSD.f,则根据分布式存储集群中预设均衡算法，将OSDG中的OSD.b中的数据迁移至OSD.f。
进一步的，在执行数据迁移过程中，若客户端接收到数据写入请求时，则可将数据写入请求发送给分布式存储集群中的调度层以确定目标对象存储设备组(Object StorageDevice Group，简称OSDG)。然后，将待写入数据发送至目标OSDG中OSD列表的主OSD，以使主OSD根据预设算法对接收到的待写入数据进行分片处理，得到待写入数据分片。
可选的，根据预设算法对接收到的待写入数据进行分片处理，可包括以下方式：
方式一：
根据纠删码算法对待写入数据进行分片处理，以将待写入数据进行编码并得到校验数据，以将待写入数据分割成多个待写入数据分片。
例如，使用N+M纠删算法对待写入数据进行处理，打散成N个数据分片和M个校验数据分片。
又如，若纠删算法为2+1，则对待写入数据进行处理后，可得到2个数据分片和1个校验数据分片。
方式二：
根据副本算法对待写入数据进行分片处理，以创建与待写入数据对应的至少一个副本。
需要说明的是，上述对待写入数据进行分片处理的方式，仅作为对本发明实施例的示例性说明，不作为对本发明的具体限定。
S202，确定待写入数据分片的目标对象存储设备。
可选的，本发明实施例可基于负载均衡策略，确定待写入数据分片的目标对象存储设备。
例如，根据纠删2+1策略，将待写入数据分片处理为3个待写入数据分片，分别为a1、a2及a3，且目标OSDG中的OSD列表包括3个目标OSD，分别为OSD.1、OSD.2、OSD.3，则基于纠删策略，将OSD.1确定为a1的目标OSD，将OSD.2确定为a2的目标OSD，以及将OSD.3确定为a3的目标OSD，从而将a1、a2及a3分别写入到OSD.1、OSD.2、OSD.3中。
S203，计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和。
S204，若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
在本发明实施例中，预设条件是指待写入数据分片的大小和目标对象存储设备的已用存储空间之和，大于或者等于目标OSD的存储空间容量与目标OSD的使用率上限值的乘积。本发明实施例中，目标对象存储设备的存储空间是指硬盘的存储空间，或者磁盘阵列的存储空间。
其中，使用率上限值可根据实际使用情况进行设置，其中使用率上限值可设置为统一值，也可以根据目标OSD存储空间容量设定的一个值，本实施例不做限定。例如，将使用率上限值设置为80％等。
以上述示例中使用率上限值设置为80％进行说明。若待写入数据分片有3个分别为a1、a2、a3，且a1的目标OSD为OSD.1；a2对应的目标OSD为OSD.2；a3对应的目标OSD为OSD.3,且每个目标OSD的总存储空间容量为8吉字节(TB)，那么当计算a1的大小和OSD.1的已用存储空间之和为4TB，a2的大小和OSD.2的已用存储空间之和为7.5BT，a3的大小和OSD.3的已用存储空间之和为7BT；OSD.1、OSD.2及OSD.3的存储空间容量与使用率上限值乘积为：8*80％＝6.4，则确定OSD.2和OSD.3符合预设条件。
也就是说，上述a2的目标OSD—OSD.2和a3的目标OSD-OSD.3可能无法正常将a2和a3写入自身存储空间中。
进一步的，当确定一个或多个待写入数据分片的目标OSD无法写入待写入数据分片时，则从分布式存储集群中选取上述一个或多个待写入数据分片对应的新目标对象存储设备，以将上述一个或多个待写入数据分片写入到与其对应的新目标对象存储设备中。
需要说明的是，选取的新目标对象存储设备是与目标对象存储设备所属目标OSDG中OSD不重名的对象存储设备。
可选的，从分布式存储集群中选取一个或多个待写入数据分片对应的新目标对象存储设备时，可从上述与目标对象存储设备所属目标OSDG中OSD不重名的对象存储设备中，选取存储空间使用率小于平均使用率的至少一个对象存储设备，作为候选对象存储设备。然后，根据预设算法，从候选对象存储设备中选择新目标对象存储设备。其中，预设算法是指任意能够唯一确定目标对象存储设备的计算规则。在本实施例中，优选为伪随机算法。当然也可以是其他算法，此处不多具体限定。
也就是说，从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，包括：计算所述分布式存储集群中所有对象存储设备的存储空间的平均使用率；根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备；基于预设算法，从所述至少一个候选对象存储设备中，选取所述待写入数据分片的新目标对象存储设备。
其中，根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备，包括：将存储空间使用率小于所述平均使用率的对象存储设备，确定为候选对象存储设备。
S205，若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和不符合预设条件，则将所述待写入数据分片写入到所述目标对象存储设备中。
可选的，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和不符合预设条件，即和值小于目标OSD存储空间容量与目标OSD的使用率上限值的乘积，则说明待写入数据分片的目标对象存储设备能够正常将待写入数据分片写入至自身存储空间中，从而将待写入数据分片写入到目标对象存储设备中。
本发明实施例提供的技术方案，通过对接收到的待写入数据进行分片处理，得到待写入数据分片，并确定待写入数据分片的目标对象存储设备，然后计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。由此，实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证了数据业务的正常运行，从而有效提高用户使用体验。
基于上述实施例，本发明实施例S204之后还包括：
建立目标对象存储设备与新目标对象存储设备之间的映射关系，并根据所述映射关系，对所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表进行更新，以得到更新后的目标对象存储设备组；
将所述映射关系及所述更新后的目标对象存储设备组存储至所述分布式存储集群的数据库中。
本实施例通过将映射关系及更新后的目标对象存储设备组存储至分布式存储集群的数据库中，以为后续查询数据时，若分布式存储系统重启，则通过目标OSDG中的映射关系，或者数据库中存储的映射关系，可知晓哪些OSD发生了映射，以及查询的数据存储在哪些OSD上。
进一步的，本发明实施例建立目标对象存储设备与新目标对象存储设备之间的映射关系之后，还包括：
将目标对象存储设备和新目标对象存储设备中的数据迁移至存储空间使用率低于预设阈值的对象存储设备中；
若所述目标对象存储设备和所述新目标对象存储设备中的数据全部迁移至存储空间使用率低于预设阈值的对象存储设备中，则删除所述分布式存储集群的数据库中目标对象存储设备与新目标对象存储设备之间的映射关系，并更新所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表。
若所述目标对象存储设备中存在未迁移数据，则不删除所述分布式存储集群的数据库中目标对象存储设备与新目标对象存储设备之间的映射关系。
其中，更新所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表，是指将目标OSDG中的OSD列表中目标对象存储设备变更为存储空间使用率低于预设阈值的对象存储设备。预设阈值可根据实际应用进行适应性设置，此处对其不做具体限定。例如：75％等。
示例性的，可采用预设算法确定存储空间使用率低于预设阈值的对象存储设备，然后将目标对象存储设备和新目标对象存储设备中的数据迁移至存储空间使用率低于预设阈值的对象存储设备中。其中预设算法可以是现有算法，此处对其不做过多赘述。
需要说明的是，本发明实施例中，存储空间使用率低于预设阈值的对象存储设备可以是分布式存储集群中新增的对象存储设备，也可以是分布式存储集群中的原始对象存储设备。
例如，如图4(a)所示，假设存储空间使用率低于预设阈值的对象存储设备为新增的对象存储设备OSD.f，且目标OSDG为OSDG-1，目标对象存储设备为OSD.b，新目标对象存储设备为OSD.x，则将OSD.b和OSD.x上的数据迁移至新增的对象存储设备OSD.f。如图4(b)所示，当OSD.b和OSD.x上的数据全部迁移至新增的对象存储设备OSD.f之后，OSD.b所在的OSDG-1中OSD列表则更新为[OSD.a、OSD.f、OSD.c]。
也就是说，本实施例通过将临时存储有待写入数据分片的新目标对象存储设备中的数据和目标对象存储设备中的数据全部迁移至存储空间使用率低于预设阈值的对象存储设备，并更新目标OSDG中的OSD列表的目标对象存储设备为存储空间使用率低于预设阈值的对象设备，以简化业务流程。
通过上述分析可知，本发明实施例通过确定待写入数据分片的大小和目标对象存储设备的已用存储空间之和是否符合预设条件，若符合预设条件时，则确定新目标对象并将待写入数据分片写入到新目标对象存储设备中。
在本发明的另一实现场景中，当接收到新待写入数据时，本发明实施例通过对新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备，然后确定目标对象存储设备是否与分布式存储集群中的其他对象存储设备存在映射关系，并根据确定结果执行相应操作。下面结合图5，对本发明实施例分布式存储集群的数据写入方法上述情况进行说明。
图5是本发明实施例提供的另一种分布式存储集群的数据写入方法的流程示意图。如图5所示，该分布式存储集群的数据写入方法包括如下步骤：
S501，对接收到的新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备。
其中，所述新待写入数据分片的数量为大于或者等于1的正整数。
由于待写入数据可以为视频监控对应的多媒体数据，而视频监控数据具有时间属性，且具有留存期。一般正常情况下只有视频监控数据到达留存期时才进行删除或者覆盖过期数据。
当接收到客户端发送的新数据写入请求时，可对新待写入数据进行分片处理，得到新待写入数据分片，并确定新待写入数据分片的目标对象存储设备，具体实现过程参见上述实施例，此处不做过多赘述。
其中，本实施例中新数据写入请求可以是指数据覆盖写请求。也就是说，对上述实施例中目标对象存储设备中写入的数据分片进行数据覆盖。此外，新数据写入请求还可以是指新的数据写入请求，此处对其不做具体限定。
S502，若所述目标对象存储设备与其他对象存储设备存在映射关系，则确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片，若是则执行S503，否则，执行S507。
其中，所述原始对象数据分片是与所述新待写入数据分片具有相同数据标识的数据。
可选的，确定出新待写入数据分片的目标对象存储设备之后，可通过查询映射层，确定目标对象存储设备与其他对象存储设备是否存在映射关系。若存在映射关系，则进一步确定映射前的目标对象存储设备中，是否存在新待写入数据分片的原始对象数据分片。
S503，若存在所述待写入数据分片的原始对象数据分片，则确定所述原始对象数据分片与所述新待写入数据分片是否重合，若重合，则执行S504，否则，执行S505。
S504，若所述原始对象数据分片与所述新待写入数据分片重合，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中，并在所述新待写入数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
S505，若所述原始对象数据分片与所述新待写入数据分片不重合，则从映射前的目标对象存储设备中，读取所述原始对象数据分片，并将所述新待写入数据分片与所述原始对象数据分片进行叠加。
S506，将叠加后的数据分片写入到映射后的新目标对象存储设备中，并在所述叠加后的数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
S507，若不存在所述待写入数据分片的原始对象数据分片，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中。
在另一实施例中，确定新待写入数据分片的目标对象存储设备时，若确定目标OSD不承接对应OSDG中的数据，且该目标OSD存在映射关系时，则将映射后的新对象存储设备替换目标OSD，并更新OSD列表及数据库，以将映射后的新对象存储设备作为新待写入数据分片的目标对象存储设备。
本发明实施例在确定目标对象存储设备与其他对象存储设备存在映射关系时，优先判断映射前的目标对象存储设备上是否存在新待写入数据分片的原始对象数据分片，并确定存在时，进一步确定原始对象数据分片与新待写入数据分片是否完全重合，然后根据确定结果，采用不同方式将新待写入数据分片写入对应对象存储设备中，以保证分布式存储集群能够正常执行数据写入操作。
在另一实现场景中，本发明实施例将待写入数据写入目标对象存储设备之后，还可基于数据读取请求，从目标对象存储设备中读取请求所指定的目标数据。下面结合图6，对本发明实施例分布式存储集群的数据读取方法进行说明。
图6是本发明实施例提供的分布式存储集群的数据读取方法的流程示意图。如图6所示，本发明实施例分布式存储集群的数据读取方法包括如下：
S601，基于数据读取请求中的数据标识，确定目标对象存储设备。
本实施例中，数据读取请求具体是指对象读取请求。
在执行S601之前，首先接收客户端下发的数据读取请求，并根据数据读取请求中携带的数据标识信息，确定目标对象存储设备。
其中，标识信息可以是数据名称、数据采集时间、采集数据的设备名称等等，此处不做具体限定。
S602，若所述目标对象存储设备的数量为多个，且任一目标对象存储设备与其他对象存储设备存在映射关系，则基于所述数据标识，优先从未发生映射关系的剩余目标对象存储设备中读取目标数据。
S603，若读取数据失败或者读取的数据分片无法构成完成的数据，则基于所述数据标识，从映射前的目标对象存储设备中读取目标数据。
S604，若从映射前的目标对象存储设备中读取目标数据失败或者无效，则基于所述数据标识，从映射后的新目标对象存储设备中读取目标数据。
例如，若目标数据为多副本分片，目标对象存储设备为OSD.a、OSD.b、OSD.c，且OSD.b与分布式存储集群中其他对象存储设备OSD.x存在映射关系，那么首先，基于多副本分片的数据标识，优先从OSD.a或者OSD.c中读取多副本分片；若从OSD.a和OSD.c中读取多副本分片失败，再基于多副本分片的数据标识，从OSD.b中读取多副本分片，若从OSD.b中读取失败，则基于多副本分片的数据标识，再从OSD.x中读取多副本分片。
又如，若目标数据为纠删分片，且分片为2+1形式，目标对象存储设备为OSD.a、OSD.b、OSD.c，且OSD.b与分布式存储集群中其他对象存储设备OSD.x存在映射关系，则首先，基于纠删分片的数据标识，优先从OSD.a或者OSD.c中读取纠删分片；若从OSD.a和OSD.c中读取纠删分片失败，再基于纠删分片的数据标识，从OSD.b中读取纠删分片，若从OSD.b中读取纠删分片失败，则基于纠删分片的数据标识，再从OSD.x中读取纠删分片。
进一步的，本发明实施例基于数据读取请求中的数据标识，确定的目标对象存储设备的数量还可以为一个，此时从该目标对象存储设备中读取目标数据具体如下情形：
若所述目标对象存储设备的数量为一个，且所述目标对象存储设备与其他对象存储设备存在映射关系，则基于所述数据标识，从映射前的目标对象存储设备中读取目标数据；
若从映射前的目标对象存储设备中读取数据失败或者无效，则基于所述数据标识，从映射后的新目标对象存储设备中读取目标数据。
本发明实施例提供的技术方案，根据数据读取请求读取目标数据时，优先从未产生映射关系的目标对象存储设备中读取，若从未产生映射关系的目标对象存储设备中读取失败或者读取的数据分片无法构成完成的数据时，再从产生映射关系的映射前的目标对象存储设备中读取，若仍读取失败或者无效，最后从映射后的其他对象存储设备中读取目标数据，从而优化了业务流程。
为了实现上述目的，本发明实施例还提出了一种分布式存储集群的数据写入装置。图7是本发明实施例提供的一种分布式存储集群的数据写入装置的结构示意图。如图7所示，本发明实施例分布式存储集群的数据写入装置包括：处理模块710、确定模块712、计算模块714和控制模块716。
其中，处理模块710用于对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定模块712用于确定所述待写入数据分片的目标对象存储设备；
计算模块714用于计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
控制模块716用于若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
作为本发明实施例的一种可选的实现方式，控制模块716还用于：若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和不符合预设条件，则将所述待写入数据分片写入到所述目标对象存储设备中。
作为本发明实施例的一种可选的实现方式，控制模块716，还包括：第一确定单元、第二确定单元和选取单元。
其中，第一确定单元，用于计算所述分布式存储集群中所有对象存储设备的存储空间的平均使用率；
第二确定单元，用于根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备；
选取单元，用于基于预设算法，从所述至少一个候选对象存储设备中，选取所述待写入数据分片的新目标对象存储设备。
作为本发明实施例的一种可选的实现方式，第二确定单元，具体用于：
将存储空间使用率小于所述平均使用率的对象存储设备，确定为候选对象存储设备。
作为本发明实施例的一种可选的实现方式，所述装置还包括：建立模块和存储模块；
其中，建立模块，用于建立目标对象存储设备与新目标对象存储设备之间的映射关系，并根据所述映射关系，对所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表进行更新，以得到更新后的目标对象存储设备组；
存储模块，用于将所述映射关系及所述更新后的目标对象存储设备组存储至所述分布式存储集群的数据库中。
作为本发明实施例的一种可选的实现方式，存储模块包括：数据迁移单元和删除单元；
数据迁移单元，用于将目标对象存储设备和新目标对象存储设备中的数据迁移至存储空间使用率低于预设阈值的对象存储设备中；
删除单元，用于若所述目标对象存储设备和所述新目标对象存储设备中的数据全部迁移至存储空间使用率低于预设阈值的对象存储设备中，则删除所述分布式存储集群的数据库中的目标对象存储设备与新目标对象存储设备之间的映射关系，并更新所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表。
作为本发明实施例的一种可选的实现方式，所述装置还包括：第二确定模块、第三确定模块、第四确定模块和写入模块；
第二确定模块，用于对接收到的新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备，所述新待写入数据分片的数量为大于或者等于1的正整数；
第三确定模块，用于若所述目标对象存储设备与其他对象存储设备存在映射关系，则确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片；其中，所述原始对象数据分片是与所述新待写入数据分片具有相同数据标识的数据；
第四确定模块，用于若存在所述待写入数据分片的原始对象数据分片，则确定所述原始对象数据分片与所述新待写入数据分片是否重合；
写入模块，用于若所述原始对象数据分片与所述新待写入数据分片重合，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中，并在所述新待写入数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
作为本发明实施例的一种可选的实现方式，第三确定模块，还用于：
若不存在所述待写入数据分片的原始对象数据分片，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中。
作为本发明实施例的一种可选的实现方式，第四确定模块，还用于：
若所述原始对象数据分片与所述新待写入数据分片不重合，则从映射前的目标对象存储设备中，读取所述原始对象数据分片，并将所述新待写入数据分片与所述原始对象数据分片进行叠加；
将叠加后的数据分片写入到映射后的新目标对象存储设备中，并在所述叠加后的数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
作为本发明实施例的一种可选的实现方式，所述装置还包括：第五确定模块、第一读取模块、第二读取模块及第三读取模块；
第五确定模块，用于基于数据读取请求中的数据标识，确定目标对象存储设备；
第一读取模块，用于若所述目标对象存储设备的数量为多个，且任一目标对象存储设备与其他对象存储设备存在映射关系，则基于所述数据标识，优先从未发生映射关系的剩余目标对象存储设备中读取目标数据；
第二读取模块，用于若读取数据失败或者读取的数据分片无法构成完成的数据，则基于所述数据标识，从映射前的目标对象存储设备中读取目标数据；
第三读取模块，用于若从映射前的目标对象存储设备中读取目标数据失败或者无效，则基于所述数据标识，从映射后的新目标对象存储设备中读取目标数据。
需要说明的是，前述对分布式存储集群的数据写入方法实施例的解释说明也适用于该实施例的分布式存储集群的数据写入装置，其实现原理类似，此处不再赘述。
本发明实施例提供的技术方案，通过对接收到的待写入数据进行分片处理，得到待写入数据分片，并确定待写入数据分片的目标对象存储设备，然后计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。由此，实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证了数据业务的正常运行，从而有效提高用户使用体验。
为了实现上述目的，本发明实施例还提出了一种计算机设备。图8为本发明提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。本发明实施例提供了一种计算机设备12，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任一实施例所述的分布式存储集群的数据写入方法。
图8显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16(即本发明实施例中的处理器)，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的分布式存储集群的数据写入方法，包括：
对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定所述待写入数据分片的目标对象存储设备；
计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
需要说明的是，前述对分布式存储集群的数据写入方法实施例的解释说明也适用于该实施例的计算机设备，其实现原理类似，此处不再赘述。
本发明实施例提供的技术方案，通过对接收到的待写入数据进行分片处理，得到待写入数据分片，并确定待写入数据分片的目标对象存储设备，然后计算待写入数据分片的大小和目标对象存储设备的已用存储空间之和，若待写入数据分片的大小和目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取待写入数据分片的新目标对象存储设备，以将待写入数据分片写入到新目标对象存储设备中。由此，实现在任意对象存储设备的存储空间使用率达到使用率上限时，使得分布式存储集群能够继续执行数据写入操作，保证了数据业务的正常运行，从而有效提高用户使用体验。
为了实现上述目的，本发明实施例还提出了一种计算机可读存储介质。本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的分布式存储集群的数据写入方法，该方法包括：
对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定所述待写入数据分片的目标对象存储设备；
计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中。
当然,本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的分布式存储集群的数据写入方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。
值得注意的是，上述装置实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (12)

1.一种分布式存储集群的数据写入方法，其特征在于，所述方法包括：
对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定所述待写入数据分片的目标对象存储设备；
计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中；
将所述待写入数据分片写入到新目标对象存储设备中之后，还包括：
对接收到的新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备，所述新待写入数据分片的数量为大于或者等于1的正整数；
若所述目标对象存储设备与其他对象存储设备存在映射关系，则确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片；其中，所述原始对象数据分片是与所述新待写入数据分片具有相同数据标识的数据；
若存在所述待写入数据分片的原始对象数据分片，则确定所述原始对象数据分片与所述新待写入数据分片是否重合；
若所述原始对象数据分片与所述新待写入数据分片重合，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中，并在所述新待写入数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和不符合预设条件，则将所述待写入数据分片写入到所述目标对象存储设备中。
3.根据权利要求1所述的方法，其特征在于，从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，包括：
计算所述分布式存储集群中所有对象存储设备的存储空间的平均使用率；
根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备；
基于预设算法，从所述至少一个候选对象存储设备中，选取所述待写入数据分片的新目标对象存储设备。
4.根据权利要求3所述的方法，其特征在于，根据所述平均使用率，确定所述待写入数据分片的至少一个候选对象存储设备，包括：
将存储空间使用率小于所述平均使用率的对象存储设备，确定为候选对象存储设备。
5.根据权利要求1所述的方法，其特征在于，从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备之后，还包括：
建立目标对象存储设备与新目标对象存储设备之间的映射关系，并根据所述映射关系，对所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表进行更新，以得到更新后的目标对象存储设备组；
将所述映射关系及所述更新后的目标对象存储设备组存储至所述分布式存储集群的数据库中。
6.根据权利要求5所述的方法，其特征在于，建立目标对象存储设备与新目标对象存储设备之间的映射关系之后，还包括：
将目标对象存储设备和新目标对象存储设备中的数据迁移至存储空间使用率低于预设阈值的对象存储设备中；
若所述目标对象存储设备和所述新目标对象存储设备中的数据全部迁移至存储空间使用率低于预设阈值的对象存储设备中，则删除所述分布式存储集群的数据库中目标对象存储设备与新目标对象存储设备之间的映射关系，并更新所述目标对象存储设备所属的目标对象存储设备组中的对象存储设备列表。
7.根据权利要求1所述的方法，其特征在于，确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片之后，还包括：
若不存在所述待写入数据分片的原始对象数据分片，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中。
8.根据权利要求1所述的方法，其特征在于，确定所述原始对象数据分片与所述新待写入数据分片是否重合之后，还包括：
若所述原始对象数据分片与所述新待写入数据分片不重合，则从映射前的目标对象存储设备中，读取所述原始对象数据分片，并将所述新待写入数据分片与所述原始对象数据分片进行叠加；
将叠加后的数据分片写入到映射后的新目标对象存储设备中，并在所述叠加后的数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
9.根据权利要求1所述的方法，其特征在于，将所述待写入数据分片写入到新目标对象存储设备中之后，还包括：
基于数据读取请求中的数据标识，确定目标对象存储设备；
若所述目标对象存储设备的数量为多个，且任一目标对象存储设备与其他对象存储设备存在映射关系，则基于所述数据标识，优先从未发生映射关系的剩余目标对象存储设备中读取目标数据；
若读取数据失败或者读取的数据分片无法构成完成的数据，则基于所述数据标识，从映射前的目标对象存储设备中读取目标数据；
若从映射前的目标对象存储设备中读取目标数据失败或者无效，则基于所述数据标识，从映射后的新目标对象存储设备中读取目标数据。
10.一种分布式存储集群的数据写入装置，其特征在于，包括：
处理模块，用于对接收到的待写入数据进行分片处理，得到待写入数据分片，所述待写入数据分片的数量为大于或者等于1的正整数；
确定模块，用于确定所述待写入数据分片的目标对象存储设备；
计算模块，用于计算所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和；
控制模块，用于若所述待写入数据分片的大小和所述目标对象存储设备的已用存储空间之和符合预设条件，则从分布式存储集群中选取所述待写入数据分片的新目标对象存储设备，以将所述待写入数据分片写入到新目标对象存储设备中；
还包括：第二确定模块、第三确定模块、第四确定模块和写入模块；
第二确定模块，用于对接收到的新待写入数据进行分片处理，并确定新待写入数据分片的目标对象存储设备，所述新待写入数据分片的数量为大于或者等于1的正整数；
第三确定模块，用于若所述目标对象存储设备与其他对象存储设备存在映射关系，则确定映射前的目标对象存储设备中，是否存在所述新待写入数据分片的原始对象数据分片；其中，所述原始对象数据分片是与所述新待写入数据分片具有相同数据标识的数据；
第四确定模块，用于若存在所述待写入数据分片的原始对象数据分片，则确定所述原始对象数据分片与所述新待写入数据分片是否重合；
写入模块，用于若所述原始对象数据分片与所述新待写入数据分片重合，则将所述新待写入数据分片写入到映射后的新目标对象存储设备中，并在所述新待写入数据分片写入成功之后，将映射前的目标对象存储设备中的原始对象数据分片删除。
11.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-9中任一项所述的分布式存储集群的数据写入方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的分布式存储集群的数据写入方法。
CN201911166521.3A 2019-11-25 2019-11-25 分布式存储集群的数据写入方法、装置、设备和介质 Active CN112835511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166521.3A CN112835511B (zh) 2019-11-25 2019-11-25 分布式存储集群的数据写入方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166521.3A CN112835511B (zh) 2019-11-25 2019-11-25 分布式存储集群的数据写入方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112835511A CN112835511A (zh) 2021-05-25
CN112835511B true CN112835511B (zh) 2022-09-20

Family

ID=75922227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166521.3A Active CN112835511B (zh) 2019-11-25 2019-11-25 分布式存储集群的数据写入方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112835511B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672435A (zh) * 2021-07-09 2021-11-19 济南浪潮数据技术有限公司 一种数据恢复方法、装置、设备及存储介质
CN116521091B (zh) * 2023-06-28 2023-09-15 苏州浪潮智能科技有限公司 数据读取方法、装置、设备、数据传输系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817950A (zh) * 2017-10-31 2018-03-20 新华三技术有限公司 一种数据处理方法及装置
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN109271360A (zh) * 2018-08-03 2019-01-25 北京城市网邻信息技术有限公司 分布式对象存储数据冗余方法、装置、设备及存储介质
CN109669822A (zh) * 2018-11-28 2019-04-23 平安科技（深圳）有限公司 电子装置、备用存储池的创建方法和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017011412B1 (pt) * 2014-12-27 2023-02-14 Huawei Technologies Co., Ltd. Método e aparelho de armazenamento de dados

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817950A (zh) * 2017-10-31 2018-03-20 新华三技术有限公司 一种数据处理方法及装置
CN108509153A (zh) * 2018-03-23 2018-09-07 新华三技术有限公司 Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN109271360A (zh) * 2018-08-03 2019-01-25 北京城市网邻信息技术有限公司 分布式对象存储数据冗余方法、装置、设备及存储介质
CN109669822A (zh) * 2018-11-28 2019-04-23 平安科技（深圳）有限公司 电子装置、备用存储池的创建方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN112835511A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US10896102B2 (en) Implementing secure communication in a distributed computing system
US10846137B2 (en) Dynamic adjustment of application resources in a distributed computing system
US10175894B1 (en) Method for populating a cache index on a deduplicated storage system
US8301670B2 (en) Managing snapshot storage pools
US8775751B1 (en) Aggressive reclamation of tier-1 storage space in presence of copy-on-write-snapshots
US8285690B2 (en) Storage system for eliminating duplicated data
US8666955B2 (en) Data management method and data management system
EP2216710A2 (en) Methods and apparatus for performing efficient data deduplication by metadata grouping
US10628235B2 (en) Accessing log files of a distributed computing system using a simulated file system
US9959049B1 (en) Aggregated background processing in a data storage system to improve system resource utilization
CN108733311B (zh) 用于管理存储系统的方法和设备
US9395936B2 (en) Method and apparatus for remote storage performance data copy
US20200042618A1 (en) Implementing Storage Volumes Over Multiple Tiers
US10642697B2 (en) Implementing containers for a stateful application in a distributed computing system
CN110399333B (zh) 删除快照的方法、设备和计算机程序产品
CN112835511B (zh) 分布式存储集群的数据写入方法、装置、设备和介质
CN108255576A (zh) 虚拟机热迁移异常处理方法、装置和存储介质
US11409456B2 (en) Methods to reduce storage capacity
US20190114076A1 (en) Method and Apparatus for Storing Data in Distributed Block Storage System, and Computer Readable Storage Medium
US8566541B2 (en) Storage system storing electronic modules applied to electronic objects common to several computers, and storage control method for the same
US11134121B2 (en) Method and system for recovering data in distributed computing system
US20160259725A1 (en) Storage apparatus, computer system, and method
US9798793B1 (en) Method for recovering an index on a deduplicated storage system
US20160117122A1 (en) Management computer and computer system
US20200333970A1 (en) Data de-duplication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant