CN109085999B - 数据处理方法及处理系统 - Google Patents

数据处理方法及处理系统 Download PDF

Info

Publication number
CN109085999B
CN109085999B CN201810626541.3A CN201810626541A CN109085999B CN 109085999 B CN109085999 B CN 109085999B CN 201810626541 A CN201810626541 A CN 201810626541A CN 109085999 B CN109085999 B CN 109085999B
Authority
CN
China
Prior art keywords
storage
data
cluster
storage cluster
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810626541.3A
Other languages
English (en)
Other versions
CN109085999A (zh
Inventor
陈绍元
王士铨
王进锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810626541.3A priority Critical patent/CN109085999B/zh
Publication of CN109085999A publication Critical patent/CN109085999A/zh
Application granted granted Critical
Publication of CN109085999B publication Critical patent/CN109085999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理方法及处理系统。本申请实施例方法包括：处理系统首先从存储集群集合中确定已占用存储空间大于存储阈值的第一存储集群，其中，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，该第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址，由于第一存储集群的剩余存储空间较少，因此之后处理系统将从存储集群集合中确定已占用存储空间小于存储阈值的第二存储集群，并进一步建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，该第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。

Description

数据处理方法及处理系统
技术领域
本申请涉及通信领域，尤其涉及一种数据处理方法及处理系统。
背景技术
传统的网络存储系统采用集中的存储设备存放所有数据，不过由于存储设备其物理组成(如磁盘驱动器数量、所连接的服务器数量、内存大小以及控制器性能)的限制，不能满足大规模存储应用的需要。
为此，目前通常采用将数据分布到存储集群中各节点的存储方式以提高存储系统支持的存储容量，其中，存储集群是将多个物理卷(如磁盘或硬盘)中的存储空间聚合成一个能够给客户端提供统一访问接口的存储池，客户端可以通过该访问接口访问和利用存储集群上的存储空间。
然而，由于网络带宽的限制，存储集群中的节点数也不能无限制扩展，即单个存储集群的容量是有上限的，对终端来说，有可能出现待存储的数据还没有全部存储完成，而存储集群容量已满的情况，此时将导致存储服务因存储空间的不足而中断。
发明内容
本申请实施例提供了一种数据处理方法及处理系统，逻辑卷与第一存储集群中的第一物理卷以及第二存储集群中的第二物理卷之间都存在映射关系，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务的停止。
有鉴于此，本申请第一方面提供一种数据处理的方法，可以包括：
处理系统首先从存储集群集合中确定已占用存储空间大于存储阈值的第一存储集群，其中，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，该第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址，由于第一存储集群的剩余存储空间较少，因此之后处理系统将从存储集群集合中确定已占用存储空间小于存储阈值的第二存储集群，并进一步建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，该第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。
需要说明的是，存储集群是将多个物理卷(如磁盘或硬盘)中的存储空间聚合成一个能够给客户端提供统一访问接口的存储池，客户端可以通过该访问接口访问和利用存储集群上的存储空间。物理卷用于存储数据，包括可移动存储设备和不可移动存储设备，例如：磁盘。逻辑卷是将存储虚拟化，存储不再受限于物理磁盘的大小，可以聚合多个磁盘或磁盘分区成一个逻辑卷。
也就是说，逻辑卷可以与一个或多个物理卷之间建立映射关系，具体地，该映射关系可以指示逻辑卷的逻辑地址所对应的物理卷的物理地址，其中，逻辑地址是应用程序所使用的地址，可以是按数据的逻辑块号给出的磁盘的位置，而物理地址则是由磁盘的柱面、头、段等物理位置所确定的地址。例如，逻辑地址可以用段基址(段地址)和段内偏移量(偏移地址)来表示,段基址确定数据所在的段居于磁盘的位置,段内偏移量确定数据在该段内的位置,逻辑地址经过寻址方式的变化或计算可以得到物理地址。
可以理解的是，由于逻辑卷可以对应有多个物理卷，因此，可以在保持逻辑卷与第一物理卷之间的第一映射关系的基础上，进一步建立逻辑卷与第二物理卷之间的第二映射关系，即逻辑卷与第一物理卷以及第二物理卷之间都具有映射关系。
在本申请实施方式中，对终端来说，由于只有逻辑卷是可见的，即终端只需要获知数据存储的逻辑地址即可，那么在逻辑卷与第一存储集群中的第一物理卷之间具有第一映射关系的基础上，又建立了逻辑卷与第二存储集群中的第二物理卷之间的第二映射关系，由此实现了对逻辑卷的扩容。
可选的，在一些可能的实施方式中，
处理系统还将接收到终端发送的数据存储请求，该数据存储请求中包含有待存储数据的指示信息，指示信息中又包含有逻辑卷的逻辑地址，之后，处理系统将比较待存储数据所占用的存储空间与第一存储集群剩余存储空间之间的大小，若第一存储集群的剩余存储空间小于待存储数据占用的存储空间，那么处理系统可以根据已建立的第二映射关系将待存储数据存储于第二存储集群的第二物理卷中。
可以理解的是，若第一存储集群的剩余存储空间大于待存储数据占用的存储空间，那么处理系统则根据已建立的第一映射关系将待存储数据存储于第一存储集群的第一物理卷中。
在本申请实施方式中，逻辑卷与第一存储集群中的第一物理卷以及第二存储集群中的第二物理卷之间都存在映射关系，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务因存储空间的不足而中断。
可选的，在一些可能的实施方式中，若第一存储集群的剩余存储空间小于待存储数据占用的存储空间，处理系统将待存储数据存储于第二存储集群的第二物理卷中，可以包括：
若第一存储集群不具有剩余存储空间，即第一存储集群已达到存储上限，那么全部的待存储数据都需要存入第二存储集群中，具体地，处理系统根据待存储数据占用的逻辑地址及第二映射关系可以确定第二存储集群中第二物理卷的第三物理地址，其中，第三物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间，进而处理系统将该第三物理地址叠加到第一数据存储请求中得到第二数据存储请求，并将该第二数据存储请求发送至第二存储集群，用于指示第二存储集群根据该第三物理地址将待存储数据存储于第二物理卷中。
需要说明的是，若在待存储数据的存储过程中，第二存储集群的已占用空间也超过了存储阈值，那么处理系统将确定第三存储集群，并建立逻辑卷与第三存储集群中第三物理卷之间的第三映射关系，实现对逻辑卷的进一步扩容。
通过上述方式，在第一存储集群达到存储上限的情况下，提供了一种处理系统将待存储数据存储于第二存储集群的具体实现方式，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务因存储空间的不足而中断。
可选的，在一些可能的实施方式中，处理系统将待存储数据存储于第二存储集群的第二物理卷中，可以包括：
若第一存储集群仍具有剩余存储空间，即第一存储集群还未达到存储上限，不过第一存储集群的剩余存储空间小于待存储数据占用的存储空间，那么，待存储数据还是要优先存入第一存储集群，待第一存储集群达到存储上限后，待存储数据中的另一部分数据再存入第二存储集群，具体地，待存储数据可以拆分为第一数据和第二数据，第一数据占用的存储空间小于等于第一存储集群的剩余存储空间，处理系统首先根据第一映射关系确定与第一数据占用的逻辑地址对应的第四物理地址，其中，第四物理地址所对应的存储空间为第一物理地址所对应的存储空间的部分存储空间，之后将该第四物理地址叠加到第一数据存储请求中得到第三数据存储请求，并将该第三数据存储请求发送至第一存储集群，用于指示第一存储集群根据该第四物理地址将第一数据存储于第一物理卷，待第一数据存储完成后，处理系统根据第二映射关系确定与第二数据占用的逻辑地址对应的第五物理地址，其中，第五物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间，之后将该第五物理地址叠加到第一数据存储请求中得到第四数据存储请求，并将该第四数据存储请求发送至第二存储集群，用于指示第二存储集群根据该第五物理地址将第二数据存储于第二物理卷。
通过上述方式，在第一存储集群还未达到存储上限的情况下，待存储数据将优先存入第一存储集群，待第一存储集群达到存储上限后，待存储数据的剩余部分再存入第二存储集群，这样可以充分利用现有可用的存储空间。
可选的，在一些可能的实施方式中，
当待存储数据已存储于第二物理卷中时，处理系统可以从第二存储集群获取已存储数据在第二物理卷中的存储地址，其中，第一数据存储请求中携带的指示信息中还包含有待存储数据的至少一个数据标识，之后，处理系统将建立该数据标识与存储地址之间的第三映射关系，该第三映射关系可以指示数据标识对应的数据在第二物理卷中的存储地址。
可选的，在一些可能的实施方式中，
处理系统还将接收终端发送的第一数据访问请求，其中，该第一数据访问请求中包含待访问数据的数据标识，处理系统可以根据第三映射关系确定与该数据标识对应的存储地址，之后将该存储地址叠加到该第一数据访问请求中得到第二数据访问请求，并将该第二数据访问请求发送至第二存储集群，用于指示第二存储集群对待访问数据进行相应的处理，如：删除数据或修改数据等。
需要说明的是，数据标识所对应的数据有可能一部分存储于第一存储集群，另一部分存储于第二存储集群，那么处理系统可以根据数据标识查找到该数据在第一存储集群的第一存储地址以及该数据在第二存储集群的第二存储地址，进而处理系统将第一存储地址叠加到数据访问请求中并转发该请求至第一存储集群，并将第二存储地址叠加到数据访问请求中并转发该请求至第二存储集群，第一存储集群及第二存储集群分别根据收到的请求对存储于本地的数据进行相应的处理。
本申请实施例中，由于对终端来说只有逻辑卷是可见的，即终端并不感知具体用于存储数据的存储集群，那么存储于第一存储集群中的待访问数据就无需再迁移至第二存储集群，减少了数据迁移的工作量。
可选的，在一些可能的实施方式中，从存储集群集合中确定第二存储集群之前，该方法还包括：
处理系统可以向存储集群中的各存储集群发送查询请求，具体用于查询各存储集群的占有率，之后，各存储集群将自身当前的占有率反馈至处理系统，其中，该占有率可以表示存储集群已用存储空间占总存储空间的百分比，进而处理系统对各存储集群的占有率进行判断，占有率大于预设阈值的存储集群即为第一存储集群。
可选的，在一些可能的实施方式中，从存储集群集合中确定第二存储集群包括：
处理系统从获取到的各存储集群占有率中确定占有率小于预设阈值的存储集群为第二存储集群，其中，若有多个占有率小于预设阈值的存储集群，那么处理系统可以将各存储集群按照占有率从大到小或从小到大的顺序进行排列，进而处理系统可以根据该排序优先选择占有率最小的存储集群作为第二存储集群。
本申请实施例中，处理系统可以获取存储集群集合中各存储集群的占有率，首先确定占有率大于预设阈值的第一存储集群，之后再确定占有率小于预设阈值的第二存储集群，通过上述方式，为本方案提供了一种确定第一存储集群和第二存储集群的具体实现方式。
本申请实施例第二方面提供了一种处理系统，该处理系统从功能上可以划分为扩充单元，存储单元以及索引单元，具体地，扩充单元可以是协调器(coordinator)，存储单元可以是存储网关(storage gateway)，索引单元可以是索引(index)，下面分别进行介绍：
扩充单元可以查询存储集群集合中各存储集群已占用的存储空间，并将查询结果存储于索引单元中，若扩充单元确定第一存储集群的已占用存储空间大于存储阈值，那么扩充单元将确定已占用存储空间小于存储阈值的第二存储集群，其中，逻辑卷与第一存储集群的第一物理卷之间具有第一映射关系，进一步，扩充单元还将建立逻辑卷与第二存储集群的第二物理卷之间的第二映射关系，并将第二映射关系存储于索引单元中。
存储单元可以接收终端发起的第一数据存储请求，该第一数据存储请求中包含待存储数据的指示信息，该指示信息中包含逻辑卷的逻辑地址以及待存储数据的数据标识，若第一存储集群的剩余存储空间小于待存储数据占用的存储空间，那么存储单元可以查询索引单元中的第二映射关系，并根据该第二映射关系将待存储的数据存储于第二存储集群的第二物理卷中，进而存储单元可以获取已存储于第二物理卷中的数据的存储地址，存储单元还将建立该数据的数据标识与该数据的存储地址之间的第三映射关系并存储于索引单元中；另外，存储单元还可以接收终端发起的第一数据访问请求，该第一数据访问请求中包含待访问数据的数据标识，存储单元查询索引单元确定与该数据标识对应的存储地址，进而存储单元可以将携带有该存储地址的第二数据访问请求转发至第二存储集群。
可选地，在一些可能的实施方式中，
存储单元收到数据存储请求后，将比较待存储数据所占用的存储空间与第一存储集群剩余存储空间之间的大小，当第一存储集群的剩余存储空间大于待存储数据占用的存储空间时，那么存储单元可以根据已建立的第一映射关系将待存储数据存储于第一存储集群的第一物理卷中。
可选地，在一些可能的实施方式中，
当存储单元确定第一存储集群不具有剩余存储空间时，存储单元根据待存储数据占用的逻辑地址及第二映射关系可以确定第二存储集群中第二物理卷的第三物理地址，第三物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间，进而存储单元将该第三物理地址叠加到第一数据存储请求中得到第二数据存储请求，并将该第二数据存储请求发送至第二存储集群，用于指示第二存储集群根据该第三物理地址将待存储数据存储于第二物理卷中。
另外，当第二存储集群的已占用存储空间也超过了存储阈值时，扩充单元还将确定第三存储集群，并建立逻辑卷与第三存储集群中第三物理卷之间的第三映射关系。
可选的，在一些可能的实施方式中，
当第一存储集群仍具有剩余存储空间且第一存储集群的剩余存储空间小于待存储数据占用的存储空间时，存储单元可以将待存储数据可以拆分为第一数据和第二数据，第一数据占用的存储空间小于等于第一存储集群的剩余存储空间，存储单元根据第一映射关系确定与第一数据占用的逻辑地址对应的第四物理地址，第四物理地址所对应的存储空间为第一物理地址所对应的存储空间的部分存储空间，存储单元将该第四物理地址叠加到第一数据存储请求中得到第三数据存储请求，并将该第三数据存储请求发送至第一存储集群，用于指示第一存储集群根据该第四物理地址将第一数据存储于第一物理卷，当第一数据存储完成时，存储单元根据第二映射关系确定与第二数据占用的逻辑地址对应的第五物理地址，第五物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间，存储单元将该第五物理地址叠加到第一数据存储请求中得到第四数据存储请求，并将该第四数据存储请求发送至第二存储集群，用于指示第二存储集群根据该第五物理地址将第二数据存储于第二物理卷。
可选的，在一些可能的实施方式中，
存储单元收到第一数据访问请求后，可以根据第三映射关系确定与该数据标识对应的存储地址，存储单元将该存储地址叠加到该第一数据访问请求中得到第二数据访问请求，并将该第二数据访问请求发送至第二存储集群，用于指示第二存储集群对待访问数据进行相应的处理，如：删除数据或修改数据等。
需要说明的是，数据标识所对应的数据有可能一部分存储于第一存储集群，另一部分存储于第二存储集群，那么存储单元可以根据数据标识查找到该数据在第一存储集群的第一存储地址以及该数据在第二存储集群的第二存储地址，存储单元将第一存储地址叠加到数据访问请求中并转发该请求至第一存储集群，并将第二存储地址叠加到数据访问请求中并转发该请求至第二存储集群。
可选的，在一些可能的实施方式中，
扩充单元可以向存储集群中的各存储集群发送查询请求，具体用于查询各存储集群的占有率，扩充单元对各存储集群的占有率进行判断，并确定占有率大于预设阈值的存储集群为第一存储集群。
可选的，在一些可能的实施方式中，
扩充单元从获取到的各存储集群占有率中确定占有率小于预设阈值的存储集群为第二存储集群，若有多个占有率小于预设阈值的存储集群，那么扩充单元可以将各存储集群按照占有率从大到小或从小到大的顺序进行排列，进而扩充单元可以根据该排序优先选择占有率最小的存储集群作为第二存储集群。
可以理解的是，扩充单元、存储单元以及索引单元通常运行于相互独立的设备中，例如，扩充单元、存储单元和索引单元可以运行于不同的物理机中，又或者扩充单元、存储单元和索引单元分别运行于不同的虚拟机(virtual machine，VM)或者容器(container)上。
另外，扩充单元、存储单元或索引单元也可以运行于同一个设备上，例如，扩充单元与存储单元运行于同一个物理机、虚拟机或容器，或者存储单元与索引单元运行于同一物理机、虚拟机或容器，或者扩充单元和索引单元运行于同一物理机、虚拟机或容器，又或者扩充单元、存储单元和索引单元都运行于同一物理机、虚拟机或容器，具体此处不做限定。
可选地，扩充单元、存储单元和索引单元也可以运行于物理机中一个或多个包含有处理器及输入/输出接口的芯片中。
具体地，扩充单元进一步可以细分为第一确定单元、第二确定单元、第一建立单元、第二获取单元、判断单元以及第三确定单元。
可选的，在一些可能的实施方式中，
第一确定单元，用于从存储集群集合中确定第一存储集群，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址；
第二确定单元，用于当第一存储集群的已占用存储空间大于存储阈值时，从存储集群集合中确定已占用存储空间小于存储阈值的第二存储集群；
第一建立单元，用于建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。
可选的，在一些可能的实施方式中，
第二获取单元，用于从存储集群集合中获取每个存储集群的占有率；
判断单元，用于判断第一存储集群的占有率是否大于预设阈值；
第三确定单元，用于当第一存储集群的占有率大于预设阈值时，确定第一存储集群的已占用存储空间大于存储阈值。
可选的，在一些可能的实施方式中，
第二确定单元，具体用于确定占有率小于预设阈值的存储集群为第二存储集群。
具体地，存储单元可以进一步细分为接收单元、请求处理单元、第一获取单元以及第二建立单元。
可选的，在一些可能的实施方式中，
接收单元，用于接收第一数据存储请求，第一数据存储请求中包含待存储数据的指示信息，指示信息包含逻辑卷的逻辑地址；
请求处理单元，用于对第一数据存储请求进行处理，当第一存储集群的剩余存储空间小于待存储数据占用的存储空间时，将待存储数据存储于第二存储集群的第二物理卷中。
可选的，在一些可能的实施方式中，
请求处理单元，具体用于：
当第一存储集群不具有剩余存储空间时，将与待存储数据占用的逻辑地址对应的第三物理地址叠加到第一数据存储请求中得到第二数据存储请求，第三物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第二数据存储请求，第二数据存储请求用于指示第二存储集群根据第三物理地址将待存储数据存储于第二物理卷。
可选的，在一些可能的实施方式中，
请求处理单元，具体用于：
将待存储数据拆分为第一数据及第二数据，第一数据占用的存储空间小于等于第一存储集群的剩余存储空间；将与第一数据占用的逻辑地址对应的第四物理地址叠加到第一数据存储请求中得到第三数据存储请求，第四物理地址所对应的存储空间为第一物理地址所对应的存储空间的部分存储空间；并向第一存储集群发送第三数据存储请求，第三数据存储请求用于指示第一存储集群根据第四物理地址将第一数据存储于第一物理卷；将与第二数据占用的逻辑地址对应的第五物理地址叠加到第一数据存储请求中得到第四数据存储请求，第五物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第四数据存储请求，第四数据存储请求用于指示第二存储集群根据第五物理地址将第二数据存储于第二物理卷。
可选的，在一些可能的实施方式中，
第一获取单元，用于当待存储数据已存储于第二物理卷中时，从第二存储集群获取已存储数据在第二物理卷中的存储地址；
第二建立单元，用于建立数据标识与存储地址之间的第三映射关系，第三映射关系用于指示数据标识对应的数据在第二物理卷中的存储地址。
可选的，在一些可能的实施方式中，
接收单元，还用于：
接收第一数据访问请求，第一数据访问请求中包含待访问数据的数据标识；
请求处理单元，还用于：
根据第三映射关系确定与数据标识对应的存储地址；将存储地址叠加到第一数据访问请求中得到第二数据访问请求；并向第二存储集群发送第二数据访问请求。
本申请实施例第三方面提供一种处理系统，可以包括：
处理器、存储器以及输入输出接口，该处理器、该存储器与该输入输出接口连接；该存储器，用于存储程序代码；该处理器调用该存储器中的程序代码时执行本申请第一方面或第一方面任一实施方式提供的处理系统执行的步骤。
本申请实施例第四方面提供一种存储介质，包括指令，当其在计算机上运行时，用于执行上述第一方面中处理系统所设计的程序。
本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如本申请第一方面任一可选实施方式中所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，处理系统首先从存储集群集合中确定已占用存储空间大于存储阈值的第一存储集群，其中，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，该第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址，由于第一存储集群的剩余存储空间较少，因此之后处理系统将从存储集群集合中确定已占用存储空间小于存储阈值的第二存储集群，并进一步建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，该第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。通过上述方式，对终端来说，由于只有逻辑卷是可见的，即终端只需要获知数据存储的逻辑地址即可，而逻辑卷与第一存储集群中的第一物理卷以及第二存储集群中的第二物理卷之间都存在映射关系，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务因存储空间的不足而中断。
附图说明
图1为本申请实施例中数据处理方法的网络架构图；
图2为本申请实施例中数据处理方法的一种实施例示意图；
图3为本申请实施例中数据处理方法的另一种实施例示意图；
图4为本申请实施例中数据处理方法的另一种实施例示意图；
图5为本申请实施例中处理系统的一种实施例示意图；
图6为本申请实施例中处理系统的另一种实施例示意图；
图7为本申请实施例中处理系统的结构示意图。
具体实施方式
本申请实施例提供了一种数据处理方法，逻辑卷与第一存储集群中的第一物理卷以及第二存储集群中的第二物理卷之间都存在映射关系，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务的停止。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请主要应用于数据存储网络，具体地可以是云存储网络系统，云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。
对象存储作为云存储的核心，对象存储系统的存储基本单元是对象，每个对象是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布以及服务质量等。对象存储的核心设计思想是虚拟化，具体说来，就是把文件的物理存储位置，比如目录、磁盘等，虚拟化为卷(bucket)，把文件虚拟化为对象。对应用层来说，简化了对数据的存取访问，屏蔽了底层存储技术的异构性和复杂性。
下面请参阅图1，图1为本申请实施例数据存储网络架构示意图，包括一个或多个终端101、一个或多个处理系统102以及一个或多个存储设备103，其中，终端101、处理系统102及存储设备103之间可以通过有线或无线的网络通信方式实现数据交互。
终端101上可以运行数据存储类型的客户端1011(例如网盘)，通过该客户端调用相关的接口(例如S3接口或REST接口)访问处理系统102，具体地，客户端1011可以根据处理系统102的域名或IP地址寻找到处理系统102并发起请求。
存储设备103用于存储终端101需要存储的数据，例如，存储设备103可以是对象存储系统中的对象存储设备(Object Storage Device，OSD)，每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地存储的对象。其中，存储设备103可以包含一个或多个存储集群(storage cluster)，每个存储集群可以由一个或多个物理卷(bucket)组成，在存储集群上还建立有逻辑卷，每个逻辑卷可以对应一个或多个物理卷，可以理解的是，存储集群是将多个物理卷(如磁盘或硬盘)中的存储空间聚合成一个能够给客户端提供统一访问接口的存储池，客户端可以通过该访问接口访问和利用存储集群上的存储空间，例如，存储集群可以包括5个存储空间均为1G的物理卷(如硬盘)，那么该存储集群可以为客户端提供5G的存储空间。
可以理解的是，物理卷用于存储数据，包括可移动存储设备和不可移动存储设备，比如：硬盘。逻辑卷是将存储虚拟化，存储不再受限于物理磁盘的大小，聚合多个磁盘或磁盘分区成一个逻辑卷，创建出来的逻辑卷在用户没有写入数据的时候，可以不用真实分配物理存储空间，而是到了写入数据的时候，动态分配物理存储空间。逻辑卷是由多个逻辑分区组成的集合，逻辑卷中的逻辑分区是连续的，但是两个连续的逻辑分区对应的物理分区可能不连续。比如：两个连续的逻辑分区对应的物理分区在不同的磁盘上。逻辑分区是指映射到物理分区上的逻辑单位，一个逻辑分区可以对应一个或多个物理分区。物理分区是把物理卷划分成连续的、大小相等的存储单位得到的。例如，存储空间为30G的逻辑卷对应有三个存储空间为10G的物理卷，对终端101上的客户端1011来说，只有逻辑卷是可见的，即客户端1011上可以显示有30G的存储空间，但数据具体存储于哪个10G存储空间的物理卷终端101并不感知。
处理系统102主要用于管理存储设备103中的存储集群并对终端101的请求做相应的处理。例如，处理系统102可以是对象存储系统中的元数据服务器，为终端101提供元数据(metadata)。元数据是用于描述数据属性的信息，本申请中元数据主要包括对象的存储位置。
具体地，在本申请实施例中，处理系统102从功能上可以区分为协调器(coordinator)1021、存储网关(storage gateway)1022以及索引(index)1023，下面结合图1对以上三个部件的功能进行介绍：
协调器1021可以周期性的查询存储设备103中各存储集群的剩余容量。具体地，协调器1021向各存储集群发送查询指令，各存储集群向协调器1021反馈自身的已占用存储空间，协调器1021可以将各存储集群反馈的数据存储于索引1023中，若第一存储集群1031的已占用存储空间大于存储阈值，那么协调器1021将获取一个新的存储集群，例如，协调器1021选择存储设备103中已占用存储空间小于存储阈值的第二存储集群1032，由于当前逻辑卷的逻辑地址与第一存储集群1031中物理卷的物理地址之间存在映射关系，根据现有逻辑卷与物理卷之间的映射关系，终端101需要存储的数据只能存储于第一存储集群1031的物理卷中，因此，协调器1021还将建立现有逻辑卷到第二存储集群1032中物理卷的映射，协调器1021可以将该映射关系存储于索引1023中。通过上述方式，协调器1021为现有的逻辑卷建立了新的映射，即逻辑卷与第二存储集群1032中物理卷之间的映射，由此实现了对逻辑卷的扩容。
在协调器1021对逻辑卷完成扩容之后，存储网关1022可以对终端101发起的请求进行处理。例如，终端101通过客户端1011向存储网关1022发起存储数据的请求，该请求中包含待存储数据的指示信息，该指示信息中包含逻辑卷的逻辑地址以及待存储数据的数据标识，当第一存储集群1031的不再具有剩余容量来存储数据时，存储网关1022进一步查询索引1023并确定逻辑卷与第二存储集群1032中物理卷之间的映射，进而存储网关1022根据该映射将待存储数据存储于第二存储集群1032的物理卷中，之后存储网关1022可以获取该数据存储在物理卷中的存储地址，另外存储网关1022还将建立该数据的数据标识与该数据的存储地址之间的映射关系，并将该映射关系记录在索引1023中，可以理解的是，指示信息对终端来说是已知的信息。
在终端101通过客户端1011对已存储的数据进行访问时，存储网关1022根据终端101发送的访问请求中携带的数据标识查询索引1023，从而确定客户端1011需要访问的数据所在的存储集群以及具体该数据所存储于物理卷中的地址。可以理解的是，每个存储集群都有与之对应的端口(endpoint)，存储网关1022可以将该访问请求转发至存储该数据的存储集群所对应的端口，进而就可以根据数据存储于物理卷中的地址实现对已存储数据的访问。
可选地，处理系统102还可以对已存储的数据提供增值服务，例如，数据平滑迁移，异地复制，数据加密，数据压缩，数据去重等。
需要说明的是，索引1023一般为非关系型数据库(not only structured querylanguage，NoSQL)，此外，也可以是传统的关系型数据库，具体此处不做限定。
可以理解的是，存储网关1022、协调器1021以及索引1023通常运行于相互独立的设备中，例如，存储网关1022、协调器1021和索引1023可以运行于不同的物理机中，又或者存储网关1022、协调器1021和索引1023分别运行于不同的虚拟机(virtual machine，VM)或者容器(container)上。
另外，存储网关1022、协调器1021或索引1023也可以运行于同一个设备上，例如，存储网关1022与协调器1021运行于同一个物理机、虚拟机或容器，或者存储网关1022与索引1023运行于同一物理机、虚拟机或容器，或者协调器1021和索引1023运行于同一物理机、虚拟机或容器，又或者存储网关1022、协调器1021和索引1023都运行于同一物理机、虚拟机或容器，具体此处不做限定。
可选地，存储网关1022、协调器1021和索引1023也可以运行于物理机中一个或多个包含有处理器及输入/输出接口的芯片中。
需要说明的是，VM指通过软件模拟的具有完整硬件系统功能的，并运行在一个隔离环境中的完整计算机系统。虚拟系统通过生成现有操作系统的全新虚拟镜像，它具有真实windows系统完全一样的功能，进入虚拟系统后，所有操作都是在这个全新的独立的虚拟系统里面进行，可以独立安装运行软件，保存数据，拥有自己的独立桌面，不会对真正的系统产生任何影响，而且具有能够在现有系统与虚拟镜像之间灵活切换的一类操作系统。
container为一种软件沙箱，是一种安全机制，为运行中的程序提供的隔离环境，通常严格控制其中的程序所能访问的资源。
可选地，终端101可以包括以各种形式存在的用户设备、车联网设备、可穿戴设备、物联网设备、或智能机器人设备等等，例如：手机、平板电脑、智能手表、车载终端、智能水表、智能电表等设备。
可选地，终端101、处理系统102以及存储设备103之间可以通过预置的协议进行数据传输，例如，传输控制协议(transmission control protocol，TCP)，网络协议(internetprotocol，IP)等。
为便于理解，下面进一步对本方案中的对逻辑卷的扩容过程进行介绍，请参阅图2，本申请数据处理方法的一个实施例包括：
201、处理系统向存储设备发送查询请求。
本申请实施例中，处理系统可以周期性的(例如每天一次)向存储设备发送查询请求，该查询请求具体用于查询存储设备中各存储集群的占有率，例如，每个存储集群已用存储空间占总存储空间的百分比，又或者，每个存储集群的占有率也可以表示为每个存储集群剩余存储空间占总存储空间的百分比。
202、存储设备向处理系统发送查询响应。
存储设备根据处理系统发送的查询请求获取本地各存储集群的占有率，并将查询结果反馈至处理系统。处理系统可以对收到的查询结果进行保存，并且，每次处理系统收到存储设备新的反馈，都会更新本地保存的查询结果。
203、处理系统确定已占用存储空间大于存储阈值的第一存储集群。
处理系统根据存储设备反馈的查询结果可以获知存储设备中各存储集群的占有率，需要说明的是，每个存储集群都预先设置有与之对应的存储阈值。例如，该存储阈值可以是存储集群自身占有率的阈值，那么，若存储集群自身的占有率超过阈值就可以确定该存储集群为第一存储集群。除此之外，若存储集群自身的占有率接近但并未超过阈值(如占有率还差5％达到阈值)，也可以确定该存储集群为第一存储集群，具体此处不做限定。
另外，每个存储集群自身所对应的占有率的阈值可以相同，也可以不同。本申请中第一存储集群的数量可以是一个，也可以是多个，具体此处不做限定。
可以理解的是，第一存储集群中的物理卷与现有的逻辑卷之间存在映射关系。
204、处理系统确定已占用存储空间小于存储阈值的第二存储集群。
处理系统在确定了第一存储集群后，下一步将确定已占用存储空间小于存储阈值的第二存储集群。具体地，处理系统可以根据存储设备反馈的最新查询结果从已占用存储空间小于存储阈值的存储集群中选择占有率最低(即剩余存储空间最多)的存储集群优先作为第二存储集群。
可选地，处理系统也可以根据预设的排序来确定第二存储集群，该排序为预先设置的存储集群集合中各存储集群排列的先后顺序，那么，该排序中排位优先的存储集群即为第二存储集群。
205、处理系统建立逻辑卷与第二存储集群中物理卷之间的映射。
可以理解的是，处理系统需要建立逻辑卷到第二存储集群的映射来完成对逻辑卷的扩容。具体地，第二存储集群中可以划分有多个物理卷，那么处理系统可以分别建立逻辑卷与第二存储集群中每个物理卷之间的映射，另外，处理系统可以将新建的映射保存在本地的映射列表中。
可以理解的是，逻辑卷是将存储虚拟化，多个磁盘或磁盘分区可以聚合成一个逻辑卷，逻辑卷是对客户端可见的卷，其中，本方案中的逻辑卷与第一存储集群中的物理卷之间同样存在映射关系。
本申请实施例中，处理系统查询存储设备中各存储集群的占有率，并确定占有率大于存储阈值的第一存储集群，随后，处理系统选择占有率小于存储阈值的第二存储集群，进而，建立现有逻辑卷与第二存储集群中物理卷之间的映射，通过上述方式，现有逻辑卷与第一存储集群的物理卷之间存在映射关系，客户端需要存储的数据会首先存储于第一存储集群的物理卷中，当第一存储集群的存储空间不足时，处理系统就选择了存储空间充足的第二存储集群，并新建现有逻辑卷与第二存储集群中物理卷之间的映射，由此实现了对现有逻辑卷的扩容，需要说明的是，逻辑卷与每个物理卷之间的映射是相互独立的，逻辑卷可以对应一个或多个物理卷，而每个物理卷只能对应唯一的一个逻辑卷，例如，本方案中的逻辑卷为逻辑卷A，逻辑卷A与第一存储集群的物理卷之间存在映射关系，而第二存储集群中的部分物理卷(如占第二存储集群30％空间的物理卷)与逻辑卷B之间存在映射关系，那么，为了实现对逻辑卷A的扩容，就需要建立逻辑卷A与第二存储集群中另一部分物理卷(如占第二存储集群剩余70％存储空间的物理卷)之间的映射关系。
上面对本方案中的逻辑卷的扩容过程进行介绍，下面，对本方案中扩容完成后，终端对数据进行存储及访问的过程进行介绍，请参阅图3，本申请数据处理方法的一个实施例包括：
301、终端向处理系统发送数据存储请求。
本申请实施例中，终端上运行的客户端可以通过超文本传输协议(hyperTexttransfer protocol，HTTP)与处理系统建立连接，例如，客户端以处理系统的域名或IP地址作为endpoint发送数据的存储请求，处理系统可以在endpoint监听客户端发送的数据存储请求。
需要说明的是，数据存储请求中包含待存储数据的指示信息，其中，指示信息具体可以包括待存储数据的数据标识以及对终端可见的逻辑卷的逻辑地址，可以理解的是，指示信息对终端来说是已知的信息。
302、处理系统获取第二存储集群中物理卷的物理地址。
处理系统对收到的数据存储请求进行处理，具体地，由于数据存储请求中包含逻辑卷的逻辑地址，处理系统可以根据逻辑卷与第二存储集群中物理卷之间的映射确定第二存储集群中物理卷的物理地址。
303、处理系统将携带有物理地址的数据存储请求发送至存储设备。
处理系统可以将获取到的第二存储集群中物理卷的物理地址叠加到数据存储请求中，进而将该请求转发至存储设备中第二存储集群的endpoint。
304、存储设备将数据存储于第二存储集群的物理卷中。
存储设备中的第二存储集群收到处理系统转发的数据存储请求，那么，第二存储集群可以按照请求中携带的物理地址将数据存储于本地的物理卷中。
需要说明的是，在逻辑卷与第二存储集群中物理卷之间的映射建立后，若第一存储集群仍有剩余的存储空间(如第一存储集群的占有率虽然超过阈值但还有可用空间)，优选地，待存储数据要优先存入第一存储集群，待第一存储集群达到存储上限，进一步再将待存储数据的剩余部分存入第二存储集群；具体地，待存储数据可以拆分为第一数据及第二数据，其中，第一数据占用的存储空间小于或等于第一存储集群的剩余存储空间，处理系统可以根据逻辑卷与第一存储集群中物理卷之间的映射确定第一存储集群中物理卷的物理地址，并将第一存储集群中物理卷的物理地址叠加到数据存储请求中，进而转发该请求至第一存储集群的endpoint，第一存储集群可以按照该请求中携带的物理地址将数据存储于本地的物理卷中，那么第二数据就相应的存储于第二存储集群的物理卷中，具体步骤与步骤302至304类似，此处不再赘述。
305、存储设备将数据的存储地址发送至处理系统。
数据存储于第二存储集群的物理卷后，存储设备将记录该数据的存储地址，之后存储设备可以将该存储地址发送至处理系统，并由处理系统进行保存，具体地，存储地址可以为该数据的统一资源定位符(uniform resource locator，URL)，另外，处理系统还将记录数据标识与该数据存储地址之间的映射关系。
306、终端向处理系统发送数据的访问请求。
在终端需要存储的数据存储完成之后，后续终端还需要对已存储的数据进行访问。那么首先，终端可以向处理系统发送数据的访问请求，具体地，该请求中可以携带有数据的标识，可以理解的是，数据访问请求的发送方式与步骤301中终端向处理系统发送数据存储请求的方式类似，此处不再赘述。
307、处理系统查询数据的存储地址。
处理系统收到终端发送的数据访问请求后，可以根据该请求中携带的数据标识查找数据对应的存储地址。
308、处理系统将携带有存储地址的数据访问请求发送至存储设备。
处理系统将获取到的数据存储地址叠加到数据的访问请求中，进而将该请求转发至存储设备中第二存储集群的endpoint。
309、存储设备对数据进行处理。
存储设备中的第二存储集群可以根据收到的数据访问请求对存储于本地的数据进行相应的处理，例如，对数据进行修改、删除或者将数据发送至终端。
需要说明的是，原有的第一存储集群以及新确定的第二存储集群中可能都存储有终端需要存储的数据，处理系统同样也记录有逻辑卷与第一存储集群中物理卷之间的映射，以及数据在第一存储集群中的存储地址，因此，终端访问第一存储集群中存储的数据的过程与步骤306至309类似。另外，数据标识所对应的数据有可能一部分存储于第一存储集群，另一部分存储于第二存储集群，那么处理系统可以根据数据标识查找到该数据在第一存储集群的第一存储地址以及该数据在第二存储集群的第二存储地址，进而处理系统将第一存储地址叠加到数据访问请求中并转发该请求至第一存储集群的endpoint，处理系统还将第二存储地址叠加到数据访问请求中并转发该请求至第二存储集群的endpoint，第一存储集群及第二存储集群分别根据收到的请求对存储于本地的数据进行相应的处理。
本申请实施例中，由于在上述逻辑卷的扩容过程中，处理系统建立了逻辑卷到第二存储集群中物理卷的映射。因此，处理系统收到终端发送的数据存储请求后，可以指示存储设备按照该映射将终端需要存储的数据存储于第二存储集群的物理卷中，在数据存储完成后，处理系统可以记录该数据的存储地址，在终端需要对已存储的数据访问时，对终端上运行的客户端而言，只有逻辑卷是可见的，而第一存储集群和第二存储集群都与逻辑卷之间存在映射关系，因此，第一存储集群中的数据就无需再迁移至第二存储集群，减少了数据迁移的工作量。
为便于理解，下面以一个具体应用场景对本申请中数据处理的方法进行详细描述，请参阅图4，图4为本申请应用场景中数据处理方法的一个流程示意图，具体为：
401-402、协调器周期性的向存储设备发送查询请求，具体用于查询存储设备中各存储集群的占有率。存储设备查询各存储集群的占有率，并将得到的查询结果添加到查询响应中发送至协调器。具体地，该查询结果可以如下表1所示，可以理解的是，每个存储集群都预先设置有与之对应的存储条件，例如，每个存储集群设置有自身占有率的阈值，可以理解的是，每个存储集群所设置的自身占有率的阈值并不一定是恒定不变的，根据实际情况的不同，可以相应调整各存储集群所对应的占有率的阈值。
表1
存储集群 占用率 阈值
A 73％ 70％
B 50％ 80％
C 87％ 90％
D 30％ 80％
E 10％ 80％
可选地，协调器可以将收到的查询结果存储于索引中，并且，协调器每次收到查询响应后，会对索引中的查询结果进行更新。
403、协调器根据查询结果确定占有率大于预设阈值的第一存储集群，以表1为例，可以确定存储集群A为第一存储集群，若存储集群的占有率接近自身的阈值(例如占有率还有5％超过阈值)可以视为不满足存储条件，那么也可以确定存储集群C为第一存储集群。
可以理解的是，每个存储集群自身所对应的预设存储条件可以相同，也可以不同，本申请中第一存储集群的数量可以是一个，也可以是多个，具体此处不做限定。
404、协调器确定占有率小于预设阈值的第二存储集群，具体地，协调器可以依据查询结果从占有率小于预设阈值的存储集群中选择占有率最低(即剩余存储空间最多)的存储集群优先作为第二存储集群，以表1为例，可以看到，存储集群E的占有率最低，那么就可以选择存储集群E作为第二存储集群。
可选地，协调器也可以根据预设的排序来确定第二存储集群，该排序为预先设置的存储集群集合中占有率小于预设阈值的各存储集群排列的先后顺序，以表1为例，存储集群B、存储集群D及存储集群E的占有率小于预设阈值，那么这三个存储集群排列的先后顺序可以为存储集群B优先、存储集群D其次，再次是存储集群E,按照此排序协调器将优先确定存储集群B为第二存储集群，可以理解的是，该排序可以是人工预先设置的一种排列方式，又或者按照存储集群生成的先后顺序进行排列，具体地排序方式以实际应用为准，此处不做限定。
可选地，协调器也可以按照各存储集群的剩余存储空间大小来确定第二存储集群，即优先选择剩余存储空间最大的存储集群作为第二存储集群，尽可能保证第二存储集群有足够的存储空间存储待存储数据，以表1为例，假设存储集群D的自身容量大于存储集群E的自身容量，存储集群E的占有率虽然更低，不过存储集群D的剩余存储空间更大，此时，可以优先选择存储集群D为第二存储集群。
405、协调器建立逻辑卷与第二存储集群中物理卷之间的映射，可以理解的是，第二存储集群上可以划分有一个或多个物理卷，协调器将分别建立逻辑卷到每一个物理卷的映射，即逻辑卷与第二存储集群中的每一个物理卷都存在映射关系。
具体地，该映射可以如下表2所示，假设有逻辑卷A和逻辑卷B，对客户端A来说，逻辑卷A是可见的，对客户端B来说，逻辑卷B是可见的，逻辑卷A分别与物理卷1、物理卷2及物理卷3之间存在映射，逻辑卷B与物理卷4之间存在映射。
表2
Figure BDA0001698359410000151
需要说明的是，协调器还可以建立物理卷和其所在存储集群的endpoint之间的映射关系，该映射关系可以如下表3所示，物理卷1建立在存储集群M上，物理卷4建立在存储集群N上，具体地，存储集群的endpoint的形式可以是存储集群M的域名或IP，例如，物理卷1对应有存储集群M的域名或IP，物理卷4对应有存储集群N的域名或IP。
需要说明的是，若在数据存储的过程中，协调器监测到第二存储集群的占有率也大于预设阈值了，那么协调器将确定第三存储集群，并建立逻辑卷与第三存储集群物理卷之间的映射关系，以此来实现对逻辑卷的进一步扩容，具体过程与步骤401至405的描述类似。
表3
物理卷 存储集群的端口
物理卷1 存储集群M的域名或IP
物理卷4 存储集群N的域名或IP
406、协调器可以将生成的映射信息存储于索引中，另外，物理卷和存储集群端口之间的映射关系也可以存储于索引中，例如，协调器将上述举例的表2和表3存储于索引中。
407、终端向存储网关发送数据的存储请求，其中，该请求中包含有指示信息，具体地，运行于终端的客户端以存储网关的域名或IP地址作为endpoint发送数据的存储请求。
可选地，该数据存储请求可以基于HTTP1.1传输，请求中具体还可以包含如下信息：
存储网关的域名或端口号，例如，host：endpoint.storagegateway.com；
请求发送的日期或时间，例如，date：Tue,15 Nov 2010 08:12:31GMT；
HTTP授权的授权证书，例如，Authorization:authorization string。
408-409、存储网关向索引发送查询请求，用于从索引中查询逻辑卷与物理卷之间的映射，具体地，存储网关可以根据指示信息中逻辑卷的逻辑地址从索引中查询得到该逻辑地址与第二存储集群中各物理卷的物理地址之间的映射，例如，表2中逻辑卷A分别与物理卷1、物理卷2及物理卷3之间的映射。
410、存储网关将携带有物理地址的数据存储请求发送至存储设备，具体地，存储网关可以将获取到的第二存储集群中物理卷的物理地址叠加到数据存储请求中，并且存储网关可以通过查询索引确定物理卷对应的存储集群的endpoint，例如，表3中物理卷对应的存储集群M的域名或IP，进而存储网关将该请求转发至存储设备中第二存储集群的endpoint。
411、存储设备中的第二存储集群根据物理地址将数据存储于物理卷中，需要说明的是，若第二存储集群中划分有多个物理卷，那么需要按照一定的顺序依次选择物理卷来存储数据，例如，物理卷1、物理卷2以及物理卷3这三个物理卷的空闲容量是不同的，空闲容量从多到少依次为物理卷1、物理卷2、物理卷3，那么可以优先选择空闲容量最多的物理卷1存储数据，待物理卷1存满之后再选择物理卷2存储数据，依次类推。
412-413、数据存储于物理卷之后，存储设备可以将数据的存储地址发送至存储网关，并由存储网关将该存储地址记录在索引中，该存储地址具体可以是数据的统一资源定位符(uniform resource locator，URL)，可以理解的是，在索引中可以根据数据的标识查找到该数据对应的存储地址。
具体地，索引中数据的存储地址可以如下表4所示，数据标识可以由逻辑卷名称和数据名称组合的方式来表示。例如，数据1和数据2分别对应的存储地址为第一URL和第二URL，数据3对应的物理位置为第三URL。
表4
数据标识 存储地址
逻辑卷A/数据1 第一URL
逻辑卷A/数据2 第二URL
逻辑卷B/数据3 第三URL
414、在数据存储于第二存储集群的物理卷之后，终端若需要访问该数据，终端要向存储网关发送数据的访问请求，其中，该请求中包含有数据标识，具体地，运行于终端的客户端以存储网关的域名或IP地址作为endpoint发送数据的访问请求。
可选地，该数据存储请求可以基于HTTP1.1传输，请求中具体还可以包含如下信息：
存储网关的域名或端口号，例如，host：endpoint.storagegateway.com；
请求发送的日期或时间，例如，date：Tue,15 Nov 2010 08:12:31GMT；
HTTP授权的授权证书，例如，Authorization:authorization string；
请求数据实体的范围，例如，range：bytes＝500-999。
415-416、存储网关收到终端的数据访问请求后，可以根据数据标识查询索引确定数据的存储地址。
417、存储网关将携带有存储地址的数据访问请求发送至存储设备，具体地，存储网关可以将获取到的存储地址叠加到数据访问请求中，并且存储网关可以通过查询索引确定物理卷对应的存储集群的endpoint，例如，表3中物理卷对应的存储集群M的域名或IP，进而存储网关将该请求转发至存储设备中第二存储集群的endpoint。
418、存储设备根据数据访问请求对数据进行处理，例如，对数据进行修改、删除或者将数据发送至终端。
本申请实施例中，现有逻辑卷与第一存储集群之间存在映射关系，而当前第一存储集群的存储空间不足，那么处理系统选择了存储空间充足的第二存储集群，并新建了现有逻辑卷与第二存储集群中物理卷之间的映射，由此实现了对现有逻辑卷的扩容，此外，对终端上运行的客户端而言，只有逻辑卷是可见的，而第一存储集群和第二存储集群都与逻辑卷之间存在映射关系，因此，第一存储集群中的数据就无需再迁移至第二存储集群，减少了数据迁移的工作量。
上面对本申请实施例中的数据处理方法进行了描述，下面对本申请实施例中的处理系统进行描述：
请参阅图5，本申请实施例中处理系统的一个实施例包括扩充单元501、存储单元502以及索引单元503，具体地，扩充单元可以是协调器，存储单元可以是存储网关，索引单元可以是索，下面分别进行介绍：
扩充单元501，用于从存储集群集合中确定第一存储集群，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址；在第一存储集群的已占用存储空间大于存储阈值时，从存储集群集合中确定第二存储集群，第二存储集群的已占用存储空间小于存储阈值；并建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址；
索引单元503，用于存储扩充单元501建立的第一映射关系及第二映射关系。
可选地，在一些可能的实施方式中，
扩充单元501可以向存储集群中的各存储集群发送查询请求，具体用于查询各存储集群的占有率，扩充单元对各存储集群的占有率进行判断，并确定占有率大于预设阈值的存储集群为第一存储集群。
可选的，在一些可能的实施方式中，
扩充单元501从获取到的各存储集群占有率中确定占有率小于预设阈值的存储集群为第二存储集群，若有多个占有率小于预设阈值的存储集群，那么扩充单元501可以将各存储集群按照占有率从大到小或从小到大的顺序进行排列，进而扩充单元501可以根据该排序优先选择占有率最小的存储集群作为第二存储集群。
存储单元502，用于接收第一数据存储请求，第一数据存储请求中包含待存储数据的指示信息，指示信息包含逻辑卷的逻辑地址；当第一存储集群的剩余存储空间小于待存储数据占用的存储空间时，则将待存储数据存储于第二存储集群的第二物理卷中。
可选的，在一些可能的实施方式中，存储单元502，具体用于：
接收第一数据存储请求，第一数据存储请求中包含待存储数据的指示信息，指示信息包含逻辑卷的逻辑地址；当第一存储集群的剩余存储空间小于待存储数据占用的存储空间时，将待存储数据存储于第二存储集群的第二物理卷中。
可选的，在一些可能的实施方式中，存储单元502，具体用于：
当第一存储集群不具有剩余存储空间时，将与待存储数据占用的逻辑地址对应的第三物理地址叠加到第一数据存储请求中得到第二数据存储请求，第三物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第二数据存储请求，第二数据存储请求用于指示第二存储集群根据第三物理地址将待存储数据存储于第二物理卷。
可选的，在一些可能的实施方式中，存储单元502，具体用于：
将待存储数据拆分为第一数据及第二数据，第一数据占用的存储空间小于等于第一存储集群的剩余存储空间；将与第一数据占用的逻辑地址对应的第四物理地址叠加到第一数据存储请求中得到第三数据存储请求，第四物理地址所对应的存储空间为第一物理地址所对应的存储空间的部分存储空间；并向第一存储集群发送第三数据存储请求，第三数据存储请求用于指示第一存储集群根据第四物理地址将第一数据存储于第一物理卷；将与第二数据占用的逻辑地址对应的第五物理地址叠加到第一数据存储请求中得到第四数据存储请求，第五物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第四数据存储请求，第四数据存储请求用于指示第二存储集群根据第五物理地址将第二数据存储于第二物理卷。
可选的，在一些可能的实施方式中，存储单元502，还用于：
当待存储数据已存储于第二物理卷中时，从第二存储集群获取已存储数据在第二物理卷中的存储地址；建立数据标识与存储地址之间的第三映射关系，第三映射关系用于指示数据标识对应的数据在第二物理卷中的存储地址。
索引单元503，还用于存储存储单元502建立的第三映射关系。
可选的，在一些可能的实施方式中，存储单元502，还用于：
接收第一数据访问请求，第一数据访问请求中包含待访问数据的数据标识；根据第三映射关系确定与数据标识对应的存储地址；将存储地址叠加到第一数据访问请求中得到第二数据访问请求；并向第二存储集群发送第二数据访问请求。
本申请实施例中，扩充单元501、存储单元502以及索引单元503具体可以执行图2、图3或图4所示实施例中处理系统所执行的全部或部分动作，具体此处不再赘述。
具体地，上述实施例中的扩充单元可以进一步细分为第一确定单元、第二确定单元、第一建立单元、第二获取单元、判断单元以及第三确定单元；存储单元可以进一步细分为接收单元、请求处理单元、第一获取单元以及第二建立单元。
下面结合上述各单元进行描述：
请参阅图6，本申请实施例中处理系统的另一个实施例包括：
第一确定单元601，用于从存储集群集合中确定第一存储集群，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址；
第二确定单元602，用于当第一存储集群的已占用存储空间大于存储阈值时，从存储集群集合中确定第二存储集群，第二存储集群的已占用存储空间小于存储阈值；
第一建立单元603，用于建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。
本申请实施例中，第一确定单元601从存储集群集合中确定第一存储集群，其中，第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，该第一映射关系用于指示逻辑卷的逻辑地址对应的第一物理卷的第一物理地址，若第一存储集群的已占用存储空间大于存储阈值，那么第二确定单元602从存储集群集合中确定已占用存储空间小于存储阈值的第二存储集群，进而第一建立单元603建立逻辑卷与第二存储集群中第二物理卷之间的第二映射关系，该第二映射关系用于指示逻辑卷的逻辑地址对应的第二物理卷的第二物理地址。通过上述方式，对终端来说，由于只有逻辑卷是可见的，即终端只需要获知数据存储的逻辑地址即可，而逻辑卷与第一存储集群中的第一物理卷以及第二存储集群中的第二物理卷之间都存在映射关系，当第一存储集群的空间不足时，待存储的数据可以根据第二映射关系存储于第二存储集群中，避免了存储服务因存储空间不足而中断。
可选的，在一些可能的实施方式中，
接收单元604，用于接收第一数据存储请求，第一数据存储请求中包含待存储数据的指示信息，指示信息包含逻辑卷的逻辑地址；
请求处理单元605，用于当第一存储集群的剩余存储空间小于待存储数据占用的存储空间时，将待存储数据存储于第二存储集群的第二物理卷中。
可选的，在一些可能的实施方式中，请求处理单元605，具体用于：
当第一存储集群不具有剩余存储空间时，将与待存储数据占用的逻辑地址对应的第三物理地址叠加到第一数据存储请求中得到第二数据存储请求，第三物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第二数据存储请求，第二数据存储请求用于指示第二存储集群根据第三物理地址将待存储数据存储于第二物理卷。
可选的，在一些可能的实施方式中，请求处理单元605，具体用于：
将待存储数据拆分为第一数据及第二数据，第一数据占用的存储空间小于等于第一存储集群的剩余存储空间；将与第一数据占用的逻辑地址对应的第四物理地址叠加到第一数据存储请求中得到第三数据存储请求，第四物理地址所对应的存储空间为第一物理地址所对应的存储空间的部分存储空间；并向第一存储集群发送第三数据存储请求，第三数据存储请求用于指示第一存储集群根据第四物理地址将第一数据存储于第一物理卷；将与第二数据占用的逻辑地址对应的第五物理地址叠加到第一数据存储请求中得到第四数据存储请求，第五物理地址所对应的存储空间为第二物理地址所对应的存储空间的部分存储空间；并向第二存储集群发送第四数据存储请求，第四数据存储请求用于指示第二存储集群根据第五物理地址将第二数据存储于第二物理卷。
可选的，在一些可能的实施方式中，
第一获取单元606，用于当待存储数据已存储于第二物理卷中时，从第二存储集群获取已存储数据在第二物理卷中的存储地址；
第二建立单元607，用于建立数据标识与存储地址之间的第三映射关系并存储，第三映射关系用于指示存储于第二物理卷中的已存储数据所对应的存储地址。
可选的，在一些可能的实施方式中，该接收单元604，还用于：
接收第一数据访问请求，第一数据访问请求中包含待访问数据的数据标识；
请求处理单元605，还用于：
根据第三映射关系确定与数据标识对应的存储地址；将存储地址叠加到第一数据访问请求中得到第二数据访问请求；并向第二存储集群发送第二数据访问请求。
可选的，在一些可能的实施方式中，
第二获取单元608，用于从存储集群集合中获取每个存储集群的占有率；
判断单元609，用于判断第一存储集群的占有率是否大于预设阈值；
第三确定单元610，用于当第一存储集群的占有率大于预设阈值时，确定第一存储集群的已占用存储空间大于存储阈值。
可选的，在一些可能的实施方式中，该第二确定单元602，具体用于：
确定占有率小于预设阈值的存储集群为第二存储集群。
本申请实施例中，处理系统中的各单元模块具体可以执行图2、图3或图4所示实施例中处理系统所执行的全部或部分动作，具体此处不再赘述。
上面从模块化功能实体的角度对本申请实施例中的处理系统进行了描述，下面从硬件处理的角度对本申请施例中的处理系统进行描述：
请参阅图7，该处理系统700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对处理系统中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在处理系统700上执行存储介质730中的一系列指令操作。
处理系统700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口756，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例图2至图4中由处理系统所执行的具体步骤可以基于该图7所示的处理系统结构。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者其他网络设备等)执行本申请图2至图6中各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种数据处理方法，其特征在于，包括：
从存储集群集合中确定第一存储集群，其中，所述第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，所述第一映射关系用于指示所述逻辑卷的逻辑地址对应的所述第一物理卷的第一物理地址，所述存储集群集合中的存储集群是将多个物理卷中的存储空间聚合成一个给客户端提供统一访问接口的存储池，所述客户端用于通过所述访问接口访问和利用存储集群上的存储空间；
若所述第一存储集群的已占用存储空间大于存储阈值，则从所述存储集群集合中确定第二存储集群，其中，所述第二存储集群的已占用存储空间小于所述存储阈值；
建立所述逻辑卷与所述第二存储集群中第二物理卷之间的第二映射关系，其中，所述第二映射关系用于指示所述逻辑卷的逻辑地址对应的所述第二物理卷的第二物理地址。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收第一数据存储请求，所述第一数据存储请求中包含待存储数据的指示信息，所述指示信息包含所述逻辑卷的逻辑地址；若所述第一存储集群的剩余存储空间小于所述待存储数据占用的存储空间，则将所述待存储数据存储于所述第二存储集群的第二物理卷中。
3.根据权利要求2所述的方法，其特征在于，所述若所述第一存储集群的剩余存储空间小于所述待存储数据占用的存储空间，则将所述待存储数据存储于所述第二存储集群的第二物理卷中，包括：
若所述第一存储集群不具有剩余存储空间，则根据所述第一数据存储请求及与所述第二映射关系生成第二数据存储请求，其中，所述第二数据存储请求中携带与所述待存储数据占用的逻辑地址对应的第三物理地址；
向所述第二存储集群发送所述第二数据存储请求，其中，所述第二数据存储请求用于指示所述第二存储集群根据所述第三物理地址将所述待存储数据存储于所述第二物理卷。
4.根据权利要求2所述的方法，其特征在于，所述将所述待存储数据存储于所述第二存储集群的第二物理卷中包括：
将所述待存储数据拆分为第一数据及第二数据，所述第一数据占用的存储空间小于等于所述第一存储集群的剩余存储空间；
根据所述第一数据存储请求及所述第一映射关系生成第三数据存储请求，其中，所述第三数据存储请求中携带与所述第一数据占用的逻辑地址对应的第四物理地址；
向所述第一存储集群发送所述第三数据存储请求，其中，所述第三数据存储请求用于指示所述第一存储集群根据所述第四物理地址将所述第一数据存储于所述第一物理卷；
根据所述第一数据存储请求及所述第二映射关系生成第四数据存储请求，其中，所述第四数据存储请求中携带与所述第二数据占用的逻辑地址对应的第五物理地址；
向所述第二存储集群发送所述第四数据存储请求，其中，所述第四数据存储请求用于指示所述第二存储集群根据所述第五物理地址将所述第二数据存储于所述第二物理卷。
5.根据权利要求2所述的方法，其特征在于，所述指示信息还包含所述待存储数据的至少一个数据标识，每个数据标识对应至少一个存储地址，所述方法还包括：
当所述待存储数据已存储于所述第二物理卷中时，从所述第二存储集群获取已存储数据在所述第二物理卷中的存储地址；
建立所述数据标识与所述存储地址之间的第三映射关系并存储，所述第三映射关系用于指示所述数据标识对应的数据在所述第二物理卷中的存储地址。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收第一数据访问请求，所述第一数据访问请求中包含待访问数据的数据标识；
根据所述第三映射关系确定与所述数据标识对应的存储地址；
根据所述存储地址以及所述第一数据访问请求，生成第二数据访问请求，其中，所述第二数据访问请求中携带所述存储地址；
向所述第二存储集群发送所述第二数据访问请求。
7.根据权利要求1至6中任一项所述的方法，其特征在于，从所述存储集群集合中确定第二存储集群之前，所述方法还包括：
从所述存储集群集合中获取每个存储集群的占有率；
判断所述第一存储集群的占有率是否大于预设阈值，若是，则确定所述第一存储集群的已占用存储空间大于所述存储阈值。
8.根据权利要求7所述的方法，其特征在于，从所述存储集群集合中确定第二存储集群包括：
确定占有率小于所述预设阈值的存储集群为所述第二存储集群。
9.一种处理系统，其特征在于，包括扩充单元和索引单元；
所述扩充单元，用于从存储集群集合中确定第一存储集群，其中，所述第一存储集群中的第一物理卷与逻辑卷之间具有第一映射关系，所述第一映射关系用于指示所述逻辑卷的逻辑地址对应的所述第一物理卷的第一物理地址；在所述第一存储集群的已占用存储空间大于存储阈值时，从所述存储集群集合中确定第二存储集群，所述第二存储集群的已占用存储空间小于所述存储阈值；并建立所述逻辑卷与所述第二存储集群中第二物理卷之间的第二映射关系，所述第二映射关系用于指示所述逻辑卷的逻辑地址对应的所述第二物理卷的第二物理地址，所述存储集群集合中的存储集群是将多个物理卷中的存储空间聚合成一个给客户端提供统一访问接口的存储池，所述客户端用于通过所述访问接口访问和利用存储集群上的存储空间；
所述索引单元，用于存储所述第一映射关系及所述第二映射关系。
10.根据权利要求9所述的处理系统，其特征在于，所述处理系统还包括存储单元；
所述存储单元，用于接收第一数据存储请求，所述第一数据存储请求中包含待存储数据的指示信息，所述指示信息包含所述逻辑卷的逻辑地址；当所述第一存储集群的剩余存储空间小于所述待存储数据占用的存储空间时，则将所述待存储数据存储于所述第二存储集群的第二物理卷中。
11.根据权利要求10所述的处理系统，其特征在于，所述存储单元，具体用于：
当所述第一存储集群不具有剩余存储空间时，则根据所述第一数据存储请求及与所述第二映射关系生成第二数据存储请求，所述第二数据存储请求中携带与所述待存储数据占用的逻辑地址对应的第三物理地址；
向所述第二存储集群发送所述第二数据存储请求，所述第二数据存储请求用于指示所述第二存储集群根据所述第三物理地址将所述待存储数据存储于所述第二物理卷。
12.根据权利要求10所述的处理系统，其特征在于，所述存储单元，具体用于：
将所述待存储数据拆分为第一数据及第二数据，所述第一数据占用的存储空间小于等于所述第一存储集群的剩余存储空间；
根据所述第一数据存储请求及所述第一映射关系生成第三数据存储请求，所述第三数据存储请求中携带与所述第一数据占用的逻辑地址对应的第四物理地址；
向所述第一存储集群发送所述第三数据存储请求，所述第三数据存储请求用于指示所述第一存储集群根据所述第四物理地址将所述第一数据存储于所述第一物理卷；
根据所述第一数据存储请求及所述第二映射关系生成第四数据存储请求，所述第四数据存储请求中携带与所述第二数据占用的逻辑地址对应的第五物理地址；
向所述第二存储集群发送所述第四数据存储请求，所述第四数据存储请求用于指示所述第二存储集群根据所述第五物理地址将所述第二数据存储于所述第二物理卷。
13.根据权利要求10所述的处理系统，其特征在于，所述存储单元还用于，
当所述待存储数据已存储于所述第二物理卷中时，从所述第二存储集群获取已存储数据在所述第二物理卷中的存储地址；
建立数据标识与所述存储地址之间的第三映射关系并存储，所述第三映射关系用于指示所述数据标识对应的数据在所述第二物理卷中的存储地址；
所述索引单元还用于，存储所述第三映射关系。
14.根据权利要求13所述的处理系统，其特征在于，所述存储单元还用于，
接收第一数据访问请求，所述第一数据访问请求中包含待访问数据的数据标识；
根据所述第三映射关系确定与所述数据标识对应的存储地址；
根据所述存储地址以及所述第一数据访问请求，生成第二数据访问请求，所述第二数据访问请求中携带所述存储地址；
向所述第二存储集群发送所述第二数据访问请求。
15.根据权利要求9至14中任一项所述的处理系统，其特征在于，所述扩充单元具体用于，
从所述存储集群集合中获取每个存储集群的占有率；
判断所述第一存储集群的占有率是否大于预设阈值；
当所述第一存储集群的占有率大于所述预设阈值时，确定所述第一存储集群的已占用存储空间大于存储阈值。
16.根据权利要求15所述的处理系统，其特征在于，所述扩充单元还用于，
确定占有率小于所述预设阈值的存储集群为所述第二存储集群。
17.一种处理系统，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-8中任意一项所述的方法。
CN201810626541.3A 2018-06-15 2018-06-15 数据处理方法及处理系统 Active CN109085999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810626541.3A CN109085999B (zh) 2018-06-15 2018-06-15 数据处理方法及处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810626541.3A CN109085999B (zh) 2018-06-15 2018-06-15 数据处理方法及处理系统

Publications (2)

Publication Number Publication Date
CN109085999A CN109085999A (zh) 2018-12-25
CN109085999B true CN109085999B (zh) 2022-04-22

Family

ID=64839717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810626541.3A Active CN109085999B (zh) 2018-06-15 2018-06-15 数据处理方法及处理系统

Country Status (1)

Country Link
CN (1) CN109085999B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976669B (zh) * 2019-03-15 2023-07-28 百度在线网络技术（北京）有限公司 一种边缘存储方法、装置和存储介质
CN110968446B (zh) * 2019-11-24 2022-08-12 苏州浪潮智能科技有限公司 一种元数据修复方法、装置、系统及计算机可读存储介质
CN111124291B (zh) * 2019-12-09 2023-05-30 北京金山云网络技术有限公司 分布式存储系统的数据存储处理方法、装置、电子设备
CN113448499A (zh) * 2020-03-25 2021-09-28 华为技术有限公司 存储系统、数据处理方法、装置、节点以及存储介质
CN111610936B (zh) * 2020-05-25 2023-04-14 广州市百果园信息技术有限公司 一种对象存储平台以及对象聚合方法、装置和服务器
EP4160422A4 (en) * 2020-07-02 2023-12-06 Huawei Technologies Co., Ltd. METHOD FOR USING AN INTERMEDIATE DEVICE FOR PROCESSING DATA, COMPUTER SYSTEM AND INTERMEDIATE DEVICE
CN112905122B (zh) * 2021-02-20 2024-04-09 炬芯科技股份有限公司 一种存储数据的方法及装置
CN113194158B (zh) * 2021-04-13 2023-02-24 杭州迪普科技股份有限公司 信息存储方法、装置、设备及计算机可读存储介质
CN114285797B (zh) * 2021-12-30 2024-04-19 北京天融信网络安全技术有限公司 Ip地址的处理方法、装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446924A (zh) * 2008-12-16 2009-06-03 成都市华为赛门铁克科技有限公司 一种数据存储及获取方法、系统
CN103544045A (zh) * 2013-10-16 2014-01-29 南京大学镇江高新技术研究院 一种基于hdfs的虚拟机镜像存储系统及其构建方法
CN106681669A (zh) * 2017-01-25 2017-05-17 郑州云海信息技术有限公司 一种虚拟磁盘扩容的方法、装置和系统
CN107111653A (zh) * 2015-02-25 2017-08-29 华为技术有限公司 适于并行数据库系统的系统内存负载的查询优化
CN107423301A (zh) * 2016-05-24 2017-12-01 华为技术有限公司 一种数据处理的方法、相关设备及存储系统
CN108073363A (zh) * 2017-12-28 2018-05-25 深圳市得微电子有限责任公司 数据存储方法、存储设备及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100392382B1 (ko) * 2001-07-27 2003-07-23 한국전자통신연구원 동적 크기 변경 및 메타 데이터 양의 최소화를 위한 논리볼륨 관리 방법
CN101840308B (zh) * 2009-10-28 2014-06-18 创新科存储技术有限公司 一种分级存储系统及其逻辑卷管理方法
CN101986655A (zh) * 2010-10-21 2011-03-16 浪潮(北京)电子信息产业有限公司 存储网络及该存储网络的数据读写方法
CN103226518B (zh) * 2012-01-31 2016-06-22 国际商业机器公司 一种在存储管理系统中进行卷扩展的方法和装置
CN105528302B (zh) * 2015-12-03 2019-09-10 Tcl集团股份有限公司 一种基于逻辑卷的动态管理磁盘的方法及系统
US9875052B2 (en) * 2016-03-15 2018-01-23 International Business Machines Corporation Storage capacity allocation using distributed spare space
CN107436725B (zh) * 2016-05-25 2019-12-20 杭州海康威视数字技术股份有限公司 一种数据写、读方法、装置及分布式对象存储集群
CN108111628B (zh) * 2018-01-18 2021-08-17 吉浦斯信息咨询（深圳）有限公司 一种动态扩容存储方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446924A (zh) * 2008-12-16 2009-06-03 成都市华为赛门铁克科技有限公司 一种数据存储及获取方法、系统
CN103544045A (zh) * 2013-10-16 2014-01-29 南京大学镇江高新技术研究院 一种基于hdfs的虚拟机镜像存储系统及其构建方法
CN107111653A (zh) * 2015-02-25 2017-08-29 华为技术有限公司 适于并行数据库系统的系统内存负载的查询优化
CN107423301A (zh) * 2016-05-24 2017-12-01 华为技术有限公司 一种数据处理的方法、相关设备及存储系统
CN106681669A (zh) * 2017-01-25 2017-05-17 郑州云海信息技术有限公司 一种虚拟磁盘扩容的方法、装置和系统
CN108073363A (zh) * 2017-12-28 2018-05-25 深圳市得微电子有限责任公司 数据存储方法、存储设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109085999A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109085999B (zh) 数据处理方法及处理系统
JP5582344B2 (ja) 接続管理システム、及びシンクライアントシステムにおける接続管理サーバの連携方法
CN107508795B (zh) 跨容器集群的访问处理装置及方法
US9052962B2 (en) Distributed storage of data in a cloud storage system
CN103905572B (zh) 域名解析请求的处理方法及装置
CN110557284B (zh) 基于客户端网关的数据聚合方法及装置
CN109451088A (zh) 一种数据访问方法及装置
CN109417492B (zh) 一种网络功能nf管理方法及nf管理设备
US10042676B1 (en) Capacity pool health index
CN106301822B (zh) 一种对ap进行配置的方法、装置和系统
CN107580011B (zh) 一种数据共享方法及桌面云服务端
CN110601994B (zh) 云环境下微服务链感知的负载均衡方法
EP4068725A1 (en) Load balancing method and related device
CN112165523A (zh) 一种数据下载方法和装置
WO2011087584A2 (en) Fault tolerant and scalable load distribution of resources
CN111225003B (zh) 一种nfs节点配置方法和装置
CN110008029B (zh) ceph元数据集群目录分配方法、系统、装置及可读存储介质
US9015371B1 (en) Method to discover multiple paths to disk devices cluster wide
US11442632B2 (en) Rebalancing of user accounts among partitions of a storage service
CN113301079A (zh) 一种数据的获取方法、系统、计算设备及存储介质
CN112910796B (zh) 流量管理方法、装置、设备、存储介质以及程序产品
WO2017167129A1 (zh) 一种为用户分配数据中心的方法和设备
CN103118115A (zh) 面向云计算用户的虚拟机管理方法及装置
CN115826845A (zh) 存储资源的分配方法和装置、存储介质、电子装置
CN113687910A (zh) 一种集群内usb设备管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant