CN106201355A - 数据处理方法和装置以及存储系统 - Google Patents

数据处理方法和装置以及存储系统 Download PDF

Info

Publication number
CN106201355A
CN106201355A CN201610548709.4A CN201610548709A CN106201355A CN 106201355 A CN106201355 A CN 106201355A CN 201610548709 A CN201610548709 A CN 201610548709A CN 106201355 A CN106201355 A CN 106201355A
Authority
CN
China
Prior art keywords
storage
target
data
memory
smr disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610548709.4A
Other languages
English (en)
Other versions
CN106201355B (zh
Inventor
周健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610548709.4A priority Critical patent/CN106201355B/zh
Publication of CN106201355A publication Critical patent/CN106201355A/zh
Application granted granted Critical
Publication of CN106201355B publication Critical patent/CN106201355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请提供了一种数据处理方法和装置以及存储系统,该数据存储系统包括至少一个存储服务器以及存储服务器连接的至少一个SMR磁盘;该SMR磁盘的第二存储区域中的多个存储区被划归为多个存储组,每个存储组包括至少一个存储区,且任意一个存储区仅属于一个该存储组;该存储服务器可以获取当前待处理的至少一个写任务,该写任务包括待写入的目标数据以及目标存储组的标识,不同写任务中包括不同的目标存储组的标识,存储服务器确定目标存储组以及目标存储组所在的目标SMR磁盘;向该目标SMR磁盘中目标存储组对应的存储区内写入该目标数据。本申请的方案可以提高SMR磁盘的写性能,进而提高基于SMR磁盘的存储系统的写性能。

Description

数据处理方法和装置以及存储系统
技术领域
本申请涉及数据存储技术领域,特别涉及一种数据处理方法和装置以及存储系统。
背景技术
目前的存储系统中,一般都采用固态硬盘(SSD,Solid State Drives)、企业级磁盘等存储介质进行数据存储。然而,SSD、企业级磁盘等存储介质的容量都比较有限,随着存储系统需要存储的数据量逐步增加,人们希望能够在保持存储介质的尺寸不变的情况下,提高存储介质的存储容量,为此,人们研究出叠瓦式磁记录技术。
叠瓦式磁记录技术使得存储介质的结构发生了变化,通过重叠磁道,重新调整了数据存储方式,提高了磁道密码和单位面积存储密度。然而基于叠瓦式磁记录技术的叠瓦式磁记录(SMR,shingled magnetic recording)磁盘的写性能却比较差,所以目前SMR磁盘仅仅是用于存储系统的数据备份,而无法应用于对写性能要求较高的实时数据存储场景中。可见,如何提高SMR磁盘的写性能,使得SMR得到应用于实时数据存储场景是本领域技术人员迫切需要解决的技术问题。
发明内容
本申请提供了一种数据处理方法和装置以及存储系统,以提高SMR磁盘的写性能,进而提高基于SMR磁盘的存储系统的写性能。
为了解决上述问题,一方面,本申请提供了一种数据存储系统,包括:至少一个存储服务器以及所述存储服务器连接的至少一个叠瓦式磁记录SMR磁盘;
所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁道之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
其中,所述存储服务器,用于获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;从所述存储服务器连接的至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;向所述目标SMR磁盘中所述目标存储组对应的存储区内写入所述目标数据。
另一方面,本申请提供了一种数据处理方法,应用于数据存储系统中的存储服务器,所述存储服务器连接有至少一个叠瓦式磁记录SMR磁盘;所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁轨之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
所述方法包括:
获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;
从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
另一方面,本申请提供了一种数据处理装置,应用于数据存储系统中的存储服务器,所述存储服务器连接有至少一个叠瓦式磁记录SMR磁盘;所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁轨之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
所述装置包括:
写获取单元,用于获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;
待写组确定单元,用于从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
写操作单元,用于向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
由以上可知,本申请实施例将存储系统中SMR磁盘的第二存储区域的多个存储区划归为多个存储组,每个存储组包括至少一个存储区,存储服务器以SMR磁盘中的每个存储组作为一次写操作的基本单元,向该存储组对应的存储区内写入数据。而发明人经研究发现:SMR磁盘写操作首先的原因是由于在SMR磁盘中写入数据时,处于当前写操作的位置之后其他数据会被损坏,这样,SMR磁盘只支持顺序写,必须完成一次写操作之后才可以进行下一次写操作,使得写操作性能较差,然而,SMR磁盘中各个存储区是独立的,只是在每个存储区内部的不同磁道之间呈叠瓦式分布,如果保证每个存储区内采用顺序写,并不会对其他存储区内的数据造成影响,正是基于此,本申请通过将SMR磁盘的多个存储区划归到多个存储组,使得存储组内至少包括一个存储区,这样写操作可以将一个存储组作为基本的操作单元,使得一个写任务是针对一个存储组的,而同一时刻可以有多个不同的写任务向不同的存储组对应的存储区内写数据,从而使得存储服务器可以同时向SMR磁盘的多个不同存储组对应的存储区内写数据,实现了多个写任务的并行处理,从而提高了SMR磁盘的写性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一种数据存储系统一个实施例的组成结构示意图;
图2示出了本申请一种数据处理方法一个实施例的流程示意图;
图3示出了本申请中SMR磁盘从逻辑上划分出的存储段以及存储组的示意图;
图4示出了本申请一种数据处理方法又一个实施例的流程示意图;
图5示出了本申请一种数据存储系统又一个实施例的组成结构示意图;
图6示出了本申请一种数据处理方法又一个实施例的流程示意图;
图7示出了本申请一种数据处理方法中读数据流程示意图;
图8示出了本申请一种数据处理装置一个实施例的组成结构示意图;
图9示出了本申请一种存储服务器一个实施例的硬件架构示意图。
具体实施方式
本发明实施例描述的业务场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例的方案适用于多种存储系统进行数据存储,如该存储系统可以为集中式存储系统,也可以适用于分布式存储系统。
在本申请实施例中,为了降低存储系统中存储介质的消耗,进而降低存储成本,存储系统中的存储介质采用叠瓦式磁记录(SMR,shingled magnetic recording)磁盘。
发明人经过对现有的SMR磁盘的组成结构进行分析发现:与传统的磁盘不同,SMR磁盘采用了磁道与磁道间像瓦片一样合理重叠的工艺设计,以此来提高单个磁盘所能容纳的磁道数量,从而提高存储容量。SMR磁盘利用读磁头的宽度可以小于写磁头的宽度这一特性,将每个磁道未被其他磁道覆盖的部分设计成读磁头的宽度,而整个磁道的宽度则设计成写磁道的宽度。而这种结构就导致了SMR磁盘写性能差,这是因为:在写数据时,写磁头要写满整个磁道,而每个磁道都有一部分被相邻磁道覆盖,因此向磁道中写数据可能会覆盖与其相邻的磁道上的数据,导致相邻磁道上的数据被改写,使得相邻磁道上数据被破坏。而为了避免相邻磁道上的数据被改写,SMR磁盘一般都只能支持顺序写,即按照磁道重叠顺序依次向各个磁道中写数据,这样,当前写磁道的相邻磁道上尚未存储数据或者仅仅存储有无效数据,这样,即使相邻磁道被改写,也不会导致数据被破坏,但是顺序写必然要求完成一次写操作之后才可以进行下一次写操作,从而使得写性能较差。
基于以上研究分析,如果能够使得SMR磁盘支持随机写,使得能够并行向SMR磁盘中写入数据,则会极大提到SMR磁盘的写性能。
发明人进一步研究发现:目前SMR磁盘分为三类:驱动管理式(Dirve Managed)SMR磁盘,主机管理式(Host Managed)SMR磁盘和主机感知式(Host Aware)SMR磁盘。其中,主机感知式SMR磁盘包括第一存储区域和第二存储区域,其中,第一存储区域为传统存储区域(Conventional Zone),该部分存储区域与传统硬盘相同,即该第一存储区域为非叠瓦式磁道构成的存储区域(磁道与磁道之间互不重叠)。而该第二存储区域(也称为写优先区,WritePreferred Zone)由多个不重叠的存储区构成,每个存储区由连续的磁道组成,在每个存储区内磁道成叠瓦式分布;每个存储区可以认为是一个磁道带,不同磁道带之间保持着安全距离。由于各个存储区是不重叠的,而仅仅是存储区内部的磁道呈叠瓦式分布,只要保证每个存储区内顺序写,就不会对其他存储区的数据造成影响,因此,可以通过并行对多个不同的存储区进行写操作,来提高SMR磁盘的写性能。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
参加图1,其示出了本申请一种数据存储系统一个实施例的组成结构示意图,本实施例的数据存储系统包括:
至少一个存储服务器101;
以及存储服务器连接的至少一个SMR磁盘102。其中,不同存储服务器连接有不同的SMR磁盘。
该SMR磁盘102包括第一存储区域和第二存储区域,其中,该第一存储区域内的磁道为非叠瓦式磁道;该第二存储区域由多个不重叠的存储区构成,存储区内的磁道呈叠瓦式分布。
在本实施例中,将该SMR磁盘中该第二存储区域的多个存储区划归到多个存储组中,每个存储组可以包括至少一个存储区,而任意一个存储区仅属于一个存储组。其中,同一时刻一个存储组内仅允许一个写操作。
可以理解的是,SMR磁盘中不同存储组包括的存储区的数量可以相同也可以不同,可选的,可以根据SMR磁盘中该第二存储区域内包含的存储区的数量,将该第二存储区域内的存储区平均分配给存储组,使得每个存储组内包含相同数量的存储区。
需要说明的是,在本申请实施例中存储组是一种逻辑上的划分,,也就是说,仅仅是将SMR磁盘中第二存储区域内的存储区在逻辑上划分到多个存储组中,建立存储组与至少一个存储区的关联关系,而并非从物理上对该第二存储区域进行切分。
在本申请实施例中,该存储服务器负责向该存储服务器连接的SMR磁盘中写数据。
具体的,该存储服务器102,用于获取当前待处理的至少一个写任务,该写任务包括待写入的目标数据以及用于存储该目标数据的目标存储组的标识;从该存储服务器连接的至少一个SMR磁盘中,确定该目标存储组的标识所表征的目标存储组以及该目标存储组所在的目标SMR磁盘;向该目标SMR磁盘中该目标存储组对应的存储区内写入该目标数据。
需要说明的是,存储组的标识用于唯一标识一个存储组。在本申请实施例中,为了便于区分,将用于存储该目标数据的存储组称为目标存储组。
在本申请实施例中,当存储服务器同时获取到多个写任务时,不同写任务中包括不同的存储组的标识,也就是说,不同写任务用于向不同的存储组内写数据。
可选的,为了使得存储服务器可以获取到SMR磁盘包含的存储组以及该SMR磁盘中的第二存储区域内各个存储区所属的存储组,在存储服务器还可以存储该存储服务连接的SMR磁盘中存储组的划分信息,即,保存该SMR磁盘中第二存储区域划分出的存储组的信息以及SMR磁盘的第二存储区域的存储区所属的存储组,以明确SMR磁盘中每个存储组包含了该SMR磁盘中的哪些存储区。
当然,SMR磁盘中划分出的存储组以及存储组与存储区的对应关系可以保存到指定的数据库中,以使得存储服务器可以查询出每个SMR磁盘中各个存储区所属的存储组的信息。
需要说明的是,图1中是以数据存储系统包含有一个存储服务器为例,但是可以理解的是,当数据存储系统包含多个存储服务器时,不同的存储服务器可以连接多个SMR磁盘,但是每个存储服务器与SMR磁盘之间的连接关系均可以参见图1所示。
结合图1所示数据存储系统的架构,图2示出了本申请一种数据处理方法一个实施例的流程示意图,该数据处理方法可以应用于存储系统中的存储服务器。参照图2,本实施例的流程可以包括:
201,获取当前待处理的至少一个写任务。
该写任务包括待写入的目标数据以及用于存储该目标数据的目标存储组的标识。
其中,不同写任务中包括不同的目标存储组的标识。
202,从该存储服务器连接的至少一个SMR磁盘中,确定该目标存储组标识所表征的目标存储组以及该目标存储组所在的目标SMR磁盘。
其中,存储组的标识可以用于在数据存储系统中唯一标识一个存储组。因此,在获取到待写入该目标数据的目标存储组的标识之后,基于该目标存储组的标识可以确定目标存储组为哪一个SMR磁盘中哪几个存储区构成的存储组。
可以理解的是,对于任意一个写任务,均可以基于该写任务中携带的目标存储组的标识,确定该目标存储组以及目标SMR磁盘,以便后续向该目标SMR磁盘的该目标存储组内写入该写任务对应的目标数据。
可选的,在该写任务中还可以包括:待存储该目标数据的目标SMR磁盘的标识,相应的,可以直接依据该目标SMR磁盘的标识,从该存储服务器连接的至少一个SMR磁盘中确定出该目标SMR磁盘;然后,可以基于该目标存储组的标识,从该目标SMR磁盘的第二存储区对应的多个存储组中确定出该目标存储组。
也就是说,通过SMR磁盘的标识与该SMR磁盘中存储组的标识来唯一标识一个存储组,在该种情况下,可以利用该写任务中该目标SMR磁盘的标识快速定位该目标SMR磁盘,然后基于写任务中的目标存储组的标识,可以直接从该目标SMR磁盘对应的多个存储组中定位出该目标存储组。例如,对于任意一个SMR磁盘,可以将该SMR磁盘中的多个存储组的标识依次编号为1、2……N,其中,N为该SMR磁盘对应的存储组的总个数,这样,可以直接根据存储组对应的标号,从该SMR磁盘中确定出该存储组。
203,向该目标SMR磁盘中目标存储组对应的存储区内写入该目标数据。
对于任意一个写任务,在确定出该写任务中的目标数据需要写入到的目标SMR磁盘以及目标存储组之后,可以将该写任务中的目标数据写入到该目标存储组对应的存储区内。
可以理解的是,由于每个存储组均包含了至少一个存储区,而每个存储区内的磁道呈叠瓦式分布,因此,在存储组内需要进行顺序写,在存储组的存储区内写数据可以与直接向第二存储区域内写数据的方式相似,如,可以确定当前存储组对应的存储区内上一次完成写操作所写入的位置,并从该位置处之后进行该写任务对应的目标数据的写操作。当然,在实际应用中,每个存储组包含的存储区内可以设置有指针,通过指针可以指示出当前写操作的起始位置,并从该起始位置开始写入该目标数据。
可选的,在存储服务器中存储有该存储服务器连接的SMR磁盘包括的存储组,以及存储组与该SMR磁盘中至少一个存储区的对应关系的前提下,存储服务器可以依据存储的该对应关系,确定目标存储组包括的存储区,从而可以先该目标存储组对应的存储区内写入目标数据。
可见,在本申请实施例中,通过将SMR磁盘的多个存储区划归到多个存储组,使得SMR磁盘中每个存储组内包括至少一个存储区,这样写操作可以将一个存储组作为基本的操作单元,而同一时刻可以有多个不同的写任务向不同的存储组对应的存储区内写数据,从而在保存存储组内顺序写的前提下,使得存储服务器可以同时向SMR磁盘的多个不同存储组对应的存储区内写数据,实现了多个写任务的并行处理,进而提高了SMR磁盘的写性能。
可以理解的是,在将目标数据存储到存储组对应的存储区之后,为了后续能够便于查询目标数据在SMR磁盘中的具体存储位置,在存储目标数据的同时,还需要为存储的目标数据生成索引,并在SMR磁盘中存储该目标数据的索引。
为了存储目标数据的索引,可以在SMR磁盘划分出的多个存储组中指定用于存储索引的存储组以及用于存储数据的存储组。同时,为了便于后续读取数据,需要建立用于存储索引的存储组与用于存储数据的存储组之间的关联,构成多个存储组对。如,一个用于存储索引的存储组关联有一个用于存储数据的存储组。这样,向存储组对中用于存储数据的存储组对应的存储区内写数据的同时,可以向该存储组对中用于存储索引的存储组对应的存储区中存储当前写入的数据对应的索引。
然而由于一个存储组至少包括SMR磁盘中的一个存储区,而索引的数据量相对于数据本身的数据量却小很多,因此,如果每个存储组的数据对应的索引单独占用另外一个存储组的话,由于一个存储组内存储的数据所对应的索引不可能占用一个存储区,而导致存储区空闲,从而导致存储资源的浪费。
为了避免单独为每个存储数据的存储组分配一个用于存储索引的存储组而造成存储资源浪费,可选的,在本申请实施例中可以在为目标数据生成索引之后,将索引存储到该目标SMR磁盘的第一存储区域中。由于第一存储区域由非叠瓦式磁道构成,能够支持随机写,满足并行写入索引的需求,因此,将索引和数据分别存储到第一存储区域和第二存储区域,实现了索引和数据的分离存储,这样既可以满足多个索引的并行写入,又可以占用存储容量相对较小的第一存储区域实现数据存储,实现了有效利用第一存储区域的存储空间实现数据存储。
相应的,存储服务器还可以获取至少一个读任务,该读任务包括:待读取数据的标识以及存储待读取数据的目的存储组的标识。该存储服务器可以从该存储服务器连接的至少一个SMR磁盘中,确定该目的存储组标识所表征的目的存储组以及该目的存储组所在的目的SMR磁盘;依据该待读取数据的标识,从该第一存储区域获取该待读取数据的索引;依据该待读取数据的索引,从该目的SMR磁盘中所述目的存储组对应的存储区中读取该待读取数据。
可以理解的是,当将目标数据的索引随机存储到第一存储区域之后,后续如果需要读取目标数据时,则需要从第一存储区域中查到该目标数据的索引,从而需要遍历第一存储区域才可以查找到该目标数据的索引,不利于快速查找目标数据的索引,从而不利于提高读取数据的性能。
可选的,在本申请实施例中还可以将第一存储区域从逻辑上划分为多个存储段,每个存储段对应着该第一存储区域中的一部分存储空间。其中,存储段的数量不能少于第二存储区域划分出的存储组的数量,同时,可以建立SMR磁盘中划分出的存储组与该SMR磁盘中至少一个存储段的关联关系,其中,每个存储组可以关联有至少一个存储段,且用一个存储段只能与一个存储组建立关联。
可选的,在一个SMR磁盘中,第一存储区域划分出的存储段的数据可以与第二存储区域中划分出的存储组的数量相同,这样,SMR磁盘中第二存储区域的存储组可以分别与该SMR磁盘中第一存储区域的存储段建立一一对应关系。
其中,在一个SMR磁盘中,存储组所关联的存储段中可以用于存储该存储组中存储的数据所对应的索引。相应的,存储服务器在将目标数据存储到目标存储组对应的存储区的同时,可以确定与该目标存储组关联的目标存储段,并将为该目标数据生成的索引存储到与该目标存储组关联的目标存储段对应的存储区域内。这样,当需要读取目标数据时,在确定出该目标数据所在的目标存储组之后,在需要查询该目标数据的索引时,则可以确定该目标存储组关联的目标存储段,从而可以直接第一存储区域中该目标存储段对应的存储区域内获取该目标数据的索引,而无需遍历整个第一存储区域,从而有利于快速查找到目标数据的索引,进而有利于根据索引确定目标数据在该目标存储组对应的存储区内的具体位置,提高数据读取性能。
可选的,存储服务器中可以存储该存储服务器连接的SMR磁盘中第一存储区域划分出的多个存储段,每个存储段与该第一存储区域中存储区域的对应关系,以及该SMR磁盘中存储组与存储段的关联关系。
当然,SMR磁盘中第一存储区域划分出的存储段与第一存储区域中存储区域的对应关系以及该SMR磁盘中存储组与存储段的关联关系也可以存储在指定的数据库中,以便存储服务器查询该指定数据库获取相关的对应关系和关联关系。
为了便于理解SMR磁盘中存储段与存储区的划分,参见图3,其示出了本申请实施例中SMR磁盘第一存储区域和第二存储区域进行划分的示意图。
需要说明的是,为了便于描述,在图3中仅仅是示意出该第一存储区域以及第二存储区域中存储空间,而并未以磁道分布的形式画出该第一存储区域和第二存储区域的磁道构成。
由图3可知,第一存储区域31的存储空间划分为多个存储段311,如第一存储区域31存储空间被虚线分割,形成多个存储段311,每个存储段对应着该第一存储区域中的一部分存储空间,且不同存储段311所对应的存储空间不同。在图3以将第一存储区域的存储空间均分为多个存储段为例进行介绍,需要说明的是,第一存储区域的存储空间仅仅是从逻辑上分为多个存储段,使得一个存储段映射到该第一存储区域的一部分存储空间,而并未从物理上对第一存储区域的存储空间进行切割。
第二存储区域32包括多个存储区321,相邻两个存储区321不重叠,使得相邻两个存储区之间存在安全距离。该多个存储区321划归到多个存储组322,在图3中以每个存储组322包括两个存储区321为例,如图3中包含有两个存储区的虚线框表示一个存储组。
同时,图3以一个存储组与一个存储段建立关联为例,如图3中,存储段311与存储组312通过含有双箭头的虚线相连,通过含有双箭头的虚线相连的存储段311与存储组312相互关联。
结合图1和图3,参见图4,其示出了本申请一种数据处理方法又一个实施例的流程交互示意图,本实施例的方法包括:
401,存储服务器获取当前待处理的至少一个写任务。
该写任务包括待写入的目标数据,用于存储该目标数据的目标SMR磁盘的标识以及用于存储该目标数据的目标存储组的标识。
其中,不同写任务中包括不同的目标存储组的标识。
402,存储服务器确定该目标SMR磁盘的标识所表征的目标SMR磁盘。
需要说明的是,写任务中包含目标SMR磁盘仅仅是一种优选的实施例方式。在存储组的标识可以唯一标识数据存储系统的一个存储组时,该写任务也可以不包含目标SMR磁盘的标识,而可以根据目标存储组的标识便可以确定该目标存储组所在的目标SMR磁盘以及该目标存储组对应的至少一个存储区。
403,存储服务器依据目标SMR磁盘中不同存储组与该目标SMR磁盘中第二存储区域的存储区的对应关系,从该目标SMR磁盘中第二存储区域的多个存储区中,确定该目标存储组的标识表征目标存储组所对应的存储区。
举例说明,假设SMR磁盘中包括1000个存储区,这1000个存储区分别划归为100个存储组,且每个存储组分别包括10个存储区,假设这1000个存储区分别为存储区1至存储区1000,这100个存储组分别为存储组1至存储组100,且存储组1包括存储区1到存储区10,存储组2包括存储区11至存储区20,依次类推,存储组100包括存储区991至存储区1000。那么存储服务器可以存储该目标SMR磁盘中,存储组1对应着存储区1至存储10,存储组2对应着存储区11至存储区20,依次类推。这样,依据该对应关系,可以服务器在确定出目标存储组之后,可以查询该目标存储组对应着哪些存储区。
404,存储服务器向该目标存储组所对应的存储区内写入该目标数据。
405,存储服务器依据该目标SMR磁盘中存储组与存储段的关联关系,确定该目标存储组对应的目标存储段。
仍以步骤403中的例子说明,假设SMR磁盘中第一存储区域从逻辑上划分为100个存储段,分别为存储段1至存储段100,不同存储段分别对应着第一存储区域中一部分存储区域(或者说存储空间),那么可以分别建立存储段1与存储组1之间的关联关系,存储段2与存储组2建立有关联关系,依次类推,存储段100与存储组100建立有关联关系,这样存储服务器可以存储这些存储段对应着第一存储区域中的存储区域,以及每个存储段与第二存储区域中存储组的关联关系,以在确定出目标存储组之后,可以依据该关联关系确定目标存储段,进而确定目标存储段对应的存储区域。
406,存储服务器依据该目标SMR磁盘中存储段与第一存储区域中存储区域的对应关系,确定第一存储区域中与该目标存储段对应的存储区域。
407,存储服务器为该目标数据生成索引。
其中,目标数据的索引可以反映出存储该目标数据的目标存储组以及目标存储组对应的存储区中该目标数据的具体存储地址等信息。
408,存储服务器将索引写入到该目标SMR磁盘的第一存储区域中与该目标存储段对应的存储区域内。
需要说明的是,该步骤405至408与步骤404的执行顺序并不限于图4所示,也可以是在执行步骤404的同时,执行该步骤405至408。
409,存储服务器获取至少一个读任务。
其中,该读任务包括:待读取数据的标识以及存储该待读取数据的目的存储组的标识。
410,存储服务器从该存储服务器连接的至少一个SMR磁盘中,确定该目的存储组标识所表征的目的存储组以及该目的存储组所在的目的SMR磁盘。
可选的,该读任务中还包括有存储该待读取数据的目的SMR磁盘的标识。则存储服务器可以先依据该目的SMR磁盘的标识,从该存储服务器连接的多个存储服务器中确定出目的SMR磁盘,然后在该目的SMR磁盘的第二存储区域划分出的多个存储组中,确定该目的存储组的标识所表征的目的存储组。
可以理解的是,在本申请实施例中,为了与写任务中包括的存储组的标识进行区分,将读任务中携带的存储组的标识称为目的存储组的标识。同时,为了与写任务中携带的目标SMR磁盘的标识进行区分,将读任务中携带的SMR磁盘的标识称为目的SMR磁盘的标识。
411,存储服务器从目的SMR磁盘中第一存储区域的多个存储段中,确定与该目的存储组关联的目的存储段。
412,存储服务器依据该待读取数据的标识,从该目的存储段对应的存储区域中获取该待读取数据的索引。
可选的,在存储服务器存储有SMR磁盘、第一存储区域中各个存储段对应的存储区域、第二存储区域中存储组包含的存储区以及SMR磁盘中存储段与存储组之间的对应关系信息时,可以依据这些对应关系信息查询目的存储组、目的存储组对应的存储区、目的存储段以及目的存储段对应的存储区域。
413,依据该待读取数据的索引,从该目的SMR磁盘中该目的存储组对应的存储区中读取该待读取数据。
为了提高读取索引的效率,存储服务器需要将SMR磁盘中存储索引数据加载到该存储服务器的内存中。然而由于SMR磁盘中第一存储区域存储的索引数据的数据量比较大,因此,为了降低内存的占用,并能提高读取索引的效率,可选的,在本申请实施例中,当确定索引的目标存储段之后,可以仅仅将目标存储段中的所有索引数据都加载到内存,然后从内存中查询该待读取数据的索引。
当然,如果直接已经加载过该目标存储段的索引数据,则无需重复加载,因此,可以在内存中不存在该目的存储段内的索引数据时,将该目的存储段内的索引数据加载到内存中;然后,依据待读取数据的标识,从内存加载的索引数据中读取该待读取数据的索引。
进一步的,还可以设定内存中索引的更新周期,当需要更新内存中的索引时,可以将超过指定时长未被访问的索引从内存中删除。
当然,由于索引是按照页为粒度进行管理,在更新内存中的索引时,可以将指定时长内未被访问的索引也进行删除。进一步的,为了保证写操作的性能,可以将目标存储段内最后一页的索引数据在内存中进行持久化,这样,当需要向最后一页新增索引时,可以避免再去磁盘中读取该也索引。
需要说明的是,本申请实施例的数据存储系统可以适用于分布式存储系统,也可以是适用于集中式存储系统等其他存储系统。
对于集中式存储系统而言,该存储服务器可以理解为生成写任务并执行写任务,同时可以接收客户端发送的读请求执行该读请求对应的读任务的主控服务器。
而对于分布式存储系统而言,本申请实施例的存储服务器相对于分布式存储系统中用于执行读写任务的节点服务器;该存储服务器的写任务和读任务均有分布式存储系统中的调度服务器进行分配。
为了便于理解,下面以分布式存储系统为例,参见图5,其示出了本申请一种数据存储系统又一个实施例的组成结构示意图,在本实施例中,该数据存储系统为一个分布式存储系统,其可以包括:
调度服务器501;
通过调度服务器通过网络相连的多个存储服务器502;
以及与存储服务器502相连的多个SMR磁盘503。
其中,存储服务器可以控制与该存储服务器相连的SMR磁盘的数据读写,不同的SMR磁盘连接有不同的存储服务器。
该数据存储系统中的调度服务器可以确定写任务以及读任务,并将读任务或者写任务分配给存储服务器执行。
当然,该数据存储系统中的调度服务器也可以接收客户端的读数据请求,并根据该读数据请求生成相应的读任务。
需要说明的是图5仅仅示出了一个调度服务器,在实际应用中,为了避免该调度服务器出现故障而导致整个数据存储系统不可用,数据存储系统中还可以包括两个或多个调度服务器,其中,一个调度服务器作为主调度服务器,而其他调度服务器则作为备用的调度服务器。
基于如5的数据存储系统,参见图6,其示出了本申请一种数据处理方法又一个实施例的流程交互示意图,本实施例的数据处理方法可以包括:
601,调度服务器确定至少一份待写入数据。
其中,调度服务器可以是在数据存储系统存在写数据需求时,确定待写入的数据,如,可以是在接收到客户端的写操作请求时,确定写操作请求所请求写入的待写入数据,当然,也可以是有其他情况,在此不再赘述。
602,调度服务器从至少一个存储服务器连接的SMR磁盘所对应的多个存储组中,确定出当前不存在写操作的多个空闲存储组。
可以理解的是,由于每个存储组内的存储区仅仅支持顺序写,这样,同一时刻一个存储区内只能有一个写操作,因此存储服务器需要从不存在写操作的存储组中确定需要待存储该待写入数据的存储组。
可以理解的是,在本申请实施例中,调度服务器中也可以存储有以上实施例中提到了SMR磁盘中第一存储区域划分出的存储段与该第一存储区域中存储区域的对应关系以及该SMR磁盘中各个存储组对应的存储区。当然,调度服务器也可以存储该SMR磁盘中存储组与存储段的关联关系。
在实际应用中,以上SMR磁盘中存储组、存储段的划分信息也可以存储到指定数据库中,这样,调度服务器也可以从该指定数据库中查询该每个SMR磁盘中存储段以及存储组的划分情况。
603,调度服务器从该多个空闲存储组中确定出用于存储该至少一份待写入数据的至少一个目标存储组。
其中,目标存储组的数量与待写入数据的份数相同。
604,调度服务器分别为每份待写入数据生成写任务。
其中,该写任务包括待写入的目标数据以及用于存储该待写入的目标数据的目标存储组的存储组标识。
可选的,该写任务还可以包括该目标存储组所在的目标SMR磁盘的标识。
605,调度服务器依据该写任务对应的目标存储组所属的目标SMR磁盘,将该写任务发送给与该目标SMR磁盘相连的存储服务器。
606,存储服务器获取当前待处理的至少一个写任务。
其中,该写任务包括待写入的目标数据以及用于存储该目标数据的目标存储组的标识。
可选的,该写任务还可以包括用于存储该目标数据的目标SMR磁盘的标识。
607,存储服务器确定该目标SMR磁盘的标识所表征的目标SMR磁盘。
608,存储服务器依据目标SMR磁盘中不同存储组与该目标SMR磁盘中第二存储区域的存储区的对应关系,从该目标SMR磁盘中第二存储区域的多个存储区中,确定该目标存储组的标识表征目标存储组所对应的存储区。
609,存储服务器向该目标存储组所对应的存储区内写入该目标数据。
610,存储服务器依据该目标SMR磁盘中存储组与存储段的关联关系,确定该目标存储组对应的目标存储段。
其中,该609和610也可以同时执行。
611,存储服务器依据该目标SMR磁盘中存储段与第一存储区域中存储区域的对应关系,确定第一存储区域中与该目标存储段对应的存储区域。
612,存储服务器为该目标数据生成索引。
613,存储服务器将索引写入到该目标SMR磁盘的第一存储区域中与该目标存储段对应的存储区域内。
可以理解的是,图6为对图5的数据存储系统进行写数据的实施例。
下面结合图5,对图5的数据存储系统中的读数据过程进行介绍。
参见图7,其示出了本申请一种数据处理方法又一个实施例的流程示意图,本实施例是以读数据的过程为例进行介绍。本实施例的过程可以包括:
701,调度服务器接收到至少一个客户端发送的至少一个读请求。
其中,该读请求用于请求读取目标数据的标识。
702,调度服务器查询该目标数据的元数据信息。
其中,该元数据信息可以包括用于存储该目标数据的目的SMR盘的标识以及用于存储该目标数据的目的存储组的标识。当然,在目的存储组的标识可以在整个数据存储系统中可以唯一标识该存储组时,该元数据信息中也可以不包括该目的SMR磁盘的标识。
如,调度服务器可以从元数据库(图5未画出)中查询该元数据信息。
对于任意一个读请求,调度服务器均需要查询该读请求所请求的读取的目标数据的元数据信息。相应的,调度服务器均会执行以下步骤702至704。
703,调度服务器生成该至少一个读请求分别对应的至少一个读任务。
读任务包括待读取的目标数据的标识、目的SMR磁盘的标识以及目的存储组的标识。其中,读任务中包括目的SMR磁盘的标识是一种可选的方式。
704,调度服务器依据读任务中目的SMR磁盘的标识,将该读任务发送给与该目标SMR磁盘连接的存储服务器。
可选的,在读任务中目的存储组的标识可以在整个数据存储系统中唯一标识一个存储组的情况下,也可以直接依据该目的存储组的标识,确定该目的存储组所在的目的SMR磁盘,然后在确定该目的SMR磁盘所连接的存储服务器。
705,存储服务器获取至少一个读任务。
其中,该读任务包括:待读取数据的标识、目的SMR磁盘的标识以及存储该待读取数据的目的存储组的标识。其中,目的SMR磁盘的标识为可选的。
706,存储服务器从目的SMR磁盘中确定该目的存储组标识所表征的目的存储组。
707,存储服务器从目的SMR磁盘中第一存储区域的多个存储段中,确定与该目的存储组关联的目的存储段。
708,存储服务器依据该待读取数据的标识,从该目的存储段对应的存储区域中获取该待读取数据的索引。
709,依据该待读取数据的索引,从该目的SMR磁盘中该目的存储组对应的存储区中读取该待读取数据。
下面对本发明实施例提供的一种数据处理装置进行介绍,下文描述的一种数据处理装置可与上文描述的一种数据处理方法相互对应参照。
参见图8,其示出了本申请一种数据处理装置一个实施例的组成结构示意图,本实施例的装置可以用于数据存储系统中的存储服务器,所述存储服务器连接有至少一个叠瓦式磁记录SMR磁盘;所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁轨之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
本实施例的装置可以包括:
写获取单元801,用于获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;
待写组确定单元802,用于从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
写操作单元803,用于向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
可选的,该装置还可以包括:
索引生成单元804,用于在所述写操作单元向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据的同时,为所述目标数据生成索引;
索引写入单元805,用于将所述索引存储到所述目标SMR磁盘的第一存储区域。
可选的,所述SMR磁盘的第一存储区域被划分为多个存储段,且,所述存储段与所述SMR磁盘中所述第二存储区域的所述存储组建立有关联关系,其中,不同的存储组所关联的存储段不同;
相应的,索引写入单元805,可以包括:
存储段确定单元,用于从所述目标SMR磁盘中所述第一存储区域的多个存储段中,确定出所述目标存储组关联的目标存储段;
索引写入子单元,用于将所述索引存储到所述目标存储段对应的存储区域。
可选的,该装置还可以包括:
读获取单元,用于获取至少一个读任务,所述读任务包括:待读取数据的标识以及存储所述待读取数据的目的存储组的标识;
待读组确定单元,用于从所述存储服务器连接的至少一个SMR磁盘中,确定所述目的存储组的标识所表征的目的存储组以及所述目的存储组所在的目的SMR磁盘;
读索引单元,用于依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引;
读操作单元,用于依据所述待读取数据的索引,从所述目的SMR磁盘中的所述目的存储组对应的存储区内读取所述待读取数据。
可选的,当所述SMR磁盘的第一存储区域被划分为多个存储段时,所述读索引单元,包括:
关联段确定单元,用于从所述目的SMR磁盘中所述第一存储区域的多个存储段中,确定与所述目的存储组关联的目的存储段;
读索引子单元,用于依据所述待读取数据的标识,从所述目的存储段对应的存储区域中获取所述待读取数据的索引。
本发明实施例还提供了一种存储服务器,该存储服务器可以执行上述所述的一种数据处理方法。
图9示出了存储服务器的硬件结构框图,参照图9,终端900可以包括:处理器901,通信接口902,存储器903和通信总线904;
其中处理器901、通信接口902、存储器903通过通信总线904完成相互间的通信;
可选的,通信接口902可以为通信模块的接口,如GSM模块的接口;
处理器901,用于执行程序;
存储器903,用于存放程序;
程序可以包括程序代码,所述程序代码包括计算机操作指令。
处理器901可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器903可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,程序可具体用于:
获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识,其中,所述目标存储组对应着目标SMR磁盘中的至少一个存储区;
从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (20)

1.一种数据存储系统,其特征在于,包括:至少一个存储服务器以及所述存储服务器连接的至少一个叠瓦式磁记录SMR磁盘;
所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁道之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
其中,所述存储服务器,用于获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;从所述存储服务器连接的至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;向所述目标SMR磁盘中所述目标存储组对应的存储区内写入所述目标数据。
2.根据权利要求1所述的数据存储系统,其特征在于,所述写任务还包括:用于存储所述目标数据的目标SMR磁盘的标识;
则所述存储服务器在从所述存储服务器连接的至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘时具体用于,从所述存储服务器连接的至少一个SMR磁盘中,确定出所述目标SMR磁盘的标识所表征的目标SMR磁盘;从所述目标SMR磁盘的第二存储区域对应的多个存储组中,确定所述目标存储组的标识所表征的目标存储组。
3.根据权利要求1所述的数据存储系统,其特征在于,所述存储服务器,还用于为所述目标数据生成索引,并将所述索引存储到所述目标SMR磁盘的第一存储区域。
4.根据权利要求3所述的数据存储系统,其特征在于,所述SMR磁盘的第一存储区域被划分为多个存储段,且,所述存储段与所述SMR磁盘中所述第二存储区域的所述存储组建立有关联关系,其中,不同的存储组所关联的存储段不同;
所述存储服务器在将所述索引存储到所述目标SMR磁盘的第一存储区域时具体为,用于从所述目标SMR磁盘中所述第一存储区域的多个存储段中,确定出所述目标存储组关联的目标存储段,将所述索引存储到所述目标存储段对应的存储区域。
5.根据权利要求4所述的数据存储系统,其特征在于,所述存储服务器,还用于存储所述SMR磁盘中所述第二存储区域的所述存储组与所述存储组包括的至少一个存储区之间的对应关系;以及所述存储服务器连接的SMR磁盘中所述存储组与所述存储段的关联关系。
6.根据权利要求1至5所述的数据存储系统,其特征在于,还包括:与所述至少一个存储服务器相连的调度服务器;
所述调度服务器,用于确定至少一份待写入数据;从所述至少一个存储服务器连接的SMR磁盘所对应的多个存储组中,确定出当前不存在写操作的多个空闲存储组;从所述多个空闲存储组中确定出用于存储所述至少一份待写入数据的至少一个目标存储组,所述目标存储组的数量与所述待写入数据的份数相同;为所述待写入数据生成写任务,所述写任务包括所述待写入数据以及用于存储所述待写入数据的目标存储组的存储组标识;依据所述写任务对应的目标存储组所属的目标SMR磁盘,将所述写任务发送给与所述目标SMR磁盘相连的存储服务器。
7.根据权利要求3或4所述的数据存储系统,其特征在于,所述存储服务器还用于,获取至少一个读任务,所述读任务包括:待读取数据的标识以及存储所述待读取数据的目的存储组的标识;从所述存储服务器连接的至少一个SMR磁盘中,确定所述目的存储组的标识所表征的目的存储组以及所述目的存储组所在的目的SMR磁盘;依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引;依据所述待读取数据的索引,从所述目的SMR磁盘中的所述目的存储组对应的存储区内读取所述待读取数据。
8.根据权利要求7所述的数据存储系统,其特征在于,当所述SMR磁盘的第一存储区域被划分为多个存储段时,所述存储服务器还用于,从所述目的SMR磁盘中所述第一存储区域的多个存储段中,确定与所述目的存储组关联的目的存储段;
所述存储服务器在依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引时具体用于,依据所述待读取数据的标识,从所述目的存储段对应的存储区域中获取所述待读取数据的索引。
9.根据权利要求8所述的数据存储系统,其特征在于,所述存储服务器还用于,在确定与所述目的存储组关联的目的存储段之后,如果所述存储服务器的内存中不存在所述目的存储段内的索引数据,将所述目的存储段内的索引数据加载到所述内存中;
所述存储服务器在依据所述待读取数据的标识,从所述目的存储段对应的存储区域中获取所述待读取数据的索引时具体用于,依据所述待读取数据的标识,从内存加载的索引数据中读取所述待读取数据的索引。
10.一种数据处理方法,其特征在于,应用于数据存储系统中的存储服务器,所述存储服务器连接有至少一个叠瓦式磁记录SMR磁盘;所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁轨之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
所述方法包括:
获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;
从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
11.根据权利要求10所述的数据处理方法,其特征在于,所述写任务还包括:用于存储所述目标数据的目标SMR磁盘的标识;
从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘,包括:
从所述存储服务器连接的至少一个SMR磁盘中,确定出所述目标SMR磁盘的标识所表征的目标SMR磁盘;
从所述目标SMR磁盘的第二存储区域对应的多个存储组中,确定所述目标存储组的标识所表征的目标存储组。
12.根据权利要求10所述的数据处理方法,其特征在于,在所述向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据的同时,还包括:为所述目标数据生成索引,并将所述索引存储到所述目标SMR磁盘的第一存储区域。
13.根据权利要求12所述的数据处理方法,其特征在于,所述SMR磁盘的第一存储区域被划分为多个存储段,且,所述存储段与所述SMR磁盘中所述第二存储区域的所述存储组建立有关联关系,其中,不同的存储组所关联的存储段不同;
所述为所述目标数据生成索引,并将所述索引存储到所述目标SMR磁盘的第一存储区域,包括:
从所述目标SMR磁盘中所述第一存储区域的多个存储段中,确定出所述目标存储组关联的目标存储段;
将所述索引存储到所述目标存储段对应的存储区域。
14.根据权利要求12或13所述的数据处理方法,其特征在于,还包括:
获取至少一个读任务,所述读任务包括:待读取数据的标识以及存储所述待读取数据的目的存储组的标识;
从所述存储服务器连接的至少一个SMR磁盘中,确定所述目的存储组的标识所表征的目的存储组以及所述目的存储组所在的目的SMR磁盘;
依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引;
依据所述待读取数据的索引,从所述目的SMR磁盘中的所述目的存储组对应的存储区内读取所述待读取数据。
15.根据权利要求14所述的数据处理方法,其特征在于,当所述SMR磁盘的第一存储区域被划分为多个存储段时,所述依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引,包括:
从所述目的SMR磁盘中所述第一存储区域的多个存储段中,确定与所述目的存储组关联的目的存储段;
依据所述待读取数据的标识,从所述目的存储段对应的存储区域中获取所述待读取数据的索引。
16.一种数据处理装置,其特征在于,应用于数据存储系统中的存储服务器,所述存储服务器连接有至少一个叠瓦式磁记录SMR磁盘;所述SMR磁盘包括第一存储区域和第二存储区域,所述第二存储区域由多个不交叠的存储区构成,所述存储区内不同磁轨之间呈叠瓦式分布;所述第二存储区域中的所述多个存储区被划归为多个存储组,所述存储组包括至少一个所述存储区,且任意一个所述存储区仅属于一个所述存储组;
所述装置包括:
写获取单元,用于获取当前待处理的至少一个写任务,所述写任务包括待写入的目标数据以及用于存储所述目标数据的目标存储组的标识,其中,不同写任务中包括不同的目标存储组的标识;
待写组确定单元,用于从所述存储服务器连接的所述至少一个SMR磁盘中,确定所述目标存储组的标识所表征的目标存储组以及所述目标存储组所在的目标SMR磁盘;
写操作单元,用于向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据。
17.根据权利要求16所述的数据处理装置,其特征在于,所述装置还包括:
索引生成单元,用于在所述写操作单元向所述目标SMR磁盘中的所述目标存储组对应的存储区内写入所述目标数据的同时,为所述目标数据生成索引;
索引写入单元,用于将所述索引存储到所述目标SMR磁盘的第一存储区域。
18.根据权利要求17所述的数据处理装置,其特征在于,所述SMR磁盘的第一存储区域被划分为多个存储段,且,所述存储段与所述SMR磁盘中所述第二存储区域的所述存储组建立有关联关系,其中,不同的存储组所关联的存储段不同;
所述索引写入单元,包括:
存储段确定单元,用于从所述目标SMR磁盘中所述第一存储区域的多个存储段中,确定出所述目标存储组关联的目标存储段;
索引写入子单元,用于将所述索引存储到所述目标存储段对应的存储区域。
19.根据权利要求17或18所述的数据处理装置,其特征在于,还包括:
读获取单元,用于获取至少一个读任务,所述读任务包括:待读取数据的标识以及存储所述待读取数据的目的存储组的标识;
待读组确定单元,用于从所述存储服务器连接的至少一个SMR磁盘中,确定所述目的存储组的标识所表征的目的存储组以及所述目的存储组所在的目的SMR磁盘;
读索引单元,用于依据所述待读取数据的标识,从所述第一存储区域获取所述待读取数据的索引;
读操作单元,用于依据所述待读取数据的索引,从所述目的SMR磁盘中的所述目的存储组对应的存储区内读取所述待读取数据。
20.根据权利要求19所述的数据处理装置,其特征在于,当所述SMR磁盘的第一存储区域被划分为多个存储段时,所述读索引单元,包括:
关联段确定单元,用于从所述目的SMR磁盘中所述第一存储区域的多个存储段中,确定与所述目的存储组关联的目的存储段;
读索引子单元,用于依据所述待读取数据的标识,从所述目的存储段对应的存储区域中获取所述待读取数据的索引。
CN201610548709.4A 2016-07-12 2016-07-12 数据处理方法和装置以及存储系统 Active CN106201355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610548709.4A CN106201355B (zh) 2016-07-12 2016-07-12 数据处理方法和装置以及存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610548709.4A CN106201355B (zh) 2016-07-12 2016-07-12 数据处理方法和装置以及存储系统

Publications (2)

Publication Number Publication Date
CN106201355A true CN106201355A (zh) 2016-12-07
CN106201355B CN106201355B (zh) 2018-12-11

Family

ID=57477309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610548709.4A Active CN106201355B (zh) 2016-07-12 2016-07-12 数据处理方法和装置以及存储系统

Country Status (1)

Country Link
CN (1) CN106201355B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829897A (zh) * 2018-07-03 2018-11-16 沈文策 数据存储方法及数据存储系统
CN109324755A (zh) * 2018-08-08 2019-02-12 成都华为技术有限公司 一种i/o请求派发方法及装置
CN109857342A (zh) * 2019-01-16 2019-06-07 盛科网络(苏州)有限公司 一种数据读写方法及装置、交换芯片及存储介质
CN110660016A (zh) * 2018-06-29 2020-01-07 晨星半导体股份有限公司 配合动态随机存取存储器的内存管理装置及内存管理方法
CN111399762A (zh) * 2019-11-27 2020-07-10 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
CN111459412A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 磁盘管理方法、装置以及电子设备
CN111506251A (zh) * 2019-01-30 2020-08-07 杭州海康威视系统技术有限公司 数据处理方法、装置、smr存储系统及存储介质
CN111506250A (zh) * 2019-01-30 2020-08-07 杭州海康威视系统技术有限公司 一种数据删除方法、装置、电子设备及存储介质
CN111651127A (zh) * 2020-06-10 2020-09-11 杭州海康威视数字技术股份有限公司 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
CN111756828A (zh) * 2020-06-19 2020-10-09 广东浪潮大数据研究有限公司 一种数据存储方法、装置及设备
CN112463333A (zh) * 2020-12-03 2021-03-09 北京浪潮数据技术有限公司 一种基于多线程并发的数据存取方法、装置和介质
CN112925943A (zh) * 2019-12-06 2021-06-08 浙江宇视科技有限公司 数据处理方法、装置、服务器及存储介质
CN113220653A (zh) * 2021-04-20 2021-08-06 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
CN113568582A (zh) * 2021-07-30 2021-10-29 重庆紫光华山智安科技有限公司 数据管理方法、装置和存储设备
CN113741794A (zh) * 2020-05-29 2021-12-03 浙江宇视科技有限公司 一种smr盘阵列重建方法、系统、设备及计算机介质
CN114237489A (zh) * 2020-09-09 2022-03-25 浙江宇视科技有限公司 将逻辑资源写入smr盘的方法、装置、电子设备及存储介质
WO2022262345A1 (zh) * 2021-06-18 2022-12-22 华为技术有限公司 一种数据管理方法、存储空间管理方法及装置
CN115622966A (zh) * 2022-09-08 2023-01-17 恒生电子股份有限公司 一种数据包处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300328A1 (en) * 2011-05-23 2012-11-29 Jonathan Darrel Coker Storage device with shingled data and unshingled cache regions
CN103955433A (zh) * 2014-05-09 2014-07-30 华为技术有限公司 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN104461390A (zh) * 2014-12-05 2015-03-25 华为技术有限公司 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN105138286A (zh) * 2015-08-11 2015-12-09 智云创新(北京)科技有限公司 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300328A1 (en) * 2011-05-23 2012-11-29 Jonathan Darrel Coker Storage device with shingled data and unshingled cache regions
CN103955433A (zh) * 2014-05-09 2014-07-30 华为技术有限公司 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN104461390A (zh) * 2014-12-05 2015-03-25 华为技术有限公司 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN105138286A (zh) * 2015-08-11 2015-12-09 智云创新(北京)科技有限公司 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660016A (zh) * 2018-06-29 2020-01-07 晨星半导体股份有限公司 配合动态随机存取存储器的内存管理装置及内存管理方法
CN108829897A (zh) * 2018-07-03 2018-11-16 沈文策 数据存储方法及数据存储系统
CN109324755A (zh) * 2018-08-08 2019-02-12 成都华为技术有限公司 一种i/o请求派发方法及装置
WO2020029749A1 (zh) * 2018-08-08 2020-02-13 华为技术有限公司 一种i/o请求派发方法及装置
CN109857342A (zh) * 2019-01-16 2019-06-07 盛科网络(苏州)有限公司 一种数据读写方法及装置、交换芯片及存储介质
CN111506251B (zh) * 2019-01-30 2023-06-02 杭州海康威视系统技术有限公司 数据处理方法、装置、smr存储系统及存储介质
CN111506250B (zh) * 2019-01-30 2022-05-06 杭州海康威视系统技术有限公司 一种数据删除方法、装置、电子设备及存储介质
CN111506251A (zh) * 2019-01-30 2020-08-07 杭州海康威视系统技术有限公司 数据处理方法、装置、smr存储系统及存储介质
CN111506250A (zh) * 2019-01-30 2020-08-07 杭州海康威视系统技术有限公司 一种数据删除方法、装置、电子设备及存储介质
CN111399762A (zh) * 2019-11-27 2020-07-10 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
WO2021104380A1 (zh) * 2019-11-27 2021-06-03 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
CN111399762B (zh) * 2019-11-27 2021-06-18 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
US11853549B2 (en) 2019-11-27 2023-12-26 Hangzhou Hikvision System Technology Co., Ltd. Index storage in shingled magnetic recording (SMR) storage system with non-shingled region
CN112925943A (zh) * 2019-12-06 2021-06-08 浙江宇视科技有限公司 数据处理方法、装置、服务器及存储介质
CN112925943B (zh) * 2019-12-06 2022-04-08 浙江宇视科技有限公司 数据处理方法、装置、服务器及存储介质
CN111459412A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 磁盘管理方法、装置以及电子设备
CN111459412B (zh) * 2020-03-30 2023-07-04 北京百度网讯科技有限公司 磁盘管理方法、装置以及电子设备
US11681444B2 (en) 2020-03-30 2023-06-20 Beijing Baidu Netcom Science Technology Co., Ltd. Shingled magnetic disk management method for data isolation by space files, apparatus, and electronic device
CN113741794B (zh) * 2020-05-29 2024-04-05 浙江宇视科技有限公司 一种smr盘阵列重建方法、系统、设备及计算机介质
CN113741794A (zh) * 2020-05-29 2021-12-03 浙江宇视科技有限公司 一种smr盘阵列重建方法、系统、设备及计算机介质
CN111651127A (zh) * 2020-06-10 2020-09-11 杭州海康威视数字技术股份有限公司 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
CN111756828A (zh) * 2020-06-19 2020-10-09 广东浪潮大数据研究有限公司 一种数据存储方法、装置及设备
CN114237489A (zh) * 2020-09-09 2022-03-25 浙江宇视科技有限公司 将逻辑资源写入smr盘的方法、装置、电子设备及存储介质
CN114237489B (zh) * 2020-09-09 2024-04-05 浙江宇视科技有限公司 将逻辑资源写入smr盘的方法、装置、电子设备及存储介质
CN112463333A (zh) * 2020-12-03 2021-03-09 北京浪潮数据技术有限公司 一种基于多线程并发的数据存取方法、装置和介质
CN113220653B (zh) * 2021-04-20 2023-10-27 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
CN113220653A (zh) * 2021-04-20 2021-08-06 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
WO2022262345A1 (zh) * 2021-06-18 2022-12-22 华为技术有限公司 一种数据管理方法、存储空间管理方法及装置
CN113568582B (zh) * 2021-07-30 2023-05-26 重庆紫光华山智安科技有限公司 数据管理方法、装置和存储设备
CN113568582A (zh) * 2021-07-30 2021-10-29 重庆紫光华山智安科技有限公司 数据管理方法、装置和存储设备
CN115622966A (zh) * 2022-09-08 2023-01-17 恒生电子股份有限公司 一种数据包处理方法、装置、设备及存储介质
CN115622966B (zh) * 2022-09-08 2024-08-13 恒生电子股份有限公司 一种数据包处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106201355B (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN106201355A (zh) 数据处理方法和装置以及存储系统
CN103927261B (zh) 用于精简供应存储的高效分配和回收的方法和系统
CN108021513B (zh) 一种数据存储方法及装置
CN106557272B (zh) 一种高效的传感器历史数据归档方法
CN103514249B (zh) 一种数据自精简方法和系统及存储装置
US20080243966A1 (en) System and method for managing temporary storage space of a database management system
US20160364407A1 (en) Method and Device for Responding to Request, and Distributed File System
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN106326133A (zh) 存储系统、存储管理装置、存储器、混合存储装置及存储管理方法
CN107798130A (zh) 一种分布式存储的快照方法
CN104113597A (zh) 一种多数据中心的hdfs数据读写系统及方法
CN104317742A (zh) 一种优化空间管理的自动精简配置方法
CN103049390A (zh) 应用元数据的数据处理方法及存储系统
CN107632791A (zh) 一种存储空间的分配方法及系统
JP5574464B2 (ja) ストレージリソースの階層化管理方法及びシステム
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
DE102017118341B4 (de) Neuaufteilen von Daten in einem verteilten Computersystem
CN103425435B (zh) 磁盘存储方法及磁盘存储系统
CN109240607B (zh) 一种文件读取方法和装置
CN108089926A (zh) 一种获取分布式锁的方法、装置、设备及可读存储介质
CN103812934B (zh) 基于云存储系统的遥感数据发布方法
CN102411634A (zh) 一种提升嵌入式数据库实时性的数据存储方法
CN102253985B (zh) 一种文件系统数据的管理方法及系统
CN102779138A (zh) 实时数据的硬盘存取方法
CN115617264A (zh) 分布式存储方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211009

Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right