CN102023809A - 存储系统、从存储系统读取数据的方法及写入数据的方法 - Google Patents

存储系统、从存储系统读取数据的方法及写入数据的方法 Download PDF

Info

Publication number
CN102023809A
CN102023809A CN2009100938302A CN200910093830A CN102023809A CN 102023809 A CN102023809 A CN 102023809A CN 2009100938302 A CN2009100938302 A CN 2009100938302A CN 200910093830 A CN200910093830 A CN 200910093830A CN 102023809 A CN102023809 A CN 102023809A
Authority
CN
China
Prior art keywords
list item
data
band
address
solid state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009100938302A
Other languages
English (en)
Other versions
CN102023809B (zh
Inventor
林宇
张巍
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN200910093830A priority Critical patent/CN102023809B/zh
Publication of CN102023809A publication Critical patent/CN102023809A/zh
Application granted granted Critical
Publication of CN102023809B publication Critical patent/CN102023809B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及一种存储系统、从存储系统读取数据的方法及写入数据的方法,系统包括控制器及划分有廉价磁盘阵列条带的第一硬盘,还包括:固态硬盘组,所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间;所述固态硬盘组被划分为廉价磁盘阵列条带的集合;所述固态硬盘组的廉价磁盘阵列条带与所述第一硬盘的廉价磁盘阵列条带具有相同的条带深度及条带尺寸;所述控制器保存有用于表示所述存储空间与所述固态硬盘组映射关系的哈希映射表;所述哈希映射表的表项包含索引、指针域及位图域;所述控制器还保存有解析函数,所述解析函数用于将读写请求中的起始地址解析为所述哈希映射表的索引。

Description

存储系统、从存储系统读取数据的方法及写入数据的方法
技术领域
本发明涉及存储技术领域,尤其涉及一种存储系统、从存储系统读取数据的方法及写入数据的方法。
背景技术
廉价磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID)通过把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),以提供比单个硬盘更高的存储性能以及提供数据备份功能。
随着RAID技术的不断发展,出现了按RAID5级别模式构建的硬盘组,即将数据和校验位都以间隔分布的方式存储在所有的硬盘上,从而取得更好的负载平衡。该硬盘组也即一个逻辑硬盘,为便于描述,这里按构建级别对逻辑硬盘进行命名,如按RAID5级别构建得到的逻辑硬盘称为RAID5硬盘。按RAID1级别构建得到的逻辑硬盘称为RAID1硬盘等。为了提高RAID5级别模式下磁盘阵列即RAID5硬盘的响应能力,存储系统一般会采用缓存(CACHE)技术。
现有技术中,一种方法是在存储系统中采用随机访问存储器(RandomAccess Memory,RAM)作为高速缓存,但是RAM属于易失性储存介质,所以采用缓存写回方式的存储系统必须具有备用电池,以保证掉电时RAM中的数据能够完整地写回磁盘阵列。但是,采用RAM作为高速缓存限制了缓存空间的大小,同时备用电池的使用增加了成本及设备体积。而且,对于双控系统,两个控制器都必须为对端准备一个镜像缓存。无论哪个控制器,只要往本端的缓存中写数据,都必须同时启动镜像通道将更新数据写入对端的镜像缓存,以保证控制器出现故障需要切换时,另一控制器可以完全获得故障发生时缓存中的数据。这样,主机的每次写IO操作的数据都必须镜像,从而降低了双控系统的性能,并使得两个控制器耦合性很强不利于存储系统的扩展。
另一种方法将固态硬盘(Solid State Disk,SSD)配置为磁盘阵列即存储系统的缓存。但是,将SSD配置为缓存的存储系统,复杂度较高。
发明内容
本发明实施例提出一种存储系统、从存储系统读取数据的方法及写入数据的方法,以降低存储系统的复杂度。
本发明实施例提供了一种存储系统,包括控制器及划分有廉价磁盘阵列条带的第一硬盘,其中,还包括:
固态硬盘组,所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间;所述固态硬盘组被划分为廉价磁盘阵列条带的集合;所述固态硬盘组的廉价磁盘阵列条带与所述第一硬盘的廉价磁盘阵列条带具有相同的条带深度及条带尺寸;
所述控制器保存有用于表示所述存储空间与所述固态硬盘组映射关系的哈希映射表;所述哈希映射表的表项包含索引、指针域及位图域;
所述控制器还保存有解析函数,所述解析函数用于将读写请求中的起始地址解析为所述哈希映射表的索引。
本发明实施例还提供了一种从存储系统读取数据的方法,包括:
接收读请求;
以第一硬盘的廉价磁盘阵列条带为单位对所述读请求中的地址进行划分,得到廉价磁盘阵列条带地址;
解析所述廉价磁盘阵列条带地址中的起始地址,获得相应的哈希映射表的表项的索引;所述哈希映射表的表项包含索引、指针域及位图域;
当所述索引所在的哈希映射表的表项中的指针域非空时,将所述起始地址与所述表项中的指针域的值进行比较;
当所述起始地址与所述表项中指针域的值之差小于所述廉价磁盘阵列条带的尺寸时,从所述表项的位图域对应的固态硬盘组的条带单元中读出数据;所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间。
本发明实施例还提供了一种向存储系统写入数据的方法,包括:
接收写请求;
以第一硬盘的廉价磁盘阵列条带为单位对所述写请求中的地址进行划分,得到廉价磁盘阵列条带地址;
解析所述廉价磁盘阵列条带地址中的起始地址,得到相应的哈希映射表的表项的索引,所述哈希映射表的表项包含索引、指针域及位图域;
将所述廉价磁盘阵列条带地址对应的数据写入所述索引所在表项对应的固态硬盘组的条带单元;所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间;
更新所述哈希映射表的表项。
上述实施例中,存储系统通过哈希映射表将SSD组作为缓存,使得存储系统对于访问请求的处理无需考虑所访问数据的冷热情况,降低了存储系统的复杂度。并且,对于一段时间内频繁访问和更新的数据能够直接命中硬盘缓存(DISK CACHE)即SSD组,提高了存储系统的响应能力。同时,由于硬盘缓存是非易失性存储介质,掉电后数据不会丢失,因而存储系统不用再具备备用电池,节约了成本。且由于硬盘缓存的有效空间比RAM大很多,进一步增加了访问数据在缓存中的停留时间,增大了合并的可能性。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的存储系统的结构示意图;
图2为本发明实施例提供的存储系统中按RAID 5级别构建的磁盘阵列示意图;
图3为本发明实施例提供的存储系统中SSD按RAID1+0级别构建的磁盘阵列示意图;
图4为本发明实施例提供的存储系统中哈希映射表的映射示意图;
图5为本发明实施例提供的一种从存储系统读取数据的方法的流程图;
图6为本发明实施例提供的一种向存储系统写入数据的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的存储系统的结构示意图。该系统可包括:控制器11、第一硬盘12及为第一硬盘12的LUN对应的存储空间分配的固态硬盘即SSD组13。第一硬盘12可为RAID 5硬盘、RAID0硬盘、RAID1硬盘等。假设第一硬盘12被分区,则每个分区都有自己的LUN,LUN对应的存储空间也即LUN分区。如为第一硬盘12中的某一个分区分配SSD组13,作为第一硬盘12的缓存。则SSD组13被划分为RAID条带如RAID1+0条带、RAID0条带的集合;且SSD组13的RAID条带与所述第一硬盘12的R
AID条带具有相同的条带深度及条带尺寸。当SSD组13被划分为RAID1+0条带时,SSD组13的RAID1+0条带中还可包含预留的校验数据的条带单元即校验单元,以及各条带单元的镜像。则校验单元及其镜像统称为校验单元镜像对,其他条带单元及其镜像统称为条带单元镜像对。
控制器11保存有用于表示所述存储空间也即第一硬盘12中的某一LUN分区与所述SSD组13映射关系的哈希映射表。所述哈希映射表的表项包含索引、指针域及位图域;所述索引用于区分所述哈希映射表的不同表项;所述指针域指向所述磁盘中的RAID条带;所述位图域用于表示SSD组13中对应的条带单元是否存储有所述指针域指向的RAID条带。
例如,当从RAID5硬盘中创建一个LUN分区时,为该LUN分区分配由SSD构建的磁盘阵列即SSD组作为缓存。其中,RAID5硬盘可以采用左对齐等格式设置校验单元。
该SSD组可按RAID1+0级别构建,即可被划分为RAID1+0条带,成为RAID1+0条带的集合。这些RAID1+0条带与LUN中的RAID5条带具有相同的分条深度和条带尺寸。并且每个RAID1+0条带包含一个预留的校验单元镜像对,用于解决写洞(write-hole)问题。如图2、图3所示。图2为本发明实施例提供的存储系统中按RAID 5级别构建的磁盘阵列示意图。图3为本发明实施例提供的存储系统中SSD按RAID1+0级别构建的磁盘阵列示意图。图2中第一硬盘由硬盘0~硬盘3按RAID5级别构建而成,RAID5条带格式为3D+1P。对应地,图3中LUN分区的SSD组由SSD0、SSD1及SSD2按RAID1+0级别构建而成,各RAID1+0条带包含3个条带单元镜像对。各RAID1+0条带还可进一步包含一个校验单元镜像对(Pre-P)。图4为本发明实施例提供的存储系统中哈希映射表的映射示意图。如图4所示,每个哈希映射表表项对应一个RAID1+0物理条带。哈希映射表表项中的指针域指向当前被缓存的RAID5条带,另一个域是用于指示RAID5条带中被缓存的条带单元的位图。如索引为0的哈希映射表表项对应0号RAID1+0物理条带。由于图3中映射表表项的位图域为16bit,因此,每个哈希映射表表项中的位图最多可描述SSD组中的16个条带单元。读写RAID5条带时,利用哈希映射表找到该RAID5条带的缓存RAID1+0条带。
当磁盘阵列中创建有多个LUN分区时,可为每个LUN分区的关联SSD组缓存分配一个哈希映射表。哈希映射表里的内容对磁盘阵列控制器是可见的,所以在更新SSD组RAID条带中的数据时,必须同步进行哈希映射表数据的更新。
所述控制器11还保存有解析函数,所述解析函数用于将读写请求中的起始地址解析为所述哈希映射表索引。该解析函数可为哈希函数,将主机的读写请求的起始地址解析为哈希映射表表项的索引,比如可以使用求余数的方法。
主机向磁盘阵列控制器发出读写请求时,控制器通过输入输出(IO)模块接收该读写请求,并将该读写请求的数据读出或写入上述方法实施例实现的缓存中。
本实施例中,存储系统通过哈希映射表将SSD组作为缓存,使得存储系统对于访问请求的处理无需考虑所访问数据的冷热情况,降低了存储系统的复杂度。进一步地,对于RAID5硬盘存储系统,能够直接利用哈希表决定每个RAID5条带在SSD组中的缓存位置,并利用哈希表缓存于SSD组中的条带写回RAID5硬盘或阵列中,而不需要统计数据的冷热程度,对于一段时间内频繁访问和更新的数据能够直接命中硬盘缓存(DISK CACHE)即SSD组,从而提高了存储系统的响应能力。同时,由于硬盘缓存是非易失性存储介质,掉电后数据不会丢失,所以存储系统不用再具备备用电池。并且,由于硬盘缓存的有效空间比RAM大很多,进一步增加了访问数据在缓存中的停留时间,增大了合并的可能性。
图5为本发明实施例提供的一种从存储系统读取数据的方法的流程图。本实施例中,上述存储系统采用SSD组作为硬盘缓存的读操作过程包括:
步骤51、接收读请求;该动作可由控制器执行。控制器接收主机发送的读请求。
步骤52、以第一硬盘的RAID条带为单位对读请求中的地址进行划分,得到的RAID条带地址。如对以RAID5级别构建的第一硬盘,则以RAID5条带为单位对读请求中的地址进行划分,得到的RAID5条带地址。当读请求中的起始地址与末尾地址与第一硬盘RAID条带尺寸边界没有对齐时,划分得到的第一个RAID5条带地址和最后一个RAID5条带地址不足一个条带尺寸,则系统将其视作读满一个条带,进行读操作预取。读操作时,读取的每个RAID5条带地址所在的RIAD5条带的起始地址与条带尺寸边界对齐,并且每个RAID5条带的长度都为一个条带尺寸,即对读请求划分得到的RAID5条带长度与LUN分区中的RAID 5条带长度相同。假设读请求要求读取地址4~25中的数据,且一个RAID5条带尺寸为8,则对地址4~25划分后,得到四个RAID5条带地址。其中,第一个RAID5条带地址包括地址4~7,第二个RAID5条带地址包括地址8~15,第三个RAID5条带地址包括地址16~23,第四个RAID5条带地址包括地址24~25。此时,将第一个RAID5条带地址视为地址0~7,将第四个RAID5条带地址为地址24~31。第一个RAID5条带地址的起始地址为地址4,第一个RAID5条带地址所在的RAID5条带的起始地址为0。而第二个RAID5条带地址、第三个RAID5条带地址及第四个RAID5条带地址的起始地址与各自所在的RAID5条带地址的起始地址相同,分别为地址8、地址16、地址24。
步骤53、利用所述RAID条带地址中的起始地址得到相应的哈希映射表表项的索引。该动作可由控制器11通过解析函数对各个RAID条带地址中的起始地址进行解析得到相应的哈希映射表表项的索引。假设上述第一个RAID5条带地址的首地址4经解析函数解析得到哈希映射表表项的索引为0,上述第一个RAID5条带地址的起始地址经解析函数解析得到哈希映射表表项的索引为0;上述第二个RAID5条带地址的起始地址8经解析函数解析得到哈希映射表表项的索引为1;上述第三个RAID5条带地址的起始地址16经解析函数解析得到哈希映射表表项的索引为2,上述第四个RAID5条带地址的起始地址24经解析函数解析得到哈希映射表表项的索引为3。从而得到:哈希映射表表项0、1、2、3分别对应第一个RAID5条带地址所在的RAID5条带、第二个RAID5条带地址所在的RAID5条带、第三个RAID5条带地址所在的RAID5条带、第四个RAID5条带地址所在的RAID5条带。假设SSD组按RAID1+0构建,则同时也表示哈希映射表表项0、1、2、3分别对应SSD组中的第一个RAID1+0条带、第二个RAID1+0条带、第三个RAID1+0条带、第四个RAID1+0条带。这样,通过表项0中的指针域便可获知地址4~7上的数据在RAID5硬盘中的物理位置,通过表项0中的位图域便可获知地址4~7上的数据是否被缓存在SSD组的对应条带单元中。类似地,也可获知地址8~25上的数据的存储情况。
步骤54、在得到的索引所在的表项中的指针域非空的情况下,将所述起始地址与所述表项中的指针域的值进行比较,判断比较结果即所述起始地址与所述表项中的指针域的值之差是否小于条带尺寸。
该动作可由控制器执行。当得到的索引所在的表项中的指针域为空时,说明未命中SSD组中的RAID条带,控制器可执行步骤56。若划分读请求地址得到的所有RAID条带地址均未命中SSD组中的RAID条带,则控制器通过执行步骤56读取所有RAID条带地址上的数据。
假设上述表项1中的指针域非空,则控制器将上述第二个RAID5条带地址中的起始地址8与表项1中的指针域的值进行比较。若比较结果小于RAID5条带的尺寸8,说明第二个RAID5条带地址上的数据正被缓存在SSD组中,也即命中了SSD组中的RAID1+0条带,则执行步骤55;否则,执行步骤56。
若划分读请求地址得到的所有RAID条带地址均命中SSD组中的RAID条带,则控制器通过执行步骤55读取所有RAID条带地址上的数据。例如,控制器对第一个RAID5条带地址、第二个RAID5条带地址、第三个RAID5条带地址、第四个RAID5条带地址分别执行步骤55读取数据。
步骤55、当所述起始地址与所述表项中指针域的值之差小于所述第一硬盘的RAID条带尺寸时,从所述表项的位图域对应的条带单元中读出数据;所述对应的条带单元位于SSD组中。
该动作可由控制器执行。具体地,控制器可根据哈希映射表表项中的已缓存条带单元位图,决定是否需要从LUN分区中获取数据。
如果位图中相应的比特位均为“1”,则将该RAID5条带缓存于SSD组中的条带单元数据直接从SSD的相应地址中读出,执行步骤57。
如果位图中相应的比特位部分为“1”,则将该RAID5条带缓存于SSD组中的条带单元数据直接从与比特位为“1”的对应SSD组条带单元中读出,再将剩下的条带单元即在位图中的比特位为“0”的对应条带单元数据从LUN分区中读出,然后执行步骤57,用合并后的数据响应主机请求,最后将从LUN分区中读出的数据写入SSD组中RAID1+0条带对应条带单元镜像对中,即将从LUN分区中读出的数据写入SSD组中与位图中比特位为“0”对应的条带单元中,其中位图与该RAID5条带对应,并且更新内存中哈希映射表相应表项中的位图域,即,将SSD组中新写入的条带单元镜像对对应的比特位置1。
若存储系统为双控系统,还需要通过镜像空间的方式将哈希映射表的更新备份于另一个控制器的镜像缓存中。当存储系统为双控系统时,只有LUN分区的归属控制器可以修改该映射表;存储系统掉电后,可将该哈希映射表写入保险箱。
步骤56、从第一硬盘的LUN分区中将数据读出。
步骤57、直至读出所有RAID条带地址上的数据后,响应主机的读请求,完成数据读取。
本实施例中,存储系统直接通过哈希映射表命中读请求所要获得的数据,提高了读取数据的处理速度。
图6为本发明实施例提供的一种向存储系统写入数据的方法的流程图。本实施例中,采用SSD组作为硬盘缓存的写操作过程包括:
步骤61、接收写请求。该动作可由控制器执行。控制器接收主机发送的写请求。
步骤62、以第一硬盘的RAID条带为单位对读请求中的地址进行划分,得到的RAID条带地址。详见上述步骤52的说明。
步骤63、利用所述RAID条带地址中的起始地址得到相应的哈希映射表表项的索引;哈希映射表的指针域指向第一硬盘中的LUN分区,位图域对应SSD组中的RAID1+0条带,具体详见上述步骤53的说明。
步骤64、将所述RAID条带地址对应的数据写入所述索引所在的表项对应的条带单元;所述对应的条带单元位于SSD组中,详见上述系统实施例的说明。
该动作可由控制器执行。控制器利用求出的哈希映射表索引获得对应表项中的正被缓存RAID条带指针域的值。如果该指针域的值为空,说明目前SSD组中相应RAID0或RAID1+0条带并没有缓存第一硬盘中的条带,因此,可直接将当前RAID条带地址的数据写入SSD组中。如,假设利用上述第一个RAID5条带地址的起始地址得到的哈希映射表索引0所在的表项中,指针域的值为空,则说明SSD组中对应的RAID条带没有存储数据,因而,可直接将上述第一个RAID5条带地址即地址4~7的数据写入SSD组中对应的RAID条带。具体可执行步骤67;否则,执行步骤65。
步骤65、将正被缓存RAID条带指针域的值与条带地址中的起始地址作比较。假设利用上述第二个RAID5条带地址计算得到表项1的索引,则此时将表项1的指针域的值与上述第二个RAID5条带地址的起始地址8进行比较。如果两者之差小于条带尺寸,则说明命中了SSD组中的RAID条带,即SSD组中对应RAID0或RAID1+0条带缓存的条带与当前RAID条带地址所在的RAID条带一致,这时直接将当前条带地址的数据写入SSD组对应的条带中。假设上述第二个RAID5条带地址的起始地址与表项1的指针域的值之差小于RAID5条带尺寸,说明SSD组中对应的RAID0或RAID1+0条带正缓存着第二个RAID5条带地址所在的RAID5条带,也即第二个RAID5条带地址8~15的数据缓存在SSD组中对应的RAID0或RAID1+0条带中,则直接将第二个RAID5条带地址8~15的数据写入表项1对应的RAID0或RAID1+0条带。具体可执行步骤67。如果两者间的差距大于一个条带尺寸即跨越了条带,则说明此时哈希映射表表项对应的RAID0或RAID1+0条带正缓存着另外一个条带的数据,这时在写入当前RAID条带地址上的数据之前,必须触发正缓存的另外一个条带数据搬移到第一硬盘的条带中,搬移操作完成后才可将当前RAID条带地址上的数据写入SSD组中,并根据当前RAID条带地址更新位图域和指针域。假设利用上述第三个RAID5条带地址计算得到表项2的索引,且表项2中指针域的值与上述第三个RAID5条带地址的起始地址之差大于1个RAID5条带尺寸,则说明SSD组中对应的RAID0或RAID1+0条带正缓存着另外一个条带的数据,为便于描述,这里称之为旧缓存条带数据,则将该旧缓存条带数据写到第一硬盘后,再将上述第三个RAID5条带地址的数据写入SSD组中对应的RAID0或RAID1+0条带。具体可执行步骤66。
步骤66、触发旧缓存条带数据的写回操作,在哈希映射表表项对应的RAID0或RAID1+0条带写入当前RAID条带地址上的数据,并更新相应的表项。
假设利用上述第三个RAID5条带地址计算得到表项2的索引,而表项2对应的RAID0或RAID1+0条带写入了其他条带数据,即旧缓存条带数据,则将该旧缓存条带数据写回表项2中的指针域指向第一硬盘中的条带,然后将第三个RAID5条带地址16~23的数据写入表项2对应的RAID0或RAID1+0条带。从表项2对应的RAID0或RAID1+0条带读取旧缓存条带数据时,根据表项2中的位图域的比特位进行读取,如,当比特位为1时,说明对应的RAID0或RAID1+0条带单元中存储有数据;当比特位为0时,说明对应的RAID0或RAID1+0条带单元为空,未存储数据。
将第三个RAID5条带地址16~23的数据写入表项2对应的RAID0或RAID1+0条带后,更新表项2,即将表项2指针域的值指向第三个RAID5条带地址所在的RAID5条带的起始地址16。假若表项2指针域的值是指向第一个RAID5条带地址所在的RAID5条带的起始地址,则指向地址0。如果对应的RAID0或RAID1+0条带单元在为空的情况下被写入了数据,则表项2位图域对应的比特位的值也要更新,如由0更新为1。
若SSD组中对应的是RAID1+0条带,则哈希映射表表项对应的RAID1+0条带中还包含校验单元。在哈希映射表表项对应的RAID1+0条带中写入新数据之前,可进一步通过对新旧数据进行异或运算计算出校验数据。如根据旧缓存条带数据的读出方式从第一硬盘中读出表项2指向的条带数据,并将从第一硬盘中读出的条带数据与上述第三RAID5条带地址16~23的数据进行异或运算,得到校验数据。将得到的校验数据存放于表项2对应的RAID1+0条带的预留的校验条带单元镜像对中,同时将该预留的校验单元镜像对在位图中的比特位置1。
当存储系统为双控系统时,还可通过镜像空间的方式将哈希映射表的更新备份于另一个控制器的镜像缓存中。在写回的过程中,如果某一控制器出现故障,切换到另一控制器后,根据哈希映射表重新写回该条带在SSD组中的数据。此时,校验数据已保存在预留校验条带单元镜像对中,且位图中的比特位也标识了该校验单元已计算出。这样,就可以在切换控制器后,从SSD组中将待写回数据和校验数据一起读出,然后下发到第一硬盘的LUN分区中,而不用重新计算校验数据,从而解决了写洞导致的数据不一致问题。
步骤67、将写请求划分得到的RAID条带地址上的数据写入相应表项对应的RAID0或RAID1+0条带,更新当前哈希映射表表项的RAID条带指针域的值,使其指向RAID条带地址所在的RAID条带的起始地址,根据当前缓存的条带单元更新条带单元位图。
假设利用上述第一个RAID5条带地址的起始地址得到的哈希映射表表项0所在的索引,且表项0中的指针域的值为空,此时,可直接将第一个RAID5条带地址上的数据写入表项0对应的RAID0或RAID1+0条带。由于第一个RAID5条带地址的尺寸小于RAID5条带尺寸,因此必须根据第一个RAID5条带地址覆盖的条带单元来更新表项0中的位图域,从而指示目前有哪些条带单元的数据被缓存于SSD组中,最后更新指针域让其指向第一个RAID5条带地址所在RAID5条带的起始地址。
如果待写条带地址上的数据第一次写入RAID0或RAID1+0条带中,且无法完全填满该条带中的某一个或多个条带单元,则触发后台线程将旧数据从LUN分区的对应位置读出,并填满该条带单元。
假设利用上述第二个RAID5条带地址计算得到表项1的索引,且第二个RAID5条带地址的起始地址与表项1的指针域的值之差小于RAID5条带尺寸。第二个RAID5条带地址上的数据写入表项1对应的RAID0或RAID1+0条带时,若第二个RAID5条带地址上的数据没有占满其中某个条带单元,且该条带单元对应比特位为0(说明之前该条带单元没有缓存数据),则从第一硬盘中将数据读出填满SSD中的对应条带单元,并将对应比特位置1,指示该条带单元现在已经缓存数据。
由于存储系统为读操作配置了读缓存(READ RAM CACHE),所以在当前划分后条带写入SSD组后,还应判断当前划分后条带是否命中读缓存;若命中读缓存,为了保证读写数据的一致性,这里需要将划分后的条带的写数据写入读缓存中进行更新。
当存储系统为双控系统时,当前控制器还可通过镜像通道将更新后的哈希映射表传送到另一个控制器的镜像缓存中,然后,响应主机的写请求。
利用上述方法,对各个RAID条带地址中的数据进行写入处理,直至完成所有RAID条带地址中数据的写入操作。
本实施例中,存储系统直接通过哈希映射表将写请求中的数据放入SSD组中,提高了写入数据的处理速度。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种存储系统,包括控制器及划分有廉价磁盘阵列条带的第一硬盘,其特征在于,还包括:
固态硬盘组,所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间;所述固态硬盘组被划分为廉价磁盘阵列条带的集合;所述固态硬盘组的廉价磁盘阵列条带与所述第一硬盘的廉价磁盘阵列条带具有相同的条带深度及条带尺寸;
所述控制器保存有用于表示所述存储空间与所述固态硬盘组映射关系的哈希映射表;所述哈希映射表的表项包含索引、指针域及位图域;
所述控制器还保存有解析函数,所述解析函数用于将读写请求中的起始地址解析为所述哈希映射表的索引。
2.根据权利要求1所述的存储系统,其特征在于,所述固态硬盘组的廉价磁盘阵列条带为RAID 0或RAID 1+0条带。
3.根据权利要求1或2所述的存储系统,其特征在于,所述固态硬盘组的廉价磁盘阵列条带中包含预留的镜像校验单元。
4.一种从存储系统读取数据的方法,其特征在于,包括:
接收读请求;
以第一硬盘的廉价磁盘阵列条带为单位对所述读请求中的地址进行划分,得到廉价磁盘阵列条带地址;
解析所述廉价磁盘阵列条带地址中的起始地址,获得相应的哈希映射表的表项的索引;所述哈希映射表的表项包含索引、指针域及位图域;
当所述索引所在的哈希映射表的表项中的指针域非空时,将所述起始地址与所述表项中的指针域的值进行比较;
当所述起始地址与所述表项中指针域的值之差小于所述廉价磁盘阵列条带的尺寸时,从所述表项的位图域对应的固态硬盘组的条带单元中读出数据;所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间。
5.根据权利要求4所述的读取数据的方法,其特征在于,还包括:
当所述表项的位图域中的比特位表示对应的固态硬盘组的条带单元为空时,从所述第一硬盘中读取所述表示所述条带单元为空的比特位对应的数据。
6.根据权利要求5所述的读取数据的方法,其特征在于,响应所述读请求之前还包括:
将从所述第一硬盘读取的数据与从所述表项的位图域对应的固态硬盘组的条带单元读取的数据合并;
将从所述第一硬盘读取的数据写入所述表项的位图域对应的条带单元中。
7.一种向存储系统写入数据的方法,其特征在于,包括:
接收写请求;
以第一硬盘的廉价磁盘阵列条带为单位对所述写请求中的地址进行划分,得到廉价磁盘阵列条带地址;
解析所述廉价磁盘阵列条带地址中的起始地址,得到相应的哈希映射表的表项的索引,所述哈希映射表的表项包含索引、指针域及位图域;
将所述廉价磁盘阵列条带地址对应的数据写入所述索引所在表项对应的固态硬盘组的条带单元;所述固态硬盘组被分配给所述第一硬盘的逻辑单元编号对应的存储空间;
更新所述哈希映射表的表项。
8.根据权利要求7所述的写入数据的方法,其特征在于,还包括在所述表项中的指针域非空时,将所述起始地址与所述表项中的指针域的值进行比较。
9.根据权利要求7或8所述的写入数据的方法,其特征在于,还包括:
从所述第一硬盘的相应位置读出数据,写入所述表项对应的固态硬盘的条带单元中;所述第一硬盘的相应位置与所述表项对应的固态硬盘的条带单元中无数据的位置对应。
10.根据权利要求7或8所述的写入数据的方法,其特征在于,还包括:
通过镜像通道发送哈希映射表,该哈希映射表的表项经过更新。
11.根据权利要求8所述的写入数据的方法,其特征在于,还包括:当所述比较得到所述起始地址与所述表项中的指针域的值之差大于所述廉价磁盘阵列条带的尺寸时,对所述表项对应的固态硬盘的条带单元执行写回操作;
从所述第一硬盘中读出所述表项中的指针域指向的条带数据,并根据所述读出的数据与所述写请求中的待写入的数据计算校验数据;
将所述校验数据写入所述表项中位图域对应的所述固态硬盘组的校验单元,更新所述表项中位图域中的比特位;
将所述写请求中的待写入的数据写入所述表项对应的固态硬盘组的条带单元。
CN200910093830A 2009-09-21 2009-09-21 存储系统、从存储系统读取数据的方法及写入数据的方法 Expired - Fee Related CN102023809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910093830A CN102023809B (zh) 2009-09-21 2009-09-21 存储系统、从存储系统读取数据的方法及写入数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910093830A CN102023809B (zh) 2009-09-21 2009-09-21 存储系统、从存储系统读取数据的方法及写入数据的方法

Publications (2)

Publication Number Publication Date
CN102023809A true CN102023809A (zh) 2011-04-20
CN102023809B CN102023809B (zh) 2012-10-17

Family

ID=43865145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910093830A Expired - Fee Related CN102023809B (zh) 2009-09-21 2009-09-21 存储系统、从存储系统读取数据的方法及写入数据的方法

Country Status (1)

Country Link
CN (1) CN102023809B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011157144A3 (zh) * 2011-05-31 2012-04-19 华为技术有限公司 数据读写方法、装置和存储系统
CN102609358A (zh) * 2012-01-12 2012-07-25 记忆科技(深圳)有限公司 聚集静态数据的方法及其固态硬盘
CN102681794A (zh) * 2012-04-23 2012-09-19 浪潮(北京)电子信息产业有限公司 基于双控制器实现磁盘冗余阵列保护的方法及系统
CN102819408A (zh) * 2012-08-24 2012-12-12 记忆科技(深圳)有限公司 可动态调整条带深度的raid 0的实现方法及系统
CN102945141A (zh) * 2012-11-09 2013-02-27 华为技术有限公司 一种用于提升raid组存储性能的系统及其方法
CN103020550A (zh) * 2012-12-03 2013-04-03 记忆科技(深圳)有限公司 一种固态硬盘及其安全访问方法、固态硬盘系统
CN103106255A (zh) * 2013-01-23 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于哈希表组织虚拟内存与存储的映射方法及装置
CN103309815A (zh) * 2013-05-23 2013-09-18 华中科技大学 一种提高固态盘有效容量和寿命的方法和系统
CN103339609A (zh) * 2010-09-28 2013-10-02 净睿存储股份有限公司 Raid阵列中的装置内数据保护
WO2014029087A1 (zh) * 2012-08-22 2014-02-27 华为技术有限公司 访问固态硬盘空间的方法、装置及系统
CN103677670A (zh) * 2013-12-11 2014-03-26 华为技术有限公司 读数据的方法及装置
CN104007936A (zh) * 2014-01-07 2014-08-27 华为技术有限公司 访问数据的方法及装置
CN104423892A (zh) * 2013-08-29 2015-03-18 宏碁股份有限公司 数据写入方法、磁盘模块以及数据写入系统
WO2015035536A1 (zh) * 2013-09-16 2015-03-19 上海宝存信息科技有限公司 在基于闪存的存储系统中构建raid的方法及系统
CN105122213A (zh) * 2013-03-15 2015-12-02 思科技术公司 用于数据存储系统中的错误检测和纠正的方法和装置
CN105279099A (zh) * 2015-09-30 2016-01-27 成都华为技术有限公司 一种磁盘空间分配法及装置
CN105446701A (zh) * 2015-11-09 2016-03-30 联想(北京)有限公司 一种数据处理方法、电子设备及控制器
CN105808154A (zh) * 2014-12-31 2016-07-27 北京神州云科数据技术有限公司 基于位图的双控制器的高速缓冲存储器回写方法及装置
CN106527974A (zh) * 2016-10-09 2017-03-22 华为技术有限公司 一种写数据的方法、设备及系统
CN106708433A (zh) * 2016-12-06 2017-05-24 深圳市深信服电子科技有限公司 存储数据的读写方法及装置
CN107229573A (zh) * 2017-05-22 2017-10-03 上海天玑数据技术有限公司 一种基于固态硬盘的弹性高可用缓存方法
CN108133267A (zh) * 2016-12-01 2018-06-08 上海兆芯集成电路有限公司 具有可作为最后级高速缓存片或神经网络单元存储器操作的存储器阵列的处理器
CN109508147A (zh) * 2018-11-09 2019-03-22 郑州云海信息技术有限公司 一种缓存数据存储方法、系统及存储设备
CN110795273A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 一种raid的写洞保护方法、系统及存储介质
CN110928496A (zh) * 2019-11-12 2020-03-27 杭州宏杉科技股份有限公司 一种在多控存储系统上的数据处理方法及装置
CN112445713A (zh) * 2019-08-15 2021-03-05 辉达公司 用于对内存有效分区的技术
WO2021174654A1 (zh) * 2020-03-06 2021-09-10 苏州浪潮智能科技有限公司 一种io请求处理方法、装置、设备及可读存储介质
CN113779651A (zh) * 2021-09-23 2021-12-10 北京神州慧安科技有限公司 硬盘防盗方法和装置
CN114265958A (zh) * 2022-03-01 2022-04-01 南京得瑞芯存科技有限公司 Kv ssd的映射管理方法、装置及存储介质
WO2024045545A1 (zh) * 2022-09-01 2024-03-07 苏州元脑智能科技有限公司 一种域地址变更方法、装置、设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6341331B1 (en) * 1999-10-01 2002-01-22 International Business Machines Corporation Method and system for managing a raid storage system with cache
CN100541413C (zh) * 2005-10-21 2009-09-16 中国科学院计算技术研究所 一种基于动态模式的网络raid系统及方法

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339609B (zh) * 2010-09-28 2015-09-23 净睿存储股份有限公司 Raid阵列中的装置内数据保护
US9058116B2 (en) 2010-09-28 2015-06-16 Pure Storage, Inc. Intra-device data protection in a raid array
CN103339609A (zh) * 2010-09-28 2013-10-02 净睿存储股份有限公司 Raid阵列中的装置内数据保护
US8832373B2 (en) 2010-09-28 2014-09-09 Pure Storage, Inc. Intra-device data protection in a raid array
CN102918509B (zh) * 2011-05-31 2014-06-04 华为技术有限公司 数据读写方法、装置和存储系统
WO2011157144A3 (zh) * 2011-05-31 2012-04-19 华为技术有限公司 数据读写方法、装置和存储系统
CN102918509A (zh) * 2011-05-31 2013-02-06 华为技术有限公司 数据读写方法、装置和存储系统
US8938604B2 (en) 2011-05-31 2015-01-20 Huawei Technologies Co., Ltd. Data backup using distributed hash tables
CN102609358A (zh) * 2012-01-12 2012-07-25 记忆科技(深圳)有限公司 聚集静态数据的方法及其固态硬盘
CN102609358B (zh) * 2012-01-12 2014-12-03 记忆科技(深圳)有限公司 聚集静态数据的方法及其固态硬盘
CN102681794A (zh) * 2012-04-23 2012-09-19 浪潮(北京)电子信息产业有限公司 基于双控制器实现磁盘冗余阵列保护的方法及系统
WO2014029087A1 (zh) * 2012-08-22 2014-02-27 华为技术有限公司 访问固态硬盘空间的方法、装置及系统
CN103827837A (zh) * 2012-08-22 2014-05-28 华为技术有限公司 访问固态硬盘空间的方法、装置及系统
CN103827837B (zh) * 2012-08-22 2016-08-03 华为技术有限公司 访问固态硬盘空间的方法、装置及系统
CN102819408A (zh) * 2012-08-24 2012-12-12 记忆科技(深圳)有限公司 可动态调整条带深度的raid 0的实现方法及系统
CN102819408B (zh) * 2012-08-24 2016-01-06 记忆科技(深圳)有限公司 可动态调整条带深度的raid 0的实现方法及系统
CN102945141A (zh) * 2012-11-09 2013-02-27 华为技术有限公司 一种用于提升raid组存储性能的系统及其方法
CN102945141B (zh) * 2012-11-09 2016-01-27 华为技术有限公司 一种用于提升raid组存储性能的系统及其方法
CN103020550B (zh) * 2012-12-03 2016-08-17 记忆科技(深圳)有限公司 一种固态硬盘及其安全访问方法、固态硬盘系统
CN103020550A (zh) * 2012-12-03 2013-04-03 记忆科技(深圳)有限公司 一种固态硬盘及其安全访问方法、固态硬盘系统
CN103106255B (zh) * 2013-01-23 2016-03-02 浪潮(北京)电子信息产业有限公司 一种基于哈希表组织虚拟内存与存储的映射方法及装置
CN103106255A (zh) * 2013-01-23 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于哈希表组织虚拟内存与存储的映射方法及装置
CN105122213A (zh) * 2013-03-15 2015-12-02 思科技术公司 用于数据存储系统中的错误检测和纠正的方法和装置
CN105122213B (zh) * 2013-03-15 2018-01-16 思科技术公司 用于数据存储系统中的错误检测和纠正的方法和装置
CN103309815B (zh) * 2013-05-23 2015-09-23 华中科技大学 一种提高固态盘有效容量和寿命的方法和系统
CN103309815A (zh) * 2013-05-23 2013-09-18 华中科技大学 一种提高固态盘有效容量和寿命的方法和系统
CN104423892A (zh) * 2013-08-29 2015-03-18 宏碁股份有限公司 数据写入方法、磁盘模块以及数据写入系统
US9720770B2 (en) 2013-09-16 2017-08-01 Shannon Systems Ltd. Method for calculating raids parity code on interleaving and out of order data streams, and a system using the same
CN105556480B (zh) * 2013-09-16 2017-06-30 上海宝存信息科技有限公司 在基于闪存的存储系统中构建raid的方法及系统
WO2015035536A1 (zh) * 2013-09-16 2015-03-19 上海宝存信息科技有限公司 在基于闪存的存储系统中构建raid的方法及系统
CN105556480A (zh) * 2013-09-16 2016-05-04 上海宝存信息科技有限公司 在基于闪存的存储系统中构建raid的方法及系统
CN103677670A (zh) * 2013-12-11 2014-03-26 华为技术有限公司 读数据的方法及装置
US10585600B2 (en) 2014-01-07 2020-03-10 Huawei Technologies Co., Ltd. Data access method and apparatus
CN104007936A (zh) * 2014-01-07 2014-08-27 华为技术有限公司 访问数据的方法及装置
KR101743411B1 (ko) * 2014-01-07 2017-06-02 후아웨이 테크놀러지 컴퍼니 리미티드 데이터 액세스 방법 및 장치
CN104007936B (zh) * 2014-01-07 2017-09-29 华为技术有限公司 访问数据的方法及装置
RU2626091C1 (ru) * 2014-01-07 2017-07-21 Хуавэй Текнолоджиз Ко., Лтд. Способ и устройство доступа к данным
WO2015103933A1 (zh) * 2014-01-07 2015-07-16 华为技术有限公司 访问数据的方法及装置
CN105808154B (zh) * 2014-12-31 2019-05-24 深圳神州数码云科数据技术有限公司 基于位图的双控制器的高速缓冲存储器回写方法及装置
CN105808154A (zh) * 2014-12-31 2016-07-27 北京神州云科数据技术有限公司 基于位图的双控制器的高速缓冲存储器回写方法及装置
CN105279099A (zh) * 2015-09-30 2016-01-27 成都华为技术有限公司 一种磁盘空间分配法及装置
CN105446701A (zh) * 2015-11-09 2016-03-30 联想(北京)有限公司 一种数据处理方法、电子设备及控制器
CN106527974A (zh) * 2016-10-09 2017-03-22 华为技术有限公司 一种写数据的方法、设备及系统
CN106527974B (zh) * 2016-10-09 2019-05-28 华为技术有限公司 一种写数据的方法、设备及系统
CN108133267A (zh) * 2016-12-01 2018-06-08 上海兆芯集成电路有限公司 具有可作为最后级高速缓存片或神经网络单元存储器操作的存储器阵列的处理器
CN108133267B (zh) * 2016-12-01 2020-08-21 上海兆芯集成电路有限公司 具有可作为最后级高速缓存片或神经网络单元存储器操作的存储器阵列的处理器
CN106708433A (zh) * 2016-12-06 2017-05-24 深圳市深信服电子科技有限公司 存储数据的读写方法及装置
CN107229573A (zh) * 2017-05-22 2017-10-03 上海天玑数据技术有限公司 一种基于固态硬盘的弹性高可用缓存方法
CN107229573B (zh) * 2017-05-22 2020-04-28 上海天玑数据技术有限公司 一种基于固态硬盘的弹性高可用缓存方法
CN109508147A (zh) * 2018-11-09 2019-03-22 郑州云海信息技术有限公司 一种缓存数据存储方法、系统及存储设备
CN112445713A (zh) * 2019-08-15 2021-03-05 辉达公司 用于对内存有效分区的技术
US11650880B2 (en) 2019-10-18 2023-05-16 Inspur Suzhou Intelligent Technology Co., Ltd. Write hole protection method and system for raid, and storage medium
CN110795273A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 一种raid的写洞保护方法、系统及存储介质
CN110928496A (zh) * 2019-11-12 2020-03-27 杭州宏杉科技股份有限公司 一种在多控存储系统上的数据处理方法及装置
CN110928496B (zh) * 2019-11-12 2022-04-22 杭州宏杉科技股份有限公司 一种在多控存储系统上的数据处理方法及装置
WO2021174654A1 (zh) * 2020-03-06 2021-09-10 苏州浪潮智能科技有限公司 一种io请求处理方法、装置、设备及可读存储介质
CN113779651A (zh) * 2021-09-23 2021-12-10 北京神州慧安科技有限公司 硬盘防盗方法和装置
CN114265958A (zh) * 2022-03-01 2022-04-01 南京得瑞芯存科技有限公司 Kv ssd的映射管理方法、装置及存储介质
WO2024045545A1 (zh) * 2022-09-01 2024-03-07 苏州元脑智能科技有限公司 一种域地址变更方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN102023809B (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
CN102023809B (zh) 存储系统、从存储系统读取数据的方法及写入数据的方法
US10031675B1 (en) Method and system for tiering data
CN104794070B (zh) 基于动态非覆盖raid技术的固态闪存写缓存系统及方法
CN106716334B (zh) 文件系统卷内的高效数据移动
CN103049222B (zh) 一种raid5的写io优化处理方法
CN101727299B (zh) 连续数据存储中面向raid5的写操作优化设计方法
US9292228B2 (en) Selective raid protection for cache memory
CN103631536B (zh) 一种利用ssd的无效数据优化raid5/6写性能的方法
CN102779096B (zh) 一种基于页块面三维的闪存地址映射方法
CN102087586B (zh) 数据处理方法及装置
US20150347310A1 (en) Storage Controller and Method for Managing Metadata in a Cache Store
CN101236482B (zh) 降级状态下处理数据的方法及独立冗余磁盘阵列系统
US9727245B2 (en) Method and apparatus for de-duplication for solid state disks (SSDs)
CN102609360A (zh) 一种数据处理方法、装置及系统
US10503424B2 (en) Storage system
CN102682012A (zh) 一种文件系统内读写数据的方法及装置
CN101620517B (zh) 数据写入方法和装置
CN102326141A (zh) Raid配置信息的处理方法及装置、raid控制器
CN104679442A (zh) 一种提高磁盘阵列性能的方法及装置
CN105630413B (zh) 一种磁盘数据的同步回写方法
CN103534688A (zh) 数据恢复方法、存储设备和存储系统
CN103399823A (zh) 业务数据的存储方法、设备和系统
CN103729149A (zh) 一种存储数据的方法
CN104166601A (zh) 一种存储数据的备份方法和装置
US11379326B2 (en) Data access method, apparatus and computer program product

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

Free format text: FORMER NAME: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee after: Huawei Symantec Technologies Co., Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee before: Chengdu Huawei Symantec Technologies Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121017

Termination date: 20190921