New! View global litigation for patent families

CN1312569C - 存储系统 - Google Patents

存储系统 Download PDF

Info

Publication number
CN1312569C
CN1312569C CN 200410042397 CN200410042397A CN1312569C CN 1312569 C CN1312569 C CN 1312569C CN 200410042397 CN200410042397 CN 200410042397 CN 200410042397 A CN200410042397 A CN 200410042397A CN 1312569 C CN1312569 C CN 1312569C
Authority
CN
Grant status
Grant
Patent type
Prior art keywords
storage
system
storage system
Prior art date
Application number
CN 200410042397
Other languages
English (en)
Other versions
CN1655111A (zh )
Inventor
藤本和久
井上靖雄
细谷睦
岛田健太郎
渡边直企
Original Assignee
株式会社日立制作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRICAL DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network

Abstract

由以下这样的接口部10、存储部21、处理部81以及相互结合网31构成的存储系统,其中,接口部10,具有与服务器3或硬盘群2的接口;存储部21,具有用于存储与服务器3或硬盘群2之间的读/写数据的高速缓冲存储模块126、以及用于存储系统控制信息的控制存储模块127;具有微处理器的处理部81,其中微处理器用于控制服务器和硬盘群2之间的数据的读/写;接口部10、存储部21和处理部81之间通过相互结合网31而相互连接,如此构成存储系统。

Description

存储系统

技术领域

本发明涉及可从小规模到大规模的、可升级扩展结构的存储系统。

背景技术

近来,保存由信息处理系统处理的数据的存储系统,担负着信息系统的中心任务。在存储系统中,从小规模结构到大规模存在多种系统。

例如,在美国专利第6385681号中揭示了图20所示结构的存储系统。在该存储系统中,具有:执行与计算机(以下称为“服务器”)3之间的数据传输的多个信道接口(以下称为“IF”)部11、执行与硬盘群2之间的数据传输的多个盘IF部16、对存储于硬盘群2内的数据临时进行存储的高速缓冲存储部14、存储有关存储系统8的控制信息(例如是有关存储系统8内的数据传输控制的信息、存储于硬盘群2内的数据的管理信息等)的控制存储部15以及硬盘群2。于是,信道IF部11、盘IF部16以及高速缓冲存储部14之间,通过相互结合网41而连接。信道IF部11、盘IF部16以及控制存储部15之间,通过相互结合网42而连接。相互结合网41和相互结合网42由共用的通路和开关构成。

在美国专利第6385681号记载的存储系统中,利用上述结构,在一个存储系统8内,构成了可从所有信道IF部11和盘IF部16来访问高速缓冲存储部14和控制存储部15的结构。

在美国专利第6542961号中揭示的已有技术中,如图21所示,众多的盘阵列装置4通过盘阵列开关5而连接到多个服务器3上,利用连接于盘阵列开关5以及各盘阵列装置4上的系统结构管理单元60,将多个盘阵列装置4作为一个存储系统9来进行管理。

发明内容

企业存在控制对于信息处理系统的初期投资,并根据商业规模的扩展来扩展信息处理系统的倾向。由此,对于存储系统要求:初期规模小,且与事业规模相一致,具有以合理的投资来扩展规模的成本以及性能的可扩缩性(scalability)。这里,对已有技术的性能的可扩缩性以及成本进行研讨。

存储系统中所要求的性能(每单位时间的数据的输入输出次数或每单位时间的数据的传输量)年年上升。因此,为了对应于未来的性能提高,还需要提高专利文献1的存储系统所具有的信道IF部11和盘IF部16的数据传输处理性能。

但是,在美国专利第6385681号的技术中,所有的信道IF部11和所有的盘IF部16,都通过高速缓冲存储部14和控制存储部15,来控制信道IF部11和盘IF部16间的数据传输。因此,如果提高信道IF部11和盘IF部16的数据传输处理性能,则要增大对高速缓冲存储器14或控制存储部的访问负担。如此,这种访问负荷会成为瓶颈,使得将来难以提高存储系统8的性能,亦即不能确保性能的可扩缩性。

另一方面,在美国专利第6542961号技术中,通过增加盘阵列开关5的端口数、或通过多级连接多个盘阵列开关5,能够增加可连接的盘阵列装置4以及服务器3的数量。即,能够确保性能的可扩缩性。

但是,在美国专利第6542961号的技术中,服务器3通过盘阵列开关5来访问盘阵列装置4。因此,产生了两次协议变换处理,即所谓的:在盘阵列开关5所具有的与服务器3的接口部中,将服务器和盘阵列开关之间的协议转换为盘阵列开关内的协议之协议转换处理;还有,在盘阵列开关5所具有的与盘阵列装置4的接口部中,将盘阵列开关内的协议转换为盘阵列开关与盘阵列装置之间的协议之协议转换处理。因此,与不通过盘阵列开关而可直接访问盘阵列装置的情况相比,应答性能差。

如果不考虑成本,则在美国专利第6385681号中,使高速缓冲存储部14或控制存储部大规模化,可以提高可允许的访问性能。但是,为了可以从所有的信道IF部11和盘IF部16来访问高速缓冲存储部14和控制存储部15,必须将高速缓冲存储部14和控制存储部15各作为相应的一个共用存储空间来进行管理。由此,如果使高速缓冲存储部14或控制存储部15大规模化,则小规模结构中的存储系统的低成本化很难,难以以低价格来提供小规模结构的存储系统。

为了解决上述问题,本发明的一个实施例具有以下结构。具体而言,本发明是这样一种存储系统,包含多个接口部,它具有分别与计算机或盘装置连接的一个以上的接口和控制该计算机或盘装置与存储部之间的数据传送的控制部;包括至少具有与计算机连接的多个第一接口部及与具有多个盘装置的盘装置部连接的第二接口部,存储部,具有用于存储从各个接口部接收的数据的高速缓冲存储模块和控制与各个接口之间的数据传送的控制部;控制所述存储部与各个接口之间的数据的发送与接收的处理部、以及盘装置部,与第二接口部连接,用于存储从第二接口部接收的数据。该存储系统在接口部、存储部、处理部之间是通过相互结合网而互相连接的。

于是,在本发明的存储系统中,由于处理部在接口部和存储部之间互送控制信息,因此,处理部根据对有关计算机请求的数据读出或数据写入而指示数据的传输。

另外,也可以将相互结合网的一部分或全部分离为传输数据的相互结合网以及传输控制信息的相互结合网来构成。再者,相互结合网也可以由多个开关部构成。

作为本发明的另一个实施例,存在以下结构。具体而言,多个群(cluster)是通过通信网而被连接的存储系统。这里,各个群包含:具有与计算机或盘装置的连接部的接口部、存储与计算机或盘装置之间的读/写数据或系统的控制信息的存储部、具有用于控制与计算机和盘装置之间的数据的读/写之微处理器的处理部、以及盘部。于是,各群内的接口部、存储部以及处理部通过通信网而与其他群内的各部相连。

各群内的接口部、存储部、以及处理部也可以这样构成:在群内通过至少一个开关部而被连接,在各群的开关部间通过连接通路而相互连接。

另外,也可以通过以另外的开关为媒介来在各群具有的开关部间连接,由此而在各群之间进行连接。

作为另一个实施例,上述实施例中的接口部也可以是具有协议处理用的处理器来构成。这种情况下,也可以这样构成:在接口部中执行协议处理,在处理部中控制存储系统内的数据传输。

此外,将利用发明的实施例以及附图来进一步说明本申请所揭示的问题以及其解决方法。

附图说明

图1图示了系统1的结构例;图2图示了存储系统1的相互结合网的详细结构例子;图3图示了存储系统1的另一个结构例;图4图示了图3所示的相互结合网的详细结构例;图5图示了存储系统的结构例;图6图示了存储系统的相互结合网的详细结构例;图7图示了存储系统的相互结合网的另一个详细结构例;图8图示了接口部的结构例;图9图示了处理部的结构例;图10图示了存储部的结构例;图11图示了开关部的结构例;图12图示了包格式的一个例子;图13图示了应用控制部的结构例;图14图示了安装到存储系统外壳上的安装例;图15图示了封装以及背板(back plane)的结构例;图16图示了相互结合网的其他详细结构例;图17图示了接口部和外部装置的连接结构例;图18图示了接口部和外部装置的其他连接结构例;图19图示了安装到存储系统外壳上的其他安装例;图20图示了已有的存储系统的结构例;图21图示了已有的存储系统的其他结构例子;图22图示了存储系统1的读取操作流程;图23图示了存储系统1的写入操作的流程。

具体实施方式

以下,将使用附图对本发明的实施例进行说明。

图1图示了第1实施例的存储系统的结构例。存储系统1具有执行与服务器2或硬盘群2的数据收发的接口部10、处理部81、存储部21以及硬盘群2。接口部10、处理部81以及存储部21之间通过相互结合网31而被连接。

在图2中显示了相互结合网31的具体结构的一个例子。

相互结合网31具有2个开关部51。接口部10、处理部81以及存储部21,各通过一条通信通路而分别与2个开关部51相连。这里,所谓通信通路是由用于传输数据或控制信息的1条或多条信号线构成的传输通路。由此,在接口部10、处理部81以及存储部21的彼此之间确保由2条通信通路,从而可以提高可靠性。这里,上述个数和条数只不过是一个实施例,并没有将个数限制到上述情况。这种情况也适用于以下说明的所有实施例。

相互结合网尽管是以利用了开关的情况为例来进行的说明,但如果是相互连接、传输控制信息或数据良好的网络则也可以,例如也可以通过总线来构成。

如图3所示,也可以将相互结合网31分离为传输数据的相互结合网41以及传输控制信息的相互结合网42。于是,与利用1个通信通路来传输数据和控制信息的情况(图1)相比,数据和控制信息的传输没有相互干扰。由此,能够提高数据和控制信息的传输性能。

图4图示了相互结合网41、42的具体结构的一个例子。相互结合网41、42分别有2个开关部52、56。接口部10、处理部81以及存储部21,各通过一条通信通路而分别与2个开关部52以及2个开关部56相连。由此,分别确保:在接口部10、处理部81、以及存储部21的彼此之间有2条数据用通路91,有2条控制信息用通路92,可以提高可靠度。

图8图示了接口部10的结构的具体例子。

接口部10具有:与服务器3或硬盘群2相连的4个IF(外部IF)100、控制与处理部81或存储部21之间的数据/控制信息的传输的传输控制部105、以及执行数据的缓冲或控制信息的存储之存储模块123。

外部IF 100与传输控制部105相连。存储模块123连接到传输控制部105。传输控制部105,即使作为用于控制对于存储模块123的数据/控制信息的读/写的存储控制器,也能执行操作。

这里,外部IF 100或存储模块123和传输控制部105间的连接结构只不过是一个实施例,其结构并没有被限制为上述内容。至少,也可以是这样一种结构:可以经由传输控制部105,从外部IF 100向处理部81、存储部21传输数/控制信息。

在分离出图4所示的数据用通路91和控制信息用通路92情况下的接口部10中,传输控制部105上连接有2条数据用通路91,以及2条控制信息用通路92。

图9图示了处理部81的结构的具体例子。

处理部21具有:2个微处理器101、用于控制与接口部10或存储部21之间的数据/控制信息的传输之传输控制部105、以及存储模块123。存储模块123连接到传输控制部105。传输控制部105即使作为用于控制对于存储模块123的数据/控制信息的读/写的存储控制器,也能执行操作。存储模块123作为2个微处理器101的主存储而被共用,用于存储数据或控制信息。处理部21,也可以不使用为2个微处理器101所共用的存储模块123,而代之以有微处理器的数目那么多的各微处理器101专用的存储模块。

微处理器101连接在传输控制部105上。微处理器101,基于存储部21的控制存储模块127内存储的控制信息,来控制对于存储部21所具有的高速缓冲存储器的数据读/写、目录管理、接口部10和存储部21之间的数据传输。

具体而言,例如,接口部10内的外部IF 100,将表示数据的读或写的访问请求之控制信息写入处理部81内的存储模块123内。之后,微处理器101读出写入的控制信息,并对其进行解释,将表示从外部IF 100向哪个存储部21进行数据传输的控制信息及在该数据传输中必需的参数写入接口部10内的存储模块123。外部IF 100按照该控制信息和参数来执行向存储部21的数据传输。

微处理器101执行向连接在接口部10上的硬盘群2写入的数据之冗余处理,即所谓的RAID处理。该RAID处理,即便是在接口部10或存储部21中执行也没有问题。再有,微处理器101也执行存储系统1中的存储区域的管理(逻辑变换等)。

这里,只不过是微处理器101、传输控制部105以及存储模块123之间的连接结构的一个例子,其结构并不只限定为上述例子。也可以是能够至少在微处理器101、传输控制部105及存储模块123之间相互传输数据的结构。

如图4所示,在分离了数据用通路91和控制信息用通路92的情况下,处理部81的传输控制部196上连接数据用通路91(这里为2条)和控制信息用通路92(这里为2条)。

图10图示了存储部21的结构的具体例子。

存储部21具有高速缓冲存储模块126、控制存储模块127以及存储控制器125。在高速缓冲存储模块126中,临时存储有写入硬盘群2的数据或从硬盘群2读出的数据(以下称为高速缓冲)。在控制存储模块127内,存储有:高速缓冲存储模块126的目录信息(有关存储高速缓冲存储器上的数据之逻辑区段的信息);用于控制接口部10、处理部81以及存储部21间的数据传输的信息;存储系统1的管理信息以及结构信息等。存储控制器125独立控制对于高速缓冲存储模块126以及控制存储模块127的数据的读/写处理。

存储控制器125控制与接口部10、处理部81以及其他存储部21之间的数据/控制信息的传输。

这里,也可以将高速缓冲存储模块126和控制存储模块127在物理上统一为一个,而将高速缓冲存储区和控制存储区分割为在一个存储空间上的逻辑上不同的区域。由此,能够减少存储模块数目,从而能够削减部件成本。

也可以将存储控制器125分离为高速缓冲存储模块控制用和控制存储模块控制用两部分。

这里,在存储系统1具有多个存储部21的情况下,也可以将多个存储部21分为2组,并将存储到该组间的高速缓冲存储模块和控制存储模块的数据或控制信息做成双份。由此,在一组高速缓冲存储模块或控制存储模块中产生障碍的情况下,可以利用另一组高速缓冲存储模块或控制存储模块中存储的数据等继续执行操作,从而提高存储系统1的可靠性。

如图4所示,在分离了数据用通路91和控制信息用通路92的情况下,存储控制器125上连接了数据用通路91(这里是2条)以及控制信息用通路92(这里是2条)。

图11图示了开关部51的结构的具体例子。

开关部51具有开关LSI 58。开关LSI 58具有4个通路IF 130、头解析部131、仲裁器(arbiter)132、十字开关133、8个缓冲器134及4个通路IF 135。

通路IF 130是连接与接口部10相连的通信通路的IF。接口部10和通路IF 130是一对一连接的。通路IF 135是连接与处理部81或存储部21相连的通信通路的IF。处理部81或存储部21与通路IF 135是一对一连接的。在缓冲器134中,临时存储(缓冲)有在接口部10、处理部81和存储部21之间传输的数据包。

图12图示了在接口部10、处理部81和存储部21之间传输的包之格式的一个例子。所谓包,是在各部分之间进行数据传输时使用的协议中之数据传输的单位。包200具有头210、有效负荷220以及纠错码230。头210中,至少存储有表示包的发送者和发送接受者的信息。在有效负载220中,存储有指令、地址、数据、状态等信息。纠错码230是为了检测出包传输时包内产生的错误而使用的码。

在通路IF 130或135接收了包后,开关LSI 58将接收的包的头210送给头解析部131。头解析部131基于头210中包含的包的发送接受者的信息,推导出各通路IF间的连接请求。具体而言,头解析部131推导出与由头210所指示的包发送接受者的装置(存储部)相连的通路IF,并产生接受包的通路IF与推导出的通路IF之间的连接请求。

之后,头解析部131将产生的连接请求送到仲裁器132。仲裁器132以推导出的各通路IF的连接请求为基础,执行各通路IF间的调停(仲裁)。基于其结果,仲裁器132对于十字开关133输出表示连接切换的信号。接收了信号的十字开关133基于信号内容来切换十字开关133内的连接,来实现所希望的通路IF间的连接。

这里,在本实施例中,尽管是在各通路IF中一对一地持有缓冲器的结构,但是,也可以这样构成:开关LSI 58持有1个大的缓冲器,从中,为各通路IF分配包存储区域。开关LSI 58具有存储开关部51内的障碍信息的存储器。

图16图示了相互结合网31的其他结构例子。

在图16中,将开关部51的通路IF的数目增加到10,且开关部51的数目增加到4。其结果,接口部10、处理部81以及存储部21的数目成为图2结构的2倍。另外,在图16中,是这样一种结构:接口部10只能和一部分开关部51相连,处理部81和存储部21与所有的开关部51相连。这样,可以从所有的接口部10对于所有的存储部21以及所有的处理部81进行访问。

相反,也可以是接口部10各个与所有的开关部51相连接,处理部81和存储部21分别与一部分开关51相连接的结构。例如,假设为以下结构:将处理部81和存储部21分为2组,1组与两个开关部51相连,另一组与剩余的2个开关部51相连。这样,也能够从所有的接口部10访问所有的存储部21和所有的处理部81。

接下来,将描述在从服务器3读出记录在存储系统1的硬盘群2上的数据的情况下的处理步骤例子。在以下说明中,在使用开关51的数据传输中,使用了所有的数据包。又,在处理部81和接口部10的通信中,接口部10存储从处理部81发送出的控制信息(数据传输等中必要的信息)的位置是预先决定的。

图22是一张流程图,表示从服务器3读出存储系统1的硬盘群2中记录的数据之情况下的处理步骤例子。

首先,服务器3对于存储系统1发出数据的读出指令。在接口部10内的外部IF 100接收了指令(742)之后,处于指令等待(741)情况下的外部IF 100,通过传输控制部105和相互结合网31(这里取开关部51),将接收到的指令传送到处理部81内的传输控制部分105。接收了指令的传输控制部105将所接收的指令写入存储模块123内。

处理部81的微处理器101,通过轮询存储模块123,或者通过插入表示来自传输控制部105的写入,来检测已将指令写入存储模块123这件事。检测到指令写入的微处理器101从存储模块123读出该指令,并执行指令分析(743)。微处理器101推导出表示记录了分析结果、服务器3请求之数据的存储区域的信息(744)。

微处理器101根据利用指令分析所得到的存储区域的信息,以及处理部81内的存储模块123或者是存储部21内的控制存储模块127内存储的高速缓冲存储模块的目录信息,来确认在存储部21内的高速缓冲存储模块126内,是否记录由指令所请求的数据(以下称为“请求数据”)(745)。

在高速缓冲存储模块126中有请求数据的情况下(以下称为“高速缓冲命中(cache hit)”)(746),微处理器101把为了从高速缓冲存储模块126向接口部10内的外部IF 100传输请求数据所需要的信息,通过处理部81内的传输控制部105、开关部51和接口部10内的传输控制部105,传送到接口部10内的存储模块123,上述所需要的信息,具体而言,是存储请求数据的高速缓冲存储模块126内的地址和成为传送接受者的接口部10所具有的存储模块123内的地址的信息。

之后,微处理器101对外部IF 100指示从存储部21中读出数据(752)。

接受了指示的接口部10内的外部IF 100,首先,从自接口部10内的存储模块123的规定位置读出请求数据的传输中必要的信息。以该信息为基础,接口部10内的外部IF 100访问存储部21的存储控制器125,并请求从高速缓冲存储模块126中读出请求数据。接受请求的存储控制器125从高速缓冲存储模块126中读出请求数据,并将该请求数据传送到接收请求的接口部10(753)。接收请求数据后的接口部10,将所接收的请求数据传送到服务器3(754)。

另一方面,在高速缓冲存储模块126内没有请求数据的情况下(以下称为“高速缓冲未命中(cache miss)”)(746),首先,微处理器101访问存储部21内的控制存储模块127,在高速缓冲存储模块的目录信息内,登录了用于确保在存储部21内的高速缓冲存储模块126内存储请求数据的区域的信息、具体而言是记录指定空的高速缓冲位置的信息(以下称为“高速缓冲区域确保”)(747)。在高速缓冲区域确保后,微处理器101,访问存储部21内的控制存储模块127,并根据控制存储模块127内存储的存储区域的管理信息,来推导出连接由存储了请求数据的硬盘群2的接口部10(以下称为“目的接口部10”)(748)。

此后,微处理器101把为了从目的接口部10内的外部IF 100向高速缓冲存储模块126传输请求数据所需要的信息,通过处理部81内的传输控制部105、开关部51和目的接口部10内的传输控制部105,传送到目的接口部10内的存储模块123。于是,微处理器101,为了从硬盘群2读出请求数据并将请求数据写入存储部21,而向目的接口部10内的外部IF 100进行指示。

接受指示的目的接口部10内的外部IF 100,基于指示,从自接口部10内的存储模块123的规定位置读出请求数据的传输中所必需的信息。以该信息为基础,目的接口部10内的外部IF 100从硬盘群2中读出请求数据(749),并将所读出的数据传送到存储部21内的存储控制器125。存储控制器125,将接收的请求数据写入高速缓冲存储模块126内(750)。如果请求数据的写入结束,则存储控制器125将该结束通知给处理器101。

检测出对于高速缓冲存储模块126的写入结束的微处理器101,访问存储部21内的控制存储器模块127,并更新高速缓冲存储模块的目录信息。具体而言,微处理器101,在目录信息中登录高速缓冲存储模块的内容被更新这件事(751)。另外,微处理器101发送指示,要求接受数据读出的请求指令之接口部10从存储部21中读出请求数据。

接受了指示的接口部10,与高速缓冲命中时刻的处理步骤相同,从高速缓冲存储模块126中读出请求数据,并传送到服务器3。如上所述,存储系统1,对于来自服务器3的数据读出请求,从高速缓冲存储模块或硬盘群2中读出数据,并发送给服务器3。

接着,叙述将数据从服务器3写入存储系统1内情况下的处理步骤例子。图23是一张流程图,表示将数据从服务器3写入存储系统1的情况下之处理步骤的例子。

首先,服务器3对于存储系统1发行数据写入指令。在本实施例中,以在写入指令中含有应当写入的数据(以下称为“更新数据”)的情况进行说明。但是,还存在在写入指令中不包含更新数据的情况。在这种情况下,在根据一条写入指令确认了存储系统1的状态后,服务器3发送更新数据。

在接口部10内的外部IF 100接收了指令(762)后,存在于指令等待状态(761)下的外部IF 100,通过传输控制部105和开关部51,将接收的指令传送给处理部81内的传输控制部105。传输控制部105,将所接收的指令写入处理部的存储模块123。另外,更新数据被临时保存在接口部10的存储模块123内。

处理部81的微处理器101,通过轮询存储模块123,或者通过插入表示来自传输控制部105的写入等,来检测已将指令写入存储模块123这件事。检测出指令写入的微处理器101,从存储模块123中读出该指令,并执行指令分析(763)。微处理器101,根据指令分析的结果,推导出表示记录了服务器3请求写入的更新数据之存储区的信息(764)。微处理器101,根据表示写入更新数据的存储区的信息,以及处理部21内的存储模块123或者存储部21内的控制模块127内存储的高速缓冲存储模块的目录信息,判断在存储部21内的高速缓冲存储模块126中,是否记录了成为写入请求的对象,即成为更新对象的数据(以下称为“更新对象数据”)(765)。

在高速缓冲存储模块126中存在更新对象数据的情况下(以下称为“轻命中(light hit)”)(766),微处理器101把为了将更新数据从接口部10内的外部IF 100传送到高速缓冲存储模块126所需要的信息,通过处理部81内的传输控制部105、开关部51以及接口部10内的传输控制部105,传送给接口部10内的存储模块123。于是,微处理器101,为了将从服务器3传送的更新数据写入存储部21内的高速缓冲存储模块126而指示外部IF 100(768)。

接受了指示的接口部10内的外部IF 100,从自接口部10内的存储模块123的规定位置读出更新数据传输中必需的信息。以读出的信息为基础,接口部10内的外部IF 100,通过传输控制部105和开关51,向存储部21内的存储控制器125传输更新数据。接收了更新数据的存储控制器125,在请求数据上写上高速缓冲存储模块126中存储的根新对象数据(769)。在写入结束后,存储控制器125,向发送指示的微处理器101通知更新数据的写入结束。

在检测到对于高速缓冲存储模块126之更新数据的写入结束了的微处理器101,访问存储部21内的控制存储模块127,并更新高速缓冲存储器的目录信息(770)。具体而言,微处理器101,在目录信息中登录了高速缓冲存储模块的内容得以更新这件事。与此同时,微处理器101为了向服务器3送出写入完毕通知,而对接受了来自服务器3的写入请求的外部IF 100进行指示(771)。接受了该指示的外部IF 100将写入完毕通知送出给服务器3(772)。

在高速缓冲存储模块126内没有更新对象数据的情况下(以下称为“轻失中(light miss)”)(766),微处理器101访问存储部21内的控制存储模块127,并在高速缓冲存储模块的目录信息中,登录用于确保在存储部21内的高速缓冲存储模块126内存储更新数据的区域之信息,基体而言是指示空的高速缓冲位置的信息(高速缓冲区域确保)(767)。在高速缓冲区域确保后,存储系统1执行与轻命中时相同的控制。但是,在轻失中的情况下,由于高速缓冲存储模块126内不存在更新对象数据,因此,存储控制器125将更新数据存储在作为存储更新数据的地点之确保的存储区域内。

之后,微处理器101判断高速缓冲存储模块126的空闲容量等(781),并与来自服务器3写入请求不同步地,执行将写入存储部21内的高速缓冲存储模块126内之更新数据记录到硬盘群2内的处理。具体而言,微处理器101访问存储部21内的控制存储模块127,并根据存储区域的管理信息,推导出连接存储更新数据的硬盘群2的接口部10(以下称为“更新目的接口部10”(782)。之后,微处理器101把为了从高速缓冲存储模块126向更新目的接口部10内的外部IF 100传输更新数据所需要的信息,通过处理部81内的传输控制部105、开关部51和接口部10内的传输控制部105,传送到更新目的接口部10内的存储模块123。

此后,微处理器101,为了从高速缓冲存储模块126中读出更新数据,并将其传送给更新目的接口部10的外部IF 100,而向更新目的接口部10进行指示。接受了指示的更新目的接口部10内的外部IF 100,从自接口部10内的存储模块123的规定位置读出更新数据的传输中必需的信息。以读出的信息为基础,更新目的接口部10内的外部IF 100对存储部21内的存储控制器125进行指示,使从高速缓冲存储模块126中读出更新数据,并通过更新目的接口部10内的传输控制部105,将该更新数据从存储控制器125传送到外部IF 100。

接受了指示的存储控制器125,将更新数据传送给更新目的接口部10的外部IF 100(783)。接收了更新数据的外部IF 100将更新数据写入硬盘群2(784)。如上所述,对于来自服务器3的数据写入请求,存储系统1将数据写入高速缓冲存储模块,并将数据写入硬盘群2。

在本实施例中表示的存储系统1中,管理终端65连接在存储系统1内,由管理终端65来执行系统结构信息的设置、系统的开始/停止之控制、系统内各部分的利用率、运行状况、障碍信息的收集、产生障碍时的障碍部分的闭塞/交换处理、控制程序的更新等。这里,系统的结构信息、利用率、运行状况、障碍信息存储于存储部21的控制存储模块127内。在存储系统1内设置了内部LAN(局域网)91。各处理部81具有LAN接口,管理状断65和各处理部81通过内部LAN 91而连接。管理终端65经由内部LAN 91来访问各处理部81,并执行上述各种处理。

图14和15图示了将本实施例所示结构的存储系统1安装到外壳上之情况下的结构例子。

构成存储系统1的框架的外壳,具有电源单元底座823、控制单元底座821、以及盘单元底座822。在这些底座上装填有上述各部分。在控制单元底座821的一面上,设置了印刷有连接在接口部10、开关部51、处理部81以及存储部21之间的信号线之背板831(图15)。背板831由在各层上印刷了信号线的多层基板构成。背板831具有连接了IF封装801、SW封装802、存储封装803、或处理器封装804的连接器911。为了连接到连接各封装的连接器911内的规定端子上,印刷了封装831上的信号线。另外,用于供给各封装的电源的电源用信号线印刷在背板831上。

IF封装801由在各层上印刷信号线的多层电路基板构成。IF封装801具有用于连接到背板831上的连接器912。在IF封装801的电路基板上,印刷有图8所示的接口部10的结构中之外部IF 100和传输控制部105间的信号线、将把存储模块123和传输控制部105间的信号线以及传输控制部105连接到开关51上之信号线连接至连接器912的信号线。另外,在IF封装801的电路基板上,按照电路基板上的布线来安装完成外部IF100的作用之外部IF-LSI 901、完成传输控制部105之作用的传输控制LSI 902、以及构成存储模块123的多个存储器LSI 903。

另外,在IF封装801的电路基板上,还印刷了用于驱动外部IF-LSI901、传输控制LSI 902以及存储器LSI 903的电源以及时钟用的信号线。IF封装801,具有用于将电缆920连接到IF封装801上的连接器913;其中,电缆920用于连接服务器3或硬盘群2和外部IF-LSI 901。在电路基板上印刷有连接器913和外部IF-LSI 901间的信号线。

SW封装802、存储封装803以及处理器封装804也是基本上与IF封装801相同的结构。即,具体而言,在电路基板上安装实现上述各部分效果的LSI,并在电路基板上印刷连接其间的信号线。但是,其他封装,不具有IF封装801具有的连接器913以及用于与其相连的信号线。

控制单元底座821上设置了盘单元底座822,用于装填安装了硬盘驱动器的硬盘单元811。盘单元底座822具有背板832,用于连接硬盘单元811和硬盘单元底座。盘单元811和背板832具有用于连接两者的连接器。与背板831相同,背板832由各层印刷了信号线的多层基板构成。另外,背板832具有连接器,用于连接连接至IF封装801上的电缆920。在背板832上,印刷有连接该连接器和盘单元811的连接器之间的信号线以及供电用的信号线。

也可以设置连接电缆920的专用封装,并将该封装连接到设置在背板832上的连接器上。

在控制单元底座821下,设置了电源单元底座823,其中收纳了向存储系统1的全体供电的电源单元和电池单元。

于是,将这些底座收纳于19英寸的(图中未示的)架子内。另外,底座的配置关系并不仅仅限制在图示的例子,例如,也可以在外壳的顶上装填电源单元底座。

存储系统1也可能是没有硬盘群2的结构。这种情况,通过IF封装801中设置的连接电缆920,来连接存在于与存储系统1不同位置上的硬盘群2或其他存储系统1和存储系统1。在这种情况下,将硬盘群2收纳于盘单元底座822内,将盘单元底座822收纳于盘单元底座专用的19英寸的架子中。另外,存储系统1具有硬盘群2,还进一步存在与其他存储系统1相连的情况。这种情况下,存储系统1和其他存储系统1也是通过IF封装801内设置的连接电缆920而相互连接。

在上述内容中,尽管是对将接口部10、处理部81、存储部21以及开关部分分别安装于各个封装内的情况进行的说明,但是,例如,也可以汇集开关部51、处理部81以及存储部21,将其安装于1个封装内。也可以汇集所有的接口部10、开关部51、处理部81以及存储部21,并将它们安装于1个封装内。这样的情况下,改变了封装的大小,与此相应,还必需改变图8所示的控制单元底座821的宽度、高度。在图14中,尽管以使封装与底面垂直的形式,安装到控制单元底座821上,但也可以是使封装与底面平行的方式来安装到控制单元底座821上。可以任意决定是否将上述的接口部10、处理部81、存储部21以及开关部51内的任何组合安装到1个封装内,上述安装组合仅是一个例子。

控制单元底座821内可安装的封装数是由控制单元底座821的宽度和各封装的厚度物理决定的。另一方面,从图2所示的结构中可以看出,由于存储系统1是通过开关部51而使得接口部10、处理部81和存储部21相互连接的结构,因此,可以自由设置与请求的系统规模、服务器连接数目、硬盘连接数目、以及性能相应的各部分的数目。因此,共用与图14所示的IF封装801、存储器封装803以及处理器封装804中设置的背板831的连接器,另外,通过预定搭载的SW封装802的个数、以及连接SW封装802的背板831上连接器,以从控制单元底座821上可装载的封装个数中扣除了搭载的SW封装的个数之数作为上限,可以自由选择安装的IF封装801、存储封装803以及处理封装804的个数。通过这样,可以按照用户请求的系统规模、服务器连接数目、硬盘连接数目、以及性能,来结构灵活地构成存储系统1。

在本实施例中,其特征在于,从图20所示的已有技术的信道IF部11和盘IF部16中,分离出微处理器103作为处理部81独立。如此,可以提供这样一种存储系统,其可以与服务器3或是硬盘群2的连接接口数目的增减无关地增减微处理器数,并可以对应于所谓服务器3或硬盘群2的连接数或系统性能的用户请求的灵活的结构。

另外,在本实施例中,在数据读取或写入时,由图1所示的处理部81内的1个微处理器101统一处理由信道IF部11内的微处理器103执行的处理,以及由盘IF部16内的微处理器103执行的处理。由此,可以削减曾在已有技术中必需的、接替信道IF部和盘IF部的各个微处理器103之间的处理的费用。

也可以利用处理部81的2个微处理器101、或从不同的各个处理部81中各选择一个选出的2个微处理器101,其中一方的微处理器101执行与服务器3的接口部10侧的处理,另一方执行与硬盘群2的接口部10侧的处理。

在与服务器3的接口侧的处理负载要比与硬盘群2的接口侧的处理负载大的情况下,能够对前者的处理分配更多的微处理器101的处理量(例如处理器数、一个处理器的占有率等)。在负载的大小相反的情况下,可以对后者的处理分配更多的微处理器101的处理量。因此,根据存储系统内的各处理的负载的大小,能够灵活地分配微处理器的处理量(资源)。

图5图示了第2实施例的结构例。

存储系统1具有通过相互结合网31而使多个群70-1~70-n相互连接的结构。一个群70汇总具有若干连接服务器3或硬盘群2的接口部10、存储部21以及处理部81和相互结合网31的一部分。一个群70具有的各部件的数目任意。各群70的接口部10、存储部21和处理部81连接在相互结合网31上。因此,各群70的各部分,能够通过相互结合网31而执行与其他群70的各部分互送数据包。另外,各群70也可以具有硬盘群2。因此,在一个存储系统1中,也有包含硬盘群2的群70和不包含硬盘群2的群70混杂在一起的情况。另外,也有所有的群70都有硬盘群2的情况。

图6图示了相互结合网31的具体的结构例子。

相互结合网31具有4个开关部51和与其相连的通信通路。这些开关51分别设置在各个群70内。存储系统1具有2个群70。1个群70具有4个接口部10、2个处理部81以及存储部21。如上所述,1个群70中,包含作为相互结合网31的开关51中的2个。

接口部10、处理部81以及存储部21,通过每条通信通路而连接有包含各部的群70内的2个开关部51。由此,在接口部10、处理部81以及存储部21之间,确保2条通信通路,能够提高可靠度。

为了连接群70-1和群70-2,1个群70内的1个开关部51分别通过1条通信通路而连接另一个群70内的2个开关。由此,即便在一个开关部51出现故障或开关部51间的通信通路出现故障时,也能实现跨群的访问,能够提高可靠性。

图7图示了存储系统1内的群间连接的不同形式的例子。如图7所示,利用群间连接专用的开关部55来连接在各群70间。在这种情况下,群70-1~3的各开关部51分别通过1条通信通路而连接到2个开关部55上。由此,即便在一个开关部55出现故障、或开关部分51-开关部55间的通信通路出现故障时,也能实现跨群访问,能够提高可靠性。

在这种情况下,与图6的结构相比,能够增加群的连接数目。即,开关部51上可连接的通信通路的数目在物理上有上限。但是,通过将专用开关部55用于群间连接,与图6的结构相比,能够增大群的连接数。

在本实施例的结构中,其特征也在于,在图20所示的已有技术中,从信道IF部11以及盘IF部16中分离出微处理器103,使其独立于处理部81内。通过这样做,能够提供具有这样一种灵活结构的存储系统:可与服务器3或硬盘群2的连接接口数目的增减无关地增减微处理器的数目,并可灵活地响应服务器3或硬盘群2的连接数或系统性能这样的用户请求。

在本实施例中,也执行与第1实施例相同的数据的读和写处理。因此,在本实施例中,在数据的读或写时,由图1所示的处理部81内的1个微处理器101统一处理由信道IF部11内的微处理器103执行的处理,和由盘IF部16内的微处理器103执行的处理。通过这样做,能够削减曾在已有技术中为必需的接替信道IF部和盘IF部各个微处理器103之间的处理的费用。

另外,在本实施例中,在执行数据的读或写的情况下,存在执行从连接在一个群70上的服务器3向其他群70具有的硬盘群2(或者连接在其他群70上的存储系统)的数据读或写的情况。即便在这种情况下,也可以执行在第1实施例中说明过的读和写处理。这种情况下,将各个群70所具有的存储部21的存储空间作为存储系统1整体中的一个逻辑存储空间,由此,一个群的处理部81等能够得到用于访问其他群70的存储部21等的信息。另外,一个群的处理部81能够对于其他群具有的接口10指示数据的传输。

存储系统1为了使由各群上连接的硬盘群2构成的卷(volume)为所有处理部所共用,而由1个存储空间进行管理。

即便在本实施例中,也与第1实施例相同,将管理终端65连接在存储系统1内,从管理终端65执行系统的结构信息的设置、系统的开始/停止的控制、系统内各部分的利用率、运行状况、故障信息的收集、出现故障时的故障部位的闭塞/交换处理、控制程序的更新等。这里,系统的结构信息、利用率、运行状况、故障信息都存储在存储部21的控制存储模块127内。在本实施例的情况下,由于利用了多个群70来构成存储系统1,因此,为每个群70设置了具有辅助处理器的板(辅助处理部85)。辅助处理部85将管理终端65的指示传给各处理部81,收集来自各处理部85的信息,并完成将其传送给管理终端65的任务。通过内部LAN 92来连接管理终端65和辅助处理部85。于是,在群70内设置内部LAN 91,各处理部81具有LAN接口,辅助处理部85和各处理部81通过内部LAN91相连。管理终端65通过辅助处理部85而对各个处理部81进行访问,以执行上述各种处理。另外,也可以不通过服务处理器,而通过LAN等直接将处理部81和管理终端65连接在一起。

图17是存储系统1的本实施例的再一个变形例。如图17所示,在连接服务器3或硬盘群2的接口部10上,连接有其他存储系统4。这种情况下,存储系统1,在连接其他存储系统4的接口部10所属的群70内的控制存储模块127以及高速缓冲存储模块126中,存储了其他存储系统4提供的存储区域(以下称为“卷”)之信息以及其他存储系统4内存储的(或读出的)数据。

连接其他存储系统4的群70内的微处理器101,基于控制存储模块127内存储的信息,来管理其他存储系统4提供的卷。例如,微处理器101,将其他存储系统4提供的卷作为存储系统1提供的卷,分配给服务器3。由此,服务器3可通过存储系统1,访问其他存储服务器4的卷。

这种情况下,存储系统1统一管理由自己具有的硬盘群2构成的卷和其他存储系统4提供的卷。

在图17中,存储系统1,将表示哪个接口部10上连接了哪个服务器3的表存储于存储部21内的控制存储模块127内。于是,同一群70内的微处理器101管理该表。具体而言,在追加变更了服务器3和主IF 100的连接关系等情况下,微处理器101改变上述表的内容(更新、追加或消除)。由此,可以进行存储系统1上连接的多个服务器3之间的、以存储系统1为媒介的通信以及数据传输。这一点,在第一实施例中也可以同样实现。

另外,在图17中,接口部10上连接的服务器3执行与存储系统4之间的数据传输时,存储系统1通过相互结合网31,在服务器3连接的接口部10和存储系统4连接的接口部10之间,执行数据传输。此时,存储系统1也可以将所传输的数据高速缓冲存储在存储部21内的高速缓冲存储模块126内。由此,提高服务器3和存储系统4之间的数据传输性能。

另外,在本实施例中,也考虑了这样一种结构:如图18所示,通过开关65,在存储系统1和服务器3和其他存储系统4之间的进行连接的结构。这种情况下,服务器3,通过接口部10内的外部IF 100以及开关65,对服务器3和其他存储系统4进行访问。通过这样做,可以从连接在存储系统1上的服务器3,对连接在由开关65和多个开关65构成的网络上的服务器3或其他存储系统4进行访问。

图19图示了将图6所示结构的存储系统1安装于外壳内的情况下之结构例。

安装的结构基本上与图14的安装结构相同。即,将接口部10、处理部81、存储部21以及开关部51安装于封装内,并连接在控制单元底座821内的背板831上。

在图6的结构中,将接口部10、处理部81、存储部21以及开关部51作为群70而被分组。因此,为每个群70准备1个控制单元底座821。一个群70内的各部被安装在一个控制单元底座821上。即,将不同的群70的封装安装于不同的控制单元底座821上。另外,为了群70间的连接,如图19所示,在安装于不同的控制单元底座的SW封装802之间,通过电缆921来连接。这种情况下,如图19所示的IF封装801相同,在SW封装802上安装了电缆921连接用的连接器。

安装于1个控制单元底座821上的群的数目,也可以不是1个。例如,安装于1个控制单元底座821上的群数目也可以是2。

在实施例1和2的结构的存储系统1中,由接口部10接收的指令的分析是由处理部81执行的。但是,按照在服务器3和存储系统1之间互送的指令之协议有多种多样,利用普通的协议来执行所有的协议分析处理是不现实的。这里,所谓协议,有例如是使用文件命的文件I/O(输入/输出)协议、iSCSI(互联网小型计算机系统接口)协议、使用大型计算机(主机)作为服务器时的协议(信道指令字:CCW)等。

因此,在本实施例中,将高速处理这些协议的专用处理器追加到实施例1和2的所有或一部分接口部10上。图13是一张图,它表示在传输控制部105上连接的微处理器102的接口部10(以下将该接口部10称为“应用控制部19”)的一个例子。

本实施例的存储系统1,具有应用控制部19,以替代实施例1和2的存储系统1所具有的所有或一部分接口部10。应用控制部19与相互结合网31相连。这里,应用控制部19具有的外部IF 100,成为专用于接收遵循应用控制部19的微处理器102所处理之协议的指令之外部IF。但是,也可以是利用1个外部IF 100,来接收按照不同协议的多个指令的结构。

微处理器102与外部IF 100联动地执行协议转换处理。具体而言,在应用控制部19接受了来自于服务器3的访问请求的情况下,微处理器102执行将外部IF接收的指令的协议转换成内部数据传输用协议的转换处理。

也可以不准备专用的应用控制部19,而考虑使用这样一种结构:原样不动地使用接口部10,将处理部81内的微处理器101中的一个作为协议处理专用的处理器。

本实施例中的数据的读和写处理,与第1实施例相同地执行。但是,在第1实施例中,接收指令的接口部10不分析指令,而将该指令传送给处理部81,但是在本实施例中,在应用控制部19中,执行指令的分析处理。然后,应用控制部19将其分析结果(指令内容、数据的接受者等)传送给处理部81。处理部81基于分析信息,执行存储系统1内的数据传输控制。

另外,作为本发明的其他实施方式,还考虑了以下结构。具体而言,具有:多个接口部,具有与计算机或盘装置的接口;多个存储部,具有高速缓冲存储器和控制存储器,其中,高速缓冲存储器用于存储与计算机或盘装置之间的读/写数据,而控制存储器用于存储系统的控制信息;以及,多个处理部,具有控制与计算机和盘装置之间的数据读/写的微处理器。多个接口部、多个存储部以及多个处理部通过由至少一个开关部构成的相互结合网而彼此连接,是通过相互结合网,在多个接口部、多个存储部、以及多个处理部之间执行数据或控制信息的收发之存储系统。

于是,在本结构中,接口部分、存储部、以及处理部,具有控制数据或控制信息的收发之传输控制部。在本结构中,接口部安装于第1电路基板上,存储部安装于第2电路基板上,处理部安装于第3电路基板上,至少一个开关部安装于第4电路基板上。另外,在本结构中,印刷有连接在第1-4的电路基板间的信号线,并具有包含用于将所述第1-4的电路基板连接到印刷的信号线上之第1连接器的至少1个背板。另外,在本结构中,第1-4电路基板具有用于连接到所述背板的第1连接器上的第2连接器。

此外,在上述实施例中,设能够连接到背板上的电路基板的总数为n,预定第4电路基板的数目以及连接位置,在1-4的电路基板总数没有超过n的情况下,也可以自由选择连接到背板上的所述第1、第2、以及第3电路基板上各自的数目。

作为本发明的另一个实施例,还考虑了以下结构。具体而言,提供了一种具有多个群的存储系统,这些群包含:多个接口部,包含与计算机或盘装置的接口;包含高速缓冲存储器和控制存储器的多个存储部,其中,高速缓冲存储器用于存储与计算机或盘装置之间的读/写数据,控制存储器用于存储系统的控制信息;以及多个处理部,包含具有用于控制计算机和盘装置之间的数据读/写的微处理器。

在本结构中,各群具有的多个接口部、多个存储部以及多个处理部之间,通过由多个开关部构成的相互结合网跨多个群而相互连接。由此,通过相互结合网,在各群之间,在多个接口部、多个存储部以及多个处理部之间执行数据或控制信息的收发。另外,在本结构中,接口部、存储部以及处理部,分别具有用于控制与各个开关相连的、数据或控制信息的收发的传输控制部。

另外,在本结构中,接口部安装于第1电路基板上,存储部安装于第2电路基板上,处理部安装于第3电路基板上,至少一个开关部安装于第4电路基板上。于是,在本结构中,印刷有连接第1-4电路基板间的信号线,并具有多个背板,该背板包含用来将第1-4电路基板连接在印刷的信号线上的第1连接器;还具有第2连接器,用于将第1-4电路基板连接到所述背板的第1连接器上。在本结构中,群由连接第1-4电路基板的背板构成。另外,也可以是群数和背板数目相等的结构。

再有,在本结构中,第4电路基板具有用来连接电缆的第3连接器,连接第3连接器和开关部的信号线配置在第4基板上。通过这样做,群间是通过电缆连接第3连接器间,从而得以连接。

再有,作为本发明的另一实施例,还考虑了以下结构。具体而言,本实施例是一种存储系统,它具有:接口部,包含与计算机或盘装置的接口;包含高速缓冲存储器和控制存储器的存储部,其中,高速缓冲存储器用于存储与计算机或盘装置之间的读/写数据,控制存储器用于存储系统的控制信息;以及处理部,包含具有用于控制计算机和盘装置之间的数据读/写的微处理器,接口部、存储部和处理部之间通过由至少一个开关部构成的相互结合网而相互连接,通过相互结合网,在多个接口部、多个存储部以及多个处理部之间执行数据或控制信息的收发。在本结构中,通过相互结合网,在接口部、存储部以及处理部之间,执行数据或控制信息的收发。

在本结构中,接口部安装于第1电路基板上,存储部、处理部和开关部安装于第5电路基板上。于是,在本结构中,印刷有连接在第1和第5电路基板间的信号线,本结构具有至少一个背板,它具有用于将第1和第5电路基板连接到印刷信号线上的第4连接器;本结构还具有第5连接器,用于将第1和第5电路基板连接到背板的第4连接器上。

再者,作为本发明的又一个实施例,考虑了以下结构。具体而言,本实施例是一种存储系统,包含:接口部,包含与计算机或盘装置的接口;包含高速缓冲存储器和控制存储器的存储部,其中,高速缓冲存储器用于存储与计算机或盘装置之间的读/写数据,控制存储器用于存储系统的控制信息;以及处理部,包含具有用于控制计算机和盘装置之间的数据读/写的微处理器,接口部、存储部和处理部之间通过由至少一个开关部构成的相互结合网而相互连接。在本结构中,接口部、存储部、处理部以及开关部安装于第6电路基板上。

根据本发明,能够提供一种存储系统,它具有可以灵活响应针对服务器连接数、硬盘连接数、系统性能的用户请求的结构。在解除了存储系统的共有存储器瓶颈的同时,还能提供这样一种存储系统:谋求小规模结构的低成本化,可实现从小规模到大规模结构下成本和性能的可扩缩性。

Claims (8)

1.一种存储系统,包含:多个接口部,具有:分别与计算机或盘装置相连的一个以上的接口和控制该计算机或盘装置与存储部之间的数据传送的控制部;包括至少具有与计算机连接的多个第一接口部及与具有多个盘装置的盘装置部连接的第二接口部;存储部,具有用于存储从各个接口部接收的数据的高速缓冲存储模块和控制与各个接口部之间的数据传送的控制部;处理部,控制所述存储部与各个接口部之间的数据的发送与接收;以及盘装置部,具有多个盘装置,与所述第二接口部连接,通过所述处理部的控制来存储从所述第二接口部接收的数据;所述多个接口部、所述存储部以及所述处理部安装在各个不同的电路基板上,通过相互结合网进行连接;安装了接口部的电路基板、安装了存储部的电路基板以及安装了处理部的电路基板通过各个不同的连接器与第一背板连接;所述第一背板具有能够与安装了接口部的电路基板、安装了存储部的电路基板以及安装了处理部的电路基板的任一个电路基板连接的多个连接器,通过在连接器上连接的电路基板使安装了接口部的电路基板与安装了处理部的电路基板能相互独立地增设;所述盘装置部连接在与所述第二接口部连接的第二背板;所述处理部通过所述第一背板从任一个第一接口部接收写指令时,基于该写指令控制从所述第一接口部向与写数据存储处的盘装置部连接的第二接口部的所述写数据的传送,所述第二接口部将从所述存储部接收的写数据存储在盘装置中。
2.根据权利要求1所述的存储系统,其特征在于所述存储部还包括控制存储模块,用于存储由所述处理器部参照的控制信息。
3.根据权利要求2所述的存储系统,其特征在于:所述微处理器从任一个第一接口部接收写指令的情况下,参照存储在所述存储部所具有的所述控制存储模块中的控制信息,确保基于所述写指令存储接收的写数据的所述高速缓冲存储模块的存储区域,将所述高速缓冲存储器上确保的所述存储区域的位置通知所述第一接口,并指示将所述写数据存储在该存储区域,进而指示与所述写数据存储处的盘装置部连接的第二接口部从该存储区域读出所述写数据并存储在所述盘装置部内的盘装置中。
4.根据权利要求2所述的存储系统,其特征在于:在所述处理部从任一个第一接口部接收读指令的情况下,基于该读指令,参照所述存储部具有的所述控制存储模块中的控制信息,确认所述存储部具有的所述高速缓冲存储模块中是否存储了读对象的数据,在所述数据存储在所述高速缓冲存储模块中的情况下,通知所述第一接口部存储了所述数据的所述高速缓冲存储模块的存储位置,并指示从所述高速缓冲存储模块读出的所述数据,发送给计算机。
5.根据权利要求4所述的存储系统,其特征在于:在所述数据没有存储在所述高速缓冲存储模块中的情况下,所述处理部确保所述高速缓冲存储模块的存储区域,指定与所述数据的存储处的盘装置部连接的第二接口部将确保的所述高速缓冲存储模块的存储区域通知所述第二接口部,并指示将所述数据传送给所述存储区域,进而指示所述第一接口部从所述高速缓冲存储模块的所述存储区域读出所述数据,发送给计算机。
6.根据权利要求1所述的存储系统,其特征在于:所述处理部具有多个处理器,每个处理器执行所述第一接口部或所述第二接口部的任一个接口部的处理,根据所述第一接口部和所述第二接口部的处理负荷决定由哪一个处理器对哪一个接口部执行处理。
7.根据权利要求1所述的存储系统,其特征在于:所述多个接口部、所述处理部分别通过与所述第一背板连接的开关与其它存储系统的接口部、存储部和处理部连接。
8.根据权利要求7所述的存储系统,其特征在于:在所述写数据存储在与所述其它存储系统具有的第二接口部连接的盘装置部的情况下,所述处理部控制从所述存储部向存储系统具有的第二接口部的所述写数据的传送。
CN 200410042397 2004-02-10 2004-05-28 存储系统 CN1312569C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004032810A JP4441286B2 (ja) 2004-02-10 2004-02-10 ストレージシステム

Publications (2)

Publication Number Publication Date
CN1655111A true CN1655111A (zh) 2005-08-17
CN1312569C true CN1312569C (zh) 2007-04-25

Family

ID=32653075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200410042397 CN1312569C (zh) 2004-02-10 2004-05-28 存储系统

Country Status (6)

Country Link
US (3) US20050177670A1 (zh)
JP (1) JP4441286B2 (zh)
CN (1) CN1312569C (zh)
DE (1) DE102004024130B4 (zh)
FR (2) FR2866132B1 (zh)
GB (1) GB2411021B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8336040B2 (en) 2004-04-15 2012-12-18 Raytheon Company System and method for topology-aware job scheduling and backfilling in an HPC environment
US9178784B2 (en) 2004-04-15 2015-11-03 Raytheon Company System and method for cluster management based on HPC architecture
US8335909B2 (en) 2004-04-15 2012-12-18 Raytheon Company Coupling processors to each other for high performance computing (HPC)
US7958292B2 (en) * 2004-06-23 2011-06-07 Marvell World Trade Ltd. Disk drive system on chip with integrated buffer memory and support for host memory access
DE112007001566B4 (de) * 2006-06-23 2014-11-20 Mitsubishi Electric Corp. Steuervorrichtung
US20080101395A1 (en) * 2006-10-30 2008-05-01 Raytheon Company System and Method for Networking Computer Clusters
JP2008204041A (ja) 2007-02-19 2008-09-04 Hitachi Ltd ストレージ装置及びデータ配置制御方法
US7904582B2 (en) 2007-08-27 2011-03-08 Alaxala Networks Corporation Network relay apparatus
JP5445138B2 (ja) * 2007-12-28 2014-03-19 日本電気株式会社 データ分散格納方法およびデータ分散格納システム
US8375395B2 (en) * 2008-01-03 2013-02-12 L3 Communications Integrated Systems, L.P. Switch-based parallel distributed cache architecture for memory access on reconfigurable computing platforms
EP2107464A1 (en) * 2008-01-23 2009-10-07 Comptel Corporation Convergent mediation system with dynamic resource allocation
DK2083532T3 (da) 2008-01-23 2014-02-10 Comptel Corp Konvergerende formidlingssystem med forbedret dataoverføring
US7921228B2 (en) * 2008-09-08 2011-04-05 Broadrack Technology Corp. Modularized electronic switching controller assembly for computer
JP2010092243A (ja) 2008-10-07 2010-04-22 Hitachi Ltd 複数のストレージモジュールで構成されたストレージシステム
JP5035230B2 (ja) * 2008-12-22 2012-09-26 富士通株式会社 ディスク搭載機構及びストレージ装置
US20130212210A1 (en) * 2012-02-10 2013-08-15 General Electric Company Rule engine manager in memory data transfers
CN104348889A (zh) * 2013-08-09 2015-02-11 鸿富锦精密工业(深圳)有限公司 切换开关及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988003679A2 (en) * 1986-11-07 1988-05-19 Nighthawk Electronics Ltd. Data buffer/switch
US6385681B1 (en) * 1998-09-18 2002-05-07 Hitachi, Ltd. Disk array control device with two different internal connection systems
US6542961B1 (en) * 1998-12-22 2003-04-01 Hitachi, Ltd. Disk storage system including a switch
US20030131192A1 (en) * 2002-01-10 2003-07-10 Hitachi, Ltd. Clustering disk controller, its disk control unit and load balancing method of the unit
US20030182516A1 (en) * 2002-03-20 2003-09-25 Hitachi, Ltd. Storage system, disk control cluster, and its increase method

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4228496A (en) * 1976-09-07 1980-10-14 Tandem Computers Incorporated Multiprocessor system
NL8004884A (nl) * 1979-10-18 1981-04-22 Storage Technology Corp Virtueel stelsel en werkwijze voor het opslaan van gegevens.
US5249279A (en) * 1989-11-03 1993-09-28 Compaq Computer Corporation Method for controlling disk array operations by receiving logical disk requests and translating the requests to multiple physical disk specific commands
US5206943A (en) * 1989-11-03 1993-04-27 Compaq Computer Corporation Disk array controller with parity capabilities
US6728832B2 (en) * 1990-02-26 2004-04-27 Hitachi, Ltd. Distribution of I/O requests across multiple disk units
US5680574A (en) * 1990-02-26 1997-10-21 Hitachi, Ltd. Data distribution utilizing a master disk unit for fetching and for writing to remaining disk units
US5140592A (en) * 1990-03-02 1992-08-18 Sf2 Corporation Disk array system
US5201053A (en) * 1990-08-31 1993-04-06 International Business Machines Corporation Dynamic polling of devices for nonsynchronous channel connection
US5440752A (en) * 1991-07-08 1995-08-08 Seiko Epson Corporation Microprocessor architecture with a switch network for data transfer between cache, memory port, and IOU
US5257391A (en) * 1991-08-16 1993-10-26 Ncr Corporation Disk controller having host interface and bus switches for selecting buffer and drive busses respectively based on configuration control signals
US5740465A (en) * 1992-04-08 1998-04-14 Hitachi, Ltd. Array disk controller for grouping host commands into a single virtual host command
JP3264465B2 (ja) * 1993-06-30 2002-03-11 株式会社日立製作所 記憶システム
US5511227A (en) * 1993-09-30 1996-04-23 Dell Usa, L.P. Method for configuring a composite drive for a disk drive array controller
US5574950A (en) * 1994-03-01 1996-11-12 International Business Machines Corporation Remote data shadowing using a multimode interface to dynamically reconfigure control link-level and communication link-level
US5548788A (en) * 1994-10-27 1996-08-20 Emc Corporation Disk controller having host processor controls the time for transferring data to disk drive by modifying contents of the memory to indicate data is stored in the memory
US5729763A (en) * 1995-08-15 1998-03-17 Emc Corporation Data storage system
US5809224A (en) * 1995-10-13 1998-09-15 Compaq Computer Corporation On-line disk array reconfiguration
US5761534A (en) * 1996-05-20 1998-06-02 Cray Research, Inc. System for arbitrating packetized data from the network to the peripheral resources and prioritizing the dispatching of packets onto the network
US5949982A (en) * 1997-06-09 1999-09-07 International Business Machines Corporation Data processing system and method for implementing a switch protocol in a communication system
US6112276A (en) * 1997-10-10 2000-08-29 Signatec, Inc. Modular disk memory apparatus with high transfer rate
US6148349A (en) * 1998-02-06 2000-11-14 Ncr Corporation Dynamic and consistent naming of fabric attached storage by a file system on a compute node storing information mapping API system I/O calls for data objects with a globally unique identification
US5974058A (en) * 1998-03-16 1999-10-26 Storage Technology Corporation System and method for multiplexing serial links
US6108732A (en) * 1998-03-30 2000-08-22 Micron Electronics, Inc. Method for swapping, adding or removing a processor in an operating computer system
JP3657428B2 (ja) * 1998-04-27 2005-06-08 株式会社日立製作所 記憶制御装置
US6014319A (en) * 1998-05-21 2000-01-11 International Business Machines Corporation Multi-part concurrently maintainable electronic circuit card assembly
US6260120B1 (en) * 1998-06-29 2001-07-10 Emc Corporation Storage mapping and partitioning among multiple host processors in the presence of login state changes and host controller replacement
US6424659B2 (en) * 1998-07-17 2002-07-23 Network Equipment Technologies, Inc. Multi-layer switching apparatus and method
US6711632B1 (en) * 1998-08-11 2004-03-23 Ncr Corporation Method and apparatus for write-back caching with minimal interrupts
US6877061B2 (en) * 2000-03-31 2005-04-05 Emc Corporation Data storage system having dummy printed circuit boards
JP4400895B2 (ja) * 1999-01-07 2010-01-20 株式会社日立製作所 ディスクアレイ制御装置
JP4294142B2 (ja) * 1999-02-02 2009-07-08 株式会社日立製作所 ディスクサブシステム
US6370605B1 (en) * 1999-03-04 2002-04-09 Sun Microsystems, Inc. Switch based scalable performance storage architecture
US6363452B1 (en) * 1999-03-29 2002-03-26 Sun Microsystems, Inc. Method and apparatus for adding and removing components without powering down computer system
US6330626B1 (en) * 1999-05-05 2001-12-11 Qlogic Corporation Systems and methods for a disk controller memory architecture
US6401149B1 (en) * 1999-05-05 2002-06-04 Qlogic Corporation Methods for context switching within a disk controller
US6542951B1 (en) * 1999-08-04 2003-04-01 Gateway, Inc. Information handling system having integrated internal scalable storage system
US6343324B1 (en) * 1999-09-13 2002-01-29 International Business Machines Corporation Method and system for controlling access share storage devices in a network environment by configuring host-to-volume mapping data structures in the controller memory for granting and denying access to the devices
JP4061563B2 (ja) * 1999-09-16 2008-03-19 松下電器産業株式会社 磁気ディスク装置、磁気ディスク装置のディスクアクセス方法、及び磁気ディスク装置用ディスクアクセス制御プログラム記録媒体
US6772108B1 (en) * 1999-09-22 2004-08-03 Netcell Corp. Raid controller system and method with ATA emulation host interface
US6581137B1 (en) * 1999-09-29 2003-06-17 Emc Corporation Data storage system
CN1129072C (zh) * 1999-10-27 2003-11-26 盖内蒂克瓦尔有限公司 具有可配置数据/地址通道结构的数据处理系统
US6604155B1 (en) * 1999-11-09 2003-08-05 Sun Microsystems, Inc. Storage architecture employing a transfer node to achieve scalable performance
US6834326B1 (en) * 2000-02-04 2004-12-21 3Com Corporation RAID method and device with network protocol between controller and storage devices
JP3696515B2 (ja) * 2000-03-02 2005-09-21 株式会社ソニー・コンピュータエンタテインメント カーネル機能実現構造及びそれを備えたエンタテインメント装置、カーネルによる周辺ディバイスの制御方法
US6651130B1 (en) * 2000-04-28 2003-11-18 Emc Corporation Data storage system having separate data transfer section and message network with bus arbitration
US6611879B1 (en) * 2000-04-28 2003-08-26 Emc Corporation Data storage system having separate data transfer section and message network with trace buffer
US6779071B1 (en) * 2000-04-28 2004-08-17 Emc Corporation Data storage system having separate data transfer section and message network with status register
US6816916B1 (en) * 2000-06-29 2004-11-09 Emc Corporation Data storage system having multi-cast/unicast
US6820171B1 (en) * 2000-06-30 2004-11-16 Lsi Logic Corporation Methods and structures for an extensible RAID storage architecture
US6631433B1 (en) * 2000-09-27 2003-10-07 Emc Corporation Bus arbiter for a data storage system
US6901468B1 (en) * 2000-09-27 2005-05-31 Emc Corporation Data storage system having separate data transfer section and message network having bus arbitration
US6684268B1 (en) * 2000-09-27 2004-01-27 Emc Corporation Data storage system having separate data transfer section and message network having CPU bus selector
US6609164B1 (en) * 2000-10-05 2003-08-19 Emc Corporation Data storage system having separate data transfer section and message network with data pipe DMA
JP4068798B2 (ja) * 2000-10-31 2008-03-26 株式会社日立製作所 記憶サブシステム及びi/oインタフェースの制御方法ならびに情報処理システム
WO2002046888A2 (en) * 2000-11-06 2002-06-13 Broadcom Corporation Shared resource architecture for multichannel processing system
US20040204269A1 (en) * 2000-12-05 2004-10-14 Miro Juan Carlos Heatball
US6636933B1 (en) * 2000-12-21 2003-10-21 Emc Corporation Data storage system having crossbar switch with multi-staged routing
US7082502B2 (en) * 2001-05-15 2006-07-25 Cloudshield Technologies, Inc. Apparatus and method for interfacing with a high speed bi-directional network using a shared memory to store packet data
US7107337B2 (en) * 2001-06-07 2006-09-12 Emc Corporation Data storage system with integrated switching
CA2454033A1 (en) * 2001-07-18 2003-01-30 Simon Garry Moore Adjustable length golf putter with self locking design
JP2003084919A (ja) * 2001-09-06 2003-03-20 Hitachi Ltd ディスクアレイ装置の制御方法およびディスクアレイ装置
US7178147B2 (en) * 2001-09-21 2007-02-13 International Business Machines Corporation Method, system, and program for allocating processor resources to a first and second types of tasks
JP4721379B2 (ja) * 2001-09-26 2011-07-13 株式会社日立製作所 ストレージシステム、ディスク制御クラスタおよびディスク制御クラスタの増設方法
JP2003140837A (ja) * 2001-10-30 2003-05-16 Hitachi Ltd ディスクアレイ制御装置
US7380115B2 (en) * 2001-11-09 2008-05-27 Dot Hill Systems Corp. Transferring data using direct memory access
US7266823B2 (en) * 2002-02-21 2007-09-04 International Business Machines Corporation Apparatus and method of dynamically repartitioning a computer system in response to partition workloads
US7200715B2 (en) * 2002-03-21 2007-04-03 Network Appliance, Inc. Method for writing contiguous arrays of stripes in a RAID storage system using mapped block writes
US6868479B1 (en) * 2002-03-28 2005-03-15 Emc Corporation Data storage system having redundant service processors
US6813689B2 (en) * 2002-03-29 2004-11-02 Emc Corporation Communications architecture for a high throughput storage processor employing extensive I/O parallelization
US6792506B2 (en) * 2002-03-29 2004-09-14 Emc Corporation Memory architecture for a high throughput storage processor
US6877059B2 (en) * 2002-03-29 2005-04-05 Emc Corporation Communications architecture for a high throughput storage processor
US6865643B2 (en) * 2002-03-29 2005-03-08 Emc Corporation Communications architecture for a high throughput storage processor providing user data priority on shared channels
US7209979B2 (en) * 2002-03-29 2007-04-24 Emc Corporation Storage processor architecture for high throughput applications providing efficient user data channel loading
US6961788B2 (en) * 2002-04-26 2005-11-01 Hitachi, Ltd. Disk control device and control method therefor
JP4189171B2 (ja) * 2002-05-24 2008-12-03 株式会社日立製作所 ディスク制御装置
US6889301B1 (en) * 2002-06-18 2005-05-03 Emc Corporation Data storage system
JP2004110503A (ja) * 2002-09-19 2004-04-08 Hitachi Ltd 記憶制御装置、記憶システム、記憶制御装置の制御方法、チャネル制御部、及びプログラム
US6957303B2 (en) * 2002-11-26 2005-10-18 Hitachi, Ltd. System and managing method for cluster-type storage
JP2004192105A (ja) * 2002-12-09 2004-07-08 Hitachi Ltd 記憶装置の接続装置およびそれを含むコンピュータシステム
JP4352693B2 (ja) * 2002-12-10 2009-10-28 株式会社日立製作所 ディスクアレイ制御装置及びその制御方法
JP4107083B2 (ja) * 2002-12-27 2008-06-25 株式会社日立製作所 高可用ディスク制御装置とその障害処理方法及び高可用ディスクサブシステム
US7353321B2 (en) * 2003-01-13 2008-04-01 Sierra Logic Integrated-circuit implementation of a storage-shelf router and a path controller card for combined use in high-availability mass-storage-device shelves that may be incorporated within disk arrays
US6957288B2 (en) * 2003-02-19 2005-10-18 Dell Products L.P. Embedded control and monitoring of hard disk drives in an information handling system
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US7143306B2 (en) * 2003-03-31 2006-11-28 Emc Corporation Data storage system
US20040199719A1 (en) * 2003-04-04 2004-10-07 Network Appliance, Inc. Standalone newtork storage system enclosure including head and multiple disk drives connected to a passive backplane
WO2004092942A3 (en) * 2003-04-09 2005-05-26 Netcell Corp Method and apparatus for synchronizing data from asynchronous disk drive data transfers
US7676600B2 (en) * 2003-04-23 2010-03-09 Dot Hill Systems Corporation Network, storage appliance, and method for externalizing an internal I/O link between a server and a storage controller integrated within the storage appliance chassis
JP4462852B2 (ja) * 2003-06-23 2010-05-12 株式会社日立製作所 ストレージシステム及びストレージシステムの接続方法
US7114014B2 (en) * 2003-06-27 2006-09-26 Sun Microsystems, Inc. Method and system for data movement in data storage systems employing parcel-based data mapping
US7389364B2 (en) * 2003-07-22 2008-06-17 Micron Technology, Inc. Apparatus and method for direct memory access in a hub-based memory system
US7200695B2 (en) * 2003-09-15 2007-04-03 Intel Corporation Method, system, and program for processing packets utilizing descriptors
US7231492B2 (en) * 2003-09-30 2007-06-12 Emc Corporation Data transfer method wherein a sequence of messages update tag structures during a read data transfer
US7437425B2 (en) * 2003-09-30 2008-10-14 Emc Corporation Data storage system having shared resource
US7043603B2 (en) * 2003-10-07 2006-05-09 Hitachi, Ltd. Storage device control unit and method of controlling the same
JP4275504B2 (ja) * 2003-10-14 2009-06-10 株式会社日立製作所 データ転送方法
JP2005149082A (ja) * 2003-11-14 2005-06-09 Hitachi Ltd ストレージ制御装置、及びストレージ制御装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988003679A2 (en) * 1986-11-07 1988-05-19 Nighthawk Electronics Ltd. Data buffer/switch
US6385681B1 (en) * 1998-09-18 2002-05-07 Hitachi, Ltd. Disk array control device with two different internal connection systems
US6542961B1 (en) * 1998-12-22 2003-04-01 Hitachi, Ltd. Disk storage system including a switch
US20030131192A1 (en) * 2002-01-10 2003-07-10 Hitachi, Ltd. Clustering disk controller, its disk control unit and load balancing method of the unit
US20030182516A1 (en) * 2002-03-20 2003-09-25 Hitachi, Ltd. Storage system, disk control cluster, and its increase method

Also Published As

Publication number Publication date Type
DE102004024130A1 (de) 2005-09-01 application
FR2866132B1 (fr) 2008-07-18 grant
JP2005227807A (ja) 2005-08-25 application
FR2866132A1 (fr) 2005-08-12 application
DE102004024130B4 (de) 2009-02-26 grant
US20050177670A1 (en) 2005-08-11 application
GB2411021B (en) 2006-04-19 grant
US20050177681A1 (en) 2005-08-11 application
CN1655111A (zh) 2005-08-17 application
US20100153961A1 (en) 2010-06-17 application
GB0411105D0 (en) 2004-06-23 grant
GB2411021A (en) 2005-08-17 application
JP4441286B2 (ja) 2010-03-31 grant
FR2915594A1 (fr) 2008-10-31 application

Similar Documents

Publication Publication Date Title
US7103064B2 (en) Method and apparatus for shared I/O in a load/store fabric
US7502886B1 (en) Data storage device with two-tier raid control circuitry
US20070124407A1 (en) Systems and method for simple scale-out storage clusters
US6792505B2 (en) System apparatus and method for storage device controller-based message passing having effective data channel bandwidth and controller cache memory increase
US20060095705A1 (en) Systems and methods for data storage management
US20020080575A1 (en) Network switch-integrated high-density multi-server system
US20050186832A1 (en) Dual port serial advanced technology attachment (SATA) disk drive
US20030046460A1 (en) Disk array system and a method for controlling the disk array system
US20070180188A1 (en) Virtual path storage system and control method for the same
US8060775B1 (en) Method and apparatus for providing dynamic multi-pathing (DMP) for an asymmetric logical unit access (ALUA) based storage system
US6601138B2 (en) Apparatus system and method for N-way RAID controller having improved performance and fault tolerance
US20040257857A1 (en) Storage system that is connected to external storage
US20120166699A1 (en) Method and apparatus to provide a high availability solid state drive
US6385681B1 (en) Disk array control device with two different internal connection systems
US20020178143A1 (en) Storage system, a method of file data backup and method of copying of file data
US20070220204A1 (en) Computer system for controlling allocation of physical links and method thereof
US20040010662A1 (en) Disk subsystem
Wu et al. PVFS over InfiniBand: Design and performance evaluation
US6493811B1 (en) Intelligent controller accessed through addressable virtual space
US20040139365A1 (en) High-availability disk control device and failure processing method thereof and high-availability disk subsystem
US20040250019A1 (en) Storage system, controller, control method and program product therefor
US7269646B2 (en) Method for coupling storage devices of cluster storage
US20070083707A1 (en) Using OOB to provide communication in a computer storage system
US20030120476A1 (en) Interfaces for an open systems server providing tape drive emulation
US7069385B2 (en) Cluster-type storage system and managing method of the cluster-type storage system

Legal Events

Date Code Title Description
C06 Publication
C10 Request of examination as to substance
C14 Granted