CN1293456C

CN1293456C - 集群型存储系统

Info

Publication number: CN1293456C
Application number: CNB2004100453332A
Authority: CN
Inventors: 藤本和久; 细谷睦; 岛田健太郎; 山本彰; 岩见直子; 山本康友
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-11-21
Filing date: 2004-05-20
Publication date: 2007-01-03
Anticipated expiration: 2024-05-20
Also published as: CN1619478A; EP1533704A3; EP1533704A2; US20080270701A1; US7743211B2

Abstract

存储系统(1)包含：多个协议转换单元(10)，其将与服务器(3)或硬盘组(2)交换的数据的读/写协议转换成系统内的协议；多个高速缓存控制单元(21)，包含存储与服务器(3)或硬盘组(2)读/写的数据的缓冲存储器单元(111)并且包含控制缓冲存储器单元(111)的功能；和连接协议转换单元(10)与高速缓存控制单元(21)的互连网络(31)。在这个存储系统(1)中，多个高速缓存控制单元(21)被分成多个控制集群(70)，缓冲存储器单元(111)的控制在控制集群内是独立的，并且将多个协议转换单元(10)和多个控制集群(70)管理为单个系统的系统管理单元(60)连接到互连网络(30)。

Description

集群型存储系统

对相关专利申请的交叉引用

本专利申请基于2003年11月21日提交的在先日本专利申请2003-391620，并且根据该专利申请要求优先权，这里参考引用了该专利申请的全部内容。

技术领域

本发明涉及可从小规模扩展到大规模配置的存储系统，以及该存储系统的管理方法。

背景技术

由于IT系统对商业的渗入和因特网的发展导致的IT系统便携性在商业中的扩展，用于保存IT系统中处理的数据的存储系统已经在IT系统中起到了核心的作用。存在许多类型的存储系统，从小规模配置的系统到大规模配置的系统。

作为现有技术中提供小规模到大规模配置的主存储系统的一个例子，在JP-A-2000-99281中公开了例如图2所示的存储系统的体系结构。这个存储系统8配置有和计算机3(也称作″服务器″)执行数据传送的多个通道IF(接口)单元11，和硬盘组2执行数据传送的多个磁盘IF单元16，临时存储硬盘组2中存储的数据的高速缓冲存储器单元14，和存储涉及存储系统8的控制信息的控制存储器单元15(例如涉及存储系统8中的数据传送控制的信息和硬盘组2中存储的数据的管理信息)。互连网络41连接通道IF单元11，磁盘IF单元16和高速缓冲存储器单元14，而互连网络42连接通道IF单元11，磁盘IF单元16和控制存储器单元15。并且，由公共总线和交换机构造互连网络41和互连网络42。

通过这种方式，在单个存储系统8中，高速缓冲存储器单元14和控制存储器单元15具有可从所有通道IF单元11和磁盘IF单元16访问的构造。

通道IF单元11包含连接到服务器3的接口(主机IF)104，控制针对服务器3的输入/输出的微处理器103，控制对高速缓冲存储器单元14的访问的存储器访问单元106，和控制对控制存储器单元15的访问的存储器访问单元107。并且，磁盘IF单元16包含连接到硬盘组2的接口(磁盘IF)105，控制针对硬盘组2的输入/输出的微处理器103，控制对高速缓冲存储器单元14的访问的存储器访问单元106，和控制对控制存储器单元15的访问的存储器访问单元107。磁盘IF单元16也执行RAID的控制。

在上述存储系统中，已经能够灵活地改变通道IF单元11和磁盘IF单元16的数量，因为控制与服务器3的数据传送的通道IF单元11和控制与硬盘组2的数据传送的磁盘IF单元16被分离，并且通过高速缓冲存储器单元14和控制存储器单元15控制通道IF单元11和磁盘IF单元16之间的数据传送。因此，存储系统已经可以具有小规模到大规模的配置。

并且，在JP-A-2000-242434公开的现有技术中，如图21所示，多个磁盘阵列设备4通过磁盘阵列交换机5连接到多个服务器3，使得连接到磁盘阵列交换机5和每个磁盘阵列设备4的系统配置管理装置60将多个磁盘阵列设备4管理为单个存储系统9。

发明内容

在以银行，安全公司和电话公司为代表的大型公司中，出现了通过将通常散布于不同位置的计算机系统和存储系统构造成集中于数据中心内的计算机系统和存储系统，来降低运行、维护和管理计算机系统和存储系统所需的费用的趋势。

另外，在例如IT泡沫崩溃的效应所导致的经济衰退期间，出现了企业缩减IT系统的初始投资并且响应企业规模的扩充而进行系统扩充的趋势。因此，要求存储系统具有性能和成本的可伸缩性，使得能够缩减初始投资并且以和企业规模相称的合理投资来扩充规模。

在图2示出的现有技术中，所有通道IF单元11和所有磁盘IF单元16通过利用高速缓冲存储器单元14和控制存储器单元15控制通道IF单元11和磁盘IF单元16之间的数据传送，执行从服务器3对硬盘组2的数据读/写。因此，来自所有通道IF单元11和所有磁盘IF单元16的访问负载集中在高速缓冲存储器单元14和控制存储器单元15上。

要求存储系统具备的性能(单位时间数据输入/输出频率和单位时间数据传送量)逐年提高。为了适应未来的要求，有必要改进通道IF单元11和磁盘IF单元16的数据传送处理性能。

如上所述，所有通道IF单元11和所有磁盘IF单元16通过高速缓冲存储器单元14和控制存储器单元15控制通道IF单元11和磁盘IF单元16之间的数据传送。于是，存在的问题是，当通道IF单元11和磁盘IF单元16的数据传送处理性能提高时，高速缓冲存储器单元14和控制存储器单元15的访问负载增加，从而成为瓶颈，使得难以在未来提高存储系统8的性能。

可以通过增加高速缓冲存储器单元14和控制存储器单元15的规模来提高允许的访问性能。然而，为了使高速缓冲存储器单元14和控制单元15可从所有通道IF单元11和磁盘IF单元16访问，有必要将高速缓冲存储器单元14和控制存储器单元15分别管理为单个共享存储器空间。于是，存在的问题是，当高速缓冲存储器单元14和控制存储器单元15的规模增加时，难以降低小规模配置的存储系统的成本，并且难以低成本地提供小规模配置的系统。

并且，在图21示出的现有技术中，通过增加磁盘阵列交换机5的端口数量并且以多级段连接多个磁盘阵列交换机5，可以增加可连接的磁盘阵列设备4和服务器3的数量，使得可以提供能够可伸缩地适应小规模到大规模的配置的存储系统9。然而存在的问题是，因为服务器3通过磁盘阵列交换机5访问磁盘阵列设备4，发生在与磁盘阵列交换机5中服务器3的接口部分上、将服务器3和磁盘阵列交换机5之间的协议转换成磁盘阵列交换机5中的协议的处理，以及在与磁盘阵列交换机5中磁盘阵列设备4的接口部分上、将磁盘阵列交换机5中的协议转换成磁盘阵列交换机5和磁盘阵列设备4之间的协议的处理，使得与无需磁盘阵列交换机5的干预便可直接访问磁盘阵列设备4的情况相比，响应性能较差。

通过一种存储系统解决了上述问题，该存储系统包括：多个协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；多个高速缓存控制单元，包含存储与外部设备读/写的数据的高速缓冲存储器，并且包含控制高速缓冲存储器的功能；和互连多个协议转换单元和多个高速缓存控制单元的互连网络，其中多个高速缓存控制单元被分成多个控制集群，在控制集群内独立进行高速缓冲存储器的控制，并且系统管理单元将多个协议转换单元和多个控制集群管理为单个系统。

可以如此构造存储系统，使得互连网络被分成传送与外部设备读/写的数据的第三互连网络，和传送用于管理存储系统的控制信息的第四互连网络，其中系统管理单元连接到第四互连网络。

也可以如此构造存储系统，使得高速缓存控制单元和第二协议转换单元被安装在相同的板上。

此外，可以如此构造存储系统，使得执行数据处理的至少一个外部设备和至少一个第二存储系统连接到与多个第一协议转换单元的外部设备的接口，并且通过经由互连网络在执行数据处理的外部设备连接到的第一协议转换单元和第二存储系统连接到的第一协议转换单元之间执行数据传送，进行从执行数据处理的外部设备针对第二存储系统的数据输入/输出。

并且，可以如此构造存储系统，使得系统管理单元包含将第二存储系统提供的逻辑卷管理为存储系统的卷，以及将逻辑卷提供给包含数据处理功能的外部设备的功能。

本发明提供了一种存储系统，包括：多个协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；存储针对外部设备读/写的数据的高速缓冲存储器；控制高速缓冲存储器的多个高速缓存控制单元；系统管理单元；和连接多个协议转换单元和多个高速缓存控制单元的互连网络，其中多个高速缓存控制单元被分成多个控制集群，高速缓冲存储器的控制在控制集群内是独立的，并且系统管理单元将多个协议转换单元和多个控制集群作为单个系统进行管理。

本发明提供了一种存储系统，包括：多个第一协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；多个磁盘设备；多个第二协议转换单元，包含与磁盘设备的接口，并且将与磁盘设备交换的数据的读/写协议转换成系统内的协议；多个高速缓存控制单元，包含存储针对磁盘设备读/写的数据的高速缓冲存储器，并且控制高速缓冲存储器；连接第一协议转换单元，第二协议转换单元和高速缓存控制单元的互连网络；和系统管理单元，其中多个高速缓存控制单元和多个第二协议转换单元被分成多个控制集群，其中单个控制集群包含可选数量的高速缓存控制单元和第二协议转换单元，只有连接到控制集群中第二协议转换单元的多个磁盘设备中存储的数据被存储在控制集群中高速缓存控制单元的高速缓冲存储器中，多个磁盘设备的高速缓冲存储器的控制和存储区的管理在控制集群内是独立的，并且系统管理单元将多个第一协议转换单元和多个控制集群作为单个系统进行管理。

本发明提供了一种存储系统，包括：多个第一协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；多个磁盘设备；多个第二协议转换单元，包含与磁盘设备的接口，并且将与磁盘设备交换的数据的读/写协议转换成系统内的协议；多个高速缓存控制单元，包含存储针对磁盘设备读/写的数据的高速缓冲存储器，并且控制高速缓冲存储器；连接第一协议转换单元和高速缓存控制单元的第一互连网络；和系统管理单元，其中多个高速缓存控制单元和多个第二协议转换单元被分成多个控制集群，其中单个控制集群包含可选数量的高速缓存控制单元和第二协议转换单元，通过控制集群中的第二互连网络在控制集群中互连高速缓存控制单元和第二协议转换单元，只有连接到控制集群中第二协议转换单元的多个磁盘设备中存储的数据被存储在控制集群中高速缓存控制单元的高速缓冲存储器中，多个磁盘设备的高速缓冲存储器的控制和存储区的管理在控制集群内是独立的，并且系统管理单元将多个第一协议转换单元和多个控制集群作为单个系统进行管理。

本发明提供了一种存储系统，包括：连接到外部设备的协议转换单元；硬盘设备；和连接到所述协议转换单元和所述硬盘设备的多个集群，其中所述多个集群中的每个包括：将硬盘设备连接到通信路径的磁盘适配器；和连接到所述通信路径的高速缓存适配器，其中所述高速缓存适配器配有高速缓冲存储器、共享存储器和处理器，所述高速缓冲存储器存储所述硬盘设备中存储的至少某些数据的复本，所述共享存储器存储用于访问所述高速缓冲存储器的命令，所述处理器用于访问所述共享存储器。

本发明提供了一种存储系统，包括：多个协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；多个高速缓存控制单元，包含存储针对外部设备读/写的数据的高速缓冲存储器，并且控制高速缓冲存储器；和连接协议转换单元和高速缓存控制单元的互连网络，其中多个高速缓存控制单元被分成多个控制集群，并且多个高速缓存控制单元中的高速缓冲存储器在存储系统中被逻辑管理为单个高速缓冲存储器。

通过本发明的实施例和附图可以本申请公开的问题和解决方案。

附图说明

图1的图例示出了存储系统的构造的例子；

图2的图例示出了常规存储系统的构造的例子；

图3的图例示出了存储系统的构造的例子；

图4的图例示出了存储系统的逻辑构造的例子；

图5的图例示出了存储系统的构造的例子；

图6的图例示出了互连网络的详细结构的例子；

图7的图例示出了互连网络的详细结构的例子；

图8的图例示出了协议转换单元的构造的例子；

图9的图例示出了高速缓存控制单元的构造的例子；

图10的图例示出了系统管理单元的构造的例子；

图11的图例示出了存储系统的示例性管理配置；

图12的图例示出了管理表的例子；

图13的图例示出了管理表的例子；

图14的图例示出了管理表的例子；

图15的图例示出了管理表的例子；

图16的图例示出了系统启动时的初始化流程的例子；

图17的图例示出了系统关闭时的流程的例子；

图18的图例示出了读操作流程的例子；

图19的图例示出了写操作流程的例子；

图20的图例示出了存储系统被安装在外壳中的例子；

图21的图例示出了常规存储系统的构造的例子；

图22的图例示出了交换单元的构造的例子；

图23的图例示出了分组格式的例子；

图24的图例示出了存储系统的构造的例子；

图25的图例示出了磁盘控制单元的构造的例子；

图26的图例示出了外部设备连接到协议转换单元的构造的例子；

图27的图例示出了外部设备连接到协议转换单元的构造的例子；

图28的图例示出了存储系统的构造的例子；

图29的图例示出了互连网络的详细结构的例子；

图30的图例示出了存储系统的构造的例子；而

图31的图例示出了高速缓存控制单元的构造的例子。

具体实施方式

下面参照附图详细描述本发明的实施例。

如图1所示，存储系统1包含作为与服务器3或硬盘组2的接口单元的协议转换单元10，高速缓存控制单元21，系统管理单元60和硬盘组2。通过互连网络31连接协议转换单元10，高速缓存控制单元21和系统管理单元60。

图6示出了互连网络31的特定构造的例子。

互连网络31包含两个交换单元51。在从协议转换单元10，高速缓存控制单元21和系统管理单元60到两个交换单元51之间均连接有一个路径。于是，在协议转换单元10，高速缓存控制单元21和系统管理单元60之间保证有两个路径，使得能够提高可靠性。并且系统管理单元60是冗余的。于是能够提高整个系统的可靠性。这里，上述数量只是一个例子，这种数量并不限于上述示例性数量。

并且，虽然将使用交换机的互连网络示出作为一个例子，然而对于该互连网络而言，只要能够互连网络并且传送控制信息和数据，便是适用的。例如，互连网络也可以由总线构成。

图8示出了协议转换单元10的特定例子。

协议转换单元10包含至少4个与服务器3或硬盘组2的IF(外部IF)100，控制与高速缓存控制单元21或系统管理单元60的数据/控制信息传送的传送控制单元105，和两个微处理器102。每个微处理器102包含连接到其自身以作为主存储器的存储器(未示出)。

这里，上述数量只是一个例子，这种数量并不限于上述示例性数量。下面所有说明中的数量只是示例性，并不用于限制本发明。

微处理器102通过共享总线108连接到外部IF 100和传送控制单元105。并且，外部IF 100直接连接到传送控制单元105。微处理器102控制外部IF 100和传送控制单元105，因而微处理器102相互转换外部IF100和服务器3或硬盘组2之间的数据读/写协议，以及高速缓存控制单元21或系统管理单元60与传送控制单元105之间的数据传送协议。于是，协议转换单元10从服务器3向目标高速缓存控制单元21或另一个协议转换单元10传送读/写请求。并且，协议转换单元10执行从高速缓存控制单元21或另一个协议转换单元10向硬盘组2传送读/写请求的处理。

这里，微处理器102，外部IF 100和传送控制单元105之间的连接构造只是一个例子，此构造并不限于上述例子。只要其具有使得微处理器102能够控制外部IF 100和传送控制单元105并且从外部IF 100向传送控制单元105传送数据的构造，便没有问题。

图9示出了高速缓存控制单元21的特定例子。

高速缓存控制单元21包含至少4个微处理器101，控制与协议转换单元10或系统管理单元60的数据/控制信息传送的传送控制单元105，临时存储与服务器3或硬盘组2交换的数据的高速缓冲存储器单元111，和存储涉及数据传送、高速缓冲存储器单元111的管理和硬盘组2的管理的控制信息的控制存储器单元112。高速缓冲存储器单元111和控制存储器单元112中的每个包含存储器模块122和控制对存储器模块122的访问的存储器控制器121。这里，如果高速缓冲存储器单元111和控制存储器单元112均具有相同的存储器控制器121和存储器模块122，并且如果高速缓冲存储器区和控制存储器区被分配给单个存储器空间上的不同区域，则没有问题。并且，每个微处理器101包含连接到其自身以作为主存储器的存储器(未示出)。可选地，如果4个微处理器以SMP构造以作为其自身的主存储器，其中它们共享高速缓冲存储器单元111和控制存储器单元112，则没有问题。

通过交换机109连接微处理器101，高速缓冲存储器单元111，控制存储器单元112和传送控制单元105。微处理器101使用控制存储器单元112中存储的控制信息控制对高速缓冲存储器的数据读/写，高速缓冲存储器的目录管理，与协议转换单元10的数据传送和与系统管理单元60的系统管理信息交换。微处理器101也对向连接到协议转换单元10的硬盘组2写入的数据执行所谓的RAID处理或冗余处理。如果也在协议转换单元10中执行这个RAID处理，则没有问题。

这里，微处理器101，高速缓冲存储器单元111，控制存储器单元112和传送控制单元105之间的连接构造只是一个例子，此构造并不限于上述例子。只要其具有使得微处理器101能够控制高速缓冲存储器单元111，控制存储器单元112和传送控制单元105的构造，便没有问题。

图22示出了交换单元51的特定例子。

交换单元51包含至少4个路径IF 130，头分析单元131，仲裁器132，纵横交换机133，10个缓冲区134，4个路径IF 135和2个路径IF 136。

路径IF 130是将连接路径与协议转换单元10相连的IF，并且从4个协议转换单元10中的每个均连接一个路径。路径IF 135是将连接路径与高速缓存控制单元21相连的IF，并且从4个高速缓存控制单元21中的每个均连接一个路径。缓冲区134缓冲协议转换单元10，高速缓存控制单元21和系统管理单元60之间传送的分组。

图23示出了协议转换单元10，高速缓存控制单元21和系统管理单元60之间传送的传送的格式的例子。分组200包含头210，有效负载220和检错码230。头210中存储至少表示分组的发送源和发送目的地的信息。有效负载220中存储命令，地址，数据和状态。检错码230是在传送分组时用于检测分组内的差错的编码。当分组被输入到路径IF 130，135和136时，分组的头210被发送到头分析单元131。在头分析单元131中，根据路径IF的分组的发送目的地确定相连路径IF的请求，并且这个连接请求被发送到仲裁器132。在仲裁器132中，根据来自路径IF的连接请求进行仲裁，并且根据仲裁结果针对纵横交换机133输出表示连接切换的信号，以切换纵横交换机133中的连接。这里，在本实施例中，交换单元51被构造成在每个路径IF上具有缓冲区，但是如果其构造使得交换单元51具有单个较大缓冲区并且从中为每个路径IF分配分组存储区，则没有问题。并且，在头分析单元131中存储交换单元51内的差错信息。

图10示出了系统管理单元60的特定例子。

系统管理单元60包含至少一个微处理器101，控制与协议转换单元10或高速缓存控制单元21的数据/控制信息传送的传送控制单元105，存储器控制器121，存储器模块122和LAN控制器123。微处理器101使用存储器模块122作为其自身的主存储器。可选地，如果微处理器101具有连接到其自身、与存储器模块122分离的存储器作为主存储器，则没有问题。

微处理器101通过存储器控制器121连接到存储器模块122，传送控制单元105和LAN控制器123。微处理器101根据从协议转换单元10和高速缓存控制单元21收集的管理信息，互连网络31的管理信息和用户从连接到LAN控制器123的管理控制台设置的信息整理出整个存储系统1的管理信息，并且在存储器模块122中存储这个管理信息。微处理器101还使用这个信息进行存储系统1的管理。这个管理信息保存在连接到存储器控制器121的硬盘组2或非易失存储器(未示出)中，从而能够提高存储系统1的可靠性。

这里，微处理器101，存储器控制器121，存储器模块122，LAN控制器123和传送控制单元105之间的连接构造只是一个例子，此构造并不限于上述例子。只要其具有使得微处理器101能够控制存储器控制器121，存储器模块122，LAN控制器123和传送控制单元105的构造，便没有问题。

如图1所示，在本实施例中，2个高速缓存控制单元21被合并为单个控制集群70，并且高速缓冲存储器单元111的管理被封闭在控制集群70内。也就是说，指定控制集群70的高速缓存控制单元21内的微处理器101只管理该控制集群70内的高速缓冲存储器单元111和控制存储器单元112，而不管理另一个控制集群70内的高速缓冲存储器单元111和控制存储器单元112。

这里，2个高速缓存控制单元21内的高速缓冲存储器单元111和2个高速缓存控制单元21内的控制存储器单元112可以加倍(doubled)。通过如此，在一个高速缓存控制单元21中产生差错的情况下，能够继续其存储器被加倍的另一个高速缓存控制单元21中的操作，使得能够提高存储系统1的可靠性。

如果有必要在多个控制集群70内的高速缓冲存储器单元111中倍增存储(multiply store)相同数据，则传送这个数据到高速缓存控制单元21的协议转换单元10在系统管理单元60的存储器的预定区域中，记录表示在哪些控制集群70的高速缓冲存储器单元111中倍增存储哪些数据的控制信息。同时，协议转换单元10向高速缓存控制单元21发送表示数据是倍增存储数据的控制信息和数据。如果其高速缓冲存储器单元111中倍增存储的数据被更新或删除，则高速缓存控制单元21向系统管理单元60发送表示此情况的控制信息。当系统管理单元60接收此信息时，它根据表示哪些控制集群70的高速缓冲存储器单元111中倍增存储存储器内记录的数据的控制信息，执行更新或删除倍增存储的数据的处理。

如上所述，通过将高速缓存控制单元21内微处理器101控制的高速缓冲存储器单元111的范围限制到控制集群70内部，能够降低高速缓冲存储器单元111和控制存储器单元112的访问负载，结果能够提高存储系统1的性能。

如图4所示，还可以有这样的构造，其中协议转换单元10被组合成连接到服务器3的协议转换单元10和连接到硬盘组2的协议转换组10，连接到硬盘组的2个高速缓存控制单元21和2个协议转换单元10被合并成单个控制集群71，并且在该控制集群71的高速缓存控制单元21内的高速缓冲存储器单元111中只存储连接到该控制集群内的协议转换单元10的硬盘组2中记录的数据或已经记录的数据。同时，高速缓冲存储器单元111的管理被封闭在控制集群71内部。也就是说，指定控制集群71的高速缓存控制单元21内的微处理器101只管理该控制集群71内的高速缓冲存储器单元111，而不管理另一个控制集群71内的缓冲存储器单元111。

这里，虽然在附图中示出了分离连接到服务器3的协议转换单元10所链接到的互连网络31和连接到硬盘组2的协议转换单元10所链接到的互连网络31的例子，然而协议转换单元10物理连接到相同的互连网络31。

并且，2个高速缓存控制单元21之间可以加倍高速缓冲存储器单元111和控制存储器单元112的内容。通过如此，在一个高速缓存控制单元21中产生差错的情况下，能够继续其存储器被加倍的另一个高速缓存控制单元21中的操作，使得能够提高存储系统1的可靠性。

如上所述，通过将高速缓存控制单元21内微处理器101控制的高速缓冲存储器单元111的范围限制到控制集群71内部，能够降低高速缓冲存储器单元111和控制存储器单元112的访问负载，结果能够提高存储系统1的性能。

并且，由于上述管理，数据不再倍增存储在图4示出的构造的多个控制集群71的高速缓冲存储器单元111中。于是，与图1的构造相比，在图1的构造中曾经必要的系统管理单元60对多个控制集群70的高速缓冲存储器单元111中倍增存储的数据的一致性控制变得不必要，系统管理被简化，并且能够进一步提高了存储系统1的性能。

如图30所示，也可以有这样的构造，其中控制集群70中的2个高速缓存控制单元21通过2个路径相连。图31示出了在这种情况下高速缓存控制单元21的详细结构。

图31示出的高速缓存控制单元与图9示出的高速缓存控制单元21具有相同的构造，除了连接到交换机109的内部IF 126之外。因为使用连接2个高速缓存控制单元21的连接路径进行数据和控制信息的通信，2个内部IF 126连接到交换机109。通过将2个高速缓存控制单元21的内部IF 126与连接路径互连，通过连接路径进行数据和控制信息的通信。例如，通过连接路径进行2个高速缓存控制单元21的高速缓冲存储器单元111或控制存储器单元112中存储的信息的加倍。于是，在构成控制集群70的2个高速缓存控制单元21之一中产生差错的情况下，由于能够继续存储系统与其它高速缓存控制单元进行的操作，所以提高了可靠性。

下面根据图11描述整个存储系统1的管理配置的例子。

这里会描述图4示出的构造的存储系统1的管理配置的例子。

在系统管理单元60中，通过将整个存储系统1的管理分为3层-即网络，逻辑路径和存储-来进行管理，使得管理被简化。具体地，系统管理单元60包含作为软件程序的网络管理部分503，逻辑路径管理部分502和存储管理部分501。应当注意，图11示出的每个部分实际是由系统管理单元60的微处理器101执行的软件程序。这些程序通过网络或便携存储介质被存储在系统管理单元60的存储器中。

此外，在下面的说明中，在考察图11示出的每个部分的情况下，这个处理实际由系统管理单元60的微处理器执行。此外，每个部分中包含的处理也是程序。应当注意，每个部分也可以由专用硬件执行。

这里，通过网络表示互连网络31。网络管理部分503至少执行网络控制541和网络出错处理542。例如，在图6示出的交换单元51所构造的互连网络的情况下，网络管理部分503执行协议转换单元10，交换单元51，高速缓存控制单元21和系统管理单元60的物理链路的设置，链路的复位和物理差错的检测/处理。

接着，逻辑路径管理部分502至少执行逻辑路径分配531和逻辑路径阻塞/切换处理532。这里，通过逻辑路径表示分别在协议转换单元10，高速缓存控制单元21和系统管理单元60之间设置的逻辑路径。例如在图6示出的构造的情况下，通过一个交换单元51从一个协议转换单元10引向一个高速缓存控制单元21的路径充当一个逻辑路径。于是，在一个协议转换单元10和一个高速缓存控制单元21之间设置2个逻辑路径。类似地，在协议转换单元10和系统管理单元60之间，系统管理单元60和高速缓存控制单元21之间，协议转换单元10之间，高速缓存控制单元21之间和系统管理单元60之间设置2个逻辑路径。在逻辑路径管理部分502中，执行系统启动时逻辑路径的设置，单元之间的2个逻辑路径之一中出现差错的情况下的阻塞，和切换到其它逻辑路径的处理。

接着，存储管理部分501至少执行卷集成管理521，服务器LU(逻辑单元)分配522和系统错误处理523。在卷管理521中，集成和管理每个控制集群71中分别管理的逻辑卷。在服务器LU分配522中，LU从集成的逻辑卷中分出来并且分配给每个服务器3。由于卷管理521和服务器LU分配522，对于服务器3，可以说明分别执行独立控制的多个控制集群71被组合成单个存储系统1。

在本实施例中，如图26所示，也可以将其它存储系统4连接到连接服务器3的协议转换单元10。在这种情况下，也在卷集成管理521中管理其它存储系统提供的LU，并且这些LU被分配给服务器LU分配522中的服务器3，从而可以通过存储系统1从服务器3访问其它存储系统4的卷。

并且在存储管理部分501中，管理一个表示哪些服务器被连接到哪些协议转换单元10的表，从而能够进行连接到存储系统1的多个服务器3之间的通信和数据传送。

当在存储系统4和连接到协议转换单元10的服务器3之间执行数据传送时，通过互连网络31在协议转换单元10之间执行数据传送。在这种情况下，数据也可以被高速缓存在系统管理单元60的存储器中。数据也可以被高速缓存在高速缓存控制单元21的高速缓冲存储器单元111中。于是，提高了服务器3和存储系统4之间的数据传送的性能。

并且，在本实施例中，如图27所示，可以通过SAN交换机65连接存储系统1，服务器3和其它存储系统4。此外，协议转换单元10内的外部IF 100被构造成通过SAN交换机65访问服务器3和其它存储系统4。通过如此，可以从连接到存储系统1的服务器3访问服务器3和连接到SAN交换机65或包括多个SAN交换机65的网络的其它存储系统4。

在系统出错处理523中，从协议转换单元10和高速缓存控制单元21收集相应的错误信息，从逻辑路径管理部分502收集逻辑路径错误信息，并且根据这种信息确定存储系统1中阻塞/替代的设备点。另外，命令实施阻塞处理的控制信息被发送到相应设备点(协议转换单元10，高速缓存控制单元21或交换单元51)，并且针对已经接收控制信息的相应设备点执行阻塞处理。在完成阻塞处理之后，在管理控制台上显示提示用户替换出错设备点的消息。此外，当用户输入指示出错设备点的替换完成的消息时，命令阻塞删除的控制信息被发送到相应设备点，并且针对已经接收控制信息的设备点执行阻塞删除处理。在完成阻塞删除处理之后，系统返回到正常操作。

如上所述，通过在系统管理单元60内将管理分成3个层来管理整个存储系统1。

这里，即使使用网络管理部分503和逻辑路径管理部分502作为单个管理部分来执行系统的控制，也没有问题。

在本发明中，以前在现有技术中与服务器3的数据/命令发送和接收，在通道IF单元11中执行的命令分析和对来自服务器3的请求的排序处理，与硬盘组2的数据/命令发送和接收，以及磁盘IF单元16中执行的命令分析和针对硬盘组2的请求的排序，被分离为协议转换单元10的处理，并且通道IF单元11和磁盘IF单元16的其它处理被合并为高速缓存控制单元21中的处理。

于是在高速缓存控制单元21中至少执行控制集群内的高速缓存控制561，数据传送控制562和卷管理563。在高速缓存控制161中，执行针对高速缓冲存储器单元111的数据读/写的控制，控制存储器单元112中存储的高速缓冲存储器单元111内目录的管理，和检查所请求数据是否存在于高速缓冲存储器单元111中的命中/命中失误处理。在数据传送控制562中，执行协议转换单元10和高速缓冲存储器单元111之间的数据传送的控制。在控制集群内的卷控制563中，通过硬盘组2的物理卷构造控制集群内的逻辑卷，并且管理表示此关系的表。

并且，协议转换单元10被分成作为连接到服务器3的协议转换单元10的组的服务器连接组504，和作为连接到硬盘组2的协议转换单元10的组的设备连接组506。

服务器连接组504中包含的协议转换单元10至少执行命令处理551和请求排序552。在命令处理551中，执行与服务器3的命令发送和接收，并且执行对来自服务器3的命令的分析和向服务器3的命令提交。在请求排序552中，来自服务器3的数据和数据读/写命令被转换到内部协议，并且被传送到相应的高速缓存控制单元21或协议转换单元10。并且，从高速缓存控制单元21或协议转换单元10到服务器3的命令和数据被从内部协议转换到服务器3和协议转换单元10之间的协议，并且被发送到服务器3。

属于设备连接组506的协议转换单元10至少执行命令处理571，请求排序572，设备控制和设备出错处理。

在本实施例中，通过设备表示硬盘组2，但是只要是记录块数据的设备即可。例如，即使设备是光盘也没有问题。

在命令处理571中，执行与设备的命令发送和接收，并且执行对设备的命令提交和对来自设备的应答的分析。在请求排序572中，针对设备的数据和数据读/写命令被从内部协议转换到设备和协议转换单元之间的协议，并且传送到相应设备。并且，来自设备的应答和数据被传送到相应高速缓存控制单元21或协议转换单元10。在设备控制573中，执行对设备的读/写的控制。在设备出错处理574中，在设备中出现错误的情况下，执行设备的阻塞/替换处理。

如上所述，通过在高速缓存控制单元21中合并和执行原来在现有技术中被通道IF单元11和磁盘IF单元16分担与执行的处理，可以提高存储系统1的性能，因为免去了为数据传送而通过控制存储器单元15在通道IF单元11和磁盘IF单元16之间执行的通信处理。

虽然前面描述了图4示出的构造的存储系统1中的管理配置，然而在图1示出的构造的情况下，对多个控制集群的缓冲存储器单元中倍增存储的数据执行一致性控制的处理被加到系统管理单元60中，从而可以进行相同的处理。

下面在图12到15中示出了有关物理卷和逻辑卷之间的关系，逻辑卷和逻辑单元之间的关系，以及逻辑单元到服务器的分配关系的例子。下面，逻辑卷被称作虚拟卷。

图12示出了物理设备管理表651。也就是说，图12示出了物理设备(在本例子中为硬盘组2)和其中物理设备合并为卷的虚拟卷之间的关系。物理设备号(PDEV#)630分别对应于一个硬盘。由4个物理设备构成一个虚拟卷1，明确指定的编号作为虚拟卷1的编号631被分配给控制集群71内的这些虚拟卷。并且，表示虚拟卷1的RAID配置的RAID等级605和表示虚拟卷1的容量的卷容量601被加到虚拟卷1中。并且，表示哪个卷由哪个协议转换单元(还称作协议转换适配器(PA))10管理的连接适配器号610被加到控制集群71内的虚拟卷1中。虚拟卷2的编号632是这样的编号，其中为了整体管理多个控制集群71的全部虚拟卷1，系统管理单元60为其分配整个存储系统1中明确指定的编号。

当初始化时在每个控制集群71的高速缓存控制单元21中产生不同于物理设备管理表651的虚拟卷2编号的部分，这些部分被注册在系统管理单元60中，并且系统管理单元60产生一个表(物理设备管理表651)，其中根据来自所有控制集群71的表来分配虚拟卷2编号632。另外，这个表中涉及每个控制集群71的部分的复本被传送到相应控制集群71的高速缓存控制单元21，并且每个高速缓存控制单元21将此复本存储在控制存储器单元112中。

在硬盘组2的配置已经改变的情况下，管理硬盘组2的高速缓存控制单元21改变不同于物理设备管理表651的虚拟卷2编号的部分，并且将其注册于系统管理单元60中。系统管理单元60根据注册的信息改变物理设备管理表651，并且将表中涉及每个控制集群71的部分的复本传送到相应控制集群71中的高速缓存控制单元21。相应高速缓存控制单元21在控制存储器单元112中存储该复本。

这里，如果从高速缓存控制单元21向系统管理单元60传送产生物理设备管理表651所需的所有信息，并且在系统管理单元60中据此产生所有物理设备管理表651，则没有问题。

图13示出了虚拟卷管理表652。因为虚拟卷1(虚拟卷2)由多个硬盘构成，其中容量变得大于数百GB。于是，为了提高用户使用的方便程度，虚拟卷1(虚拟卷2)被分成多个具有较小容量的虚拟卷3。虚拟卷管理表652是用于指示虚拟卷3的编号633和虚拟卷1内的地址641之间的关系的表。虚拟卷管理表652中还包含表示管理虚拟卷1的高速缓存控制单元21的管理高速缓存控制单元号621。

这里，在硬盘容量较小(若干GB)的情况下，或者在用户需要的逻辑单元的容量从数十GB增大到数百GB的情况下，不需要产生虚拟卷3。

根据从高速缓存控制单元21传送的虚拟逻辑卷1的信息，系统管理单元60产生虚拟卷管理表652。

图14示出了逻辑单元管理表653。这个表示出了虚拟卷3和实际提供给用户的逻辑单元之间的关系。逻辑单元由一或多个虚拟卷3构成。在逻辑单元管理表653中，示出了逻辑单元编号661和构成逻辑单元的虚拟卷3编号633之间的关系。对于逻辑单元编号661，分配在整个存储系统1的位置上确定的编号。并且，还示出逻辑单元所属的虚拟逻辑卷1的RAID等级605，以指示逻辑单元的可靠性。还示出了表示哪些高速缓存控制单元21管理构成逻辑单元的虚拟卷3的管理高速缓存控制单元号621。即使逻辑单元由其中管理高速缓存控制单元不相同的多个虚拟卷3构成，也没有问题。通过如此，高速缓存控制单元21的负载被分散，并且可以提高存储系统1的性能，因为对一个逻辑单元的访问被分散到多个高速缓存控制单元21。

图15示出了逻辑单元分配管理表654。这个表指示连接服务器号670和分配给服务器的逻辑单元之间的关系。在针对服务器分配多个逻辑单元的情况下，有必要从0开始为分配给服务器的相应逻辑单元分配编号。于是，分配从0开始的虚拟逻辑单元编号662，并且针对服务器提供逻辑单元。逻辑单元分配管理表654还指示虚拟逻辑单元编号662和逻辑单元编号661之间的关系。并且，示出了连接适配器号611和表示服务器连接到协议转换单元10的哪些连接通道的连接通道号615。此外还示出了表示哪些高速缓存控制单元21管理构成逻辑单元的虚拟卷3的管理高速缓存控制单元号621。为了在不必请求系统管理单元60的情况下知道服务器连接到的协议转换单元10针对来自服务器的访问请求而应当访问哪些高速缓存控制单元21，需要管理高速缓存控制单元号621。通过如此，可以降低对来自主机的访问请求的响应时间。

附带地，系统管理单元60根据来自服务器3连接到的协议转换单元10的信息和来自管理控制台的用户设置信息，产生/管理逻辑单元分配管理表654。另外，系统管理单元60向相应协议转换单元10传送这个表中涉及每个协议转换单元10的部分的复本，并且每个协议转换单元10在连接到微处理器102的存储器中存储此复本。

在服务器的连接配置或逻辑单元的分配已经改变的情况下，系统管理单元60改变逻辑单元分配管理表654并且向相应协议转换单元10传送此表内涉及每个协议转换单元10的部分的复本，而协议转换单元10在连接到微处理器102的存储器(未示出)中存储此复本。

在管理控制台的监视器上显示图12到15示出的全部或某些表，使得用户能够通过管理控制台设置逻辑单元，虚拟卷和物理设备之间的全部或某些关系。

在本实施例中，多种类型的卷由从物理设备到提供给用户的逻辑卷和逻辑单元构成，但是这只是一个例子，卷不必具有与此相同的配置。必要的是独立配置/管理控制集群71内的卷，在系统管理单元60中整体管理存储系统1中所有控制集群71提供的卷，以及从那些卷中分出卷并且将其提供给用户，借以能够实现本发明的功能。

下面通过图16示出在存储系统1的系统初始化时的操作流程的例子。首先，当加电时(701)，协议转换单元10，高速缓存控制单元221和系统管理单元60执行自操作检查(702)。在自操作检查(702)中，每个单元执行内部诊断以检查单元是否正常操作或是否存在错误。如果存在错误，则单元通过以后的配置信息注册(706)将此情况通知系统管理单元60。对于不能提供有关通知的错误，打开指示单元中出错的显示单元。当每个单元在自操作检查702中确定单元正常操作时，每个单元收集其自身的配置信息(标识单元的ID编号，标识单元中的处理器的处理器编号，处理器类型/规格，存储器容量等等)(703)。此时，硬盘组2连接到的协议转换单元10检查连接到它们的硬盘组2的配置，并且进行检查以确定硬盘中是否存在错误。在硬盘中存在错误的情况下，协议转换单元10在以后的配置信息注册706中将此情况通知系统管理单元60。

接着，系统管理单元60中的网络管理部分503收集互连网络31的物理链路的信息，并且检查互连网络31的配置(704)。在自信息收集703之后，协议转换单元10和高速缓存控制单元(也称作″CA″)21等待系统管理单元(也称作″MA″)60执行网络配置信息收集所需的一个时间量(或预定时间量)，并且接着建立与系统管理单元60的逻辑路径(705)。此后，协议转换单元10和高速缓存控制单元21在系统管理单元60中注册它们已经收集的其自身的配置信息(706)。此时，如上所述，还将出错信息通知系统管理单元60。

接着，系统管理单元60在连接到系统管理终端60的管理控制台的监视器上显示图12到15示出的某些或所有配置信息管理表(如附图所示，需要用户设置的部分为空表而不是全部设置了相应编号之间的关系的表)，并且使用户在管理控制台上执行物理设备，虚拟卷和逻辑单元之间的某些或所有关系的设置(707)。这里显示的表不是如附图所示的那样设置全部关系的管理表，而是需要用户对其设置关系的部分被空白显示，使得能够通过用户输入设置这些部分。接着，系统管理单元60根据用户设置完成图12到15示出的管理表，并且在系统管理单元60的存储器中存储这些表(708)。当发生错误时，也在系统管理单元60的非易失存储器和硬盘组2的硬盘之一或二者中存储这些管理表。

接着，管理表中分别涉及每个协议转换单元10和每个高速缓存控制单元21的部分的复本被发布给每个协议转换单元10和每个高速缓存控制单元21，并且已经分配有复本的每个单元在其自身的存储器中存储复本(709)。

接着，协议转换单元10访问涉及它们的、已经从系统管理单元60发布的管理表，检查其需要访问的高速缓存控制单元21，并且建立与相应高速缓存控制单元21的逻辑路径(710)。最终，协议转换单元10和高速缓存控制单元21确定全部初始化操作是否已经正常结束，并且将结果通知系统管理单元60。系统管理单元60确认有关所有协议转换单元10和高速缓存控制单元21的初始化正常完成的通知，并且确认其自身的初始化的正常完成(711)。在确认全部初始化正常完成之后，开始正常读/写操作(712)。

下面通过图17示出系统关闭时存储系统1的操作流程的例子。首先，当从管理控制台发出系统关机的通知时(721)，系统管理单元60向协议转换单元10和高速缓存控制单元21发出指示命令接收终止的控制信息。当单元接收此信息时，每个单元终止命令的接收(722)。

在命令接收终止之后，协议转换单元10和高速缓存控制单元21处理已经接收的全部命令(723)。接着，协议转换单元10和高速缓存控制单元21以和初始化时相同的方式收集其自身的配置信息，并且在系统管理单元60中注册配置信息(724)。接着，协议转换单元10和高速缓存控制单元21在系统管理单元60中注册有关可以进行关机操作的情况(725)。

此后，协议转换单元10阻塞与高速缓存控制单元21的逻辑路径。并且，协议转换单元10和高速缓存控制单元21阻塞与系统管理单元60的逻辑路径(726)。最终，系统管理单元60在非易失存储器中保存从协议转换单元10和高速缓存控制单元21注册的配置信息，以及系统管理单元60内的配置信息(727)。此后，在管理控制台的监视器上显示″系统关机过程完成，能够关电″，并且关闭电源。

接着参照图18描述从服务器3读取存储系统1记录的数据的情况的例子。

首先，服务器3对存储系统1发出数据读取命令。

当协议转换单元10中的外部IF 100接收命令时，等待命令(741)的微处理器102从外部IF 100读取命令(742)并且执行命令分析(743)。根据命令分析分配其中记录服务器3请求的数据的逻辑单元(也称作″LU″)。微处理器102访问在系统初始化/变化时从系统管理单元60发布并且涉及微处理器的协议转换单元10的逻辑单元分配管理表654，并且分配管理虚拟卷的高速缓存控制单元21，其中虚拟卷构成其中记录所请求数据的LU(744)。

接着，微处理器102通过互连网络从其自身的传送控制单元105向相应高速缓存控制单元21的传送控制单元105提交数据读取请求(745)。接收读请求的高速缓存控制单元21中的微处理器101访问控制存储器单元112，访问逻辑单元管理表653，虚拟卷管理表652和物理设备管理表651，并且分配虚拟卷1中的虚拟卷1编号631和地址641(746)。接着，微处理器101访问控制存储器单元112，并且根据虚拟卷1中的虚拟卷1编号631和地址641确定所请求的数据是否在其高速缓冲存储器单元111中(747)。

在所请求的数据在其自身的高速缓冲存储器单元111中(高速缓存命中)的情况下，微处理器101指示其自身的传送控制单元105从高速缓冲存储器单元111向提交请求的协议转换单元10传送所请求的数据(755)。自身的传送控制单元105通过互连网络31向提交请求的协议转换单元10的传送控制单元105传送所请求的数据(756)。接收所请求的数据的协议转换单元10的传送控制单元105通过外部IF 100向服务器3发送数据(757)。

在所请求的数据不在其自身的高速缓冲存储器单元111中(高速缓存命中失误)的情况下，微处理器101在高速缓冲存储器单元111中保护(secure)其中要存储所请求的数据的区域(749)。在高速缓存区保护之后，微处理器101访问控制存储器单元112，访问物理设备管理表651并且分配连接适配器号610(物理设备(这里为硬盘)连接到的协议转换单元10的编号)，从而管理构成所请求的虚拟卷1的物理设备(也称作″PDEV″)(750)。接着，微处理器101将所请求的数据从其自身的传送控制单元105读取到相应协议转换单元10的传送控制单元105，并且向高速缓存控制单元21发送指示传送的控制信息(751)。相应协议转换单元10的微处理器102从其自身的传送控制单元105接收这个控制信息，访问在初始化/变化时从系统管理单元60发送并且涉及自身的物理设备管理表651的复本，确定将从其读取数据的物理设备(PDEV：硬盘)，并且从相应的硬盘读取数据(752)。通过互连网络31从自身的传送控制单元105向提交请求的高速缓存控制单元21的传送控制单元105传送这个数据(753)。当其自身的传送控制单元105接收所请求的数据时，提交请求的高速缓存控制单元21的微处理器101向高速缓冲存储器单元111写入数据，并且更新控制存储器单元112中存储的高速缓冲存储器的目录(754)。此后的操作流程与从高速缓存命中情况下的操作流程755开始相同。如上所述，针对来自服务器3的读请求从硬盘读取数据，并且将数据发送到服务器3。

接着参照图19描述从服务器3向存储系统1写入数据的情况的例子。

首先，服务器3对存储系统1发出数据写入命令。

当协议转换单元10中的外部IF 100接收命令时，等待命令(761)的微处理器102从外部IF 100读取命令(762)并且执行命令分析(763)。微处理器102根据命令分析分配其中记录服务器3请求的数据的逻辑单元(LU)。微处理器102访问在系统初始化/变化时从系统管理单元60发布并且涉及微处理器的协议转换单元10的逻辑单元分配管理表654，并且分配管理虚拟卷的高速缓存控制单元21，其中虚拟卷构成其中记录所请求数据的LU(764)。

这里，当管理虚拟卷的缓冲存储器单元21被加倍时，能够提高存储系统1的可靠性。也就是说，针对每个虚拟卷确定管理该卷的高速缓存控制单元21和备用(backup-use)高速缓存控制单元(也称作″BCA″)21，并且向二者写入数据。通过如此，如果主高速缓存控制单元21中出现错误，可以继续后备高速缓存控制单元21中的操作。在这种情况下，在764的过程中，也在逻辑单元分配管理表654中描述备用管理高速缓存控制单元21，并且也分配其编号。下面描述确定备用管理高速缓存控制单元21的情况。

微处理器102通过互连网络31从其自身的传送控制单元105向相应高速缓存控制单元21和备用高速缓存控制单元21的传送控制单元105提交数据写请求(765)。接收写请求的高速缓存控制单元21和备用高速缓存控制单元21中的微处理器101访问控制存储器单元112，访问逻辑单元管理表653，虚拟卷管理表652和物理设备管理表651，并且分配虚拟卷1中的虚拟卷1编号631和地址641(766)。接着，微处理器101访问控制存储器单元112，并且根据虚拟卷1中的虚拟卷1编号631和地址641确定所请求的数据写入是否在其高速缓冲存储器单元111中(767)。

在所请求的数据在其自身的高速缓冲存储器单元111中(高速缓存命中)的情况下，微处理器211通过传送控制单元105通知发出写入准备完成通知(也称作″写入准备完成″)的协议转换单元21(770)。在所请求的数据不在其自身的高速缓冲存储器单元111中(高速缓存命中失误)的情况下，微处理器101在高速缓冲存储器单元111中保护其中要存储所请求的数据的区域(769)，并且此后提供写入准备完成通知(770)。

协议转换单元10的微处理器102接收写入准备完成通知，并且通过外部IF 100通知服务器3写入准备完成。此后，协议转换单元10通过外部IF 100接收发送自已经接收到写入准备完成通知的服务器3的数据(772)。微处理器102指示其自身的传送控制单元向相应高速缓存控制单元21和备用高速缓存控制单元21的传送控制单元105发送数据(773)。接收数据的高速缓存控制单元21和备用高速缓存控制单元21的微处理器101在其自身的高速缓冲存储器单元111中写入数据，并且更新控制存储器单元112中高速缓冲存储器的目录(774)。当针对高速缓冲存储器单元111的数据写入结束时，高速缓存控制单元21和备用高速缓存控制单元21的微处理器101通过传送控制单元105向发出请求的协议转换单元10发送写入完成通知(775)。接收写入完成通知的协议转换单元10的微处理器101通过外部IF 100向服务器3发送写入完成通知。对于写入高速缓冲存储器单元111的数据，主高速缓存控制单元21的微处理器101确定高速缓冲存储器单元111的空闲容量，并且与来自服务器3的写请求相异步地通过硬盘连接到的协议转换单元10向包含其中记录数据的卷的硬盘写入数据。于是，针对来自服务器3的写请求执行了写操作。

根据本实施例，由于针对每个控制集群独立地执行高速缓冲存储器的控制，降低了高速缓冲存储器单元和控制存储器单元的访问负载。并且，由于通过高速缓存控制单元中的微处理器合并和执行高速缓冲存储器以及服务器和硬盘之间的数据传送的控制，减少了在图2示出的现有技术中曾经需要的处理器间通信处理。于是能够提高整个存储系统1的性能。

并且，由于针对每个控制集群独立地执行高速缓冲存储器的控制，可以针对每个单独的控制集群操作存储系统。于是，能够针对每个控制集群优化系统的成本，可以低成本地提供小规模配置的系统，并且可以以满足系统规模的成本提供系统。

于是，可以提供其成本/性能满足从小规模到大规模配置的系统规模的存储系统。

图5和7示出了第二实施例。

如图5所示，存储系统1的配置与图4的第一实施例示出的配置相同，例外的是连接服务器3所连接到的高速缓存控制单元21和协议转换单元10的互连网络31，和连接硬盘组2所连接到的高速缓存控制单元21和协议转换单元10的互连网络35是物理独立的。

互连网络31和互连网络35物理独立并且不直接连接。

图7示出了互连网络31和互连网络35分别由交换单元51和交换单元52构成的情况的例子。相对于图22示出的交换单元51，交换单元52具有其中路径IF总数为4的配置。

通过以这种方式构成系统，可能因准备2个独立互连网络而提高了成本，但是服务器3连接到的高速缓存控制单元21和协议控制单元10之间的数据传送，和硬盘组2连接到的高速缓存控制单元21和协议转换单元10之间的数据传送不再象在第一实施例的构造中那样彼此干扰。并且，由于可以构成其规格匹配于相应数据传送的性能要求的互连网络，提高了存储系统1的性能。

在本实施例的构造中，可以没有问题地获得与第一实施例相同的效果，并且可以提供其成本/性能满足从小规模到大规模配置的系统规模的存储系统。

如图24所示，即使高速缓存控制单元21和协议转换单元10被合并为磁盘控制单元中的单独控制单元并且安装在相同的板上，仍然可以没有问题地实现本发明。

图25示出了磁盘控制单元25的具体细节。

磁盘控制单元25包含至少4个微处理器101，控制与协议转换单元10或系统管理单元60的数据/控制信息传送的传送控制单元105，4个与硬盘组2的IF(外部IF)100，临时存储与服务器3或硬盘组2交换的数据的高速缓冲存储器单元111，和存储涉及数据传送，高速缓冲存储器单元111的管理和硬盘组2的管理的控制信息的控制存储器单元112。高速缓冲存储器单元111和控制存储器单元112中的每个由存储器模块122和控制对存储器模块122的访问的存储器控制器121的构成。这里，如果高速缓冲存储器单元111和控制存储器单元112均具有相同的存储器控制器121和存储器模块122，并且如果高速缓冲存储器区和控制存储器区被分配给单个存储器空间上的不同区域，则没有问题。并且，每个微处理器101包含连接到其自身以作为主存储器的存储器(未示出)。可选地，如果4个微处理器以SMP构造以作为其自身的主存储器，其中它们共享高速缓冲存储器单元111和控制存储器单元112，则没有问题。

通过交换机109连接微处理器101，高速缓冲存储器单元111，控制存储器单元112，外部IF 100和传送控制单元105。微处理器101使用控制存储器单元中存储的控制信息控制对高速缓冲存储器的数据读/写，高速缓冲存储器的目录管理，与协议转换单元10和硬盘组2的数据传送和与系统管理单元60的系统管理信息交换。微处理器101也对向连接到协议转换单元10的硬盘组2写入的数据执行所谓的RAID处理或冗余处理。

这里，微处理器101，高速缓冲存储器单元111，控制存储器单元112，外部IF 100和传送控制单元105之间的连接构造只是一个例子，此构造并不限于上述例子。只要其具有使得微处理器101能够控制高速缓冲存储器单元111，控制存储器单元112，外部IF 100和传送控制单元105的构造，便没有问题。

并且如图24所示，因为通过连接构成控制集群的2个磁盘控制单元25的连接路径进行数据和控制信息的通信，2个内部IF 126连接到交换机109。通过将2个磁盘控制单元25的内部IF 126与连接路径互连，通过连接路径进行数据和控制信息的通信。例如，通过连接路径进行2个磁盘控制单元25的高速缓冲存储器单元111或控制存储器单元112中存储的信息的加倍。于是，在构成控制集群72的2个磁盘控制单元25之一中产生差错的情况下，由于能够继续存储系统与其它磁盘控制单元进行的操作，所以提高了可靠性。

如上所述，通过使用高速缓存控制单元21和协议转换单元10作为单独的控制单元，将它们合并在磁盘控制单元25中并且安装到单独的板上，不必使高速缓存控制单元21和协议转换单元10与交换单元52进行通信，从而提高了数据传送性能。并且，由于减少了构成控制集群72的部分的数量，可以降低存储系统的成本。

图3示出了第三实施例。

如图3所示，存储系统1的构造与图1示出的第一实施例的构造相同，例外的是互连网络31被分成互连网络41和互连网络42，并且系统管理单元60连接到互连网络42。

互连网络41是专用于数据传送的互连网络，互连网络42是专用于控制信息传送的互连网络。于是，执行存储系统1的管理的系统管理单元60连接到互连网络42。

通过以这种方式构成系统，数据传送和控制信息传送不再彼此干扰。并且，由于可以构成其规格匹配于相应数据传送的性能要求的互连网络，提高了存储系统1的性能。

即使将本实施例的构造应用于图4示出的第一实施例的构造或图5示出的第二实施例的构造，仍然可以没有问题地实现本发明。

图20示出了具有图6示出的第一实施例的构造或图7示出的第二实施例的构造的存储系统1被安装在外壳中的情况下一个构造的例子。

协议转换单元(PU)10，高速缓存控制单元(CU)21，系统管理单元(MU)60和交换单元51/52被安装在插件上，并且被配置在控制单元机架821中以作为PU板卡802，CU插件801，MU板卡804和SW板卡803。在控制单元机架821的后表面有底板(未示出)，并且每个插件和板卡通过连接器连接到底板。导线配置在底板上，从而象在图6和7示出的连接配置中那样连接每个插件和板卡。

这里，由于安装的处理器的数量和高速缓存控制单元21的存储器容量与协议转换单元10和系统管理单元相比变大，CU插件801具有大约是其它板卡的双倍的面积。并且，插件和板卡可以使用通用/专用板卡服务器，并且执行专用软件。

装载有硬盘单元811的4个磁盘单元机架822配置在控制单元机架821上，硬盘单元811装配有硬盘。

并且，装有向整个存储系统1供电的供电单元的供电单元机架823配置在控制单元机架821下面。

另外，这些机架被容纳在19英寸机柜(未示出)内。

应当注意，存储系统1也可以具有不包含硬盘组的硬件结构。在这种情况下，通过PU 10连接位于和存储系统1分离的区域的存储系统1和硬盘组。

在第一实施例中，针对具有图1和4示出的构造的存储系统1描述了其中高速缓冲存储器单元111的管理被封闭在控制集群70和71内的系统。也就是说，指定控制集群70或71的高速缓存控制单元21内的微处理器101只管理该控制集群70或71内的高速缓冲存储器单元111和控制存储器单元112，而不管理另一个控制集群70或71内的高速缓冲存储器单元111和控制存储器单元112。然而在本实施例(第四实施例)中，会描述一个控制方法，其中物理划分到图1和4示出的多个控制集群70和71中的高速缓冲存储器单元111和控制存储器单元112被整个存储系统1控制为单个存储器地址空间，因而多个高速缓冲存储器单元111和控制存储器单元112分别被整个存储系统1的微处理器101和102逻辑共享。

这里，多个高速缓冲存储器单元111和控制存储器单元112分别被整个存储系统1的微处理器101和102逻辑共享意味着，系统中明确指定的全局地址被物理分配给多个存储器单元，并且每个处理器具有该全局地址映射，因而所有微处理器101和102能够访问高速缓冲存储器单元111或控制存储器单元112中存储的数据或控制信息。

整个存储系统的管理配置与图11示出的配置相同。这里，指示提供给用户的LU和管理构成LU的虚拟卷的高速缓存控制单元21之间的对应关系的逻辑单元分配管理表654被存储在系统管理单元60的存储器中。

在第一实施例中，逻辑单元分配管理表654的涉及协议转换单元10的部分的复本被发送到相应的协议转换单元10，并且协议转换单元10在连接到微处理器102的存储器中存储此复本。然而在本实施例中，不执行复本的发布。在本实施例中，针对图16示出的系统初始化时的操作流程，省略了步骤709的处理中向协议转换单元10发布逻辑单元分配管理表654的复本的处理。

这里，在本实施例中，描述从服务器3读取存储系统1中记录的数据的情况的例子。

首先，服务器3对存储系统1发出数据读取命令。这里结合图18描述与第一实施例的方法相同的命令分析处理。此后，请求目的地CA确定处理(744)的方法是不同的。也就是说，微处理器102访问系统管理单元60，访问涉及其自身的协议转换单元10的逻辑单元分配管理表654，并且分配管理构成LU的虚拟卷的高速缓存控制单元21，其中LU记录所请求的数据(744)。这里结合图18描述与第一实施例的方法相同的后续处理(745到757)。

首先，服务器3对存储系统1发出数据写入命令。

这里结合图19描述与第一实施例的方法相同的命令分析处理。此后的请求目的地CA确定处理(764)的方法是不同的。也就是说，微处理器102访问系统管理单元60，访问涉及其自身的协议转换单元10的逻辑单元分配管理表654，并且分配管理构成LU的虚拟卷的高速缓存控制单元21，其中LU记录所请求的数据(764)。这里结合图19描述与第一实施例的方法相同的后续处理(765到776)。

在上述说明中，每当数据读取或写入时访问系统管理单元60，并且分配管理虚拟卷的高速缓存控制单元21，该虚拟卷构成变成读取或写入目标的LU。然而，即使整个存储系统的逻辑单元分配管理表654被存储在高速缓存控制单元21的所有控制存储器单元112中，仍然可以没有问题地实现本发明。在这种情况下，图18和19示出的请求目的地CA确定处理的方法(744，764)是不同的。

也就是说，每个协议转换单元10因系统初始化时来自管理终端的设置而预定发送数据读/写请求的高速缓存控制单元21。此时，分配给高速缓存控制单元21的协议转换单元10的数量被高速缓存控制单元21设置成尽可能相等。通过如此，可以使每个高速缓存控制单元21上的访问负载相等。在请求目的地CA确定处理(744，764)中，微处理器102访问预定高速缓存控制单元21，访问涉及其自身协议转换单元10的逻辑单元分配管理表654，并且分配管理虚拟卷的高速缓存控制单元21，其中该虚拟卷构成其中记录所请求的数据的LU。其余序列与结合图18和19描述的序列相同。

即使在图18和19的处理中的命令接收(742，762)之后命令被传送到高速缓存控制单元21的微处理器101并且通过微处理器101执行命令分析(743，763)，仍然可以没有问题地实现本发明。在这种情况下，在请求目的地CA确定处理(744，764)中，微处理器101访问预定高速缓存控制单元21，访问控制存储器单元112中存储的逻辑单元分配管理表654，并且分配管理虚拟卷的高速缓存控制单元21，其中该虚拟卷构成其中记录所请求的数据的LU。在相应高速缓存控制单元21不是接收命令的微处理器101所属的高速缓存控制单元21的情况下，微处理器101访问相应高速缓存控制单元21中的高速缓冲存储器单元111和控制存储器单元112，并且执行从745或765开始的处理。

可选地，命令被传送到相应高速缓存控制单元21中的微处理器101，并且从745或765开始的处理由相应高速缓存控制单元21中的微处理器101，缓冲存储器单元111和控制存储器单元112执行。

于是，不必在协议转换单元10中布置微处理器102。

即使本实施例的控制方法被应用于图6和30示出的第一实施例的构造，图7和24示出的第二实施例的构造或图3示出的第三实施例的构造，仍然可以没有问题地实现本发明。

图28和29示出了第五实施例。

如附图所示，存储系统1具有与图1和图6示出的第一实施例相同的构造，除了没有系统管理单元60之外。

在本实施例中，类似于第四实施例，物理划分在多个控制集群70中的高速缓冲存储器单元111和控制存储器单元112被整个存储系统1控制为单个存储器地址空间。于是，多个高速缓冲存储器单元111和控制存储器单元112分别被整个存储系统1的微处理器101和102逻辑共享。

第一实施例中在系统管理单元60中产生并且存储在其存储器中的物理设备管理表651，虚拟卷管理表652，逻辑单元管理表653和逻辑单元分配管理表654由通过互连网络31或例如局域网(LAN)的专用网络连接到每个处理器的管理终端65来产生，并且涉及每个协议转换单元10和高速缓存控制单元21的部分的复本被分别存储在相应协议转换单元10和高速缓存控制单元21的存储器中。

在以这种方式在存储器中存储管理表的情况下，读写数据的序列变得与图18和19示出的序列相同。

并且，整个系统的逻辑单元分配管理表654可以被存储在高速缓存控制单元21的全部控制存储器单元112中。在这种情况下，图18和19示出的请求目的地CA确定处理的方法(744，764)是不同的。也就是说，每个协议转换单元10因系统初始化时来自管理终端的设置而预定发送数据读/写请求的高速缓存控制单元21。此时，分配给高速缓存控制单元21的协议转换单元10的数量被高速缓存控制单元21设置成尽可能相等。

通过如此，可以使每个高速缓存控制单元21上的访问负载相等。在请求目的地CA确定处理(744，764)中，微处理器102访问预定高速缓存控制单元21，访问涉及其自身协议转换单元10的逻辑单元分配管理表654，并且分配管理虚拟卷的高速缓存控制单元21，其中该虚拟卷构成其中记录所请求的数据的LU。其余序列与结合图18和19描述的序列相同。

可选地，命令被传送到相应高速缓存控制单元21中的微处理器101，并且从745或765开始的处理由相应高速缓存控制单元21中的微处理器101，高速缓冲存储器单元111和控制存储器单元112执行。

于是，不必在协议转换单元10中布置微处理器102。

根据本发明，可以提供这样的存储系统，其中消除了存储系统的共享存储器的性能瓶颈，能够降低小规模配置的成本，并且能够实现从小规模到大规模配置的成本和性能的可伸缩性。

Claims

1.一种存储系统，包括：

多个协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；

存储针对外部设备读/写的数据的高速缓冲存储器；

控制高速缓冲存储器的多个高速缓存控制单元；

系统管理单元；和

连接多个协议转换单元和多个高速缓存控制单元的互连网络，其中

多个高速缓存控制单元被分成多个控制集群，

高速缓冲存储器的控制在控制集群内是独立的，并且

系统管理单元将多个协议转换单元和多个控制集群作为单个系统进行管理。

2.一种存储系统，包括：

多个第一协议转换单元，包含与外部设备的接口，并且将与外部设备交换的数据的读/写协议转换成系统内的协议；

多个磁盘设备；

多个第二协议转换单元，包含与磁盘设备的接口，并且将与磁盘设备交换的数据的读/写协议转换成系统内的协议；

多个高速缓存控制单元，包含存储针对磁盘设备读/写的数据的高速缓冲存储器，并且控制高速缓冲存储器；

连接第一协议转换单元，第二协议转换单元和高速缓存控制单元的互连网络；和

系统管理单元，其中

多个高速缓存控制单元和多个第二协议转换单元被分成多个控制集群，其中单个控制集群包含可选数量的高速缓存控制单元和第二协议转换单元，

只有连接到控制集群中第二协议转换单元的多个磁盘设备中存储的数据被存储在控制集群中高速缓存控制单元的高速缓冲存储器中，

多个磁盘设备的高速缓冲存储器的控制和存储区的管理在控制集群内是独立的，并且系统管理单元将多个第一协议转换单元和多个控制集群作为单个系统进行管理。

3.如权利要求2所述的存储系统，其中

互连网络被分成传送针对外部设备读/写的数据的第三互连网络，和传送用于管理存储系统的控制信息的第四互连网络，并且

系统管理单元连接到第四互连网络。

4.如权利要求2所述的存储系统，其中高速缓存控制单元包含处理器，用于对高速缓冲存储器和通过高速缓冲存储器在第一协议转换单元和第二协议转换单元之间进行的数据传送执行控制。

5.如权利要求2所述的存储系统，其中高速缓存控制单元和第二协议转换单元被安装在相同的板上。

6.如权利要求2所述的存储系统，其中系统管理单元管理多个第一协议转换单元之间的数据传送。

7.如权利要求6所述的存储系统，其中多个第一协议转换单元之间执行的数据传送的数据被存储在高速缓存控制单元的高速缓冲存储器中。

8.如权利要求6所述的存储系统，其中系统管理单元包含存储器，并且多个第一协议转换单元之间执行的数据传送的数据被存储在该存储器中。

9.如权利要求6所述的存储系统，其中多个第一协议转换单元之间执行的数据传送通过高速缓存控制单元来执行。

10.如权利要求2所述的存储系统，其中

执行数据处理的至少一个外部设备和至少一个第二存储系统连接到多个第一协议转换单元的与外部设备间的接口，并且

通过经由互连网络在执行数据处理的外部设备连接到的第一协议转换单元和第二存储系统连接到的第一协议转换单元之间执行数据传送，执行从外部设备到第二存储系统的数据的输入/输出。

11.如权利要求2所述的存储系统，其中

执行数据处理的至少一个外部设备和至少一个第二存储系统连接到与多个第一协议转换单元的外部设备的接口，并且

通过经由互连网络和高速缓存控制单元在外部设备连接到的第一协议转换单元和第二存储系统连接到的第一协议转换单元之间执行数据传送，执行从外部设备到第二存储系统的数据的输入/输出。

12.如权利要求10所述的存储系统，其中系统管理单元将第二存储系统提供的逻辑卷作为存储系统的卷来管理，并且将逻辑卷提供给执行数据处理的外部设备。

13.如权利要求12所述的存储系统，其中系统管理单元被分成管理互连网络的第一管理单元，和第二管理单元，所述第二管理单元管理存储系统中的物理存储区与多种类型的逻辑存储区之间的关系，连接到协议转换单元的外部设备之间的连接关系和外部设备与逻辑存储区之间的关系之一或二者，以及系统中的错误。

14.如权利要求12所述的存储系统，其中系统管理单元被分成管理互连网络的物理连接的第三管理单元，管理互连网络上逻辑配置的协议转换单元，高速缓存控制单元和系统管理单元之间的逻辑路径的第四管理单元，和第二管理单元，所述第二管理单元管理多个磁盘设备的物理存储区和多种类型的逻辑存储区之间的关系，连接到协议转换单元的外部设备之间的连接关系和外部设备与逻辑存储区之间的关系之一或二者，以及系统中的错误。

15.如权利要求14所述的存储系统，其中

系统管理单元，协议转换单元和高速缓存控制单元包含存储控制信息的存储器，

在系统的初始化设置时，至少系统管理单元产生指示多个物理存储区和多种类型的逻辑存储区之间的关系的第一关系表，以及指示连接到协议转换单元的外部设备之间的连接关系和外部设备与逻辑存储区之间的关系之一或二者的第二关系表，在系统管理单元的存储器中存储第一关系表和第二关系表，并且向相关协议转换单元或高速缓存控制单元发布第一关系表和第二关系表中涉及协议转换单元或高速缓存控制单元的部分的复本，并且

协议转换单元或高速缓存控制单元分别在协议转换单元或高速缓存控制单元的存储器中存储所述相关复本。

16.如权利要求15所述的存储系统，还包括与系统管理单元执行通信的管理控制台，其中

在管理控制台的监视器上显示某些或所有第一关系表和第二关系表，并且

管理员在管理控制台上设置在系统初始化设置时产生的多个物理存储区和多种类型逻辑存储区之间的关系，以及连接到协议转换单元的外部设备之间的连接关系和外部设备与逻辑存储区之间的关系之一或二者的部分或全部。

17.如权利要求16所述的存储系统，其中对于来自外部设备的读/写请求，协议转换单元针对该读/写请求访问其自身存储器中第一关系表和第二关系表的复本，确定传送读/写请求的高速缓存控制单元或协议转换单元，并且不访问系统管理单元。

18.一种存储系统，包括：

多个磁盘设备；

连接第一协议转换单元和高速缓存控制单元的第一互连网络；和

系统管理单元，其中

通过控制集群中的第二互连网络在控制集群中互连高速缓存控制单元和第二协议转换单元，

19.一种存储系统，包括：

连接到外部设备的协议转换单元；

硬盘设备；和

连接到所述协议转换单元和所述硬盘设备的多个集群，

其中所述多个集群中的每个包括：

将硬盘设备连接到通信路径的磁盘适配器；和

连接到所述通信路径的高速缓存适配器，其中

所述高速缓存适配器配有高速缓冲存储器、共享存储器和处理器，所述高速缓冲存储器存储所述硬盘设备中存储的至少某些数据的复本，所述共享存储器存储用于访问所述高速缓冲存储器的命令，所述处理器用于访问所述共享存储器。

20.一种存储系统，包括：

多个高速缓存控制单元，包含存储针对外部设备读/写的数据的高速缓冲存储器，并且控制高速缓冲存储器；和

连接协议转换单元和高速缓存控制单元的互连网络，其中

多个高速缓存控制单元被分成多个控制集群，并且

多个高速缓存控制单元中的高速缓冲存储器在存储系统中被逻辑管理为单个高速缓冲存储器。