JP2006011932A - Storage apparatus and exclusive control method thereof - Google Patents
Storage apparatus and exclusive control method thereof Download PDFInfo
- Publication number
- JP2006011932A JP2006011932A JP2004189600A JP2004189600A JP2006011932A JP 2006011932 A JP2006011932 A JP 2006011932A JP 2004189600 A JP2004189600 A JP 2004189600A JP 2004189600 A JP2004189600 A JP 2004189600A JP 2006011932 A JP2006011932 A JP 2006011932A
- Authority
- JP
- Japan
- Prior art keywords
- management table
- information
- identification information
- management
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、ストレージ装置及びストレージ装置の排他制御方法に関し、特に、それぞれ異なる種類のプロトコルを用いて論理ボリュームへのアクセスが可能なストレージ装置及びストレージ装置の排他制御方法に関する。 The present invention relates to a storage apparatus and a storage apparatus exclusive control method, and more particularly to a storage apparatus and a storage apparatus exclusive control method capable of accessing a logical volume using different types of protocols.
ストレージ装置は、例えば、ハードディスクドライブや半導体メモリ装置等の記憶デバイスをアレイ状に配設して構成される。ストレージ装置は、例えば、RAID1やRAID5等のようなRAID(Redundant Array of Independent Inexpensive Disks)に基づく論理的な記憶領域を提供する。この論理的な記憶領域は、論理ボリューム(LU:Logical Unit)とも呼ばれる。 The storage device is configured by arranging storage devices such as hard disk drives and semiconductor memory devices in an array. The storage device provides a logical storage area based on, for example, RAID (Redundant Array of Independent Inexpensive Disks) such as RAID1 and RAID5. This logical storage area is also called a logical volume (LU).
ホストコンピュータは、ストレージ装置の通信ポートを介して論理ボリュームにアクセスし、データの読み書き(I/O)を行う。ホストコンピュータは、データの整合性等を維持するために、論理ボリュームをリザーブして、排他的に論理ボリュームを使用する場合がある。論理ボリュームの使用を終えた場合、ホストコンピュータは、リザーブ状態を解除する。 The host computer accesses the logical volume via the communication port of the storage device, and reads / writes data (I / O). The host computer may reserve the logical volume and use the logical volume exclusively in order to maintain data consistency and the like. When the use of the logical volume is finished, the host computer releases the reserved state.
ここで、特定のホストコンピュータのみを特定の論理ボリュームにアクセス可能とさせる技術としては、LUN(Logical Unit Number)セキュリティが知られてる(特許文献1,特許文献2)。この技術では、各ホストコンピュータ(ホストバスアダプタ)に設定されたWWN(World Wide Name)とLUNとを対応付けて管理する。そして、ホストコンピュータがアクセスを要求した場合に、そのWWNと所望のLUNとが対応付けられているか否かを検査し、対応付けられている場合には、アクセスを許可する。
ところで、ストレージ装置としては、前記文献に記載されているように、ファイバチャネルプロトコルと呼ばれるシリアルSCSI(Small Computer System Interface)を利用するSAN(Storage Area Network)が知られている。SANは、ホストコンピュータへの依存度を低下させ、複数のホストコンピュータがネットワークを介してストレージを共有するために開発された共有ストレージである。SANでは、光ファイバやメタルケーブルを介して、ブロック単位で多量のデータ転送を行うことができる。 By the way, as described in the above-mentioned document, a storage area network (SAN) using serial SCSI (Small Computer System Interface) called a fiber channel protocol is known as a storage apparatus. The SAN is a shared storage developed to reduce the dependency on the host computer and to share the storage by a plurality of host computers via a network. In a SAN, a large amount of data can be transferred in units of blocks via optical fibers or metal cables.
一方、汎用のコンピュータ通信の分野では、IP(Internet Protocol )ネットワークを介して、データ転送を行う技術が発展している。このような汎用のデータ通信では、例えば、インターネット等として知られているように、TCP/IP(Transmission Control Protocol/Internet Protocol)パケットを用いて、複数のノード間でデータを転送する。 On the other hand, in the field of general-purpose computer communication, a technique for transferring data via an IP (Internet Protocol) network has been developed. In such general-purpose data communication, for example, as is known as the Internet, data is transferred between a plurality of nodes using a TCP / IP (Transmission Control Protocol / Internet Protocol) packet.
汎用のインターネット技術を用いても、データ転送を行うことはできるが、SANのようなブロックレベルの転送を行うことはできない。しかし、近年では、インターネット技術を利用して、遠隔のノード間でブロックレベルの転送を可能とするiSCSI_SANが提案されている。iSCSI(Internet SCSI)では、SCSIコマンドやデータをTCP/IPパケットに包み込み、このパケットをIPネットワークを介して転送させる。このiSCSIに対し、従来のSANは、ファイバチャネルSAN(FC_SAN)とも呼ばれる。iSCSIの登場は、IPネットワークへのストレージの直接接続を可能とし、ルータやスイッチ等の既存のIPネットワーク製品の有効利用を可能とする。 Data transfer can be performed using general-purpose Internet technology, but block-level transfer such as SAN cannot be performed. However, in recent years, iSCSI_SAN has been proposed that enables block-level transfer between remote nodes using Internet technology. In iSCSI (Internet SCSI), a SCSI command or data is wrapped in a TCP / IP packet, and the packet is transferred via an IP network. In contrast to this iSCSI, a conventional SAN is also called a Fiber Channel SAN (FC_SAN). The advent of iSCSI enables the direct connection of storage to IP networks and enables the effective use of existing IP network products such as routers and switches.
ここで、FC_SANとiSCSI_SANとは、それぞれプロトコルが相違するため、例えば、論理ボリュームの排他制御を行う場合のホストコンピュータ(イニシエータ)の特定方法が問題となる。各通信プロトコルは、それぞれホストコンピュータの識別方法が異なるためである。 Here, since FC_SAN and iSCSI_SAN have different protocols, there is a problem in, for example, how to specify a host computer (initiator) when performing exclusive control of a logical volume. This is because each communication protocol has a different host computer identification method.
もしも、単純に、ファイバチャネルプロトコルとiSCSIとを併存させる場合は、ファイバチャネルプロトコル用のホストコンピュータ識別処理とiSCSI用のホストコンピュータ識別処理とをそれぞれ独立させて構築することになる。しかし、ストレージ装置は、年々大容量化・高性能化が進んでおり、数千個の論理ボリュームを備え、かつ、数百台のホストコンピュータと接続可能なものも珍しくはない。従って、各通信プロトコル用にそれぞれ排他制御システムを構築すると、必要なデータサイズが膨大となり、ストレージ装置のメモリ資源を圧迫する。 If the Fiber Channel protocol and iSCSI are simply used together, the host computer identification process for the Fiber Channel protocol and the host computer identification process for the iSCSI are constructed independently of each other. However, storage devices are increasing in capacity and performance year by year, and it is not uncommon to have thousands of logical volumes and connect to hundreds of host computers. Therefore, if an exclusive control system is constructed for each communication protocol, the required data size becomes enormous, and the memory resources of the storage apparatus are compressed.
本発明は、上記の問題点に鑑みてなされたもので、その一つの目的は、異なるプロトコルに共通して、上位装置と論理ボリュームとの対応関係を管理することができるストレージ装置及びストレージ装置の排他制御方法を提供することにある。本発明の一つの目的は、必要なデータサイズを小さくして、異種プロトコルに共通する論理ボリュームの排他制御を実現できるようにしたストレージ装置及びストレージ装置の排他制御方法を提供することにある。本発明のさらなる目的は、後述する実施の形態の記載から明らかになるであろう。 The present invention has been made in view of the above-described problems, and one object of the present invention is to provide a storage device and a storage device that can manage the correspondence between a host device and a logical volume in common with different protocols. It is to provide an exclusive control method. One object of the present invention is to provide a storage apparatus and a storage apparatus exclusive control method capable of realizing a logical volume exclusive control common to different protocols by reducing a necessary data size. Further objects of the present invention will become clear from the description of the embodiments described later.
上記課題を解決すべく、本発明のストレージ装置は、複数の異なるプロトコルで共通に使用されるためのアクセス管理情報を備えている。即ち、本発明のストレージ装置は、第1プロトコルに基づいて、少なくとも一つ以上の第1上位装置の通信ポートとの間のデータ授受を制御する第1上位インターフェース制御部と、第2プロトコルに基づいて、少なくとも一つ以上の第2上位装置の通信ポートとの間のデータ授受を制御する第2上位インターフェース制御部と、少なくとも一つ以上の記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、第1,第2上位インターフェース制御部及び下位インターフェース制御部により共用されるメモリ部と、記憶デバイス上に設けられた少なくとも一つ以上の論理ボリュームと、第1,第2上位装置の各通信ポートと論理ボリュームとを対応付けて構成されるアクセス管理情報を記憶するアクセス管理情報記憶部と、アクセス管理情報を参照することにより、第1,第2上位装置から論理ボリュームに対するアクセス要求の実行可否を制御するアクセス制御部と、を備える。 In order to solve the above problems, the storage apparatus of the present invention includes access management information for use in common with a plurality of different protocols. That is, the storage apparatus according to the present invention is based on the first higher-level interface control unit that controls data exchange with at least one communication port of the first higher-level device based on the first protocol, and on the second protocol. A second higher-level interface control unit that controls data exchange with at least one communication port of at least one second higher-level device; and a lower-level interface control unit that controls data transfer with at least one or more storage devices; A memory unit shared by the first and second upper interface control units and the lower interface control unit, at least one logical volume provided on the storage device, and communication ports of the first and second upper devices An access management information storage unit for storing access management information configured by associating a logical volume with a logical volume; Comprising by referring to the processes management information, first, an access control unit that controls whether to execute the access request to the logical volume from the second upper-level device.
ここで、第1プロトコルと第2プロトコルとは、共通のコマンド体系を有し、互いに関連性のあるプロトコルとして構成することができる。その一つの例として、例えば、第1プロトコルはファイバチャネルプロトコルであり、第2プロトコルはiSCSI(Internet SCSI)プロトコルである。 Here, the first protocol and the second protocol have a common command system and can be configured as mutually related protocols. As one example, for example, the first protocol is a fiber channel protocol and the second protocol is an iSCSI (Internet SCSI) protocol.
アクセス管理情報は、それぞれ異なる第1,第2プロトコルに基づいてデータ転送を行う第1,第2上位装置の各通信ポートと、論理ボリュームとを対応付けることにより構成される。そして、アクセス制御部は、各プロトコルに共通のアクセス管理情報を参照し、上位装置からのアクセス要求を許可するか否かを制御する。これにより、各プロトコル毎にそれぞれ個別にアクセス管理用の情報を備える場合に比べて、必要なデータサイズを小さくすることができ、またアクセス管理の構造を簡素化することができる。 The access management information is configured by associating each communication port of the first and second host devices that perform data transfer based on different first and second protocols with a logical volume. Then, the access control unit refers to access management information common to each protocol, and controls whether or not to permit an access request from a higher-level device. As a result, the required data size can be reduced and the access management structure can be simplified compared to the case where access management information is individually provided for each protocol.
アクセス管理情報は、論理ボリュームを識別するボリューム識別情報と第1上位装置の通信ポートを識別する第1ポート識別情報とを対応付けた第1管理情報と、第2上位装置の通信ポートを識別する第2ポート識別情報を記憶する第2管理情報とを、関連付けることにより構成することができる。 The access management information identifies first management information in which volume identification information for identifying a logical volume and first port identification information for identifying a communication port of the first higher-level device are associated, and a communication port of the second higher-level device. It can be configured by associating with the second management information storing the second port identification information.
ここで、例えば、第1ポート識別情報と外形的には共通のデータ構造を備えた疑似第1ポート識別情報を第1管理情報に記憶させることにより、第1管理情報と第2管理情報とを対応付けてもよい。例えば、疑似第1ポート識別情報は、無効な第1ポート識別情報として取り扱われるように、第1ポート識別情報の生成規則とは別の規則に基づいて生成することができる。仮に、第1ポート識別情報をWWN、第2ポート識別情報をiSCSI_NAMEとすると、第1管理情報から第2管理情報に誘導するために、第2管理情報に関連づけられるWWNは、疑似WWNとする。 Here, for example, the first management information and the second management information are stored by storing the pseudo first port identification information having a data structure that is externally common to the first port identification information in the first management information. You may associate. For example, the pseudo first port identification information can be generated based on a rule different from the generation rule of the first port identification information so as to be treated as invalid first port identification information. If the first port identification information is WWN and the second port identification information is iSCSI_NAME, the WWN associated with the second management information is assumed to be a pseudo WWN in order to guide from the first management information to the second management information.
疑似WWNは、WWNと外形上のデータ構造(例えばデータサイズ等)のみが共通し、実体は相違する情報である。例えば、正規の規則に従うWWNは、上位4バイト及び下位4バイトの合わせて合計8バイトの中に、有意なビットがセットされる。これに対し、疑似WWNでは、例えば、上位4バイトにヌルデータをセットする。疑似WWNの下位4バイトには、例えば、第2管理情報におけるiSCSI_NAMEの登録位置(エントリ位置、エントリ番号)をセットする。疑似WWNは、WWN解釈上無効なものとして取り扱われる。無効なWWNの場合に、アクセス制御部が第2管理情報を参照するように構成すれば、第1プロトコルに関する第1管理情報の仕組みをそのまま利用し、若干の構成を加えるだけで第2プロトコルによるアクセス管理を行うことができる。 The pseudo WWN is information that is common to the WWN only in the data structure (for example, data size) on the outer shape and is different in substance. For example, a significant bit is set in a total of 8 bytes of the WWN according to the regular rule, including the upper 4 bytes and the lower 4 bytes. On the other hand, in the pseudo WWN, for example, null data is set in the upper 4 bytes. In the lower 4 bytes of the pseudo WWN, for example, the registration position (entry position, entry number) of iSCSI_NAME in the second management information is set. The pseudo WWN is treated as invalid in terms of WWN interpretation. If the access control unit is configured to refer to the second management information in the case of an invalid WWN, the mechanism of the first management information related to the first protocol is used as it is, and the second protocol is added with a slight configuration. Access management can be performed.
本発明に従うストレージ装置及びストレージ装置の排他制御方法を構成する各機能、手段、ステップの全部または一部は、コンピュータプログラムから構成可能である。このコンピュータプログラムは、例えば、ハードディスクや半導体メモリまたは光ディスク等の記憶媒体に固定して流通することができる。あるいは、このコンピュータプログラムは、インターネット等の通信ネットワークを介して配信することもできる。 All or some of the functions, means, and steps constituting the storage apparatus and the exclusive control method for the storage apparatus according to the present invention can be configured by a computer program. This computer program can be distributed in a fixed manner on a storage medium such as a hard disk, a semiconductor memory, or an optical disk. Alternatively, the computer program can be distributed via a communication network such as the Internet.
以下、図面に基づき、本発明の実施の形態を説明する。本実施形態では、詳細はさらに後述するが、第1プロトコルに基づいて、少なくとも一つ以上の第1上位装置の通信ポートとの間のデータ授受を制御する第1上位インターフェース制御部と、第2プロトコルに基づいて、少なくとも一つ以上の第2上位装置の通信ポートとの間のデータ授受を制御する第2上位インターフェース制御部と、少なくとも一つ以上の記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、第1,第2上位インターフェース制御部及び下位インターフェース制御部により共用されるメモリ部と、記憶デバイス上に設けられた少なくとも一つ以上の論理ボリュームと、を備えたストレージ装置を用いる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, as will be described in detail later, a first higher-level interface control unit that controls data exchange with at least one communication port of the first higher-level device based on the first protocol, and a second Based on the protocol, a second higher-level interface control unit that controls data exchange with at least one communication port of the second higher-level device, and a lower-level interface that controls data transfer with at least one or more storage devices A storage apparatus including a control unit, a memory unit shared by the first and second upper interface control units and the lower interface control unit, and at least one logical volume provided on the storage device is used.
そして、このストレージ装置では、第1,第2上位装置の各通信ポートと論理ボリュームとを対応付けて構成される共通のアクセス管理情報を保持するステップと、保持された共通のアクセス管理情報を参照することにより、第1,第2上位装置から論理ボリュームへのアクセス要求の実行可否を判断するステップと、アクセス要求の実行が許可された場合は、アクセス要求の内容に応じた処理を実行するステップと、を実行することにより、異種プロトコル間で共通する論理ボリュームの排他制御を実現する。 In this storage device, a step of holding common access management information configured by associating each communication port of the first and second host devices with a logical volume, and referring to the held common access management information To determine whether or not the access request to the logical volume can be executed from the first and second host devices, and if execution of the access request is permitted, execute a process according to the content of the access request By executing the above, exclusive control of a logical volume that is common among different protocols is realized.
図1は、本実施形態の全体概念を示す説明図である。このストレージシステムは、複数のホストコンピュータ(以下、「ホスト」)1A,1Bと、これら各ホスト1A,1Bにより利用されるストレージ装置3とを備えている。ホスト1Aは、複数の通信ポート1C(ホストバスアダプタ)を備えており、ネットワーク2A(FC_SAN)を介して、ストレージ装置3と接続されている。ホスト1Bは、複数の通信ポート1D(ネットワークカード)を備えており、ネットワーク2B(iSCSI_SAN)を介して、ストレージ装置3と接続されている。以下、通信ポートを「ポート」と略記する。
FIG. 1 is an explanatory diagram showing the overall concept of the present embodiment. This storage system includes a plurality of host computers (hereinafter referred to as “hosts”) 1A and 1B, and a
ストレージ装置3は、ファイバチャネルプロトコルに基づいて、ホスト1Aの複数のポート1Cとの間のデータ授受をそれぞれ制御するチャネルアダプタ(以下、「CHA」)4Aと、iSCSIに基づいて、ホスト1Bの複数のポート1Dとの間のデータ授受をそれぞれ制御するCHA4Bと、各ディスクドライブ8とのデータ授受をそれぞれ制御する複数のディスクアダプタ(以下、「DKA」)7と、各CHA4A,4B及び各DKA7により共用される共有メモリ5及びキャッシュメモリ6と、各ディスクドライブ8の記憶領域上に設定された複数の論理ボリューム(以下、「LU」)9A,9Bとを備えている。CHA4Aは、各ポート1Cに対応する複数のポート4A1を備え、CHA4Bは、各ポート1Dに対応する複数のポート4B1を備えている。
The
なお、図示を省略しているが、各ホスト1A,1B間は、例えば、LAN(Local Area Network)、WAN(Wide Area Netwrok)、インターネット等の通信ネットワークを介して双方向のデータ通信可能に接続することができる。
Although not shown, the
共有メモリ5には、論理ボリューム9A,9Bへのアクセス管理を行うためのテーブル5A,5B及び5Cがそれぞれ予め記憶されている。テーブル5Aには、例えば、LUNやLU番号等のような各LU9A,9Bをそれぞれ識別するための情報が記憶されており、テーブル5Bには、例えば、WWN等のような各ポート1C,1Dをそれぞれ識別するための情報が記憶されている。
In the shared
ここで、各ポート1Cは、FC_SANを利用して通信を行うため、WWNにより一意に特定することができる。これに対し、各ポート1Dは、iSCSI_SANを利用して通信を行うため、WWNを用いて特定することができない。
Here, since each
そこで、本実施形態では、iSCSI_NAMEを採用する。iSCSI_NAMEは、世界中で一意に特定できる情報であり、iSCSIノードの設置場所に依存せず、その全生涯にわたって不変の情報である。iSCSI_NAMEには、2種類のものが規定されている。その一つは、IQNと呼ばれるもので、IPドメイン名を使用したiSCSI Qualified Nameである。他の一つは、EUIと呼ばれるもので、IEEE(the Institute of Electrical and Electronic Engineers )の64ビットExtended Unique Identifierを使用したIEEE EUI-64 Formatを使用する。いずれの場合も世界で一意、生涯不変の名称であり、テキストフォーマットで記述される。 Therefore, in this embodiment, iSCSI_NAME is adopted. The iSCSI_NAME is information that can be uniquely identified all over the world, and is information that does not depend on the installation location of the iSCSI node and remains unchanged throughout its lifetime. Two types of iSCSI_NAME are defined. One of them is called IQN, which is an iSCSI Qualified Name using an IP domain name. The other is called EUI, which uses the IEEE EUI-64 Format using the 64-bit Extended Unique Identifier of the Institute of Electrical and Electronic Engineers (IEEE). In either case, the name is unique in the world and does not change throughout the life, and is written in text format.
しかし、WWNのデータサイズとiSCSI_NAMEのデータサイズとは相違する。WWNが8バイトであるのに対し、iSCSI_NAMEは、その規格上の最大サイズが223バイトとなっている。テーブル5Bのデータ登録サイズをiSCSI_NAMEに合わせて223バイトとすることも考えられる。しかし、この場合は、テーブル5Bのサイズが大きくなり、また、無駄な領域も増加する。何故なら、このストレージシステムでは、FC_SANとiSCSI_SANとが混在しており、全てのノード(イニシエータ)がiSCSI_NAMEを有しているわけではないためである。また、テーブル5Bの構造変化は、FC_SANに対応する他の各部(テーブルやプログラム)の変更を引き起こすため、コストも増大する。 However, the data size of WWN is different from the data size of iSCSI_NAME. While WWN is 8 bytes, iSCSI_NAME has a maximum size of 223 bytes according to the standard. It is also conceivable that the data registration size of the table 5B is 223 bytes in accordance with iSCSI_NAME. However, in this case, the size of the table 5B increases and the useless area also increases. This is because in this storage system, FC_SAN and iSCSI_SAN are mixed and not all nodes (initiators) have iSCSI_NAME. In addition, the change in the structure of the table 5B causes a change in other units (tables and programs) corresponding to FC_SAN, which increases the cost.
そこで、本実施形態では、FC_SANに対応して構築された既存の枠組みをできるだけ変化させることなく利用すべく、新たなテーブル5Cを導入し、このテーブル5Cとテーブル5Bとを対応付ける。 Therefore, in this embodiment, a new table 5C is introduced and the table 5C and the table 5B are associated with each other in order to use the existing framework constructed corresponding to FC_SAN without changing as much as possible.
つまり、WWNを管理するテーブル5B内に、テーブル5Cへのポインタを含め、iSCSI_NAMEはテーブル5Cで管理する。テーブル5Bに登録されるテーブル5Cへのポインタは、WWNのような形態で記述されるが、WWNの生成規則に準拠していないため、有効なWWNとして扱われることはない。従って、FC_SAN用のCHA4Aがテーブル5Bを参照した場合に、テーブル5Cへのポインタとしての疑似WWNを誤って解釈するおそれはない。一方、iSCSI_SAN用のCHA4Bは、テーブル5Bを参照して無効な疑似WWNを発見すると、この疑似WWNに誘導されてテーブル5Cを参照し、目的とするiSCSI_NAMEを検出する。
In other words, a pointer to the table 5C is included in the table 5B for managing the WWN, and the iSCSI_NAME is managed in the table 5C. The pointer to the table 5C registered in the table 5B is described in the form of WWN, but is not treated as a valid WWN because it does not comply with the WWN generation rule. Therefore, when the
このようにして、ストレージ装置3は、それぞれ異なるプロトコルに従うホスト1A,1Bからの論理ボリューム9A,9Bに対するアクセスを制御することができる。従って、例えば、ホスト1Aは一方の論理ボリューム9Aを排他的に使用可能であり、ホスト1Bは他方の論理ボリューム9Bを排他的に使用可能である。これに限らず、後述の実施例からも明らかなように、各ホスト1A,1Bが一つまたは複数の論理ボリュームを共有することもできる。
In this way, the
以上のように、本実施形態では、FC_SAN用に構築された既存のアクセス管理システムをそのまま利用し、比較的低コストかつ簡素な構成で、iSCSI用のアクセス管理まで拡張することができる。以下、本実施形態の詳細をさらに説明する。 As described above, in this embodiment, an existing access management system constructed for FC_SAN can be used as it is, and can be extended to iSCSI access management with a relatively low cost and simple configuration. Hereinafter, details of the present embodiment will be further described.
図2は、ストレージシステムの全体構成の概略を示すブロック図である。このシステムは、後述のように、複数のホスト10A,10Bと、少なくとも一つ以上のストレージ装置100とを備えている。
FIG. 2 is a block diagram showing an outline of the overall configuration of the storage system. As will be described later, this system includes a plurality of
各ホスト10A,10Bは、例えば、サーバ、パーソナルコンピュータ、ワークステーション等として実現されるものである。各ホスト10A,10Bは、図外に位置する複数のクライアント端末と図示せぬ通信ネットワークを介して接続されており、各クライアント端末に情報処理サービスを提供する。
Each of the
ホスト10Aは、例えば、アプリケーションプログラム(以下、「アプリケーション」)群11Aと、パス管理プログラム12Aと、複数のホストバスアダプタ(以下、「HBA」)13Aとを備えて構成することができる。同様に、ホスト10Bも、アプリケーション群11Bと、パス管理プログラム12Bと、複数のHBA13Bとを備えて構成可能である。
For example, the
アプリケーション群11A,11Bは、例えば、各種のデータベースソフトウェア等のような、ストレージ装置3の記憶するデータを利用する情報処理プログラムである。パス管理プログラム12A,12Bは、例えば、各HBA13A,13Bを流れるデータ量を制御したり(ロードバランス機能)、各HBA13A,13Bのいずれかに障害が発生した場合に通信ルートを切り換える(フェイルオーバ機能)。即ち、パス管理プログラム12A,12Bは、通信パスを制御する。
The
HBA13Aは、ファイバチャネルプロトコルに基づいたデータ転送を行うものであり、HBA13Bは、iSCSIに基づいたデータ転送を行うものである。HBA13Bは、後述のように、SCSIコマンドやデータをTCP/IPパケットに包み込んだり、TCP/IPからSCSIコマンドを取り出したりする。このように、HBA13Bは、HBA13Aに比べて、その処理負荷が大きいため、TCP/IPのプロトコル処理を専門に行うTCP/IPオフロードエンジン(TOE)を搭載するのが好ましい。なお、図中では、FC_SANに参加するホスト10AとiSCSI_SANに参加するホスト10Bとを、それぞれ1台ずつ示しているが、これに限らず、各ホスト10A,10Bをそれぞれ複数ずつ設けることができる。
The
ホスト10Aとストレージ装置100とを接続するネットワークCN2Aは、FC_SANとして構成される。ホスト10Bとストレージ装置100とを接続するネットワークCN2Bは、iSCSI_SANとして構成される。iSCSI_SANでは、IPネットワークを利用してブロックレベルのデータ転送を行う。
The network CN2A that connects the
ストレージ装置100は、それぞれ後述するように、少なくとも一つ以上のファイバチャネル用CHA(以下、「CHF」)110Aと、少なくとも一つ以上のiSCSI用CHA(以下、「CHI」)110Bと、複数のDKA120と、ディスクドライブ130と、キャッシュメモリ140と、共有メモリ150と、スイッチ部160と、サービスプロセッサ(以下、「SVP」)170とを備えている。
As will be described later, the
CHF110Aは、ホスト10Aとの間のデータ転送を制御するもので、複数のポート111Aを備えている。ストレージ装置100には、複数のCHF110Aを設けることができる。同様に、CHI110Bは、ホスト10Bとの間のデータ転送を制御するもので、複数のポート111Bを備えている。ストレージ装置100には、複数のCHI110Bを設けることができる。CHF110A,CHI110Bの詳細はさらに後述するが、両者は、外部ネットワークCN2A,CN2Bに関するプロトコル処理の点で相違するだけであり、ストレージ装置100内での処理は共通する。
The
各DKA120は、各ディスクドライブ130との間のデータ通信をそれぞれ制御するものである。各DKA120と各ディスクドライブ130とは、例えば、SAN等の通信ネットワークCN3を介して接続されており、ファイバチャネルプロトコルに従ってブロック単位のデータ転送を行う。CHF110A,CHI110Bも同様であるが、各DKA120は、例えば、プロセッサやメモリ等が実装されたプリント基板と、メモリに格納された制御プログラム(いずれも不図示)とをそれぞれ備えており、これらのハードウェアとソフトウェアとの協働作業によって、それぞれ所定の機能を実現する。
Each
各ディスクドライブ130は、例えば、ハードディスクドライブ(HDD)、半導体メモリ装置、光ディスク装置、光磁気ディスク装置等として実現可能である。記憶方式の異なるディスクドライブを混在させてもよい。各ディスクドライブ130は、物理的な記憶デバイスである。RAID構成等によっても相違するが、例えば、4個1組のディスクドライブ130でRAIDグループ131が構築され、このRAIDグループ131上に、仮想的な記憶領域であるLU132A,132Bを設定することができる。
Each
なお、ストレージ装置100の有する記憶資源が、全てストレージ装置100内に存在している必要性は必ずしもない。ストレージ装置100は、例えば、ストレージ装置100の外部に存在する記憶資源のLUNを自己のLUNやLUにマッピングすることにより、外部記憶資源をあたかも自己の記憶資源であるかのように取り込むことができる。
Note that it is not always necessary that all storage resources of the
キャッシュメモリ140は、例えば、ユーザデータ等を記憶するものである。キャッシュメモリ140は、例えば、揮発または不揮発のメモリから構成される。ホスト10A,10Bから書き込まれたデータ(ライトデータ)や、各ホスト10A,10Bに読み出されたデータ(リードデータ)は、キャッシュメモリ140を介して、受け渡されるようになっている。
For example, the
共有メモリ(または制御メモリ)150は、例えば、揮発または不揮発のメモリから構成される。共有メモリ150には、例えば、制御情報や管理情報T等が記憶される。共有メモリ150及びキャッシュメモリ140は、それぞれ複数個設けることができる。また、同一のメモリ基板にキャッシュメモリ140と共有メモリ150とを混在させて実装することもできる。あるいは、メモリの一部をキャッシュ領域として使用し、他の一部を制御領域として使用することもできる。
The shared memory (or control memory) 150 is composed of, for example, a volatile or nonvolatile memory. For example, control information, management information T, and the like are stored in the shared
スイッチ部160は、各CHF110A,CHI110Bと、各DKA120と、キャッシュメモリ140と、共有メモリ150とをそれぞれ相互に接続する。スイッチ部160は、例えば、超高速クロスバスイッチ等として構成可能である。
The
SVP170は、例えば、LAN等の内部ネットワークCN4を介して、各CHF110A,CHI110B及び各DKA120とそれぞれ接続可能である。これに限らず、SVP160をCHF110AまたはCHI110Bのいずれか一方または双方にのみ接続し、CHF110AまたはCHI110Bのいずれかを介して、内部の状態を示す情報を収集するように構成してもよい。SVP170は、例えば、LAN等の通信ネットワークを介して、複数の管理端末(いずれも不図示)に接続可能であり、ストレージ装置100内で収集した各種の情報を、生のままで、あるいは統計的に処理した上で、外部の管理端末に提供することができる。
The
図3は、CHI110Bの概略構成を示すブロック図である。CHI110Bは、例えば、iSCSIポート制御部111B(図2中では、単に「ポート」として述べた)と、チャネルプロセッサ(以下、「CHP」)112と、ローカルメモリ113と、マイクロプログラムアダプタ(以下、「MPA」)114と、データ転送アダプタ(以下、「DTA」)115とを備えて構成することができる。なお、図中では、一つのiSCSIポートに関連する構成のみを示しているが、実際には複数のポートを備えることができる。
FIG. 3 is a block diagram showing a schematic configuration of the
iSCSIポート制御部111Bは、外部のネットワークCN2Bで使用される外部プロトコルとしてのTCP/IPと、ストレージ装置100の内部でデータ転送に使用される内部プロトコルとしてのファイバチャネルプロトコルとの変換処理を担当する。
The iSCSI
CHP112は、CHI110Bの全体的な制御を行うもので、例えば、リードコマンドやライトコマンド等のSCSIコマンドを処理する。iSCSIポート制御部111BによりTCP/IPパケット内から取り出されたSCSIコマンドは、CHP112からMPA114を介して、共有メモリ150に記憶される。DKA120は、共有メモリ150を随時参照しており、未処理のコマンドを発見すると、そのコマンドを処理する。DKA120による処理結果は、共有メモリ150からMPA114を介して、CHP112に報告される。
The
iSCSIポート制御部111BによりTCP/IPパケットから取り出されたライトデータは、CHP112からDTA115を介して、キャッシュメモリ140に記憶される。また、DKA120によりディスクドライブ130から読み出されたリードデータは、キャッシュメモリ140に記憶される。このリードデータは、キャッシュメモリ140からDTA115を介して、CHP112に読み込まれる。
The write data extracted from the TCP / IP packet by the iSCSI
ローカルメモリ113は、例えば、不揮発メモリから構成される。ローカルメモリ113には、iSCSIポート制御部111BまたはCHP112により使用される管理情報や制御情報が格納されている。幾つかを紹介すると、例えば、ローカルメモリ113には、インデックステーブルT1Bと、KEYテーブルT2Bと、iSCSI_NAMEテーブルT3Bと、リソーステーブルT4B等を記憶させることができる。ここで、インデックステーブルT1Bは、後述するインデックステーブルT1の一部がコピーされたものである。同様に、KEYテーブルT2BはKEYテーブルT2の、iSCSI_NAMEテーブルT3BはiSCSI_NAMEテーブルT3の、それぞれ必要な一部をコピーしたものである。
The
即ち、共有メモリ150に記憶されたテーブルT1〜T3等のうち、そのCHI110Bで使用する可能性のあるデータのみがローカルメモリ113にコピーされる。ローカルメモリ113内のコピーデータは、適当なタイミングで更新される。なお、リソーステーブルT4Bは、HBA13Bに割り当てられたリソースを管理するテーブルである。
That is, of the tables T1 to T3 stored in the shared
図4は、CHF110Aの概略構成を示すブロック図である。図3で述べたと同様に、図中では、一つのポートに関連する構成に注目して説明するが、実際には複数のポートを備えることができる。
FIG. 4 is a block diagram showing a schematic configuration of the
CHF110Aは、FCポート制御部111Aと、CHP112と、ローカルメモリ113と、MPA114と、DTA115とを備えている。CHF110AとCHI110Bとを比較すると、CHF110Aでは、iSCSIポート制御部111Bに代えて、FCポート制御部111Aが設けられている。FCポート制御部111Aは、ファイバチャネルプロトコルを制御する。CHF110Aのローカルメモリ113には、CHI110Bのそれとほぼ同様に、インデックステーブルT1Aと、KEYテーブルT2Aと、WWNテーブルT3Aと、リソーステーブルT4Aとがそれぞれ記憶されている。ここで、各テーブルT1A,T2A及びT4Aは、上述した各テーブルT1B,T2B及びT4Bと同様のため、説明を省略する。
WWNテーブルT3Aは、iSCSI_NAMEテーブルT3の一部ではなく、各CHF110Aが各FCイニシエータのWWNを管理するために用いるテーブルである。WWNテーブルT3Aは、例えば、WWNとS_IDとLUN等を対応付けることにより構成することができる。これ以外の構造で生成することもできる。
The
The WWN table T3A is not a part of the iSCSI_NAME table T3, but is a table used by each
次に、ファイバチャネル及びiSCSIの両プロトコルについて簡単に説明する。まず、図5は、ファイバチャネルのレイヤ構成を示す説明図である。ファイバチャネルは、下から順番に、FC−0層、FC−1層、FC−2層、FC−4層から構成される。なお、FC−3層は、共通サービスを規定する層であるが、まだ標準化されていない。 Next, both Fiber Channel and iSCSI protocols will be briefly described. First, FIG. 5 is an explanatory diagram showing the layer configuration of the fiber channel. The fiber channel is composed of an FC-0 layer, an FC-1 layer, an FC-2 layer, and an FC-4 layer in order from the bottom. The FC-3 layer defines a common service, but has not been standardized yet.
FC−0層は、光ファイバケーブル、メタルケーブル、コネクタ等の物理メディアや、伝送速度、距離及び信号処理等を規定する。 The FC-0 layer defines physical media such as optical fiber cables, metal cables, connectors, transmission speed, distance, signal processing, and the like.
FC−1層は、8B/10B符号化方式として知られているように、データの符号化/復号化等を規定する。 The FC-1 layer defines data encoding / decoding and the like as known as the 8B / 10B encoding system.
FC−2層は、最小の伝送単位であるフレームの組立とフロー制御、データ伝送手順等を規定する。フロー制御は、例えば、クラス1,2,3,4,5,6,F等に分類されたサービスクラスによって規定される。比較的よく使用されるのは、クラス2,クラス3,,クラスFである。幾つかのクラスについて簡単に説明する。
The FC-2 layer defines frame assembly, flow control, data transmission procedure, and the like, which are the minimum transmission units. The flow control is defined by, for example, service classes classified into
クラス1は、2つのポート間で物理帯域を全て使用可能なサービスであり、他のクラスに比べて、データ転送量が最大となる。クラス2では、2つのポートが物理帯域を占有することなくデータ伝送を行う。クラス2で接続された2つのポートのいずれか一方に対し、別のポートがクラス2で接続可能である。クラス2では、フレーム単位でデータの受信確認及び内容確認(ACK)を行う。
これに対し、クラス3では、クラス2とは異なり、フレームの受信は確認するが、内容の確認までは行わない。クラス3では、送信エラーの処理は、上位層(FC−4)に委ねられる。原理上、クラス3は、クラス2に比べると通信品質が低下する。しかし、ファイバチャネルでは、FC−1層において8B/10B符号化方式を採用し、ビットエラーレート(BER)を低く抑えているため、実用上の問題はない。クラス3では、ACKフレームによる確認を省略する分だけ、クラス2よりも高速なデータ伝送を実現できる。
On the other hand, unlike
クラスFは、ファブリックトポロジの制御用データを伝送するために使用される。ファブリックスイッチ(FCスイッチ)同士をEポート(Expansion Port)を介して接続する場合、Eポート間のデータ伝送は、クラスFに従う。 Class F is used to transmit data for controlling the fabric topology. When fabric switches (FC switches) are connected to each other via an E port (Expansion Port), data transmission between the E ports conforms to class F.
FC−3層は、ネームサービスやマルチキャスト等のファブリックサービスを規定する層である。 The FC-3 layer is a layer that defines fabric services such as name service and multicast.
FC−4層は、FCP(Fibre Channel Protocol)やIP、FICON(Fibre Connect)等の上位プロトコルへのマッピングを担当する層である。 The FC-4 layer is a layer in charge of mapping to higher-level protocols such as FCP (Fibre Channel Protocol), IP, and FICON (Fibre Connect).
図5に示すように、ファブリックトポロジの場合、ホストとストレージ装置との間に、ファブリックスイッチが介在し、各Nポート(Node Port)は、FC−0層でそれぞれ接続される。各FC−0層は独立しているため、一方が光ファイバケーブル、他方がメタルケーブルであってもデータ転送を行うことができる。 As shown in FIG. 5, in the case of the fabric topology, a fabric switch is interposed between the host and the storage apparatus, and each N port (Node Port) is connected in the FC-0 layer. Since each FC-0 layer is independent, data transfer can be performed even if one is an optical fiber cable and the other is a metal cable.
図6は、データ構造を示す説明図である。一連の仕事を行う複数のフレーム210から一つのシーケンス200が構成される。図示を省略するが、一群のシーケンス200により、一つのエクスチェンジが構成される。例えば、ストレージ装置100から一連のデータを読み出す一つのリードオペレーションは、一つのエクスチェンジに相当する。
FIG. 6 is an explanatory diagram showing a data structure. One
フレーム210は、ファイバチャネルの最小伝送単位である。一つのフレーム210は、フレーム開始を示すSOF(Start of Frame)211と、ヘッダ212と、データフィールド213と、CRC(Cyclic Redundancy Check)214と、フレーム終了を示すEOF(End of Frame)215とから構成される。ここで、SOFは4バイト、ヘッダは24バイト、データフィールド213は可変長であるが最大値は2112バイト、CRCは4バイト、EOFも4バイトである。
The
ヘッダ212には、例えば、相手先アドレスであるD_ID(Destination_ID)212Aと、発信元アドレスであるS_ID(Source_ID)212Bと、F_CTL(Frame Control)212Cと、SEQ_ID(Sequence_ID)212Dと、SEQ_CNT(Sequence_Count)212E等が含められる。この他、エクスチェンジID等もヘッダ212に含まれるが省略する。
The
図7は、iSCSIのレイヤ構造を示す説明図である。下から順番に、物理層及びデータリンク層、IP層、TCP層、iSCSI層、SCSI層、SCSIアプリケーション層を積み上げて構成される。 FIG. 7 is an explanatory diagram showing an iSCSI layer structure. The physical layer, data link layer, IP layer, TCP layer, iSCSI layer, SCSI layer, and SCSI application layer are stacked in order from the bottom.
IP層では、IPアドレスを指定したデータ転送が行われ、TCP層ではTCPポート番号を指定したデータ転送が行われる。iSCSI層では、iSCSI_NAMEを指定したデータ転送が行われ、SCSI層では、LU番号やLBA(Logical Block Address)を指定したデータ転送が行われる。iSCSI層は、SCSI層とTCP層との間に位置し、SCSIコマンド及びSCSIレスポンスをiSCSI_PDUと呼ばれるカプセルに収め、TCPコネクションによりデータを転送させるものである。 In the IP layer, data transfer specifying an IP address is performed, and in the TCP layer, data transfer specifying a TCP port number is performed. In the iSCSI layer, data transfer specifying iSCSI_NAME is performed, and in the SCSI layer, data transfer specifying LU number and LBA (Logical Block Address) is performed. The iSCSI layer is located between the SCSI layer and the TCP layer. The SCSI command and the SCSI response are stored in a capsule called iSCSI_PDU, and data is transferred through the TCP connection.
図8は、iSCSIで使用されるデータ構造を示す説明図である。ホストのSCSIアプリケーション層からSCSI層を介して出力されるコマンドは、図8に示すように、コマンド及びデータ(またはコマンドのみ)を含んだコマンドフレーム340である。コマンドフレーム340は、例えば、ライトコマンドまたはリードコマンド等のオペレーションコードが先頭バイトに含まれる6バイトのコマンドフレームである。
FIG. 8 is an explanatory diagram showing a data structure used in iSCSI. The command output from the SCSI application layer of the host through the SCSI layer is a
このコマンドフレーム340が、iSCSI層に到達すると、iSCSI層は、SCSIコマンドフレームをiSCSI_PDU(Protocol Data Unit)330に変換する。このPDU330がTCP層を通過すると、TCPパケット320に変換され、さらに、このTCPパケット320は、IP層を通過することにより、IPパケット310となる。そして、MAC(Media Access Control)アドレスが付加されて、可変長のMACフレーム300が完成する。データフィールドには、1500バイトのデータを格納可能である。
When the
SCSIコマンドフレーム340は、例えば、ベーシックヘッダセグメント341と、アディショナルヘッダセグメント342と、データセグメント343とを含む。そして、ベーシックヘッダセグメント341には、例えば、オペレーションコード341Aと、データセグメント長341Bと、LUN番号341Cと、イニシエータタスクタグ341Dと、オペレーションコード仕様フィールド341Eとを含めることができる。
The
図示したプロトコル構成の下では、物理層及びデータリンク層同士、IP層同士、TCP層同士、iSCSI層同士、SCSI層同士、及びSCSIアプリケーション層同士が順にセッションすることにより、ホストから出力されたI/O要求を、ストレージ装置100は処理することができる。
Under the protocol configuration shown in the figure, the physical layer and the data link layer, the IP layers, the TCP layers, the iSCSI layers, the SCSI layers, and the SCSI application layers sequentially session with each other to output the I The
例えば、物理層及びデータリンク層同士のセッションでは、ARP(Address Resolution Protocol)要求とそれに対するARP応答が行われることにより、互いのMACアドレスをそれぞれ取得する。IP層同士のセッションでは、ping要求とそれに対するping応答が行われることにより、互いに、相手(IPアドレス)が存在するかの確認が行われる。 For example, in a session between the physical layer and the data link layer, an ARP (Address Resolution Protocol) request and an ARP response to the ARP are performed to acquire each other's MAC address. In a session between IP layers, a ping request and a ping response to the ping request are performed to confirm whether or not the other party (IP address) exists.
TCP層同士のセッションでは、シーケンス番号を同期させるための3つのパケットが交換される。iSCSI層同士のセッションでは、ログイン要求とそれに対するログイン応答がやり取りされるログインフェーズによって、iSCSIの接続が確立される(例えば、IPアドレス、ログイン要求元ホストのiSCSI_NAME及びTCPポート番号が使用される)。SCSI層同士のセッションでは、例えば、リードコマンドやライトコマンド等のSCSIコマンドがホストからストレージ装置100へ送信される。SCSIアプリケーション層同士のセッションでは、ライトデータがホストからストレージ装置100に送信され、または、リードデータがストレージ装置100からホストへ送信される。
In a session between TCP layers, three packets for synchronizing sequence numbers are exchanged. In a session between iSCSI layers, an iSCSI connection is established by a login phase in which a login request and a login response are exchanged (for example, the IP address, the iSCSI_NAME of the login request source host, and the TCP port number are used). . In a session between SCSI layers, for example, a SCSI command such as a read command or a write command is transmitted from the host to the
次に、図9〜図15を参照して、論理ボリュームへのアクセス制御(排他制御)を実現するための各テーブルの構造を説明する。 Next, the structure of each table for realizing access control (exclusive control) to the logical volume will be described with reference to FIGS.
図9には、インデックステーブルT1と、KEYテーブルT2と、iSCSI_NAMEテーブルT3とがそれぞれ示されている。インデックステーブルT1は、例えば、各LUN番号毎に、そのLUNにアクセス可能なHBAが制限されているかを管理する。「1」がセットされている場合は、そのLUNには特定のHBA(イニシエータ)のみがアクセス可能であることを示す。 FIG. 9 shows an index table T1, a KEY table T2, and an iSCSI_NAME table T3. The index table T1 manages, for example, whether for each LUN number, the HBA that can access the LUN is restricted. When “1” is set, it indicates that only a specific HBA (initiator) can access the LUN.
ここで、各LUN番号毎に、複数列のフラグビットが設けられている。各列の位置は、KEYテーブルT2のエントリ位置に対応する。つまり、インデックステーブルT1の最も左端のビット列は、KEYテーブルT2の一番上のエントリに対応し、以下同様に、インデックステーブルT1のビット列を右に進むに連れて、対応するKEYテーブルT2のエントリ位置が下がっていく。 Here, a plurality of columns of flag bits are provided for each LUN number. The position of each column corresponds to the entry position of the KEY table T2. That is, the leftmost bit string of the index table T1 corresponds to the top entry of the KEY table T2, and similarly, the entry position of the corresponding KEY table T2 is advanced as the bit string of the index table T1 moves to the right. Will go down.
従って、LUN番号にフラグが立った場合(「1」にセットされた場合)、そのフラグの位置が、KEYテーブルT2の対応エントリを直接的に示す。このようにして、インデックステーブルT1とKEYテーブルT2とは、相互に関連付けられる。 Therefore, when a flag is set on the LUN number (when set to “1”), the position of the flag directly indicates the corresponding entry in the KEY table T2. In this way, the index table T1 and the KEY table T2 are associated with each other.
KEYテーブルT2には、そのLUの予約(排他的使用)に用いるキー情報(図中の「KEY1」等)と、そのLUを排他的に使用するHBAを特定するためのWWNとが対応付けられている。 In the KEY table T2, key information (such as “KEY1” in the figure) used for reservation (exclusive use) of the LU is associated with a WWN for specifying an HBA that exclusively uses the LU. ing.
ここで、そのLUにアクセスするHBAがファイバチャネルに従うHBA13Aである場合は、そのLUに対応するエントリ位置に、そのHBA13Aが有するWWNとキー情報とが登録される。一方、そのLUにアクセスするHBAがiSCSIに従うHBA13Bである場合は、そのLUに対応するエントリ位置に、そのHBA13Bに間接的に対応付けられる疑似WWN及びキー情報が登録される。図9に示す例では、WWN1及びWWN4が、疑似WWNである。
Here, when the HBA that accesses the LU is the
疑似WWNとは、WWNと外形上の構造は等しく8バイトのデータサイズを備えるが、正規のWWN生成規則に準拠しない無効な値にセットされている、WWN風の情報であると定義することができる。具体的には、例えば、上位4バイトにヌルデータをセットすることにより、WWNに似せた情報を得ている。疑似WWNの下位4バイトには、iSCSI_NAMEテーブルT3におけるエントリ位置がセットされる。即ち、図示の例では、疑似WWN1の下位4バイトには、iSCSI_NAMET3の1番目のエントリ位置を示す値がセットされる。同様に、疑似WWN4の下位4バイトには、iSCSI_NAMEテーブルT3の4番目のエントリ位置を示す値がセットされる。ここで、KEYテーブルT2とiSCSI_NAMEテーブルT3とを比較すると明らかなように、各テーブルT2,T3のエントリ位置は、それぞれ対応している。つまり、KEYテーブルT2の1番上のエントリ位置にセットされた疑似WWN1に対応するiSCSI_NAMEは、iSCSI_NAMEテーブルT3の一番上のエントリ位置に登録されている。同様に、KEYテーブルT2の上から4番目のエントリ位置にセットされた疑似WWN4に対応するiSCSI_NAMEは、iSCSI_NAMEテーブルT3の4番目のエントリ位置にセットされている。このように、KEYテーブルT2とiSCSI_NAMEテーブルT3とのエントリ位置を対応付けることにより、両テーブルT2,T3を相互に関連付けている。 Pseudo WWN is defined to be WWN-like information that is set to an invalid value that does not conform to the regular WWN generation rules, although the structure of the WWN is equal to the external structure and has a data size of 8 bytes. it can. Specifically, for example, information similar to WWN is obtained by setting null data in the upper 4 bytes. The entry position in the iSCSI_NAME table T3 is set in the lower 4 bytes of the pseudo WWN. That is, in the illustrated example, a value indicating the first entry position of iSCSI_NAME T3 is set in the lower 4 bytes of the pseudo WWN1. Similarly, a value indicating the fourth entry position of the iSCSI_NAME table T3 is set in the lower 4 bytes of the pseudo WWN4. Here, as is clear from comparison between the KEY table T2 and the iSCSI_NAME table T3, the entry positions of the tables T2 and T3 correspond to each other. That is, the iSCSI_NAME corresponding to the pseudo WWN1 set at the top entry position of the KEY table T2 is registered at the top entry position of the iSCSI_NAME table T3. Similarly, iSCSI_NAME corresponding to the pseudo WWN4 set at the fourth entry position from the top of the KEY table T2 is set at the fourth entry position of the iSCSI_NAME table T3. Thus, by associating the entry positions of the KEY table T2 and the iSCSI_NAME table T3, the tables T2 and T3 are associated with each other.
インデックステーブルT1及びKEYテーブルT2は、FC_SANにおいてLUのアクセスを制御するために設けられたものである。本実施例では、FC_SAN及びiSCSI_SANの両方に対応させるべく、iSCSI_NAMEテーブルT3を導入し、このiSCSI_NAMEテーブルT3をKEYテーブルT2に関連付けている。これにより、FC_SAN用のアクセス制御構成を実質的に変化させることなく、iSCSI_SANに対応可能である。 The index table T1 and the KEY table T2 are provided for controlling access to LUs in FC_SAN. In the present embodiment, an iSCSI_NAME table T3 is introduced to correspond to both FC_SAN and iSCSI_SAN, and this iSCSI_NAME table T3 is associated with the KEY table T2. As a result, it is possible to support iSCSI_SAN without substantially changing the access control configuration for FC_SAN.
図10(a)は、リソーステーブルT4を示す。リソーステーブルT4は、例えば、リソース管理番号と、そのリソースを使用するイニシエータとを対応付けることにより、構成される。なお、図中では、イニシエータとしてiSCSI_NAMEを示すが、FC_SANの場合はWWNを用いる。 FIG. 10A shows the resource table T4. The resource table T4 is configured, for example, by associating a resource management number with an initiator that uses the resource. In the figure, iSCSI_NAME is shown as an initiator, but in the case of FC_SAN, WWN is used.
図10(b)は、LUNとLUとの対応付けを管理するテーブルを示す。このLUN-LUテーブルT5は、例えば、LUN番号とLU番号とを対応付けることにより、構成することができる。各LUは、ストレージ装置100側のリソースLU(または「LDEV」とも呼ぶ)である。各LUは、基本的に、LUNと一対一で対応する。なお、複数のLUを連結して仮想的なLUを構築することもできる。
FIG. 10B shows a table for managing the association between LUNs and LUs. This LUN-LU table T5 can be configured, for example, by associating LUN numbers with LU numbers. Each LU is a resource LU (or also called “LDEV”) on the
図11は、アクセス態様を管理するためのテーブルである。図11(a)は、FC_SAN用のアクセス種別管理テーブルT6Aを示す。このテーブルT6Aは、例えば、各イニシエータを特定するWWN毎に、それぞれのイニシエータに許されているアクセス種別が対応付けられている。アクセス種別としては、例えば、リード/ライト共に可能、リードのみ等を挙げることができる。同様に、図11(b)は、iSCSI_SAN用のアクセス種別管理テーブルT6Bを示す。このテーブルT6Bでは、WWNに代えて、iSCSI_NAMEが使用される。 FIG. 11 is a table for managing access modes. FIG. 11A shows an access type management table T6A for FC_SAN. In this table T6A, for example, for each WWN that specifies each initiator, the access type permitted for each initiator is associated. As the access type, for example, both read / write and read only can be mentioned. Similarly, FIG. 11B shows an access type management table T6B for iSCSI_SAN. In this table T6B, iSCSI_NAME is used instead of WWN.
図12は、LUの状態を管理するための制御情報(LDCB)の構成テーブルT7を示している。LDCB(T7)は、例えば、連続番号と、ポート番号と、LUN番号と、LU番号と、リザーブ状態を示すフラグと、リザーブが設定されているパス情報と、パーシステントリザーブ状態を示すフラグと、パーシステントリザーブが設定されているパス情報と、ACA(Automatic Contingent Allegiance)状態を示すフラグと、ACA状態となっているパスの情報と、UA(Unit Attention)状態を示すフラグと、をそれぞれ対応付けて構成することができる。 FIG. 12 shows a configuration table T7 of control information (LDCB) for managing the LU status. The LDCB (T7) includes, for example, a serial number, a port number, a LUN number, an LU number, a flag indicating a reserved state, path information for which a reservation is set, a flag indicating a persistent reserved state, Corresponding path information for which persistent reserve is set, ACA (Automatic Contingent Allegiance) status flag, ACA status path information, and UA (Unit Attention) status flag Can be configured.
ここで、ACA状態とは、例えば、あるアクセスパスに障害が発生した場合にそのアクセスパスを使用禁止にするために設定される状態である。ACA状態は、ACA状態を設定したホストからの解除コマンドにより解除可能である。UA状態とは、例えば、ストレージ装置100の起動直後等に設定される状態である。
Here, the ACA state is a state set in order to prohibit the use of an access path when a failure occurs in the access path, for example. The ACA state can be released by a release command from the host that has set the ACA state. The UA state is a state set immediately after the
パーシステントリザーブ状態とは、予め設定された複数のアクセスパスを介して、一つまたは複数のLUをリザーブする状態である。通常のリザーブ状態では、一つのアクセスパスのみから所定のLUにアクセス可能である。パーシステントリザーブ状態では、複数のアクセスパスのそれぞれから所定のLUにアクセスすることができる。例えば、ホスト10A,10Bは、それぞれが有する複数のHBA13A,13Bの全部または一部をパーシステントグループとして使用可能である。グループを構成するHBAは、それぞれ異なるパスを介して、共通のLUにアクセスすることができる。これにより、ホスト内でのフェイルオーバやロードバランスを実現できる。なお、パーシステントリザーブの設定(PGRコマンドの発行)は、パス管理プログラム12A,12Bが実行する。
The persistent reserved state is a state in which one or a plurality of LUs are reserved through a plurality of preset access paths. In a normal reserved state, a predetermined LU can be accessed from only one access path. In the persistent reserve state, a predetermined LU can be accessed from each of a plurality of access paths. For example, the
このように、パーシステントリザーブを設定した場合、そのLUは、所定の複数のイニシエータグループにより共用可能となる。パーシステントリザーブを設定するコマンドを、ここでは、パーシステントグループリザーブコマンド(PGRコマンド)と呼ぶ。LDCB中のパーシステントリザーブに関する領域をPGR領域400と呼ぶ。
Thus, when persistent reserve is set, the LU can be shared by a plurality of predetermined initiator groups. A command for setting persistent reserve is referred to herein as a persistent group reserve command (PGR command). An area related to persistent reserve in the LDCB is called a
図13は、iSCSI_SAN用のPGR領域400のデータ構造を示す説明図である。PGR領域400は、4バイトの幅を有し、例えば、ジェネレーションカウンタ410と、レーザべーションキー420と、タイプコード431と、APTPLビット432と、CHIビット433と、予備フィールド434と、スリープフラグ440と、予備フィールド450と、絶対ポート番号461と、エントリ番号462と、ACA開放フラグ470とを含むことができる。
FIG. 13 is an explanatory diagram showing the data structure of the
ここで、CHIビット433は、iSCSI_SANに対応するために、従来予備フィールドであったものに新たに設けられた情報である。CHIビット433に、「1」がセットされた場合(オンの場合)、フィールド461及び462には、図15に示すLDCB用iSCSI_NAMEテーブルT8への参照位置を表す情報が格納されていることを示す。CHIビット433がオフ状態の場合、フィールド450,461及び462には、通常通りのWWNがセットされていることを示す。
Here, the
先に図14を参照する。図14は、FC_SAN用のPGR領域400を示す。図13と図14とを比較すると明らかなように、FC_SAN用のPGR領域とiSCSI_SAN用のPGR領域とでは、以下の3点で異なる。第1の相違点は、FC_SAN用PGR領域では、CHIビット433がオフ状態にセットされる。第2の相違点は、FC_SAN用PGR領域では、図13中の予備フィールド450にWWNの上位4バイトがセットされる。第3の相違点は、FC_SAN用PGR領域では、図13中の絶対ポート番号461及びエントリ番号462に代えて、WWNの下位4バイトがセットされる。
Reference is first made to FIG. FIG. 14 shows a
換言すれば、図14に示す構造が通常の姿であり、本実施例では、iSCSI_SANに対応すべく、使われていなかったフィールドにCHIビット433を新設すると共に、WWNの上位4バイトを予備フィールドとして4バイトのヌルデータをセットし、さらに、WWNの下位4バイトを利用して、LDCB用iSCSI_NAMEテーブルT8へのポインタ情報(2バイトの絶対ポート番号及び2バイトのエントリ番号)を格納している。
In other words, the structure shown in FIG. 14 is a normal form. In this embodiment, in order to support iSCSI_SAN, a
CHI110BがPGR領域に情報をセットする場合、WWNの上位4バイトにはヌルデータがセットされる。従って、このPGR領域をCHF110Aが参照した場合、無効なWWNであると認識される。
When
図15は、LDCB用iSCSI_NAMEテーブルT8を示す。このテーブルT8は、例えば、各絶対ポート番号毎に、そのポートに属す可能性のあるiSCSI_NAMEが全て対応付けられている。従って、絶対ポート番号とそのポート番号におけるエントリ位置とを指定するだけで、テーブルT8のどこを参照すればよいかが理解できる。例えば、パーシステントリザーブを設定するHBA13Bが、絶対ポート番号1を利用するiSCSI_NAME[2]である場合は、絶対ポート番号として「1」を、エントリ番号として「3」を、それぞれのフィールド461,462にセットすることにより、PGR領域400とテーブルT8とを関連付けることができる。
FIG. 15 shows an iSCSI_NAME table T8 for LDCB. In this table T8, for example, every iSCSI_NAME that may belong to the port is associated with each absolute port number. Therefore, it is possible to understand where to refer to the table T8 by simply designating the absolute port number and the entry position at the port number. For example, if the
なお、上述した各テーブルT1〜T8等は、共有メモリ150に記憶される。そして、各テーブルT1〜T8等のうち、各CHF110A,各CHI110Bがそれぞれ必要とする所定範囲のデータが、各CHF110A,各CHI110Bのローカルメモリ113にそれぞれコピーされる。
The tables T1 to T8 described above are stored in the shared
図16〜図19に基づいて、本システムの動作を説明する。図16は、CHI110Bによって、パーシステントリザーブの設定・変更・削除を行う場合の処理を示すフローチャートである。この処理は、主としてCHI110BのCHP112により実行される。
The operation of this system will be described with reference to FIGS. FIG. 16 is a flowchart showing the processing when the persistent reserve is set / changed / deleted by the
ホスト10Bのパス管理プログラム12Bは、パーシステントグループを構成するHBAと、目的とするLU(LUN)及び使用予定のキー情報とをそれぞれ指定して、PGRコマンドを発行する。既に述べたように、LUNとLUとは対応付けられているので、LUNを指定することは、そのLUNに関連付けられたLUの指定を意味する。CHI110Bは、PGRコマンドを受信すると(S11)、指定されたLUN番号を検索キーとしてインデックステーブルT1を参照する(S12)。
The
CHI110Bは、指定されたLUNについて、PGRが設定済であることを示すフラグビットがセットされているか否かを判定する(S13)。目的のLUNにフラグがセットされている場合(S13:YES)、CHI110Bは、そのフラグの設定位置に基づいて、KEYテーブルT2の該当箇所を参照し、設定済のキー情報(図中、「KEY」)を取得する(S14)。さらに、CHI110Bは、KEYテーブルT2に登録されている疑似WWNのエントリ位置に基づいて、iSCSI_NAMEテーブルT3を参照し、設定済のiSCSI_NAMEを取得する(S15)。
The
CHI110Bは、PGRコマンドの発行元ホストから指定されたキー情報とコマンド発行元を特定するiSCSI_NAMEとの組合せが、KEYテーブルT2に登録済のキー情報及びiSCSI_NAMEテーブルT3に登録済のiSCSI_NAMEの組合せに一致するか否かを判定する(S17)。 In CHI110B, the combination of the key information specified from the PGR command issuer host and the iSCSI_NAME that identifies the command issuer matches the combination of the key information registered in the KEY table T2 and the iSCSI_NAME registered in the iSCSI_NAME table T3. It is determined whether or not to perform (S17).
キー情報及びiSCSI_NAMEの組合せが一致する場合(S17:YES)、CHI110Bは、PGR対象として指定されたLUNについて、インデックステーブルT1にフラグをセットする(S18)。また、CHI110Bは、インデックステーブルT1におけるフラグのセット位置に対応するエントリ位置で、KEYテーブルT2に、ホストから指定されたキー情報を登録する(S19)。また、CHI110Bは、疑似WWNを生成し、これをキー情報に対応付けて、KEYテーブルT2に登録する(S19)。疑似WWNの下位4バイトは、iSCSI_NAMEテーブルT3の参照位置を示す。CHI110Bは、iSCSI_NAMEテーブルの所定の位置に、PGRコマンド発行元を一意に特定するiSCSI_NAMEを登録する(S21)。
When the combination of the key information and iSCSI_NAME matches (S17: YES), the
一方、前記S13において、指定されたLUNについてインデックステーブルT1にフラグがセットされていないと判定された場合(S13:NO)、S14〜S16をスキップし、S18に移る。また、前記S17において、キー情報及びiSCSI_NAMEの組合せが不一致の場合(S17:NO)、CHI110Bは、PGRコマンドの実行不能をコマンド発行元のホストに通知する(S22)。
On the other hand, if it is determined in S13 that the flag is not set in the index table T1 for the designated LUN (S13: NO), S14 to S16 are skipped, and the process proceeds to S18. In S17, if the combination of the key information and iSCSI_NAME does not match (S17: NO), the
図17は、CHF110Aによって、パーシステントリザーブの設定・変更・削除を行う場合の処理を示すフローチャートである。この処理は、主としてCHA110AのCHP112により実行される。
FIG. 17 is a flowchart showing processing when setting / changing / deleting persistent reserve by the
このフローチャート中、S31〜S34,S36〜S39,S41,S42は、上述した図16中のS11〜S14,S16〜S19,S21,S22にそれぞれ対応し、実質的に同一の処理を行う。 In this flowchart, S31 to S34, S36 to S39, S41, and S42 correspond to S11 to S14, S16 to S19, S21, and S22 in FIG. 16 described above, respectively, and perform substantially the same processing.
但し、S36では、キー情報及びiSCSI_NAMEの組合せに代えて、キー情報及びWWNの組合せが比較される。図17のフローチャートでは、iSCSI_NAMEテーブルT3を扱うステップS25,S40にそれぞれ対応するステップが省略されている。 However, in S36, the combination of key information and WWN is compared instead of the combination of key information and iSCSI_NAME. In the flowchart of FIG. 17, steps corresponding to steps S25 and S40 for handling the iSCSI_NAME table T3 are omitted.
つまり、本実施例では、FC_SANとiSCSI_SANとの両方で、共通のPGR処理を可能とするが、このために新たに追加されたiSCSI_NAMEテーブルT3は、専らCHI110Bのみに使用され、基本的に、CHF110Aは参照する必要がない。従って、CHF110Aの制御論理を実質的に変化させることなく、iSCSIに対応可能となる。
That is, in this embodiment, common PGR processing is possible in both FC_SAN and iSCSI_SAN, but the iSCSI_NAME table T3 newly added for this purpose is exclusively used only for the
もしも先に、CHI110Bが同一のLUNに対してPGRを設定していた場合、KEYテーブルT2には疑似WWNが登録されるが、この疑似WWNは上位4バイトにヌルデータがセットされている無効な値である。従って、PGRコマンドの発行元ホストのWWNと疑似WWNとを比較すれば、必ず不一致となる。 If CHI110B has previously set PGR for the same LUN, pseudo WWN is registered in KEY table T2, but this pseudo WWN is an invalid value with null data set in the upper 4 bytes. It is. Therefore, if the WWN of the host that issued the PGR command is compared with the pseudo WWN, there is always a mismatch.
なお、パーシステントリザーブを解除する場合は、リリースコマンドを発行する。リリースコマンドが発行された場合、図16,図17で述べたように、キー情報及びiSCSI_NAMEの組合せ、または、キー情報及びWWNの組合せが一致するか否かが判定され、一致する場合は、所定のテーブルからPGRに関する部分が消去される。具体的には、iSCSIの場合、各テーブルT1〜T3,T7(PGR領域400)から、PGRセットフラグ(T1)、キー情報及び疑似WWN(T2)、iSCSI_NAME(T3)、CHIビット,絶対ポート番号及びエントリ番号(PGR領域400)がそれぞれ消去される。これに対し、ファイバチャネルの場合は、各テーブルT1,T2,T7(PGR領域400)から、PGRセットフラグ(T1)、キー情報及びWWN(T3)、WWN(PGR領域400)がそれぞれ消去される。 When releasing persistent reserve, a release command is issued. When the release command is issued, as described in FIGS. 16 and 17, it is determined whether or not the combination of key information and iSCSI_NAME or the combination of key information and WWN matches. The part related to PGR is deleted from the table. Specifically, in the case of iSCSI, from each table T1 to T3, T7 (PGR area 400), PGR set flag (T1), key information and pseudo WWN (T2), iSCSI_NAME (T3), CHI bit, absolute port number And the entry number (PGR area 400) are deleted. On the other hand, in the case of Fiber Channel, the PGR set flag (T1), key information, WWN (T3), and WWN (PGR area 400) are deleted from each table T1, T2, T7 (PGR area 400). .
PGRが設定されたLUに対するアクセス要求の可否は、図16,図17で述べたと同様に、キー情報及びiSCSI_NAMEの組合せ、または、キー情報及びWWNの組合せが一致するか否かが判定され、一致する場合にのみ、アクセスが許可される。そして、リードオンリー等のアクセス種別と照らし合わせて、そのLUへのアクセスが処理される。 Whether or not an access request can be made to an LU for which a PGR is set is determined whether or not the combination of key information and iSCSI_NAME, or the combination of key information and WWN matches, as described in FIGS. Access is allowed only when Then, the access to the LU is processed against the access type such as read only.
図18は、CHI110Bにより実行されるアクセス処理のフローチャートである。図18中のS51〜S57は、図16中のS11〜S17にそれぞれ対応するので説明を省略する。
FIG. 18 is a flowchart of access processing executed by the
キー情報及びiSCSI_NAMEの組合せが一致すると判定された場合(S57:YES)、CHI110Bは、アクセス種別管理テーブルT6Bを参照し(S58)、要求されたコマンドの処理が許可されているか否かを判定する(S59)。許可されたコマンドの場合(S59:YES)、CHI110Bは、コマンドに応じた処理を実行させ、コマンド処理の完了を応答する(S60)。
When it is determined that the combination of the key information and iSCSI_NAME matches (S57: YES), the
これに対し、許可されていないコマンドの場合(S59:NO)、または、キー情報及びiSCSI_NAMEの組合せが登録済のそれらと一致しない場合(S57:NO)、要求されたコマンドを処理不能である旨ホストに通知する(S61)。 On the other hand, if the command is not allowed (S59: NO), or if the combination of key information and iSCSI_NAME does not match those already registered (S57: NO), the requested command cannot be processed. The host is notified (S61).
図19は、CHF110Aで実行されるアクセス処理のフローチャートである。このフローチャート中、S71〜S74,S76〜S81は、図18中のS51〜S54,S56〜S61にそれぞれ対応するので、説明を省略する。図19に示す処理では、S55に相当するステップが不要なので廃止されており、また、キー情報及びWWNの組合せが判定される(S76)。
FIG. 19 is a flowchart of access processing executed by the
本実施例は上述のように構成したので、以下の効果を奏する。本実施例では、それぞれ使用するプロトコルの異なるホスト10A,10Bの各HBA13A,13BとLUを特定するLUN番号とを対応付けて、アクセス管理情報T1〜T3を生成し、このアクセス管理情報T1〜T3を参照することにより、各HBA13A,13Bが所望のLUにアクセス可能か否かを判別するアクセス制御部(CHP112により実行されるマイクロプログラム)を設けるため、FC用の既存のシステムを大幅に変化させることなく、iSCSIにも対応することができる。
Since the present embodiment is configured as described above, the following effects can be obtained. In this embodiment, the access management information T1 to T3 is generated by associating the
本実施例では、疑似第1ポート識別情報である疑似WWNが、無効なWWNとして取り扱われるように、WWNの正規の生成規則とは別の規則に基づくユニークな値として生成し、KEYテーブルT2に登録する。従って、CHF110Aは、コマンド発行元のWWNとテーブルT2に登録されている疑似WWNとを比較する際に、必ず両者が不一致であると判定する。これにより、CHF110Aの制御論理を実質的に変化させることなく、iSCSIに対応することができる。
In the present embodiment, the pseudo WWN which is the pseudo first port identification information is generated as a unique value based on a rule different from the normal WWN generation rule so that it is handled as an invalid WWN, and is stored in the KEY table T2. sign up. Accordingly, when comparing the command issuing source WWN with the pseudo WWN registered in the table T2, the
図20,図21に基づき、第1実施例の変形例としての第2実施例を説明する。この実施例では、KEYテーブルT2やLDCB(T7)に登録された情報に基づいて、FCイニシエータであるかiSCSIイニシエータであるかを判別する。 A second embodiment as a modification of the first embodiment will be described with reference to FIGS. In this embodiment, it is determined whether the initiator is an FC initiator or an iSCSI initiator based on information registered in the KEY table T2 or the LDCB (T7).
例えば、図20に示すように、CHF110AまたはCHI110Bのいずれかまたは双方(以下、「CHF等」)は、KEYテーブルT2を参照してWWNを取得し(S91)、このWWNが有効な値であるか否かを判定する(S92)。CHF等は、有効なWWNの場合(S92:YES)にFCであると判定し(S93)、無効なWWNの場合(S92:NO)にiSCSIであると判定する(S94)。
For example, as shown in FIG. 20, either or both of
また、例えば、図21のフローチャートに示すように、CHF等は、LDCBを参照してCHIビットを取得し(S101)、CHIビットがオン状態にセットされているか否かを判定する(S102)。CHF等は、CHIビットがオンの場合(S102:YES)にiSCSIであると判定し(S103)、CHIビットがオフの場合(S102:NO)にFCであると判定する(S104)。 For example, as shown in the flowchart of FIG. 21, the CHF or the like refers to the LDCB to acquire the CHI bit (S101), and determines whether the CHI bit is set to the on state (S102). When the CHI bit is on (S102: YES), CHF and the like are determined to be iSCSI (S103), and when the CHI bit is off (S102: NO), it is determined to be FC (S104).
このように、KEYテーブルT2やLDCB(T7)に、iSCSIであるか否かを示すための判別情報を含ませておくことにより、イニシエータの種類を判別できる。 In this manner, the type of initiator can be determined by including determination information for indicating whether or not iSCSI is included in the KEY table T2 or LDCB (T7).
図22,図23は、各ホスト10A,10Bによりクラスタシステムを構成する場合の実施例を示す。
22 and 23 show an embodiment in which a cluster system is configured by the
図22のブロック図に示すように、各ホスト10A,10Bのパス管理プログラム12A,12Bには、それぞれクラスタ制御部14A,14B(以下、特に区別しない場合は「クラスタ制御部14」)が設けられている。これら各クラスタ制御部14により、各ホスト10A,10B間では互いに相手先を監視するハートビート通信が行われる。また、各ホスト10A,10Bは、それぞれ複数のHBAを介して、共通のLU132に接続されている。
As shown in the block diagram of FIG. 22, the
図23は、異種プロトコルに基づくホストを跨ってフェイルオーバを実行する場合の概略フローチャートである。まず、クラスタ制御部14は、ファイルオーバを実行するか否かを監視し、フェイルオーバの実行時期が到来したか否かを判定する(S111)。 FIG. 23 is a schematic flowchart for executing failover across hosts based on a heterogeneous protocol. First, the cluster control unit 14 monitors whether or not file over is executed, and determines whether or not the failover execution time has come (S111).
例えば、相手先ノードとのハートビート通信が所定時間以上途絶えた場合、または、相手先ノードからファイルオーバの実行が明示的に要求された場合(計画的な停止)に、フェイルオーバが実行される。 For example, failover is executed when heartbeat communication with the counterpart node is interrupted for a predetermined time or more, or when execution of file over is explicitly requested from the counterpart node (planned stop).
フェイルオーバ先のクラスタ制御部は、相手先ノード(フェイルオーバ元ノード)のネットワーク設定情報を継承し(S112)、相手先ノードに成りかわる。また、クラスタ制御部14は、共有ボリューム132の使用権を確保し(S113)、そのボリューム132を排他的に使用する(S114)。そして、ファイルオーバ先ノード(10Aまたは10Bのいずれか)は、情報処理サービスの提供を再開する(S115)。 The failover destination cluster control unit inherits the network setting information of the counterpart node (failover source node) (S112), and impersonates the counterpart node. In addition, the cluster control unit 14 secures the right to use the shared volume 132 (S113) and exclusively uses the volume 132 (S114). Then, the file over destination node (either 10A or 10B) resumes the provision of the information processing service (S115).
この本実施例によれば、各ホスト10A,10B内における各HBA間でのフェイルオーバに加えて、異なる種類のプロトコルを利用するホストへのフェイルオーバも実現可能である。
According to this embodiment, in addition to failover between the HBAs in the
図24に基づいて第4実施例を説明する。先の実施例では、ホスト間を跨るフェイルオーバについて説明した。これに対し、本実施例では、同一ホスト内に、互いに異なる種類のプロトコルに基づくHBAを設け、これら異種プロトコルをサポートするHBA間で、フェイルオーバを実行する場合を説明する。 A fourth embodiment will be described with reference to FIG. In the previous embodiment, the failover across the hosts has been described. In contrast, in this embodiment, a case will be described in which HBAs based on different types of protocols are provided in the same host, and failover is performed between HBAs that support these different protocols.
図24は、ストレージシステムの全体構成を示す概略ブロック図である。一方のホスト10Aの各HBA13Aのうち、第1HBA〜第3HBAはFC_SANに接続されており、第4HBAはiSCSI_SANに接続されている。他方のホスト10Bも略同様に、各HBA13Bのうち、第2HBA〜第4HBAはiSCSI_SANに接続されており、第1HBAはFC_SANに接続されている。なお、どのHBAをいずれのSANに接続するかは、任意である。また、各ホスト10A,10B内にそれぞれ一つずつ異なる種類のHBAを装着する例を示したが、同一ホスト内にFC用HBAとiSCSI用HBAとをそれぞれ複数ずつ設けることもできる。
FIG. 24 is a schematic block diagram showing the overall configuration of the storage system. Of each
図示のように、パス管理プログラム12Aは、クラスタ制御部15Aとパス制御部16Aとを備えている。同様に、パス管理プログラム12Bは、クラスタ制御部15Bとパス制御部16Bとを備えている。各パス管理プログラム12A,12Bは、例えば、自己の管理下にあるパスのいずれかに障害や過負荷状態が発生した場合等に、データ転送に使用するパス(HBA)を切り換える。このパス切換は、パス制御部16A,16Bにより実行される。
As illustrated, the
例えば、ホスト10Aが、第1HBAからFC_SANを介して、ストレージ装置100とデータを送受信していた場合に、このパスに何らかの障害等が発生したとする。この場合、ホスト10Aのパス管理プログラム12Aは、第2〜第4HBAのいずれかまたは複数のパスに切り換えることができる。例えば、パスが第1HBAから第4HBAに切り換えられた場合、ホスト10Aとストレージ装置100とは、FC_SANに代えて、iSCSI_SAN経由でデータ転送を行うことになる。ホスト10Bの場合も同様である。
For example, when the
ホスト間を跨るフェイルオーバでは、上述のようにハートビート通信の断絶に基づいて実施可能であるが、同一ホスト内でのパス間フェイルオーバの場合は、パス管理プログラム12A,12BがSCSI層での応答を確認することにより、障害等の発生を検出することができ、パス切換を実施可能である。ホスト−ストレージ間のプロトコルがFCまたはiSCSIいずれの場合であっても、ホスト10A,10BにはそれぞれSCSIバスとして認識されるためである。
Failover across hosts can be implemented based on the interruption of heartbeat communication as described above, but in the case of failover between paths within the same host, the
このように、同一ホスト内に異種プロトコルに基づくイニシエータを混在させ、手動または自動で、これら異種プロトコルに基づくイニシエータ間でのフェイルオーバを実行させることができる。 In this way, initiators based on different protocols can be mixed in the same host, and failover between initiators based on these different protocols can be executed manually or automatically.
なお、本発明は、上述した実施の形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。 The present invention is not limited to the above-described embodiment. A person skilled in the art can make various additions and changes within the scope of the present invention.
1A,1B…ホスト、1C,1D…ポート、2A…FC_SAN、2B…iSCSI_SAN、3…ストレージ装置、4A,4B…チャネルアダプタ、4A1,4B1…ポート、5…共有メモリ、5A,5B,5C…テーブル、6…キャッシュメモリ、7…ディスクアダプタ、8…ディスクドライブ、9A,9B…論理ボリューム、10A,10B…ホスト、11A,11B…アプリケーション群、12A,12B…パス管理プログラム、13A,13B…ホストバスアダプタ、14A,14B,15A,15B…クラスタ制御部、16A,16B…パス制御部、100…ストレージ装置、111A,111B…ポート(ポート制御部)、112…チャネルプロセッサ、113…ローカルメモリ、114…マイクロプログラムアダプタ、115…データ転送アダプタ、120…ディスクアダプタ、130…ディスクドライブ、131…RAIDグループ、132,132A,132B…論理ボリューム、140…キャッシュメモリ、150…共有メモリ、160…スイッチ部、T1…インデックステーブル、T2…KEYテーブル、T3…iSCSI_NAMEテーブル、T4…リソーステーブル、T5…LUN−LU対応管理テーブル、T6A,T6B…アクセス種別管理テーブル、T7…LDCB、400…PGR領域、T8…LDCB用iSCSI_NAMEテーブル
1A, 1B ... Host, 1C, 1D ... Port, 2A ... FC_SAN, 2B ... iSCSI_SAN, 3 ... Storage device, 4A, 4B ... Channel adapter, 4A1, 4B1 ... Port, 5 ... Shared memory, 5A, 5B, 5C ... Table , 6 ... Cache memory, 7 ... Disk adapter, 8 ... Disk drive, 9A, 9B ... Logical volume, 10A, 10B ... Host, 11A, 11B ... Application group, 12A, 12B ... Path management program, 13A, 13B ... Host bus Adapter, 14A, 14B, 15A, 15B ... Cluster control unit, 16A, 16B ... Path control unit, 100 ... Storage device, 111A, 111B ... Port (port control unit), 112 ... Channel processor, 113 ... Local memory, 114 ... Microprogram adapter, 115 ... Data transfer adapter , 120 ... disk adapter, 130 ... disk drive, 131 ... RAID group, 132, 132A, 132B ... logical volume, 140 ... cache memory, 150 ... shared memory, 160 ... switch part, T1 ... index table, T2 ... KEY table, T3 ... iSCSI_NAME table, T4 ... resource table, T5 ... LUN-LU correspondence management table, T6A, T6B ... access type management table, T7 ... LDCB, 400 ... PGR area, T8 ... iSCSI_NAME table for LDCB
Claims (16)
第2プロトコルに基づいて、少なくとも一つ以上の第2上位装置の通信ポートとの間のデータ授受を制御する第2上位インターフェース制御部と、
少なくとも一つ以上の記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、
前記第1,第2上位インターフェース制御部及び前記下位インターフェース制御部により共用されるメモリ部と、
前記記憶デバイス上に設けられた少なくとも一つ以上の論理ボリュームと、
前記第1,第2上位装置の前記各通信ポートと前記論理ボリュームとを対応付けて構成されるアクセス管理情報を記憶するアクセス管理情報記憶部と、
前記アクセス管理情報を参照することにより、前記第1,第2上位装置から前記論理ボリュームに対するアクセス要求の実行可否を制御するアクセス制御部と、
を備えたストレージ装置。 A first host interface control unit that controls data exchange with at least one communication port of the first host device based on the first protocol;
A second higher-level interface controller that controls data exchange with at least one communication port of the second higher-level device based on the second protocol;
A lower interface control unit that controls data exchange with at least one storage device;
A memory unit shared by the first and second upper interface control units and the lower interface control unit;
At least one logical volume provided on the storage device;
An access management information storage unit for storing access management information configured by associating each communication port of the first and second host devices with the logical volume;
An access control unit that controls whether or not an access request to the logical volume can be executed from the first and second host devices by referring to the access management information;
A storage device with
前記第1管理テーブルは、前記論理ボリュームを識別するボリューム識別情報と前記第2管理テーブルの参照位置とを示す情報を対応付けて記憶し、
前記第2管理テーブルは、前記第1上位装置の前記通信ポートを識別する第1ポート識別情報と排他制御用のキー情報とを対応付けて記憶し、
前記第3管理テーブルは、前記第2上位装置の前記通信ポートを識別する第2ポート識別情報を記憶し、
前記第2管理テーブルにおける前記第1ポート識別情報の登録順序に合わせて、前記第2ポート識別情報を前記第3管理テーブルに登録し、
前記第2管理テーブルには、前記第3管理テーブルを参照するか否かの判別に利用可能な情報が含まれている請求項1に記載のストレージ装置。 The access management information includes a first management table, a second management table associated with the first management table, and a third management table associated with the second management table.
The first management table stores volume identification information for identifying the logical volume in association with information indicating a reference position of the second management table;
The second management table stores first port identification information for identifying the communication port of the first higher-level device in association with key information for exclusive control,
The third management table stores second port identification information for identifying the communication port of the second host device,
In accordance with the registration order of the first port identification information in the second management table, register the second port identification information in the third management table,
The storage apparatus according to claim 1, wherein the second management table includes information that can be used to determine whether to refer to the third management table.
前記上位層アクセス管理情報は、第1管理テーブルと、この第1管理テーブルに対応付けられる第2管理テーブルと、この第2管理テーブルに対応付けられる第3管理テーブルとを備えて構成され、
前記第1管理テーブルは、前記論理ボリュームを識別するボリューム識別情報と前記第2管理テーブルの参照位置とを示す情報を対応付けて記憶し、
前記第2管理テーブルは、前記第1上位装置の前記通信ポートを識別する第1ポート識別情報と排他制御用のキー情報とを対応付けて記憶し、
前記第3管理テーブルは、前記第2上位装置の前記通信ポートを識別する第2ポート識別情報を記憶し、
前記第2管理テーブルにおける前記第1ポート識別情報の登録順序に合わせて、前前記第2ポート識別情報を前記第3管理テーブルに登録し、
かつ、前記第3管理テーブルを参照する場合には、前記第3管理テーブルの参照位置を示す情報を、無効な第1ポート識別情報として取り扱われる形態で前記第2管理テーブルに記憶させ、
前記下位層アクセス管理情報は、第4管理テーブルと、この第4管理テーブルに対応付けられる第5管理テーブルとを備えて構成され、
前記第4管理テーブルは、前記第5管理テーブルを参照すべきか否かを指定する参照判別情報と、前記第1ポート識別情報または前記第5管理テーブルの参照位置を示す情報のいずれか一つとを対応付けて構成され、
前記第5管理テーブルは、前記第1,第2上位インターフェース制御部の各通信ポート毎に、該各通信ポートを利用しうる前記第1,第2上位装置の前記第1ポート識別情報または前記第2ポート識別情報のいずれか一方を対応付けて構成されている、
請求項1に記載のストレージ装置。 The access management information includes upper layer side access management information and lower layer side access management information,
The upper layer access management information includes a first management table, a second management table associated with the first management table, and a third management table associated with the second management table.
The first management table stores volume identification information for identifying the logical volume in association with information indicating a reference position of the second management table;
The second management table stores first port identification information for identifying the communication port of the first higher-level device in association with key information for exclusive control,
The third management table stores second port identification information for identifying the communication port of the second host device,
In accordance with the registration order of the first port identification information in the second management table, the previous second port identification information is registered in the third management table,
And when referring to the third management table, information indicating the reference position of the third management table is stored in the second management table in a form that is treated as invalid first port identification information,
The lower layer access management information includes a fourth management table and a fifth management table associated with the fourth management table.
The fourth management table includes reference determination information for designating whether or not the fifth management table should be referred to, and any one of the first port identification information or information indicating the reference position of the fifth management table. It is configured in association with
The fifth management table includes the first port identification information of the first and second host devices that can use each communication port for each communication port of the first and second host interface control units, or the first It is configured by associating either one of the 2-port identification information,
The storage apparatus according to claim 1.
前記アクセス管理情報記憶部の全体は前記メモリ部に設け、前記アクセス管理情報のうち自己に関連する所定の一部は前記ローカルメモリにそれぞれ記憶し、
前記アクセス制御部は、前記マイクロプロセッサが所定のプログラムコードを実行することにより実現されるものである請求項1に記載のストレージ装置。 The first and second upper interface control units each include a microprocessor, a protocol control unit, and a local memory.
The entire access management information storage unit is provided in the memory unit, and a predetermined part of the access management information associated with itself is stored in the local memory, respectively.
The storage apparatus according to claim 1, wherein the access control unit is realized by the microprocessor executing a predetermined program code.
第2プロトコルに基づいて、少なくとも一つ以上の第2上位装置の通信ポートとの間のデータ授受を制御する第2上位インターフェース制御部と、
少なくとも一つ以上の記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、
前記第1,第2上位インターフェース制御部及び前記下位インターフェース制御部により共用されるメモリ部と、
前記記憶デバイス上に設けられた少なくとも一つ以上の論理ボリュームと、を備えたストレージ装置で前記論理ボリュームの排他制御を行うための方法であって、
前記第1,第2上位装置の前記各通信ポートを特定するためのポート識別情報と前記論理ボリュームを特定するためのボリューム識別情報とを対応付けて構成される共通のアクセス管理情報を保持するステップと、
前記保持された共通のアクセス管理情報を参照することにより、前記第1,第2上位装置から前記論理ボリュームへのアクセス要求の実行可否を判断するステップと、
前記アクセス要求の実行が許可された場合は、前記アクセス要求の内容に応じた処理を実行するステップと、
を含むストレージ装置の排他制御方法。
A first host interface control unit that controls data exchange with at least one communication port of the first host device based on the first protocol;
A second higher-level interface controller that controls data exchange with at least one communication port of the second higher-level device based on the second protocol;
A lower interface control unit that controls data exchange with at least one storage device;
A memory unit shared by the first and second upper interface control units and the lower interface control unit;
A method for performing exclusive control of the logical volume in a storage device comprising at least one logical volume provided on the storage device,
Holding common access management information configured by associating port identification information for specifying the communication ports of the first and second host devices with volume identification information for specifying the logical volume When,
Determining whether or not to execute an access request from the first and second host devices to the logical volume by referring to the held common access management information;
If execution of the access request is permitted, executing a process according to the content of the access request;
Storage device exclusive control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004189600A JP4484597B2 (en) | 2004-06-28 | 2004-06-28 | Storage device and exclusive control method for storage device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004189600A JP4484597B2 (en) | 2004-06-28 | 2004-06-28 | Storage device and exclusive control method for storage device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006011932A true JP2006011932A (en) | 2006-01-12 |
JP4484597B2 JP4484597B2 (en) | 2010-06-16 |
Family
ID=35779117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004189600A Expired - Fee Related JP4484597B2 (en) | 2004-06-28 | 2004-06-28 | Storage device and exclusive control method for storage device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4484597B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008065706A (en) * | 2006-09-08 | 2008-03-21 | Hitachi Ltd | Storage system, its controlling method, and storage-controlling device |
JP2008242872A (en) * | 2007-03-28 | 2008-10-09 | Hitachi Ltd | Storage system |
JP2009211512A (en) * | 2008-03-05 | 2009-09-17 | Nec Corp | Jbod device, computer system, and access control method |
JP2009252239A (en) * | 2008-04-07 | 2009-10-29 | Hitachi Ltd | Method and apparatus for hba migration |
JP2012504792A (en) * | 2009-02-17 | 2012-02-23 | 株式会社日立製作所 | Storage control device and control method of storage control device |
JP2012517045A (en) * | 2009-06-26 | 2012-07-26 | 株式会社日立製作所 | Storage system and storage system control method |
JP2013228998A (en) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | Method and device for maintaining consistency of acl between meta data server and data server |
JP2014502768A (en) * | 2011-06-30 | 2014-02-03 | 株式会社日立製作所 | Computer system and access restriction method |
WO2016139749A1 (en) * | 2015-03-03 | 2016-09-09 | 株式会社日立製作所 | Computer system and storage control method |
WO2017187582A1 (en) * | 2016-04-27 | 2017-11-02 | 株式会社日立製作所 | Computer system and server |
JP7471614B2 (en) | 2021-12-05 | 2024-04-22 | ▲しゃーん▼碼科技股▲ふん▼有限公司 | Electronic device and method for storage device permission management - Patents.com |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10333839A (en) * | 1997-05-29 | 1998-12-18 | Hitachi Ltd | Fiber channel connection storage controller |
JP2001265655A (en) * | 2000-01-14 | 2001-09-28 | Hitachi Ltd | Security system for storage sub system |
JP2003303053A (en) * | 2002-04-11 | 2003-10-24 | Nec Corp | Disk array apparatus and data processing method using same |
JP2003345658A (en) * | 2002-05-29 | 2003-12-05 | Hitachi Ltd | Storage centralized management method |
-
2004
- 2004-06-28 JP JP2004189600A patent/JP4484597B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10333839A (en) * | 1997-05-29 | 1998-12-18 | Hitachi Ltd | Fiber channel connection storage controller |
JP2001265655A (en) * | 2000-01-14 | 2001-09-28 | Hitachi Ltd | Security system for storage sub system |
JP2003303053A (en) * | 2002-04-11 | 2003-10-24 | Nec Corp | Disk array apparatus and data processing method using same |
JP2003345658A (en) * | 2002-05-29 | 2003-12-05 | Hitachi Ltd | Storage centralized management method |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008065706A (en) * | 2006-09-08 | 2008-03-21 | Hitachi Ltd | Storage system, its controlling method, and storage-controlling device |
JP2008242872A (en) * | 2007-03-28 | 2008-10-09 | Hitachi Ltd | Storage system |
JP2009211512A (en) * | 2008-03-05 | 2009-09-17 | Nec Corp | Jbod device, computer system, and access control method |
JP2009252239A (en) * | 2008-04-07 | 2009-10-29 | Hitachi Ltd | Method and apparatus for hba migration |
US8375111B2 (en) | 2008-04-07 | 2013-02-12 | Hitachi, Ltd. | Method and apparatus for HBA migration |
JP2012504792A (en) * | 2009-02-17 | 2012-02-23 | 株式会社日立製作所 | Storage control device and control method of storage control device |
US8527710B2 (en) | 2009-02-17 | 2013-09-03 | Hitachi, Ltd. | Storage controller and method of controlling storage controller |
JP2012517045A (en) * | 2009-06-26 | 2012-07-26 | 株式会社日立製作所 | Storage system and storage system control method |
US9021224B2 (en) | 2011-06-30 | 2015-04-28 | Hitachi, Ltd. | Method and apparatus for enhanced computer security |
JP2014502768A (en) * | 2011-06-30 | 2014-02-03 | 株式会社日立製作所 | Computer system and access restriction method |
JP2013228998A (en) * | 2012-04-25 | 2013-11-07 | Hitachi Ltd | Method and device for maintaining consistency of acl between meta data server and data server |
WO2016139749A1 (en) * | 2015-03-03 | 2016-09-09 | 株式会社日立製作所 | Computer system and storage control method |
WO2017187582A1 (en) * | 2016-04-27 | 2017-11-02 | 株式会社日立製作所 | Computer system and server |
JPWO2017187582A1 (en) * | 2016-04-27 | 2018-11-22 | 株式会社日立製作所 | Computer system and server |
US10789253B2 (en) | 2016-04-27 | 2020-09-29 | Hitachi, Ltd. | Computing system and server |
JP7471614B2 (en) | 2021-12-05 | 2024-04-22 | ▲しゃーん▼碼科技股▲ふん▼有限公司 | Electronic device and method for storage device permission management - Patents.com |
Also Published As
Publication number | Publication date |
---|---|
JP4484597B2 (en) | 2010-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7302541B2 (en) | System and method for switching access paths during data migration | |
JP4859471B2 (en) | Storage system and storage controller | |
JP4500057B2 (en) | Data migration method | |
US7912814B2 (en) | Data migration in storage system | |
JP5132720B2 (en) | Storage system | |
US7334029B2 (en) | Data migration method | |
US7603507B2 (en) | Storage system and method of storage system path control | |
US7472240B2 (en) | Storage system with plural control device affiliations | |
JP4252301B2 (en) | Storage system and data backup method thereof | |
US7131027B2 (en) | Method and apparatus for disk array based I/O routing and multi-layered external storage linkage | |
US9229645B2 (en) | Storage management method and storage system in virtual volume having data arranged astride storage devices | |
JP4568574B2 (en) | Storage device introduction method, program, and management computer | |
US20050033804A1 (en) | Storage system | |
JP2007280089A (en) | Transfer method for capacity expansion volume | |
KR20110025052A (en) | Transport agnostic scsi i/o referrals | |
KR20040083484A (en) | Methods and apparatus for implementing virtualization of storage within a storage area network | |
JP2005267327A (en) | Storage system | |
JP2007141216A (en) | System, method and apparatus for multiple-protocol-accessible osd storage subsystem | |
US20070079098A1 (en) | Automatic allocation of volumes in storage area networks | |
JP2004199420A (en) | Computer system, magnetic disk device, and method for controlling disk cache | |
JP2007179156A (en) | Storage control device and method | |
JP2007087059A (en) | Storage control system | |
JP2003091449A (en) | Storage system and method for managing the same system | |
JP4484597B2 (en) | Storage device and exclusive control method for storage device | |
JP2002318725A (en) | Disk array system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070420 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100323 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4484597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |