JP2001306265A - Storage controller and method for controlling the same - Google Patents

Storage controller and method for controlling the same

Info

Publication number
JP2001306265A
JP2001306265A JP2000127255A JP2000127255A JP2001306265A JP 2001306265 A JP2001306265 A JP 2001306265A JP 2000127255 A JP2000127255 A JP 2000127255A JP 2000127255 A JP2000127255 A JP 2000127255A JP 2001306265 A JP2001306265 A JP 2001306265A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
shared
disk
memory
controller
adapter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000127255A
Other languages
Japanese (ja)
Other versions
JP2001306265A5 (en )
JP4053208B2 (en )
Inventor
Yasuo Inoue
Nobuyuki Minowa
靖雄 井上
信幸 箕輪
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To improve the efficiency of an access to a shared memory, and to improve data transferring performance in a storage controller in a multi- processor constitution equipped with a shared memory. SOLUTION: In the disk array controller 600 constituted so that a channel adapter mounting processor 17 with plural channel adapters 11 for performing input and output control with a host computer 500 and plural disk adapter loading processors 21 of plural disk adapters 20 for performing input and output control with a magnetic disk device 50 can perform access to a shared memory 32, a shared memory loading processor 36 equipped with a built-in data cache 38 is arranged, and access from the channel adapter loading processor 17 and the disk adapter loading processors 21 to the shared memory 32 is executed through the built-in data cache 38 so that a time required for the access to the shared memory 32 can be reduced, and that the performance of the disk array controller 600 can be improved.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、記憶制御装置およびその制御技術に関し、特に、メモリを共有する複数のプロセッサで構成され、ホストコンピュータからのデータを複数の磁気ディスク装置等の記憶装置に分散して格納する制御動作を行うディスクアレイ制御装置等に適用して有効な技術に関する。 BACKGROUND OF THE INVENTION The present invention relates to a storage control apparatus and control technology, in particular, it is composed of a plurality of processors sharing a memory, distributing data from a host computer to a storage device such as a plurality of magnetic disk devices technique effectively applied to a disk array controller or the like for controlling operation of storing in.

【0002】 [0002]

【従来の技術】近年のディスクアレイ制御装置では、より高い性能を得るため、複数のチャネルアダプタと複数のディスクアダプタで並行して、データ転送処理を実行するシステムが主流になっている。 BACKGROUND OF THE INVENTION Recent disk array controller, to obtain a higher performance, in parallel with a plurality of channel adapters and a plurality of disk adapters, a system that performs data transfer processing has become the mainstream.

【0003】例えば、図11に示す参考技術では、ホストコンピュータ1100とディスクアレイ制御装置11 For example, in a reference technique shown in FIG. 11, a host computer 1100 and the disk array controller 11
01間のデータ転送制御を実行する複数のチャネルアダプタ1010と、磁気ディスク装置1050とディスクアレイ制御装置1101間のデータ転送制御を実行する複数のディスクアダプタ1020と、各アダプタと磁気ディスク装置1050の間で授受されるデータを一時的に格納するキャッシュ機能および複数のチャネルアダプタ1010及びディスクアダプタ1020間の制御情報を格納するシェア−ドメモリ機能を持つ共有メモリ部1 A plurality of channel adapters 1010 that performs data transfer control among 01, a plurality of disk adapters 1020 that performs data transfer control among the magnetic disk device 1050 and the disk array control unit 1101, between the adapter and the magnetic disk device 1050 in temporarily storing data exchanged share stores control information between caching and multiple channel adapters 1010 and the disk adapter 1020 - shared memory portion 1 with Domemori function
030を備え、各アダプタ間は2本の共通バス1040 Comprising a 030, common bus 1040 for each adapter between the two
で接続され,全アダプタからアクセス可能な構成とすることが考えられる。 In is connected, it is conceivable to accessible structures from all adapters. ディスクアダプタ1020は磁気ディスク装置1050とドライブインタフェース106 The disk adapter 1020 is a magnetic disk device 1050 and the drive interface 106
0,1061により接続される。 It is connected by 0,1061.

【0004】 [0004]

【発明が解決しようとする課題】このような図11の参考技術の共通バス構造は、チャネルアダプタ1010, A common bus structure of the reference technology of the Invention Problems to be Solved by such Figure 11, the channel adapter 1010,
ディスクアダプタ1020の数の増加に伴い共有メモリ部1030へのアクセス回数が増加すると、共通バス1 When the number of accesses to the shared memory unit 1030 with an increase in the number of disk adapters 1020 increases, the common bus 1
040の利用率が上がり、これがディスクアレイ制御装置1101のI/O性能を制限する要因になっていた。 040 utilization is increased, this was a factor of limiting the I / O performance of the disk array controller 1101.

【0005】そこで、図12の参考技術に示すようにチャネルアダプタ1011と、ディスクアダプタ1020 [0005] Therefore, the channel adapter 1011 as shown in the reference technology of FIG. 12, the disk adapter 1020
と共有メモリ部1030を1対1で接続することで共有メモリ部1030へのアクセスパス利用率を低く抑え共有メモリ応答時間を短縮するための工夫がなされてきた。 Contrivance for shortening the suppressed low shared memory response time access path utilization to the shared memory unit 1030 by connecting the shared memory 1030 in a one-to-one and have been made.

【0006】しかしながら、ホストコンピュータ110 [0006] However, the host computer 110
0からのデータ転送速度の伸びは著しく、ディスクアレイ制御装置1101に求められるI/O性能はより大きくなっている。 Elongation data transfer speed from 0 significantly, I / O performance required of the disk array controller 1101 has become greater. ディスクアレイ制御装置1101はチャネルアダプタ1010、ディスクアダプタ1020の数を増やしたり、各アダプタに搭載するプロセッサ数を増やしたり、搭載するプロセッサ処理能力を高速化するなどで対応してきたが、共有メモリ部1030へのアクセス回数は一層増加し、共有メモリ部1030へのアクセスパスの利用率増加だけでなく、共有メモリ部1030 The disk array controller 1101 channel adapter 1010, or increasing the number of disk adapters 1020, or increasing the number of processors to be mounted on the adapter, have been associated with such speeding the processing power to be mounted, the shared memory 1030 number of accesses to is more increased, as well as increased utilization of the access path to the shared memory unit 1030, the shared memory 1030
内の共有メモリ1032と共有メモリ制御回路1031 The shared memory 1032 of the inner shared memory control circuit 1031
間のデータ転送経路の利用率も飽和状態となり、共有メモリアクセス時間が増大することが原因でディスクアレイ制御装置1101のI/O性能が制限されている。 Utilization of the data transfer path between becomes saturated, is limited I / O performance of the disk array controller 1101 due to increase shared memory access time.

【0007】本発明の目的は、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス占有時間の短縮によるデータ入出力性能の向上を実現することにある。 An object of the present invention, the storage control apparatus of a multi-processor configuration is to realize an improvement of the data input and output performance by shortening the access occupation time to the shared memory of each processor.

【0008】本発明の他の目的は、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス回数の削減によるデータ入出力性能の向上を実現することにある。 Another object of the present invention, the storage control apparatus of a multi-processor configuration is to realize an improvement of the data input and output performance by reducing the number of accesses to the shared memory of each processor.

【0009】本発明の他の目的は、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリアクセス占有時間を短縮させることにある。 Another object of the present invention, in the disk array controller, shares in the processing time of the individual processors mounted in the channel adapter / disk adapter, it has increased the complexity of the growth and processing of the processor in that to shorten the memory access occupation time.

【0010】本発明の他の目的は、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリへのアクセス回数を削減することにある。 Another object of the present invention, in the disk array controller, shares in the processing time of the individual processors mounted in the channel adapter / disk adapter, it has increased the complexity of the growth and processing of the processor It is to reduce the number of accesses to memory.

【0011】 [0011]

【課題を解決するための手段】本発明は、上位装置および記憶装置との間における情報の授受を制御する複数の第1のプロセッサと、上位装置と記憶装置との間で授受される第1の情報および第1のプロセッサにて使用される第2の情報が格納される共有メモリを備えた共有メモリ部と、を含む記憶制御装置において、共有メモリ部には、第1のプロセッサの共有メモリへのアクセスを制御する第2のプロセッサを備えたものである。 Means for Solving the Problems The present invention is first supplied and received between the plurality of first processor for controlling the exchange of information between the host device and the storage device, host device and the storage device information and a shared memory portion where the second information with shared memory to be stored for use by the first processor, the storage control apparatus comprising, in the shared memory unit, the shared memory of the first processor those having a second processor for controlling access to.

【0012】また、本発明は、上位装置および記憶装置との間における情報の授受を制御する複数の第1のプロセッサと、上位装置と記憶装置との間で授受される第1 Further, the present invention is first supplied and received between the plurality of first processor for controlling the exchange of information between the host device and the storage device, host device and the storage device
の情報および第1のプロセッサにて使用される第2の情報が格納される共有メモリを備えた共有メモリ部と、を含む記憶制御装置の制御方法において、共有メモリ部に、第1のプロセッサと共有メモリとの間で授受される第1および第2の情報が一時的に格納されるデータキャッシュを備えた第2のプロセッサを配置し、第1のプロセッサの共有メモリ内の第1および第2の情報のアクセス要求には、可能な限りデータキャッシュを経由して応答するものである。 A method of controlling a storage control device comprising: a shared memory unit comprising a shared memory which the second information used in the information and the first processor is stored, the shared memory portion, and the first processor a second processor having a data cache first and second information to be transferred between the shared memory are stored temporarily arranged, the first and second shared memory of the first processor the information of the access request is in response via the data cache whenever possible.

【0013】より具体的には、本発明の記憶制御装置の一例であるディスクアレイ制御装置は、チャネルアダプタ及びディスクアダプタ搭載プロセッサから共有メモリをリード/ライトする時間を短縮する手段として、共有メモリ部にデータキャッシュを内蔵する共有メモリ搭載プロセッサを備える。 [0013] More specifically, the disk array controller is an example of a storage control apparatus of the present invention, as a means to reduce the time to read / write the shared memory from the channel adapter and the disk adapter mounted processors, the shared memory unit It comprises a shared memory mounted processor that incorporates a data cache. 最も高速な汎用メモリのアクセスタイムに対し、共有メモリ搭載プロセッサに内蔵されているデータキャッシュのアクセスタイムは通常1/10 To the fastest general purpose memory access time, access time of the data cache that is built in the shared memory mounted processor is usually 1/10
以下の時間で済むことが知られている。 It is known that the need in the following time. 増加する時間としては、共有メモリ搭載プロセッサの処理ステップ時間が多少発生するが昨今のプロセッサ処理クロックは飛躍的に高速化しており、数クロックのプロセッサ処理は汎用メモリのアクセスタイムの1/10以下であり、オーバーヘッドにはならない。 As time increases, the processor processing clock the processing step time is less occurrence of recent shared memory mounted processor is dramatically faster processors process of several clocks in 1/10 access time of a general purpose memory Yes, not to overhead. 共有メモリ搭載プロセッサのデータキャッシュにあらかじめ共有メモリデータをライトしておき、このデータをリードすれば、チャネルアダプタ/ディスクアダプタ搭載プロセッサの共有メモリアクセス占有時間が短縮される。 Shared memory installed in advance by writing in advance a shared memory data to a data cache of the processor, if read this data, the shared memory access occupation time of the channel adapter / disk adapter mounted processors is shortened.

【0014】共有メモリでは、全プロセッサの相互間で、フラグ制御情報のライト/リードにより連絡をとりあう制御処理が多く発生するが、このような処理は共有メモリアドレスが各プロセッサのアクセスで同一となるため、共有メモリ搭載プロセッサの内蔵データキャッシュにヒットする確立が極めて高く、共有メモリアクセス時間短縮に有効である。 [0014] In shared memory, between each other of all the processors, control processing to keep in contact by the write / read of the flag control information frequently it occurs, but the same in such a process is shared memory address of each processor access becomes therefore, shared memory establishes that hits the internal data cache mounted processors is very high, it is effective to reduce the shared memory access time.

【0015】また、本発明では、共有メモリ搭載プロセッサの内蔵データキャッシュのヒット率を高める手段として、アクセス元のチャネルアダプタ/ディスクアダプタ搭載プロセッサの識別番号を認識して、前回アクセスしたアドレスを先読みする手段、アクセスアドレスの周辺アドレスを先読みする手段、実行されるアクセス処理を認識し、次のアドレスを予想する先読み手段を設ける。 [0015] In the present invention, as a means of increasing the hit rate of the internal data cache of the shared memory mounted processor recognizes the identification number of the accessing channel adapters / disk adapter mounted processors, prefetching address accessed last means, means for prefetching a peripheral address of the access address, recognizes an access processing to be executed, provided prefetching means to predict the next address.

【0016】共有メモリを構成する汎用メモリは複数ワードを連続アクセスするバーストアクセスや、パイプライン動作によりリードライトを高速化するのが一般的であるが、単発のリードライトはオーバーヘッドが大きく高速化されていないのが実状である。 The general-purpose memory which constitutes a shared memory and a burst access to continuous access multiple word, but to speed up the read and write by the pipeline operation is common, one-shot read-write overhead is significantly faster I do not have is the actual situation. 従って、単発アクセスに対し、複数ワードをバーストアクセスしてもそれほどアクセス時間が増加しない特性があり、連続した複数バイトのデータを先読みすることによるアクセス時間増加は少ない。 Thus, for single access, and characteristics much access time even when burst access a plurality of words does not increase, the less increase access by the pre-read data of multiple consecutive bytes time.

【0017】また、本発明では、チャネルアダプタ/ディスクアダプタ搭載プロセッサの共有メモリアクセス占有時間を少なくする他の手段として、チャネルアダプタ/ディスクアダプタ搭載プロセッサの共有メモリへのアクセスを共有メモリ搭載プロセッサに代行させるコマンドインタフェースを設けることでアクセス回数そのものを減少させる方法を用いる。 [0017] In the present invention, as another means for reducing the shared memory access occupation time of the channel adapter / disk adapter mounted processors, substituting the access to the shared memory of the channel adapter / disk adapter mounted processors to the shared memory mounted processor using the method of reducing the number of accesses itself by providing a command interface to.

【0018】すなわち、チャネルアダプタ/ディスクアダプタ搭載プロセッサは、共有メモリからリードしたデータに基づきながら分岐処理を実施し、分岐先で更に共有メモリをリードすることが多いため、このような、共有メモリへの複数回のアクセスを伴う任意の処理単位を共有メモリ搭載プロセッサに代行させることでチャネルアダプタ/ディスクアダプタ搭載プロセッサの共有メモリへのアクセス回数を減少させる。 [0018] That is, the channel adapter / disk adapter mounted processors is performed branching processing while based on the data read from the shared memory, since it is often further leading shared memory at the branch destination, such, to the shared memory of reducing the multiple number of accesses to the shared memory of the channel adapter / disk adapter mounted processors by causing behalf arbitrary processing units in the shared memory mounted processor with access. この方法は、特にチャネルアダプタ/ディスクアダプタと共有メモリ部間のパス利用率を下げるのに効果的な手段である。 This method is an effective means to particularly reduce the channel adapter / disk adapter path utilization between the shared memory unit.

【0019】上述の共有メモリ搭載プロセッサの内蔵データキャッシュの利用と共有メモリアクセス回数を減少させる本手段を併用させれば、チャネルアダプタおよびディスクアダプタと共有メモリ部間でアクセス回数が減少し、更に内蔵データキャッシュから共有メモリデータをリードすることで共有メモリ部からの応答時間も格段に短縮される。 [0019] caused to combination the means for reducing the use and shared memory access count of the internal data cache of the shared memory mounted processor described above, the number of accesses is reduced between the shared memory portion and the channel adapter and the disk adapter, further internal response time from the shared memory unit by reading the shared memory data from the data cache is shortened dramatically.

【0020】 [0020]

【発明の実施の形態】以下、本発明の実施の形態を図面を参照しながら詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the present invention in detail with reference to the drawings.

【0021】図1は本発明の一実施の形態である記憶制御方法を実施する記憶制御装置を含む情報処理システムの構成の一例を示す概念図である。 [0021] FIG. 1 is a conceptual diagram showing an example of a configuration of an information processing system including a storage controller for implementing a is storage control method embodiment of the present invention.

【0022】本実施の形態の情報処理システムは、ホストコンピュータ500と、その配下で稼働し、ディスクアレイ制御装置600および冗長構成の複数の磁気ディスク装置50からなるディスクアレイサブシステムで構成されている。 The information processing system of this embodiment includes a host computer 500, running under the control thereof, and a disk array subsystem comprising a plurality of magnetic disk devices 50 of the disk array controller 600 and redundancy .

【0023】本実施の形態のディスクアレイ制御装置6 The disk array controller of the present embodiment 6
00は、ホストインタフェース700を介した一つまたは複数のホストコンピュータ500との間における情報の授受を制御する複数のチャネルアダプタ(PK)11 00, a plurality of channel adapters that control the exchange of information between the one or more host computers 500 via the host interface 700 (PK) 11
と、ドライブインタフェース60、ドライブインタフェース61を介した複数の磁気ディスク装置50との間における情報の授受を制御する複数のディスクアダプタ(PK)20と、チャネルアダプタ11およびディスクアダプタ20にて共有される共有メモリ部30から構成される。 When a drive interface 60, a plurality of disk adapters (PK) 20 that controls the exchange of information between the plurality of magnetic disk devices 50 via the drive interface 61 is shared by the channel adapters 11 and disk adapters 20 It consists of the shared memory unit 30.

【0024】チャネルアダプタ11の各々は、複数のチャネルアダプタ搭載プロセッサ(MP)17と、個々のチャネルアダプタ搭載プロセッサ17と共有メモリ部3 [0024] Each of the channel adapter 11, a plurality of channel adapters mounted processor (MP) 17, a shared memory unit 3 and the individual channel adapter mounted processors 17
0との間におけるパスインタフェース19を介した情報の授受を制御するプロセッサアダプタ(MPA)18で構成されている。 0 is configured with a processor adapter (MPA) 18 that controls the exchange of information via a path interface 19 between the.

【0025】同様に、ディスクアダプタ20の各々は、 [0025] Similarly, each of the disk adapter 20,
複数のディスクアダプタ搭載プロセッサ(MP)21 A plurality of disk adapters mounted processor (MP) 21
と、個々のMP21と共有メモリ部30との間におけるパスインタフェース19を介した情報の授受を制御するプロセッサアダプタ(MPA)22で構成されている。 When, and a processor adapter (MPA) 22 that controls the exchange of information via a path interface 19 between the shared memory unit 30 and the individual MP21.

【0026】共有メモリ部30は、共有メモリ制御LS [0026] The shared memory unit 30, the shared memory control LS
I31と、記憶媒体である共有メモリ32を含んでいる。 And I31, includes a shared memory 32 is a storage medium. 共有メモリ制御LSI31は、パスインタフェース19を介した複数のMPA18およびMPA22の各々からの共有メモリ32へのアクセス要求の調停等の処理を行う制御論理を備えたパスインタフェース制御33 Shared memory control LSI31 the path interface control with a control logic for processing arbitration such access requests from each of the plurality of MPA18 and MPA22 via a path interface 19 to the shared memory 32 of 33
と、メモリアクセスパス40を介してパスインタフェース制御33から到来する共有メモリ32へのデータのリード/ライト要求を受け付け、共有メモリインタフェース41を介して共有メモリ32に対するデータのリード/ライト処理を実行する共有メモリ制御34を含んでいる。 When accepting a read / write request for the data to the shared memory 32 coming from the path interface control 33 via the memory access path 40, to perform the read / write processing of data to the shared memory 32 via the shared memory interface 41 it includes a shared memory control 34.

【0027】本実施の形態の場合、共有メモリ制御LS In the case of this embodiment, the shared memory control LS
I31の内部には、メモリアクセスパス40に対して共有メモリ制御34と並列に接続された共有メモリ搭載プロセッサ36が設けられ、パスインタフェース制御33 Inside the I31, shared memory mounted processor 36 connected in parallel to the shared memory control 34 to the memory access path 40 are provided, the path interface control 33
から到来する共有メモリ32へのデータのリード/ライト要求が共有メモリ搭載プロセッサ36にも同時に入力される構成となっている。 Data read / write request to the shared memory 32 coming from the are configured to be simultaneously input to the shared memory mounted processor 36. また、共有メモリ搭載プロセッサ36の内部には内蔵データキャッシュ38が設けられている。 Further, the internal data cache 38 is provided inside the shared memory mounted processor 36. 共有メモリ搭載プロセッサ36と、共有メモリ制御34との間には図示しない制御インタフェースが設けられ、後述のような各種の共有メモリ32へのアクセス制御が行われる。 A shared memory mounted processor 36, shared between the memory control 34 is provided a control interface (not shown), the access control to various shared memory 32 as described below is performed.

【0028】この共有メモリ部30に設けられる共有メモリ搭載プロセッサ36は、たとえば、図4に例示されるように、共有メモリ制御LSI31内に設けられたローカルメモリ35に格納される制御プログラム95によって動作する。 The shared memory mounted processor 36 provided in the shared memory unit 30, for example, as illustrated in FIG. 4, the operation by the control program 95 stored in the local memory 35 provided in the shared memory control LSI31 to. また、ローカルメモリ35には、必要に応じて、後述のような共有メモリ32へのアクセス制御における優先度を制御するための優先度設定情報96 Also, the local memory 35, if necessary, priority setting information for controlling the priority of the access control to the shared memory 32 as described below 96
や、チャネルアダプタ搭載プロセッサ17およびディスクアダプタ搭載プロセッサ21による共有メモリ32へのアクセス状況を記録したアクセスログ情報97も格納される。 And, the access log information 97 that records the access status to the shared memory 32 by the channel adapter mounted processors 17 and the disk adapter mounted processors 21 are also stored.

【0029】共有メモリ搭載プロセッサ36は、たとえば、内蔵データキャッシュ38を備えた汎用のマイクロプロセッサで構成することができ、共有メモリ制御LS The shared memory mounted processor 36, for example, can be composed of a general-purpose microprocessor with built-in data cache 38, the shared memory control LS
I31内に、パスインタフェース制御33、共有メモリ制御34、ローカルメモリ35とともに1チップ構成で実装することができる。 In I31, path interface control 33, the shared memory control 34 may be implemented in one-chip configuration with the local memory 35. その場合、共有メモリ搭載プロセッサ36の部分は、新たに開発することなく、既存の汎用マイクロプロセッサのIP(設計資産)を利用して製造することができる。 In that case, part of the shared memory mounted processor 36 may be without developing new, using existing general-purpose microprocessor IP (intellectual property) production.

【0030】共有メモリ搭載プロセッサ36は、共有メモリ部30内に設けられたLANコントローラ37、および共有メモリ部30の外部に設けられたハブ(HU The shared memory mounted processor 36, a hub provided on the outside of the LAN controller 37 and the shared memory unit 30, provided in the shared memory unit 30 (HU
B)70を介して外部のサービスプロセッサ(SVP) External service processor via B) 70 (SVP)
80に接続されており、共有メモリ部30の内部における各種制御情報をSVP80から受け取って設定したり、共有メモリ部30の内部の障害の有無等の稼働状況をSVP80に送出する、等のディスクアレイサブシステムの管理運用にも用いられる。 It is connected to 80 and sends to set receives various control information inside the shared memory unit 30 from SVP80, the operating status of the presence or absence of internal failure in the shared memory unit 30 in SVP80, disk etc. Array also used in the management and operation of the subsystem.

【0031】図3に例示されるように、共有メモリ32 [0031] As illustrated in FIG. 3, the shared memory 32
には、一例として、複数のチャネルアダプタ搭載プロセッサ17、ディスクアダプタ搭載プロセッサ21等にアクセスされるシステム管理情報91(第1の情報)、複数のチャネルアダプタ搭載プロセッサ17、ディスクアダプタ搭載プロセッサ21等の相互間における制御情報の授受に用いられるプロセッサ間通信エリア92(第1 To, as an example, a plurality of channel adapters mounted processor 17, system management information 91 that is accessing the disk adapter mounted processors 21 such as (first information), a plurality of channel adapters mounted processor 17, such as a disk adapter mounted processors 21 between processors used in exchange of control information between the mutual communication area 92 (first
の情報)、ホストコンピュータ500と磁気ディスク装置50との間で授受されるデータ(第2の情報)が一時的に格納されるキャッシュデータ領域94、キャッシュデータ領域94における格納データの管理(たとえば特定のデータの有無のチェック)等に用いられるキャッシュ管理情報93(第1の情報)、等の情報が格納される。 Information), the cache data area 94 where data to be transferred between the host computer 500 and the magnetic disk device 50 (second information) is stored temporarily, managing data stored in the cache data area 94 (e.g. a particular whether the data of the check) and the like cache management information 93 used in the (first information), information etc. are stored.

【0032】また、本実施の形態の場合、複数の磁気ディスク装置50は、たとえばRAID(Redanda Further, in this embodiment, a plurality of magnetic disk device 50, for example, RAID (Redanda
nt Arrays of Inexpensive nt Arrays of Inexpensive
Disks)のディスクアレイを構成し、ホストコンピュータ500からのライトデータを分割したデータブロックと、当該データブロックから生成された冗長データブロックが、複数の磁気ディスク装置50に分散して格納される。 Configure the disk array of Disks), and data blocks obtained by dividing the write data from the host computer 500, redundant data blocks generated from the data block is stored distributed over multiple magnetic disk devices 50.

【0033】これに伴い、キャッシュデータ領域94の管理を効率化すべく、たとえば、キャッシュ管理情報9 [0033] Accordingly, in order to better manage the cache data area 94, for example, cache management information 9
3は、共有メモリ32内での任意のデータブロック(セグメント)の実アドレスが格納されるキャッシュセグメント管理テーブル93d、RAIDの各ストライプを構成するセグメントの前記キャッシュセグメント管理テーブル93dにおけるアドレスが格納されるキャッシュストライプ管理テーブル93c、キャッシュグループに属する各ストライプの前記キャッシュストライプ管理テーブル93cにおけるアドレスが格納されるキャッシュグループアドレス管理テーブル93b、仮想デバイスを構成するキャッシュグループのキャッシュグループアドレス管理テーブル93bにおけるアドレスが格納される仮想デバイスグループテーブル93a、の階層構造をなしている。 3, the cache segment management table 93d in which the real address of any data block (segment) is stored, the address in the cache segment management table 93d of segments constituting each stripe of RAID is stored in the shared memory 32 cache stripe management table 93c, the cache group address management table 93b that address in the cache stripe management table 93c of each stripe belonging to cache group is stored, the address in the cache group address management table 93b caches groups constituting the virtual device storage the virtual device group table 93a which is, and has a hierarchical structure of.

【0034】チャネルアダプタ11の個々のチャネルアダプタ搭載プロセッサ17、およびディスクアダプタ2 The individual channel adapter mounted processors 17 of the channel adapter 11 and disk adapter 2,
0の個々のディスクアダプタ搭載プロセッサ21から、 From individual disk adapter equipped with processor 21 of 0,
MPA18およびMPA22を経由してパスインタフェース制御33との間で授受される共有メモリ32および磁気ディスク装置50へのアクセス要求は、本実施の形態の場合、一例として、図2に例示されるようなフォーマットを用いて実行される。 Access requests to the shared memory 32 and the magnetic disk device 50 is exchanged between the path interface control 33 via MPA18 and MPA22 in the case of this embodiment, as an example, as illustrated in FIG. 2 It is performed using the format.

【0035】すなわち、図2(a)に例示されるように、MPA18およびMPA22からパスインタフェース制御33に発行されるライト要求時の、MPA送信フェーズ100(ライトフォーマット)は、共有メモリ3 [0035] That is, as illustrated in FIG. 2 (a), at the time of write request issued from MPA18 and MPA22 path interface control 33, MPA transmission phase 100 (write format) is a shared memory 3
2および磁気ディスク装置50に対する書き込み位置を指示するアドレス部100a、リード/ライト等の動作の種別や要求元のチャネルアダプタ11(PK)、ディスクアダプタ20(PK)および各PK内のチャネルアダプタ搭載プロセッサ17、ディスクアダプタ搭載プロセッサ21を識別する情報が設定されるコマンド部10 Address unit 100a for instructing the writing position with respect to 2 and the magnetic disk device 50, the read / type and requesting the channel adapter 11 of the operation of the write and the like (PK), the channel adapter mounted processors of the disk adapter 20 (PK) and in each PK 17, the command unit 10 information for identifying the disk adapter mounted processors 21 is set
0b、ライトデータが格納されるデータ部100c、当該MPA送信フェーズ100のエラーチェックやエラー訂正等に用いられる符号部100d、からなる。 0b, the data unit 100c in the write data is stored, the code portion 100d used for error checking and correction, etc. of the MPA transmission phase 100 consists of.

【0036】また、MPA送信フェーズ100に対して、パスインタフェース制御33から応答されるMPA Further, with respect to MPA transmission phase 100, it is the response from a path interface control 33 MPA
受信フェーズ101は、ライト処理の実行結果等を示す情報を含むステータス部101a、当該MPA受信フェーズ101のエラーチェックやエラー訂正等に用いられる符号部101b、からなる。 Receive phase 101, the encoding section 101b used in the status section 101a, error checking and correction, etc. of the MPA receiving phase 101 containing information indicating the execution results of the write process, consisting of. なお、ライト要求処理における障害発生時には、MPA受信フェーズ101には、図2(b)に例示されるように、エラー内容部10 Incidentally, in the event of a failure in the write request processing, the MPA receive phase 101, as illustrated in FIG. 2 (b), the error content portion 10
1cが付加される。 1c is added.

【0037】一方、図2(c)に例示されるように、M On the other hand, as illustrated in FIG. 2 (c), M
PA18およびMPA22からパスインタフェース制御33に発行されるリード要求時の、MPA送信フェーズ102(リードフォーマット)は、共有メモリ32および磁気ディスク装置50に対する読み出し位置を指示するアドレス部102a、リード/ライト等の動作の種別や要求元のチャネルアダプタ11(PK)、ディスクアダプタ20(PK)および各PK内のチャネルアダプタ搭載プロセッサ17、ディスクアダプタ搭載プロセッサ21を識別する情報が設定されるコマンド部102b、 From PA18 and MPA22 of the read requests issued to the path interface control 33, MPA transmission phase 102 (read format), the address portion 102a for indicating the read position to the shared memory 32 and the magnetic disk device 50, such as a read / write type of operation and requesting the channel adapter 11 (PK), the disk adapter 20 (PK) and the channel adapter mounted processors 17 in each PK, the command section 102b which information for identifying the disk adapter mounted processors 21 is set,
当該MPA送信フェーズ102のエラーチェックやエラー訂正等に用いられる符号部102c、からなる。 Code portion 102c used for the MPA error checking and correction, etc. of the transmission phase 102 consists of.

【0038】また、MPA送信フェーズ102に対して、パスインタフェース制御33から応答されるMPA Further, with respect to MPA transmission phase 102, it is the response from a path interface control 33 MPA
受信フェーズ103は、リード処理の実行結果等を示す情報を含むステータス部103a、読み出されたリードデータが格納されるデータ部103b、当該MPA受信フェーズ103のエラーチェックやエラー訂正等に用いられる符号部103c、からなる。 Receive phase 103, the code used for the status unit 103a, read data portion 103b which read data is stored, error checking and correction, etc. of the MPA receiving phase 103 containing information indicating the execution results of the read process section 103c, consisting of. なお、リード要求処理における障害発生時には、MPA受信フェーズ103 Incidentally, when a fault occurs in the read request processing, MPA receiving phase 103
には、図2(d)に例示されるように、エラー内容部1 The, as illustrated in FIG. 2 (d), the error content portion 1
03dが付加される。 03d is added.

【0039】後述の本実施の形態におけるインテリジェントコマンド(サーチ命令)は、図2(c)に例示されるように、リードフォーマット(MPA送信フェーズ1 The intelligent command (search command) in this embodiment will be described later, as illustrated in FIG. 2 (c), read format (MPA transmission phase 1
02−1)を用いて実行する。 It performed using a 02-1). すなわち、コマンド部1 In other words, the command unit 1
02b内に、通常のリード命令とは異なるサーチ命令であることを示すビットをセットする。 In 02b, and it sets a bit indicating a different search instruction from a normal read command. また、このサーチ命令に対して、応答されるMPA受信フェーズ103− Further, with respect to the search instruction, the response is the MPA receiving phase 103-
1では、データ部103bには、リードデータの代わりに、共有メモリ32におけるキャッシュデータ領域94 In 1, the data unit 103b, instead of the read data, the cache data area 94 in the shared memory 32
においてヒットした目的のデータブロックの格納位置(キャッシュ実アドレス)が格納される。 Storage location of the data block of the hit object (cache real address) is stored in.

【0040】ホストコンピュータ500から磁気ディスク装置50までのデータライト転送について説明する。 The described data write transfer from the host computer 500 to the magnetic disk device 50.
チャネルアダプタ11はホストインタフェース700を介してホストコンピュータ500から転送されるデータを受信し、チャネルアダプタ搭載プロセッサ17の制御によりMPA18から共有メモリ部30にアドレス、コマンド、ライトデータ等からなるMPA送信フェーズ1 The channel adapter 11 receives the data transferred from the host computer 500 via the host interface 700, address in the shared memory unit 30 from MPA18 by control of the channel adapter mounted processors 17, command, MPA sending phase 1 consisting of write data or the like
00が送信される。 00 is sent. この時、チャネルアダプタ11には複数のチャネルアダプタ搭載プロセッサ17が搭載されており、それぞれが共有メモリ部30へデータ転送を要求するため、MPA18は各チャネルアダプタ搭載プロセッサ17の転送要求を調停し、共有メモリ部30へのアクセスを絞り込んでいる。 At this time, the channel adapter 11 is mounted a plurality of channel adapters mounted processor 17, for each request data transfer to the shared memory unit 30, MPA18 arbitrates transfer requests each channel adapter mounted processors 17, and narrow down the access to the shared memory unit 30. 本実施の形態ではチャネルアダプタ11及びディスクアダプタ20から共有メモリ部30へのパスインタフェース19は1本であるがパスを複数持つ場合もある。 In the present embodiment has path interface 19 from the channel adapters 11 and disk adapters 20 to the shared memory unit 30 is one in some cases have multiple paths.

【0041】共有メモリ部30に実装されている共有メモリ制御LSI31は、上述のように、パスインタフェース制御33、共有メモリ搭載プロセッサ36、共有メモリ制御34、ローカルメモリ35が内蔵されている。 The shared memory unit 30 the shared memory control LSI31 implemented in, as described above, the path interface control 33, a shared memory mounted processor 36, the shared memory control 34, local memory 35 is built.

【0042】パスインタフェース制御33は、チャネルアダプタ11から送られてくるデータ(MPA送信フェーズ100)を受信する。 The path interface controller 33 receives data (MPA transmission phase 100) sent from the channel adapter 11. パスインタフェース制御33 Path interface control 33
は転送データ(MPA送信フェーズ100)のアドレス、コマンドから共有メモリ32のある番地アドレスライトであることを認識し、共有メモリ制御34に該当アドレスをライトするように要求する。 Recognizes that it is the address address Write with address of the transfer data (MPA transmission phase 100), the command of the shared memory 32, and requests to write to the appropriate address in the shared memory control 34.

【0043】共有メモリ制御34は共有メモリ32にメモリアクセスパス40を介してパスインタフェース制御33から転送されたデータをライトする。 The shared memory control 34 writes the data transferred from the path interface control 33 via the memory access path 40 to the shared memory 32. この時、同時に共有メモリ搭載プロセッサ36はメモリアクセスパス40を介してパスインタフェース制御33と共有メモリ制御34間のデータを参照し、内蔵データキャッシュ3 At this time, referring to the data between the shared memory control 34 and path interface control 33 shared memory mounted processor 36 via the memory access path 40 at the same time, internal data cache 3
8に共有メモリライトデータをライトする。 Write the shared memory write data to the 8. 共有メモリ搭載プロセッサ36は共有メモリライトデータの他にアクセス元であるチャネルアダプタ11のプロセッサ番号も記憶する。 Processor number of shared memory mounted processor 36 channel adapter 11 is in addition to the accessing shared memory write data is also stored. 共有メモリライトが終了すると、共有メモリ制御34はパスインタフェース制御33に終了報告する。 When a shared memory write is completed, the shared memory control 34 terminates reported path interface control 33. パスインタフェース制御33はパスインタフェース19を介してチャネルアダプタ11に共有メモリライトアクセス終了をステータスで報告する。 Path interface controller 33 reports the status of the shared memory write access end to the channel adapter 11 via a path interface 19. チャネルアダプタ搭載プロセッサ17の共有メモリライト動作は以上の手順で実施される。 Shared memory write operation of the channel adapter mounted processors 17 is carried out in the above procedure. 尚、ディスクアダプタ搭載プロセッサ21の共有メモリライト動作も同じ手順となる。 Note that the shared memory write operation of the disk adapter mounted processors 21 also becomes the same procedure.

【0044】チャネルアダプタ11に搭載されたチャネルアダプタ搭載プロセッサ17は前記と同じようなデータライト手順で、共有メモリ32上にあるチャネルアダプタ11とディスクアダプタ20との通信エリア(プロセッサ間通信エリア92)にホストコンピュータ500 The channel adapter mounted processors 17 mounted to the channel adapter 11 in a similar data write procedure and the communication area of ​​the channel adapters 11 and the disk adapter 20 in the shared memory 32 (inter-processor communication area 92) the host computer 500
からのデータをライトしたことを知らせるフラグをライトする。 Write a flag indicating that data has been written from. 一方、ディスクアダプタ搭載プロセッサ21は共有メモリ32上にあるプロセッサ間通信エリア92の情報を定期的にリードし、ホストコンピュータ500のデータがライトされているか確認している。 On the other hand, the disk adapter mounted processors 21 periodically reads the information of the inter-processor communication area 92 in the shared memory 32, the data of the host computer 500 is checking whether it is a write.

【0045】この時の共有メモリリード手順は、ディスクアダプタ搭載プロセッサ21の制御によりMPA22 [0045] shared memory read procedure at this time, under the control of the disk adapter equipped with processor 21 MPA22
から共有メモリ部30にアドレス、コマンド(MPA送信フェーズ102)が送信される。 Address in the shared memory unit 30, a command (MPA transmission phase 102) is transmitted. この時、ディスクアダプタ20には複数のディスクアダプタ搭載プロセッサ21が搭載されており、それぞれが共有メモリ部30へデータ転送要求をするため、MPA22は各ディスクアダプタ搭載プロセッサ21の転送要求を調停し、共有メモリ部30へのアクセスを絞り込んでいる。 At this time, the disk adapter 20 is provided with a plurality of disk adapters mounted processor 21 is mounted, for each of which a data transfer request to the shared memory unit 30, MPA22 arbitrates transfer requests each disk adapter mounted processors 21, and narrow down the access to the shared memory unit 30. 本実施の形態の図1ではディスクアダプタ20から共有メモリ部3 Shared memory 3 from the disk adapter 20 in Figure 1 of this embodiment
0へのパスインタフェース19は1本であるがパスを複数持つ場合もある。 Path interface 19 to 0 is a one in some cases have multiple paths.

【0046】共有メモリ部30に実装されている共有メモリ制御LSI31はパスインタフェース制御33でディスクアダプタ20から送られてくるデータ(MPA送信フェーズ102)を受信する。 [0046] Upon receiving the shared memory control LSI31 which is implemented in the shared memory unit 30 is transmitted from the disk adapter 20 in the path interface control 33 data (MPA transmission phase 102). パスインタフェース制御33は転送データ(MPA送信フェーズ102)のアドレス、コマンドから共有メモリ32のある番地アドレスリードであることを認識し共有メモリ制御34に該当アドレスをリードをするように要求する。 Path interface control 33 to request to read a corresponding address in the shared memory control 34 recognizes that the address of the transfer data (MPA transmission phase 102), the command is address address read with shared memory 32.

【0047】この時、共有メモリ搭載プロセッサ36は内蔵データキャッシュ38の中に該当するアドレスのデータが存在するか判定し、存在していれば内蔵データキャッシュ38からデータを読み出し、パスインタフェース制御33にデータ送信し、共有メモリ制御34には図示しない制御インタフェースを介して該当アドレスの共有メモリアクセスを取りやめさせる。 [0047] At this time, read data from the shared memory mounted processor 36 determines whether the data of the address corresponding in internal data cache 38 is present, the built if present data cache 38, the path interface control 33 and data transmission, causing cancel the shared memory accesses the corresponding address via a control interface (not shown) in the shared memory control 34. 共有メモリ搭載プロセッサ36の内蔵データキャッシュ38にヒットしなかった場合、共有メモリ制御34は処理を継続しており、共有メモリ32をリードし、パスインタフェース制御33にリードデータを送信する。 If the shared no hit in the internal data cache 38 of memory mounted processor 36, the shared memory control 34 is continues processing, reads the shared memory 32, and transmits the read data to the path interface control 33. 共有メモリ搭載プロセッサ36は共有メモリリード時にもアクセス元であるディスクアダプタ20のプロセッサ番号を記憶する。 Shared memory mounted processor 36 stores the processor number of the disk adapter 20 is a shared memory read time also access source.

【0048】パスインタフェース制御33はパスインタフェース19を介してディスクアダプタ20に共有メモリ32からのリードデータを送信する。 The path interface controller 33 sends the read data from the shared memory 32 in the disk adapter 20 via path interface 19. ディスクアダプタ搭載プロセッサ21は指定した共有メモリアドレスのデータを取り込むことができる。 Disk adapter mounted processors 21 can take in the data in the shared memory address specified. 尚、チャネルアダプタ搭載プロセッサ17による共有メモリ32のリード動作も同じ手順となる。 Even the same procedure read operation of the shared memory 32 by the channel adapter mounted processors 17.

【0049】ディスクアダプタ搭載プロセッサ21はチャネルアダプタ11から共有メモリ32に転送されたデータを読み出し、ドライブインタフェース60を介して共有メモリ32からリードしたデータを磁気ディスク装置50に転送し、磁気ディスク装置50は転送データをライトする。 The disk adapter mounted processors 21 reads the data transferred to the shared memory 32 from the channel adapter 11, and transfers the data read from the shared memory 32 via the drive interface 60 to the magnetic disk device 50, a magnetic disk device 50 to write the transfer data.

【0050】ホストコンピュータ500からディスクアレイ制御装置600へのデータの読み出し要求は、ホストインタフェース700を介してチャネルアダプタ搭載プロセッサ17に伝えられ、チャネルアダプタ搭載プロセッサ17の制御により共有メモリ32上に要求データがあるかどうか確認するために共有メモリ32にあるキャッシュ管理情報93をリードする処理が実施される。 The data read request from the host computer 500 to the disk array controller 600 is transmitted to the channel adapter mounted processors 17 via the host interface 700, request data in the shared memory 32 by the control of the channel adapter mounted processors 17 processing of leads are carried out to the cache management information 93 in the shared memory 32 to see if there is.
要求データが存在する場合、チャネルアダプタ搭載プロセッサ17は共有メモリ32からリード処理を実施する。 If the requested data is present, the channel adapter mounted processors 17 implement a read process from the shared memory 32. 要求データが存在しない場合、チャネルアダプタ搭載プロセッサ17は、磁気ディスク装置50から要求データを読み出すように共有メモリ32のプロセッサ間通信エリア92を経由してディスクアダプタ搭載プロセッサ21に要求する。 If the requested data is not present, the channel adapter mounted processors 17 requests the disk adapter mounted processors 21 via the inter-processor communication area 92 of the shared memory 32 to read the requested data from the magnetic disk device 50. 命令を受けたディスクアダプタ搭載プロセッサ21は、ドライブインタフェース60を介して磁気ディスク装置50から要求データを読み出し、パスインタフェース19を介して共有メモリ32に要求データを転送する。 Disk adapter mounted processors 21 which has received the instruction, reads out the requested data from the magnetic disk device 50 through the drive interface 60, and transfers the requested data to the shared memory 32 via the path interface 19. 転送が終了するとディスクアダプタ搭載プロセッサ21は共有メモリ32のプロセッサ間通信エリア92を介してチャネルアダプタ搭載プロセッサ1 When the transfer is completed the disk adapter mounted processors 21 via the inter-processor communication area 92 of the shared memory 32 the channel adapter mounted processors 1
7に転送が終了したことを伝える。 7 to transfer tell that it has finished. それを受けてチャネルアダプタ搭載プロセッサ17は、共有メモリ32へのリード処理を実施し、ホストコンピュータ500へ要求データを転送する。 The channel adapter mounted processors 17 receives it, and carried out the read process to the shared memory 32, and transfers the requested data to the host computer 500.

【0051】次に共有メモリ搭載プロセッサ36の先読み処理の一例について図5を用いて説明する。 [0051] Next, an example of read-ahead processing in a shared memory mounted processor 36 will be described with reference to FIG.

【0052】共有メモリ32のリード処理において共有メモリ搭載プロセッサ36はパスインタフェース制御3 [0052] shared memory mounted processor 36 in the read process of the common memory 32 the path interface controller 3
3が受け取った共有メモリ32へのMPA送信フェーズ102に含まれるアドレス、コマンド等の情報から共有メモリ32へのリードかライトかを判定し(処理11 3 is an address included in the MPA transmission phase 102 to the shared memory 32 the received, it is determined whether the read or write to the shared memory 32 from the information such as the command (processing 11
0)、リードであれば共有メモリ搭載プロセッサ36に内蔵データキャッシュ38のヒット/ミス判定を実施する(処理111)。 0), carrying out the hit / miss determination of the internal data cache 38 to the shared memory mounted processor 36 if a read (processing 111). ヒットしていれば共有メモリ搭載プロセッサ36の内蔵データキャッシュ38から要求データを読み出し(処理112)、パスインタフェース制御33に要求データを転送する(処理119)。 If hit read the requested data from the internal data cache 38 in the shared memory mounted processor 36 (process 112), and transfers the requested data to the path interface control 33 (process 119). この場合、共有メモリ32から要求データを読み出し、パスインタフェース制御33にデータを転送するよりも短時間で処理が実施される。 In this case, it reads the requested data from the shared memory 32, a short time in the process than to transfer data to the path interface control 33 is performed.

【0053】一方、内蔵データキャッシュ38に要求データが無いミスの場合、まずアクセスアドレス/MP番号を採取し(処理113)、共有メモリ読み出しモードを判定する(処理114)。 Meanwhile, in the case of miss no request data to the internal data cache 38, and first collecting an access address / MP Number (process 113), shared determines a memory read mode (process 114). この読み出しモード判定処理は、あらかじめ初期設定にてモード設定しておくか、 Or the reading mode determination process, keep mode set in advance initialization,
共有メモリ搭載プロセッサ36の学習プログラムにより、ヒット率が高くなるようにモードを自動選択することも可能である。 The study program shared memory mounted processor 36, it is also possible modes such hit rate increases to automatically select. モード1が選択された場合、アクセスアドレス周辺のnバイトバーストリード命令を発行する(処理115)。 If the mode 1 is selected, and issues a n-byte burst read command near the access address (step 115). モード2が選択された場合、コマンド,アドレスから次の命令を予想したアドレスにバーストリード命令または単発リード命令を実施する(処理1 Mode 2 is a case that has been selected, the command is carried out next to the address predicted instruction burst read command or single read command from the address (process 1
16)。 16). モード3が選択された場合、アクセス元プロセッサ番号(MP番号)から該当プロセッサが以前アクセスしたアドレスをリードする命令を発行する(処理11 When the mode 3 is selected, the relevant from the access source processor number (MP number) processor issues a command to read the previously accessed address (process 11
7)。 7). いずれかの先読みモードでリードされたデータは共有メモリ搭載プロセッサ36の内蔵データキャッシュ38に格納される(処理118)。 Read data in one of read-ahead mode is stored in the internal data cache 38 in the shared memory mounted processor 36 (step 118). 以上のミス処理内で実施される共有メモリ32から内蔵データキャッシュ3 Internal data cache 3 from the shared memory 32 implemented in the miss processing described above
8への先読み処理は、本来のチャネルアダプタ及びディスクアダプタから要求のある共有メモリアクセス処理の妨げにならないように、共有メモリ制御34にて優先順位が下げられ、共有メモリ32のアクセスが空いている時間帯に処理することもできる。 Prefetching process to 8, so as not from the original channel adapters and disk adapters in the way of the shared memory access process with a request, lowered priority on the shared memory control 34, are free access shared memory 32 It can also be processed to the time zone.

【0054】次に共有メモリ搭載プロセッサ36による共有メモリ32のアクセス制御におけるアドレス優先処理の一例について図6を用いて説明する。 [0054] Next, an example of address priority process in the access control of the shared memory 32 by the shared memory mounted processor 36 will be described with reference to FIG.

【0055】パスインタフェース制御33からメモリアクセスパス40を経由して共有メモリ制御34に順次到来する複数のアクセス要求は、共有メモリ制御34に設けられた図示しない待ちキューに蓄積されて順次実行されるが、以下のようなアドレス優先処理を行う場合には、待ちキューとして、通常待ちキューおよび優先待ちキューを設定して以下のようなアクセス要求の実行順序の制御を行う。 [0055] a plurality of access requests sequentially arriving at the shared memory control 34 via the memory access path 40 from the path interface control 33 is sequentially executed stored in the waiting queue (not shown) provided in the shared memory control 34 but in the case of performing the address priority processing described below, as a wait queue, and controls the execution order such as the following access request to set the normal queue and priority queue.

【0056】すなわち、共有メモリ32のリード/ライト処理において共有メモリ搭載プロセッサ36はパスインタフェース制御33が受け取った共有メモリ32へのMPA送信フェーズ102/MPA送信フェーズ100 [0056] That is, MPA transmission phase 102 / MPA transmission phase to the shared memory 32 shared memory mounted processor 36 received path interface controller 33 in the read / write processing of the shared memory 32 100
のアドレス、コマンド等の情報から共有メモリ32へのアドレス,アクセス元のプロセッサ番号を採取し(処理210)、優先アドレスの判定処理(処理211)と優先プロセッサの判定処理を実施する(処理212)。 Address, the address from the information such as the command to the shared memory 32, taken access source processor number (process 210), to implement the determination process of the determination processing of the priority address (process 211) the priority processor (processing 212) . 優先アドレス及び優先プロセッサの指定は、チャネルアダプタ搭載プロセッサ17及びディスクアダプタ搭載プロセッサ21の指示により共有メモリ搭載プロセッサ36 Designated preferred address and priority processor, shared memory mounted processor 36 according to an instruction of the channel adapter mounted processors 17 and the disk adapter mounted processors 21
が逐次指定できる。 There can be specified sequentially. また、共有メモリ搭載プロセッサ3 In addition, the shared memory mounted processor 3
6自身が学習プログラムにより、MPA送信フェーズ1 By 6 own learning program, MPA transmission phase 1
02/MPA送信フェーズ100のアドレス、コマンド、データ、プロセッサ番号、以上の前後関係ログ情報(アクセスログ情報97)によりディスクアレイ制御装置600の処理ルーチンを把握し、ディスクアレイ制御装置600の性能が高くなるように優先順位を逐次設定することも可能である(処理213)。 02 / MPA transmission phase 100 of the address, command, data, processor number, or more to grasp the processing routine of the disk array controller 600 by context log information (access log information 97), a high performance of the disk array controller 600 it is also possible to sequentially set priorities so that (process 213).

【0057】優先アドレスまたは優先プロセッサであると判定されたら優先待ちキューに当該アクセスを登録する(処理215)。 [0057] registers the access to the priority queue if it is determined that the preferred address or priority processor (processing 215). 優先アドレスまたは優先プロセッサでないと判定されたら通常待ちキューに当該アクセスを登録する(処理214)。 If it is determined not to be the preferred address or priority processor in the normal waiting queue registers the access (step 214). N回以上待たされているチャネルアダプタ搭載プロセッサ17またはディスクアダプタ搭載プロセッサ21があるか判定し(処理216)、 It is determined whether N times or more wait is there is the channel adapter mounted processors 17 or disk adapter mounted processors 21 are (process 216),
待たされているこれらのプロセッサ群の中でラウンドロビンによるアービトレーションを実施し、次回の共有メモリアクセス権を決定する(処理218)。 Waiting is carried out arbitration in a round-robin among these processors is to determine the next shared memory access (processing 218).

【0058】一方、N回以上待たされているチャネルアダプタ搭載プロセッサ17またはディスクアダプタ搭載プロセッサ21が無ければ、優先待ちキューに待ちがあるか判定し(処理217)、優先待ちキューに待ちがある場合は優先待ちキュー内のプロセッサ群の中でラウンドロビンによるアービトレーションを実施し、次回の共有メモリアクセス権を決定する(処理220)。 Meanwhile, if there is no channel adapter mounted processors 17 or disk adapter mounted processors 21 are kept waiting more than N times, it is determined whether there is a waiting in the priority queue (step 217), if there is a waiting in the priority queue It conducted a arbitration in a round-robin among the processors in the priority queue, determining the next shared memory access (processing 220). 尚、待ち上限回数Nはあらかじめ設定する。 Incidentally, the waiting upper limit number N is set in advance. 優先待ちキューに待ちがない場合は通常待ちキュー内のプロセッサ群の中でラウンドロビンによるアービトレーションを実施し、 If there is no waiting in the priority queue implemented arbitration in a round-robin among the processors in the normal waiting in the queue,
次回の共有メモリアクセス権を決定する(処理21 To determine the next time the shared memory access (processing 21
9)。 9). 以上の3種類の何れかに選択されたアービトレーション結果に基づき共有メモリ32へのアクセスが実施される(処理221)。 Access is performed to the shared memory 32 based on the above three types of have been arbitration result selection in any (process 221).

【0059】次に本実施の形態のインテリジェントコマンドにより、チャネルアダプタ搭載プロセッサ17及びディスクアダプタ搭載プロセッサ21の処理を共有メモリ搭載プロセッサ36が代行する方式について説明する。 [0059] The next intelligent command of this embodiment, the processing of the channel adapter mounted processors 17 and the disk adapter mounted processors 21 shared memory mounted processor 36 will be described method of acting.

【0060】図13は参考技術としてのチャネルアダプタ搭載プロセッサ17による共有メモリ32におけるキャッシュ管理情報93の参照によるキャッシュデータ領域94でのキャッシュヒット/ミス判定処理を示す。 [0060] Figure 13 shows a cache hit / miss determination processing in the cache data area 94 by referring cache management information 93 in the shared memory 32 by the channel adapter mounted processors 17 as a reference technology. キャッシュデータ領域94でのヒットミスを判定するまで最小2回、最大4回の共有メモリ32へのアクセスが必要であり、ヒットした場合はキャッシュ実アドレスを採取するまで4回の共有メモリアクセスが必要である。 Minimum 2 times until determining the hit-miss in the cache data area 94, access to the shared memory 32 up to 4 times are necessary, if you hit requires four shared memory access until harvesting cache real address it is.

【0061】図7は、本実施の形態のインテリジェントコマンドの一例であるサーチ命令(MPA送信フェーズ102−1、MPA受信フェーズ103−1)を使用したチャネルアダプタ搭載プロセッサ17によるキャッシュヒット/ミス判定処理の一例を示す。 [0061] Figure 7 is a search instruction (MPA transmission phase 102-1, MPA receive phase 103-1) cache hit / miss determination processing by the channel adapter mounted processors 17 using an example of an intelligent command of this embodiment It shows an example of.

【0062】ホスト論理アドレスを仮想デバイスアドレスに変換(処理310)した後、仮想デバイスアドレスから共有メモリ部30にサーチ命令を発行する(処理3 [0062] After converting the host logical addresses to the virtual device address (processing 310), and issues a search command to the shared memory unit 30 from the virtual device address (process 3
11)。 11). その後、共有メモリ部30からパスインタフェース19を通じて、MPA受信フェーズ103−1により、ステータスとデータが返送されてくる。 Then, through a path interface 19 from the shared memory unit 30, the MPA receive phase 103-1, status and data sent back. チャネルアダプタ搭載プロセッサ17はステータスの値からキャッシュヒットしているか判定し(処理312)、データ部103bからヒットしているときのキャッシュ実アドレスを読み取る(処理313)。 The channel adapter mounted processors 17 determines whether a cache hit from the value of the status (processing 312), reads the cache real address when being hit from the data portion 103b (processing 313).

【0063】サーチ命令は、上述のように、パスインタフェース19のリードコマンド対応のMPA送信フェーズ102−1のコマンド部102bのビットに割り当てられ、共有メモリ制御LSI31はパスインタフェース19を通じて受信した共有メモリ32へのアクセス要求がサーチ命令であることを認識し、共有メモリ搭載プロセッサ36はキャッシュヒット/ミス判定を実施する。 [0063] search instruction, as described above, assigned to the bits of the command portion 102b of the read command corresponding MPA transmission phase 102-1 path interface 19, a shared memory 32 shared memory control LSI31 is received via path interface 19 request to access recognizes that it is a search instruction, the shared memory mounted processor 36 implements a cache hit / miss determination.

【0064】図8はインテリジェントコマンドの一例であるサーチ命令を使用した共有メモリ搭載プロセッサ3 [0064] Figure 8 is a shared memory mounted processor 3 using a search instruction, which is an example of an intelligent command
6によるキャッシュヒット/ミス判定処理の一例を示す。 6 according to an example of the cache hit / miss determination process.

【0065】共有メモリアクセスのMPA送信フェーズ102−1のアドレス部102aは、仮想デバイスアドレスを示し、このアドレスにて仮想デバイスグループテーブル93aからキャッシュグループアドレスをリードする(処理410)。 [0065] address portion 102a of MPA transmission phase 102-1 of shared memory access indicates the virtual device address, to read the cache group address from the virtual device group table 93a at this address (step 410). キャッシュグループアドレス管理テーブル93bの当該キャッシュグループアドレスのエントリにあるフラグからキャッシュヒット・ミスを判定する(処理411)。 From the flag in the entry of the cache group address of the cache group address management table 93b determines a cache hit miss (process 411). ヒットすれば、キャッシュストライプ管理テーブル93cをリードし(処理412)、フラグからキャッシュヒット・ミスを判定する(処理41 If a hit, read cache stripe management table 93c (step 412), determines a cache hit miss from the flag (processing 41
3)。 3). 更にヒットすれば、キャッシュセグメント管理テーブル93dをリードし(処理414)、フラグからキャッシュヒット・ミスを判定する(処理415)。 And more hits, leading cache segment management table 93d (process 414) determines a cache hit miss from the flag (processing 415). ヒットすれば、キャッシュセグメント管理テーブル93dからキャッシュ実アドレスをリードし(処理416)、コマンド部102bのPK番号に基づいて転送元であるチャネルアダプタにパスインタフェース19を通じて、M If a hit, leading the cache real address from the cache segment management table 93d (process 416), through a path interface 19 to the channel adapter is a transfer source based on PK number of the command section 102b, M
PA受信フェーズ103−1にてヒットしたフラグをステータス部103aに立て、キャッシュ実アドレスをリードデータとしてデータ部103bに載せて返送する(処理416)。 Flagged hit by PA receive phase 103-1 in the status section 103a, and returns put the data section 103b of the cache real address as read data (processing 416). ミスした場合は、ミスが分かった時点で、MPA受信フェーズ103−1にて、転送元であるチャネルアダプタにパスインタフェース19を通じてミスしたフラグをステータス部103aに立て、任意データをリードデータとしてデータ部103bに載せて返送する(処理417)。 When a miss occurs, when it is found mistake at MPA receive phase 103-1, standing on the status portion 103a flags missed through path interface 19 to the channel adapter which is the transfer source, the data portion of any data as read data placed on 103b to return to (processing 417).

【0066】図14はキャッシュのヒットミス判定を考えられる参考技術の方法で実施した場合のパスインタフェースプロトコルとメモリインタフェースプロトコルを示す。 [0066] Figure 14 shows the path interface protocol and the memory interface protocol when carried out by the method of Reference techniques considered a hit-miss judgment of the cache.

【0067】図9は共有メモリ32におけるキャッシュのヒットミス判定を本実施の形態のサーチ命令を使用して共有メモリ搭載プロセッサ36に代行させた場合において、共有メモリ搭載プロセッサ36に内蔵データキャッシュ38でキャッシュミスとなり、共有メモリ32へのアクセスが発生する場合のプロトコルの一例を示す。 [0067] Figure 9 is in the case which has intercepted the shared memory mounted processor 36 using the search instruction of the present embodiment the hit miss judgment of the cache in the shared memory 32, the built data cache 38 to the shared memory mounted processor 36 a cache miss, an example of when the protocol is access to the shared memory 32 occurs.

【0068】図10は本実施の形態のサーチ命令を使用した場合で、かつ共有メモリ搭載プロセッサ36の内蔵データキャッシュ38にヒットした時のプロトコルの一例をを示す。 [0068] Figure 10 shows a an example of a protocol when the case using the search instruction of the present embodiment, and hits the internal data cache 38 in the shared memory mounted processor 36.

【0069】本実施の形態の図9および図10のいずれの場合も、図14に示される参考技術の場合に比較して、パスインタフェース19の使用回数が大幅に減少しており、パスインタフェース19の使用率の削減によるアクセスの高速化が期待できることがわかる。 [0069] In any case of FIGS. 9 and 10 of the present embodiment, as compared with the case of the reference technology illustrated in FIG. 14, the number of times of use of the path interface 19 is greatly reduced, path interface 19 it can be seen that high-speed access by reducing the utilization can be expected.

【0070】本実施の形態のサーチ命令を使用すれば、 [0070] The use of search instruction of the present embodiment,
パスインタフェース19の使用回数が減少し、パスインタフェース19の利用率(負荷)の軽減及び、共有メモリ32のキャッシュデータ領域94でのヒットミス判定時間が短縮されることが分かる。 Number of uses is decreased path interface 19, reduction and utilization of path interface 19 (load), it can be seen that the hit miss judgment time in the cache data area 94 of the shared memory 32 is reduced. また、サーチ命令による数回の共有メモリ32へのリードが共有メモリ搭載プロセッサ36の内蔵データキャッシュ38にヒットすれば、更にキャッシュヒットミス判定時間の短縮が見込める。 Further, if a hit in the internal data cache 38 read the shared memory mounted processor 36 to the shared memory 32 several times by search instruction, it can be expected further reduced cache hit miss judgment time.

【0071】本実施の形態によれば、キャッシュ管理情報93やキャッシュデータ領域94およびプロセッサ間通信エリア92等が格納される共有メモリ32に複数のチャネルアダプタ搭載プロセッサ17およびディスクアダプタ搭載プロセッサ21等からのアクセス負荷が集中するディスクアレイ制御装置600において、共有メモリ部30内に、内蔵データキャッシュ38を備えた共有メモリ搭載プロセッサ36を配置し、共有メモリ32に対するアクセス要求に対して、可能な限り内蔵データキャッシュ38内のデータを用いて応答することで、共有メモリ32に対するアクセス所要時間の短縮が可能になる。 [0071] According to this embodiment, the cache management information 93 and the cache data area 94 and a plurality of channel adapters mounted processor to the shared memory 32 92, etc. communication area processor are stored 17 and disk adapter mounted processors 21 mag built in the disk array controller 600 which accesses the load is concentrated in, in the shared memory unit 30, to place the shared memory mounted processor 36 with a built-in data cache 38, the access request to the shared memory 32, as far as possible by responding with the data in the data cache 38, it is possible to shorten the access time required for the shared memory 32.

【0072】また、共有メモリ32内のキャッシュ管理情報93への複数回のアクセスを伴う共有メモリ32でのキャッシュヒット/ミス判定処理を、インテリジェントコマンドにて、共有メモリ搭載プロセッサ36に代行させることで、共有メモリ32に対するアクセス回数の削減が可能になる。 [0072] Further, the cache hit / miss determination process in the shared memory 32 with multiple accesses to the cache management information 93 in the shared memory 32 at the intelligent command, by proxy in the shared memory mounted processor 36 allows reduction of the number of accesses to the shared memory 32.

【0073】この結果、ディスクアレイ制御装置60 [0073] As a result, the disk array controller 60
0、さらにはディスクアレイ制御装置600および磁気ディスク装置50からなるディスクアレイサブシステムの全体のホストコンピュータ500の入出力要求等に対する応答性能が向上する。 0, further improves the response performance to output request of the entire host computer 500 of the disk array subsystem comprising a disk array controller 600 and the magnetic disk device 50.

【0074】本願の特許請求の範囲に記載された発明を見方を変えて表現すれば以下の通りである。 [0074] is as follows when expressed by changing the way seen the invention described in the claims of the present application.

【0075】<1> 1つ以上のホストコンピュータから転送される入出力データを処理する1つ以上のチャネルアダプタと、1つ以上の磁気ディスク装置から転送される入出力データを処理する1つ以上のディスクアダプタと、前記磁気ディスク装置のデータ及び磁気ディスク装置に関する情報を格納する共有メモリ部に第2のプロセッサを持つディスクアレイ制御装置。 [0075] <1> one or more and one or more channel adapters for processing input and output data transferred from the host computer, one or more of processing input and output data transferred from the one or more magnetic disk device the disk array controller having a disk adapter, the second processor to the shared memory unit for storing information about the data and a magnetic disk device of the magnetic disk drive.

【0076】<2> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された前記第2のプロセッサはデータキャッシュを内蔵し、共有メモリデータの先読み手段を有することを特徴とするディスクアレイ制御装置。 [0076] <2> in the disk array controller of the items <1>, wherein the second processor mounted in the shared memory unit has a built-in data cache, and characterized in that it has a lookahead means of the shared memory data the disk array controller to.

【0077】<3> 項目<2>記載のディスクアレイ制御装置において、前記共有メモリデータの先読み手段は、前記共有メモリ部に転送されるデータに付加されるチャネルアダプタまたはディスクアダプタに搭載された第1のプロセッサの認識IDから以前に前記第1のプロセッサがアクセスしたアドレスの共有メモリデータを先読みし、アクセスアドレスからアドレス周辺データを先読みし、前記データキャッシュのヒット率を高めるなどの学習機能を有することを特徴とするディスクアレイ制御装置。 [0077] <3> in the disk array controller of the item <2>, wherein the read-ahead means of a shared memory data, first mounted in the channel adapter or disk adapter is added to the data transferred to the shared memory unit wherein the recognition ID of the first processor before the first processor reads ahead the shared memory data of the accessed address to prefetch addresses peripheral data from the access address has a learning function such as increasing the hit ratio of the data cache the disk array controller, characterized in that.

【0078】<4> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された第2 [0078] <4> item <1> in the disk array controller according, second mounted on said shared memory unit
のプロセッサは、チャネルアダプタまたはディスクアダプタに搭載された第1のプロセッサからインテリジェントコマンドを受け、前記第1のプロセッサの処理を代行することを特徴とするディスクアレイ制御装置。 Processor receives an intelligent command from a first processor mounted in the channel adapter or disk adapter, the disk array controller, characterized in that on behalf of the processing of the first processor.

【0079】<5> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された第2 [0079] <5> item <1> in the disk array controller according, second mounted on said shared memory unit
のプロセッサは、前記共有メモリ部内の障害情報を管理し、障害統計情報により前記共有メモリ内部の信号経路を切り替えることを特徴とするディスクアレイ制御装置。 Processors, the shared managing the fault information in the memory unit, the disk array controller and switches the shared memory inside the signal path by failure statistics.

【0080】<6> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された第2 [0080] <6> item <1> in the disk array controller according, second mounted on said shared memory unit
のプロセッサは、前記第1のプロセッサによる前記共有メモリへのアクセスアドレスを認識し、高速に応答すべきアドレスと低速に応答してもいいアドレスを判断する手段を有し、高速に応答すべきアドレスを優先的にアクセスすることを特徴とするディスクアレイ制御装置。 Processor, the according first processor recognizes the access address to the shared memory, and means for determining a good address even in response to low speed and address should respond to fast, the address should respond to fast disk array controller according to claim preferentially be accessed.

【0081】<7> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された第2 [0081] <7> items <1> in the disk array controller according, second mounted on said shared memory unit
のプロセッサは、前記チャネルアダプタ及びディスクアダプタの第1のプロセッサ情報を採取する手段と、前記共有メモリ部に搭載された第2のプロセッサとメンテナンス用の外部プロセッサとの間の通信を可能にする専用通信手段を有することを特徴とするディスクアレイ制御装置。 Dedicated processors, which enables communication between the means for collecting the first processor information of the channel adapter and the disk adapter, and a second external processor for the processor and maintenance mounted on said shared memory unit the disk array control apparatus characterized by having a communication means.

【0082】<8> 項目<1>記載のディスクアレイ制御装置において、前記共有メモリ部搭載プロセッサは、電源投入時、または周期的にメンテナンス用の前記外部プロセッサの構成情報に基づき前記共有メモリ部の診断を実施することを特徴とするディスクアレイ制御装置。 [0082] In <8> item <1> disk array controller according, the shared memory unit mounted processor, the shared memory unit based on the configuration information of the external processor power-on, or periodically for maintenance the disk array controller which comprises carrying out the diagnosis.

【0083】<9> 項目<1>から項目<8>のいずれか記載のディスクアレイ制御装置において、前記共有メモリ部に搭載された第2のプロセッサは、チャネルアダプタ及びディスクアダプタからの転送データの受信送信回路と共有メモリ制御用回路を含んだ1チップにパッケージされていることを特徴とするディスクアレイ制御装置。 [0083] In the disk array controller according to any one of <9> Item <1> <8>, a second processor mounted in said shared memory unit, the data transferred from the channel adapter and the disk adapter the disk array controller being characterized in that it is packaged in a single chip which includes a receiving transmission circuit shared memory control circuit.

【0084】<10> 項目<1>から項目<9>のいずれか記載のディスクアレイ制御装置において、前記共有メモリ部は、複数存在し、チャネルアダプタ及びディスクアダプタはそれぞれの共有メモリ部と1対1に繋がっているインタフェースにより前記共有メモリをアクセスすることを特徴とするディスクアレイ制御装置。 [0084] In the disk array controller according to any one of <10> items <1> to the item <9>, wherein the shared memory unit, there exist a plurality of channel adapters and disk adapters each of the shared memory portion and a pair the disk array control apparatus characterized by accessing the shared memory by the interface that is connected to one.

【0085】以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 [0085] Although the present invention made by the inventor has been concretely described based on the embodiments, the present invention is not limited to the above embodiments, various modifications possible without departing from its spirit there it is needless to say.

【0086】たとえば、上述の実施の形態では、記憶制御装置の一例として、ディスクアレイ制御装置に適用した場合を例に採って説明したが、共有メモリに共通にアクセスする複数のプロセッサを備えた一般の記憶制御装置に広く適用できる。 [0086] For example, in the embodiment described above, as an example of a storage controller, the case of applying to the disk array controller has been described by way of example, with multiple processors to access common shared memory generally widely applicable to the storage control device.

【0087】 [0087]

【発明の効果】本発明の記憶制御装置によれば、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス占有時間の短縮によるデータ入出力性能の向上を実現することができる、という効果が得られる。 According to the storage control apparatus of the present invention, it is possible in the storage control apparatus of a multi-processor configuration, to realize the improvement of the data input and output performance by shortening the access occupation time to the shared memory of each processor, the effect is obtained that.

【0088】本発明の記憶制御装置によれば、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス回数の削減によるデータ入出力性能の向上を実現することができる、という効果が得られる。 According to the storage controller [0088] The present invention, in the storage control device of a multiprocessor configuration, it is possible to realize an improvement of the data input and output performance by reducing the number of accesses to the shared memory of each processor, the effect of can get.

【0089】本発明の記憶制御装置によれば、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリアクセス占有時間を短縮させることができる、という効果が得られる。 According to the storage controller [0089] The present invention, in the disk array controller, in the processing time of the individual processors mounted in the channel adapter / disk adapter, it increases the complexity of the growth and processing of the processor it is possible to shorten the shared memory access occupation time have an advantage of being.

【0090】本発明の記憶制御装置によれば、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリへのアクセス回数を削減することができる、という効果が得られる。 According to the storage controller [0090] The present invention, in the disk array controller, in the processing time of the individual processors mounted in the channel adapter / disk adapter, it increases the complexity of the growth and processing of the processor it is possible to reduce the number of accesses to shared memory are an advantage of being.

【0091】また、本発明の記憶制御装置の制御方法によれば、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス占有時間の短縮によるデータ入出力性能の向上を実現することができる、という効果が得られる。 [0091] According to the control method of the storage controller of the present invention, the storage control apparatus of a multi-processor configuration, to realize the improvement of the data input and output performance by shortening the access occupation time to the shared memory of each processor it is, the effect is obtained that.

【0092】本発明の記憶制御装置の制御方法によれば、マルチプロセッサ構成の記憶制御装置において、各プロセッサの共有メモリへのアクセス回数の削減によるデータ入出力性能の向上を実現することができる、という効果が得られる。 According to the control method of the storage controller [0092] The present invention can be in the memory controller of a multi-processor configuration, to realize the improvement of the data input and output performance by reducing the number of accesses to the shared memory of each processor, the effect is obtained that.

【0093】本発明の記憶制御装置の制御方法によれば、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリアクセス占有時間を短縮させることができる、という効果が得られる。 According to the control method of the storage controller [0093] The present invention, in the disk array controller, in the processing time of the individual processors mounted in the channel adapter / disk adapter, the complexity and increased processing of the processor it is possible to shorten the shared memory access occupation time is increased, the effect is obtained that.

【0094】本発明の記憶制御装置の制御方法によれば、ディスクアレイ制御装置において、チャネルアダプタ/ディスクアダプタに搭載される個々のプロセッサの処理時間の中で、プロセッサの増加及び処理の複雑化により増大している共有メモリへのアクセス回数を削減することができる、という効果が得られる。 According to the control method of the storage controller [0094] The present invention, in the disk array controller, in the processing time of the individual processors mounted in the channel adapter / disk adapter, the complexity and increased processing of the processor it is possible to reduce the number of accesses to the shared memory has increased, the effect is obtained that.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置を含む情報処理システムの構成の一例を示す概念図である。 1 is a conceptual diagram showing an example of a configuration of an information processing system including a storage controller for implementing the storage control method according to an embodiment of the present invention.

【図2】(a)〜(d)は、本発明の一実施の形態である記憶制御方法を実施する記憶制御装置にて用いられるコマンドの送受信フェーズのフォーマットの一例を示す概念図である。 Figure 2 (a) ~ (d) is a conceptual diagram showing an example of the format of transmission and reception phases of the commands used in the storage control device for implementing memory control method according to an embodiment of the present invention.

【図3】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリにおける格納情報の一例を示す概念図である。 3 is a conceptual diagram illustrating an example of storage information in the shared memory provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図4】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられたローカルメモリにおける格納情報の一例を示す概念図である。 It is a conceptual diagram showing an example of storage information in a local memory provided in the storage control device for implementing the storage control method according to an embodiment of the present invention; FIG.

【図5】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示すフローチャートである。 5 is a flowchart showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図6】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示すフローチャートである。 6 is a flowchart showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図7】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示すフローチャートである。 7 is a flowchart showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図8】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示すフローチャートである。 8 is a flowchart showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図9】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示す概念図である。 9 is a conceptual diagram showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図10】本発明の一実施の形態である記憶制御方法を実施する記憶制御装置に備えられた共有メモリ搭載プロセッサの作用の一例を示す概念図である。 10 is a conceptual diagram showing an example of the action of the shared memory mounted processor provided in the storage control device for implementing the storage control method according to an embodiment of the present invention.

【図11】本発明の参考技術であるディスクアレイサブシステムの構成の一例を示す概念図である。 11 is a conceptual diagram showing an example of the configuration of a disk array subsystem is a reference technique of the present invention.

【図12】本発明の参考技術であるディスクアレイサブシステムの構成の一例を示す概念図である。 12 is a conceptual diagram showing an example of the configuration of a disk array subsystem is a reference technique of the present invention.

【図13】本発明の参考技術であるディスクアレイサブシステムの作用の一例を示すフローチャートである。 13 is a flowchart showing an example of the action of the disk array subsystem is a reference technique of the present invention.

【図14】本発明の参考技術であるディスクアレイサブシステムの作用の一例を示す概念図である。 14 is a conceptual diagram showing an example of the action of the disk array subsystem is a reference technique of the present invention.

【符号の説明】 DESCRIPTION OF SYMBOLS

11…チャネルアダプタ(PK)、17…チャネルアダプタ搭載プロセッサ(MP)(第1のプロセッサ)、1 11 ... channel adapter (PK), 17 ... channel adapter mounted processors (MP) (the first processor), 1
8…プロセッサアダプタ(MPA)、19…パスインタフェース、20…ディスクアダプタ(PK)、21…ディスクアダプタ搭載プロセッサ(第1のプロセッサ) 8 ... Processor Adapter (MPA), 19 ... path interface 20 ... disk adapter (PK), 21 ... disk adapter mounted processors (first processor)
(MP)、22…プロセッサアダプタ(MPA)、30 (MP), 22 ... processor adapter (MPA), 30
…共有メモリ部、31…共有メモリ制御LSI、32… ... shared memory portion, 31 ... shared memory control LSI, 32 ...
共有メモリ、33…パスインタフェース制御、34…共有メモリ制御、35…ローカルメモリ、36…共有メモリ搭載プロセッサ(第2のプロセッサ)、37…LAN Shared memory, 33 ... path interface controller, 34 ... shared memory control, 35 ... local memory, 36 ... shared memory mounted processor (second processor), 37 ... LAN
コントローラ、38…内蔵データキャッシュ、40…メモリアクセスパス、41…共有メモリインタフェース、 Controller, 38 ... internal data cache, 40 ... memory access path 41 ... shared memory interface,
50…磁気ディスク装置、60…ドライブインタフェース、61…ドライブインタフェース、70…ハブ(HU 50 ... magnetic disk device, 60 ... drive interface, 61 ... drive interface, 70 ... Hub (HU
B)、80…サービスプロセッサ(SVP)、91…システム管理情報、92…プロセッサ間通信エリア、93 B), 80 ... service processor (SVP), 91 ... system management information, 92 ... inter-processor communication area 93
…キャッシュ管理情報、93a…仮想デバイスグループテーブル、93b…キャッシュグループアドレス管理テーブル、93c…キャッシュストライプ管理テーブル、 ... cache management information, 93a ... virtual device group table, 93b ... cache group address management table, 93c ... cache stripe management table,
93d…キャッシュセグメント管理テーブル、94…キャッシュデータ領域、95…制御プログラム、96…優先度設定情報、97…アクセスログ情報、100…MP 93d ... cache segment management table, 94 ... cache data area, 95 ... control program, 96 ... priority setting information, 97 ... access log information, 100 ... MP
A送信フェーズ(第1のコマンド手段)、100a…アドレス部、100b…コマンド部、100c…データ部、100d…符号部、101…MPA受信フェーズ(第1のコマンド手段)、101a…ステータス部、1 A transmission phase (first command means), 100a ... address portion, 100b ... command unit, 100c ... data portion, 100d ... encoding unit, 101 ... MPA receiving phase (first command means), 101a ... status unit, 1
01b…符号部、101c…エラー内容部、102…M 01b ... encoding unit, 101c ... error content portion, 102 ... M
PA送信フェーズ(第2のコマンド手段)、102a… PA transmission phase (second command means), 102a ...
アドレス部、102b…コマンド部、102c…符号部、103…MPA受信フェーズ(第2のコマンド手段)、103a…ステータス部、103b…データ部、 Address unit, 102b ... command unit, 102c ... encoding unit, 103 ... MPA receiving phase (second command means), 103a ... status portion, 103b ... data unit,
103c…符号部、103d…エラー内容部、102− 103c ... encoding unit, 103d ... error content portion, 102-
1…MPA送信フェーズ(第3のコマンド手段)、10 1 ... MPA transmission phase (third command means), 10
3−1…MPA受信フェーズ(第3のコマンド手段)、 3-1 ... MPA receiving phase (third command means),
500…ホストコンピュータ、600…ディスクアレイ制御装置、700…ホストインタフェース。 500 ... host computer, 600 ... disk array controller, 700 ... host interface.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06F 12/08 G06F 12/08 Q 320 320 13/12 330 13/12 330T Fターム(参考) 5B005 JJ11 KK03 MM11 UU33 5B014 EB05 GC36 5B060 KA02 KA03 5B065 BA01 CA11 CA30 CH01 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06F 12/08 G06F 12/08 Q 320 320 13/12 330 13/12 330T F -term (reference) 5B005 JJ11 KK03 MM11 UU33 5B014 EB05 GC36 5B060 KA02 KA03 5B065 BA01 CA11 CA30 CH01

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 上位装置および記憶装置との間における情報の授受を制御する複数の第1のプロセッサと、前記上位装置と前記記憶装置との間で授受される第1の情報および前記第1のプロセッサにて使用される第2の情報が格納される共有メモリを備えた共有メモリ部と、を含む記憶制御装置であって、 前記共有メモリ部には、前記第1のプロセッサの前記共有メモリへのアクセスを制御する第2のプロセッサを備えたことを特徴とする記憶制御装置。 1. A higher-level device and a plurality of first processor for controlling the exchange of information between the storage device, the host device and the first information and the first to be exchanged between the storage device a storage control apparatus comprising: a shared memory unit comprising a shared memory which the second information is stored for use by the processor, the shared memory unit, said shared memory of said first processor storage control apparatus characterized by comprising a second processor for controlling access to.
  2. 【請求項2】 請求項1記載の記憶制御装置において、 2. A storage control apparatus according to claim 1,
    前記第2のプロセッサは、前記第1のプロセッサと前記共有メモリとの間で授受される前記第1および第2の情報が一時的に格納されるデータキャッシュと、前記共有メモリに格納された前記第1および第2の情報の前記データキャッシュへの先読み制御を行う制御論理と、を備えたことを特徴とする記憶制御装置。 The second processor includes a data cache the first and second information is exchanged between the first processor and the shared memory are stored temporarily, stored in the shared memory wherein and control logic for performing prefetch control to the data cache of the first and second information, the storage control apparatus characterized by comprising a.
  3. 【請求項3】 請求項1または2記載の記憶制御装置において、前記第1のプロセッサと前記共有メモリ部との間には、 前記第1のプロセッサから前記共有メモリに対する前記第1および第2の情報の書き込みを実行する第1のコマンド手段と、 前記共有メモリから前記第1のプロセッサに前記第1および第2の情報の読み出しを実行する第2のコマンド手段と、 前記第1のプロセッサが前記共有メモリにおける前記第1および第2の情報の有無を調べる操作を前記第2のプロセッサに代行させる第3のコマンド手段と、 が設けられていることを特徴とする記憶制御装置。 3. A storage control apparatus according to claim 1 or 2, wherein between the first processor and the shared memory portion, from the first processor the first and second to said shared memory a first command means for performing writing of information, and a second command means for performing a read of the first and second information from the shared memory to the first processor, the first processor is the storage control apparatus characterized by the third command means to delegate the operation to check for the first and second information in the shared memory to the second processor, it is provided.
  4. 【請求項4】 上位装置および記憶装置との間における情報の授受を制御する複数の第1のプロセッサと、前記上位装置と前記記憶装置との間で授受される第1の情報および前記第1のプロセッサにて使用される第2の情報が格納される共有メモリを備えた共有メモリ部と、を含む記憶制御装置の制御方法であって、 前記共有メモリ部に、前記第1のプロセッサと前記共有メモリとの間で授受される前記第1および第2の情報が一時的に格納されるデータキャッシュを備えた第2のプロセッサを配置し、前記第1のプロセッサの前記共有メモリ内の前記第1および第2の情報のアクセス要求には、可能な限り前記データキャッシュを経由して応答することを特徴とする記憶制御装置の制御方法。 4. A host device and a plurality of first processor for controlling the exchange of information between the storage device, the host device and the first information and the first to be exchanged between the storage device a control method of a storage controller comprising a shared memory unit comprising a shared memory which the second information used by processor is stored, in the shared memory portion, wherein said first processor said first and second information is exchanged between the shared memory is arranged a second processor having a data cache that is temporarily stored, the first of said shared memory of said first processor 1 and the access request of the second information, the control method of the storage control apparatus characterized by responding via the data cache as possible.
  5. 【請求項5】 請求項4記載の記憶制御装置の制御方法において、 前記第2のプロセッサが、前記第1のプロセッサの代わりに、前記共有メモリにおける前記第1および第2の情報の有無を調べる処理を代行することを特徴とする記憶制御装置の制御方法。 The control method of claim 5 storage controller according to claim 4, wherein the second processor, instead of the first processor, check for the first and second information in said shared memory control method of a storage control apparatus characterized by behalf of processing.
JP2000127255A 2000-04-27 2000-04-27 The disk array controller Expired - Fee Related JP4053208B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000127255A JP4053208B2 (en) 2000-04-27 2000-04-27 The disk array controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000127255A JP4053208B2 (en) 2000-04-27 2000-04-27 The disk array controller

Publications (3)

Publication Number Publication Date
JP2001306265A true true JP2001306265A (en) 2001-11-02
JP2001306265A5 true JP2001306265A5 (en) 2005-06-09
JP4053208B2 JP4053208B2 (en) 2008-02-27

Family

ID=18636882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000127255A Expired - Fee Related JP4053208B2 (en) 2000-04-27 2000-04-27 The disk array controller

Country Status (1)

Country Link
JP (1) JP4053208B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240949A (en) * 2002-11-26 2004-08-26 Hitachi Ltd Cluster-type storage system and management method thereof
US6961788B2 (en) * 2002-04-26 2005-11-01 Hitachi, Ltd. Disk control device and control method therefor
JP2006085215A (en) * 2004-09-14 2006-03-30 Hitachi Ltd Disk array device
US7111119B2 (en) 2003-11-27 2006-09-19 Hitachi, Ltd. Device and method for performing information processing using plurality of processors
EP1708076A1 (en) 2005-04-01 2006-10-04 Hitachi, Ltd. Storage system and storage control method
US7133976B2 (en) 2002-10-17 2006-11-07 Hitachi, Ltd. Disk array device, method for controlling the disk array device and storage system
KR100736645B1 (en) 2004-11-30 2007-07-09 후지쯔 가부시끼가이샤 Data storage system and data storage control device
US7257680B2 (en) 2005-03-23 2007-08-14 Hitachi, Ltd. Storage system including shared memory and plural disk drives, processors, and shared memory control units
JP2009048429A (en) * 2007-08-20 2009-03-05 Sony Corp Information processing system
US7743211B2 (en) 2003-04-25 2010-06-22 Hitachi Ltd Cluster-type storage system and managing method of the cluster-type storage system
US7814270B2 (en) 2004-03-12 2010-10-12 Hitachi, Ltd. Storage systems and methods of controlling cache memory of storage systems
US7890698B2 (en) 2005-03-07 2011-02-15 Hitachi, Ltd. Disk array apparatus including control packages each having a base package and a functional package hierarchically connected to the base package
JP2014063518A (en) * 2013-12-04 2014-04-10 Hitachi Ltd Storage system, storage system management method, and computer system
US8918551B2 (en) 2007-04-23 2014-12-23 Hitachi, Ltd. Storage system

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961788B2 (en) * 2002-04-26 2005-11-01 Hitachi, Ltd. Disk control device and control method therefor
US7133976B2 (en) 2002-10-17 2006-11-07 Hitachi, Ltd. Disk array device, method for controlling the disk array device and storage system
US7487298B2 (en) 2002-10-17 2009-02-03 Hitachi, Ltd. Disk array device, method for controlling the disk array device and storage system
US7287125B2 (en) 2002-10-17 2007-10-23 Hitachi, Ltd. Disk array device, method for controlling the disk array device and storage system
US7139880B2 (en) 2002-10-17 2006-11-21 Hitachi, Ltd. Disk array device, method for controlling the disk array device and storage system
JP4508612B2 (en) * 2002-11-26 2010-07-21 株式会社日立製作所 Clustered storage system and method management
JP2004240949A (en) * 2002-11-26 2004-08-26 Hitachi Ltd Cluster-type storage system and management method thereof
US7743211B2 (en) 2003-04-25 2010-06-22 Hitachi Ltd Cluster-type storage system and managing method of the cluster-type storage system
US7111119B2 (en) 2003-11-27 2006-09-19 Hitachi, Ltd. Device and method for performing information processing using plurality of processors
US7814270B2 (en) 2004-03-12 2010-10-12 Hitachi, Ltd. Storage systems and methods of controlling cache memory of storage systems
JP2006085215A (en) * 2004-09-14 2006-03-30 Hitachi Ltd Disk array device
JP4606823B2 (en) * 2004-09-14 2011-01-05 株式会社日立製作所 Disk array device
KR100736645B1 (en) 2004-11-30 2007-07-09 후지쯔 가부시끼가이샤 Data storage system and data storage control device
US7890698B2 (en) 2005-03-07 2011-02-15 Hitachi, Ltd. Disk array apparatus including control packages each having a base package and a functional package hierarchically connected to the base package
US7257680B2 (en) 2005-03-23 2007-08-14 Hitachi, Ltd. Storage system including shared memory and plural disk drives, processors, and shared memory control units
JP2006285778A (en) * 2005-04-01 2006-10-19 Hitachi Ltd Storage system and storage control method
US7395392B2 (en) 2005-04-01 2008-07-01 Hitachi, Ltd. Storage system and storage control method
EP1708076A1 (en) 2005-04-01 2006-10-04 Hitachi, Ltd. Storage system and storage control method
US8918551B2 (en) 2007-04-23 2014-12-23 Hitachi, Ltd. Storage system
JP2009048429A (en) * 2007-08-20 2009-03-05 Sony Corp Information processing system
JP2014063518A (en) * 2013-12-04 2014-04-10 Hitachi Ltd Storage system, storage system management method, and computer system

Also Published As

Publication number Publication date Type
JP4053208B2 (en) 2008-02-27 grant

Similar Documents

Publication Publication Date Title
US6467022B1 (en) Extending adapter memory with solid state disks in JBOD and RAID environments
US6601138B2 (en) Apparatus system and method for N-way RAID controller having improved performance and fault tolerance
US5754800A (en) Multi processor system having dynamic priority based on row match of previously serviced address, number of times denied service and number of times serviced without interruption
US7133972B2 (en) Memory hub with internal cache and/or memory access prediction
US6192458B1 (en) High performance cache directory addressing scheme for variable cache sizes utilizing associativity
US5537575A (en) System for handling cache memory victim data which transfers data from cache to the interface while CPU performs a cache lookup using cache status information
US6324599B1 (en) Computer system and method for tracking DMA transferred data within a read-ahead local buffer without interrupting the host processor
US5642494A (en) Cache memory with reduced request-blocking
US7188219B2 (en) Buffer control system and method for a memory system having outstanding read and write request buffers
US6230239B1 (en) Method of data migration
US6157962A (en) Multipath I/O storage systems with multiipath I/O request mechanisms
US5619728A (en) Decoupled DMA transfer list storage technique for a peripheral resource controller
US5530897A (en) System for dynamic association of a variable number of device addresses with input/output devices to allow increased concurrent requests for access to the input/output devices
US5263142A (en) Input/output cache with mapped pages allocated for caching direct (virtual) memory access input/output data based on type of I/O devices
US5003465A (en) Method and apparatus for increasing system throughput via an input/output bus and enhancing address capability of a computer system during DMA read/write operations between a common memory and an input/output device
US20050235072A1 (en) Data storage controller
US7321955B2 (en) Control device, control method and storage medium recording a control program for controlling write-back schedule of data from cache memory to a plurality of storage devices
US5581734A (en) Multiprocessor system with shared cache and data input/output circuitry for transferring data amount greater than system bus capacity
US6959359B1 (en) Software prefetch system and method for concurrently overriding data prefetched into multiple levels of cache
US20030212865A1 (en) Method and apparatus for flushing write cache data
US5434993A (en) Methods and apparatus for creating a pending write-back controller for a cache controller on a packet switched memory bus employing dual directories
US6636927B1 (en) Bridge device for transferring data using master-specific prefetch sizes
US20040205299A1 (en) Method of triggering read cache pre-fetch to increase host read throughput
US4779189A (en) Peripheral subsystem initialization method and apparatus
US6112265A (en) System for issuing a command to a memory having a reorder module for priority commands and an arbiter tracking address of recently issued command

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071205

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees