JP2007128175A - ストレージシステム - Google Patents
ストレージシステム Download PDFInfo
- Publication number
- JP2007128175A JP2007128175A JP2005318694A JP2005318694A JP2007128175A JP 2007128175 A JP2007128175 A JP 2007128175A JP 2005318694 A JP2005318694 A JP 2005318694A JP 2005318694 A JP2005318694 A JP 2005318694A JP 2007128175 A JP2007128175 A JP 2007128175A
- Authority
- JP
- Japan
- Prior art keywords
- controller
- storage node
- logical unit
- storage
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 claims abstract description 151
- 238000012545 processing Methods 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims description 66
- 230000008878 coupling Effects 0.000 claims description 60
- 238000010168 coupling process Methods 0.000 claims description 60
- 238000005859 coupling reaction Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 9
- 230000008685 targeting Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 103
- 239000003999 initiator Substances 0.000 description 72
- 238000010586 diagram Methods 0.000 description 66
- 238000012986 modification Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 21
- 238000012546 transfer Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ストレージシステムは、複数のストレージノードとストレージノード内コントローラ間を接続する結合部とを備える。コントローラ内のメモリは、CPUコアと論理ユニットコントローラとの組み合わせに対応付けられた複数の共用メモリ領域を有する。第1のストレージノードのネットワークコントローラが第2のストレージノードの論理ユニットを対象としたコマンドを受領したときは、第1のストレージノードのCPUコアは、第2のストレージノードの論理ユニットコントローラに対応付けられた共用メモリ領域にコマンドを格納する。第2のストレージノードの論理ユニットコントローラは、共用メモリ領域に格納されたコマンドを結合部を介して取得する。
【選択図】図28
Description
データを格納する論理的な記憶領域である少なくとも1つの論理ユニットと、前記論理ユニットを制御する少なくとも1つのコントローラと、をそれぞれ含む複数のストレージノードと、
それぞれ異なる前記ストレージノードに含まれる複数の前記コントローラ間を、前記コントローラと前記ストレージシステムに接続されるホストコンピュータとの間のアクセスパスを介することなく接続するコントローラ間結合部と、を備え、
前記ストレージノードの前記コントローラは、
少なくとも1つのCPUコアを含むCPUと、
ネットワークを介してホストコンピュータから前記ストレージシステム内の複数の前記論理ユニットの内の1つを対象としたコマンドを受領するネットワークコントローラと、
前記論理ユニットに接続されると共に、前記論理ユニットにおけるデータの入出力を制御する論理ユニットコントローラと、
前記CPUと前記論理ユニットコントローラとで共用されるメモリ領域であって、前記CPU内の前記CPUコアと前記ストレージシステム内の複数の前記論理ユニットコントローラとの組み合わせのそれぞれと対応付けられた複数の第1の共用メモリ領域を有するメモリと、を含み、
前記複数のストレージノードの内の第1のストレージノードに含まれる前記ネットワークコントローラが、前記複数のストレージノードの内の第2のストレージノードに含まれる論理ユニットを対象としたコマンドをホストコンピュータから受領したときは、前記第1のストレージノード内の前記CPUコアは、受領されたコマンドに応じた処理を実行することによって、前記第2のストレージノードに含まれる論理ユニットに接続された前記論理ユニットコントローラに対するコマンドを、前記第1のストレージノード内の前記CPUコアと前記第2のストレージノード内の前記論理ユニットコントローラとの組み合わせに対応付けられた前記第1のストレージノード内の前記第1の共用メモリ領域に格納し、
前記第2のストレージノード内の前記論理ユニットコントローラは、前記第1のストレージノード内の前記第1の共用メモリ領域に格納されたコマンドを、前記コントローラ間結合部を介して取得し、取得したコマンドに従って、前記論理ユニットにおけるデータの入出力を制御する。
少なくとも1つのストレージノードを備え、
前記ストレージノードは、
データを格納する論理的な記憶領域である少なくとも1つの論理ユニットと、
複数のCPUコアを含むCPUと、
ネットワークを介してホストコンピュータから前記論理ユニットを対象としたコマンドを受領するネットワークコントローラと、
前記論理ユニットに接続されると共に、前記論理ユニットにおけるデータの入出力を制御する論理ユニットコントローラと、
前記CPUと前記論理ユニットコントローラとで共用されるメモリ領域であって、前記CPUの複数のCPUコアのそれぞれと対応付けられた複数の第1の共用メモリ領域と、前記CPUと前記ネットワークコントローラとで共用されるメモリ領域であって、前記CPUの複数のCPUコアのそれぞれと対応付けられた複数の第2の共用メモリ領域と、を有するメモリと、を含み、
前記ネットワークコントローラは、ホストコンピュータから受領されたコマンドに応じた処理を行う前記CPUコアである担当CPUコアを、受領されたコマンドの対象の論理ユニットに応じて設定する機能を有すると共に、前記担当CPUコアに対応付けられた前記第2の共用メモリ領域に受領されたコマンドを格納し、
前記担当CPUコアは、前記第2の共用メモリ領域に格納されたコマンドに応じた処理を実行することによって、前記論理ユニットコントローラに対するコマンドを、前記担当CPUコアに対応付けられた前記第1の共用メモリ領域に格納し、
前記論理ユニットコントローラは、前記第1の共用メモリ領域に格納されたコマンドに従って、前記論理ユニットにおけるデータの入出力を制御する。
A.第1実施例:
A−1.システムの構成:
A−2.ホストコマンド実行処理:
A−3.コントローラ内担当CPUコア切り替え:
A−4.ストレージノード100のコントローラ110内におけるアドレス空間およびメモリマップ:
A−5.ストレージシステム1000のアドレス空間およびメモリマップ:
A−6.ノード間担当CPUコア切り替え:
A−7.ホストコンピュータとストレージノードとの間のアクセスパス変更:
A−8.管理画面の例:
A−9.第1実施例の応用:
B.第2実施例:
C.変形例:
A−1.システムの構成:
図1は、本発明の第1実施例におけるデータ処理システムの構成を概略的に示す説明図である。第1実施例のデータ処理システム10は、ホストコンピュータ(以下「Host」とも称する)200と、ホストコンピュータ200に接続されたストレージシステム1000と、を備えている。図1の例では、データ処理システム10は3つのホストコンピュータ200(200a、200b、200c)を備えているが、データ処理システム10は少なくとも1つのホストコンピュータ200を備えていればよい。
図15および図16は、ストレージシステム1000のストレージノード100(図1)におけるホストコマンド実行処理の流れを示すフローチャートである。また、図17および図18は、ストレージノード100におけるホストコマンド実行処理の概要を示す説明図である。ホストコマンド実行処理は、ホストコンピュータ200(図1)からホストコマンドを受領したストレージノード100が、ホストコマンドに従って実行する処理である。ここで、ホストコマンドとは、イニシエータ(図11参照)を有するホストコンピュータ200から、ターゲット(図10参照)を有するストレージノード100の論理ユニット190を対象として発行されるコマンドである。ホストコマンドには、論理ユニット190に格納されたデータの読み出しを行うためのリードコマンドや、論理ユニット190にデータの書き込みを行うためのライトコマンドがある。
図19は、コントローラ内担当CPUコア切り替え後のホストコマンド実行処理の概要を示す説明図である。図19には、ホストコマンド実行処理の内、図17に示した部分に対応する処理が示されている。
図20は、ストレージノード100のコントローラ110内におけるアドレス空間を概念的に示す説明図である。図20の左側には、ストレージノード100aのコントローラ110a(図1)内のコア122p(コアp)のアドレス空間を、図20の右側には、同じくコントローラ110a内のコア122q(コアq)のアドレス空間を、それぞれ示している。
図22は、ストレージシステム1000(図1)のアドレス空間を概念的に示す説明図である。図22の左側には、ストレージノード100aのコントローラ110a(図1)内のコア122p(コアp)から見たストレージシステム1000のアドレス空間を、図22の右側には、ストレージノード100bのコントローラ110b内のコア122q(コアq)から見たストレージシステム1000のアドレス空間を、それぞれ示している。
本実施例のストレージシステム1000(図1)では、各ストレージノード100のコントローラ110の各コア122(図5)が図22および図23に示したようなアドレス空間およびメモリマップを有しているため、ノード間担当CPUコア切り替えを実現可能である。ノード間担当CPUコア切り替えとは、ある論理ユニット190を対象としたホストコマンドの担当CPUコアを、あるコア122から、当該コア122を含むストレージノード100とは異なるストレージノード100に含まれるコア122へと変更することを意味している。一般に、ある論理ユニット190を対象としたホストコマンドの担当CPUコアは、当該論理ユニット190を含むストレージノード100に含まれるCPU120のコア122である場合が多い。このような場合に、ノード間担当CPUコア切り替えを行うことによって、ホストコマンドの対象の論理ユニット190を含むストレージノード100とは異なるストレージノード100に含まれるコア122を、当該ホストコマンドの担当CPUコアに設定することが可能となる。すなわち、CPU120のコア122が、自らが属するストレージノード100とは異なるストレージノード100内の論理ユニット190を対象としたホストコマンドに応じた処理を行うことが可能となる。このような切り替えは、例えば、ストレージノード100間の負荷分散のために実行される。例えばユーザは、管理装置400(図1)の表示画面に表示されたストレージシステム1000内の各ストレージノード100のコア122の負荷を参照して、ノード間担当CPUコア切り替えの実行指示を行う。この点については、後述する。
上述したように、ノード間担当CPUコア切り替えの際には、ホストコンピュータ200(図1)とストレージノード100との間のアクセスパスの変更を行う必要がある。図30は、ホストコンピュータ200とストレージノード100との間のアクセスパスの変更処理の一例を示す説明図である。図30には、データ処理システム10(図1)の内、アクセスパスの変更に関連する部分のみを抜き出して表示している。図30の例では、ホストコンピュータ200aから発行される論理ユニット190a0を対象としたホストコマンドが、ストレージノード100aではなく、ストレージノード100bに到達するように、アクセスパスの変更が行われる。
第1実施例のストレージシステム1000では、上述のコントローラ内担当CPUコア切り替えや、ノード間担当CPUコア切り替えの他に、種々の応用が可能である。図33は、ストレージシステム1000におけるシャドウイメージに関する応用の一例を示す説明図である。
図39は、第2実施例におけるデータ処理システム10の構成を概略的に示す説明図である。第2実施例のデータ処理システム10は、各ストレージノード100が2つのコントローラ110を含んでいる点が、図1に示した第1実施例のデータ処理システム10とは異なっている。また、第2実施例のデータ処理システム10は、ストレージシステム1000が2つのスイッチ300を含んでいる点も、第1実施例のデータ処理システム10とは異なっている。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
上記各実施例におけるノード間コントローラ結合部102(図1および図39)の構成(図3および図40)は、あくまで一例であり、ノード間コントローラ結合部102の構成を他の構成とすることも可能である。図42は、変形例としてのノード間コントローラ結合部102の構成を示す説明図である。
図44は、変形例としてのストレージノード100の構成を示す説明図である。上記各実施例におけるストレージノード100の構成(図2および図3参照)との違いは、ストレージノード100内のコントローラ110の構成である。
上記各実施例におけるホストコンピュータ200とストレージノード100との間のアクセスパス変更の方法(図30)は、あくまで一例であり、他の方法を用いることも可能である。図45は、ホストコンピュータ200とストレージノード100との間のアクセスパスの変更処理の変形例を示す説明図である。図45の変形例において、ストレージノード100のコントローラ110間では、担当CPUコアの引継ぎが行われる(図45の(i))。また、ホストコンピュータ200は、パス切り替えプログラム220を有しており、ホストコンピュータ200に接続された管理装置400からの指示に従って、ストレージノード100へのパスの切り替えを行う(図45の(ii))。図45の変形例の方法は、FCプロトコルやSASプロトコルを利用するシステムにおいて適用可能である。
上記各実施例におけるデータ処理システム10(図1)の構成は、あくまで一例であり、データ処理システム10の構成を他の構成とすることも可能である。例えば、データ処理システム10において、ストレージシステム1000が1つのストレージノード100のみを備えるとしてもよい。この場合にも、上述のコントローラ内担当CPUコア切り替えを実現可能である。
上記各実施例におけるホストコマンド実行処理(図15および図16)の内容は、あくまで一例であり、他の内容に変更することも可能である。例えば、ネットワークコントローラ130からCPU120への割り込み要求の発行(図15のステップS140)や、FCコントローラ150からCPU120への割り込み要求の発行(図16のステップS200)は、必ずしも行われる必要はなく、ポーリング等によってCPU120の処理への移行を実現可能である。
100...ストレージノード
102...ノード間コントローラ結合部
104...接続線
105...接続線
106...結合部スイッチ
110...コントローラ
112...コントローラチップ
114...DMA回路
116...パリティ演算回路
120...CPU
122...コア
130...ネットワークコントローラ
132...ドアベルレジスタ
134...NWCドアベル
138...割り込み線
140...ブリッジ
141...ブリッジ回路
142...スイッチ
144...割り込み変換器
150...FCコントローラ
152...ドアベルレジスタ
154...FCCドアベル
156...CPU対応器
158...割り込み線
160...メモリ
162...キャッシュ領域
164...制御データ領域
166...制御プログラム領域
168...メモリ制御回路
171...システム構成管理テーブル
172...LU管理テーブル
173...ターゲット管理テーブル
174...イニシエータ管理テーブル
176...NWCメールボックス
178...FCCメールボックス
180...オペレーティングシステムプログラム
183...ターゲット制御プログラム
184...RAID制御プログラム
185...キャッシュ制御プログラム
186...ディスク制御プログラム
187...FC制御プログラム
188...LU制御プログラム
189...通信プログラム
190...論理ユニット
192...ファイバチャネル
194...ディスク
200...ホストコンピュータ
210...イニシエータ管理テーブル
220...パス切り替えプログラム
300...スイッチ
310...バーチャリゼーション装置
400...管理装置
410...管理画面
500...ネームサーバ
520...CPU
530...ネットワークコントローラ
540...ブリッジ
560...メモリ
562...制御データ領域
564...制御プログラム領域
571...ネーム管理テーブル
580...オペレーティングシステムプログラム
582...ネーム管理プログラム
583...通信プログラム
1000...ストレージシステム
1200...コントローラ筐体
1300...ディスク筐体
Claims (15)
- ストレージシステムであって、
データを格納する論理的な記憶領域である少なくとも1つの論理ユニットと、前記論理ユニットを制御する少なくとも1つのコントローラと、をそれぞれ含む複数のストレージノードと、
それぞれ異なる前記ストレージノードに含まれる複数の前記コントローラ間を、前記コントローラと前記ストレージシステムに接続されるホストコンピュータとの間のアクセスパスを介することなく接続するコントローラ間結合部と、を備え、
前記ストレージノードの前記コントローラは、
少なくとも1つのCPUコアを含むCPUと、
ネットワークを介してホストコンピュータから前記ストレージシステム内の複数の前記論理ユニットの内の1つを対象としたコマンドを受領するネットワークコントローラと、
前記論理ユニットに接続されると共に、前記論理ユニットにおけるデータの入出力を制御する論理ユニットコントローラと、
前記CPUと前記論理ユニットコントローラとで共用されるメモリ領域であって、前記CPU内の前記CPUコアと前記ストレージシステム内の複数の前記論理ユニットコントローラとの組み合わせのそれぞれと対応付けられた複数の第1の共用メモリ領域を有するメモリと、を含み、
前記複数のストレージノードの内の第1のストレージノードに含まれる前記ネットワークコントローラが、前記複数のストレージノードの内の第2のストレージノードに含まれる論理ユニットを対象としたコマンドをホストコンピュータから受領したときは、前記第1のストレージノード内の前記CPUコアは、受領されたコマンドに応じた処理を実行することによって、前記第2のストレージノードに含まれる論理ユニットに接続された前記論理ユニットコントローラに対するコマンドを、前記第1のストレージノード内の前記CPUコアと前記第2のストレージノード内の前記論理ユニットコントローラとの組み合わせに対応付けられた前記第1のストレージノード内の前記第1の共用メモリ領域に格納し、
前記第2のストレージノード内の前記論理ユニットコントローラは、前記第1のストレージノード内の前記第1の共用メモリ領域に格納されたコマンドを、前記コントローラ間結合部を介して取得し、取得したコマンドに従って、前記論理ユニットにおけるデータの入出力を制御する、ストレージシステム。 - 請求項1記載のストレージシステムであって、
前記第1のストレージノード内の前記CPUは、前記CPUコアを複数含み、
前記第1のストレージノード内の前記メモリは、前記CPUと前記ネットワークコントローラとで共用されるメモリ領域であって、前記複数のCPUコアのそれぞれと対応付けられた複数の第2の共用メモリ領域を含み、
前記第1のストレージノード内の前記ネットワークコントローラは、受領されたコマンドに応じた処理を実行する前記CPUコアである担当CPUコアを、受領されたコマンドの対象の論理ユニットに応じて設定する機能を有すると共に、前記担当CPUコアに対応付けられた前記第2の共用メモリ領域に受領されたコマンドを格納し、
前記担当CPUコアは、前記第2の共用メモリ領域からコマンドを取得し、コマンドに応じた処理を実行する、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記論理ユニットコントローラは、前記ストレージシステム内の複数の前記CPUコアのそれぞれに対応付けられた、前記CPUと前記論理ユニットコントローラとの通信のための領域である第1の通信領域を含み、
前記第1のストレージノード内の前記担当CPUコアは、前記第1のストレージノード内の前記第1の共用メモリ領域に格納したコマンドの場所を示す場所情報を、前記担当CPUコアに対応付けられた前記第2のストレージノードの前記論理ユニットコントローラ内の前記第1の通信領域に格納し、
前記第2のストレージノードの前記論理ユニットコントローラは、前記第1の通信領域に格納された前記場所情報を参照して、前記第1の共用メモリ領域からコマンドを取得する、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記ネットワークコントローラは、複数の前記CPUコアのそれぞれに対応付けられた、前記CPUと前記ネットワークコントローラとの通信のための領域である第2の通信領域を含み、
前記第1のストレージノード内の前記ネットワークコントローラは、前記第1のストレージノード内の前記第2の共用メモリ領域に格納したコマンドの場所を示す場所情報を、前記担当CPUコアに対応付けられた前記第2の通信領域に格納し、
前記担当CPUコアは、前記第2の通信領域に格納された前記場所情報を参照して、前記第2の共用メモリ領域からコマンドを取得する、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記第1のストレージノード内の前記ネットワークコントローラは、前記第2の共用メモリ領域にコマンドを格納した後、前記担当CPUコアに割り込み要求を発行し、
前記担当CPUコアは、前記割り込み要求を受領したとき、前記第2の共用メモリ領域からコマンドを取得する、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記第2のストレージノード内の前記論理ユニットコントローラは、取得したコマンドに従った前記論理ユニットにおけるデータの入出力の制御を完了したときには、処理の完了を表すステータス情報を、前記コントローラ間結合部を介して、前記第1のストレージノード内の前記担当CPUコアに対応付けられた前記第1の共用メモリ領域に格納し、
前記担当CPUコアは、前記第1の共用メモリ領域に格納されたステータス情報に応じた処理を実行することによって、前記第1のストレージノード内の前記ネットワークコントローラに対するコマンドを、前記担当CPUコアに対応付けられた前記第2の共用メモリ領域に格納し、
前記第1のストレージノード内の前記ネットワークコントローラは、前記第2の共用メモリ領域に格納されたコマンドに従って、ホストコンピュータから受領したコマンドの完了に関する処理を実行する、ストレージシステム。 - 請求項6記載のストレージシステムであって、
前記第2のストレージシステム内の前記論理ユニットコントローラは、前記第1のストレージノード内の前記第1の共用メモリ領域にステータス情報を格納した後、前記担当CPUコアに割り込み要求を発行し、
前記担当CPUコアは、前記割り込み要求を受領したとき、前記第1の共用メモリ領域からステータス情報を取得する、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記ストレージノード内の前記コントローラは、前記コントローラ間結合部と接続されるコントローラスイッチを含み、
前記コントローラ間結合部は、前記コントローラスイッチ間を接続する接続線を含む、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記ストレージノード内の前記コントローラは、前記コントローラ間結合部と接続されるコントローラスイッチを含み、
前記コントローラ間結合部は、前記コントローラスイッチと接続された複数の接続線と、前記複数の接続線のそれぞれと接続された結合部スイッチと、を含む、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記ストレージノードのそれぞれは、前記コントローラを複数含み、
前記ストレージノード内の複数の前記コントローラのそれぞれは、1つの系列に1つの前記ストレージノード内の複数の前記コントローラが属さないように、複数の系列の内のいずれかの系列に属するように設定され、
前記コントローラ間結合部は、前記ストレージシステム内の同一の系列に属する複数の前記コントローラ間を接続する、ストレージシステム。 - 請求項10記載のストレージシステムであって、
前記ストレージノード内の前記コントローラは、前記コントローラ間結合部と接続されるコントローラスイッチを含み、
前記コントローラ間結合部は、系列毎に共有される結合部スイッチと、前記結合部スイッチと前記結合部スイッチに対応した系列に属する前記コントローラ内の前記コントローラスイッチとを接続する接続線と、複数の前記結合部スイッチ間を接続する接続線と、を含み、
1つの前記ストレージノード内に含まれる複数の前記コントローラは、前記結合部スイッチ間を接続する接続線を介して、互いに接続されている、ストレージシステム。 - 請求項2記載のストレージシステムであって、さらに、
表示部と操作部とを有する管理装置を備え、
前記管理装置の表示部は、前記ストレージシステム内の複数の前記論理ユニットと前記担当CPUコアとの対応関係を表示可能であり、
前記ネットワークコントローラは、ユーザによる前記管理装置の操作部の操作により、前記管理装置の表示部に表示された前記対応関係が変更された場合に、変更後の前記対応関係に従って、前記担当CPUコアの設定を行う、ストレージシステム。 - 請求項2記載のストレージシステムであって、
前記コントローラの前記CPUと、前記ネットワークコントローラと、前記論理ユニットコントローラと、は、1つのチップ上に配置されている、ストレージシステム。 - ストレージシステムであって、
少なくとも1つのストレージノードを備え、
前記ストレージノードは、
データを格納する論理的な記憶領域である少なくとも1つの論理ユニットと、
複数のCPUコアを含むCPUと、
ネットワークを介してホストコンピュータから前記論理ユニットを対象としたコマンドを受領するネットワークコントローラと、
前記論理ユニットに接続されると共に、前記論理ユニットにおけるデータの入出力を制御する論理ユニットコントローラと、
前記CPUと前記論理ユニットコントローラとで共用されるメモリ領域であって、前記CPUの複数のCPUコアのそれぞれと対応付けられた複数の第1の共用メモリ領域と、前記CPUと前記ネットワークコントローラとで共用されるメモリ領域であって、前記CPUの複数のCPUコアのそれぞれと対応付けられた複数の第2の共用メモリ領域と、を有するメモリと、を含み、
前記ネットワークコントローラは、ホストコンピュータから受領されたコマンドに応じた処理を行う前記CPUコアである担当CPUコアを、受領されたコマンドの対象の論理ユニットに応じて設定する機能を有すると共に、前記担当CPUコアに対応付けられた前記第2の共用メモリ領域に受領されたコマンドを格納し、
前記担当CPUコアは、前記第2の共用メモリ領域に格納されたコマンドに応じた処理を実行することによって、前記論理ユニットコントローラに対するコマンドを、前記担当CPUコアに対応付けられた前記第1の共用メモリ領域に格納し、
前記論理ユニットコントローラは、前記第1の共用メモリ領域に格納されたコマンドに従って、前記論理ユニットにおけるデータの入出力を制御する、ストレージシステム。 - ストレージシステムの制御方法であって、
前記ストレージシステムは、
データを格納する論理的な記憶領域である少なくとも1つの論理ユニットと、前記論理ユニットを制御する少なくとも1つのコントローラと、をそれぞれ含む複数のストレージノードと、
それぞれ異なる前記ストレージノードに含まれる複数の前記コントローラ間を、前記コントローラと前記ストレージシステムに接続されるホストコンピュータとの間のアクセスパスを介することなく接続するコントローラ間結合部と、を備え、
前記ストレージノードの前記コントローラは、
少なくとも1つのCPUコアを含むCPUと、
ネットワークを介してホストコンピュータから前記ストレージシステム内の複数の前記論理ユニットの内の1つを対象としたコマンドを受領するネットワークコントローラと、
前記論理ユニットに接続されると共に、前記論理ユニットにおけるデータの入出力を制御する論理ユニットコントローラと、
前記CPUと前記論理ユニットコントローラとで共用されるメモリ領域であって、前記CPU内の前記CPUコアと前記ストレージシステム内の複数の前記論理ユニットコントローラとの組み合わせのそれぞれと対応付けられた複数の第1の共用メモリ領域を有するメモリと、を含み、
前記方法は、
(a)前記複数のストレージノードの内の第1のストレージノードに含まれる前記ネットワークコントローラが、前記複数のストレージノードの内の第2のストレージノードに含まれる論理ユニットを対象としたコマンドをホストコンピュータから受領したときに、前記第1のストレージノード内の前記CPUコアが、受領されたコマンドに応じた処理を実行することによって、前記第2のストレージノードに含まれる論理ユニットに接続された前記論理ユニットコントローラに対するコマンドを、前記第1のストレージノード内の前記CPUコアと前記第2のストレージノード内の前記論理ユニットコントローラとの組み合わせに対応付けられた前記第1のストレージノード内の前記第1の共用メモリ領域に格納する工程と、
(b)前記第2のストレージノード内の前記論理ユニットコントローラが、前記第1のストレージノード内の前記第1の共用メモリ領域に格納されたコマンドを、前記コントローラ間結合部を介して取得し、取得したコマンドに従って、前記論理ユニットにおけるデータの入出力を制御する工程と、を備える、方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005318694A JP4814617B2 (ja) | 2005-11-01 | 2005-11-01 | ストレージシステム |
US11/331,115 US7512746B2 (en) | 2005-11-01 | 2006-01-13 | Storage system with designated CPU cores processing transactions across storage nodes |
EP06251232A EP1785828B1 (en) | 2005-11-01 | 2006-03-08 | Storage system |
DE602006005311T DE602006005311D1 (de) | 2005-11-01 | 2006-03-08 | Speichersystem |
CN200610057017.6A CN1959618B (zh) | 2005-11-01 | 2006-03-13 | 存储系统以及存储系统的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005318694A JP4814617B2 (ja) | 2005-11-01 | 2005-11-01 | ストレージシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007128175A true JP2007128175A (ja) | 2007-05-24 |
JP4814617B2 JP4814617B2 (ja) | 2011-11-16 |
Family
ID=37032578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005318694A Expired - Fee Related JP4814617B2 (ja) | 2005-11-01 | 2005-11-01 | ストレージシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7512746B2 (ja) |
EP (1) | EP1785828B1 (ja) |
JP (1) | JP4814617B2 (ja) |
CN (1) | CN1959618B (ja) |
DE (1) | DE602006005311D1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010029812A1 (ja) * | 2008-09-09 | 2010-03-18 | 日本電気株式会社 | マルチコアにおけるプログラミングシステム、その方法及びそのプログラム |
JP2010531494A (ja) * | 2007-06-28 | 2010-09-24 | メモライト メモリテック (シェンチェン) カンパニー リミテッド | マルチチャンネル非揮発性固体記憶装置に基づくロジック・ストリップの制御方法 |
JP2011113232A (ja) * | 2009-11-26 | 2011-06-09 | Nec Corp | ディスクエンクロージャ及びストレージシステムの制御方法 |
JP2012519316A (ja) * | 2009-04-06 | 2012-08-23 | 株式会社日立製作所 | ストレージサブシステム、及びその制御方法 |
JP2013097788A (ja) * | 2011-11-04 | 2013-05-20 | Lsi Corp | 仮想sasエキスパンダを介して共有されるサーバ直接接続のストレージシステム |
WO2016189640A1 (ja) * | 2015-05-26 | 2016-12-01 | 株式会社日立製作所 | ストレージ装置、及び方法 |
WO2018198325A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社日立製作所 | ストレージシステム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7395390B2 (en) * | 2006-07-12 | 2008-07-01 | Inventec Corporation | System for backing up cache memory in a double backup server structure |
AU2008207572B2 (en) * | 2008-04-23 | 2010-10-28 | Drone Technology Pte Ltd | Module for data acquisition and conrol in a sensor/control network |
WO2009131542A1 (en) * | 2008-04-23 | 2009-10-29 | Drone Technology Pte Ltd | Module for data acquisition and control in a sensor/control network |
US9449314B2 (en) * | 2008-10-02 | 2016-09-20 | International Business Machines Corporation | Virtualization of a central processing unit measurement facility |
US7827321B2 (en) | 2008-10-02 | 2010-11-02 | International Business Machines Corporation | Central processing unit measurement facility |
US9325802B2 (en) | 2009-07-16 | 2016-04-26 | Microsoft Technology Licensing, Llc | Hierarchical scale unit values for storing instances of data among nodes of a distributed store |
US20110154015A1 (en) * | 2009-12-21 | 2011-06-23 | Tareq Mahmud Rahman | Method For Segmenting A Data File, Storing The File In A Separate Location, And Recreating The File |
WO2011114496A1 (ja) * | 2010-03-18 | 2011-09-22 | 富士通株式会社 | マルチコアプロセッサシステム、調停回路制御方法、および調停回路制御プログラム |
US8914583B1 (en) | 2012-03-31 | 2014-12-16 | Emc Corporation | System and method for improving cache performance |
US8966190B1 (en) * | 2012-03-31 | 2015-02-24 | Emc Corporation | System and method for assigning control of a logical unit number |
US8909886B1 (en) | 2012-03-31 | 2014-12-09 | Emc Corporation | System and method for improving cache performance upon detecting a migration event |
US9501437B2 (en) | 2012-11-15 | 2016-11-22 | Empire Technology Development Llc | Scalable storage system having multiple storage channels |
US9348537B2 (en) * | 2013-09-10 | 2016-05-24 | Qualcomm Incorporated | Ascertaining command completion in flash memories |
US9274722B2 (en) * | 2013-12-06 | 2016-03-01 | Concurrent Ventures, LLP | System, method and article of manufacture for monitoring, controlling and improving storage media system performance |
US10031860B2 (en) | 2014-09-24 | 2018-07-24 | Western Digital Technologies, Inc. | Memory transfer of objects in a data storage device |
US9851901B2 (en) | 2014-09-26 | 2017-12-26 | Western Digital Technologies, Inc. | Transfer of object memory references in a data storage device |
US9967337B1 (en) * | 2015-12-29 | 2018-05-08 | EMC IP Holding Company LLC | Corruption-resistant backup policy |
US10977124B2 (en) * | 2016-01-07 | 2021-04-13 | Hitachi, Ltd. | Distributed storage system, data storage method, and software program |
US20180034908A1 (en) * | 2016-07-27 | 2018-02-01 | Alibaba Group Holding Limited | Disaggregated storage and computation system |
US10908939B2 (en) * | 2017-01-31 | 2021-02-02 | Intel Corporation | Efficient fine grained processing of graphics workloads in a virtualized environment |
JP6722216B2 (ja) * | 2018-03-09 | 2020-07-15 | 株式会社日立製作所 | データ量削減機能を有する計算機システム、及び、記憶制御方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256003A (ja) * | 2000-03-10 | 2001-09-21 | Hitachi Ltd | ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法 |
JP2003280824A (ja) * | 2002-03-20 | 2003-10-02 | Hitachi Ltd | ストレージシステム、そのディスク制御クラスタ、その増設方法 |
JP2003296191A (ja) * | 2002-03-06 | 2003-10-17 | Hewlett Packard Co <Hp> | 汎用プロセッサおよび周辺装置のプロセッサとして動作可能な集積回路 |
JP2003323263A (ja) * | 2002-04-30 | 2003-11-14 | Hitachi Ltd | 共有メモリ制御方法および制御システム |
JP2004302713A (ja) * | 2003-03-31 | 2004-10-28 | Hitachi Ltd | 記憶システム及びその制御方法 |
JP2005353035A (ja) * | 2004-05-10 | 2005-12-22 | Hitachi Ltd | ストレージシステムにおけるデータ移行 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0358715B1 (en) * | 1987-05-01 | 1994-03-09 | Digital Equipment Corporation | Interrupting node for providing interrupt requests to a pended bus |
JPH10283329A (ja) * | 1997-04-02 | 1998-10-23 | Matsushita Electric Ind Co Ltd | メモリ排他制御方法 |
WO1999063438A1 (en) * | 1998-06-05 | 1999-12-09 | Mylex Corporation | Apparatus, system and method for n-way raid controller |
JP2000187608A (ja) | 1998-12-24 | 2000-07-04 | Hitachi Ltd | 記憶装置サブシステム |
US6629264B1 (en) * | 2000-03-30 | 2003-09-30 | Hewlett-Packard Development Company, L.P. | Controller-based remote copy system with logical unit grouping |
US6668308B2 (en) * | 2000-06-10 | 2003-12-23 | Hewlett-Packard Development Company, L.P. | Scalable architecture based on single-chip multiprocessing |
US6772258B2 (en) * | 2000-12-29 | 2004-08-03 | Intel Corporation | Method and apparatus for sharing an interrupt between disk drive interfaces |
JP2004102374A (ja) * | 2002-09-05 | 2004-04-02 | Hitachi Ltd | データ移行装置を有する情報処理システム |
GB0227871D0 (en) * | 2002-11-29 | 2003-01-08 | Ibm | DATA processing systems |
JP4255699B2 (ja) * | 2003-01-20 | 2009-04-15 | 株式会社日立製作所 | 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置 |
US7356655B2 (en) * | 2003-05-15 | 2008-04-08 | International Business Machines Corporation | Methods, systems, and media for managing dynamic storage |
US8776050B2 (en) * | 2003-08-20 | 2014-07-08 | Oracle International Corporation | Distributed virtual machine monitor for managing multiple virtual resources across multiple physical nodes |
US7124143B2 (en) | 2004-05-10 | 2006-10-17 | Hitachi, Ltd. | Data migration in storage system |
US7904913B2 (en) * | 2004-11-02 | 2011-03-08 | Bakbone Software, Inc. | Management interface for a system that provides automated, real-time, continuous data protection |
-
2005
- 2005-11-01 JP JP2005318694A patent/JP4814617B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-13 US US11/331,115 patent/US7512746B2/en not_active Expired - Fee Related
- 2006-03-08 DE DE602006005311T patent/DE602006005311D1/de active Active
- 2006-03-08 EP EP06251232A patent/EP1785828B1/en not_active Expired - Fee Related
- 2006-03-13 CN CN200610057017.6A patent/CN1959618B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256003A (ja) * | 2000-03-10 | 2001-09-21 | Hitachi Ltd | ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法 |
JP2003296191A (ja) * | 2002-03-06 | 2003-10-17 | Hewlett Packard Co <Hp> | 汎用プロセッサおよび周辺装置のプロセッサとして動作可能な集積回路 |
JP2003280824A (ja) * | 2002-03-20 | 2003-10-02 | Hitachi Ltd | ストレージシステム、そのディスク制御クラスタ、その増設方法 |
JP2003323263A (ja) * | 2002-04-30 | 2003-11-14 | Hitachi Ltd | 共有メモリ制御方法および制御システム |
JP2004302713A (ja) * | 2003-03-31 | 2004-10-28 | Hitachi Ltd | 記憶システム及びその制御方法 |
JP2005353035A (ja) * | 2004-05-10 | 2005-12-22 | Hitachi Ltd | ストレージシステムにおけるデータ移行 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010531494A (ja) * | 2007-06-28 | 2010-09-24 | メモライト メモリテック (シェンチェン) カンパニー リミテッド | マルチチャンネル非揮発性固体記憶装置に基づくロジック・ストリップの制御方法 |
WO2010029812A1 (ja) * | 2008-09-09 | 2010-03-18 | 日本電気株式会社 | マルチコアにおけるプログラミングシステム、その方法及びそのプログラム |
JP5360506B2 (ja) * | 2008-09-09 | 2013-12-04 | 日本電気株式会社 | マルチコアにおけるプログラミングシステム、その方法及びそのプログラム |
US8694975B2 (en) | 2008-09-09 | 2014-04-08 | Nec Corporation | Programming system in multi-core environment, and method and program of the same |
JP2012519316A (ja) * | 2009-04-06 | 2012-08-23 | 株式会社日立製作所 | ストレージサブシステム、及びその制御方法 |
JP2011113232A (ja) * | 2009-11-26 | 2011-06-09 | Nec Corp | ディスクエンクロージャ及びストレージシステムの制御方法 |
JP2013097788A (ja) * | 2011-11-04 | 2013-05-20 | Lsi Corp | 仮想sasエキスパンダを介して共有されるサーバ直接接続のストレージシステム |
WO2016189640A1 (ja) * | 2015-05-26 | 2016-12-01 | 株式会社日立製作所 | ストレージ装置、及び方法 |
WO2018198325A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社日立製作所 | ストレージシステム |
JP2018190368A (ja) * | 2017-04-28 | 2018-11-29 | 株式会社日立製作所 | ストレージシステム |
Also Published As
Publication number | Publication date |
---|---|
EP1785828A1 (en) | 2007-05-16 |
US20070101070A1 (en) | 2007-05-03 |
CN1959618B (zh) | 2010-06-09 |
EP1785828B1 (en) | 2009-02-25 |
CN1959618A (zh) | 2007-05-09 |
DE602006005311D1 (de) | 2009-04-09 |
US7512746B2 (en) | 2009-03-31 |
JP4814617B2 (ja) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4814617B2 (ja) | ストレージシステム | |
JP5057656B2 (ja) | ストレージシステム及びストレージシステムの運用方法 | |
JP4718851B2 (ja) | ストレージシステムにおけるデータ移行 | |
US10162567B2 (en) | Computer system | |
US8892840B2 (en) | Computer system and data migration method | |
US20190310925A1 (en) | Information processing system and path management method | |
JP5124103B2 (ja) | 計算機システム | |
EP1837751B1 (en) | Storage system, storage extent release method and storage apparatus | |
US9619171B2 (en) | Storage system and virtualization method | |
US9213490B2 (en) | Computer system and data migration method | |
US20120203988A1 (en) | Storage system and virtualization method | |
JP2009146106A (ja) | 物理的な通信ポートに付加される仮想的な通信ポートを移行する機能を有したストレージシステム | |
US8972656B1 (en) | Managing accesses to active-active mapped logical volumes | |
JP2007207007A (ja) | ストレージシステム、ストレージコントローラ及び計算機システム | |
US8972657B1 (en) | Managing active—active mapped logical volumes | |
JP5635621B2 (ja) | ストレージシステム及びストレージシステムのデータ転送方法 | |
JP2010271808A (ja) | ストレージ装置及びデータコピー方法 | |
US10503440B2 (en) | Computer system, and data migration method in computer system | |
JP2009129261A (ja) | ストレージシステム及びストレージシステムの外部ボリューム接続経路探索方法 | |
JP6343716B2 (ja) | 計算機システム及び記憶制御方法 | |
JP5335848B2 (ja) | ストレージシステム及びストレージシステムの運用方法 | |
US11467930B2 (en) | Distributed failover of a back-end storage director | |
JP5856665B2 (ja) | ストレージシステム及びストレージシステムのデータ転送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110826 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |