JP2001067239A - マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置 - Google Patents

マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置

Info

Publication number
JP2001067239A
JP2001067239A JP2000213646A JP2000213646A JP2001067239A JP 2001067239 A JP2001067239 A JP 2001067239A JP 2000213646 A JP2000213646 A JP 2000213646A JP 2000213646 A JP2000213646 A JP 2000213646A JP 2001067239 A JP2001067239 A JP 2001067239A
Authority
JP
Japan
Prior art keywords
cluster
data transfer
job
mode
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000213646A
Other languages
English (en)
Inventor
Tomohiro Murata
智洋 村田
Mitsuaki Nitta
満秋 仁田
Kenzo Kurihara
謙三 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000213646A priority Critical patent/JP2001067239A/ja
Publication of JP2001067239A publication Critical patent/JP2001067239A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Stored Programmes (AREA)
  • Multi Processors (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 プロセッサ群を全面停止させることなく、プ
ロセッサ群が実行するプログラムを変更する。 【解決手段】 プロセッサ群(211,212,213,214,22
1,222,223,224)を2個のクラスタ(クラスタ1,ク
ラスタ2)にグループ分けし、通常はクラスタに関係な
く全てのプロセッサでジョブを分散処理し、プログラム
変更時は、まず、同一クラスタのプロセッサ間でのみジ
ョブを分散処理するモードに移行し、クラスタ2での処
理を継続しながらクラスタ1での処理を休止してクラス
タ1のプロセッサ(211,212,213,214)の各ローカル
メモリLMのプログラムを変更し、変更後に処理を再開
し、次に、クラスタ1での処理を継続しながらクラスタ
2での処理を休止してクラスタ2のプロセッサ(221,2
22,223,224)の各ローカルメモリLMのプログラムを
変更し、変更後に処理を再開し、その後、通常の動作に
復帰させる。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、マルチプロセッサ
システムの無停止プログラム変更方法およびマルチプロ
セッサシステムおよびディスク制御装置の無停止プログ
ラム変更方法およびディスク制御装置に関する。さらに
詳しくは、プロセッサ群を全面停止させることなく、プ
ロセッサ群が実行するプログラムを変更することが出来
るマルチプロセッサシステムの無停止プログラム変更方
法およびマルチプロセッサシステムおよびディスク制御
装置の無停止プログラム変更方法およびディスク制御装
置に関する。
【0002】
【従来の技術】主系プロセッサと従系プロセッサとを設
け、主系プロセッサで行なっていた処理を従系プロセッ
サで引き継ぐバックアップシステム切り替えを行なった
後、主系プロセッサを停止させて保守する無停止保守方
法が例えば特開昭56−52460号公報に記載されて
いる。
【0003】
【発明が解決しようとする課題】上記従来の無停止保守
方法によれば、処理を全面停止させることなく、主系プ
ロセッサに属するシステム部分を保守することが可能で
ある。しかし、主系プロセッサで行なっていた処理を従
系プロセッサで引き継ぐために、主系プロセッサと従系
プロセッサがそれぞれ実行するプログラムが同じバージ
ョンであることが必要であり、プログラムをバージョン
アップする場合には上記無停止保守方法を適用できない
問題点がある。すなわち、従来の技術では、プログラム
をバージョンアップする場合には、プロセッサ群を全面
停止させなければならない問題点がある。そこで、本発
明の目的は、プロセッサ群を全面停止させることなく、
プロセッサ群が実行するプログラムを変更することが出
来るマルチプロセッサシステムの無停止プログラム変更
方法およびマルチプロセッサシステムおよびディスク制
御装置の無停止プログラム変更方法およびディスク制御
装置を提供することにある。
【0004】
【課題を解決するための手段】第1の観点では、本発明
は、複数のプロセッサの各ローカルメモリにそれぞれプ
ログラムを格納し、各プロセッサが自ローカルメモリに
格納したプログラムをそれぞれ実行してジョブを処理す
るマルチプロセッサシステムにおいて、上記複数のプロ
セッサをクラスタ1からクラスタN(Nは、2以上で全
プロセッサ数以下の自然数)までのN個のクラスタにグ
ループ分けし、且つ、自プロセッサが属するクラスタと
同一クラスタに属するプロセッサ群の間でのみジョブの
分散処理を行なうクラスタ限定モードと全てのプロセッ
サの間でジョブの分散処理を行なうクラスタ非限定モー
ドとを設け、通常動作時は、クラスタ非限定モードでジ
ョブを分散処理し、プログラム変更動作時は、まず、ク
ラスタ非限定モードでのジョブの処理からクラスタ限定
モードでのジョブの処理に移行し、移行が完了したら一
つのクラスタを選択し、非選択クラスタのプロセッサ群
でのジョブの処理および新たなジョブの受け付けを継続
しつつ選択クラスタのプロセッサ群での新たなジョブの
受け付けを停止し、選択クラスタのプロセッサ群で処理
されるジョブが無くなったら選択クラスタのプロセッサ
群の各ローカルメモリに格納されているプログラムを新
たなプログラムにそれぞれ変更し、選択クラスタの全て
のプロセッサのプログラムの変更を完了したら選択クラ
スタのプロセッサ群での新たなジョブの受け付けおよび
ジョブの処理を再開し、これを全てのクラスタについて
順に繰り返した後、クラスタ限定モードでのジョブの処
理をクラスタ非限定モードでのジョブの処理に戻して通
常動作に戻ることを特徴とするマルチプロセッサシステ
ムの無停止プログラム変更方法を提供する。
【0005】上記第1の観点によるマルチプロセッサシ
ステムの無停止プログラム変更方法では、プロセッサ群
を2以上のクラスタにグループ分けし、通常はクラスタ
に関係なく全てのプロセッサでジョブを分散処理し、プ
ログラム変更時は、まず、同一クラスタのプロセッサ間
でのみジョブを分散処理するモードに移行し、移行でき
たら一つのクラスタを選択し、非選択クラスタでの処理
を継続しながら選択クラスタでの処理を休止して選択ク
ラスタのプロセッサのプログラムを変更し、変更後に処
理を再開し、これを全てのクラスタについて繰り返し、
全てのクラスタについてプログラムの変更と処理の再開
とが完了した後、クラスタに関係なく全てのプロセッサ
でジョブを分散処理する通常の動作に復帰させる。これ
により、マルチプロセッサシステムの動作を全面停止さ
せることなく、且つ、異なるバージョンのプログラムが
干渉することなく、プログラムを変更することが出来
る。
【0006】第2の観点では、本発明は、複数のプロセ
ッサの各ローカルメモリにそれぞれプログラムを格納
し、各プロセッサが自ローカルメモリに格納したプログ
ラムをそれぞれ実行してジョブを処理するマルチプロセ
ッサシステムにおいて、上記複数のプロセッサをクラス
タ1からクラスタN(Nは、2以上で全プロセッサ数以
下の自然数)までのN個のクラスタにグループ分けし、
且つ、クラスタ群を第1組と第2組の2個の集合にグル
ープ分けし、且つ、自プロセッサが属するクラスタと同
一クラスタに属するプロセッサ群の間でのみジョブの分
散処理を行なうクラスタ限定モードと,自プロセッサが
属するクラスタと同一クラスタに属するプロセッサ群お
よび自プロセッサが属するクラスタが所属する組と同一
組に所属するクラスタに属するプロセッサ群の間でジョ
ブの分散処理を行なうクラスタ非限定モードとを設け、
通常動作時は、全てのクラスタを第1組または第2組の
一方に所属させ、クラスタ非限定モードでジョブを分散
処理し、プログラム変更動作時は、まず、一つのクラス
タを選択し、非選択クラスタにおけるクラスタ非限定モ
ードでのジョブの分散処理を継続しつつ選択クラスタに
おけるクラスタ非限定モードでのジョブの処理をクラス
タ限定モードでのジョブの処理へと移行し、移行が完了
したら選択クラスタのプロセッサ群での新たなジョブの
受け付けを停止し、選択クラスタのプロセッサ群で処理
されるジョブが無くなったら選択クラスタのプロセッサ
群の各ローカルメモリに格納されているプログラムを新
たなプログラムにそれぞれ変更し、選択クラスタの全て
のプロセッサのプログラムの変更を完了したら選択クラ
スタのプロセッサ群での新たなジョブの受け付けおよび
ジョブの処理を再開すると共に、選択クラスタの所属を
第1組または第2組の一方から他方に変更した上で選択
クラスタにおけるクラスタ限定モードでのジョブの処理
をクラスタ非限定モードでのジョブの処理に戻し、これ
を全てのクラスタについて順に繰り返して通常動作に戻
ることを特徴とするマルチプロセッサシステムの無停止
プログラム変更方法を提供する。
【0007】上記第2の観点によるマルチプロセッサシ
ステムの無停止プログラム変更方法では、プロセッサ群
を2以上のクラスタにグループ分けし、通常はクラスタ
に関係なく全てのプロセッサでジョブを分散処理し、プ
ログラム変更時は、まず、同一クラスタのプロセッサお
よび分散処理可能な所定のクラスタのプロセッサ間での
みジョブを分散処理するモードに移行し、移行できたら
一つのクラスタを選択し、非選択クラスタでの処理を継
続しながら選択クラスタでの処理を休止して選択クラス
タのプロセッサのプログラムを変更し、変更後に処理を
再開し、これを全てのクラスタについて繰り返し、全て
のクラスタについてプログラムの変更と処理の再開とが
完了した後、クラスタに関係なく全てのプロセッサでジ
ョブを分散処理する通常の動作に復帰させる。これによ
り、マルチプロセッサシステムの動作を全面停止させる
ことなく、且つ、異なるバージョンのプログラムが干渉
することなく、且つ、異なるクラスタのプロセッサ間で
の分散処理を行いながら、プログラムを変更することが
出来る。
【0008】第3の観点では、本発明は、上記第1の観
点による無停止プログラム変更方法または上記第2の観
点による無停止プログラム変更方法を実施するマルチプ
ロセッサシステムを提供する。
【0009】上記第3の観点によるマルチプロセッサシ
ステムでは、上記無停止プログラム変更方法を好適に実
施可能であるから、プログラムを変更するときに動作を
全面停止させずに済む。
【0010】第4の観点では、本発明は、複数のプロセ
ッサの各ローカルメモリにそれぞれデータ転送制御プロ
グラムを格納し、各プロセッサが自ローカルメモリに格
納したデータ転送制御プログラムをそれぞれ実行してデ
ィスクドライブに対するデータ転送ジョブを処理するデ
ィスク制御装置において、上記複数のプロセッサをクラ
スタ1からクラスタN(Nは、2以上で全プロセッサ数
以下の自然数)までのN個のクラスタにグループ分け
し、且つ、自プロセッサが属するクラスタと同一クラス
タに属するプロセッサ群の間でのみデータ転送ジョブの
分散処理を行なうクラスタ限定モードと全てのプロセッ
サの間でデータ転送ジョブの分散処理を行なうクラスタ
非限定モードとを設け、通常動作時は、クラスタ非限定
モードでデータ転送ジョブを分散処理し、データ転送制
御プログラム変更動作時は、まず、クラスタ非限定モー
ドでのデータ転送ジョブの処理からクラスタ限定モード
でのデータ転送ジョブの処理に移行し、移行が完了した
ら一つのクラスタを選択し、非選択クラスタのプロセッ
サ群でのデータ転送ジョブの処理および新たなデータ転
送ジョブの受け付けを継続しつつ選択クラスタのプロセ
ッサ群での新たなデータ転送ジョブの受け付けを停止
し、選択クラスタのプロセッサ群で処理されるデータ転
送ジョブが無くなったら選択クラスタのプロセッサ群の
各ローカルメモリに格納されているデータ転送制御プロ
グラムを新たなデータ転送制御プログラムにそれぞれ変
更し、選択クラスタの全てのプロセッサのデータ転送制
御プログラムの変更を完了したら選択クラスタのプロセ
ッサ群での新たなデータ転送ジョブの受け付けおよびデ
ータ転送ジョブの処理を再開し、これを全てのクラスタ
について順に繰り返した後、クラスタ限定モードでのデ
ータ転送ジョブの処理をクラスタ非限定モードでのデー
タ転送ジョブの処理に戻して通常動作に戻ることを特徴
とするディスク制御装置の無停止プログラム変更方法を
提供する。
【0011】上記第4の観点によるディスク制御装置の
無停止プログラム変更方法では、プロセッサ群を2以上
のクラスタにグループ分けし、通常はクラスタに関係な
く全てのプロセッサでデータ転送制御ジョブを分散処理
し、データ転送制御プログラム変更時は、まず、同一ク
ラスタのプロセッサ間でのみデータ転送制御ジョブを分
散処理するモードに移行し、移行できたら一つのクラス
タを選択し、非選択クラスタでの処理を継続しながら選
択クラスタでの処理を休止して選択クラスタのプロセッ
サのデータ転送制御プログラムを変更し、変更後に処理
を再開し、これを全てのクラスタについて繰り返し、全
てのクラスタについてデータ転送制御プログラムの変更
と処理の再開とが完了した後、クラスタに関係なく全て
のプロセッサでデータ転送制御ジョブを分散処理する通
常の動作に復帰させる。これにより、ディスク制御装置
の動作を全面停止させることなく、且つ、異なるバージ
ョンのデータ転送制御プログラムが干渉することなく、
データ転送制御プログラムを変更することが出来る。
【0012】第5の観点では、本発明は、複数のプロセ
ッサの各ローカルメモリにそれぞれデータ転送制御プロ
グラムを格納し、各プロセッサが自ローカルメモリに格
納したデータ転送制御プログラムをそれぞれ実行してデ
ータ転送ジョブを処理するディスク制御装置において、
上記複数のプロセッサをクラスタ1からクラスタN(N
は、2以上で全プロセッサ数以下の自然数)までのN個
のクラスタにグループ分けし、且つ、クラスタ群を第1
組と第2組の2個の集合にグループ分けし、且つ、自プ
ロセッサが属するクラスタと同一クラスタに属するプロ
セッサ群の間でのみデータ転送ジョブの分散処理を行な
うクラスタ限定モードと,自プロセッサが属するクラス
タと同一クラスタに属するプロセッサ群および自プロセ
ッサが属するクラスタが所属する組と同一組に所属する
クラスタに属するプロセッサ群の間でデータ転送ジョブ
の分散処理を行なうクラスタ非限定モードとを設け、通
常動作時は、全てのクラスタを第1組または第2組の一
方に所属させ、クラスタ非限定モードでデータ転送ジョ
ブを分散処理し、データ転送制御プログラム変更動作時
は、まず、一つのクラスタを選択し、非選択クラスタに
おけるクラスタ非限定モードでのデータ転送ジョブの分
散処理を継続しつつ選択クラスタにおけるクラスタ非限
定モードでのデータ転送ジョブの処理をクラスタ限定モ
ードでのデータ転送ジョブの処理へと移行し、移行が完
了したら選択クラスタのプロセッサ群での新たなデータ
転送ジョブの受け付けを停止し、選択クラスタのプロセ
ッサ群で処理されるデータ転送ジョブが無くなったら選
択クラスタのプロセッサ群の各ローカルメモリに格納さ
れているデータ転送制御プログラムを新たなデータ転送
制御プログラムにそれぞれ変更し、選択クラスタの全て
のプロセッサのデータ転送制御プログラムの変更を完了
したら選択クラスタのプロセッサ群での新たなデータ転
送ジョブの受け付けおよびデータ転送ジョブの処理を再
開すると共に、選択クラスタの所属を第1組または第2
組の一方から他方に変更した上で選択クラスタにおける
クラスタ限定モードでのデータ転送ジョブの処理をクラ
スタ非限定モードでのデータ転送ジョブの処理に戻し、
これを全てのクラスタについて順に繰り返して通常動作
に戻ることを特徴とするディスク制御装置の無停止プロ
グラム変更方法を提供する。
【0013】上記第5の観点によるディスク制御装置の
無停止プログラム変更方法では、プロセッサ群を2以上
のクラスタにグループ分けし、通常はクラスタに関係な
く全てのプロセッサでデータ転送制御ジョブを分散処理
し、データ転送制御プログラム変更時は、まず、同一ク
ラスタのプロセッサおよび分散処理可能な所定のクラス
タのプロセッサ間でのみデータ転送制御ジョブを分散処
理するモードに移行し、移行できたら一つのクラスタを
選択し、非選択クラスタでの処理を継続しながら選択ク
ラスタでの処理を休止して選択クラスタのプロセッサの
データ転送制御プログラムを変更し、変更後に処理を再
開し、これを全てのクラスタについて繰り返し、全ての
クラスタについてデータ転送制御プログラムの変更と処
理の再開とが完了した後、クラスタに関係なく全てのプ
ロセッサでデータ転送制御ジョブを分散処理する通常の
動作に復帰させる。これにより、ディスク制御装置の動
作を全面停止させることなく、且つ、異なるバージョン
のデータ転送制御プログラムが干渉することなく、且
つ、異なるクラスタのプロセッサ間での分散処理を行い
ながら、データ転送制御プログラムを変更することが出
来る。
【0014】第6の観点では、本発明は、上記第4の観
点による無停止プログラム変更方法または上記第5の観
点による無停止プログラム変更方法を実施するディスク
制御装置を提供する。
【0015】上記第6の観点によるディスク制御装置で
は、上記無停止データ転送制御プログラム変更方法を好
適に実施可能であるから、データ転送制御プログラムを
変更するときに動作を全面停止させずに済む。
【0016】
【発明の実施の形態】以下、図を参照して本発明の実施
の形態を説明する。なお、これにより本発明が限定され
るものではない。
【0017】−第1の実施形態− 図1は、本発明の第1の実施形態に係るディスク制御装
置200の構成図である。このディスク制御装置200
は、各々がローカルメモリLMを有するプロセッサ21
1,212,213,214,221,222,223
および224と、制御プログラム格納用ドライブ21
6,226をそれぞれ有するサービスプロセッサ21
5,225と、キャッシュメモリ231および制御メモ
リ232を有する共有メモリ230とを具備して構成さ
れている。
【0018】前記8台のプロセッサ211,212,2
13,214,221,222,223および224の
ローカルメモリLMには、データ転送制御プログラムと
保守支援プログラムとが格納されている。前記各プロセ
ッサ211,212,213,214,221,22
2,223および224により前記データ転送制御プロ
グラムが実行され、データ転送制御処理が行われる(す
なわち、ディスク制御装置200はマルチプロセッサシ
ステムである)。また、前記保守支援プログラムが実行
され、無停止保守処理が行われる。前記プロセッサ群の
うちプロセッサ211,212,221および222
は、、チャネル制御装置CCに接続されたチャネルCP
Uを含んでいる。そこで、これらをチャネル側プロセッ
サと呼ぶ。また、プロセッサ213,214,223お
よび224は、ディスクドライブ(以下、単にドライブ
という)D0に接続されたドライブCPUを含んでい
る。そこで、これらをドライブ側プロセッサと呼ぶ。ま
た、前記プロセッサ群は、2つのクラスタにグループ分
けされている。プロセッサ211,212,213およ
び214は“クラスタ1”であり、プロセッサ221,
222,223および224は“クラスタ2”である。
前記サービスプロセッサ215,225は、保守端末2
40に接続されている。また、サービスプロセッサ21
5は前記“クラスタ1”に属し、サービスプロセッサ2
25は前記“クラスタ2”に属している。
【0019】前記制御メモリ232は、図2に示すごと
きクラスタ割当て情報500を格納している。このクラ
スタ割当て情報500のプロセッサ番号エリアには、各
プロセッサの番号が格納されている(本実施例では、2
11,212,213,214,221,222,22
3および224)。また、所属クラスタ番号エリアに
は、対応するプロセッサが属するクラスタのクラスタ番
号が格納されている(本実施例では、プロセッサ21
1,212,213および214がクラスタ番号“1”
であり、プロセッサ221,222,223および22
4がクラスタ番号“2”である)。また、プロセッサ属
性エリアには、データ転送ジョブの分散処理における各
プロセッサの機能を示す情報が格納されている(本実施
例では、プロセッサ211,212,221および22
2が“チャネルCPU”であり、プロセッサ213,2
14,223および224が“ドライブCPU”であ
る)。
【0020】また、前記制御メモリ232には、図3に
示すごとき実行クラスタ指示情報600を格納してい
る。この実行クラスタ指示情報600の実行クラスタ指
示エリアには、クラスタ1およびクラスタ2のいずれで
もデータ転送に使用できる状態のときは“1(クラスタ
非限定モード)”を格納し、クラスタ1またはクラスタ
2のいずれか一方のみをデータ転送に使用できる状態の
ときは“2(クラスタ限定モード)”を格納する。
【0021】また、前記制御メモリ232には、デイス
ク制御装置200に接続する全てのドライブに対応して
作成した図4に示すごときI/Oジョブ実行制御情報8
00を格納している。このI/Oジョブ実行制御情報8
00のアクセスコマンド要求エリアには、アクセスコマ
ンドのコマンド種別(リードまたはライト)と,アクセ
ス対象のドライブ番号(I/Oジョブ実行制御情報80
0ごとに固定)と,アクセス対象のシリンダ番号,トラ
ック番号,レコード番号とを格納する。また、実行可能
プロセッサ指定ビットマップエリアには、各プロセッサ
211,212,213,214,221,222,2
23および224がアクセスコマンドを実行可能か否か
を示す情報(実行可能なら“1”、実行不可なら
“0”)を格納する。また、I/O要求実行状態エリア
には、当該ドライブに対するアクセスコマンドの実行状
態を示す情報(実行要求無しなら“0”、ドライブCP
U実行待ちなら“1”、チャネルCPU実行待ちなら
“2”、何らかの処理を実行中なら“3”)を格納す
る。
【0022】さらに、前記制御メモリ232には、図5
に示すごときクラスタ動作モード指示情報700を格納
している。このクラスタ動作モード指示情報700のク
ラスタ番号エリアには、クラスタ番号(“クラスタ
1”,“クラスタ2”)を格納する。また、動作モード
エリアには、通常の動作モードを示す“1(ノーマル動
作モード)”またはアクセスコマンドを受け付けない動
作モードを示す“2(休止モード)”またはクラスタ1
とクラスタ2とが異なるバージョンのデータ転送制御プ
ログラムを実行していることを示す“3(保守動作モー
ド)”のいずれかを格納する。
【0023】次に、ディスク制御装置200のデータ転
送制御処理を説明する。ホストコンピュータ(図示省
略)からチャネル制御装置CCにアクセスコマンドが渡
されると、チャネル制御装置CCは、そのアクセスコマ
ンドを、ディスク制御装置200のクラスタ1(21
0)またはクラスタ2(220)のチャネル側プロセッ
サ211,212,221,222のいずれか一つに渡
す。ここでは、アクセスコマンドがドライブD0に対す
るリード要求であるとし、そのアクセスコマンドがクラ
スタ1(210)のチャネル側プロセッサ211に渡さ
れたとする。
【0024】アクセスコマンドを渡されたチャネル側プ
ロセッサ(211)は、ドライブD0に対応するI/O
ジョブ実行制御情報800(図4)のI/O要求実行状
態エリアに“0(実行要求無し)”がセットされている
場合に限り、I/O要求実行状態エリアに“3(実行
中)”をセットし、アクセスコマンド要求エリアにアク
セスコマンドの各情報を格納し、I/O要求実行状態エ
リアに“1(ドライブCPU実行待ち)”をセットす
る。次に、前記チャネル側プロセッサ(211)は、実
行クラスタ指示情報600(図3)を参照し、実行クラ
スタ指示エリアが“1(クラスタ非限定モード)”であ
るときは、I/Oジョブ実行制御情報800(図4)の
実行可能プロセッサ指定ビットマップエリアのうちのド
ライブ側プロセッサ番号(213,214,223,2
24)に対応する実行可否フィールドに“1(実行
可)”をセットする。一方、実行クラスタ指示エリアが
“2(クラスタ限定モード)”であるときは、I/Oジ
ョブ実行制御情報800(図4)の実行可能プロセッサ
指定ビットマップエリアのうちの自プロセッサ(ここで
はチャネル側プロセッサ211)と同一のクラスタ(こ
こではクラスタ1)に属するドライブ側プロセッサ番号
(213,214)に対応する実行可否フィールドのみ
に“1(実行可)”をセットする。
【0025】ドライブ側プロセッサ(213,214,
223,224)のうちの任意の一つ(ここでは、ドラ
イブ側プロセッサ223とする)は、I/Oジョブ実行
制御情報800(図4)のI/O要求実行状態エリアを
参照し、“1(ドライブCPU実行待ち)”がセットさ
れていれば、当該I/Oジョブ実行制御情報800(図
4)の実行可能プロセッサ指定ビットマップエリアの自
プロセッサ番号(223)に対応する実行可否フィール
ドを参照し、そこに“1(実行可)”がセットされてい
る場合に限り、I/O要求実行状態エリアに“3(実行
中)”をセットし、アクセスコマンド要求エリアに格納
されている情報(ドライブ番号,シリンダ番号,トラッ
ク番号,レコード番号)に従ってデータを読み出し、共
有メモリ230のキャッシュメモリ232に格納し、当
該I/Oジョブ実行制御情報800(図4)のI/O要
求実行状態エリアに“2(チャネルCPU実行待ち)”
をセットする。そして、実行クラスタ指示情報600
(図3)を参照し、実行クラスタ指示エリアが“1(ク
ラスタ非限定モード)”であるときは、前記I/Oジョ
ブ実行制御情報800(図4)の実行可能プロセッサ指
定ビットマップエリアのうちのチャネル側プロセッサ番
号(211,212,221,222)に対応する実行
可否フィールドに“1(実行可)”をセットする。一
方、実行クラスタ指示エリアが“2(クラスタ限定モー
ド)”であるときは、前記I/Oジョブ実行制御情報8
00(図4)の実行可能プロセッサ指定ビットマップエ
リアのうちの自プロセッサ(ドライブ側プロセッサ22
3)と同一のクラスタ(クラスタ2)に属するチャネル
側プロセッサ番号(221,222)に対応する実行可
否フィールドのみに“1(実行可)”をセットする。
【0026】チャネル側プロセッサ(211,212,
221,222)のうちの任意の一つ(ここでは、チャ
ネル側プロセッサ221とする)は、I/Oジョブ実行
制御情報800(図4)のI/O要求実行状態エリアを
参照し、“2(チャネルCPU実行待ち)”がセットさ
れていれば、実行可能プロセッサ指定ビットマップエリ
アの自プロセッサ番号(221)に対応する実行可否フ
ィールドに“1(実行可)”がセットされている場合に
限り、I/O要求実行状態エリアに“3(実行中)”を
セットし、キャッシュメモリ232の該当するデータを
チャネル制御装置CCに転送し、I/O要求実行状態エ
リアに“0(実行要求無し)”をセットする。以上がデ
ータ転送制御処理のリード時の動作である。ライト時も
同様であり、説明は省略する。
【0027】次に、ディスク制御装置200の無停止保
守処理(制御プログラム変更処理)を説明する。図6
は、無停止保守処理(制御プログラム変更処理)のメイ
ンフロー図である。保守員は、保守端末240を介し
て、サービスプロセッサ215,225の制御プログラ
ム格納用ドライブ216,226に新しいバージョンの
データ転送制御プログラムを格納する(ステップ11
0)。次に、保守員は、保守端末240を介して、サー
ビスプロセッサ215に制御プログラム変更処理開始を
指示する(ステップ120)。サービスプロセッサ21
5は、実行クラスタ指示情報600(図3)に“2(ク
ラスタ限定モード)”を設定する(ステップ125)。
次に、サービスプロセッサ215は、クラスタ1の制御
プログラム変更処理を実行する(ステップ130)。こ
のクラスタ1の制御プログラム変更処理については、図
7を参照して後で詳述する。クラスタ1のプロセッサ
(211,212,213,214)について制御プロ
グラム変更処理を実行している間、クラスタ2のプロセ
ッサ(221,222,223,224)は、古いバー
ジョンのデータ転送制御プログラムの実行を継続してい
る。
【0028】次に、サービスプロセッサ215は、サー
ビスプロセッサ225対して、クラスタ2の制御プログ
ラム変更処理の実行を要求する(ステップ140)。サ
ービスプロセッサ225は、クラスタ2の制御プログラ
ム変更処理を実行する(ステップ145)。このクラス
タ2の制御プログラム変更処理については、図8を参照
して後で詳述する。クラスタ2のプロセッサ(221,
222,223,224)について制御プログラム変更
処理を実行している間、クラスタ1のプロセッサ(21
1,212,213,214)は、新しいバージョンの
データ転送制御プログラムを実行している。サービスプ
ロセッサ215は、クラスタ2の制御プログラム変更処
理が完了したことを確認すると(ステップ150)、ク
ラスタ動作モード指示情報700(図5)の各クラスタ
の動作モードに“1(ノーマル動作モード)”を設定
し、且つ、実行クラスタ指示情報600(図3)に“1
(クラスタ非限定モード)”を設定する(ステップ15
5)。そして、保守端末240に、制御プログラム変更
処理の完了のメッセージを表示する(ステップ16
0)。
【0029】図7は、上記クラスタ1の制御プログラム
変更処理(130)の詳細フロー図である。クラスタ1
のプロセッサ(211,212,213,214)は、
全てのドライブ(D0,D1,…)のI/Oジョブ実行
制御情報800(図4)の実行可能プロセッサ指定ビッ
トマップエリアを参照し、クラスタ1のプロセッサおよ
びクラスタ2のプロセッサに対して同時に“1(実行
可)”となってるジョブ(クラスタ非限定ジョブ)がな
いことを確認する(ステップ310)。図6のステップ
125により図3の実行クラスタ指示情報600の実行
クラスタ指示エリアが“2(クラスタ限定モード)”と
されているため、チャネル側プロセッサ(211,21
2,221,222)の一つがチャネル制御装置CCか
ら新たなアクセスコマンドを渡されても、I/Oジョブ
実行制御情報800(図4)の実行可能プロセッサ指定
ビットマップエリアには、クラスタ1またはクラスタ2
の一方のプロセッサにのみ“1(実行可)”がセットさ
れる。従って、クラスタ非限定ジョブはいずれ消滅する
ことになる。この消滅を確認する。
【0030】次に、サービスプロセッサ215は、図5
のクラスタ動作モード指示情報700のクラスタ1の動
作モードを“2(休止モード)”に設定する(ステップ
320)。クラスタ1のチャネル側プロセッサ(21
1,212)は、クラスタ動作モード指示情報700の
クラスタ1の動作モードが“2(休止モード)”に設定
されている場合、新規のアクセスコマンドの受付けを行
なわないことをチャネル制御装置CCに通知する(ステ
ップ320)。これにより、以後、クラスタ1のプロセ
ッサが実行すべき新たなジョブは登録されなくなる。次
に、クラスタ1のプロセッサ(211,212,21
3,214)は、全てのドライブ(D0,D1,…)の
I/Oジョブ実行制御情報800(図4)の実行可能プ
ロセッサ指定ビットマップエリアを参照し、クラスタ1
のプロセッサに対して“1(実行可)”となってるジョ
ブ(クラスタ限定ジョブ)がないことを確認する(ステ
ップ325)。そして、自プロセッサの休止完了をサー
ビスプロセッサ215に通知する(ステップ330)。
【0031】次に、サービスプロセッサ215は、図5
のクラスタ動作モード指示情報700のクラスタ1の動
作モードを“3(保守動作モード)”に設定する(ステ
ップ335)。次に、クラスタ1の動作モードが保守動
作モードに設定されたことを検知したプロセッサ(21
1,212,213,214)は、新しいバージョンの
データ転送制御プログラムを転送するようにサービスプ
ロセッサ215に要求する(ステップ340)。これに
応じて、サービスプロセッサ215は、新しいバージョ
ンのデータ転送制御プログラムをクラスタ1のプロセッ
サ(211,212,213,214)に転送し、各々
のローカルメモリLMに格納する(ステップ345)。
クラスタ1のチャネル側プロセッサ(211,212)
は、新しいバージョンのデータ転送制御プログラムがク
ラスタ1の全てのプロセッサ(211,212,21
3,214)のローカルメモリLMに格納されたことを
確認すると、新規のアクセスコマンドの受付けを再開す
ることをチャネル制御装置CCに通知する(ステップ3
50)。
【0032】図8は、上記クラスタ2の制御プログラム
変更処理(145)の詳細フロー図である。なお、クラ
スタ2の制御プログラム変更処理(145)の開始時に
存在するジョブはクラスタ限定ジョブのみであり、クラ
スタ非限定ジョブは存在しない。まず、サービスプロセ
ッサ225は、図5のクラスタ動作モード指示情報70
0のクラスタ2の動作モードを“2(休止モード)”に
設定する(ステップ405)。クラスタ2のチャネル側
プロセッサ(221,222)は、クラスタ動作モード
指示情報700のクラスタ2の動作モードが“2(休止
モード)”に設定されている場合、新規のアクセスコマ
ンドの受付けを行なわないことをチャネル制御装置CC
に通知する(ステップ415)。これにより、以後、ク
ラスタ2のプロセッサが実行すべき新たなジョブは登録
されなくなる。次に、クラスタ2のプロセッサ(22
1,222,223,224)は、全てのドライブ(D
0,D1,…)のI/Oジョブ実行制御情報800(図
4)の実行可能プロセッサ指定ビットマップエリアを参
照し、クラスタ2のプロセッサに対して“1(実行
可)”となってるジョブ(クラスタ限定ジョブ)がない
ことを確認する(ステップ420)。そして、自プロセ
ッサの休止完了をサービスプロセッサ225に通知する
(ステップ425)。
【0033】次に、サービスプロセッサ225は、図5
のクラスタ動作モード指示情報700のクラスタ2の動
作モードを“3(保守動作モード)”に設定する(ステ
ップ426)。次に、クラスタ2の動作モードが保守動
作モードに設定されたことを検知したプロセッサ(22
1,222,223,224)は、新しいバージョンの
データ転送制御プログラムを転送するようにサービスプ
ロセッサ225に要求する(ステップ427)。これに
応じて、サービスプロセッサ225は、新しいバージョ
ンのデータ転送制御プログラムをクラスタ2のプロセッ
サ(221,222,223,224)に転送し、各々
のローカルメモリLMに格納する(ステップ430)。
クラスタ2のチャネル側プロセッサ(221,222)
は、新しいバージョンのデータ転送制御プログラムがク
ラスタ2の全てのプロセッサ(221,222,22
3,224)のローカルメモリLMに格納されたことを
確認すると、新規のアクセスコマンドの受付けを再開す
ることをチャネル制御装置CCに通知する(ステップ4
40)。
【0034】以上のディスク制御装置200によれば、
プロセッサ群(211,212,213,214,22
1,222,223および224)を全面停止させるこ
となく、かつ、バージョンの異なるデータ転送制御プロ
グラムを実行するプロセッサ同志を干渉させることな
く、データ転送制御プログラムをバージョンアップする
ことが出来る。
【0035】−第2の実施形態− 図9は、本発明の第2の実施形態に係るディスク制御装
置200’の構成図である。このディスク制御装置20
0’は、プロセッサ群のクラスタ分割が4つになってい
る点を除いて、実施例1のデイスク制御装置200と同
じ構成である。
【0036】クラスタ分割を3つ以上にした場合、プロ
セッサ群の間でジョブの分散処理が可能なクラスタの組
合せを複数定めることが出来る。この分散処理可能なク
ラスタの組合せは、図10に示すごとき分散処理可能ク
ラスタ組合せ情報100を制御メモリ232に作成して
格納する。図10の分散処理可能クラスタ組合せ情報1
00において、縦軸のクラスタ番号のプロセッサ群と横
軸のクラスタ番号のプロセッサ群とがジョブの分散処理
可能であれば、これらクラスタ番号に共通するフィール
ドに“OK”を設定する。ジョブの分散処理が可能でな
ければ、これらクラスタ番号に共通するフィールドに
“NG”を設定する。通常、縦軸のクラスタ番号のプロ
セッサ群と横軸のクラスタ番号のプロセッサ群とが同じ
バージョンのデータ転送制御プログラムを実行している
場合は“OK”を設定し、同じバージョンのデータ転送
制御プログラムを実行できない場合は“NG”を設定す
る。例えば、全てのクラスタのプロセッサ群が同じバー
ジョンのデータ転送制御プログラムを実行している場合
は、図10に示すように全フィールドに“OK”を設定
する。一方、クラスタ1のプロセッサ群(211,21
3)のみが新しいバージョンのデータ転送制御プログラ
ムの実行を開始しており、クラスタ2〜クラスタ4のプ
ロセッサ(212,214,221,223,222,
224)は古いバージョンのデータ転送制御プログラム
の実行を継続している場合は、図11に示すようにクラ
スタ1に対応するフィールドには“NG”を設定し、ク
ラスタ2〜クラスタ4に共通するフィールドには“O
K”を設定する。このように、各クラスタのプロセッサ
群が実行するデータ転送制御プログラムのバージョンは
保守動作時に変化するため、それに合せて分散処理可能
クラスタ組合せ情報100の設定値を動的に変更する。
【0037】そして、各プロセッサは、図3の実行クラ
スタ指定情報600の実行クラスタ指定エリアが“2
(クラスタ限定モード)”である場合、図4のI/Oジ
ョブ実行制御情報800の実行可能プロセッサ指定ビッ
トマップエリアの実行可否フィールドのうち、上記分散
処理可能クラスタ組合せ情報100で自プロセッサの属
するクラスタに対して“OK”が設定されている他クラ
スタに属するプロセッサに対応した実行可否フィールド
にのみ“1(実行可)”を設定する。
【0038】以上のディスク制御装置200’によれ
ば、より細かいクラスタ単位でデータ転送制御プログラ
ムをバージョンアップできる。また、データ転送制御プ
ログラムのバージョンが同一のプロセッサ間でジョブを
分散処理できる。
【0039】図12に、プロセッサ群を5つのクラスタ
にグループ分けした場合の図11相当図を示す。この分
散処理可能クラスタ組合せ情報100’は、クラスタ1
およびクラスタ2のプロセッサのプログラム変更処理が
終了し、クラスタ3のプログラム変更処理を行っている
途中であり、クラスタ4およびクラスタ5のプロセッサ
のプログラム変更処理がまだ開始されていない時点の内
容を示している。すなわち、クラスタ1およびクラスタ
2のプロセッサは新しいプログラムを実行しているの
で、クラスタ1およびクラスタ2は分散処理可能な一方
の組になっている。また、クラスタ4およびクラスタ5
のプロセッサは古いプログラムを実行しているので、ク
ラスタ4およびクラスタ5は分散処理可能な他方の組に
なっている。また、クラスタ3は、プログラム変更中な
ので、他のクラスタとは分散処理可能になっていない。
【0040】−第3の実施形態− 図13は本発明の第3の実施形態に係るディスク制御装
置200”の構成図である。このディスク制御装置20
0”は、プロセッサ(211,212,213,21
4)とサービスプロセッサ(215)と共有メモリ(2
30)とをバス201で接続した構成である。この場
合、バス201に接続するプロセッサ(211,21
2,213,214)を適当なクラスタに分割すれば、
上記実施例1や上記実施例2と同様の保守方法によりデ
ータ転送制御プログラムをバージョンアップできる。
【0041】
【発明の効果】本発明のマルチプロセッサシステムの無
停止プログラム変更方法によれば、マルチプロセッサシ
ステムの動作を全面停止させることなく、且つ、異なる
バージョンのプログラムが干渉することなく、プログラ
ムを変更することが出来る。
【0042】本発明のマルチプロセッサシステムによれ
ば、プログラムの変更のために動作を計画停止させる必
要がなくなる。
【0043】本発明のディスク制御装置の無停止プログ
ラム変更方法によれば、ディスク制御装置の動作を全面
停止させることなく、且つ、異なるバージョンのデータ
転送制御プログラムが干渉することなく、データ転送制
御プログラムを変更することが出来る。
【0044】本発明のディスク制御装置によれば、デー
タ転送制御プログラムの変更のために動作を計画停止さ
せる必要がなくなる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るディスク制御装
置の構成図である。
【図2】クラスタ割当て情報の構成図である。
【図3】実行クラスタ指示情報の構成図である。
【図4】I/Oジョブ実行制御情報の構成図である。
【図5】クラスタ動作モード指示情報の構成図である。
【図6】無停止保守処理(制御プログラム変更処理)の
メインフロー図である。
【図7】クラスタ1の制御プログラム変更処理の詳細フ
ロー図である。
【図8】クラスタ2の制御プログラム変更処理の詳細フ
ロー図である。
【図9】本発明の第2の実施形態に係るディスク制御装
置の構成図である。
【図10】分散処理可能クラスタ組合せ情報の構成図で
ある。
【図11】分散処理可能クラスタ組合せ情報の別の構成
図である。
【図12】分散処理可能クラスタ組合せ情報のさらに別
の構成図である。
【図13】本発明の第3の実施形態に係るディスク制御
装置の構成図である。
【符号の説明】
100,100’ 分散処理可能クラス
タ組合せ情報 200,200’,200” ディスク制御装置 201 バス 211,212,221,222 チャネル側プロセッ
サ 213,214,223,224 ドライブ側プロセッ
サ 215,225 サービスプロセッサ 230 共有メモリ 232 制御メモリ 240 保守端末 500 クラスタ割り当て情
報 600 実行クラスタ指示情
報 800 I/Oジョブ実行制
御情報 700 クラスタ動作モード
指示情報 CC チャネル制御装置 D0,D1 ディスクドライブ

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けし、且つ、自プロセッサが属
    するクラスタと同一クラスタに属するプロセッサ群の間
    でのみジョブの分散処理を行なうクラスタ限定モードと
    全てのプロセッサの間でジョブの分散処理を行なうクラ
    スタ非限定モードとを設け、 通常動作時は、クラスタ非限定モードでジョブを分散処
    理し、 プログラム変更動作時は、まず、クラスタ非限定モード
    でのジョブの処理からクラスタ限定モードでのジョブの
    処理に移行し、移行が完了したら一つのクラスタを選択
    し、非選択クラスタのプロセッサ群でのジョブの処理お
    よび新たなジョブの受け付けを継続しつつ選択クラスタ
    のプロセッサ群での新たなジョブの受け付けを停止し、
    選択クラスタのプロセッサ群で処理されるジョブが無く
    なったら選択クラスタのプロセッサ群の各ローカルメモ
    リに格納されているプログラムを新たなプログラムにそ
    れぞれ変更し、選択クラスタの全てのプロセッサのプロ
    グラムの変更を完了したら選択クラスタのプロセッサ群
    での新たなジョブの受け付けおよびジョブの処理を再開
    し、これを全てのクラスタについて順に繰り返した後、
    クラスタ限定モードでのジョブの処理をクラスタ非限定
    モードでのジョブの処理に戻して通常動作に戻ることを
    特徴とするマルチプロセッサシステムの無停止プログラ
    ム変更方法。
  2. 【請求項2】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けし、且つ、クラスタ群を第1
    組と第2組の2個の集合にグループ分けし、且つ、自プ
    ロセッサが属するクラスタと同一クラスタに属するプロ
    セッサ群の間でのみジョブの分散処理を行なうクラスタ
    限定モードと,自プロセッサが属するクラスタと同一ク
    ラスタに属するプロセッサ群および自プロセッサが属す
    るクラスタが所属する組と同一組に所属するクラスタに
    属するプロセッサ群の間でジョブの分散処理を行なうク
    ラスタ非限定モードとを設け、 通常動作時は、全てのクラスタを第1組または第2組の
    一方に所属させ、クラスタ非限定モードでジョブを分散
    処理し、 プログラム変更動作時は、まず、一つのクラスタを選択
    し、非選択クラスタにおけるクラスタ非限定モードでの
    ジョブの分散処理を継続しつつ選択クラスタにおけるク
    ラスタ非限定モードでのジョブの処理をクラスタ限定モ
    ードでのジョブの処理へと移行し、移行が完了したら選
    択クラスタのプロセッサ群での新たなジョブの受け付け
    を停止し、選択クラスタのプロセッサ群で処理されるジ
    ョブが無くなったら選択クラスタのプロセッサ群の各ロ
    ーカルメモリに格納されているプログラムを新たなプロ
    グラムにそれぞれ変更し、選択クラスタの全てのプロセ
    ッサのプログラムの変更を完了したら選択クラスタのプ
    ロセッサ群での新たなジョブの受け付けおよびジョブの
    処理を再開すると共に、選択クラスタの所属を第1組ま
    たは第2組の一方から他方に変更した上で選択クラスタ
    におけるクラスタ限定モードでのジョブの処理をクラス
    タ非限定モードでのジョブの処理に戻し、これを全ての
    クラスタについて順に繰り返して通常動作に戻ることを
    特徴とするマルチプロセッサシステムの無停止プログラ
    ム変更方法。
  3. 【請求項3】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けするクラスタ割り当て手段
    と、 自プロセッサが属するクラスタと同一クラスタに属する
    プロセッサ群の間でのみジョブの分散処理を行うクラス
    タ限定モードか,全てのプロセッサの間でジョブの分散
    処理を行なうクラスタ非限定モードか,のいずれかで分
    散処理を行うよう制御する分散処理モード制御手段と、 通常動作時は、前記クラスタ非限定モードによりジョブ
    の分散処理を行なわせ、プログラム変更動作時は、ま
    ず、クラスタ非限定モードでのジョブの処理からクラス
    タ限定モードでのジョブの処理に移行させ、移行が完了
    したら一つのクラスタを選択し、非選択クラスタのプロ
    セッサ群でのジョブの処理および新たなジョブの受け付
    けを継続させつつ選択クラスタのプロセッサ群での新た
    なジョブの受け付けを停止させ、選択クラスタのプロセ
    ッサ群で処理されるジョブが無くなったら選択クラスタ
    のプロセッサ群の各ローカルメモリに格納されているプ
    ログラムを新たなプログラムにそれぞれ変更し、選択ク
    ラスタの全てのプロセッサのプログラムの変更を完了し
    たら選択クラスタのプロセッサ群での新たなジョブの受
    け付けおよびジョブの処理を再開させ、これを全てのク
    ラスタについて順に繰り返した後、クラスタ限定モード
    でのジョブの処理をクラスタ非限定モードでのジョブの
    処理に移行させ通常動作に戻らせるプログラム変更処理
    手段とを具備したことを特徴とするマルチプロセッサシ
    ステム。
  4. 【請求項4】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けするクラスタ割り当て手段
    と、 クラスタ群を第1組と第2組の2個の集合にグループ分
    けする分散処理可能クラスタ組合せ手段と、 自プロセッサが属するクラスタと同一クラスタに属する
    プロセッサ群の間でのみジョブの分散処理を行なうクラ
    スタ限定モードか,自プロセッサが属するクラスタと同
    一クラスタに属するプロセッサ群および自プロセッサが
    属するクラスタが所属する組と同一組に所属するクラス
    タに属するプロセッサ群の間でジョブの分散処理を行な
    うクラスタ非限定モードか,のいずれかで分散処理を行
    うよう制御する分散処理モード制御手段と、 通常動作時は、全てのクラスタを第1組または第2組の
    一方に所属させ、クラスタ非限定モードでジョブを分散
    処理させ、プログラム変更動作時は、まず、一つのクラ
    スタを選択し、非選択クラスタにおけるクラスタ非限定
    モードでのジョブの分散処理を継続させつつ選択クラス
    タにおけるクラスタ非限定モードでのジョブの処理をク
    ラスタ限定モードでのジョブの処理へと移行させ、移行
    が完了したら選択クラスタのプロセッサ群での新たなジ
    ョブの受け付けを停止させ、選択クラスタのプロセッサ
    群で処理されるジョブが無くなったら選択クラスタのプ
    ロセッサ群の各ローカルメモリに格納されているプログ
    ラムを新たなプログラムにそれぞれ変更し、選択クラス
    タの全てのプロセッサのプログラムの変更を完了したら
    選択クラスタのプロセッサ群での新たなジョブの受け付
    けおよびジョブの処理を再開させると共に、選択クラス
    タの所属を第1組または第2組の一方から他方に変更さ
    せた上で選択クラスタにおけるクラスタ限定モードでの
    ジョブの処理をクラスタ非限定モードでのジョブの処理
    に移行させ、これを全てのクラスタについて順に繰り返
    して通常動作に戻らせるプログラム変更処理手段とを具
    備したことを特徴とするマルチプロセッサシステム。
  5. 【請求項5】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサを2以上のクラスタにグループ分
    けするために各プロセッサがいずれのクラスタに属して
    いるかを示すクラスタ割当て情報を記憶するクラスタ割
    当て情報記憶手段と、 ローカルメモリに格納したプログラムに従ってプロセッ
    サがジョブの処理を行うノーマル動作モードか,クラス
    タを閉塞するためにプロセッサがジョブの処理を休止す
    る休止モードか,ローカルメモリに格納されたプログラ
    ムを新たなプログラムに変更する保守動作モードか,の
    いずれの動作モードにするかをクラスタ単位で示すクラ
    スタ動作モード指示情報を記憶する動作モード指示情報
    記憶手段と、 自プロセッサが属するクラスタと同じクラスタに属する
    プロセッサとのみジョブの分散処理を行なうクラスタ限
    定モードか,クラスタに拘り無く任意のプロセッサ間で
    ジョブの分散処理を行なうクラスタ非限定モードか,の
    いずれの分散処理モードでジョブを処理するかを示す実
    行クラスタ指示情報を記憶する実行クラスタ指示情報記
    憶手段と、 プログラムの変更開始を指示するプログラム変更開始指
    示手段と、 プログラムの変更開始が指示されたとき、分散処理モー
    ドをクラスタ限定モードに設定し、任意のクラスタを一
    つ選び、そのクラスタの動作モードを休止モードに設定
    し、当該クラスタに属するプロセッサが全て休止状態に
    なった時点で当該クラスタの動作モードを保守動作モー
    ドに設定し、当該クラスタに属する全てのプロセッサの
    ローカルメモリに格納されているプログラムを新たなプ
    ログラムに変更し、これを全クラスタについて繰り返
    し、その完了時点で全てのクラスタの動作モードをノー
    マル動作モードに設定し、分散処理モードをクラスタ非
    限定モードに設定するプログラム変更処理手段と、を具
    備したことを特徴とするマルチプロセッサシステム。
  6. 【請求項6】 複数のプロセッサの各ローカルメモリに
    それぞれプログラムを格納し、各プロセッサが自ローカ
    ルメモリに格納したプログラムをそれぞれ実行してジョ
    ブを処理するマルチプロセッサシステムにおいて、 上記複数のプロセッサを2以上のクラスタにグループ分
    けするために各プロセッサがいずれのクラスタに属して
    いるかを示すクラスタ割当て情報を記憶するクラスタ割
    当て情報記憶手段と、 ローカルメモリに格納したプログラムに従ってプロセッ
    サがジョブの処理を行うノーマル動作モードか,クラス
    タを閉塞するためにプロセッサがジョブの処理を休止す
    る休止モードか,ローカルメモリに格納されたプログラ
    ムを新たなプログラムに変更する保守動作モードか,の
    いずれの動作モードにするかをクラスタ単位で示すクラ
    スタ動作モード指示情報を記憶する動作モード指示情報
    記憶手段と、 自プロセッサが属するクラスタと同じクラスタに属する
    プロセッサとのみジョブの分散処理を行なうクラスタ限
    定モードか,自プロセッサが属するクラスタと同じクラ
    スタに属するプロセッサおよび自プロセッサとの間でジ
    ョブの分散処理が可能な他クラスタのプロセッサでジョ
    ブの分散処理を行なうクラスタ非限定モードか,のいず
    れの分散処理モードでジョブを処理するかを示す実行ク
    ラスタ指示情報を記憶する実行クラスタ指示情報記憶手
    段と、 プログラムの変更開始を指示するプログラム変更開始指
    示手段と、 プログラムの変更開始が指示されたとき、任意のクラス
    タを一つ選び、そのクラスタの分散処理モードをクラス
    タ限定モードに設定し、当該クラスタの動作モードを休
    止モードに設定し、当該クラスタに属するプロセッサが
    全て休止状態になった時点で当該クラスタの動作モード
    を保守動作モードに設定し、当該クラスタに属する全て
    のプロセッサのローカルメモリに格納されているプログ
    ラムを新たなプログラムに変更し、当該クラスタの分散
    処理モードをクラスタ非限定モードに設定し、これを全
    クラスタについて繰り返し、その完了時点で全てのクラ
    スタの動作モードをノーマル動作モードに設定するプロ
    グラム変更処理手段と、を具備したことを特徴とするマ
    ルチプロセッサシステム。
  7. 【請求項7】 複数のプロセッサの各ローカルメモリに
    それぞれデータ転送制御プログラムを格納し、各プロセ
    ッサが自ローカルメモリに格納したデータ転送制御プロ
    グラムをそれぞれ実行してディスクドライブに対するデ
    ータ転送ジョブを処理するディスク制御装置において、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けし、且つ、自プロセッサが属
    するクラスタと同一クラスタに属するプロセッサ群の間
    でのみデータ転送ジョブの分散処理を行なうクラスタ限
    定モードと全てのプロセッサの間でデータ転送ジョブの
    分散処理を行なうクラスタ非限定モードとを設け、 通常動作時は、クラスタ非限定モードでデータ転送ジョ
    ブを分散処理し、 データ転送制御プログラム変更動作時は、まず、クラス
    タ非限定モードでのデータ転送ジョブの処理からクラス
    タ限定モードでのデータ転送ジョブの処理に移行し、移
    行が完了したら一つのクラスタを選択し、非選択クラス
    タのプロセッサ群でのデータ転送ジョブの処理および新
    たなデータ転送ジョブの受け付けを継続しつつ選択クラ
    スタのプロセッサ群での新たなデータ転送ジョブの受け
    付けを停止し、選択クラスタのプロセッサ群で処理され
    るデータ転送ジョブが無くなったら選択クラスタのプロ
    セッサ群の各ローカルメモリに格納されているデータ転
    送制御プログラムを新たなデータ転送制御プログラムに
    それぞれ変更し、選択クラスタの全てのプロセッサのデ
    ータ転送制御プログラムの変更を完了したら選択クラス
    タのプロセッサ群での新たなデータ転送ジョブの受け付
    けおよびデータ転送ジョブの処理を再開し、これを全て
    のクラスタについて順に繰り返した後、クラスタ限定モ
    ードでのデータ転送ジョブの処理をクラスタ非限定モー
    ドでのデータ転送ジョブの処理に戻して通常動作に戻る
    ことを特徴とするディスク制御装置の無停止プログラム
    変更方法。
  8. 【請求項8】 複数のプロセッサの各ローカルメモリに
    それぞれデータ転送制御プログラムを格納し、各プロセ
    ッサが自ローカルメモリに格納したデータ転送制御プロ
    グラムをそれぞれ実行してデータ転送ジョブを処理する
    ディスク制御装置において、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けし、且つ、クラスタ群を第1
    組と第2組の2個の集合にグループ分けし、且つ、自プ
    ロセッサが属するクラスタと同一クラスタに属するプロ
    セッサ群の間でのみデータ転送ジョブの分散処理を行な
    うクラスタ限定モードと,自プロセッサが属するクラス
    タと同一クラスタに属するプロセッサ群および自プロセ
    ッサが属するクラスタが所属する組と同一組に所属する
    クラスタに属するプロセッサ群の間でデータ転送ジョブ
    の分散処理を行なうクラスタ非限定モードとを設け、 通常動作時は、全てのクラスタを第1組または第2組の
    一方に所属させ、クラスタ非限定モードでデータ転送ジ
    ョブを分散処理し、 データ転送制御プログラム変更動作時は、まず、一つの
    クラスタを選択し、非選択クラスタにおけるクラスタ非
    限定モードでのデータ転送ジョブの分散処理を継続しつ
    つ選択クラスタにおけるクラスタ非限定モードでのデー
    タ転送ジョブの処理をクラスタ限定モードでのデータ転
    送ジョブの処理へと移行し、移行が完了したら選択クラ
    スタのプロセッサ群での新たなデータ転送ジョブの受け
    付けを停止し、選択クラスタのプロセッサ群で処理され
    るデータ転送ジョブが無くなったら選択クラスタのプロ
    セッサ群の各ローカルメモリに格納されているデータ転
    送制御プログラムを新たなデータ転送制御プログラムに
    それぞれ変更し、選択クラスタの全てのプロセッサのデ
    ータ転送制御プログラムの変更を完了したら選択クラス
    タのプロセッサ群での新たなデータ転送ジョブの受け付
    けおよびデータ転送ジョブの処理を再開すると共に、選
    択クラスタの所属を第1組または第2組の一方から他方
    に変更した上で選択クラスタにおけるクラスタ限定モー
    ドでのデータ転送ジョブの処理をクラスタ非限定モード
    でのデータ転送ジョブの処理に戻し、これを全てのクラ
    スタについて順に繰り返して通常動作に戻ることを特徴
    とするディスク制御装置の無停止プログラム変更方法。
  9. 【請求項9】 複数のプロセッサの各ローカルメモリに
    それぞれデータ転送制御プログラムを格納し、各プロセ
    ッサが自ローカルメモリに格納したデータ転送制御プロ
    グラムをそれぞれ実行してデータ転送ジョブを処理する
    ディスク制御装置において、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けするクラスタ割り当て手段
    と、 自プロセッサが属するクラスタと同一クラスタに属する
    プロセッサ群の間でのみデータ転送ジョブの分散処理を
    行うクラスタ限定モードか,全てのプロセッサの間でデ
    ータ転送ジョブの分散処理を行なうクラスタ非限定モー
    ドか,のいずれかで分散処理を行うよう制御する分散処
    理モード制御手段と、 通常動作時は、前記クラスタ非限定モードによりデータ
    転送ジョブの分散処理を行なわせ、データ転送制御プロ
    グラム変更動作時は、まず、クラスタ非限定モードでの
    データ転送ジョブの処理からクラスタ限定モードでのデ
    ータ転送ジョブの処理に移行させ、移行が完了したら一
    つのクラスタを選択し、非選択クラスタのプロセッサ群
    でのデータ転送ジョブの処理および新たなデータ転送ジ
    ョブの受け付けを継続させつつ選択クラスタのプロセッ
    サ群での新たなデータ転送ジョブの受け付けを停止さ
    せ、選択クラスタのプロセッサ群で処理されるデータ転
    送ジョブが無くなったら選択クラスタのプロセッサ群の
    各ローカルメモリに格納されているデータ転送制御プロ
    グラムを新たなデータ転送制御プログラムにそれぞれ変
    更し、選択クラスタの全てのプロセッサのデータ転送制
    御プログラムの変更を完了したら選択クラスタのプロセ
    ッサ群での新たなデータ転送ジョブの受け付けおよびデ
    ータ転送ジョブの処理を再開させ、これを全てのクラス
    タについて順に繰り返した後、クラスタ限定モードでの
    データ転送ジョブの処理をクラスタ非限定モードでのデ
    ータ転送ジョブの処理に移行させ通常動作に戻らせるデ
    ータ転送制御プログラム変更処理手段とを具備したこと
    を特徴とするディスク制御装置。
  10. 【請求項10】 複数のプロセッサの各ローカルメモリ
    にそれぞれデータ転送制御プログラムを格納し、各プロ
    セッサが自ローカルメモリに格納したデータ転送制御プ
    ログラムをそれぞれ実行してデータ転送ジョブを処理す
    るディスク制御装置において、 上記複数のプロセッサをクラスタ1からクラスタN(N
    は、2以上で全プロセッサ数以下の自然数)までのN個
    のクラスタにグループ分けするクラスタ割り当て手段
    と、 クラスタ群を第1組と第2組の2個の集合にグループ分
    けする分散処理可能クラスタ組合せ手段と、 自プロセッサが属するクラスタと同一クラスタに属する
    プロセッサ群の間でのみデータ転送ジョブの分散処理を
    行なうクラスタ限定モードか,自プロセッサが属するク
    ラスタと同一クラスタに属するプロセッサ群および自プ
    ロセッサが属するクラスタが所属する組と同一組に所属
    するクラスタに属するプロセッサ群の間でデータ転送ジ
    ョブの分散処理を行なうクラスタ非限定モードか,のい
    ずれかで分散処理を行うよう制御する分散処理モード制
    御手段と、 通常動作時は、全てのクラスタを第1組または第2組の
    一方に所属させ、クラスタ非限定モードでデータ転送ジ
    ョブを分散処理させ、データ転送制御プログラム変更動
    作時は、まず、一つのクラスタを選択し、非選択クラス
    タにおけるクラスタ非限定モードでのデータ転送ジョブ
    の分散処理を継続させつつ選択クラスタにおけるクラス
    タ非限定モードでのデータ転送ジョブの処理をクラスタ
    限定モードでのデータ転送ジョブの処理へと移行させ、
    移行が完了したら選択クラスタのプロセッサ群での新た
    なデータ転送ジョブの受け付けを停止させ、選択クラス
    タのプロセッサ群で処理されるデータ転送ジョブが無く
    なったら選択クラスタのプロセッサ群の各ローカルメモ
    リに格納されているデータ転送制御プログラムを新たな
    データ転送制御プログラムにそれぞれ変更し、選択クラ
    スタの全てのプロセッサのデータ転送制御プログラムの
    変更を完了したら選択クラスタのプロセッサ群での新た
    なデータ転送ジョブの受け付けおよびデータ転送ジョブ
    の処理を再開させると共に、選択クラスタの所属を第1
    組または第2組の一方から他方に変更させた上で選択ク
    ラスタにおけるクラスタ限定モードでのデータ転送ジョ
    ブの処理をクラスタ非限定モードでのデータ転送ジョブ
    の処理に移行させ、これを全てのクラスタについて順に
    繰り返して通常動作に戻らせるデータ転送制御プログラ
    ム変更処理手段とを具備したことを特徴とするディスク
    制御装置。
  11. 【請求項11】 複数のプロセッサの各ローカルメモリ
    にそれぞれデータ転送制御プログラムを格納し、各プロ
    セッサが自ローカルメモリに格納したデータ転送制御プ
    ログラムをそれぞれ実行してデータ転送ジョブを処理す
    るディスク制御装置において、 上記複数のプロセッサを2以上のクラスタにグループ分
    けするために各プロセッサがいずれのクラスタに属して
    いるかを示すクラスタ割当て情報を記憶するクラスタ割
    当て情報記憶手段と、 ローカルメモリに格納したデータ転送制御プログラムに
    従ってプロセッサがデータ転送ジョブの処理を行うノー
    マル動作モードか,クラスタを閉塞するためにプロセッ
    サがデータ転送ジョブの処理を休止する休止モードか,
    ローカルメモリに格納されたデータ転送制御プログラム
    を新たなデータ転送制御プログラムに変更する保守動作
    モードか,のいずれの動作モードにするかをクラスタ単
    位で示すクラスタ動作モード指示情報を記憶する動作モ
    ード指示情報記憶手段と、 自プロセッサが属するクラスタと同じクラスタに属する
    プロセッサとのみデータ転送ジョブの分散処理を行なう
    クラスタ限定モードか,クラスタに拘り無く任意のプロ
    セッサ間でデータ転送ジョブの分散処理を行なうクラス
    タ非限定モードか,のいずれの分散処理モードでデータ
    転送ジョブを処理するかを示す実行クラスタ指示情報を
    記憶する実行クラスタ指示情報記憶手段と、 データ転送制御プログラムの変更開始を指示するデータ
    転送制御プログラム変更開始指示手段と、 データ転送制御プログラムの変更開始が指示されたと
    き、分散処理モードをクラスタ限定モードに設定し、任
    意のクラスタを一つ選び、そのクラスタの動作モードを
    休止モードに設定し、当該クラスタに属するプロセッサ
    が全て休止状態になった時点で当該クラスタの動作モー
    ドを保守動作モードに設定し、当該クラスタに属する全
    てのプロセッサのローカルメモリに格納されているデー
    タ転送制御プログラムを新たなデータ転送制御プログラ
    ムに変更し、これを全クラスタについて繰り返し、その
    完了時点で全てのクラスタの動作モードをノーマル動作
    モードに設定し、分散処理モードをクラスタ非限定モー
    ドに設定するデータ転送制御プログラム変更処理手段
    と、を具備したことを特徴とするディスク制御装置。
  12. 【請求項12】 複数のプロセッサの各ローカルメモリ
    にそれぞれデータ転送制御プログラムを格納し、各プロ
    セッサが自ローカルメモリに格納したデータ転送制御プ
    ログラムをそれぞれ実行してデータ転送ジョブを処理す
    るディスク制御装置において、 上記複数のプロセッサを2以上のクラスタにグループ分
    けするために各プロセッサがいずれのクラスタに属して
    いるかを示すクラスタ割当て情報を記憶するクラスタ割
    当て情報記憶手段と、 ローカルメモリに格納したデータ転送制御プログラムに
    従ってプロセッサがデータ転送ジョブの処理を行うノー
    マル動作モードか,クラスタを閉塞するためにプロセッ
    サがデータ転送ジョブの処理を休止する休止モードか,
    ローカルメモリに格納されたデータ転送制御プログラム
    を新たなデータ転送制御プログラムに変更する保守動作
    モードか,のいずれの動作モードにするかをクラスタ単
    位で示すクラスタ動作モード指示情報を記憶する動作モ
    ード指示情報記憶手段と、 自プロセッサが属するクラスタと同じクラスタに属する
    プロセッサとのみデータ転送ジョブの分散処理を行なう
    クラスタ限定モードか,自プロセッサが属するクラスタ
    と同じクラスタに属するプロセッサおよび自プロセッサ
    との間でデータ転送ジョブの分散処理が可能な他クラス
    タのプロセッサでデータ転送ジョブの分散処理を行なう
    クラスタ非限定モードか,のいずれの分散処理モードで
    データ転送ジョブを処理するかを示す実行クラスタ指示
    情報を記憶する実行クラスタ指示情報記憶手段と、 データ転送制御プログラムの変更開始を指示するデータ
    転送制御プログラム変更開始指示手段と、 データ転送制御プログラムの変更開始が指示されたと
    き、任意のクラスタを一つ選び、そのクラスタの分散処
    理モードをクラスタ限定モードに設定し、当該クラスタ
    の動作モードを休止モードに設定し、当該クラスタに属
    するプロセッサが全て休止状態になった時点で当該クラ
    スタの動作モードを保守動作モードに設定し、当該クラ
    スタに属する全てのプロセッサのローカルメモリに格納
    されているデータ転送制御プログラムを新たなデータ転
    送制御プログラムに変更し、当該クラスタの分散処理モ
    ードをクラスタ非限定モードに設定し、これを全クラス
    タについて繰り返し、その完了時点で全てのクラスタの
    動作モードをノーマル動作モードに設定するデータ転送
    制御プログラム変更処理手段と、を具備したことを特徴
    とするディスク制御装置。
JP2000213646A 2000-07-14 2000-07-14 マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置 Withdrawn JP2001067239A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000213646A JP2001067239A (ja) 2000-07-14 2000-07-14 マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000213646A JP2001067239A (ja) 2000-07-14 2000-07-14 マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP09970594A Division JP3160149B2 (ja) 1994-05-13 1994-05-13 ディスク制御装置の無停止プログラム変更方法およびディスク制御装置

Publications (1)

Publication Number Publication Date
JP2001067239A true JP2001067239A (ja) 2001-03-16

Family

ID=18709362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000213646A Withdrawn JP2001067239A (ja) 2000-07-14 2000-07-14 マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置

Country Status (1)

Country Link
JP (1) JP2001067239A (ja)

Similar Documents

Publication Publication Date Title
JP3160149B2 (ja) ディスク制御装置の無停止プログラム変更方法およびディスク制御装置
US7127557B2 (en) RAID apparatus and logical device expansion method thereof
JP4219602B2 (ja) 記憶制御装置および記憶制御装置の制御方法
US7096336B2 (en) Information processing system and management device
JP4341897B2 (ja) 記憶装置システム及びデータ複製方法
US7856526B2 (en) Storage apparatus and power-saving control method of storage apparatus
US7089386B2 (en) Method for controlling storage device controller, storage device controller, and program
JP2005501333A (ja) プロセッサに譲渡するためのシステム
JP2005122640A (ja) サーバシステム及びi/oスロット共有方法。
JP2010097533A (ja) パーティションで区切られた計算機システムにおけるアプリケーション移動及び消費電力の最適化
JP2007108981A (ja) ストレージ装置及びボリューム間のデータ交換方法
JP2000181773A (ja) 記憶装置システム
US9268650B2 (en) Storage device, controller, and non-transitory computer-readable recording medium for backing up data without lowering I/O capabilities
JP2010055369A (ja) ストレージシステム、論理記憶領域割り当て方法及び計算機システム
JP3617631B2 (ja) ストレージ制御装置及びその制御方法
JP2002132554A (ja) データベースアクセス方法
JP4719801B2 (ja) デバイス管理装置、デバイス初期化方法、デバイス初期化プログラムおよびデバイスシステム
JP2014010540A (ja) 仮想サーバ環境のデータ移行制御装置、方法、システム
JP2007286975A (ja) 計算機システム及びストレージシステム並びにボリューム割り当て方法
JP3385407B2 (ja) マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステム
CN102576294A (zh) 含有多个存储装置的存储系统、方法及程序
JP2001229042A (ja) ディスク制御装置
US5918243A (en) Computer mechanism for reducing DASD arm contention during parallel processing
JP2001067239A (ja) マルチプロセッサシステムの無停止プログラム変更方法およびマルチプロセッサシステムおよびディスク制御装置の無停止プログラム変更方法およびディスク制御装置
JP2008192020A (ja) Raid制御装置及びその制御方法

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20040416