WO2006001051A1

WO2006001051A1 - マルチプロセッサ装置及びその制御方法

Info

Publication number: WO2006001051A1
Application number: PCT/JP2004/008874
Authority: WO
Inventors: Daitarou Furuta
Original assignee: Fujitsu Limited
Priority date: 2004-06-24
Filing date: 2004-06-24
Publication date: 2006-01-05
Also published as: JPWO2006001051A1; US20070098022A1

Abstract

　マルチプロセッサ装置は、バスを介して複数のプロセッサ、ブートプログラムを格納した共有記憶領域、及び読出要求に対し実時間情報を通知する実時間通知部を接続する。実時間取得部は、各プロセッサに設けられ、パワーオンによる起動直後に動作して時間通知制御部から実時間情報を取得して共有記憶領域上のプロセッサテーブルに登録する。起動制御部は、各プロセッサに設けられ、自己の実時間情報を登録した後にプロセッサテーブルに登録している他プロセッサの実時間情報を参照し、自己の実時間が最も早い場合に優先処理権を取得し、ブートプログラムを読み出してブート処理を実行させ、ブート処理を終了した時点で前記プロセッサテーブルから自己の実時間情報を削除する。

Description

明細書

マルチプロセッサ装置及びその制御方法

技術分野

[0001] 本発明は、システムのパワーオン時にバス接続している共通記憶領域力複数のプロセッサがブートプログラムを取得して同時に起動するマルチプロセッサ装置及びその制御方法に関し、特に、共通記憶領域からのブートプログラムを取得して実行する起動処理の優先順位をタイムスタンプを利用して決定するマルチプロセッサ装置及びその制御方法に関する。

背景技術

[0002] 従来、複数のプロセッサ及び共通記憶領域をバスに接続したマルチプロセッサ装置にあっては、外部の管理サーバからの指示によりシステムをパワーオンした場合、共通記憶領域に格納されているブートプログラムを各プロセッサが取得して起動するようにしている。

[0003] このためシステムのパワーオンにより複数のプロセッサからの共通記憶領域への同時ライトが発生し、不安定アクセスが発生する。そこで何れ力 4つのプロセッサをィニシエータとして動作させる必要があり、従来はセマフォ制御等を用いて競合を回避し、複数のプロセッサを順番に起動している。

特許文献 1：特開平 4 - 284550号公報

特許文献 2：特開平 2 - 156366号公報

発明の開示

発明が解決しょうとする課題

[0004] ところで、近年にあっては、複数のプロセッサと共通記憶領域をバス接続したマルチプロセッサ装置でサーバ装置を構築し、このようなサーバ装置を物理的に離れた複数地点に設置し、異なる地点のサーバ装置の間には地点間共通記憶領域を設けて相互に必要な資源のやり取りを可能としたシステムが構築されている。

[0005] このような複数地点にサーバ装置を分散配置したシステムにあっては、管理サーバ等による外部からの指示でシステムにパワーオンを指示し、各サーバ装置に設けてレ、る複数のプロセッサを同時に又は異なる時刻に起動するようにしている。

[0006] し力しながら、従来のセマフォ制御等による共有記憶領域のアクセス競合の回避は、限られた範囲のプロセッサ、例えばボードに搭載されたプロセッサのみしか指定することができず、バス接続しているプロセッサや他地点に設置しているサーバ装置によるプロセッサ群で共通記憶領域のブートプログラムを使用して起動する場合には、イニシエータを決定することができない問題があった。

[0007] 本発明は、バス接続されたプロセッサ群、更には他地点に分散配置されたプロセッサ群のうちの 1つをイニシエータとして決定して複数のプロセッサを優先順位に従つて順次起動可能なマルチプロセッサ装置及びその制御方法を提供することを目的とする。

課題を解決するための手段

[0008] 本発明は、マルチプロセッサ装置を提供する。本発明のマルチプロセッサ装置は、バスを介して接続された複数のプロセッサと、バスに接続され、各プロセッサで使用されるブートプログラムを格納した共有記憶領域と、読出要求に対し実時間情報を通知する実時間通知部と、各プロセッサに設けられ、パワーオンによる起動直後に動作して時間通知制御部から実時間情報を取得して共通記憶領域上のプロセッサテーブルに登録する実時間取得部と、各プロセッサに設けられ、自己の実時間情報を登録した後にプロセッサテーブルに登録している他プロセッサの実時間情報を参照し、自己の実時間が最も早い場合に優先処理権を取得し、ブートプログラムを読み出してブート処理を実行させ、ブート処理を終了した時点でプロセッサテーブルから自己の実時間情報を削除する起動制御部とを備えたことを特徴とする。

[0009] ここで実時間通知部は、外部から受信した世界標準時間情報 (グローバル時間情報）に基づいて実時間情報を生成する。また実時間通知部は、実時間情報としてタイムスタンプを生成し、実時間取得部は、プロセッサテーブルに取得したタイムスタンプを登録すると共に自プロセッサのステータスとしてィネーブルを登録し、起動制御部は、プロセッサテーブル力他のプロセッサのタイムスタンプとステータスを取得し、他プロセッサのステータスがディセーブルの場合は、タイムスタンプを比較することなく自己のタイムスタンプが早いと判断し、他プロセッサのステータスがイネ一ブルの場合はタイムスタンプを比較して早いか否か判断する。

[0010] 実時間取得部は、実時間通知部から実時間情報をバス上に読み出すフェッチ動作に続いてプロセッサテーブルにバス上の時間情報を書き込むライト動作を連続して実行するハードウェア回路である。

[0011] 実時間通知部は、記実時間取得部によるフェッチ動作とライト動作の連続実行時間以下の周期のクロックを計数してタイムスタンプを生成するカウンタを備える。この実時間取得部によるフェッチ動作とライト動作の連続実行時間は、バスの最短リードアクセス時間である。

[0012] 時間通知部は、予め設定された起動時刻に達した際に一定時間幅の時間窓を生成し、実時間取得部及び起動制御部は前記時間窓の時間帯にのみ動作して特定のプロセッサに優先処理権を取得させて順次起動させる。

[0013] 時間通知部は、バスの最短リードアクセス時間以下の周期をもつクロックを計数してタイムスタンプを生成するカウンタを有し、時間窓の開始時刻でカウンタをリセットして有効なタイムスタンプの計数を開始させる。

[0014] 本発明のマルチプロセッサ装置は、複数のプロセッサ、共通記憶領域、時間通知部および起動制御部を別の場所に設置された少なくとも 2台のコンピュータ装置の各々に設けており、各コンピュータ装置は、リモート操作で設定された異なる起動時刻に到達する毎に一定時間幅の時間窓を各々生成し、時間窓の時間帯に各コンビュータ装置の実時間取得部及び起動制御部を動作して特定のプロセッサに優先処理権を取得させて順次起動させることにより、各コンピュータ装置を起動時刻順に起動させることを特徴とする。

[0015] ここで、早い起動時刻が設定されたコンピュータ装置の最初に処理優先権を取得したプロセッサの起動制御部は、ブート処理が終了した時点で遅い起動時刻が設定されたコンピュータ装置の共通記憶領域を初期化して自己が使用したブートプログラムをリモートコピーする。

[0016] 本発明は、マルチプロセッサ装置の制御方法を提供する。即ち、本発明は、バスを介して接続された共通記憶領域に格納されているブートプログラムを使用して複数のプロセッサを順次起動させるマルチプロセッサ装置の制御方法に於いて、各プロセッサからの読出要求に対し実時間情報を通知する実時間通知ステップと、パワーオンによる起動直後に動作し、各プロセッサが実時間通知部から取得した実時間情報を共通記憶領域上のプロセッサテーブルに登録する実時間取得ステップとあるプロセッサが自己の実時間情報を登録した後にプロセッサテーブルに登録してレ、る他プロセッサの実時間情報を参照し、自己の実時間が最も早い場合に優先処理権を取得し、ブートプログラムを読み出してブート処理を実行させ、ブート処理を終了した時点でプロセッサテーブルから自己の実時間情報を削除する起動制御ステップと、

を備えたことを特徴とする。

[0017] なお、本発明によるマルチプロセッサ装置の制御方法の詳細は、マルチプロセッサ装置の場合と基本的に同じになる。

発明の効果

[0018] 本発明によれば、システムのパワーオンにより複数のプロセッサの起動直後に実時間情報としてのタイムスタンプを取得し、最も早レ、タイムスタンプを取得したプロセッサに最優先処理権を設定してイニシエータとして決定し、イニシエータとなったプロセッサが最初に共有記憶領域からブートプログラムを取得し、ブート処理の実行で起動するようになり、イニシエータの決定がタイムスタンプを利用することで単純にできる。

[0019] またプロセッサによる実時間通知部からのタイムスタンプの取得 (フェッチ）と共有記憶領域のプロセッサテーブルへの登録 (ライト）を連続動作として例えばハードウェア回路の実時間フェッチ ·アンド ·ライト動作として実行し、実時間フェッチ ·アンド ·ライト動作の実行時間をタイムスタンプを計数するカウンタの周期以下のクロック（最短バススロック周期以下のクロック）で実行することで、同じタイムスタンプの値を複数のプロセッサが取得してしまうことを防止し、タイムスタンプの比較により 1台のプロセッサのみに最優先処理権を設定できる。

[0020] また他地点に設置されるサーバ装置の各々に設けた複数のプロセッサによりプロセッサグループ (プロセッサ群）を構成した場合、各プロセッサグループに異なる時間窓を設定し、時間窓の時間帯においてのみタイムスタンプを有効して最優先処理権の設定による起動処理を実行させることで、複数箇所のプロセッサグノレープによってプ口セッサがどんなに増えても、システムをパワーオンした最にイニシエータとなるプロセッサを 1台決定して起動処理を実行できる。また時間窓の開始時刻を異ならせておくことで、他地点に分かれたプロセッサグループに対して順位を付けた起動処理ができる。

図面の簡単な説明

[0021] [図 1]本発明のシステム構成を機能構成と共に示したブロック図；

[図 2]図 1のプロセッサ、共有メモリ及び実時間通知部を取り出して示したブロック図； [図 3]共有メモリに格納されているプロセッサテーブルの説明図；

[図 4]2台のサーバによるプロセッサ群に対する時間窓の設定とタイムスタンプの有効カウント処理のタイムチャート；

[図 5]プロセッサの実時間取得部によるタイムスタンプの取得登録処理のタイムチヤ一 h ;

[図 6]2台のプロセッサを例にとった本発明による起動制御処理のタイムチャート； [図 7]図 7に続く本発明による起動制御処理のタイムチャート；

[図 8]本発明による実時間通知処理のフローチャート；

[図 9]本発明による起動制御処理のフローチャート；

発明を実施するための最良の形態

[0022] 図 1は、本発明によるマルチプロセッサ装置のシステム構成を機能構成と共に示したブロック図である。図 1において、本発明のマルチプロセッサ装置は、この実施形態にあってはサーバ 10とサーバ 12を設置しており、サーバ 10の設置地点に対し、サーバ 12は異なった設置地点に設けている。サーバ 10には n台のプロセッサ 14 1 , 1 4-2, 14-nが設けられる。

[0023] プロセッサ 14-1一 14 nに対しては、バス 20を介して共有記憶領域として機能する共有メモリ 16を接続し、更に実時間通知部 18を設けている。一方、サーバ 12にあつては、 n台のプロセッサ 24— 1 , 24-2, · · · 24— nを有し、プロセッサ 24— 1— 24— n に対し、バス 30を介して共有メモリ 26及び実時間通知部 28を接続している。

[0024] サーバ 10のバス 20とサーバ 12のバス 30の間にはシステム共有メモリ 22が接続され、システム共有メモリ 22を経由してサーバ 10とサーバ 12の間で情報をやり取りできるようにしてレ、る。サーバ 10の実時間通知部 18はグローバル時間送信局 32からのグローバル時間情報を受信し、プロセッサ 14-1一 14 nからの読出し要求に対し、実時間としてのタイムスタンプ情報を通知する。

[0025] 共有メモリ 16には、プロセッサ 14—1一 14一 nの起動制御、即ちブート処理に使用されるブートプログラム 44が格納されている。また共有メモリ 16には、実時間通知部 18 力プロセッサ 14—1一 14一 nがそれぞれ取得したタイムスタンプを登録するプロセッサテーブル 46が設けられている。プロセッサ 14—1一 14_nのそれぞれには、実時間取得部 40_1， 40—2, · ' ·40— n及び起動制御部 42— 1 , 42— 2， ' · ·42— nの機能が設けられている。

[0026] 実時間取得部 40— 1 40— nは、管理サーバ 34によるネットワーク 36を経由したリモート操作によるシステムのパワーオン指示を受けて起動した直後、又はリモート設定した起動時刻到達時の時間窓生成時に動作し、実時間通知部 18から実時間情報としてタイムスタンプを取得し、共有メモリ 16上のプロセッサテーブル 46に登録する。

[0027] なおプロセッサテーブル 46にはプロセッサ 14—1一 14 nのステータスとして、起動状態にあれば「イネ一ブル」が同時に登録され、起動していなければ「ディセーブル」が登録されることになる。起動制御部 42-1— 42— nは、実時間通知部 18から取得した自己の実時間情報としてのタイムスタンプをプロセッサテーブル 46に登録した後に、プロセッサテーブル 46に登録している他のプロセッサのタイムスタンプを参照し、自己のタイムスタンプが最も早レ、場合に優先処理権を取得し、優先処理権の取得に基づき共有メモリ 16のブートプログラム 44を読み出してブート処理を実行することで起動し、ブート処理を終了した時点でプロセッサテーブル 46から自己のタイムスタンプを削除すると共にステータスをディセーブルとする処理を実行する。

[0028] このようなサーバ 10における実時間通知部 18、プロセッサ 14—1一 14一 nに設けてレ、る実時間取得部 40-1 40-n及び起動制御部 42-1— 42-nの機能は、別地点に設置されているサーバ 12の実時間通知部 28、プロセッサ 24— 1一 24— nに設けてレ、る実時間取得部 50—1 50— n及び起動制御部 52—1— 52— nについても同じである。

[0029] サーバ 10及びサーバ 12に設けている実時間通知部 18, 28による実時間情報としてのタイムスタンプは、管理サーバ 34によるリモート操作で設定された起動開始時刻から一定時間に亘る時間窓の時間帯においてのみ有効となる。この実施形態にあつては、管理サーバ 34はリモート操作によりサーバ 10、 12の実時間通知部 18、 28に対し異なる起動時刻 tl， t2から例えば 1時間に亘る時間枠を設定しているものとする

[0030] このようなサーバ 10, 12のそれぞれ対し異なる起動時刻 tl， t2を設定していた場合には、管理サーバ 34からのリモート操作によるサーバ 10及びサーバ 12に対するパワーオン指示によりシステムが動作した状態で、実時間通知部 18, 28はそれぞれ設定された起動時刻 tl , t2に到達するまで、グローバル時間送信局 32からのグロ一バル時間の受信に基づくタイムスタンプの値を無効化しており、サーバ 10， 12はシステムとしてはパワーオン状態にあっても、実時間通知部 18からのタイムスタンプの取得に基づくブートプログラム 44の実行によるブート処理が行われないことから起動待ちの状態となっている。

[0031] そして実時間通知部 18において起動時刻 tlへの到達が判別されると、起動時刻 t 1から例えば 1時間の間、グローバル時間送信局 32からのグローバル時間の受信に基づくタイムスタンプのカウント動作が有効となり、このときプロセッサ 14—1一 14一 n の読出し要求に対し有効に実時間情報としてのタイムスタンプが取得されてプロセッサテーブル 46に登録され、プロセッサテーブル 46において最も早い時間となるタイムスタンプを持ったプロセッサに優先処理権が設定されて、ブートプログラム 44の取得によるブート処理で最初に優先処理権を取得したプロセッサがイニシエータとして起動することになる。

[0032] サーバ 10において、最初に優先処理権を取得したプロセッサが例えばプロセッサ 1 4—1であったとすると、プロセッサ 14— 1は共有メモリ 16力もブートプログラム 44を読み取ってブート処理を実行することで起動した後に、遅い起動時刻 t2が設定されてレ、るサーバ 12の共有メモリ 26におけるブートプログラムの格納領域を初期化した後に、プロセッサ 14—1で実行したブートプログラム 44のコピーをリモートコピーによりサーバ 12の共有メモリ 26にブートプログラム 54として格納する。

[0033] このリモートコピーによるサーバ 12のブートプログラム 54の格納によりサーバ 10の起動時刻 tl後の起動時刻 t2に時間窓を生成して動作するサーバ 12にあっては、先に動作したサーバ 10のイニシエータとしてのプロセッサ 14— 1による制御のもとで実質的に起動制御を行うことになる。

[0034] 図 2は、図 1のサーバ 10側に設けているプロセッサ 14—1、共有メモリ 16及び実時間通知部 18を取り出して、その機能構成を示したブロック図である。図 2において、プロセッサ 14— 1は、 CPU60、 RAM62、 BI〇S (Bacic Input/Output System ) 64、バスインターフェース 66で構成されており、更に本発明における実時間取得部 70として機能するハードウェア回路としてタイムフェッチ 'ライト回路 68を設けている。

[0035] また BIOS64には、本発明における起動制御部 72としての機能が設けられている。

バス 20を介して接続した実時間通知部 18は、実時間受信装置 74、時間窓生成装置 76及びステータスレジスタ 78を備えている。実時間受信装置 74は図 1のグローバル時間送信局 32からの信号を受信し、実時間情報をグローバル時間に同期して出力する。

[0036] 時間窓生成装置 76は、図 1の管理サーバ 34などのリモート操作により起動時刻 tl が設定され、実時間受信部 74で受信したグローバル時間が、設定された起動時刻 t 1に達すると、一定時間に亘る時間窓を生成し、この時間窓の生成時間に亘りプロセッサ 14-1の実時間取得部 70からのアクセスで取得可能な有効タイムスタンプを生成する。

[0037] ステータスレジスタ 78には、図 1の管理サーバ 34によるシステムのパワーオン指示や起動開始時刻などの情報が保存される。

[0038] 図 3は、図 2の共有メモリ 16に格納されているプロセッサテーブル 46の説明図である。図 3において、プロセッサテーブル 46は、共有メモリ 16におけるボトムアドレスを起点としたアドレス βに管理サーバ 34からのリモート操作で設定された起動時刻となる時間窓開始時刻 80を記憶している。

[0039] 続いてアドレスひ力もプロセッサ 14— 1一 14_ηごとに登録タイムスタンプ情報 82— 1

, 82-2, · ' · 82-ηを記憶している。登録タイムスタンプ情報 82— 1 82_ηは、登録スタンプ情報 82—1につレ、て右側に取り出して示すように、ステータス 84とタイムスタンプ値 86で構成されてレ、る。

[0040] 初期状態においてステータス 84は「ディセーブル」であり、またタイムスタンプ値 86 は初期値「99 : 99 : 99 : 99」が格納されている。そしてサーバ 12における時間窓開始時刻 80から一定時間に亘る時間窓の生成で取得されたタイムスタンプの値がタイムスタンプ値 86に格納され、同時にステータス 84が「イネ一ブル」に書き換えられる。

[0041] 図 4は、図 1の 2台のサーバによる 2つのプロセッサ群に対する時間窓の設定とタイムスタンプの有効カウント処理のタイムチャートである。図 4 (A)は 1日 24時間の時間軸であり、この例では時刻「00 : 00」に管理サーバ 34からパワーオン 88の指示が行われ、サーバ 10に対し時間窓開始時刻 tlが設定され、サーバ 12には時間窓開始時刻 t3が設定される。

[0042] ここでサーバ 10の時間窓開始時刻 tlは例えば tl =09 : 00であり、サーバ 12の時間窓開始時刻 t2は t2 = 01 : 00である。パワーオン 88により動作状態となったサーバ 10, 12にあっては、グローバル時間による現在時刻が時間窓開始時刻 tlまたは t2 に到達したか否かチェックしており、時間窓開始時刻 tlに達するとタイムスタンプ有効 90とする処理を開始し、一定時間 T1に亘り時間窓 92を生成する。この時間窓 92 にあっては、時間窓開始時刻 tlにおいて、図 4 (B)に示すタイムスタンプを計数するカウンタのタイムスタンプ値 Xをリセットして 0とし、図 4 (C)のクロックを用いたカウントにより有効タイムスタンプ 98を生成する。

[0043] 有効タイムスタンプ 98を計数する図 4 (C)のクロック周期 T3は、図 2に示した例えばプロセッサ 14-1のタイムフェッチ 'ライト回路 68が実時間通知部 18にタイムスタンプのリード要求を行って取得した後に、共有メモリ 16のプロセッサテーブル 46にライトする 1回のタイムフェッチ ·アンド ·ライト動作時間であり、レ、わゆるリードアクセスサイクル換算クロックとしてタイムスタンプの計数を行っている。

[0044] このリードアクセスサイクル換算クロックとなるクロック周期 T3は、具体的にはバス 20 の最短リードアクセス時間以下のクロック周期とする。このようなクロック周期 T3によりタイムスタンプ値の計数を行うことで、同時に複数のプロセッサから実時間通知部 18 に対しタイムスタンプのリードアクセスが行われたとしても、必ず 1台のプロセッサのみが有効にタイムスタンプを取得してプロセッサテーブル 46に登録することとなり、異なるプロセッサに同じタイムスタンプが登録されてしまうことを防いでいる。

[0045] 時間窓 92による一定時間 T1が過ぎると、カウンタはクリアされ、いわゆるフリーラン状態となる。このためサーバ 10のプロセッサ 14—1一 14一 nにあっては、時間窓 92の時間帯 T1においてのみタイムスタンプの取得に基づく優先処理権に基づく起動処理を行うことができる。

[0046] 一方、サーバ 14のプロセッサ 24—1— 24_nについては、時間窓開始時刻 t2 = 01

: 00に達したときに発生する一定時間 T2の時間窓 96の時間帯においてのみ、サーバ 10の時間窓 92の場合と同様、図 4 (B)のようにカウンタによるタイムスタンプ値が有効となり、プロセッサ 24—1— 24_nによるタイムスタンプ値の取得に基づき、最も早レ、タイムスタンプ値を持つプロセッサをイニシエータとして処理優先権を設定し、サーバ 10のイニシエータによるリモートコピーで共有メモリ 26に格納されているブートプログラム 54を読み出して実行することで、起動制御を順次行うことになる。

[0047] 図 5は、図 4のサーバ 10の時間窓 92において最初に行われる例えばプロセッサ 14 -1の実時間取得部 40-1によるタイムスタンプの取得登録処理のタイムチャートである。図 5 (A)はシステムクロック 101であり、図 5 (E)に示すタイムスタンプを計数するカウンタのクロックであるリードアクセスサイクル換算クロック 100の 8分の 1の周期を持つたクロックである。

[0048] 図 5 (B)はバス 20のアクセスサイクルであり、図 2に示したタイムフェッチ.ライト回路

68が時刻 tlでアドレス 102をバス 20に出力し、続いて時刻 tl 3から時刻 tl5のタイミングで CPU60のステータスを示す CPUィネーブル 104をバス 20に読み出し、更に時刻 tl 5から時刻 tl9に亘り実時間取得部 70よりタイムスタンプを読み出すタイムスタンプアクセス 106が行われる。

[0049] この図 5 (B)のバスアクセスサイクルに対応して、図 5 (C)のメモリリードィネーブルが出力される。メモリリードィネーブルは、時刻 tl4一 tl 5のリードィネーブル 108による CPUィネーブル 104の読出しと、時刻 tl6 tl7のリードィネーブル 110による実時間通知部 18からのタイムスタンプアクセス 106の読出しと力 2回連続して行われる。 [0050] 更に図 5 (D)は共有メモリ 16のプロセッサテーブル 46に対するメモリライトイネーブルであり、時刻 tl8から tl 9のタイミングでライトイネーブル 112が出力され、このときバス 20上に出力されている CPUィネーブル 104及びタイムスタンプアクセス 106のそれぞれの値が、図 3に示したプロセッサテーブル 46における登録タイムスタンプ情報 82—1の中のステータス 84とタイムスタンプ値 86に書き込まれる。

[0051] この図 5 (A) （D)のタイムチャートのように、図 2に示したプロセッサ 14—1の実時間取得部 70として動作するタイムフェッチ 'ライト回路 68にあっては、ハードウェアによりタイムスタンプに対するフェッチ ·アンド ·ライト動作を連続して実行することになる

[0052] タイムスタンプのフェッチ.アンド'ライト動作の実行時間、即ち図 5 (E)のリードァクセスサイクル換算クロックは、図 4に示したように時間窓 92における図 4 (B)のタイムスタンプ値のカウントクロックとして使用しており、この結果、複数のプロセッサ 14—1一 1 4_nによるタイムスタンプの同時取得が行われたとしても、 1回のタイムスタンプのァクセスで必ず特定の 1台のプロセッサに対してのみ、そのときのタイムスタンプの値を取得してプロセッサテーブル 46に登録することができる。

[0053] このためィネーブル状態となった複数のプロセッサがタイムスタンプを取得してプロセッサテーブル 46に登録した状態で、必ずあるプロセッサのタイムスタンプの値が最も早い値を示すこととなり、タイムスタンプの値が最も早いプロセッサに対し処理優先権を設定して、ブートプログラムのロードによるブート処理の実行でプロセッサの起動が実行できる。

[0054] 図 6及び図 7は、 2台のプロセッサ 14一 1 , 14_2を例に取った起動制御処理を、共有メモリ 16及び実時間通知部 18の処理と共に示したタイムチャートである。図 6及び図 7において、プロセッサ 14— 1 , 14-2,共有メモリ 16及び実時間通知部 18は、ステップ S1 ,ステップ S101、ステップ S201及びステップ S301のそれぞれに示すように、管理サーバ 34からのリモート操作によりパワーオン指示を受けて、電源投入により例えばそれぞれがパワーオン後のセルフテストなどを経て、ハードウェアコンポーネントが初期化された状態となっている。

[0055] この状態でサーバ 12が時間窓開始時刻に達すると、タイムスタンプの通知機能が有効状態となり、これを受けてプロセッサ 14一 1, 14-2はパワーオンによる起動直後と同様にして、ステップ S2, S102のそれぞれで実時間通知部 18に対しタイムスタンプを要求する。

[0056] ここでプロセッサ 14—1のステップ S2によるタイムスタンプの要求が先に行われたとすると、実時間通知部 18はステップ S302でプロセッサ 14—1に対しそのとき生成してレ、るタイムスタンプの値「00 : 00 : 00 : 00 :」を応答し、これを受けてプロセッサ 14— 1 は、ステップ S3で共有メモリ 16のプロセッサテーブル 46の自己の割当位置に取得したタイムスタンプの値を登録し、且つステータスを「イネ一ブル」とする。

[0057] このステップ S2， S3の処理は連続処理として実行される。続いてプロセッサ 14—1 にあっては、ステップ S4でハードウェアコンポーネントの初期化を行った後、ステップ S5で起動制御部 42-1を起動する。

[0058] 一方、プロセッサ 14一 2にあっては、プロセッサ 14—1に時間的に遅れてステップ S1 02でタイムスタンプ要求を行い、実時間通知部 18からステップ S303でタイムスタンプの値「00 : 00 : 07 : 00」の応答を受けて、ステップ S103でプロセッサテーブル 46の該当位置にタイムスタンプの値及びステータスを登録し、ステップ S104でハードゥエァコンポーネント初期化を終了した後、ステップ S105で起動制御部 42-2の動作を開始する。

[0059] このようにプロセッサ 14-1が先にタイムスタンプを取得し、その後にプロセッサ 14- 2がタイムスタンプを取得している状況にあっては、プロセッサ 14—1がステップ S6で共有メモリ 16に対し登録タイムスタンプを要求して、ステップ S202で登録タイムスタンプの応答を受けると、そのとき登録されている自分のタイムスタンプと別のプロセッサ 14— 2のタイムスタンプをステップ S7で比較し、これによつて自分のタイムスタンプが最新であることが判別され、プロセッサ 14一 1が優先処理権を取得する。

[0060] このため、ステップ S8でプロセッサ 14—1は共有メモリ 16に対しブートプログラムのロードを要求し、ステップ S204でブートプログラムの読出し応答が行われ、ステップ S 9でプロセッサ 14—1のブート処理が最初に実行される。

[0061] そしてステップ S9のブート処理が終了すると、ステップ S10で共有メモリ 16に対し登録タイムスタンプのクリアとステータスのディセーブルへの書き換えを指示する。一方、プロセッサ 14一 2にあっては、ステップ S106で共有メモリ 16に対しタイムスタンプを要求して、ステップ S203から登録タイムスタンプの応答を受けた場合、ステップ S1 07におけるタイムスタンプの比較で自分のタイムスタンプに対しプロセッサ 14_1のタィムスタンプの方が早いため、優先処理権を取得することができず、一定サイクルで登録タイムスタンプの要求と比較判別を繰り返すことになる。

[0062] そしてステップ S108で、プロセッサ 104が自己のタイムスタンプのクリアを行った後のタイムスタンプ要求に対しステップ S205の登録タイムスタンプの応答を受け、ステップ S108でタイムスタンプを比較すると、自分のタイムスタンプが最新であることからプロセッサ 14—2が優先処理権を取得し、ステップ S110で共有メモリ 16にブートプログラム要求を行い、ステップ S206のブートプログラムの読出し応答、及びステップ S1 11でブート処理を実行する。

[0063] そしてステップ S12で、ブート処理の終了に伴レ、、共有メモリ 16に対し自己の登録タイムスタンプのクリアとステータスのディセーブルへの書き換えを要求する。このようにしてプロセッサ 14-1と 14-2は、それぞれが実時間通知部 18から取得したタイムスタンプの順番に従ってブート処理を実行して順次起動するようになる。

[0064] ここでプロセッサ 14_1のステップ S9におけるブート処理は、共有メモリ 16の最初の物理セクタをマスタブートセクタとして読み取り、このマスタブートセクタのイメージを R AM62にロードする。その後、 BIOS64は RAM62のマスタブートセクタのイメージに処理を渡す。 RAM62に展開したマスタブートセクタレコードには、共有メモリ 16におけるブートプログラム 44のアドレス位置を示すテーブルと実行可能コードが含まれ、この実行可能コードは共有メモリ 16を調べてブートプログラム 44の格納位置を識別する。

[0065] これによりマスタブートレコードはブートプログラム 44の開始位置を見つけ、その最初のセクタのイメージ即ちブートセクタを RAM62にロードする。その後、 RAM62のマスタブートレコードはブートプログラム 44の先頭位置のブートセクタイメージに処理を渡し、プロセッサ 14—1で実行する OSを RAM62に展開し、更にアプリケーションプログラムを展開して起動処理を終了する。

[0066] 図 8は、本発明のプロセッサに設けている実時間通知部による処理動作を示したフロローーチチャャーートトででああるる。。図図 88ににおおいいてて、、スステテッッププ SS11でで管管理理ササーーババ 3344のの指指示示にに基基づづきき時時間間窓窓開開始始時時刻刻をを設設定定しし、、スステテッッププ SS 22ででググロロ一一ババルル時時間間のの受受信信にに基基づづきき時時間間窓窓開開始始時時刻刻にに到到達達ししたたかか否否かかチチェェッッククししてていいるる。。

[0067] スステテッッププ SS22でで時時間間窓窓開開始始時時刻刻へへのの到到達達がが判判別別さされれるるとと、、スステテッッププ SS33ででタタイイムムススタタンンププをを計計数数すするるカカウウンンタタををリリセセッットトししててカカウウンントトをを開開始始しし、、ここれれにによよつつてて時時間間窓窓のの生生成成時時間間にに亘亘りりタタイイムムススタタンンププのの値値がが有有効効にに生生成成さされれるる。。続続いいててスステテッッププ SS44ででタタイイムムススタタンンププ取取得得要要求求ががああれればば、、スステテッッププ SS55ででタタイイムムススタタンンププ値値をを応応答答すするる。。

[0068] スステテッッププ SS66でで時時間間窓窓開開始始時時刻刻かからら予予めめ定定めめたた一一定定時時間間をを経経過過すするるとと、、スステテッッププ SS77 にに進進みみ、、タタイイムムススタタンンププののカカウウンンタタををリリセセッットトししててフフリリーーラランン状状態態ととしし、、タタイイムムススタタンンププをを無無効効化化すするる。。

[0069] 図図 99はは、、本本発発明明ののププロロセセッッササにに設設けけてていいるる起起動動制制御御部部にによよるる起起動動制制御御処処理理ののフフロローーチチャャーートトででああるる。。図図 99ににおおいいてて、、時時間間窓窓開開始始時時刻刻のの到到達達にに伴伴うう起起動動制制御御部部のの動動作作直直後後にに、、スステテッッププ SS11でで実実時時間間通通知知部部ににアアククセセススししてて、、そそののととききののタタイイムムススタタンンププをを取取得得しし、、スステテッッププ SS22でで共共有有メメモモリリ 1166ののププロロセセッッササテテーーブブルル 4466のの自自領領域域ににタタイイムムススタタンンププをを取取得得しし、、スステテーータタススををイイネネ一一ブブルルににセセッットトすするる。。

[0070] 続続いいててスステテッッププ SS33でで、、共共有有メメモモリリ 1166ののププロロセセッッササテテーーブブルル 4466をを参参照照ししてて他他ののププロロセセッッササのの登登録録タタイイムムススタタンンププ及及びびスステテーータタススをを取取得得すするる。。続続いいててスステテッッププ SS44でで、、比比較較すするるたためめにに取取得得ししたた他他ののププロロセセッッササののスステテーータタススははデディィセセーーブブルルかか否否かかチチェェッッククすするる。。

[0071] デディィセセーーブブルルででななけけれればば即即ちちイイネネ一一ブブルルででああれればば、、タタイイムムススタタンンププはは有有効効にに登登録録さされれててレレヽヽるるこことと力力らら、、スステテッッププ SS55にに進進みみ、、自自分分ののププロロセセッッササとと他他ののププロロセセッッササののタタイイムムススタタンンププをを比比較較しし、、自自ププロロセセッッササののタタイイムムススタタンンププがが最最もも早早いいかか否否かかチチェェッッククすするる。。自自ププ口口セセッッササののタタイイムムススタタンンププがが最最もも早早けけれればば、、スステテッッププ SS66にに進進みみ、、未未取取得得ののププロロセセッッササががああれればば再再びびスステテッッププ SS33にに戻戻っってて、、同同様様にに他他ののププロロセセッッササののタタイイムムススタタンンププをを取取得得ししてて比比較較すするる。。

[0072] ななおおスステテッッププ SS44でで比比較較すするるププロロセセッッササののスステテーータタススががデディィセセーーブブルルででああっったた場場合合ににはは、、タタイイムムススタタンンププのの登登録録はは有有効効にに行行わわれれてていいなないいここととかからら、、スステテッッププ SS55ののタタイイムムススタタ

[0073] スステテッッププ SS66でで未未取取得得ののププロロセセッッササががななくくななれればば、、スステテッッププ SS77にに進進みみ、、自自ププロロセセッッササが優先処理権を取得したものとし、ステップ S8で共有メモリからブートプログラムを読み込んでブート処理を実行する。続いてステップ S9で図 1のサーバ 10から見てリモートのサーバ 12が存在するか否かチェックする。

[0074] リモートサーバが存在すればステップ S10に進み、リモートサーバの共有メモリを初期化して自己のブートプログラムをコピーする。例えばサーバ 10の場合には、サーバ 12の共有メモリ 26のブートプログラム格納領域を初期化した後に、例えば最初に処理優先権を取得してブート処理を実行した例えばプロセッサ 14—1の RAMにロードしているブートプログラムを共有メモリ 26にリモートコピーする。

[0075] ステップ S9でリモートサーバがなければ、ステップ S10はスキップする。最終的にステツプ S11でプロセッサテーブル 46の自領域のタイムスタンプを初期化した後、ステ一タスをディセーブル状態にリセットする。

[0076] なお上記の実施形態は、図 1のように 2地点に分けて複数のプロセッサを有する 2 台のサーバを設けた場合を例に取るものであった力 S、サーバ 10のみのシステム構成でもよく、更に 2台以上の 3台、 4台というサーバを他地点に設けた場合についてもそのまま適用できる。

[0077] また上記の実施形態にあっては、プロセッサが実時間通知部から取得したタイムスタンプ及び自己のステータスを登録するプロセッサテーブル 46を共有メモリに設けている力プロセッサテーブルを設ける位置は共有メモリに限定されず、レジスタ、テーブルなど適宜の共有記憶領域を利用することができる。

[0078] また上記の実施形態にあっては、実時間取得部として機能するハードウェアとしてタイムフェッチ 'ライト回路 68をプロセッサに設けた場合を例に取るものであるが、実時間のタイムフェッチ ·アンド'ライト命令を実行するプログラムによるソフトウェア処理であってもよいことはもちろんである。

[0079] また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

Claims

請求の範囲

[1] バスを介して接続された複数のプロセッサと、

前記バスに接続され、前記各プロセッサで使用されるブートプログラムを格納した共有記憶領域と、

読出要求に対し実時間情報を通知する実時間通知部と、

前記各プロセッサに設けられ、パワーオンによる起動直後に動作して前記時間通知制御部から実時間情報を取得して前記共有記憶領域上のプロセッサテーブルに登録する実時間取得部と、

前記各プロセッサに設けられ、自己の実時間情報を登録した後に前記プロセッサテーブルに登録している他プロセッサの実時間情報を参照し、自己の実時間が最も早い場合に優先処理権を取得し、前記ブートプログラムを読み出してブート処理を実行させ、ブート処理を終了した時点で前記プロセッサテーブルから自己の実時間情報を削除する起動制御部と、

を備えたことを特徴とするマルチプロセッサ装置。

[2] 請求の範囲 1のマルチプロセッサ装置に於いて、

前記実時間通知部は、外部から受信した世界標準時間情報 (グローバル時間情報 )に基づレ、て実時間情報を生成することを特徴とするマルチプロセッサ装置。

[3] 請求の範囲 1のマルチプロセッサ装置に於いて、

前記実時間通知部は、実時間情報としてタイムスタンプを生成し、

前記実時間取得部は、前記プロセッサテーブルに取得したタイムスタンプを登録すると共に自プロセッサのステータスとしてィネーブルを登録し、

前記起動制御部は、前記プロセッサテーブルから他のプロセッサのタイムスタンプとステータスを取得し、他プロセッサのステータスがディセーブルの場合は、タイムスタンプを比較することなく自己のタイムスタンプが早いと判断し、他プロセッサのステ一タスがイネ一ブルの場合はタイムスタンプを比較して早いか否か判断することを特徴とするマルチプロセッサ装置。

[4] 請求の範囲 1のマルチプロセッサ装置に於いて、前記実時間取得部は、前記実時間通知部から実時間情報を前記バス上に読み出すフェッチ動作に続いて前記プロセッサテーブルに前記バス上の時間情報を書き込むライト動作を連続して実行するハードウェア回路であることを特徴とするマルチプロセッサ装置。

[5] 請求の範囲 4のマルチプロセッサ装置に於いて、前記実時間通知部は、前記実時間取得部によるフェッチ動作とライト動作の連続実行時間以下の周期のクロックを計数してタイムスタンプを生成するカウンタを備えたことを特徴とするマルチプロセッサ装置。

[6] 請求の範囲 5のマルチプロセッサ装置に於いて、前記実時間取得部によるフェッチ動作とライト動作の連続実行時間は、前記バスの最短リードアクセス時間であることを特徴とするマルチプロセッサ装置。

[7] 請求の範囲 1のマルチプロセッサ装置に於いて、前記時間通知部は、予め設定された起動時刻に達した際に一定時間幅の時間窓を生成し、前記実時間取得部及び前記起動制御部は前記時間窓の時間帯にのみ動作して特定のプロセッサに優先処理権を取得させて順次起動させることを特徴とするマルチプロセッサ装置。

[8] 請求の範囲 7のマルチプロセッサ装置に於いて、前記時間通知部は、前記バスの最短リードアクセス時間以下の周期をもつクロックを計数してタイムスタンプを生成するカウンタを有し、前記時間窓の開始時刻で前記カウンタをリセットして有効なタイムスタンプの計数を開始させることを特徴とするマルチプロセッサ装置。

[9] 請求の範囲 1のマルチプロセッサ装置に於いて、

前記複数のプロセッサ、共有記憶領域、前記時間通知部および起動制御部は、別の場所に設置された少なくとも 2台のコンピュータ装置の各々に設けられており、前記各コンピュータ装置は、リモート操作で設定された異なる起動時刻に到達する毎に一定時間幅の時間窓を各々生成し、前記時間窓の時間帯に各コンピュータ装置の前記実時間取得部及び起動制御部を動作して特定のプロセッサに優先処理権を取得させて順次起動させることにより、各コンピュータ装置を前記起動時刻順に起動させることを特徴とするマルチプロセッサ装置。

[10] 請求の範囲 9のマルチプロセッサ装置に於いて、早い起動時刻が設定されたコンビユータ装置の最初に処理優先権を取得したプロセッサの起動制御部は、ブート処理が終了した時点で遅い起動時刻が設定されたコンピュータ装置の共有記憶領域を初期化して自己が使用したブートプログラムをリモートコピーすることを特徴とするマルチプロセッサ装置。

[11] バスを介して接続された共有記憶領域に格納されているブートプログラムを使用して複数のプロセッサを順次起動させるマルチプロセッサ装置の制御方法に於いて、前記各プロセッサからの読出要求に対し実時間情報を通知する実時間通知ステツプと、

パワーオンによる起動直後に動作し、各プロセッサが実時間通知部から取得した実時間情報を前記共有記憶領域上のプロセッサテーブルに登録する実時間取得ステップと、

あるプロセッサが自己の実時間情報を登録した後に前記プロセッサテーブルに登録している他プロセッサの実時間情報を参照し、自己の実時間が最も早い場合に優先処理権を取得し、前記ブートプログラムを読み出してブート処理を実行させ、ブート処理を終了した時点で前記プロセッサテーブルから自己の実時間情報を削除する起動制御ステップと、

を備えたことを特徴とするマルチプロセッサ装置の制御方法。

[12] 請求の範囲 11のマルチプロセッサ装置の制御方法に於いて、前記実時間通知ステツプは、外部から受信した世界標準時間情報 (グローバル時間情報）に基づいて実時間情報を生成することを特徴とするマルチプロセッサ装置の制御方法。

[13] 請求の範囲 11のマルチプロセッサ装置の制御方法に於いて、

前記実時間取得ステップは、前記プロセッサテーブルに前記時間通知部から実時間情報として取得したタイムスタンプを登録すると共に自プロセッサのステータスとしてィネーブルを登録し、

前記起動制御ステップは、前記プロセッサテーブルから他のプロセッサのタイムスタンプとステータスを取得し、他プロセッサのステータスがディセーブルの場合は、タイムスタンプを比較することなく自己のタイムスタンプが早いと判断し、他プロセッサのステータスがイネ一ブルの場合はタイムスタンプを比較して早いか否か判断することを特徴とするマルチプロセッサ装置の制御方法。

[14] 請求の範囲 11のマルチプロセッサ装置の制御方法に於いて、前記実時間取得ステツプは、前記実時間通知部から実時間情報を前記バス上に読み出すフェッチ動作に続いて前記プロセッサテーブルに前記バス上の時間情報を書き込むライト動作を連続して実行することを特徴とするマルチプロセッサ装置の制御方法。

[15] 請求の範囲 14のマルチプロセッサ装置の制御方法に於いて、前記実時間通知ステツプは、前記実時間取得ステップによるフェッチ動作とライト動作の連続実行時間以下の周期のクロックを計数してタイムスタンプを生成するカウンタを備えたことを特徴とするマルチプロセッサ装置の制御方法。

[16] 請求の範囲 15のマルチプロセッサ装置の制御方法に於いて、前記実時間取得ステツプによるフェッチ動作とライト動作の連続実行時間は、前記バスの最短リードァクセス時間であることを特徴とするマルチプロセッサ装置の制御方法。

[17] 請求の範囲 11のマルチプロセッサ装置の制御方法に於いて、前記時間通知ステツプは、予め設定された起動時刻に達した際に一定時間幅の時間窓を生成し、前記実時間取得ステップ及び前記起動制御ステップは前記時間窓の時間帯に動作して特定のプロセッサに優先処理権を取得させて順次起動させることを特徴とするマルチプロセッサ装置の制御方法。

[18] 請求の範囲 17のマルチプロセッサ装置の制御方法に於いて、前記時間通知ステツプは、前記バスの最短リードアクセス時間以下の周期をもつクロックを計数してタイムスタンプを生成するカウンタを有し、前記時間窓の開始時刻で前記カウンタをリセットして有効なタイムスタンプの計数を開始させることを特徴とするマルチプロセッサ装置の制御方法。

[19] 請求の範囲 11のマルチプロセッサ装置の制御方法に於いて、

前記複数のプロセッサ、共有記憶領域、前記時間通知部および起動制御部は、別の場所に設置された少なくとも 2台のコンピュータ装置の各々に設けられており、前記各コンピュータ装置は、リモート操作で設定された異なる起動時刻に到達する毎に一定時間幅の時間窓を各々生成し、前記時間窓の時間帯に各コンピュータ装置の前記実時間取得部ステップび起動制御ステップを実行して特定のプロセッサに優先処理権を取得させて順次起動させることにより、各コンピュータ装置を前記起動時刻順に起動させることを特徴とするマルチプロセッサ装置の制御方法。請求の範囲 19のマルチプロセッサ装置の制御方法に於いて、早い起動時刻が設定されたコンピュータ装置の最初に処理優先権を取得したプロセッサの起動制御部は、ブート処理が終了した時点で遅い起動時刻が設定されたコンピュータ装置の共有記憶領域を初期化して自己が使用したブートプログラムをリモートコピーすることを特徴とするマルチプロセッサ装置の制御方法。