JP2000163389A - Inter-system communication system and inter-system communication control method - Google Patents
Inter-system communication system and inter-system communication control methodInfo
- Publication number
- JP2000163389A JP2000163389A JP10349319A JP34931998A JP2000163389A JP 2000163389 A JP2000163389 A JP 2000163389A JP 10349319 A JP10349319 A JP 10349319A JP 34931998 A JP34931998 A JP 34931998A JP 2000163389 A JP2000163389 A JP 2000163389A
- Authority
- JP
- Japan
- Prior art keywords
- inter
- system communication
- cluster
- clusters
- extended storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Multi Processors (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、系間通信技術に関
し、特に、多クラスタ間で拡張記憶装置（共有メモリ）
を使用してクラスタ間の系間通信を実行するシステム及
び系間通信制御方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an inter-system communication technology, and more particularly, to an extended storage device (shared memory) between multiple clusters.
The present invention relates to a system for executing inter-system communication between clusters by using a method and an inter-system communication control method.
【０００２】[0002]
【従来の技術】オンライン・システムの普及に伴い、与
えられた処理をより早くより多く処理したいという要
求、すなわち、高応答性と高スループット性に対するニ
ーズがますます大きくなっている近年、単一のプロセッ
サによりこのニーズを満足することはもはや限界に達し
てきており、複数個のプロセッサにより並列に処理を実
行するシステムが、既に続々と登場している。並列処理
システムは、プロセッサ間の情報伝達方法の違いによ
り、マルチコンピュータシステムとマルチプロセッサシ
ステムに分類することができる。マルチコンピュータシ
ステムでは、伝達したい情報をプロセッサからプロセッ
サへネットワークを介して直接に通信する。これに対し
て、マルチプロセッサシステムでは、共有の記憶領域を
設け、この記憶領域を介して間接的に情報を伝達する。
後者は前者に比べて多くの情報を共有することができる
が、全てのプロセッサが共有記憶領域を実用的な時間内
でアクセスできなければならないという制約のため、プ
ロセッサの個数，プロセッサと共有記憶領域との距離な
どはある範囲内に限定される。2. Description of the Related Art With the spread of online systems, there has been a growing demand for faster processing of a given process, that is, a need for high responsiveness and high throughput. Satisfying this need with processors is reaching its limits, and systems that perform processing in parallel with multiple processors are already appearing one after another. Parallel processing systems can be classified into multi-computer systems and multi-processor systems, depending on the difference in information transmission methods between processors. In a multi-computer system, information to be transmitted is directly communicated from processor to processor via a network. On the other hand, in a multiprocessor system, a shared storage area is provided, and information is indirectly transmitted via this storage area.
The latter can share more information than the former, but because of the restriction that all processors must be able to access the shared storage area within a practical time, the number of processors, the processor and the shared storage area Is limited to a certain range.
【０００３】一方、マルチプロセッサシステムの進展に
対応して、マルチプロセッサを用いたプロセッサ間通信
技術に代表されるクラスタ間通信技術が急速に進展して
いる。多クラスタと拡張記憶装置ＥＭＵで構成されたシ
ステムにおいてクラスタ間で拡張記憶装置ＥＭＵを介し
て通信データをやりとりする系間通信方式の開発も盛ん
に進められている。このような従来技術としては、例え
ば、特開平５−１４３５５４号公報に記載のものがあ
る。すなわち、従来技術は複数個のプロセッサ、共有の
記憶領域、プロセッサ間あるいはプロセッサと共有記憶
領域との間を結ぶネットワークにより構成されるマルチ
プロセッサシステムであって、各プロセッサが他のプロ
セッサに対して処理要求を受け渡すための要求バッファ
をプロセッサ毎に設け、各プロセッサは自分の要求バッ
ファを監視して処理要求が存在する場合にのみ共有領域
をアクセスし、この処理の実行権を獲得して実行を開始
するマルチプロセッサシステム制御方式である。従来技
術は、プロセッサ毎に予め処理要求を受け渡すべきプロ
セッサ群を決めておき、各プロセッサは自分の処理の実
行中あるいは実行終了時に、所定のプロセッサ群の要求
バッファに対して処理要求を送信する。また、各プロセ
ッサは実行中あるいは実行すべき処理の内容に従って処
理要求を受け渡すべきプロセッサ群を決め、自分の処理
の実行中あるいは実行終了時に、所定のプロセッサ群の
要求バッファに対して処理要求を送信する。また、他の
プロセッサからの処理要求を受け取ったプロセッサは、
共有記憶領域をアクセスして予め定められた手順で処理
の実行権獲得処理を行い、その結果、実行権を獲得でき
た場合には処理の実行を開始し、他のプロセッサに実行
権を先に獲得された場合には要求バッファ内に記憶され
た処理の要求を削除して別の処理要求の発生を監視する
ことが記載されている。On the other hand, in response to the progress of multiprocessor systems, intercluster communication technology represented by interprocessor communication technology using multiprocessors is rapidly developing. In a system composed of multiple clusters and an extended storage device EMU, the development of an inter-system communication method for exchanging communication data between the clusters via the extended storage device EMU has been actively pursued. As such a conventional technique, for example, there is a technique described in Japanese Patent Application Laid-Open No. 5-143554. That is, the prior art is a multiprocessor system composed of a plurality of processors, a shared storage area, and a network connecting between the processors or between the processor and the shared storage area. A request buffer for passing a request is provided for each processor, and each processor monitors its own request buffer and accesses the shared area only when there is a processing request, acquires the execution right of this processing, and executes the processing. This is the multiprocessor system control method to be started. In the related art, a processor group to which a processing request is to be delivered is determined in advance for each processor, and each processor transmits a processing request to a request buffer of a predetermined processor group during or at the end of execution of its own processing. . Further, each processor determines a processor group to which a processing request is to be delivered according to the content of the processing being executed or to be executed, and sends a processing request to a request buffer of a predetermined processor group during execution of its own processing or at the end of execution. Send. In addition, the processor that has received the processing request from another processor,
The shared storage area is accessed to perform the execution right acquisition process according to a predetermined procedure. As a result, if the execution right can be acquired, the execution of the process is started, and the execution right is first given to another processor. It is described that when acquired, the processing request stored in the request buffer is deleted to monitor the occurrence of another processing request.
【０００４】またこのような従来技術では、各プロセッ
サが他のプロセッサに対して処理要求を受け渡すための
記憶領域（これを要求バッファとよぶ）をプロセッサ毎
に設ける。そして、各プロセッサの処理要求送信手段
は、処理終了時に処理要求を受け渡すべきプロセッサ群
を決定し、プロセッサ群の要求バッファに対して処理要
求を送信する。また、各プロセッサの処理要求監視手段
は自分の要求バッファを監視し、他のプロセッサからの
処理要求が到着した場合にのみ共有領域をアクセスす
る。そして、この処理の実行権を獲得した後に実行を開
始することが記載されている。In such a conventional technique, a storage area for each processor to transfer a processing request to another processor (this is called a request buffer) is provided for each processor. Then, the processing request transmitting means of each processor determines a processor group to which the processing request is to be delivered at the time of completion of the processing, and transmits the processing request to the request buffer of the processor group. The processing request monitoring means of each processor monitors its own request buffer, and accesses the shared area only when a processing request from another processor arrives. The document describes that the execution is started after the execution right of the process is acquired.
【０００５】これにより、マルチプロセッサシステムに
おいてプロセッサのアイドル状態時の共有記憶領域への
アクセス頻度を低減できる。このため、共有記憶領域の
アクセス競合に伴う、プロセッサの処理実行時のアクセ
ス待ち時間を短縮できる。その結果、システムのスルー
プットと応答性能が向上することが記載されている。[0005] Thus, in a multiprocessor system, the frequency of access to the shared storage area when the processor is idle can be reduced. Therefore, it is possible to reduce the access waiting time when the processor executes the processing due to the access conflict of the shared storage area. As a result, it is described that the throughput and the response performance of the system are improved.
【０００６】図８は、従来技術のシステム構成の概略を
示している。図８に示すようなクラスタＣ−１から発行
された系間通信処理では、アダプタＡ−１を介して信号
線１−ａを経由して拡張記憶装置ＥＭＵへ系間通信割り
込み（送信側）を行い、データ線２−ａを経由して各ク
ラスタ対応の通信データ格納バッファＢＦ０へ格納す
る。アダプタＡ−１からの系間通信割り込み要因を受け
付けた拡張記憶装置ＥＭＵ内ではビジー判定回路ＢＣＣ
にビジーフラグをセットする。ビジーフラグをセットさ
れた拡張記憶装置ＥＭＵは、アダプタＡ−２（受信側の
クラスタ）に対して系間通信割り込み要求（受信側）を
行う。FIG. 8 shows an outline of a system configuration according to the prior art. In the inter-system communication process issued from the cluster C-1 as shown in FIG. 8, an inter-system communication interrupt (transmission side) is sent to the extended storage device EMU via the signal line 1-a via the adapter A-1. Then, the data is stored in the communication data storage buffer BF0 corresponding to each cluster via the data line 2-a. In the extended storage unit EMU that has accepted the inter-system communication interrupt factor from the adapter A-1, the busy determination circuit BCC
Set the busy flag to. The extended storage device EMU in which the busy flag is set issues an inter-system communication interrupt request (reception side) to the adapter A-2 (reception side cluster).
【０００７】アダプタＡ−２でシステム動作判定フラグ
Ｄ２がセットされているケースでは、系間通信割り込み
要求をアダプタＡ−２に対して送出し、アダプタＡ−２
においてシステム動作判定フラグがリセットされ、送信
側クラスタからの系間通信割り込み要因を受信したこと
で拡張記憶装置ＥＭＵ内のビジー判定回路ＢＣＣのビジ
ーフラグがリセットされ、これにより、拡張記憶装置Ｅ
ＭＵ内のビジー判定回路ＢＣＣが他クラスタ間の系間通
信割り込み要因を受け付けることが可能となる。When the system operation determination flag D2 is set in the adapter A-2, an inter-system communication interrupt request is sent to the adapter A-2, and the adapter A-2
, The system operation determination flag is reset, and the busy flag of the busy determination circuit BCC in the extended storage device EMU is reset by receiving the inter-system communication interrupt factor from the transmission side cluster.
The busy determination circuit BCC in the MU can receive an inter-system communication interrupt factor between other clusters.
【０００８】一方、アダプタＡ−２（受信側）は送信側
クラスタからの系間通信割り込み要因を受信すると、拡
張記憶装置ＥＭＵ内の送信側クラスタＣ−１対応の通信
データ格納バッファＢＦ０から、通信データをデータ線
２−ｂを経由して読み出し、受信側クラスタＣ−２へ引
き渡す。送信側クラスタＣ−１の発行した系間通信通信
データの引き渡しを確認した受信側アダプタＡー２は、
拡張記憶装置ＥＭＵに対して受信側クラスタＣ−２にお
ける通信データ受け取り成功に関する系間通信割り込み
要因（受信側クラスタからの）を拡張記憶装置ＥＭＵに
送信する。On the other hand, when the adapter A-2 (reception side) receives the inter-system communication interrupt factor from the transmission side cluster, the adapter A-2 transmits the communication data from the communication data storage buffer BF0 corresponding to the transmission side cluster C-1 in the extended storage unit EMU. The data is read out via the data line 2-b and delivered to the receiving side cluster C-2. The receiving-side adapter A-2 that has confirmed the transfer of the inter-system communication communication data issued by the transmitting-side cluster C-1,
An inter-system communication interrupt factor (from the receiving-side cluster) relating to successful reception of communication data in the receiving-side cluster C-2 is transmitted to the extended-storage device EMU.
【０００９】拡張記憶装置ＥＭＵ内では、送信側クラス
タＣ−１が生成した系間通信成功の系間通信割り込み要
求（受信側クラスタからの）を受信側アダプタＡ−２か
ら受け付け、ビジー判定回路ＢＣＣにビジーフラグをセ
ットする。In the extended storage unit EMU, an inter-system communication interrupt request (from the receiving-side cluster) generated by the transmitting-side cluster C-1 for successful inter-system communication is received from the receiving-side adapter A-2, and the busy determination circuit BCC is received. Set the busy flag to.
【００１０】これ以降、受信側クラスタＣ−２は送信側
クラスタＣ−１からの系間通信割り込み要求及び通信デ
ータを受け取って、系間通信成功の系間通信割り込み要
因を拡張記憶装置ＥＭＵに対して発行した時点から、ク
ラスタＣ−２は送信側クラスタＣ−２、アダプタＡ−２
は送信側アダプタＡ−２、クラスタＣ１は受信側クラス
タＣ−１、アダプタＡ−１は受信側アダプタＡ−１とし
て機能する点に注意して以下の説明を行う。Thereafter, the receiving-side cluster C-2 receives the inter-system communication interrupt request and the communication data from the transmitting-side cluster C-1, and notifies the extended storage device EMU of the inter-system communication interrupt cause of the inter-system communication success. From the point of issuance, the cluster C-2 is the sender cluster C-2 and the adapter A-2.
The following description will be made while paying attention to that the function as the transmitting side adapter A-2, the cluster C1 as the receiving side cluster C-1, and the adapter A-1 as the receiving side adapter A-1.
【００１１】ビジーフラグをセットした拡張記憶装置Ｅ
ＭＵは、受信側アダプタＡ−１に対して信号線１−ａを
経由して送信側クラスタＣ−２からの系間通信割り込み
要因を送出する。受信側アダプタＡ−１でシステム動作
判定フラグＤ１がセットされているケースでは、系間通
信割り込み要求をアダプタＡ−１に対して送出し、アダ
プタＡ−１においてシステム動作判定フラグＤ１がリセ
ットされ送信側クラスタからの系間通信割り込み要因を
受信したことで、拡張記憶装置ＥＭＵ内のビジー判定回
路ＢＣＣのビジーフラグがリセットされる。これによ
り、拡張記憶装置ＥＭＵ内のビジー判定回路ＢＣＣは、
他クラスタ間の系間通信割り込み要因を受け付けること
が可能となる。Extended storage device E with the busy flag set
The MU sends an inter-system communication interrupt factor from the transmission side cluster C-2 to the reception side adapter A-1 via the signal line 1-a. When the system operation determination flag D1 is set in the receiving adapter A-1, an inter-system communication interrupt request is sent to the adapter A-1, and the system operation determination flag D1 is reset and transmitted in the adapter A-1. Upon receiving the inter-system communication interrupt factor from the side cluster, the busy flag of the busy determination circuit BCC in the extended storage device EMU is reset. Accordingly, the busy determination circuit BCC in the extended storage device EMU
It is possible to receive an inter-system communication interrupt factor between other clusters.
【００１２】次に受信側アダプタＡ−１は送信側クラス
タＣ−２からの系間通信割り込み要因を受け取ると、ク
ラスタＣ−１、クラスタＣ−２間の系間通信処理が成功
したことをクラスタＣ−１に対して報告を行い系間通信
処理を終了する。Next, upon receiving the inter-system communication interrupt factor from the transmitting cluster C-2, the receiving adapter A-1 determines that the inter-system communication processing between the clusters C-1 and C-2 has succeeded. A report is made to C-1 and the inter-system communication processing ends.
【００１３】[0013]
【発明が解決しようとする課題】しかしながら、従来技
術は、各クラスタＣ−１，…，Ｃ−ｎに付随したアダプ
タＡ−１，Ａ−２…Ａ−ｎ内に系間通信割り込み要因を
スタックする（換言すれば、拡張記憶装置ＥＭＵ内のビ
ジー判定回路ＢＣＣのセット信号をリセットする）スタ
ックエントリを有していないため、対系間通信のクラス
タＣ−１，Ｃ−２でアダプタＡ−１，Ａ−２のシステム
動作判定フラグＤ１，Ｄ２がセットされているケースで
は、拡張記憶措置内のビジー判定回路ＢＣＣのビジーフ
ラグがセットされた状態が、系間通信のクラスタ上で系
間通信以外の処理が終了するまで継続されてしまい、そ
の結果、他クラスタからの系間通信が待たされてしまう
という問題点があった。However, the prior art stacks inter-system communication interrupt factors in adapters A-1, A-2,... An associated with each of the clusters C-1,. (In other words, resetting the set signal of the busy determination circuit BCC in the extended storage unit EMU) does not have a stack entry, so that the adapters A-1 are used in the clusters C-1 and C-2 for communication between systems. , A-2, the system operation determination flags D1 and D2 are set, the state in which the busy flag of the busy determination circuit BCC in the extended storage unit is set indicates that the system communication other than the inter-system communication on the inter-system communication cluster. The process is continued until the process ends, and as a result, there is a problem that inter-system communication from another cluster is waited.
【００１４】本発明は斯かる問題点を鑑みてなされたも
のであり、その目的とするところは、各クラスタに付随
したアダプタ内に系間通信割り込み要因をスタックする
スタックエントリを設けることで、拡張記憶装置ＥＭＵ
内のビジー判定回路ＢＣＣのビジーフラグセット状態を
短縮しクラスタ間の系間通信処理を高速に制御すること
ができる系間通信システム及び系間通信制御方法を提供
する点にある。The present invention has been made in view of such a problem, and an object of the present invention is to provide an extension by providing a stack entry for stacking inter-system communication interrupt factors in an adapter associated with each cluster. Storage device EMU
Another object of the present invention is to provide an inter-system communication system and an inter-system communication control method capable of shortening a busy flag setting state of a busy determination circuit BCC within the system and controlling inter-system communication processing between clusters at high speed.
【００１５】[0015]
【課題を解決するための手段】本発明の請求項１に記載
の要旨は、多クラスタ間での系間通信を実行する系間通
信システムであって、各クラスタの系間通信割り込み要
因の受付を行うとともに各クラスタ間の受付順位を制御
するビジー判定回路と、クラスタ毎に存在するクラスタ
間の系間通信データを格納する系間通信データバッファ
とを備え、全クラスタに共有接続されてクラスタ間の系
間通信を実行するための拡張記憶装置と、各クラスタ毎
に１対１に設けられ、クラスタの動作状態を判定するシ
ステム動作判定フラグと、クラスタの各々と拡張記憶装
置間で生じる系間通信割り込み要因をＦＩＦＯ方式でス
タックするスタックエントリを備えた複数のアダプタと
を有することを特徴とする系間通信システムに存する。
また本発明の請求項２に記載の要旨は、前記ビジー判定
回路は、任意のクラスタから系間通信を受け付けている
間、ビジーフラグをセットして他クラスタからの系間通
信割り込みを受け付けないよう排他制御を行うように構
成されていることを特徴とする請求項１記載の系間通信
システムに存する。また本発明の請求項３に記載の要旨
は、前記システム動作判定フラグは、クラスタの動作状
態として転送命令の処理状態及び／または系間通信の受
信可能状態を含むことを特徴とする請求項１記載の系間
通信システムに存する。また本発明の請求項４に記載の
要旨は、前記拡張記憶装置は、他クラスタからの系間通
信割り込みを受け付ける際、自クラスタが系間通信割り
込みを受け付け可能か否かの状態を示すビジーフラグを
備えたビジー判定フラグを有し、前記スタックエントリ
の各々は、他クラスタからの系間通信割り込みを受け付
ける際、自クラスタが系間通信割り込みを受け付けられ
ない状態において、前記拡張記憶装置の前記ビジー判定
フラグ内に存在する前記ビジーフラグをリセットすると
ともに、前記拡張記憶装置が他のクラスタから発行され
た系間通信割り込み要求を受け付けられるように、前記
系間通信割り込み要因をＦＩＦＯ方式でスタックするよ
うに構成されていることを特徴とする請求項１記載の系
間通信システムに存する。また本発明の請求項５に記載
の要旨は、前記拡張記憶装置は、他クラスタからの系間
通信割り込みを受け付ける際、自クラスタが系間通信割
り込みを受け付けられない状態を示すシステム動作判定
フラグを有することを特徴とする請求項１記載の系間通
信システムに存する。また本発明の請求項６に記載の要
旨は、前記スタックエントリは、クラスタ間の送受信に
かかる前記系間通信割り込みの要因を、前記拡張記憶装
置で受け付けた順番で処理するように構成されているこ
とを特徴とする請求項１記載の系間通信システムに存す
る。また本発明の請求項７に記載の要旨は、多クラスタ
間での系間通信を実行する系間通信制御方法であって、
各クラスタの系間通信割り込み要因の受付を行うととも
に各クラスタ間の受付順位を制御するビジー判定工程
と、クラスタ毎に存在するクラスタ間の系間通信データ
を格納する系間通信データバッファ工程とを備え、クラ
スタ間の系間通信を実行するための拡張記憶工程と、ク
ラスタの動作状態を判定するシステム動作判定工程と、
クラスタの各々と拡張記憶工程間で生じる系間通信割り
込み要因をＦＩＦＯ方式でスタックするスタックエント
リ工程を備えたスタック工程とを有することを特徴とす
る系間通信制御方法に存する。また本発明の請求項８に
記載の要旨は、前記ビジー判定工程は、任意のクラスタ
から系間通信を受け付けている間、ビジーフラグをセッ
トして他クラスタからの系間通信割り込みを受け付けな
いよう排他制御を行う工程を含むことを特徴とする請求
項７記載の系間通信制御方法に存する。また本発明の請
求項９に記載の要旨は、前記システム動作判定工程は、
クラスタの動作状態として転送命令の処理状態及び／ま
たは系間通信の受信可能状態を設定する工程を含むこと
を特徴とする請求項７記載の系間通信制御方法に存す
る。また本発明の請求項１０に記載の要旨は、前記拡張
記憶工程は、他クラスタからの系間通信割り込みを受け
付ける際、自クラスタが系間通信割り込みを受け付け可
能か否かの状態をビジーフラグに記述するビジー判定フ
ラグ工程を有し、前記スタックエントリ工程は、他クラ
スタからの系間通信割り込みを受け付ける際、自クラス
タが系間通信割り込みを受け付けられない状態におい
て、前記ビジーフラグをリセットするとともに、前記拡
張記憶工程が他のクラスタから発行された系間通信割り
込み要求を受け付けられるように、前記系間通信割り込
み要因をＦＩＦＯ方式でスタックする工程を含むことを
特徴とする請求項７記載の系間通信制御方法に存する。
また本発明の請求項１１に記載の要旨は、前記拡張記憶
工程は、他クラスタからの系間通信割り込みを受け付け
る際、自クラスタが系間通信割り込みを受け付けられな
い状態を示すシステム動作判定工程を有することを特徴
とする請求項７記載の系間通信制御方法に存する。また
本発明の請求項１２に記載の要旨は、前記スタックエン
トリ工程は、クラスタ間の送受信にかかる前記系間通信
割り込みの要因を、前記拡張記憶工程で受け付けた順番
で処理する工程を含むことを特徴とする請求項７記載の
系間通信制御方法に存する。An object of the present invention is to provide an inter-system communication system for executing inter-system communication between multiple clusters, wherein an inter-system communication interrupt factor of each cluster is received. And a busy determination circuit for controlling the order of reception between the clusters, and an inter-system communication data buffer for storing inter-system communication data between the clusters existing for each cluster. Storage system for executing the inter-system communication, a system operation determination flag provided one-to-one for each cluster to determine the operation state of the cluster, and an inter-system system generated between each cluster and the expansion storage system An inter-system communication system characterized by having a plurality of adapters provided with stack entries for stacking communication interrupt factors in a FIFO manner.
Further, the gist of the present invention resides in that the busy determination circuit sets a busy flag while receiving inter-system communication from an arbitrary cluster so as not to receive an inter-system communication interrupt from another cluster. The inter-system communication system according to claim 1, wherein the system is configured to perform control. The gist of claim 3 of the present invention is that the system operation determination flag includes a processing state of a transfer instruction and / or a receivable state of inter-system communication as an operation state of the cluster. The above-described inter-system communication system exists. The gist of claim 4 of the present invention is that, when accepting an inter-system communication interrupt from another cluster, the extended storage device sets a busy flag indicating whether or not the own cluster can accept the inter-system communication interrupt. Each of the stack entries has a busy determination flag, and each of the stack entries has a busy determination of the extended storage device in a state where the own cluster cannot receive the intersystem communication interrupt when receiving an intersystem communication interrupt from another cluster. The busy flag present in the flag is reset, and the inter-system communication interrupt factor is stacked in a FIFO manner so that the extended storage device can receive the inter-system communication interrupt request issued from another cluster. 2. The inter-system communication system according to claim 1, wherein: The gist of claim 5 of the present invention resides in that, when accepting an inter-system communication interrupt from another cluster, the extended storage device sets a system operation determination flag indicating a state in which the own cluster cannot accept the inter-system communication interrupt. 2. The inter-system communication system according to claim 1, wherein: According to another aspect of the present invention, the stack entry is configured to process factors of the inter-system communication interrupt related to transmission and reception between clusters in the order in which the factors are received by the extended storage device. 2. The communication system according to claim 1, wherein: The gist of claim 7 of the present invention is an inter-system communication control method for executing inter-system communication between multiple clusters,
A busy determination step of receiving an inter-system communication interrupt factor of each cluster and controlling the order of reception between the clusters; and an inter-system communication data buffer step of storing inter-system communication data existing between clusters. An extended storage step for executing inter-system communication between clusters; a system operation determination step of determining an operation state of the cluster;
There is provided an inter-system communication control method characterized by comprising a stack process including a stack entry process for stacking inter-system communication interrupt factors generated between each of the clusters and the extended storage process in a FIFO manner. According to another aspect of the present invention, in the busy determination step, a busy flag is set and an inter-system communication interrupt from another cluster is not accepted while inter-system communication is being accepted from an arbitrary cluster. 8. The method according to claim 7, further comprising a step of performing control. The gist of claim 9 of the present invention is that the system operation determining step includes:
The method according to claim 7, further comprising a step of setting a processing state of a transfer command and / or a receivable state of inter-system communication as an operation state of the cluster. The gist of claim 10 of the present invention is that, when the inter-system communication interrupt from another cluster is accepted, the extended storage step describes in a busy flag whether or not the own cluster can accept the inter-system communication interrupt. The stack entry step resets the busy flag in a state where the own cluster cannot receive the inter-system communication interrupt when the inter-system communication interrupt from another cluster is received, and 8. The inter-system communication control according to claim 7, further comprising a step of stacking the inter-system communication interrupt cause in a FIFO manner so that the storage step can accept the inter-system communication interrupt request issued from another cluster. Be in the way.
The gist of claim 11 of the present invention is that, when the inter-system communication interrupt from another cluster is received, the extended storage step includes a system operation determining step showing a state in which the own cluster cannot receive the inter-system communication interrupt. 8. The communication control method according to claim 7, wherein: The gist of the twelfth aspect of the present invention is that the stack entry step includes a step of processing factors of the inter-system communication interrupt related to transmission and reception between clusters in an order received in the extended storage step. The present invention lies in an inter-system communication control method according to claim 7.
【００１６】[0016]
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて詳細に説明する。初めに、図面に基づき、本実
施形態の系間通信システム１００の基本概念を説明す
る。本実施形態の系間通信システム１００は、多クラス
タＣ−１，…，Ｃ−ｎ間で拡張記憶装置ＥＭＵ（共有メ
モリ）を使用した、クラスタ間の系間通信処理機能に加
えて、クラスタＣ−１，…，Ｃ−ｎの各々と拡張記憶装
置ＥＭＵ間で生じる系間通信割り込み要因をＦＩＦＯ方
式でスタックするスタックエントリＥ１，…，Ｅｎを設
けたことを特徴としている。Embodiments of the present invention will be described below in detail with reference to the drawings. First, the basic concept of the inter-system communication system 100 of the present embodiment will be described with reference to the drawings. The inter-system communication system 100 according to the present embodiment includes an inter-system communication processing function using an extended storage device EMU (shared memory) among the multiple clusters C-1,. ,..., Cn and the expansion storage unit EMU are provided with stack entries E1,.
【００１７】図１は、本実施形態の系間通信システム１
００及び系間通信制御方法で実現されるＦＩＦＯ（フィ
フォ：Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式の
系間通信割り込み要因のスタック機能（スタックエント
リ）を示す。系間通信システム１００は、複数のクラス
タＣ−１，…，Ｃ−ｎ、各クラスタ毎に設けられたアダ
プタＡ−１，…，Ａ−ｎ、全クラスタに共有接続されて
いる拡張記憶装置ＥＭＵを備えている。例えば、アダプ
タＡ−１，…はクラスタＣ−１に設けられ、拡張記憶装
置ＥＭＵに共有接続されている。アダプタＡ−ｎはクラ
スタＣ−ｎに設けられ、拡張記憶装置ＥＭＵに共有接続
されている。FIG. 1 shows an inter-system communication system 1 according to this embodiment.
00 and the stack function (stack entry) of the inter-system communication interrupt factor of the FIFO (First In First Out) system realized by the inter-system communication control method. The inter-system communication system 100 includes a plurality of clusters C-1,..., C-n, adapters A-1,..., An provided for each cluster, and an extended storage device EMU commonly connected to all clusters. It has. For example, the adapters A-1,... Are provided in the cluster C-1, and are commonly connected to the extended storage device EMU. The adapter An is provided in the cluster Cn and is commonly connected to the extended storage device EMU.
【００１８】次に、本実施形態の系間通信制御方法の基
本概念を説明する。本実施形態の系間通信制御方法は、
系間通信システム１００が実行する工程であって、拡張
記憶工程、スタック工程を有する。Next, the basic concept of the inter-system communication control method according to the present embodiment will be described. The inter-system communication control method according to the present embodiment includes:
This is a process executed by the inter-system communication system 100 and includes an extended storage process and a stack process.
【００１９】拡張記憶工程は、ビジー判定工程、スタッ
ク工程、ビジー判定フラグ工程を有する。また、他クラ
スタからの系間通信割り込みを受け付ける際、自クラス
タが系間通信割り込みを受け付けられない状態を示すシ
ステム動作判定工程を有する。The extended storage step includes a busy determination step, a stack step, and a busy determination flag step. In addition, the method further includes a system operation determining step for indicating that the own cluster cannot accept the inter-system communication interrupt when accepting the inter-system communication interrupt from another cluster.
【００２０】ビジー判定フラグ工程は、他クラスタから
の系間通信割り込みを受け付ける際、自クラスタが系間
通信割り込みを受け付け可能か否かの状態をビジーフラ
グに記述する。In the busy determination flag step, when accepting an inter-system communication interrupt from another cluster, the busy flag describes the state of whether or not the own cluster can accept the inter-system communication interrupt.
【００２１】ビジー判定工程は、系間通信データバッフ
ァ工程を備え、クラスタ間の系間通信を実行する。また
ビジー判定工程は、任意のクラスタから系間通信を受け
付けている間、ビジーフラグをセットして他クラスタか
らの系間通信割り込みを受け付けないよう排他制御を行
う工程を含んでいる。The busy determination step includes an inter-system communication data buffer step, and executes inter-system communication between clusters. Further, the busy determination step includes a step of setting a busy flag and performing exclusive control so as not to receive an inter-system communication interrupt from another cluster while accepting inter-system communication from an arbitrary cluster.
【００２２】系間通信データバッファ工程は、各クラス
タの系間通信割り込み要因の受付を行うとともに各クラ
スタ間の受付順位を制御するクラスタ毎に存在するクラ
スタ間の系間通信データを格納する。The inter-system communication data buffering step receives inter-system communication interrupt factors of each cluster and stores inter-system communication data between clusters that exist for each cluster for controlling the order of reception between the clusters.
【００２３】スタック工程は、クラスタの動作状態を判
定するシステム動作判定工程と、クラスタの各々と拡張
記憶工程間で生じる系間通信割り込み要因をＦＩＦＯ方
式でスタックするスタックエントリ工程を備えている。The stacking step includes a system operation judging step of judging an operation state of the cluster, and a stack entry step of stacking inter-system communication interrupt factors occurring between each cluster and the extended storage step in a FIFO manner.
【００２４】システム動作判定工程は、クラスタの動作
状態として転送命令の処理状態及び／または系間通信の
受信可能状態を設定する工程を含んでいる。The system operation determination step includes a step of setting a processing state of a transfer command and / or a receivable state of inter-system communication as an operation state of the cluster.
【００２５】スタックエントリ工程は、他クラスタから
の系間通信割り込みを受け付ける際、自クラスタが系間
通信割り込みを受け付けられない状態において、ビジー
フラグをリセットするとともに、拡張記憶工程が他のク
ラスタから発行された系間通信割り込み要求を受け付け
られるように、系間通信割り込み要因をＦＩＦＯ方式で
スタックする工程を含んでいる。またスタックエントリ
工程は、クラスタ間の送受信にかかる系間通信割り込み
の要因を、拡張記憶工程で受け付けた順番で処理する工
程を含んでいる。In the stack entry step, when the inter-system communication interrupt from another cluster is accepted, the busy flag is reset and the extended storage step is issued from the other cluster in a state where the own cluster cannot accept the inter-system communication interrupt. And a step of stacking inter-system communication interrupt factors in a FIFO manner so that the inter-system communication interrupt request can be accepted. Further, the stack entry step includes a step of processing the causes of inter-system communication interrupts related to transmission and reception between clusters in the order received in the extended storage step.
【００２６】図２は、図１の系間通信システム１００を
説明するための機能ブロック図である。拡張記憶装置Ｅ
ＭＵは、ビジー判定回路ＢＣＣ（図中Ｂｕｓｙ判定回路
と表記）、系間通信データバッファＢＦ０，…，ＢＦｎ
（図中通信データ格納バッファと表記）を備えている。FIG. 2 is a functional block diagram for explaining the inter-system communication system 100 of FIG. Extended storage device E
MU includes a busy determination circuit BCC (denoted as a Busy determination circuit in the figure), an inter-system communication data buffer BF0,.
(Denoted as a communication data storage buffer in the figure).
【００２７】図２に示す系間通信データバッファＢＦ
０，…，ＢＦｎの各々は、クラスタＣ−１に存在するク
ラスタ間の系間通信データを格納する。例えば、系間通
信データバッファＢＦ０は、各クラスタ毎に存在するク
ラスタ間の系間通信データを格納する機能を有してい
る。The inter-system communication data buffer BF shown in FIG.
, BFn store inter-system communication data between clusters existing in the cluster C-1. For example, the inter-system communication data buffer BF0 has a function of storing inter-system communication data between clusters existing for each cluster.
【００２８】図２に示すビジー判定回路ＢＣＣは、各ク
ラスタＣ−１，…，Ｃ−ｎの系間通信割り込み要因の受
付を行い各クラスタ間の受付順位を制御する機能を有し
ている。換言すれば、あるクラスタから系間通信を受け
付けている間、ビジーフラグをセットして他クラスタか
らの系間通信割り込みを受け付けないよう排他制御を行
う。例えば、ビジー判定回路ＢＣＣは、クラスタＣ−１
の系間通信割り込み要因の受付を行い、各クラスタＣ−
１，…，Ｃ−ｎ間の受付順位を制御する。換言すれば、
クラスタＣ−１から系間通信を受け付けている間、ビジ
ーフラグをセットして他クラスタＣ−２，…，Ｃ−ｎの
系間通信割り込みを受け付けないよう排他制御を行う。The busy determination circuit BCC shown in FIG. 2 has a function of receiving an inter-system communication interrupt factor of each of the clusters C-1,..., Cn and controlling the order of reception between the clusters. In other words, while the inter-system communication is being received from a certain cluster, the exclusive flag is set so that the inter-system communication interrupt from another cluster is not received. For example, the busy determination circuit BCC includes the cluster C-1
Of the cluster C-
1,..., C-n. In other words,
While the inter-system communication is being received from the cluster C-1, the busy flag is set and the exclusive control is performed so that the inter-system communication interrupts of the other clusters C-2,.
【００２９】図２に示すアダプタＡ−１，…，Ａ−ｎの
各々は、システム動作判定フラグＤ１，…，Ｄｎ、スタ
ックエントリ（図中Ｓｔａｃｋエントリと表記）Ｅ１，
…，Ｅｎを備えている。例えば、アダプタＡ−１は、シ
ステム動作判定フラグＤ１、スタックエントリＥ１を備
え、アダプタＡ−ｎは、システム動作判定フラグＤｎ、
スタックエントリＥｎを備えている。Each of the adapters A-1,..., An shown in FIG. 2 has system operation determination flags D1,..., Dn, a stack entry (denoted as a Stack entry in the figure) E1, and
.., En. For example, the adapter A-1 includes a system operation determination flag D1 and a stack entry E1, and the adapter An includes a system operation determination flag Dn,
It has a stack entry En.
【００３０】システム動作判定フラグＤ１，…，Ｄｎの
各々は、クラスタＣ−１，…，Ｃ−ｎの動作状態（すな
わち、転送命令が処理されている等、系間通信を受け付
けられる状態かどうか）を判定する機能を有している。
例えば、アダプタＡ−１におけるシステム動作判定フラ
グＤ１は、クラスタＣ−１，…，Ｃ−ｎの動作状態（例
えば、転送命令が処理されている等、系間通信を受け付
けられる状態かどうか）を判定する。アダプタＡ−２に
おけるシステム動作判定フラグＤ２は、クラスタＣ−
１，…，Ｃ−ｎの動作状態（すなわち、転送命令が処理
されている等、系間通信を受け付けられる状態かどう
か）を判定する。Each of the system operation determination flags D1,..., Dn indicates an operation state of the clusters C-1,. ) Is determined.
For example, the system operation determination flag D1 in the adapter A-1 indicates the operation state of the clusters C-1,..., Cn (for example, whether or not the system C accepts inter-system communication such as processing of a transfer instruction). judge. The system operation determination flag D2 in the adapter A-2 indicates that the cluster C-
1,..., Cn (i.e., whether or not the inter-system communication can be accepted, such as when a transfer command is being processed) is determined.
【００３１】スタックエントリＥ１，…，Ｅｎの各々
は、他クラスタからの系間通信割り込みを受け付ける
際、自クラスタが系間通信割り込みを受け付けられない
状態（すなわち、システム動作判定フラグがセットされ
ている）では、拡張記憶装置ＥＭＵ内のビジー判定フラ
グ内に存在するビジーフラグをリセットして拡張記憶装
置ＥＭＵ内で他のクラスタから発行された系間通信割り
込み要求を受け付けられるように系間通信割り込み要因
をＦＩＦＯ方式でスタックする機能を有している。例え
ば、アダプタＡ−１におけるスタックエントリＥ１は、
他クラスタからの系間通信割り込みを受け付ける際、自
クラスタが系間通信割り込みを受け付けられない状態
（すなわち、システム動作判定フラグがセットされてい
る）では、拡張記憶装置ＥＭＵ内のビジー判定フラグ内
に存在するビジーフラグをリセットして拡張記憶装置Ｅ
ＭＵ内で他のクラスタから発行された系間通信割り込み
要求を受け付けられるように系間通信割り込み要因をＦ
ＩＦＯ方式でスタックする。またアダプタＡ−２におけ
るスタックエントリＥ２は、他クラスタからの系間通信
割り込みを受け付ける際、自クラスタが系間通信割り込
みを受け付けられない状態（すなわち、システム動作判
定フラグがセットされている状態）では、拡張記憶装置
ＥＭＵ内のビジー判定フラグ内に存在するビジーフラグ
をリセットして拡張記憶装置ＥＭＵ内で他のクラスタか
ら発行された系間通信割り込み要求を受け付けられるよ
うに系間通信割り込み要因をＦＩＦＯ方式でスタックす
る。Each of the stack entries E1,..., En is in a state where its own cluster cannot accept an inter-system communication interrupt when it receives an inter-system communication interrupt from another cluster (ie, the system operation determination flag is set). )), The busy flag existing in the busy determination flag in the extended storage device EMU is reset, and the inter-system communication interrupt factor is set so that the inter-system communication interrupt request issued from another cluster in the extended storage device EMU can be accepted. It has a function of stacking by FIFO method. For example, the stack entry E1 in the adapter A-1 is
When the inter-system communication interrupt from another cluster is accepted, if the own cluster cannot accept the inter-system communication interrupt (ie, the system operation judgment flag is set), the busy judgment flag in the extended storage device EMU is Reset the existing busy flag to extend the storage device E
The inter-system communication interrupt factor is set to F so that the inter-system communication interrupt request issued from another cluster in the MU can be accepted.
Stack by IFO method. Also, the stack entry E2 in the adapter A-2 indicates that when the inter-system communication interrupt from another cluster is received, the own cluster cannot receive the inter-system communication interrupt (that is, the system operation determination flag is set). Resets the busy flag in the busy determination flag in the extended storage device EMU to determine the cause of the inter-system communication interrupt so that the inter-system communication interrupt request issued from another cluster in the extended storage device EMU can be accepted. Stack with.
【００３２】このような構成の系間通信システム１００
は、クラスタ間の系間通信の送受信割り込みの要因を拡
張記憶装置ＥＭＵで受け付けた順番で処理する機能を有
している。The inter-system communication system 100 having such a configuration is described.
Has a function of processing the causes of transmission / reception interrupts in inter-system communication between clusters in the order in which they are received by the extended storage device EMU.
【００３３】このため、クラスタ間で系間通信処理が競
合した際、系間通信送信側のクラスタから発行された系
間通信割り込み要因を拡張記憶装置ＥＭＵが受け取る
と、拡張記憶装置ＥＭＵはビジーフラグ（ｂｕｓｙ ｆ
ｌａｇ）をセットする。拡張記憶装置ＥＭＵでは、この
とき受け取った送信側クラスタからの系間通信割り込み
要因を、受信側クラスタに刈り取らせる。これにより、
拡張記憶装置ＥＭＵ内のビジーフラグをリセットして、
他のクラスタからの割り込み要因を受け付けることが可
能な状態、すなわち、割り込み要因受け付け可能状態に
復帰できる結果、他クラスタ間の系間通信処理全体の待
ち時間を短縮しシステム全体の性能を向上させる効果が
得られる。For this reason, when inter-system communication processing conflicts between clusters, when the extended storage device EMU receives an inter-system communication interrupt factor issued from the inter-system communication transmitting cluster, the extended storage device EMU sets the busy flag ( busy f
lag). In the extended storage unit EMU, the inter-system communication interrupt cause received from the transmitting cluster at this time is cut off by the receiving cluster. This allows
Reset the busy flag in the extended storage unit EMU,
As a result of being able to return to a state where interrupt factors from other clusters can be accepted, that is, a state where interrupt factors can be accepted, the effect of shortening the wait time of the entire inter-system communication process between other clusters and improving the performance of the entire system Is obtained.
【００３４】同様の主旨で、受信側クラスタでシステム
動作判定フラグがセットされているときであっても、ス
タックエントリＥ１，…，Ｅｎに系間通信割り込み要因
を格納する。これにより、拡張記憶装置ＥＭＵ内のビジ
ーフラグをリセットして、他のクラスタからの割り込み
要因を受け付けることが可能な状態、すなわち、割り込
み要因受け付け可能状態に復帰できる結果、他クラスタ
間の系間通信処理全体の待ち時間を短縮しシステム全体
の性能を向上させる効果が得られる。For the same purpose, the inter-system communication interrupt factor is stored in the stack entries E1,..., En even when the system operation determination flag is set in the receiving cluster. As a result, the busy flag in the extended storage device EMU can be reset to return to a state in which interrupt factors from other clusters can be accepted, that is, a state in which interrupt factors can be accepted. The effect of shortening the overall waiting time and improving the performance of the entire system can be obtained.
【００３５】次に、図面に基づき、系間通信システム１
００及び系間通信制御方法の実施形態を更に詳しく説明
する。Next, based on the drawings, the inter-system communication system 1 will be described.
00 and the embodiment of the inter-system communication control method will be described in further detail.
【００３６】アダプタＡ−１は、自クラスタが系間通信
処理以外の動作中であることを示すシステム動作判定フ
ラグＤ１を有している。システム動作判定フラグＤ１が
セットされている状態では、拡張記憶装置ＥＭＵを介し
た他クラスタ（系間通信送信側クラスタ）からの系間通
信割り込み要因を処理できない。処理できない系間通信
割り込み要因（系間通信送信側系間通信割り込み要因）
は、スタックエントリＥ１に格納され、自クラスタがア
イドル状態（すなわち、システム動作判定フラグがリセ
ットされた状態）に遷移するまで保留される。The adapter A-1 has a system operation determination flag D1 indicating that the own cluster is operating other than the inter-system communication processing. When the system operation determination flag D1 is set, an inter-system communication interrupt cause from another cluster (inter-system communication transmitting side cluster) via the extended storage device EMU cannot be processed. Inter-system communication interrupt factor that cannot be processed (inter-system communication transmission side inter-system communication interrupt factor)
Are stored in the stack entry E1, and are suspended until the own cluster transits to the idle state (that is, the state where the system operation determination flag is reset).
【００３７】図３は、図２各アダプタ内に設けられた、
スタックエントリのデータ構造を示している。FIG. 3 is a perspective view of the adapter provided in each adapter of FIG.
3 shows a data structure of a stack entry.
【００３８】スタックエントリＥ１，…，Ｅｎの各々
は、スタックエントリ番号０＃，…，Ｎ＃で構成され、
格納スタックカウンタと実行スタックカウンタを有す
る。格納スタックカウンタは、系間通信割り込み要因を
格納するスタックエントリ番号０＃，…，Ｎ＃を保持す
る機能を有している。実行スタックカウンタは、実行す
べき系間通信割り込み要因のスタックエントリ番号０
＃，…，Ｎ＃を保持する機能を有している。Each of the stack entries E1,..., En is composed of a stack entry number 0 #,.
It has a storage stack counter and an execution stack counter. The storage stack counter has a function of storing stack entry numbers 0 #,..., N # for storing the causes of inter-system communication interrupts. The execution stack counter is the stack entry number 0 of the inter-system communication interrupt cause to be executed.
#,..., N #.
【００３９】ＦＩＦＯ方式でクラスタ間の系間通信割り
込み要因の制御を行う拡張記憶装置ＥＭＵは、各クラス
タＣ−１，…，Ｃ−ｎの各々に対応する通信データ格納
バッファＢＦ０，…，ＢＦｎを有し、系間通信送信側か
らの通信データを格納し、系間通信受信側のクラスタで
系間通信割り込み要因（送信側からの）の処理が開始さ
れ、通信データがリードされるまで通信データを保持す
る機能を有している。例えば、拡張記憶装置ＥＭＵは、
クラスタＣ−１に対応する通信データ格納バッファＢＦ
０、クラスタＣ−２に対応する通信データ格納バッファ
ＢＦ１、クラスタＣ−３に対応する通信データ格納バッ
ファＢＦ２を有している。The expansion storage unit EMU which controls the cause of the inter-system communication interruption between the clusters by the FIFO method includes communication data storage buffers BF0,... BFn corresponding to each of the clusters C-1,. The communication data from the inter-system communication transmission side is stored, and the processing of the inter-system communication interrupt factor (from the transmission side) is started in the cluster on the inter-system communication reception side until the communication data is read. Is held. For example, the extended storage device EMU is:
Communication data storage buffer BF corresponding to cluster C-1
0, a communication data storage buffer BF1 corresponding to the cluster C-2, and a communication data storage buffer BF2 corresponding to the cluster C-3.
【００４０】拡張記憶装置ＥＭＵは、クラスタ間の系間
通信処理の排他制御を行うためにビジー判定回路ＢＣＣ
を有し、送信側クラスタからの系間通信割り込み要因を
受け付けてビジーフラグをセットする機能を有してい
る。また、受信側クラスタに対する系間通信割り込み要
因の刈り取りが行われた時点でリセットされ、他クラス
タ間の送信側クラスタの系間通信割り込み要因を受け付
けられる状態となる。The extended storage unit EMU includes a busy determination circuit BCC for performing exclusive control of inter-system communication processing between clusters.
And has a function of setting a busy flag by accepting an inter-system communication interrupt cause from the transmitting cluster. Further, when the pruning of the inter-system communication interrupt factor for the receiving cluster is performed, the reset is performed, and the inter-system communication interrupt factor of the transmitting cluster between other clusters can be accepted.
【００４１】以下、本実施形態の動作につき説明する。
図４は、本発明の系間通信制御方法を説明するための動
作フローチャートである。Hereinafter, the operation of this embodiment will be described.
FIG. 4 is an operation flowchart for explaining the inter-system communication control method of the present invention.
【００４２】例えば、図４に示す系間通信制御方法は、
図２に示されたクラスタＣ−１から発行（ステップＳ
１）が実行されると、アダプタＡ−１を介して信号線１
−ａより拡張記憶装置ＥＭＵへ系間通信割り込み（送信
側）を行い（ステップＳ２）、データ線２−ａより各ク
ラスタ対応の通信データ格納バッファＢＦ０へ格納する
（ステップＳ３）。アダプタＡ−１からの系間通信割り
込み要因を受け付けた拡張記憶装置ＥＭＵ内ではビジー
判定回路ＢＣＣにビジーフラグをセットする。ビジーフ
ラグをセットされた拡張記憶装置ＥＭＵからは、アダプ
タＡ−２（受信側のクラスタ）に対して受信側系間通信
割り込み要求を行う（ステップＳ４のＮ→ステップＳ５
→処理［２−ａ］）。For example, the inter-system communication control method shown in FIG.
Issued from cluster C-1 shown in FIG. 2 (step S
When 1) is executed, the signal line 1 is transmitted via the adapter A-1.
From -a, an inter-system communication interrupt (transmission side) is performed to the extended storage device EMU (transmission side) (step S2), and the data is stored in the communication data storage buffer BF0 corresponding to each cluster from the data line 2-a (step S3). The busy flag is set in the busy determination circuit BCC in the extended storage device EMU that has accepted the inter-system communication interrupt factor from the adapter A-1. From the extended storage device EMU in which the busy flag is set, a communication interrupt request on the receiving side is issued to the adapter A-2 (the receiving side cluster) (N in step S4 → step S5).
→ Processing [2-a]).
【００４３】図５は、図４の動作フローチャートにおけ
る処理［３−ａ］を説明するための動作フローチャート
である。アダプタＡ−２でシステム動作判定フラグＤ２
がセットされているケース（ステップＳ４のＹ→処理
［３−ａ］）では、系間通信割り込み要因をアダプタＡ
−２内に本実施形態で設けられたスタックエントリＥ２
に格納し（ステップＳ２０）、拡張記憶装置ＥＭＵ内の
ビジー信号をリセットする（ステップＳ２０→Ｓ２１の
Ｎ→Ｓ２２→処理［１−ｂ］）。FIG. 5 is an operation flowchart for explaining the process [3-a] in the operation flowchart of FIG. System operation determination flag D2 with adapter A-2
Is set (Y in step S4 → process [3-a]), the cause of the inter-system communication
-2 stack entry E2 provided in this embodiment
(Step S20), and resets the busy signal in the extended storage device EMU (step S20 → N of S21 → S22 → process [1-b]).
【００４４】図６は、図４の動作フローチャートにおけ
る処理［２−ａ］を説明するための動作フローチャート
である。アダプタＡ−２でシステム動作判定フラグＤ２
がリセットされたら（ステップＳ４のＮ）、スタックエ
ントリＥ２に格納されている送信側クラスタからの系間
通信割り込み要因を取り出し（ステップＳ５→処理［２
−ａ］）、アダプタＡ−２（受信側）は送信側クラスタ
からの系間通信割り込み要因を受信すると、拡張記憶装
置ＥＭＵ内の送信側クラスタＣ−１対応の通信データ格
納バッファＢＦ０から通信データを、データ線２−ｂに
より読み出し、受信側クラスタＣ−２へ引き渡す（ステ
ップＳ１０）。送信側クラスタＣ−１が発行した系間通
信通信データの引き渡しを確認した受信側アダプタＡー
２は、受信側クラスタＣ−２において通信データ受け取
りが成功したことを意味する、受信側クラスタからの系
間通信割り込み要因を拡張記憶装置ＥＭＵに与える。FIG. 6 is an operation flowchart for explaining the process [2-a] in the operation flowchart of FIG. System operation determination flag D2 with adapter A-2
Is reset (N in step S4), the cause of the inter-system communication interrupt from the transmitting side cluster stored in the stack entry E2 is extracted (step S5 → process [2]).
-A]), when the adapter A-2 (receiving side) receives the inter-system communication interrupt cause from the transmitting side cluster, the communication data storage buffer BF0 corresponding to the transmitting side cluster C-1 in the extended storage unit EMU stores the communication data. Is read out by the data line 2-b and transferred to the receiving side cluster C-2 (step S10). The receiving-side adapter A-2, which has confirmed the transfer of the inter-system communication communication data issued by the transmitting-side cluster C-1, receives the communication data from the receiving-side cluster C-2, which means that the receiving-side cluster C-2 has successfully received the communication data. An inter-system communication interrupt factor is given to the extended storage device EMU.
【００４５】拡張記憶装置ＥＭＵ内では、送信側クラス
タＣ−１からの系間通信成功の受信側クラスタからの系
間通信割り込み要求を受信側アダプタＡ−２から受け付
けて、ビジー判定回路ＢＣＣにビジーフラグをセットす
る（ステップＳ１１）。In the extended storage unit EMU, an inter-system communication interrupt request from the receiving-side cluster that has succeeded in inter-system communication from the transmitting-side cluster C-1 is accepted from the receiving-side adapter A-2, and a busy flag is sent to the busy determination circuit BCC. Is set (step S11).
【００４６】受信側クラスタＣ−２は送信側クラスタＣ
−１からの系間通信割り込み要求、及び通信データを受
け取って、系間通信成功の系間通信割り込み要因を拡張
記憶装置ＥＭＵに対して発行した時点からクラスタＣ−
２は送信側クラスタＣ−２、アダプタＡ−２は送信側ア
ダプタＡ−２、クラスタＣ１は受信側クラスタＣ−１、
アダプタＡ−１は受信側アダプタＡ−１として以下の説
明を行う。The receiving side cluster C-2 is the transmitting side cluster C
From the point at which the inter-system communication interrupt request and the communication data from S-1 are received and the inter-system communication interrupt factor of the inter-system communication success is issued to the extended storage device EMU.
2 is a transmitting side cluster C-2, an adapter A-2 is a transmitting side adapter A-2, a cluster C1 is a receiving side cluster C-1,
Adapter A-1 will be described below as receiving-side adapter A-1.
【００４７】ビジーフラグをセットした拡張記憶装置Ｅ
ＭＵは、受信側アダプタＡ−１に対して信号線１−ａよ
り送信側クラスタＣ−２からの系間通信割り込み要因を
送出する（ステップＳ１２のＮ→Ｓ１３→Ｓ１４）。Extended storage device E with the busy flag set
The MU sends an inter-system communication interrupt cause from the transmission side cluster C-2 to the reception side adapter A-1 via the signal line 1-a (N in step S12 → S13 → S14).
【００４８】図７は、図６の動作フローチャートにおけ
る処理［３−ｂ］を説明するための動作フローチャート
である。受信側アダプタＡ−１でシステム動作判定フラ
グＤ１がセットされているケース（Ｓ１２のＹ）では、
スタックエントリＥ１に送信側クラスタＣ−２からの系
間通信割り込み要因をセットする（ステップＳ３１）。
この時点で、拡張記憶装置ＥＭＵ内のビジー判定回路Ｂ
ＣＣのビジーフラグはリセットされる。この時点で拡張
記憶装置ＥＭＵ内のビジー判定回路ＢＣＣは他クラスタ
間の系間通信割り込み処理を受け付けられる状態とな
る。FIG. 7 is an operation flowchart for explaining the process [3-b] in the operation flowchart of FIG. In the case where the system operation determination flag D1 is set in the receiving adapter A-1 (Y in S12),
The cause of the inter-system communication interrupt from the transmission side cluster C-2 is set in the stack entry E1 (step S31).
At this point, the busy determination circuit B in the extended storage device EMU
The busy flag of CC is reset. At this point, the busy determination circuit BCC in the extended storage device EMU is in a state where it can accept an inter-system communication interrupt process between other clusters.
【００４９】次に、受信側アダプタＡ−１でシステム動
作判定フラグＤ１がリセットされると（ステップＳ３２
のＮ）、スタックエントリＥ１より送信側クラスタから
の系間通信割り込み要因を取り出し（ステップＳ３
３）、クラスタＣ−１、クラスタＣ−２間の系間通信処
理が成功したことをクラスタＣ−１に対して通信を行い
系間通信処理を終了する（処理［２−ｂ］）。Next, when the system operation determination flag D1 is reset by the receiving adapter A-1 (step S32).
N), an inter-system communication interrupt factor from the transmitting side cluster is extracted from the stack entry E1 (step S3).
3) The communication between the clusters C-1 and C-2 that the inter-system communication process has succeeded is communicated to the cluster C-1 to end the inter-system communication process (process [2-b]).
【００５０】以上本実施形態を要約すれば、Ｃ−１，
…，Ｃ−ｎの各々に付随したアダプタＡ−１，…，Ａ−
ｎの各々に系間通信割り込み要因をスタックするスタッ
クエントリＥ１，…，Ｅ−ｎを各々設けることで、拡張
記憶装置ＥＭＵ内のビジー判定回路ＢＣＣがビジーフラ
グセット状態になっている時間を短縮し、クラスタ間の
系間通信処理を高速に制御することができる。In summary of the present embodiment, C-1,
, ..., C-n, adapters A-1, ..., A-
By providing stack entries E1,..., En for stacking inter-system communication interrupt factors in each of n, the time during which the busy determination circuit BCC in the extended storage device EMU is in the busy flag set state is reduced. In addition, inter-system communication processing between clusters can be controlled at high speed.
【００５１】なお、上記構成部材の数、位置、形状等は
上記実施の形態に限定されず、本発明を実施する上で好
適な数、位置、形状等にすることができる。また各図に
おいて、同一構成要素には同一符号を付している。The number, position, shape, and the like of the above-mentioned constituent members are not limited to the above-described embodiment, but can be set to a number, position, shape, and the like suitable for carrying out the present invention. In each drawing, the same components are denoted by the same reference numerals.
【００５２】[0052]
【発明の効果】本発明は、各クラスタに付随したアダプ
タ内に系間通信割り込み要因をスタックするスタックエ
ントリを設けることにより、拡張記憶装置内のビジー判
定回路のビジーフラグセット状態を短縮しクラスタ間の
系間通信処理を高速に制御できるようになるといった効
果を奏する。According to the present invention, by providing a stack entry for stacking inter-system communication interrupt factors in an adapter associated with each cluster, the busy flag set state of the busy determination circuit in the extended storage device is shortened, and This makes it possible to control the inter-system communication processing at a high speed.
【図１】本発明の系間通信システム及び系間通信制御方
法で実現されるＦＩＦＯ方式の系間通信割り込み要因の
スタック機能（スタックエントリ）を説明するための機
能ブロック図である。FIG. 1 is a functional block diagram for explaining a stack function (stack entry) of a FIFO type inter-system communication interrupt factor realized by an inter-system communication system and an inter-system communication control method of the present invention.
【図２】図１の系間通信システムを説明するための機能
ブロック図である。FIG. 2 is a functional block diagram for explaining the inter-system communication system of FIG. 1;
【図３】図２各アダプタ内に設けられた、スタックエン
トリのデータ構造を示している。FIG. 3 shows the data structure of a stack entry provided in each adapter.
【図４】本発明の系間通信制御方法を説明するための動
作フローチャートである。FIG. 4 is an operation flowchart illustrating an inter-system communication control method according to the present invention.
【図５】図４の動作フローチャートにおける処理［３−
ａ］を説明するための動作フローチャートである。FIG. 5 is a flowchart illustrating a process [3-
3 is an operation flowchart for explaining a].
【図６】図４の動作フローチャートにおける処理［２−
ａ］を説明するための動作フローチャートである。FIG. 6 shows a process [2-
3 is an operation flowchart for explaining a].
【図７】図６の動作フローチャートにおける処理［３−
ｂ］を説明するための動作フローチャートである。FIG. 7 shows a process [3-
6] is an operation flowchart for explaining [b].
【図８】従来技術のシステム構成の概略を示している。FIG. 8 shows an outline of a conventional system configuration.
１００…系間通信システム １−ａ，…，１−ｎ…信号線 ２−ａ，…，２−ｎ…データ線 Ａ−１，…，Ａ−ｎ…アダプタ ＢＣＣ…ビジー判定回路 ＢＦ０，…，ＢＦｎ…系間通信データバッファ Ｃ−１，…，Ｃ−ｎ…クラスタ Ｄ１，…，Ｄ−ｎ…システム動作判定フラグ Ｅ１，…，Ｅ−ｎ…スタックエントリ ＥＭＵ…拡張記憶装置（共有メモリ） 100 inter-system communication system 1-a, ..., 1-n signal line 2-a, ..., 2-n data line A-1, ..., An ... adapter BCC ... busy determination circuit BF0, ..., BFn: Inter-system communication data buffer C-1,..., Cn: Cluster D1,..., Dn: System operation determination flag E1,..., En: Stack entry EMU: Extended storage device (shared memory)
Claims (12)
間通信システムであって、 各クラスタの系間通信割り込み要因の受付を行うととも
に各クラスタ間の受付順位を制御するビジー判定回路
と、クラスタ毎に存在するクラスタ間の系間通信データ
を格納する系間通信データバッファとを備え、全クラス
タに共有接続されてクラスタ間の系間通信を実行するた
めの拡張記憶装置と、 各クラスタ毎に１対１に設けられ、クラスタの動作状態
を判定するシステム動作判定フラグと、クラスタの各々
と拡張記憶装置間で生じる系間通信割り込み要因をＦＩ
ＦＯ方式でスタックするスタックエントリを備えた複数
のアダプタとを有することを特徴とする系間通信システ
ム。An inter-system communication system for executing inter-system communication between multiple clusters, comprising: a busy determination circuit for receiving an inter-system communication interrupt factor of each cluster and controlling an order of reception between the clusters; An inter-system communication data buffer for storing inter-system communication data between clusters, which is provided for each cluster, and an extended storage device shared and connected to all clusters for executing inter-system communication between clusters; A system operation determination flag which is provided for each cluster and determines an operation state of the cluster, and a system communication interrupt factor which occurs between each cluster and the extended storage device are FI.
An inter-system communication system comprising: a plurality of adapters each having a stack entry that is stacked in the FO system.
から系間通信を受け付けている間、ビジーフラグをセッ
トして他クラスタからの系間通信割り込みを受け付けな
いよう排他制御を行うように構成されていることを特徴
とする請求項１記載の系間通信システム。2. The system according to claim 1, wherein said busy determination circuit is configured to set a busy flag and perform exclusive control so as not to receive an inter-system communication interrupt from another cluster while accepting inter-system communication from an arbitrary cluster. The inter-system communication system according to claim 1, wherein:
タの動作状態として転送命令の処理状態及び／または系
間通信の受信可能状態を含むことを特徴とする請求項１
記載の系間通信システム。3. The system operation determination flag according to claim 1, wherein the operation state of the cluster includes a processing state of a transfer instruction and / or a receivable state of inter-system communication.
The inter-system communication system according to claim 1.
系間通信割り込みを受け付ける際、自クラスタが系間通
信割り込みを受け付け可能か否かの状態を示すビジーフ
ラグを備えたビジー判定フラグを有し、 前記スタックエントリの各々は、他クラスタからの系間
通信割り込みを受け付ける際、自クラスタが系間通信割
り込みを受け付けられない状態において、前記拡張記憶
装置の前記ビジー判定フラグ内に存在する前記ビジーフ
ラグをリセットするとともに、前記拡張記憶装置が他の
クラスタから発行された系間通信割り込み要求を受け付
けられるように、前記系間通信割り込み要因をＦＩＦＯ
方式でスタックするように構成されていることを特徴と
する請求項１記載の系間通信システム。4. The extended storage device, when accepting an inter-system communication interrupt from another cluster, has a busy determination flag including a busy flag indicating whether or not the own cluster can accept the inter-system communication interrupt. Each of the stack entries, when accepting an inter-system communication interrupt from another cluster, in a state in which the own cluster cannot accept the inter-system communication interrupt, the busy flag present in the busy determination flag of the extended storage device. Reset, and cause the inter-system communication interrupt factor to be FIFO so that the extended storage device can accept the inter-system communication interrupt request issued from another cluster.
The inter-system communication system according to claim 1, wherein the inter-system communication system is configured to be stacked in a system.
系間通信割り込みを受け付ける際、自クラスタが系間通
信割り込みを受け付けられない状態を示すシステム動作
判定フラグを有することを特徴とする請求項１記載の系
間通信システム。5. The system according to claim 1, wherein the extended storage device has a system operation determination flag indicating a state in which the own cluster cannot accept the inter-system communication interrupt when accepting the inter-system communication interrupt from another cluster. 2. The inter-system communication system according to 1.
送受信にかかる前記系間通信割り込みの要因を、前記拡
張記憶装置で受け付けた順番で処理するように構成され
ていることを特徴とする請求項１記載の系間通信システ
ム。6. The system according to claim 1, wherein the stack entry is configured to process the causes of the inter-system communication interrupt related to transmission and reception between clusters in the order received by the extended storage device. The inter-system communication system according to claim 1.
間通信制御方法であって、 各クラスタの系間通信割り込み要因の受付を行うととも
に各クラスタ間の受付順位を制御するビジー判定工程
と、クラスタ毎に存在するクラスタ間の系間通信データ
を格納する系間通信データバッファ工程とを備え、クラ
スタ間の系間通信を実行するための拡張記憶工程と、 クラスタの動作状態を判定するシステム動作判定工程
と、クラスタの各々と拡張記憶工程間で生じる系間通信
割り込み要因をＦＩＦＯ方式でスタックするスタックエ
ントリ工程を備えたスタック工程とを有することを特徴
とする系間通信制御方法。7. An inter-system communication control method for executing inter-system communication between multiple clusters, comprising: a busy determining step of receiving an inter-system communication interrupt factor of each cluster and controlling an order of reception between the clusters. And an inter-system communication data buffering step for storing inter-system communication data between clusters existing for each cluster, an extended storage step for executing inter-system communication between clusters, and determining an operation state of the cluster An inter-system communication control method, comprising: a system operation determining step; and a stack step including a stack entry step of stacking inter-system communication interrupt factors occurring between each of the clusters and the extended storage step in a FIFO manner.
から系間通信を受け付けている間、ビジーフラグをセッ
トして他クラスタからの系間通信割り込みを受け付けな
いよう排他制御を行う工程を含むことを特徴とする請求
項７記載の系間通信制御方法。8. The busy determination step includes a step of setting a busy flag and performing exclusive control so as not to accept an inter-system communication interrupt from another cluster while accepting inter-system communication from an arbitrary cluster. The method for controlling communication between systems according to claim 7, characterized in that:
の動作状態として転送命令の処理状態及び／または系間
通信の受信可能状態を設定する工程を含むことを特徴と
する請求項７記載の系間通信制御方法。9. The system according to claim 7, wherein the system operation determination step includes a step of setting a processing state of a transfer command and / or a receivable state of inter-system communication as an operation state of the cluster. Communication control method.
の系間通信割り込みを受け付ける際、自クラスタが系間
通信割り込みを受け付け可能か否かの状態をビジーフラ
グに記述するビジー判定フラグ工程を有し、 前記スタックエントリ工程は、他クラスタからの系間通
信割り込みを受け付ける際、自クラスタが系間通信割り
込みを受け付けられない状態において、前記ビジーフラ
グをリセットするとともに、前記拡張記憶工程が他のク
ラスタから発行された系間通信割り込み要求を受け付け
られるように、前記系間通信割り込み要因をＦＩＦＯ方
式でスタックする工程を含むことを特徴とする請求項７
記載の系間通信制御方法。10. The extended storage step has a busy determination flag step of, when accepting an inter-system communication interrupt from another cluster, describing a state of whether or not the own cluster can accept the inter-system communication interrupt in a busy flag. The stack entry step resets the busy flag when the inter-system communication interrupt is not accepted from the other cluster when the inter-system communication interrupt is received from the other cluster, and the extended storage process is issued from the other cluster. 8. The method according to claim 7, further comprising the step of stacking the inter-system communication interrupt cause in a FIFO manner so as to accept the inter-system communication interrupt request.
The inter-system communication control method described above.
の系間通信割り込みを受け付ける際、自クラスタが系間
通信割り込みを受け付けられない状態を示すシステム動
作判定工程を有することを特徴とする請求項７記載の系
間通信制御方法。11. The system according to claim 11, wherein the extended storage step includes a system operation determination step of, when receiving an inter-system communication interrupt from another cluster, indicating that the own cluster cannot accept the inter-system communication interrupt. 7. The inter-system communication control method according to 7.
タ間の送受信にかかる前記系間通信割り込みの要因を、
前記拡張記憶工程で受け付けた順番で処理する工程を含
むことを特徴とする請求項７記載の系間通信制御方法。12. The stack entry step includes: determining a cause of the inter-system communication interrupt related to transmission and reception between clusters;
8. The inter-system communication control method according to claim 7, further comprising a step of performing processing in an order received in the extended storage step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34931998A JP2972772B1 (en) | 1998-11-25 | 1998-11-25 | Inter-system communication system and inter-system communication control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34931998A JP2972772B1 (en) | 1998-11-25 | 1998-11-25 | Inter-system communication system and inter-system communication control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2972772B1 JP2972772B1 (en) | 1999-11-08 |
| JP2000163389A true JP2000163389A (en) | 2000-06-16 |
Family
ID=18402979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34931998A Expired - Fee Related JP2972772B1 (en) | 1998-11-25 | 1998-11-25 | Inter-system communication system and inter-system communication control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2972772B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221101A (en) * | 2011-04-06 | 2012-11-12 | Nec Corp | Inter-processing part mismatching detection method under consideration of reboot due to failure and shared device and cluster system |
-
1998
- 1998-11-25 JP JP34931998A patent/JP2972772B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012221101A (en) * | 2011-04-06 | 2012-11-12 | Nec Corp | Inter-processing part mismatching detection method under consideration of reboot due to failure and shared device and cluster system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2972772B1 (en) | 1999-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0753817B1 (en) | Method and apparatus for data communication | |
| US6601134B1 (en) | Multi-processor type storage control apparatus for performing access control through selector | |
| JP4184614B2 (en) | Bus system and method for adjusting execution order thereof | |
| US6874040B2 (en) | Employing a data mover to communicate between dynamically selected zones of a central processing complex | |
| AU664521B2 (en) | A synchronization control system in a parallel computer | |
| US5414856A (en) | Multiprocessor shared resource management system implemented as a virtual task in one of the processors | |
| US5835779A (en) | Message transmission among processing units using interrupt control technique | |
| US6810457B2 (en) | Parallel processing system in which use efficiency of CPU is improved and parallel processing method for the same | |
| JP2972772B1 (en) | Inter-system communication system and inter-system communication control method | |
| US5613133A (en) | Microcode loading with continued program execution | |
| JP7318203B2 (en) | Arithmetic processing device and method of controlling arithmetic processing device | |
| JPH0666061B2 (en) | Multi CPU communication device | |
| CN108234352B (en) | Electronic control unit and data transmission method | |
| EP1139228A2 (en) | An intelligent bus interconnect unit | |
| EP1119141A1 (en) | Real-time communication device and system | |
| JP3126129B2 (en) | Priority control device | |
| JP2000244585A (en) | Bus interface circuit | |
| US5862332A (en) | Method of data passing in parallel computer | |
| JPH05216844A (en) | Method and apparatus for improved task distribution in multiprocessor data processing system | |
| JP3317150B2 (en) | Information processing device | |
| JP2746205B2 (en) | Memory management method for distributed storage type parallel computer system | |
| CN116701021A (en) | Control word output feedback control method based on queue | |
| CN118567855A (en) | Request execution method and device, storage medium and electronic equipment | |
| JP2001236238A (en) | Method for processing interruption | |
| CN111061674A (en) | Multiprocessor cross communication device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |